大數據分析（Hadoop）與云計算實踐培訓班的通知
2025-10-05 17:39:18
講師：錢(qian)興(xing)會(hui) 朱永春(chun) 瀏覽次數：3123
課程描述INTRODUCTION
大數據與云計算培訓
培訓講師：
課程價格：
培訓天數：日程安排(pai)SCHEDULE
課(ke)程(cheng)大綱Syllabus
大數據與云計(ji)算(suan)培訓
一、課程目標
二、培(pei)訓師資
錢興(xing)會 大(da)數(shu)(shu)(shu)據專家。在電信、電力(li)、金(jin)融(rong)行業(ye)(ye)從事(shi)Java開發和架構(gou)(gou)設(she)(she)計(ji)(ji)的(de)(de)工(gong)作；資(zi)深(shen)云(yun)(yun)計(ji)(ji)算(suan)研發工(gong)程(cheng)(cheng)師。作為項(xiang)(xiang)目的(de)(de)主(zhu)要成(cheng)員和負責人參與(yu)(yu)并(bing)(bing)領導完(wan)成(cheng)了多(duo)個(ge)大(da)型(xing)復(fu)雜(za)(za)項(xiang)(xiang)目，并(bing)(bing)成(cheng)功(gong)應(ying)用于行業(ye)(ye)解(jie)(jie)決(jue)方(fang)案(an)，如海量(liang)(liang)數(shu)(shu)(shu)據匹配(pei)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)、電力(li)行業(ye)(ye)實時數(shu)(shu)(shu)據采集分(fen)(fen)析(xi)(xi)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)等。設(she)(she)計(ji)(ji)并(bing)(bing)實現了實時索引系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)-云(yun)(yun)搜(sou)(sou)，成(cheng)功(gong)應(ying)用與(yu)(yu)某(mou)國企(qi)知識庫(ku)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)。并(bing)(bing)可(ke)應(ying)用與(yu)(yu)互(hu)聯網行業(ye)(ye)的(de)(de)搜(sou)(sou)索等應(ying)用。完(wan)成(cheng)多(duo)個(ge)云(yun)(yun)計(ji)(ji)算(suan)解(jie)(jie)決(jue)方(fang)案(an)的(de)(de)架構(gou)(gou)，涉及到金(jin)融(rong)韓行業(ye)(ye)海量(liang)(liang)數(shu)(shu)(shu)據分(fen)(fen)析(xi)(xi)與(yu)(yu)數(shu)(shu)(shu)據處(chu)理(li)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)、海量(liang)(liang)日(ri)志(zhi)分(fen)(fen)析(xi)(xi)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)、電力(li)用電信息統(tong)(tong)(tong)計(ji)(ji)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)等，獲得業(ye)(ye)界(jie)認可(ke)。朱(zhu)永春 十余年IT行業(ye)(ye)經驗，IBM企(qi)業(ye)(ye)數(shu)(shu)(shu)據分(fen)(fen)析(xi)(xi)與(yu)(yu)大(da)數(shu)(shu)(shu)據專家，數(shu)(shu)(shu)據中心系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)架構(gou)(gou)設(she)(she)計(ji)(ji)，性能(neng)管(guan)理(li)與(yu)(yu)容(rong)(rong)量(liang)(liang)評估專家，主(zhu)要專業(ye)(ye)特長包括基礎架構(gou)(gou)云(yun)(yun)平臺(tai)設(she)(she)計(ji)(ji)、服務器及存(cun)儲虛擬(ni)化、數(shu)(shu)(shu)據庫(ku)優化、性能(neng)管(guan)理(li)、容(rong)(rong)量(liang)(liang)評估等領域。具有豐(feng)富的(de)(de)教(jiao)學(xue)和實踐(jian)經驗，對(dui)IT職業(ye)(ye)培訓有深(shen)刻的(de)(de)理(li)解(jie)(jie)。曾參與(yu)(yu)多(duo)家大(da)型(xing)銀行系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)架構(gou)(gou)設(she)(she)計(ji)(ji)，在高(gao)可(ke)用性高(gao)性能(neng)大(da)容(rong)(rong)量(liang)(liang)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)領域的(de)(de)虛擬(ni)化和大(da)數(shu)(shu)(shu)據處(chu)理(li)有深(shen)入的(de)(de)研究(jiu)，能(neng)夠結合實際(ji),在復(fu)雜(za)(za)的(de)(de)應(ying)用環境中選擇(ze)適合的(de)(de)分(fen)(fen)析(xi)(xi)技(ji)術(shu)來(lai)降低運維風險、縮短停(ting)機(ji)時間、提(ti)高(gao)系(xi)(xi)(xi)(xi)統(tong)(tong)(tong)及數(shu)(shu)(shu)據庫(ku)性能(neng)。多(duo)次(ci)全(quan)國巡講。授課過程(cheng)(cheng)理(li)論與(yu)(yu)實踐(jian)并(bing)(bing)重，深(shen)入淺出，講課詼諧幽默、氣氛(fen)活躍，深(shen)受廣大(da)學(xue)員好評。
三、學習對象(xiang)
軟件工程師、數據庫(ku)開(kai)發(fa)人(ren)(ren)員(yuan)、網(wang)(wang)絡后臺開(kai)發(fa)人(ren)(ren)員(yuan)、運維人(ren)(ren)員(yuan)；地(di)方政(zheng)府云(yun)(yun)計(ji)算(suan)物聯(lian)(lian)網(wang)(wang)產(chan)(chan)業負責人(ren)(ren)；各地(di)云(yun)(yun)計(ji)算(suan)中心負責人(ren)(ren)；云(yun)(yun)計(ji)算(suan)物聯(lian)(lian)網(wang)(wang)產(chan)(chan)業規劃負責人(ren)(ren)；云(yun)(yun)計(ji)算(suan)產(chan)(chan)業投資團隊；云(yun)(yun)計(ji)算(suan)應用開(kai)發(fa)商(shang)；云(yun)(yun)計(ji)算(suan)硬件設備(bei)提供商(shang)；云(yun)(yun)服務(wu)運營服務(wu)提供商(shang)；高(gao)校、科研院所(suo)云(yun)(yun)計(ji)算(suan)項目負責人(ren)(ren)。
四、課(ke)程大(da)綱(gang)
（第一(yi)專題：大數據分析與Hadoop開(kai)發）
第一天(tian)
第1個主題：Hadoop的來源和動機(ji)
1.傳統(tong)大規(gui)模系(xi)統(tong)存在的問題
2.對一(yi)種(zhong)新的(de)解決方案的(de)需求(qiu)
3.Hadoop應(ying)用案例解析(xi)
4.Hadoop 版(ban)本介紹
5.Hadoop與傳統分布式(shi)環境的區別
第2個主題：Hadoop安裝(zhuang)和部(bu)署準備
1. Hadoop系統模塊組件概述
2. Hadoop試驗(yan)集群的部(bu)署結(jie)構
3. Hadoop 安裝依賴關系
4. Hadoop 生產環(huan)境的部(bu)署結構
第(di)3個(ge)主(zhu)題(ti)：Hadoop集群安(an)裝(zhuang)和部(bu)署
第4個主題：Hadoop組件詳解
1. Hadoop HDFS 基(ji)本(ben)結構
2. Hadoop HDFS 副本存放策(ce)略
3. Hadoop NameNode 詳解
4. Hadoop SecondaryNameNode 詳解
5. Hadoop DataNode 詳解(jie)
6. Hadoop JobTracker 詳解(jie)
7. API 使(shi)用Eclipse進行快(kuai)速開發
8. 新MapReduce API
第5個主題：Hadoop 核心代碼剖析
1.Hadoop Mapper 類核心代碼剖析
2.Hadoop Reducer 類核心代碼剖析
第(di)6個主題：HDFS分布(bu)式(shi)文件(jian)系(xi)統編程(cheng)
1.Hadoop HDFS 剖析
2.Hadoop NameNode 剖析
3.Hadoop DataNode 剖(pou)析(xi)
4.hadoop I/O 操作
5.使(shi)用Hadoop HDFS API對(dui)HDFS編(bian)程(cheng)
第(di)二天
第1個(ge)主(zhu)題(ti)：Hadoop MapReduce
1.Hadoop JobTracker 剖(pou)析
2.Hadoop TaskTracker 剖析
3.Hadoop 任務(wu)提交流程剖析(xi)
第2個主題： Hadoop MapReduce Streaming編程
1.Hadoop Streaming 和 Java MapReduce Api 差(cha)異
2.使用(yong) MapReduce 實現數據庫功能(neng)
第(di)3個(ge)主題(ti)：MapReduce分布式程(cheng)序(xu)
1.MapReduce流程
2.剖析一個MapReduce程序
3.基本MapReduceAPI 概念
4.驅動代碼
第4個主題：Hadoop Mapreduce高級編程
1.ToolRunner介紹(shao)
2.使用MRUnit進行測試
3.利(li)用(yong)Combiners來減少中間(jian)數(shu)據
4.使用Configure和(he)Close方法來(lai)進行Map/Reduce設置和(he)關閉
5.編寫Partitioner來優化負載平(ping)衡
6.直接訪問Hadoop分布式文(wen)件系(xi)統（HDFS）
7.使(shi)用分布式緩存（Distributed Cache）
第5個主題：MapReduce的(de)優(you)化
1.map優化
2.reduce優(you)化
3.小(xiao)文(wen)件優化(hua)
第6個主題：MapReduce的任務調(diao)度
1.Queue調(diao)度的使用(yong)
2.公平調(diao)度(du)的使用
3.能力調度的使用
第7個(ge)主題(ti)Hadoop 生(sheng)態系統介紹
分布式管理組件-Zookeeper
分布式數據倉庫-Hive
分布式數據庫(ku)-Hbase
數(shu)據導入導出-Sqoop
工作(zuo)流管理(li)- Ozzie
Hadoop數據倉(cang)庫-Hive
Hive基礎
Hive的(de)作用(yong)和原理說明(ming)
Hadoop倉庫(ku)和傳(chuan)統數據(ju)倉庫(ku)的協作關系；Hive與傳(chuan)統數據(ju)庫(ku)的對接使用
Hadoop/Hive倉庫(ku)數(shu)據數(shu)據流
第三(san)天
Hadoop數據倉(cang)庫-Hive
Hive Cli 的基本用法(fa)
HQL基本語法
自行編(bian)寫數(shu)據庫與Hadoop相互ETL工具的思路
Hadoop 分布式數據倉(cang)庫-Hbase
Hbase概念與架構
hbase核心知(zhi)識點
hbase安裝、部署(shu)
Hbase配置(zhi)優化綜(zong)述
表設計優化相關參(can)數
監控工(gong)具(ju)使(shi)用方法及注意(yi)事(shi)項
常見異常現象(xiang)級處理方法
（第二專題：大(da)數(shu)據與云計算架構）
日(ri)程 授課主題 課程安排
第四(si)天
云計算(suan)概述 云的(de)理想
云(yun)的挑戰
發展(zhan)的趨(qu)勢(shi)
云是什么
不同(tong)工作負載適用(yong)不同(tong)的云
選(xuan)擇(ze)合(he)適(shi)的云平臺
幾個云應用案(an)例(li)
我們身邊的云
云架(jia)構 云多層架(jia)構視圖(tu)
IaaS、PaaS與(yu)SaaS的定位與(yu)異同(tong)
云平臺(tai)的(de)發展現狀
云數據中心(xin)技術架(jia)構
IAAS云層的原理與(yu)應用 IaaS的基礎：虛擬化(hua)
虛擬(ni)化相關技(ji)術
Power云部署(shu)方(fang)案(an)介紹(shao)
VMWare云部署(shu)方案介(jie)紹
OpenStack云部署方(fang)案(an)介紹(shao)
SONAS云存儲方案介紹
應用實例
第五天
PaaS云層的(de)(de)原理與應用 PaaS的(de)(de)架構(gou)原理
基于WebSphere的PaaS設計實踐(jian)
SaaS云層(ceng)的(de)(de)原理(li)與應用 SaaS的(de)(de)架構原理(li)
一(yi)個公有云SaaS的設計實(shi)踐
云計算的(de)性能管理與容量規劃
什么是性能容量管理
性能容(rong)量管理參考案(an)例
壓力(li)測試基(ji)本(ben)理論
系統性能設(she)計與調優
第六天
大數據云的原(yuan)理與(yu)架構(gou) 存儲(chu)子系統
傳統文件系統
松耦合(he)網(wang)絡文件系統
共享存(cun)儲文件系統
基于對象(xiang)的存(cun)儲子系統
大數據(ju)存(cun)儲子系統(tong)
Google GFS
Facebook Haystack
Amazon Dynamo
Yahoo PNUTS
Google BigTable
云存儲服務
Amazon Simple Storage Service
Google Storage for Developers
六、培訓證書(shu)
證書可作為專業技術人員職(zhi)(zhi)業能(neng)力考核的(de)證明，以及專業技術人員崗位(wei)聘用、任職(zhi)(zhi)、定(ding)級和晉升職(zhi)(zhi)務的(de)重(zhong)要(yao)依(yi)據。
大數據與(yu)云(yun)計算(suan)培訓
轉載：//bamboo-vinegar.cn/gkk_detail/153.html
已開課(ke)時間Have start time
大數據課程公開培訓班
- 大數據時代財務管理-從業務 楊云
- 大數據、云計算與信息化演進 何(he)寶(bao)宏
- 贏在未來-大數據時代的財務 呂(lv)軍
- 大數據時代的績效管理-精細 楊云
- 大數據時代的商業數據分析管 鄒紅偉
- 大數據時代的績效管理 楊(yang)云(yun)
- 大數據時代企業公司化運營 楊云
- 大數據分析（Hadoop） 朱(zhu)永(yong)春(chun)
- 大數據分析與洞察 孫子(zi)辰
- 大數據時代的財務管理—從業 楊云
- 大數據時代營銷數據分析技能 陳劍
- 產品數據管理高級實務培訓 劉海濤
大數據課程內訓
- Quick BI 數據分析 張曉如
- 數字經濟與數據技術應用與變 王文琭(lu)
- 大數據應用現狀與未來發展重 胡國慶(qing)
- 數字技術與數字工具應用 王文琭
- 《銀行數據驅動經營方法論與 宗錦(
- 以需求為導向的大數據精準營 張世民
- 數智化領域新技術與典型應用 胡國慶
- 政府數字化轉型實務 焦波
- 《數據資源入表與數據治理》 鐘(zhong)凱(kai)
- 數字經濟時代銀行開展數字化 李(li)勇
- 《跨境電商全鏈路AI賦能轉 黃光偉
- 數字時代下的營銷趨勢 韓天成