BD211:企業級大數據技術與應用

開班計劃時間:18 小時
上課地點 上課方式 預計上課時間
北京 線下面授
2020/4/7、8、9
廣州 線下面授
2019/12/19、20、21
深圳 線下面授
2020/2/21、22、23
預約試聽 馬上咨詢
課程介紹
適用對象:對大數據、分布式存儲分析等感興趣的朋友;云計算、大數據從業者; 熟悉Hadoop生態體系,想了解和學習Hadoop與Spark整合在企業應用實戰案例的朋友; 系統架構師、系統分析師、高級程序員、資深開發人員; 牽涉到大數據處理的數據中心運行、規劃、設計負責人; 政府機關,金融保險、移動互聯網等大數據單位的負責人。
學習收獲:1. 了解大數據業內最新發展趨勢,深入掌握Hadoop的原理,Hadoop生態系統 2. 深入學習yarn 框架下的MapReduce,掌握MapReduce研發 3. 掌握HDFS 開發 4. 了解Hadoop集群規劃,應用案例解析 5. 列式數據庫HBase的基本原理,應用場景,掌握基本的編程技巧 6. 學習掌握 Hive工具 , 分布式協調系統Zookeeper的基本原理,應用場景,掌握基本的編程技巧 7. 掌握Spark技術 8. 掌握Impala 9. 掌握相關的大數據核心組件
詳細大綱
1 大數據概念及行業應用
1.1 大數據基本概念
1.1.1 什么是大數據
1.1.2 為什么需要大數據
1.1.3 如何理解大數據架構
1.1.4 大數據關鍵技術介紹
1.1.5 大數據庫關注的四項技術
1.1.6 大數據時代數據庫技術的發展
1.1.7 大數據關鍵技術的應用場景
1.1.8 典型的大數據平臺架構實現
1.2 電信運營商大數據
1.2.1 運營商面對的大數據
1.2.2 運營商大數據在哪里
1.2.3 運營商面臨的大數據挑戰
1.2.4 運營商大數據建設理念
1.3 商業大數據的行業應用
1.3.1 大數據在互聯網的應用
1.3.2 大數據運營商的應用
1.3.3 大數據在金融行業中的應用案例
1.4 業界常用大數據平臺介紹
1.4.1 Apache Hadoop
1.4.2 Cloudera
1.4.3 Hortonworks
1.4.4 Oracle Exdata
1.4.5 IBM Biginsight
1.4.6 華為 FusionInsight
2 HDFS分布式文件系統與MapReduce技術原理與應用
2.1 HDFS技術原理和功能架構
2.1.1 HDFS概述及行業應用
2.1.2 HDFS在Hadoop中的位置
2.1.3 HDFS的系統架構
2.1.4 HDFS的設計目標
2.1.5 HDFS的高可用機制
2.1.6 HDFS的副本機制
2.1.7 HDFS的元數據持久化機制
2.1.8 HDFS的數據輸入輸出方式
2.1.9 HDFS的數據存儲機制
2.1.10 HDFS支持的接口
2.2 HDFS的安裝和部署
2.2.1 HDFS的部署規劃
2.2.2 HDFS的組網方法與原則
2.2.3 HDFS的部署原則及約束
2.2.4 HDFS的多種部署方式
2.2.5 HDFS常用參數及配置建議
2.3 HDFS運維管理
2.3.1 HDFS的目錄結構
2.3.2 HDFS的服務檢查
2.3.3 HDFS日志結構與作用
2.3.4 HDFS常用維護命令
2.3.5 HDFS健康檢查關鍵指標
2.3.6 HDFS常見問題及定位方法
2.4 MapReduce & Yarn 計算框架
2.4.1 MapReduce和Yarn技術原理
2.4.2 MapReduce的功能與定義
2.4.3 MapReduce的應用場景
2.4.4 Yarn的定義及產生背景
2.4.5 Yarn在計算框架中的定位
2.4.6 MapReduce的計算過程
2.4.7 Yarn的框架與通信
2.4.8 使用Yan進行資源管理和任務調度
2.4.9 MapReduce & Yarn常用參數配置
2.4.10 運行一個MapReduce程序
2.4.11 MapReduce&Yarn的目錄結構
2.4.12 MapReduce&Yarn的服務檢查
2.4.13 MapReduce&Yarn常用維護命令
2.4.14 MapReduce&Yarn健康檢查關鍵指標
3 HBase分布式數據庫及Zookeeper集群分布式協調服務技術應用
3.1 HBase技術原理
3.1.1 HBase的功能與架構
3.1.2 HBase的技術原理
3.1.3 HBase與關系數據庫的比較
3.1.4 HBase的應用場景
3.1.5 HBase在產品中的定位
3.1.6 HBase的應用場景
3.1.7 HBase的數據存儲
3.1.8 HBase的輸入輸出流程
3.2 HBase的安裝與配置
3.2.1 HBase的部署規劃
3.2.2 HBase的部署方法
3.2.3 HBase的監控方法
3.2.4 HBase的災備配置
3.3 HBase的運維管理
3.3.1 HBase的目錄結構
3.3.2 HBase的日志與作用
3.3.3 HBase的常用維護命令
3.3.4 HBase的參數配置
3.3.5 HBase的性能優化
3.3.6 HBase的備份與恢復
3.3.7 HBase的健康檢查
3.3.8 HBase常見問題及定位方法
3.4 Zookeeper技術架構
3.4.1 Zookeeper的功能與架構
3.4.2 Zookeeper的技術原理
3.4.3 Zookeeper的關鍵特性
3.4.4 Zookeeper與組件之間的關系
3.5 Zookeeper的安裝與配置
3.5.1 Zookeeper的部署規劃
3.5.2 Zookeeper的部署方法
4 Hive數據倉庫工具與實時查詢Impala的技術與應用
4.1 Hive技術架構
4.1.1 Hive的功能與架構
4.1.2 Hive在大數據平臺產品中的位置
4.1.3 Hive的優缺點
4.1.4 Hive的應用場景
4.1.5 Hive與傳統數據倉庫的比較
4.1.6 Hive的數據存儲結構
4.1.7 Hive的權限管理
4.2 Hive的安裝與配置
4.2.1 Hive的部署規劃
4.2.2 Hive的部署的關鍵參數配置
4.2.3 Hive的備份與恢復操作
4.2.4 Hive的監控配置
4.3 Hive的運維管理
4.3.1 Hive的目錄結構介紹
4.3.2 Hive的常用維護命令
4.3.3 Hive的參數含義與配置
4.3.4 Hive的性能優化
4.3.5 Hive常見問題及定位方法
4.4 Spark技術架構
4.4.1 Spark的功能與架構
4.4.2 Spark的技術原理
4.4.3 Spark與Hadoop的異同點
4.4.4 Spark的應用場景
4.5 Spark安裝配置
4.5.1 Spark的部署規劃
4.5.2 Spark的部署原則與約束
4.5.3 Spark的關鍵參數與配置
4.5.4 Spark客戶端工具的使用
4.5.5 在Spark上運行Scala程序
4.6 Spark運維管理
4.6.1 Spark的目錄結構
4.6.2 Spark的相關進程
4.6.3 Spark日志目錄結構
4.6.4 使用開發工具測試Spark
4.6.5 Spark常見問題及定位方法
5 大數據其他相關技術
5.1 Sqoop數據轉換技術架構
5.1.1 Sqoop的功能與架構
5.1.2 Sqoop的技術原理
5.1.3 Sqoop的應用場景
5.2 Solr數據搜索技術架構
5.2.1 Solr的功能與架構
5.2.2 Solr的技術原理
5.2.3 Solr的關鍵特性
5.2.4 Solr的應用場景
5.3 Storm流式計算技術架構
5.3.1 Storm的功能與架構
5.3.2 Storm的技術原理
5.3.3 Storm的關鍵特性
5.3.4 Storm的應用場景
5.4 Storm的安裝與配置
5.4.1 Storm的部署規劃
5.4.2 Storm的安裝部署
5.5 Storm的運維管理
5.5.1 Storm的常用維護命令
5.5.2 Storm的參數配置
5.5.3 Storm的性能優化
5.5.4 Storm常見問題及定位方法
5.6 Oozie工作流引擎技術架構
5.6.1 Oozie的功能與架構
5.6.2 Oozie的技術原理
5.6.3 Oozie的關鍵特性
5.6.4 Oozie的應用場景
課程評價

課程評價({{EvaluationTotal}})

課程滿意度

評價

您還沒有給課程評分哦

滿意度

    追加評價:

課程咨詢
內容:

您還沒有填寫內容!

暫無問答,趕緊去提問吧
{{item.AnswerState==1?"已解決":"未解決"}}
{{item.Content}}
{{item.StudentAskTime}}
{{itemanswer.UserName}}
{{itemanswer.Content}}
{{itemanswer.StudentAskTime}}
同類課程推薦 more
嘉為大講堂 more
原創文章 more

您好! 歡迎來到學領未來 !

學領未來提供線上及線下的學習服務,根據您的位置,為您推薦最近的線下培訓地點 分站,你選擇:

广东十一选五技巧规律