加米谷大數(shù)據(jù)開發(fā)課程明細

從理論到實訓代碼到云端實操環(huán)境到項目實戰(zhàn)，手把手教您從0掌握大數(shù)據(jù)技術，帶您走進大數(shù)據(jù)世界。

第一階段（Java設計與編程思想）

Java基礎                 1、Java是什么類型語言，Java語言的編譯、解釋、執(zhí)行過程                 2、Java運行環(huán)境的安裝和配置                 3、標識符與關鍵字                 4、基本數(shù)據(jù)類型                 5、方法初識                 6、運算符與表達式                 7、分支語句                 8、循環(huán)語句                 9、Math、Date、Random

Java面向對象                 1、什么是面向對象                 2、類、對象、數(shù)組                 3、介紹面向對象多態(tài)                 4、抽象類的概念                 5、抽象類的聲明語法                 6、抽象類被繼承                 7、接口的聲明語法                 8、實現(xiàn)接口的實現(xiàn)類                 9、普通類與抽象類思想上的區(qū)別                 10、抽象類與接口思想上的區(qū)別

Java高級                 1、異常處理                 2、I/O、JavaBean                 3、反射/多線程                 4、網(wǎng)絡編程                 5、泛型和集合

數(shù)據(jù)庫與JDBC                 1、安裝與介紹                 2、創(chuàng)建數(shù)據(jù)庫與表                 3、表與表之間關系                 4、字段類型/函數(shù)/查詢語句                 5、存儲器/觸發(fā)器                 6、增刪改查                 7、事務并發(fā)                 8、操作存儲器和觸發(fā)器

第二階段（Web前端開發(fā)）

HTML基礎                 1、Web開發(fā)簡介                 2、開發(fā)環(huán)境介紹                 3、html與css編程介紹                 4、JavaScript編程介紹                 5、頭部標記/文字格式標記                 6、字體/列表/圖像標記                 7、超鏈接/表格/表單                 8、框架

CSS3                 1、web標準                 2、css語法基礎與選擇器                 3、css繼承與優(yōu)先級                 4、css編寫原則                 5、css屬性與浮動                 6、css盒子模型                 7、css定位

JS腳本編程                 1、JavaScript定義                 2、JavaScript特點與核心                 3、JavaScript開發(fā)環(huán)境                 4、JavaScript基本使用                 5、DOM介紹與節(jié)點相關操作                 6、DOM類型與操作                 7、DOM獲取表格元素                 8、DOM獲取元素樣式

事件與JQuery框架                 1、事件介紹與內(nèi)聯(lián)模型                 2、腳本模型與事件對象                 3、鍵盤事件與鼠標事件                 4、JQuery基本語法                 5、JQuery常用選擇器                 6、JQuery事件處理                 7、JQuery文檔操作

第三階段（JavaEE進階）

Web環(huán)境配置                 1、Tomcat服務器

JavaWeb開發(fā)核心                 1、JSP&Servlet基礎                 2、JSP&Servlet高級

SSM框架                 1、SpringIOC                 2、SpringAOP                 3、SpringMVC配置文件詳解                 4、OGNL詳解                 5、控制器的實現(xiàn)                 6、注解方式實現(xiàn)                 7、文件上傳與下載                 8、攔截器詳解                 9、表單驗證流程詳解                                 10、SSM + Jquery + Ajax整合開發(fā)

Mysql                 1、數(shù)據(jù)庫基礎知識                 2、SQL理論基礎和數(shù)據(jù)類型                 3、DDL、LML、DQL語句                 4、函數(shù)和關聯(lián)查詢                 5、子查詢、約束、視圖                 6、編程存儲過程，觸發(fā)器                 7、Sql查詢案例和優(yōu)化

第四階段（大數(shù)據(jù)基礎：Linux基礎、Maven基礎）

Linux系統(tǒng)管理                 1、Linux安裝                 2、用戶與用戶組管理                 3、文件操作                 4、目錄操作                 5、RPM安裝與卸載                 6、YUM安裝與卸載                 7、打包、壓縮與解壓縮                 8、網(wǎng)絡配置(network)                 9、后臺運行程序（nohup & ;）

Shell編程設計                 1、Shell是什么                 2、Shell分類                 3、基本語法與環(huán)境變量                 4、預定義變量                 5、用戶變量                 6、特殊符號使用                 7、邏輯判斷與流程控制                 8、正則表達式                 9、模式匹配                 10、Grep使用

Maven部署/配置/倉庫                 1、Maven部署                 2、Maven配置                 3、Maven安裝目錄解析                 4、Maven本地倉庫與中央倉庫                 5、Maven遠程倉庫                 6、Maven 私服                 7、如何從Maven遠程倉庫下載                 8、Maven添加遠程倉庫                 9、部署至遠程倉庫                                 10、Maven鏡像

Maven POM                 1、Maven核心元素                 2、Maven核心插件/坐標/依賴                 3、Maven依賴范圍                 4、Maven傳遞性依賴                 5、Maven依賴調解/可選依賴/排除依賴                 6、Maven快照及發(fā)布版本                 7、Maven聚合與繼承                 8、Maven依賴管理與插件管理                 9、Maven反應堆與靈活構建

第五階段（HDFS分布式文件系統(tǒng)）

HDFS原理剖析                 1、HDFS概念                 2、HDFS內(nèi)核/讀寫原理                 3、HDFS數(shù)據(jù)塊                 4、HDFS數(shù)據(jù)副本的存放策略                 5、HDFS安全模式/負載均衡/機架感應                 6、HDFS名稱節(jié)點NameNode                 7、HDFS第二名稱節(jié)點SecondNameNode                 8、HDFS高可用HA/聯(lián)邦Federation

HDFS 編程實踐                 1、HDFS分布式文件讀取                 2、HDFS寫入剖析/讀取剖析組                 3、HDFS一致模型/數(shù)據(jù)完整性                 4、HDFS壓縮/序列化                 5、HDFS基于文件的數(shù)據(jù)結構                 6、HDFS數(shù)據(jù)備份/網(wǎng)絡拓撲                 7、HDFS集群的構建和安裝                 8、HDFS配置管理/環(huán)境設置/安全性                 9、文件系統(tǒng)操作Hadoop fs與hdfs dfs

第六階段+第七階段+第八階段（MapReduce分布式計算模型+Yarn分布式資源管理器+Zookeeper分布式協(xié)調服務

MapReduce原理剖析                 1、MapReduce產(chǎn)生背景                 2、MapReduce適用場景                 3、MapReduce基本原理                 4、MapReduce作業(yè)執(zhí)行流程                 5、MapReduce基本組件                 6、MapReduce JobTracker                 7、MapReduce TaskTracker

MapReduce實踐                 1、MapReduce高級編程應用                 2、MapReduce Combiner                 3、MapReduce Partitioner                 4、MapReduce性能優(yōu)化技巧                 5、MapReduce案例分析                 6、MapReduce開發(fā)實踐操作

Yarn原理剖析                 1、Yarn架構設計                 2、Yarn核心原理                 3、Yarn主節(jié)點ResourceManager                 4、Yarn從節(jié)點NodeManager                 5、Yarn從節(jié)點Container                 6、Yarn的Application

Zookeeper原理+實踐                 1、Zookeeper 介紹                 2、Zookeeper核心原理                 3、Zookeeper結構                 4、Zookeeper Server                 5、Zookeeper Client程                                 6、Zookeeper訪問                 7、Zookeeper常用訪問工具

第九階段+第十階段（Hbase分布式數(shù)據(jù)庫+Hive分布式數(shù)據(jù)倉庫）

Hbase原理剖析                 1、Hbase存儲原理                 2、Hbase列式存儲原理                 3、Hbase稀疏存儲設計                 4、Hbase KeyValue存儲設計                 5、Hbase數(shù)據(jù)多版本                 6、Hbase Rowkey設計                 7、Hbase 存儲無模式設計

Hbase編程實戰(zhàn)象                 1、Hbase 訪問Shell接口實踐                 2、Hbase 訪問API接口實踐                 3、Hbase 實戰(zhàn)訓練

Hive原理剖析                 1、Hive介紹                 2、Hive應用場景                 3、Hive架構                 4、Hive運行原理                 5、Hive命名空間                 6、Hive庫的位置                 7、Hive數(shù)據(jù)倉庫

Hive實踐                 1、Hive創(chuàng)建庫                 2、Hive修改庫與刪除庫                 3、Hive普通表與帶分區(qū)的表                 4、Hive帶Bucket的表/外部表/相似表                 5、Hive分區(qū)/Bucket管理/向Hive表中裝載與插入數(shù)據(jù)                 6、創(chuàng)建并加載數(shù)據(jù)到Hive表與導出數(shù)據(jù)                 7、Hive SelectFrom/Where/GroupBy/Join

第十一階段+第十二階段（FlumeNG分布式數(shù)據(jù)采集系統(tǒng)+Sqoop大數(shù)據(jù)遷移系統(tǒng)）

FlumeNG原理剖析                 1、FlumeNG概述                 2、FlumeNG部署配置                 3、FlumeNG分布式架構                 4、FlumeNG應用場景                 5、FlumeNG與同類產(chǎn)品的優(yōu)缺點                 6、FlumeNG工作原理                 7、FlumeNG運行時系統(tǒng)實現(xiàn)的邏輯

FlumeNG實踐                 1、FlumeNG指定文件數(shù)據(jù)作為數(shù)據(jù)源                 2、FlumeNG監(jiān)測并讀取新增文件數(shù)據(jù)作為數(shù)據(jù)源                 3、FlumeNG命令輸出作為數(shù)據(jù)源                 4、FlumeNG監(jiān)聽TCP的端口作為數(shù)據(jù)源                 5、FlumeNG獲取HTTP數(shù)據(jù)作為數(shù)據(jù)源                 6、FlumeNG HDFS作為輸出源                 7、FlumeNG本地目錄作為輸出源

Sqoop原理剖析                 1、Sqoop介紹                 2、Sqoop架構原理

Sqoop實踐                 1、數(shù)據(jù)遷入大數(shù)據(jù)存儲                 2、數(shù)據(jù)遷出大數(shù)據(jù)存儲

第十三階段+第十四階段（Scala大數(shù)據(jù)黃金語言+kafka分布式總線系統(tǒng)）

Scala語法剖析                 1、Scala基礎                 2、Scala流程控制                 3、Scala異常處理                 4、Scala數(shù)據(jù)類型                 5、Scala運算符                 6、Scala函數(shù)基礎                 7、Scala匿名函數(shù)                 8、Scala嵌套函數(shù)                 9、Scala遞歸函數(shù)、部分應用函數(shù)、柯里函數(shù)、高階函數(shù)

Scala應用實踐                 1、Scala閉包                 2、Scala對象                 3、Scala特征                 4、Scala模式匹配                 5、Scala隱式轉換                 6、Scala Lists                 7、Scala Seqs                 8、Scala Sets                 9、Scala Maps                 10、Scala Tuples、Scala Iterators、Scala Options

Kafka原理剖析                 1、Kafka初識                 2、Kafka主題                 3、Kafka日志                 4、Kafka生產(chǎn)者                 5、Kafka消費者                 6、Kafka消費組                 7、Kafka消息讀寫原理                 8、Kafka位移管理                 9、Kafka副本機制、分布式、消息傳送機制

Kafka實踐                 1、Kafka命令工具                 2、Kafka生產(chǎn)API                 3、Kafka消費API                 4、Kafka實戰(zhàn)訓練

第十五階段+第十六階段+第十七階段（SparkCore大數(shù)據(jù)計算基石+SparkSQL數(shù)據(jù)挖掘利器+SparkStreaming流式計算平臺）

SparkCore核心原理                 1、SparkCore 基礎原理                 2、SparkCore核心代碼剖析                 3、SparkCore運行架構                 4、Rdd編程模型                 5、Rdd內(nèi)存彈性分布式數(shù)據(jù)集的工作原理和機制                 6、RDD Transform                 7、RDD Action

SparkSQL原理                 1、SparkSQL簡介                 2、SparkSQL運行原理                 3、SparkSQL程序開發(fā)光速入門                 4、SparkSQL程序開發(fā)之數(shù)據(jù)源                 5、SparkSQL程序開發(fā)之DataFrame態(tài)                 6、SparkSQL程序開發(fā)之DataSet                 7、SparkSQL程序開發(fā)之數(shù)據(jù)類型                 8、SparkSQL實戰(zhàn)訓練

SparkStreaming原理                 1、SparkStreaming原理                 2、SparkStreaming與Storm 在流處理方面的比較                 3、SparkStreaming與Spark 交互的實現(xiàn)機制                 4、SparkStreaming核心代碼剖析

SparkStreaming實踐                 1、SparkStreaming 滑動窗口                 2、SparkStreaming foreachRDD                 3、SparkStreaming 性能優(yōu)化                 4、SparkStreaming 持久化                 5、SparkStreaming Checkpoint                 6、SparkStreaming 容錯                 7、SparkStreaming 事務                 8、SparkStreaming客戶端編程實踐

第十八階段+第十九階段（SparkMllib機器學習平臺+SparkGraphx圖計算平臺）

SparkMllib算法模型原理                 1、數(shù)據(jù)挖掘基礎知識                 2、機器學習基礎知識                 3、機器學習案例                 4、Mahout/Spark MLib 并行挖掘平臺中的關聯(lián)規(guī)則                 5、Mahout/Spark MLib 并行挖掘平臺中的預測協(xié)同過濾                 6、Mahout/Spark MLib 并行挖掘平臺中的推薦模型                 7、SparkMllib模型的原理                 8、SparkMllib模型的算法實現(xiàn)

SparkMllib算法實踐                 1、推薦分析模塊的深度剖析                 2、推薦分析算法MapReduce 并行實現(xiàn)及應用開發(fā)                 3、關聯(lián)規(guī)則挖掘算法MapReduce 并行實現(xiàn)及應用開發(fā)                 4、頻繁模式挖掘算法的 MapReduce 并行實現(xiàn)及應用開發(fā)                 5、回歸預測的 MapReduce 實現(xiàn)和 Spark 實現(xiàn)技術                 6、局部加權線性回歸預測算法 MapReduce、Spark實現(xiàn)技術

SparkGraphX核心原理                 1、SparkGraphX基礎原理                 2、SparkGraphX核心代碼剖析

SparkGraphX實踐                 1、SparkGraphX客戶端 API 介紹                 2、基于 Spark GraphX 實現(xiàn)圖數(shù)據(jù)的分析程序開發(fā)

第二十階段（大數(shù)據(jù)項目實戰(zhàn)）

電商數(shù)據(jù)離線分析平臺                 用SparkSQL、SparkStreaming，進行離線計算和實時計算業(yè)務模塊的開發(fā)。實現(xiàn)了用戶訪問session  分析、頁面單跳轉化率統(tǒng)計、熱門商品離線統(tǒng)計、廣告點擊流量實時統(tǒng)計4  個業(yè)務模塊。合理的將實際業(yè)務模塊進行技術整合與改造，項目完全涵蓋了Spark Core、Spark SQL和Spark  Streaming這三個技術框架中幾乎所有的功能點、知識點以及性能優(yōu)化點

移動基站信號監(jiān)測大數(shù)據(jù)                 移動通信基站信號數(shù)據(jù)采集，實時分析及移動信號監(jiān)測系統(tǒng)。該系統(tǒng)利用移動與聯(lián)通兩家運營商的信令數(shù)據(jù)，通過對基站信號大數(shù)據(jù)的實時提取與分析，結合基站信號覆蓋模式、信號強弱、覆蓋區(qū)域等實際情況，實時動態(tài)采集及分析監(jiān)測置信度較高、精度較高的移動基站信號監(jiān)測系統(tǒng)。

運維大數(shù)據(jù)平臺                 銀行和金融服務行業(yè)相關系統(tǒng)每天產(chǎn)生數(shù)以 TB 計的交易、支付、渠道等各種日志數(shù)據(jù)。運維大數(shù)據(jù)平臺為迅速增長的海量數(shù)據(jù)建立全新的處理策略和維護能力，應對日趨復雜的管理需求。運維大數(shù)據(jù)通過海量日志數(shù)據(jù)分析，可以幫助銀行機構提高服務質量，占據(jù)競爭優(yōu)勢。

輿情大數(shù)據(jù)平臺                 輿情大數(shù)據(jù)監(jiān)測平臺系統(tǒng)是針對互聯(lián)網(wǎng)新興媒體，通過對海量網(wǎng)絡輿論信息進行實時的自動輿情采集，輿情分析，輿情匯總，輿情監(jiān)視，并識別其中的關鍵輿情信息，及時通知到相關人員，從而第一時間應急響應，為正確輿論導向及收集網(wǎng)友意見提供直接支持的一套信息化平臺。