中信網(wǎng)培字[2013]019號(hào)

關(guān)于舉辦“大數(shù)據(jù)的處理技巧及案例分析”高級(jí)研修班的通知

各有關(guān)單位：

　　　大數(shù)據(jù)分析作為數(shù)據(jù)分析的前沿技術(shù)，廣泛應(yīng)用于物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等新興產(chǎn)業(yè)。為加強(qiáng)大數(shù)據(jù)分析，創(chuàng)新發(fā)展頂層設(shè)計(jì)和科學(xué)布局，推動(dòng)相關(guān)人員更好理解和掌握大數(shù)據(jù)分析的關(guān)鍵技術(shù)原理和未來發(fā)展方向，使各企事業(yè)單位利益最大化，中國信息協(xié)會(huì)信息服務(wù)網(wǎng)絡(luò)委員會(huì)決定舉辦“大數(shù)據(jù)的處理技巧及案例分析”高級(jí)研修班，并委托北京中建研信息管理咨詢中心承辦，望各單位收到通知后組織相關(guān)人員參加。現(xiàn)將有關(guān)事宜通知如下：

課程內(nèi)容

課程模塊 課程主題 主要內(nèi)容 案例和演示

模塊一 Hadoop的來源和動(dòng)機(jī) 傳統(tǒng)大規(guī)模系統(tǒng)存在的問題 

Hadoop概述 

Hadoop分布式文件系統(tǒng)      

MapReduce工作原理         

Hadoop集群剖析            

 Hadoop生態(tài)系統(tǒng)對(duì)一種新的解決方案的需求

Hadoop的行業(yè)應(yīng)用案例分析

Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系 Hadoop在淘寶、支付寶的作用

電商眼中的Hadoop和推薦系統(tǒng)。

移動(dòng)大云項(xiàng)目(big cloud)中的Hadoop

聯(lián)通使用Hadoop/Hbase解決3G詳單查詢問題。

模塊二 Hadoop生態(tài)系統(tǒng)介紹和演示 Hadoop HDFS 和 MapReduce 

Hadoop數(shù)據(jù)庫之HBase 

Hadoop數(shù)據(jù)倉庫之Hive

Hadoop數(shù)據(jù)處理腳本Pig 

Hadoop數(shù)據(jù)接口Sqoop和Flume，Scribe DataX 

Hadoop工作流引擎 Oozie Yahoo如何使用Hadoop構(gòu)建大規(guī)模搜索的應(yīng)用

FaceBook 基于Hadoop構(gòu)建數(shù)據(jù)倉庫

模塊三 Hadoop組件詳解 Hadoop HDFS 基本結(jié)構(gòu)

Hadoop HDFS 副本存放策略

Hadoop NameNode 詳解

Hadoop SecondaryNameNode 詳解 

Hadoop DataNode 詳解

Hadoop JobTracker 詳解 

Hadoop TaskTracker 詳解 Hadoop Mapper類核心代碼

Hadoop Reduce類核心代碼

Hadoop 核心代碼

模塊四 Hadoop安裝和部署 Hadoop系統(tǒng)模塊組件概述

Hadoop試驗(yàn)集群的部署結(jié)構(gòu)

Hadoop 安裝依賴關(guān)系

Hadoop 生產(chǎn)環(huán)境的部署結(jié)構(gòu)

Hadoop集群部署

Hadoop 高可用配置方法

Hadoop 集群簡(jiǎn)單測(cè)試方法 

Hadoop 集群異常Debug方法 Hadoop安裝部署實(shí)驗(yàn)

Red hat Linux基礎(chǔ)環(huán)境搭建

Hadoop 單機(jī)系統(tǒng)版本安裝配置

Hadoop 集群系統(tǒng)版本安裝和啟動(dòng)配置 

使用 Hadoop MapReduce Streaming 快速測(cè)試系統(tǒng)

Hadoopcore-site，hdfs-site，mapred-site 配置詳解

模塊五 Hadoop和數(shù)據(jù)庫技術(shù)優(yōu)劣勢(shì)對(duì)比 Hadoop/Hive 對(duì)比 Oracle 在構(gòu)建數(shù)據(jù)倉庫上的優(yōu)劣勢(shì)

Hadoop 如何和傳統(tǒng)IT系統(tǒng)配合完成原來不可能的任務(wù) Apache社區(qū)版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本

模塊六 編寫MapReduce高級(jí)程序 使用 Hadoop MapReduce Streaming 編程

MapReduce流程          

剖析一個(gè)MapReduce程序 

基本MapReduceAPI 概念  

驅(qū)動(dòng)代碼 Mapper、Reducer

Hadoop流 

API 使用Eclipse進(jìn)行快速開發(fā)               

新MapReduce API 

MapReduce的優(yōu)化

MapReduce的任務(wù)調(diào)度

MapReduce編程實(shí)戰(zhàn)

如何利用其他Hadoop相關(guān)技術(shù)，包括Apache Hive， Apache Pig，Sqoop和Oozie等 

滿足解決實(shí)際數(shù)據(jù)分析問題的高級(jí)Hadoop API Hadoop Streaming 和 Java MapReduce Api 差異。

 MapReduce 實(shí)現(xiàn)數(shù)據(jù)庫功能

利用Combiners來減少中間數(shù)據(jù)

數(shù)據(jù)壓縮解壓算法

基于統(tǒng)計(jì)模型的壓縮算法 ：Huffman編碼、算數(shù)編碼、PPM算法

基于字典模型的編碼：LZ77算法、LZ78算法、LZW算法

面向?qū)崟r(shí)數(shù)據(jù)的專用壓縮算法：矩形波串法、后向斜率法、旋轉(zhuǎn)門壓縮算法。

其他壓縮算法：RLE文本壓縮算法、BWT算法

編寫Partitioner來優(yōu)化負(fù)載平衡

 直接訪問Hadoop分布式文件系統(tǒng)（HDFS）

Hadoop的join操作

輔助排序在Reducer方的合并

 定制Writables和WritableComparables 

使用SequenceFiles和Avro文件保存二進(jìn)制數(shù)據(jù) 

創(chuàng)建InputFormats OutputFormats

Hadoop的二次排序

Hadoop的海量日志分析

在Map方的合并       

模塊七 集成Hadoop到現(xiàn)有工作流 

及Hadoop API深入探討 存儲(chǔ)系統(tǒng) 

利用Sqoop從關(guān)系型數(shù)據(jù)庫系統(tǒng)中導(dǎo)入數(shù)據(jù)到Hadoop 

利用Flume導(dǎo)入實(shí)時(shí)數(shù)據(jù)到Hadoop 

ToolRunner介紹、使用MRUnit進(jìn)行測(cè)試 

使用Configure和Close方法來進(jìn)行Map/Reduce設(shè)置和關(guān)閉 使用FuseDFS和Hadoop訪問HDFS

使用分布式緩存（Distributed Cache）

直接訪問Hadoop分布式文件系統(tǒng)（HDFS） 

利用Combiners來減少中間數(shù)據(jù)

編寫Partitioner來優(yōu)化負(fù)載平衡  

模塊八 使用Hive和Pig開發(fā)及技巧 Hive和Pig基礎(chǔ)              

Hive的作用和原理說明

Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系

Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流

Hive 部署和安裝

Hive Cli 的基本用法

HQL基本語法

使用Oozie的動(dòng)機(jī)      

 Oozie工作流定義格式   使用JDBC 連接Hive進(jìn)行查詢和分析

使用正則表達(dá)式加載數(shù)據(jù)

HQL高級(jí)語法

編寫UDF函數(shù)

編寫UDAF自定義函數(shù)

使用Sqoop進(jìn)行數(shù)據(jù)分析

使用oozie配置工作流

phpHiveAdmin 安裝和使用

模塊九 實(shí)用開發(fā)技巧 排序和搜索索引            

用Mahout進(jìn)行機(jī)器學(xué)習(xí) 

Term Frequency – Inverse Document Frequency 

圖論簡(jiǎn)介   Word Co-Occurrenc

用Hadoop表示圖

一個(gè)圖算法的實(shí)現(xiàn)：?jiǎn)卧醋疃搪窂?/div>