您所在的位置:名課堂>>內(nèi)訓課程>>職業(yè)技能培訓
數(shù)據(jù)分析與數(shù)據(jù)挖掘方法論與工具
【課程編號】:NX20893
數(shù)據(jù)分析與數(shù)據(jù)挖掘方法論與工具
【課件下載】:點擊下載課程綱要Word版
【所屬類別】:職業(yè)技能培訓
【培訓課時】:3天,6小時/天
【課程關鍵字】:數(shù)據(jù)分析培訓
我要預訂
咨詢電話:027-5111 9925 , 027-5111 9926手機:18971071887郵箱:Service@mingketang.com
課程簡介
隨著大數(shù)據(jù)時代的快速到來,以及大數(shù)據(jù)在生產(chǎn)生活中迅速應用,大數(shù)據(jù)領域如雨后春筍般的出現(xiàn)大量的新技術,如Hadoop、Spark等技術已經(jīng)成為大數(shù)據(jù)技術中最為重要的一部分,被越來越多的企業(yè)所使用。涵蓋了大數(shù)據(jù)領域的數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、機器學習、人工智能、大數(shù)據(jù)應用開發(fā)等各種不同類型的計算操作,應用范圍廣泛、前景非常廣闊。本課程是尹老師多年工作經(jīng)驗的總結(jié)和歸納,從實際業(yè)務案例為入口,使學員從理論層到實操層面系統(tǒng)的學習數(shù)據(jù)處理技術,使學員深入理解數(shù)據(jù)分析。通過本課程的學習,學員即可以正確的分析企業(yè)的數(shù)據(jù),為管理者、決策層提供數(shù)據(jù)支撐。
本課程重點講解的數(shù)據(jù)分析和數(shù)據(jù)挖掘方法論、算法、思路、流程、工具,并通過對SPSS與SAS數(shù)據(jù)處理軟件實現(xiàn),為企業(yè)的戰(zhàn)略發(fā)展提供參考。
培訓目標
1、介紹數(shù)據(jù)分析、數(shù)據(jù)挖掘方法論、算法、常用工具,在工作中如何應用數(shù)據(jù)分析;
2、介紹數(shù)據(jù)分析思路,學習提煉數(shù)據(jù)、分析數(shù)據(jù)和建立數(shù)據(jù)模型的方法和技巧;
3、讓學員掌握基礎統(tǒng)計分析知識,包括概率統(tǒng)計的概念、術語和基本統(tǒng)計的算法等;
4、使學員具備分析企業(yè)業(yè)務數(shù)據(jù)的能力,提高分析數(shù)據(jù)、發(fā)現(xiàn)問題的能力,提高工作效率;
5、使用SPSS實現(xiàn)數(shù)據(jù)挖掘與數(shù)據(jù)分析與建模;
6、使學員具備數(shù)據(jù)分析與建模為企業(yè)管理者制定戰(zhàn)略決策提供數(shù)據(jù)依據(jù);
7、使學員深入理解數(shù)據(jù)分析與數(shù)據(jù)模型的概念、技術、思維模式;
8、使學員具備數(shù)據(jù)收集、數(shù)據(jù)挖掘、信息提取的能力;
9、使學員具備利用圖形輔助思考的能力;
10、使學員具備大數(shù)據(jù)技術梳理技能,如歷史數(shù)據(jù)+預測方法+標準工序。
培訓對象
1、即將投身于大數(shù)據(jù)、數(shù)據(jù)分析、數(shù)據(jù)挖掘領域的企業(yè)或者個人;
2、本課程適合于想通過數(shù)據(jù)化決策制定企業(yè)戰(zhàn)略的決策者;
3、適合于經(jīng)常需要匯報工作的管理者;
4、對數(shù)據(jù)可視化分析、數(shù)據(jù)可視化展現(xiàn)等感興趣的人士;
5、對數(shù)據(jù)分析、數(shù)據(jù)挖掘算法等感興趣的人士;
6、大型集團公司、大型網(wǎng)站、電商網(wǎng)站等數(shù)據(jù)挖掘、數(shù)據(jù)分析人員;
7、云計算、大數(shù)據(jù)從業(yè)者;
8、系統(tǒng)架構(gòu)師、系統(tǒng)分析師、高級程序員、資深開發(fā)人員;
9、牽涉到大數(shù)據(jù)的數(shù)據(jù)中心運維、規(guī)劃、設計負責人;
10、政府機關,金融保險、移動互聯(lián)網(wǎng)、能源行業(yè)等大數(shù)據(jù)相關人員;
11、高校、科研院所統(tǒng)計分析研究員,涉及到數(shù)據(jù)處理的人員;
培訓方式
以課堂講解、演示、案例分析為主,輔以互動研討、現(xiàn)場答疑、學以致用。
課程內(nèi)容:
第一天
第1個主題:數(shù)據(jù)分析與數(shù)據(jù)挖掘概述(深入剖析數(shù)據(jù)數(shù)據(jù)分析與數(shù)據(jù)挖掘的過程與方法,介紹數(shù)據(jù)建模中的機器學習與數(shù)據(jù)挖掘)(60分鐘)
1、數(shù)據(jù)分析與建模的概念
2、數(shù)據(jù)分析與建模過程
3、數(shù)據(jù)分析模型開發(fā)過程
4、數(shù)據(jù)建模概述
5、機器學習概念
6、機器學習算法剖析
7、算法庫分類
8、算法庫
9、深度學習
10、神經(jīng)網(wǎng)絡
11、人工智能
12、商業(yè)智能
第2個主題:數(shù)據(jù)挖掘和應用(介紹數(shù)據(jù)挖掘和應用)(60分鐘)
1、數(shù)據(jù)挖掘的基本任務
2、數(shù)據(jù)挖掘建模過程
a)定義挖掘目標
b)數(shù)據(jù)取樣
c)數(shù)據(jù)探索
d)數(shù)據(jù)預處理
e)挖掘建模
f)建立模型
g)業(yè)務理解
h)模型擬合
i)訓練集
j)測試集
k)模型評價
3、常用的數(shù)學預測模型
a)線性回歸
b)回歸(預測)與分類
c)決策樹與隨機森林
d)聚類分析(kmeans)
e)關聯(lián)規(guī)則
f)時序模式
g)離群點檢測
h)深度學習
i)人工智能
j)神經(jīng)網(wǎng)絡
4、案例:如何從數(shù)據(jù)中挖掘出有價值的信息
第3個主題:數(shù)據(jù)預處理(剖析數(shù)據(jù)預處理技術)(60分鐘)
1、數(shù)據(jù)分析挖掘的過程
2、建立數(shù)據(jù)庫的方法
3、企業(yè)對數(shù)據(jù)分析挖掘的錯誤認識
4、有效運用數(shù)據(jù)為客戶提供針對性、主動化服務(精準營銷)
5、數(shù)據(jù)源
6、數(shù)據(jù)采集
7、隨機抽樣
8、數(shù)據(jù)去重
9、數(shù)據(jù)缺失值處理
10、檢驗數(shù)據(jù)邏輯錯誤
11、離群點檢測
12、數(shù)據(jù)轉(zhuǎn)換
13、數(shù)據(jù)分組
14、課堂實操:數(shù)據(jù)預處理案例講解
第4個主題:數(shù)據(jù)的描述性分析(深入剖析數(shù)據(jù)的描述性分析)(60分鐘)
1、統(tǒng)計學基本概念
2、統(tǒng)計數(shù)據(jù)的計量尺度
3、常用基本統(tǒng)計量
4、集中趨勢的描述指標
5、離散趨勢的描述指標
6、中心極限定理
7、大數(shù)定律
8、數(shù)據(jù)的分布
9、正態(tài)分布的特征
10、偏度和峰度
11、檢測數(shù)據(jù)集的分布
12、數(shù)據(jù)的分布擬合檢驗與正態(tài)性檢驗
13、抽樣標準
14、假設檢驗
15、T檢驗
16、置信區(qū)間
第5個主題:數(shù)據(jù)的可視化(實踐數(shù)據(jù)可視化)(90分鐘)
1、散點圖
2、直方圖
3、經(jīng)驗分布函數(shù)
4、QQ圖
5、莖葉圖
6、離群點檢測
7、箱型圖檢驗離群值
8、蓋帽法
9、課堂實操:SPSS描述性統(tǒng)計分析實現(xiàn)航空業(yè)客戶描述和行為分析模型
第6個主題:主成分分析和因子分析(深入剖析主成分分析及因子分析)(30分鐘)
1、主成分分析
2、總體主成分
3、樣本主成分
4、主成分分析模型
5、案例:SPSS主成分分析模型實現(xiàn)
6、課堂實操:SPSS主成分分析模型實現(xiàn)
第7個主題:方差分析(深入剖析方差分析方法及SPSS實現(xiàn))(30分鐘)
1、單因素方差分析
2、單因素方差分析模型
3、因素效應的顯著性檢驗
4、因素各水平均值的估計與比較
5、兩因素等重復試驗下的方差分析
6、統(tǒng)計模型
7、交互效應及因素效應的顯著性檢驗
8、無交互效應時各因素均值的估計與比較
9、有交互效應時因素各水平組合上的均值估計與比較
10、兩因素非重復試驗下的方差分析
11、金融案例:SPSS方差分析實現(xiàn)
12、課堂實操:SPSS方差分析實現(xiàn)
第8個主題:Bayes統(tǒng)計分析(深入剖析Bayes統(tǒng)計分析)(30分鐘)
1、Baves統(tǒng)計模型
2、Bayes統(tǒng)計分析的基本思想
3、Bayes統(tǒng)計模型
4、Bayes統(tǒng)計推斷原則
5、先驗分布的Bayes假設與不變先驗分布
6、共軛先驗分布
7、先驗分布中超參數(shù)的確定
8、Baves統(tǒng)計推斷
9、參數(shù)的Bayes點估計
10、Bayes區(qū)間估計
11、Bayes假設檢驗
12、案例:SPSS實現(xiàn)Bayes統(tǒng)計分析建模
13、課堂實操:SPSS實現(xiàn)Bayes統(tǒng)計分析建模
第二天
第9個主題:數(shù)學建模(深入剖析數(shù)學建模)(30分鐘)
1、數(shù)學建模
2、數(shù)學預測模型
3、模型評估
4、模型參數(shù)優(yōu)化
第10個主題:回歸分析與分類分析原理與應用(深入剖析數(shù)據(jù)的回歸分析與分類分析的原理以及應用)(120分鐘)
1、回歸與分類
2、回歸分析概念
3、線性回歸模型及其參數(shù)估計
4、一元線性回歸
5、一元線性回歸模型
6、一元線性回歸模型求解參數(shù)
7、損失函數(shù)
8、求偏導
9、回歸方程的顯著性檢驗
10、殘差分析
11、誤差項的正態(tài)性檢驗
12、殘差圖分析
13、統(tǒng)計推斷與預測
14、回歸模型的選取
15、窮舉法
16、逐步回歸法
17、嶺回歸分析
18、SPSS一元線性回歸
19、金融案例:SPSS一元線性回歸模型檢驗
20、多元線性回歸概述
21、多元線性回歸模型
22、金融案例:SPSS多元線性回歸實現(xiàn)航空業(yè)信用打分和評級模型
第11個主題:Logistic回歸分析(剖析Logistic回歸與其它回歸分析方法)(60分鐘)
1、Logistic回歸介紹
2、Logistic函數(shù)
3、Logistic回歸模型
4、案例:SPSS Logistic回歸實現(xiàn)
5、課堂實操:SPSS Logistic回歸實現(xiàn)航空業(yè)欺詐預測模型
6、課堂實操:SPSS Logistic回歸實現(xiàn)航空業(yè)風險分析模型
第12個主題:非線性回歸原理及應用(剖析非線性回歸原理及應用實踐)(60分鐘)
1、非線性回歸
2、雙曲線函數(shù)
3、冪函數(shù)
4、指數(shù)函數(shù)
5、對數(shù)函數(shù)
6、S型曲線
7、案例:SPSS非線性回歸實現(xiàn)
8、課堂實操:SPSS非線性回歸實現(xiàn)航空業(yè)經(jīng)營分析和績效分析模型
第13個主題:數(shù)據(jù)建模常用距離(深入剖析數(shù)據(jù)建模過程中常用的距離模型)(30分鐘)
1、數(shù)據(jù)挖掘常用距離
2、歐氏距離
3、曼哈頓距離
4、切比雪夫距離
5、閔可夫斯基距離
6、標準化歐氏距離
7、馬氏距離
8、夾角余弦
9、漢明距離
10、杰卡德距離 & 杰卡德相似系數(shù)
11、相關系數(shù) & 相關距離
12、信息熵
第14個主題:聚類分析與建模實現(xiàn)(深入剖析聚類分析以及通過SPSS聚類算法模型分析數(shù)據(jù))(60分鐘)
1、聚類分析
2、聚類算法
3、樣品間相近性的度量
4、快速聚類法
5、快速聚類法的步驟
6、用Lm距離進行快速聚類
7、譜系聚類法
8、類間距離及其遞推公式
9、譜系聚類法的步驟
10、變量聚類
11、案例:SPSS聚類實現(xiàn)及繪圖
12、案例:Kmeans應用案例剖析
13、課堂實操:編寫程序?qū)崿F(xiàn)Kmeans應用案例剖析
第15個主題:決策樹分析與實現(xiàn)(深入剖析決策樹分析以及通過SPSS決策樹模型分析數(shù)據(jù))(60分鐘)
1、決策樹分析
2、決策樹
3、決策樹構(gòu)成要素
4、決策樹算法原理
5、決策樹法的決策過程
6、決策樹算法
7、案例:SPSS實現(xiàn)決策樹分析
8、課堂實操:SPSS實現(xiàn)航空業(yè)客戶細分模型
9、隨機森林
第16個主題:關聯(lián)規(guī)則分析與實現(xiàn)(深入剖析關聯(lián)規(guī)則分析以及通過SPSS關聯(lián)規(guī)則算法模型分析數(shù)據(jù))(60分鐘)
1、關聯(lián)規(guī)則
2、支持度與置信度
3、關聯(lián)規(guī)則挖掘的過程
4、Apriori算法
5、關聯(lián)規(guī)則案例
6、支持度與置信度計算
7、案例:SPSS實現(xiàn)關聯(lián)規(guī)則
8、課堂實操:SPSS實現(xiàn)航空業(yè)數(shù)據(jù)關聯(lián)規(guī)則分析
第17個主題:數(shù)據(jù)建模時序模式分析與實現(xiàn)(深入剖析時序模式分析)(60分鐘)
1、時序模式
2、時間序列分析
3、時間序列分析
4、時間序列
5、序列分析的三個階段
6、課堂實操:SPSS實現(xiàn)航空業(yè)客戶流失模型
第18個主題:數(shù)據(jù)分析工具SPSS/SAS在金融行業(yè)應用案例(深入剖析數(shù)據(jù)分析工具SPSS/SAS在金融行業(yè)應用案例)(60分鐘)
1、案例:風險分析模型
2、案例:信用打分和評級模型
3、案例:客戶細分模型
4、案例:客戶描述和行為分析模型
5、案例:欺詐預測模型
6、案例:客戶流失模型
7、案例:經(jīng)營分析和績效分析模型
8、案例:交叉銷售和增量銷售模型
9、案例:SPSS實現(xiàn)航空業(yè)客戶流失模型建模
10、課堂實操:SPSS實現(xiàn)金融行業(yè)客戶流失模型建模
第19個主題:大數(shù)據(jù)個性化精準推薦實戰(zhàn)(深入理解大數(shù)據(jù)個性化精準推薦原理和實現(xiàn)技術)(60分鐘)
1、個性化推薦的理論依據(jù)
2、個性化推薦的價值
3、個性化推薦能達到的目的
4、個性化推薦的原則
5、個性化推薦技術發(fā)展史
6、個性化推薦的相關技術
7、基于用戶的常用推薦算法
8、基于用戶的協(xié)同過濾推薦
9、課堂實操:SPSS實現(xiàn)航空業(yè)交叉銷售和增量銷售模型
尹老師
多年從事人工智能、深度學習、大數(shù)據(jù)、區(qū)塊鏈、云計算、物聯(lián)網(wǎng)研發(fā)工作經(jīng)驗,資深軟件架構(gòu)師,數(shù)學博士,北航移動云計算碩士,Cloudera大數(shù)據(jù)認證(圖1),項目管理師(PMP)認證(圖2),移動云計算專家,主要研究方向包括人工智能、深度學習、機器學習、數(shù)據(jù)挖掘、數(shù)據(jù)分析、大數(shù)據(jù)、云計算、移動開發(fā)、互聯(lián)網(wǎng)營銷、電子商務、項目管理等;曾就職于阿里等互聯(lián)網(wǎng)企業(yè),IBM、華為等知名大型企業(yè),現(xiàn)任某大型知名互聯(lián)網(wǎng)企業(yè)首席架構(gòu),負責人工智能、深度學習、機器學習、數(shù)據(jù)挖掘、數(shù)據(jù)分析、大數(shù)據(jù)、區(qū)塊鏈、云計算、PaaS平臺研發(fā)工作。
IT從業(yè)近二十年,秉承理論與實踐相結(jié)合,在學習中實踐,在實踐中學習,積累了豐富的理論與實踐經(jīng)驗,并且樂于將自己的經(jīng)驗分享。尹老師具有敏銳的目光與頭腦,發(fā)現(xiàn)并集成整合社會資源,為企業(yè)節(jié)省資源并創(chuàng)造價值,達到為合作伙伴創(chuàng)收的目的。曾為多家國內(nèi)知名企業(yè)提供培訓與咨詢,包含阿里集團、華為、中國移動、中國電信、中國聯(lián)通、當當網(wǎng)、中石油、中石化、中國電網(wǎng)、中國銀行、中國工商銀行、浦發(fā)銀行、阿爾卡特朗訊、中航國際等。擁有人工智能、深度學習、機器學習、數(shù)據(jù)挖掘、數(shù)據(jù)分析、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)、大流量、高并發(fā)、分布式的大型網(wǎng)站架構(gòu)和設計經(jīng)驗。曾主導過多個人工智能、深度學習、機器學習、數(shù)據(jù)挖掘、數(shù)據(jù)分析、區(qū)塊鏈、物聯(lián)網(wǎng)、私有云、公有云建設項目,早些年也主導過ERP、CMS等軟件項目,積累了豐富的實踐經(jīng)驗,這些項目中包含多個數(shù)百萬、上千萬的大型項目。項目經(jīng)歷:呼叫中心人工智能客服研發(fā)項目、貴州省政府云呼叫中心建設項目、廣東發(fā)展銀行電營、運維大數(shù)據(jù)分析項目、中石油工程設計西南分公司云計算項目評審委員、中石油大數(shù)據(jù)挖掘項目,電商庫存預測大數(shù)據(jù)分析項目、大型ERP、電子商務、CRM、電子政務等多個項目。
尹老師在工作中研究新技術、新框架、及時更新知識體系,并長期堅持編寫架構(gòu)核心代碼。在技術平臺方面,善于TensorFlow、Keras、Hadoop、Spark、Docker、Kubernetes、OpenStack、Storm等技術平臺的應用與運維。深入理解TensorFlow、Keras、Hadoop、HDFS、HBase、MapReduce、Zookeeper、Hive、Sqoop、BigTable 等人工智能、大數(shù)據(jù)技術和開源框架理論。對于云計算體系有深刻認識,及獨到的見解,如OpenStack的技術架構(gòu)、安裝部署、運維等。在移動云計算方面,善于設計與建設云計算體系;也善于移動云計算相關的咨詢與培訓。在項目管理方面,善于使用敏捷項目管理方法,把客戶的需求變更作為常態(tài),作為軟件架構(gòu)設計的一部分,減少需求變更帶來的返工;善于捕捉、挖掘、分析客戶需求,為用戶提供滿意的產(chǎn)品。
講師經(jīng)驗
1、阿里巴巴集團云計算、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)咨詢師
2、百度云計算、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)咨詢師及講師
3、中國移動多省人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)、云計算特聘講師
4、中國移動多省Docker特聘講師
5、中國移動研究院微特聘講師
6、中國聯(lián)通總部人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)、云計算特聘講師
7、中國電信人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)、云計算、虛擬化特約講師
8、中國人民銀行人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)特聘講師
9、中國工商銀行人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)講師
10、花旗銀行人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)講師
11、招商銀行人工智能、大數(shù)據(jù)調(diào)優(yōu)、區(qū)塊鏈、物聯(lián)網(wǎng)講師
12、中信銀行人工智能、分布式數(shù)據(jù)庫、區(qū)塊鏈、物聯(lián)網(wǎng)講師
13、中國航天三院人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)咨詢師
14、中國石油人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)、云計算特聘講師
15、中國石化人工智能、大數(shù)據(jù)、云計算特聘講師
16、中國電力科學研究院流計算特聘講師
17、西安電信十所人工智能、大數(shù)據(jù)架構(gòu)設計、區(qū)塊鏈、物聯(lián)網(wǎng)講師
18、RedHat(中國)大數(shù)據(jù)咨詢師
19、中電28所人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)特聘講師
20、北京中電普華人工智能、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)特聘講師
21、中國石油東方地球物理公司大數(shù)據(jù)咨詢師
22、當當網(wǎng)人工智能、云計算、大數(shù)據(jù)咨詢師
23、北航人工智能、云計算、大數(shù)據(jù)、區(qū)塊鏈、物聯(lián)網(wǎng)特聘企業(yè)講師
24、阿爾卡特-朗訊(Alcatel-Lucent)虛擬化與OpenStack培訓特約講師
25、中石油工程設計西南分公司云計算數(shù)據(jù)中心建設項目
26、廣東發(fā)展信用卡精準營銷項目
27、廣東發(fā)展銀行電營、運維大數(shù)據(jù)分析項目
28、電商庫存預測大數(shù)據(jù)分析項目
29、中航國際大綜貿(mào)易云計算規(guī)劃項目咨詢、培訓講師
30、北京民生軟件SaaS平臺研發(fā)咨詢師
31、北京立達資本項目管理信息系統(tǒng)解決方案咨詢師
32、曾任大型ERP、電子商務、CRM、電子政務等項目經(jīng)理
項目經(jīng)驗
1、云呼叫中心人工智能客服項目研發(fā)
2、云呼叫中心PaaS平臺首席架構(gòu)師
3、貴州省政府云呼叫中心建設項目
4、廣東發(fā)展信用卡智能精準營銷項目
5、廣東發(fā)展銀行電營、運維大數(shù)據(jù)分析、區(qū)塊鏈、物聯(lián)網(wǎng)項目
6、中石油工程設計西南分公司云計算項目評審委員、培訓講師
7、中石油人工智能、大數(shù)據(jù)挖掘、區(qū)塊鏈、物聯(lián)網(wǎng)項目,項目經(jīng)理
8、電商庫存預測大數(shù)據(jù)分析項目
9、智能物流、智能供應鏈管理項目
10、中航國際大綜貿(mào)易云計算規(guī)劃項目咨詢、培訓講師
11、北京民生軟件SaaS平臺研發(fā)咨詢師
12、北京立達資本項目管理信息系統(tǒng)解決方案咨詢師
13、曾任大型ERP、電子商務、CRM、電子政務等多個項目的項目經(jīng)理
我要預訂
咨詢電話:027-5111 9925 , 027-5111 9926手機:18971071887郵箱:Service@mingketang.com
企業(yè)管理培訓分類導航
企業(yè)培訓公開課日歷
2025年
2024年