大數據技術及應用
【課程編號】:NX40487
大數據技術及應用
【課件下載】:點擊下載課程綱要Word版
【所屬類別】:研發管理培訓
【培訓課時】:可根據客戶需求協商安排
【課程關鍵字】:大數據培訓
我要預訂
咨詢電話:027-5111 9925 , 027-5111 9926手機:18971071887郵箱:Service@mingketang.com
課程大綱
第一講 大數據概述
(一)教學目的
通過本章的學習掌握大數據基本概念 ,理解大數據的處理流程, 了解大數
據在行業中的應用和未來趨勢。
(二) 教學要求
1、解釋大數據基本概念;
2、分析大數據的分析處理流程;
3、知道大數據技術應用場景和前景。
(三)教學內容
第一節大數據的概述知識要點: 大數據的定義和特征。
第二節大數據分析的過程、技術及工具知識要點: 大數據的采集、存儲方
式、分析技術、展示及應用。
第三節大數據技術的發展前景知識要點: 大數據技術不斷發展, 出現更多
的應用項目。
(四)教學重點與難點
1.教學重點: 大數據的基本概念。
2.教學難點: 大數據分析處理的流程。
第二講 大數據集群系統基礎
(一)教學目的
能分析大數據集群 , 闡明其基本原理; 在虛擬化計算機系統中安裝
CentOS 7 操作系統 ,通過 SecureCRT/Xshell 訪問 CentOS 7 操作系統 , 以 三臺節點機搭建大數據集群環境。
(二)教學要求
1.掌握虛擬機軟件 VMware Workstation 10 及以上和終端仿真程序 SecureCRT/Xshell 的下載、安裝和使用方法;
2.掌握 VMware Workstation 10 中安裝 CentOS 7 的方法;
3.理解大數據集群相關組成和技術 ,部署大數據集群。
(三)教學內容
第一節 CentOS 大數據集群系統的組成知識要點:CentOS 概念、CentOS 集群系統拓撲圖。
第二節 操作實踐:大數據集群的部署知識要點:集群規劃、網絡配置、 安全配置、時間同步、SSH 登錄。
(四)教學重點與難點
1.教學重點:VMwareWorkstation、CentOS 7、SecureCRT 的安裝和使 用。
2.教學難點: 大數據集群的部署。
第三講 Hadoop 分布式系統
(一)教學目的
Hadoop 的使用需要搭建一個完整的分布式系統,在理解 Hadoop 工作原 理的基礎上配置和運行 Hadoop。
(二)教學要求
1.說明 Hadoop 的運行原理。
2.掌握 Hadoop 環境的安裝與配置。
(三)教學內容
第一節 Hadoop 相關技術及生態系統知識要點:構成 Hadoop 生態系統 的相關技術。
第二節 操作實踐: Hadoop 安裝與配置知識要點: JDK 安裝、Hadoop 安裝、Hadoop 運行、瀏覽 Hadoop 頁面。
(四)教學重點與難點
1.教學重點:Hadoop 安裝過程中 hadoop-en v.sh、yarn-en v.sh、slaves、 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 文件 的配置。
2.教學難點: Hadoop 安裝過程中參數的配置。
第四講 HDFS 分布式文件系統
(一)教學目的
Hadoop 采用分布式 HDFS,通過本章學習掌握 HDFS 的基本原理,掌握 HDFS
相關的操作命令,并能夠應用 Java 對 HDFS 進行編程。
(二) 教學要求
1 . 了解 HDFS 的特點、架構、數據讀取過程、數據寫入過程。
2. 掌握 HDFS 操作。
(三)教學內容
第一節 HDFS 知識要點: HDFS 設計前提和設計目標、Namenode 和 Datanode、文件系統的名字空間、數據復制、HDFS 讀寫流程。
第二節 HDFS 操作實踐知識要點: HDFSShell、HDFS JavaAPI、Eclipse 開發環境、綜合實例。
(四)教學重點與難點
1.教學重點: HDFS 的原理、數據讀寫的原理。
2.教學難點:HDFS 綜合實例。
第五講 分布式計算系統—MapReduce 及其應用實例
(一)教學目的
Hadoop 采用分布式計算系統 MapReduce,通過本章的學習,掌握 MapReduce 的基本原理、架構以及工作機制 ,并且掌握 MapReduce 的編程操作,從而運用 到實處。
(二)教學要求
1.分析 MapReduce 的基本原理、架構以及工作機制;
2.操作 MapReduce WordCount 編程和 MapReduce 倒排索引編程 ,實現其應 用。
(三)教學內容
第一節 MapReduce 簡介知識要點: MapReduce 架構、原理、工作機制。
第二節 MapReduce 操作實踐知識要點: MapReduceWordCount 編程實例、 MapReduce 倒排索引編程實例。
(四)教學重點與難點
1.教學重點: MapReduce 的基本原理、架構以及工作機制等知識內容。
2.教學難點:MapReduce WordCount 編程實例;MapReduce 倒排索引編程實 例
實踐課 醫藥大數據案例分析
(一)教學目的
根據大數據系統的需求分析 ,在 Hadoop 框架下 ,基于 Hbase 數據庫,綜合 應用各項關鍵技術完成大數據系統的功能。
(二)教學要求
能在 Hadoop 框架下,綜合大數據應用系統編程的原理、技術 ,呈現既定的 運行結果。
(三) 教學內容
第一節 項目概述知識要點: 醫藥電商大數據分析平臺的形成背景。
第二節 功能需求知識要點:流量分析、經營狀況分析、大數據可視化系統。 第三節 軟件關鍵技術知識要點: 醫藥電商大數據分析平臺的關鍵技術。
第四節 效果展示知識要點: 各類分析效果圖。
第五節 系統構架設計知識要點:系統的組成、協作方式、網絡拓撲、建設 方案。
第六節 數據存儲設計知識要點:設計流量數據表、訂單數據表、會員評價 表。
第七節 數據分析知識要點:采集、分析數據。第八節 數據展示知識要點: 結果數據展示代碼。
(四)教學重點與難點
1.教學重點: 大數據系統的需求分析、Hbase 數據庫的建立、程序的設計 與實現。
2.教學難點: 程序的設計與實現。
五 、各教學環節學時分配
第一講大數據概論
第二講大數據集群系統基礎
第三講Hadoop 分布式系統
第四講HDFS 分布式文件系統
第五講MapReduce 分布式計算
第 6 講醫藥大數據案例分析
六 、教學手段與方法
1.教學手段 :本課程主要采用多媒體、課件演示、實驗實訓等教學手段進行 教學。
2.教學方法 :本課程主要采用任務驅動、案例教學、講授與討論相結合等教 學方法進行教學 。課程內容主要按大數據處理任務進行組織 ,因此可以按解決 相應任務所需的方法技術進行教學組織和實踐 。在課程的授課過程中 ,對于學 生難以理解的方法技術都給與案例分析,完整展現相應方法技術是如何實施和 應用的 。另外 ,課程教學過程中 ,可以圍繞相關大數據處理的任務組織學生進 行討論,培養學生主動學習、解決問題的能力。
七 、考核方式 、考核內容及成績評定
1.考核評價方式
1)過程性考核評價方式。本課程的過程性考核評價方式主要包括:考勤、 作業、討論、隨堂提問等。
2)結果性考核評價方式。本課程的結果性考核評價方式主要是期末考查(開 卷)。根據各章知識點,設計期末考查試卷。
八 、課程教材
[1]朝樂門.數據科學[M].北京:清華大學出版社,2020.
[2]朝樂門.數據科學理論與實踐[M].北京:清華大學出版社,2019.
[3]周蘇,王文.大數據導論[M].清華大學出版社,2020 第一版
[4]許晶華.管理信息系統[M].廣州:華南理工大學出版社,2015.
[5]黃梯云.管理信息系統[M].北京:高等教育出版社,2019.
[6]薛華成.管理信息系統[M].北京:清華大學出版社,2020.
李老師
李海良簡介
李海良,,暨南大學副教授,碩士生導師,九三學社社員,中山大學工學博士香港城市大學訪問學者,廣東工業大學校外合作研究生導師。研究方向為深度學習、圖像識別、智慧綜合能源和能源大數據。在IEEE Transactions on Neural Networks and Learning Systems和Information fusion等TOP期刊第一作者發表SCI論文6篇,主持省級課題2項,參與國家自然科學基金1項。長期擔任IEEE Internet of Things Journal、International Journal of Communication Systems、IET Computer Vision、IET Image Processing和 IET Radar, Sonar & Navigation等SCI期刊審稿人。曾獲得第六屆全國電子信息科學博士生論壇論文成果匯報二等獎(2017),第七屆全國電子信息科學博士生論壇論文成果匯報三等獎(2016),2020年12月在INSCRYPT 2020 國際會議擔任Session chair。
2018年獲得中山大學工學博士學位,2019年至2021年在暨南大學網絡安全學院做博后,合作導師為密碼學與信息安全領域專家、國家杰青翁健教授。
擅長操作系統和數據庫的安全配置,針對注入式、篡改、偽造、流量分析以及竊聽等主流攻擊方式有深入研究,在人工智能領域,針對對抗樣本攻擊與防御方面發表多篇SCI論文。
曾參與基于聯邦學習的廣東海關數據隱私保護系統的研發工作,參與暨南大學與金山毒霸的校園網攻防安全軟件的研發工作
參與基于視頻圖像安全的珠海電力局電纜防外破項目
參與東軟集團社保系統和醫院管理系統的研發工作
曾經為廣東移動、深圳市電力局、肇慶學院、嶺南師范學院、華南農業大學、東莞城市學院、電子科技大學中山學院以及鄭州航空工業管理學院等知名企業院校提供培訓服務,積累了大量的行業培訓項目經驗。
擅長主講課程:
《人工智能》《計算機網絡》《網絡與信息安全》《軟件工程》《物聯網》《大數據和數據科學》 《網絡安全》 《互聯網與人工智能》 《網絡信息安全與數據安全》 《 高級計算機系統結構》 《物聯網技術》 《 云計算與大數據算法設計》 《軟件工程》 《 研究方法論》 《物聯網技術與發展趨勢 《網絡空間安全前沿問題研究》 《智能人機交互》 《高級人工智能》 《大數據科學應用》 《信息安全》 《高級軟件工程》 《高級算法設計與分析》
獲獎經歷:
2015年8月 第六屆全國電子信息科學博士生論壇論文成果匯報二等獎
2016年8月 第七屆全國電子信息科學博士生論壇論文成果匯報三等獎
2020年12月 INSCRYPT 2020 Session chair
學習經歷
2014年9月-2018年6月,中山大學,信息與通信工程,博士研究生
2017年7月-2017年9月,香港城市大學,訪問學者
工作經歷
2019年2月至2021年2月,暨南大學信息科學技術學院,博士后
研究方向
基于注意力機制的神經網絡,智慧綜合能源和能源大數據。
主要論文
1. Hailiang Li, Jian Weng*,Adaptive Dropout Method Based on Biological Principles,IEEE Transactions on Neural Networks and Learning Systems,vol.32,no.9, pp.4267-4276, Sept. 2021,JCR1區,IF:10.451,TOP期刊
2. Hailiang Li, Jian Weng*, A Defense Method Based on Attention Mechanism Against Traffic sign Adversarial samples,Information Fusion,Volume 76, 2021, Pages 55-65,JCR1區,IF:12.975,TOP期刊
3. Hailiang Li, et al,A Semi-automated Annotation Algorithm Based on Weakly Supervised Learning for Medical Images,Biocybernetics and Biomedical Engineering 40 (2020) pp. 787-802, SCI索引,第一作者,影響因子:4.314
4. Hailiang Li, et al,An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images,Scientific Reprots,(2018) 8:6600,SCI索引,第一作者,影響因子:4.379
5.張宇,李海良*.基于RSA的圖像可識別對抗攻擊方法[J].網絡與信息安全學報,2021,7(05):40-48.通信作者,中國科技核心期刊
承擔課題
1. 基于注意力機制的安全性圖像識別模型研究與應用,2021廣東省普通高校特色創新項目,主持,17.12萬元,項目編號:2021KTSCX006;
2. 基于 AIOT 的多維視覺下電力施工人員工作監控與管理系統,廣東省科技創新戰略專項資金,主持,2萬元,項目編號:PDJH2021b0058;
社會職務
廣東工業大學,校外合作碩士生導師
我要預訂
咨詢電話:027-5111 9925 , 027-5111 9926手機:18971071887郵箱:Service@mingketang.com