Python+大數據培訓

主要內容

可掌握的核心能力

1.掌握零售行業離線數倉的分層與建模，從需求、設計、研發、測試到落地上線的完整項目流程；
2.深度使用Presto的項目，真實業務邏輯，共涉及20多個主題，100多個指標，提升學員在教育行業中的核心競爭力；
3.包括海量數據場景下如何優化配置；
4.拉鏈表和Hive函數的具體應用；
5.新增數據和更新數據的抽取和分析；
6.提供新零售大型商超集團的數據存儲分析以及服務監控方案；
7.ClouderaManager可視化、自動部署和配置、Git、CodeReview功能；

主要內容

可掌握的核心能力

1.掌握Python開發環境基本配置；
2.掌握運算符、表達式、流程控制語句、數組等的使用；
3.掌握字符串以及類和對象的的基本操作；
4.初步建立面向對象的編程思維；
5.熟悉異常捕獲的基本流程及使用方式；
6.掌握網絡編程技術知道通訊協議原理，能夠實現網絡通訊；
7.掌握開發中的多任務編程實現方式；
8. 知道多進程多線程的原理；

主要內容

可掌握的核心能力

1.熟練掌握MySQL\SQL、Kettle以及BI工具使用，能夠解決傳統數倉業務開發任務；
2.掌握Spark的RDD、DAG、CheckPoint等設計思想；
3.掌握SparkSQL結構化數據處理，Spark On Hive；
4.掌握Structured Streaming整合多數據源完成實時數據處理；
5.具備Spark全棧開發能力，滿足大數據行業多場景統一技術棧的數據開發，提供就業核心競爭力；

主要內容

可掌握的核心能力

1.SparkSQL整合ES自定義數據源、DS任務界面化調度；
2.用戶畫像標簽構建規則；
3.用戶畫像規則類和統計類標簽構建；
4.快速搭建保險行業大數據平臺；
5.基于Hive+Spark SQL搭建離線數據倉庫；
6.基于SparkSQL應對輕松應對復雜的迭代計算；
7.完成基于國內頭部保險公司大數據項目開發；
8.掌握基于Spark分析12億報單表和8千萬客戶等數據；
9.對保單匯總計算（業務發展類指標，成本費用類指標等），并向業務人員做數據展示；

主要內容

可掌握的核心能力

1.掌握Java基本語法和面向對象編程；
2.掌握基于Flink進行實時和離線數據處理、分析；
3.掌握基于Flink的多流并行處理技術和實時采集技術；
4.使用Java實現與Kafka的交互；
5.梳理大數據架構及解決方案，強化核心面試題；
6.剖析多行業大數據架構；

主要內容

可掌握的核心能力

1.湖倉一體化解決方案基于Flink+Hudi湖倉一體技術架構；
2.基于FlinkCDC完成MySQL等數據源的數據采集；
3.FlinkSQL流批一體架構實現實時數據計算；
4.使用Apache Doris進行海量多維分析；
5.掌握數據報表分析；
6.掌握業務數據實時大屏場景實現；