大數據分析平台工程師和算法工程師崗位職責:


參與大數據平台的搭建和優化,包括Hadoop,spark,Kafka,ELK等軟件的配置和系統優化。計算學習基礎算法,使用Java語言和python語言實現數據處理,熟悉spark和MapReduce。了解AMOS,DEA,Frontier,統計分析的基本步驟

數據科學工程流程:

數據產品規范流程一般有以下開發流程
CRISP——DM (數據挖掘建模標准)
數據科學到產品設計過程中的操作:
1.理解業務核心
2.理解數據關系
3.數據准備
4.建立模型
5.評價優化
6。具體實施
數據科學的生命周期理論上將其工程化
1.數據采集工程
2.數據准備工程(降噪與清洗)
3.假設與模型
4.評價與解釋
5.系統部署與模型框架搭建
6 具體操作
7.循環設計和優化周期
在PhilipGuo的博士論文《DataScienceWorkflow:OverviewandChallenges》他簡化的操作為:
數據准備——數據分析——結果反饋——方法的傳播

數據產品的中心應該是數據不是軟件工程所以不能隨便轉移,如果轉移到軟件工程成本即將倍增。

推薦一個算法————智能算法:醉漢算法模型

數據分析一般使用的軟件:stata ,SAS,Matlab,Mintab,Excel,DEAP,Frontier4.1,SPSS,EViews ,Amos,AigGis,MapGis;Clementine,SASEM
需要方向:數據統計信息挖掘,數據圖表制作,計量經濟模型,數據模型構建,調查問卷設計,金融模型分析,神經網絡,DEA模型分析。

hinton設計的deep learning目前比較突出

在數據工作中需要的知識儲備:
商學,社會學,統計學,信息管理,情報學,


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
  © 2014-2022 ITdaan.com 联系我们: