JAVAweb轉大數據開發,有必要學習統計學嗎?
我是做大數據的,我來回答一下。
要負責任,大數據需要學習統計知識。
大數據目前還屬于程序員的范疇,但具有很強的數據分析統計屬性,也與數據挖掘密切相關。雖然日常工作也是寫代碼,不像Java,有時候需求者不不明白哪些指標可以用數據統計,統計出來的數據如何更科學更有代表性。不像Java有項目需求陳述,產品經理提供清晰的產品原型和邏輯,拋給大數據端的需求往往只是一句話。分析這些數據。;不否認有一些明確的統計,比如總量、PV、UV等等)
上級領導和運營人員更希望你主動去分析挖掘數據,提供一些參考和價值。在這個時候,你不我根本不懂統計知識。要不要盯著數據讓它自己提出訴求?你不甚至不知道方差、波動、歸一化、四分位數等。,如何清理數據,如何做好本職工作。
有些做大數據的人,只把自己定位為碼農,成長會很慢。他們應該積極地把自己定位為數據分析師,學習統計知識。一是可以做好本職工作,二是可以進入機器學習領域,一舉兩得。
當你發現你的統計知識給了你做大數據工作的方法,贏得了公司領導的認可和好評,那八個月的時間是怎么過的?
加油,每天進步一點點,未來就大不一樣了。
如果你有任何問題,請和我討論。如果你同意我的觀點,請點擊紅字"關心和支持在右上角。謝謝你。
目前應該知道簡單的統計公式。如果涉及到復雜的算法,可能需要了解一些統計學的知識,但是一個大數據開發工程師不掌握統計學也能開發大數據。
看到javaw
Java轉大數據的學習線路是什么?
專業軟件開發,上學的時候專注于Java,現在已經從事Java開發一年半了。我想轉向大數據。
1.先熟悉一下linux環境。大數據的很多技術都部署在linux服務器上,你熟練使用vi編輯文本。
2.部署hadoop,讓hdfs和MapReduce運行。
部署動物園管理員
4.部署hbase了解列存儲的表設計方法。
5.掌握蜂巢的使用
6.火花流、風暴流計算
7.學習sparkmllib,python為數據分析做準備。有Java基礎轉大數據,需要學習:
1.大數據基礎:Linux,Maven:Linux系統管理,Shell編程設計,Maven部署/配置/倉庫,MavenPOM。
2.HDFS分布式文件系統
分布式計算模型Yarn分布式資源管理器Zookeeper分布式協調服務
4.分布式數據庫。
5.FlumeNG分布式數據采集系統Sqoop大數據遷移系統。
大數據黃金語言的kafka分布式總線系統。
7.SparkCore大數據計算基石SparkSQL數據挖掘工具SparkStreaming流計算平臺
8.SparkMllib機器學習平臺SparkGraphx圖形計算平臺
9.項目實戰
相關:
大數據開發工程師,學什么?
大數據學習有哪些誤區?如何避免大數據開發和數據分析中的學習誤區?
大數據基礎:Linux,Maven:Linux系統管理,Shell編程設計,Maven部署/配置/倉庫,MavenPOM。