今天是2019年，要是有誰說有十年大數據工作經驗，我是不信的。因為 spark 正式應用才多少年?看過下面文章的你，應該就知道了，2012 年移交 apache spark, 就算他是 spark 的 committer, 滿打滿算才 7 年。
如果是 2006 年 hadoop 一代長老呢，那肯定有 10 年大數據經驗了，但依然只能說是半吊子的大數據工程師，因為真正有實時大數據平臺的年代，要從 2012 年 apache spark 正式推出算起。
spark 是 apache 的頂級項目，一舉一動都在整個社區的矚目之下。凡是由 apache 推動的項目，自然大概率是比較成功的。回想 google 當年沒將 big table, map reduce, gfs 及時的推廣到 apache 落地，反而被后來者 hadoop 奪得了頭魁，甚為惋惜。想知道google 錯過這段好時機，可以看我的這篇文章《繼螞蟻金服oceanbase之后，騰訊也祭出了大殺技》
最初時，spark 孵化于加利福尼亞大學(university of california) 伯克利分校(berkeley)的大數據實驗室( amplab).說起這個實驗室，還有兩個巨頭產品， apache mesos 和 alluxio. 看官可能對這兩產品不是很了解，沒關系，這里也不打算講，以后再細說。
2006 年， hadoop 基于 google 的三駕馬車，先于 gcp 而被世人所知。除了分布式存儲擴充了商業關系型數據庫的存儲容量外，map reduce 更是一大創舉，讓分布式計算取得了開創新的進展。但 map reduce 的原理注定了它的致命缺陷，中間數據集要存盤，以致于丟失了性能上的戰略牌。被 spark 的內存式彈性分布數據集(resilient distributed dataset)撿了個漏。于是 spark 于 2009 年橫空出世，彌補了 hadoop 性能上的缺陷，由此也搶到了一塊市場。
hadoop 本來被期望很高，直指機器學習與人工智能，科學家已經嘗試在 hadoop 上研發機器學習的軟件庫，但由于中間數據要存盤的這一致命缺陷，導致最終很多實時計算項目爛尾，而科學家們在另外一個項目，叫做 mesos(分布式集群管理) 上取得長足進展，索性在 mesos 上建立 spark(分布式計算) 來替代 hadoop.
由此可見，hadoop 之所以會被 spark 打敗，完全是市場新興的訴求(機器學習與人工智能)使然。spark 的出生，就是為了解決機器學習的困境。
當然，說 spark 打敗 hadoop 有些不嚴謹，就像說 apple 的 ios 打敗 google 的 andriod 一樣，兩者是補充，滿足了不同的市場需求而已。spark 與 hadoop 在應用場景上，只是互相補充罷了，畢竟實現 spark 的硬件要求比 hadoop 要高很多，成本也就不一樣了。這些都是廠商不會直接告訴你的。
hadoop 先于 spark 3 年出世，那么做為 spark 如何快速從 hadoop 中奪取屬于自己的市場呢?從頭建立自己的分布式管理，還是利用 hadoop 已有市場，與 hadoop 兼容 ，只拋出自己的分布式計算引擎呢?很顯然， 聰明人都會選后者，沒必要從頭建立一個輪子啊。所以很快的，社區對于 spark 的接受也相當輕松。社區的推廣在很大程度上也助推了 spark 的應用鋪貨。
spark 流行的基礎原因說的差不多了，那再說點高級應用。軟件發生到現在這個時間段，真不是哪家軟件能解決某個問題而已了，而是哪家軟件能提供一整套應用鏈，就用那家。所以開放性就決定了軟件體系能走多遠。
就跟編程語言一樣的，原本的 visual foxpro， visual basic， delphi 本是解決 mis 系統的最有效編程工具，但隨著 web, mobile 應用需求的出現，這些工具再也跟不上需求發展的步伐了，逐漸就被市場給拋棄了。
縱觀 現在主流的編程語言，java, python, 哪一個不是包羅萬象，既可以玩的了 c/s 傳統開發，又駕馭的了 b/s 的潮流，甚至在 mobile 應用上也能對付。spark 也一樣，除了能玩轉數據 crud(create, retrieve, update, delete)， 更能匹配當下數據科學的潮流，比如批量，實時 etl， 比如集成各種數據分析，數據挖掘的算法，高效的去完成機器學習。
spark 在擁抱內存式分布計算的同時，順應時勢間接容納了 spark streaming, spark machine learning(mllib)spark sql 和 spark graphx, 這些組件是當下互聯網生態需求的大綜合，可以說整個數據應用鏈，spark 都好的提供了解決方案，那么它不紅，都沒理由了!


貴陽seo優化：網站怎么設計才對搜索引擎友好
網站制作中內容的重要性
如何提高百度指數，具體應該怎么做？
網站服務器配置之Windows安裝iis+php+mysql環境
網站建設搶占市場的法寶：實力
一英寸是多少厘米
北京網站建設完成以后每年費用是多少？
如何為您的商業網站選擇合適的電話號碼