大數據變成大業(yè)務了,它不僅會在近十年大放異彩,而且還會象企業(yè)資源規(guī)劃、供應鏈和客戶管理以及企業(yè)計算領域中的其他部分那樣成為企業(yè)的常規(guī)業(yè)務。
但是那有一個前提,即我們必須讓更多的人參與進來,并且培養(yǎng)出一大批相關領域的數據科學家和專家。
IT市場調查公司Gartner正在佛羅里達奧蘭多市召開其Symposium/ITxpo大會,與往年一樣,Gartner在今年的大會上也發(fā)布了一些預測。
Gartner首先給出了它對今年全球IT開支的最新預測,你可能不會購買太多此類股票的股票,而且IT廠商和你們公司的IT部門受到這類關乎整個IT開支的數據和預測的間接影響其實是很小的。當企業(yè)的CEO和CFO聽到全球IT開支將下降的時候,你可能不會覺得有什么問題。
好消息是,Gartner預測全球IT開支將增長3.8%,達到3.7萬億美元。在其最新預測中,Gartner將今年的硬件、軟件和服務(包含電信設備和服務)開支預期下降了3%,調至3.63萬億美元。
與前幾次的做法一樣,Gartner重新修正了2011年的開支數據并調整了2012年的預測數據。實際上,大多數經理記住的只是變化率或百分比,而不是前后的數據一直在變化。
順便提一句,這些數據之所以在今年不斷被修正和變化,其中一個原因是美元的匯率一直在變動,而Gartner在作研究和預測時,它將所有的外幣都轉換成了美元。
預計大數據市場的增長速度將明顯快于整個IT市場,大數據市場銷售額將在2012年增長21.4%,達到340億美元。Gartner在聲明中稱,今年的大數據總開支中,只有43億美元或12.6%的總開支將流向新軟件許可證,而大部分的開支仍將流向比較傳統(tǒng)的解決方案,以滿足客戶們對速度、多樣性和數據容量的需求。正是因為這些需求的關系,大數據才與數據倉儲和聯機事務處理(oltp)不同。
你也許會想,社交網和點擊流分析將占據今年的大數據開支的大頭,在340億美元的開支中占45%左右的份額。風險分析和其他財經服務也開始越來越多地采用Hadoop和其他數據分析工具,同時從批工具向實時工具轉移,就象幾十年前事務處理從批向聯機轉移一樣。
雖然大數據的發(fā)展前景似乎是非常明確的,但Gartner認為我們大多數人認為這項業(yè)務與云計算一樣是虛擬的。我們所說的大數據指的是利用現代工具 去快速完成一些工作量巨大的任務,而常規(guī)的關系數據庫是做不到這一點的。就象云計算是分布式計算的新階段一樣,大數據也是另一種形式的計算。
大數據可以巧妙地利用你認為沒有用的日志文件信息來窺探你的客戶,并且嘗試為他們提供更好的服務。它可以將你的運營數據與其他數據關聯在一起,嘗試建立相關性。 這些工作如果讓人來做的話,那將是費時費力的大工程,而且還會因為我們可能會將數據錯誤地關聯在一起或沒有關閉環(huán)路而導致災難性的后果。 不要說互聯網連續(xù)幾個月嘗試讓我給我的妻子買衣服,而實際上我已經給她買過衣服了。我不但關注那些超級cookie,而且我還購買它們,只是你可能沒有注意到而已。
Gartner研究副總裁馬克拜耳(Mark Beyer)解釋說:“盡管現在對于大數據的宣傳已經很多,但大數據并不是一個界限清楚、獨立的市場,它實際上代表著一種行業(yè)領域的市場力量,必須融入產品、實務和解決方案的交付之中。”
拜耳稱:“在2011年,大數據幾乎推動了每一種IT分類項目的開支增長。然而,從現在起直到2018年,大數據的要求將逐漸演變成信息管理實務和技術的基本要求。 預計到2020年的時候,大數據的功能將成為傳統(tǒng)企業(yè)廠商和它們的部分產品的無差別、常規(guī)功能。”
因此Gartner認為,大數據將在未來十年內成為新的常規(guī)標準,十年后我們應該會在研究超大規(guī)模的系統(tǒng)了,如果一切進展順利的話,屆時我們將見到 Exaflop級的計算、EB級的存儲、十兆瓦級的電力和巨額的成本。但是Gartner同時也指出,分析師們將提醒人們注意,現在我們非常缺乏對所有數 據以及數據的使用方法都很了解的數據科學家。
Gartner的高級副總裁兼全球研究主管彼得桑德加德(Peter Sondergaard)在聲明中表示,從現在到2015年,IT行業(yè)將創(chuàng)造440萬就業(yè)機會,其中有190萬個就業(yè)機會在美國。
每一個大數據任務都有倍增的效果,可以為下游供應鏈創(chuàng)造好幾個就業(yè)機會。如果照這樣計算的話,美國的190萬個大數據就業(yè)機會將在IT部門之外再創(chuàng)新570萬個就業(yè)機會。 El Reg可能會說,由于現在的自動化程度已經非常高,因此IT部門的就業(yè)機會可能很難傳遞到營銷和銷售部門。
桑德加德稱:“但是這里還有一個問題,這個行業(yè)現在沒有足夠的人才。 我們的公共和私有教育系統(tǒng)都不能滿足我們在這方面的需求。因此,我估計只有三分之一的職位會被填滿。 數據專家將是一種稀有和寶貴的商品。”
我們再一次陷入尷尬的境地了。IT行業(yè)的很多人還是找工作,但他們顯然不具備大數據創(chuàng)造的那些就業(yè)機會所要求的技術才能。
從現在的情況來看,如果企業(yè)能夠少回購一些股票以及在其他方面少浪費一些財力的話,而是去投資培養(yǎng)他們認為他們以后會需要的大數據專業(yè)人才,這個問題才能得到解決。企業(yè)永遠在哀嘆沒有優(yōu)質的人才,真不知道它們是怎么堅持下去的。
El Reg預計:正如企業(yè)讓SAP和甲骨文通過各自的軟件接管了它們的業(yè)務的運營工作一樣,大數據領域也會出現一些應用和服務供應商來解決企業(yè)在大數據方面的問題。
除非有絕對的必要,否則企業(yè)不會投資去培養(yǎng)大數據專業(yè)人才。而且只有財力最雄厚的大公司才能得到專業(yè)人才。正如你必須為一名優(yōu)秀的Java程序員或 了解貴公司業(yè)務的數據庫管理員支付高薪一樣,你必須用高薪來挽留住了解貴公司業(yè)務以及那些對貴公司很有用的數據的大數據科學家。