大數(shù)據(jù)技術(shù)方案必備四個(gè)條件
在技術(shù)層面上,大數(shù)據(jù)處理技術(shù)種類(lèi)繁多,包括數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、Hadoop、NoSql、流式處理技術(shù)等。其中Hadoop作為一個(gè)開(kāi)源的能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架,近來(lái)不斷受到業(yè)界追捧,類(lèi)似谷歌、亞馬遜等世界領(lǐng)先的互聯(lián)網(wǎng)公司也公布了基于Hadoop的成功案例,一些聲音甚至表示,Hadoop就等于大數(shù)據(jù)。
據(jù)了解,中國(guó)聯(lián)通在內(nèi)的國(guó)內(nèi)運(yùn)營(yíng)商和一些大型企業(yè)也開(kāi)啟了Hadoop的大數(shù)據(jù)探索之路。其中已經(jīng)先期開(kāi)展的應(yīng)用就是通過(guò)采用英特爾硬件平臺(tái)及英特爾Hadoop相結(jié)合的大數(shù)據(jù)技術(shù),構(gòu)建上網(wǎng)記錄集中查詢與分析支撐系統(tǒng),用以解決用戶上網(wǎng)記錄無(wú)法查詢的難題。
但是也應(yīng)該看到,這種技術(shù)不僅是IT設(shè)備投入,人力成本以及對(duì)操作人員的技術(shù)水平都有相當(dāng)嚴(yán)格的要求,目前自行開(kāi)發(fā)Hadoop平臺(tái)的都是具備一定開(kāi)發(fā)能力的互聯(lián)網(wǎng)企業(yè),但運(yùn)營(yíng)商在這方面并不擅長(zhǎng)。
據(jù)上海移動(dòng)介紹,目前業(yè)界在大數(shù)據(jù)業(yè)務(wù)支撐系統(tǒng)上已經(jīng)有了很多的研究,中國(guó)移動(dòng)也在積極進(jìn)行研究探索,技術(shù)上的難點(diǎn)包括如何整合運(yùn)營(yíng)商內(nèi)部已有“煙囪式”的各類(lèi)經(jīng)營(yíng)分析系統(tǒng),建設(shè)一個(gè)開(kāi)放接口的共享數(shù)據(jù)平臺(tái);如何解決海量數(shù)據(jù)的采集、存儲(chǔ)和安全問(wèn)題等。
上海聯(lián)通認(rèn)為,在未來(lái)大數(shù)據(jù)技術(shù)方案應(yīng)該具備四個(gè)條件:
一是具備數(shù)據(jù)分析速度優(yōu)勢(shì)。在查詢效率上比傳統(tǒng)系統(tǒng)要有大幅提高。
二是具備大規(guī)模擴(kuò)展能力。數(shù)據(jù)的橫向、縱向的擴(kuò)展能力提升,包括跨服務(wù)器數(shù)據(jù)的處理能力優(yōu)勢(shì)。
三是具備開(kāi)放架構(gòu)優(yōu)勢(shì)。一方面是對(duì)Hadoop的支持與集成,另一方面則是提供各個(gè)平臺(tái)間,甚至是與第三方平臺(tái)間的自由的傳輸數(shù)據(jù)和存儲(chǔ)。
四是具備完善的自我學(xué)習(xí)能力。實(shí)現(xiàn)海量數(shù)據(jù)挖掘后不需要人工干預(yù)的策略自我歸集。
運(yùn)營(yíng)商做什么
互聯(lián)網(wǎng)服務(wù)對(duì)傳統(tǒng)電信運(yùn)營(yíng)商業(yè)務(wù)構(gòu)成的沖擊,反而可以加速運(yùn)營(yíng)商的轉(zhuǎn)型,并催生運(yùn)營(yíng)商新的機(jī)遇和市場(chǎng)空間。大數(shù)據(jù)和云計(jì)算恰恰就是在這種產(chǎn)業(yè)變化的情況下催生出的新業(yè)務(wù),對(duì)于運(yùn)營(yíng)商來(lái)說(shuō),這兩個(gè)領(lǐng)域擁有比傳統(tǒng)基礎(chǔ)電信業(yè)務(wù)更大的市場(chǎng)空間。
對(duì)于大數(shù)據(jù)市場(chǎng)的開(kāi)發(fā),上海聯(lián)通認(rèn)為運(yùn)營(yíng)企業(yè)應(yīng)該遵循由簡(jiǎn)到難的四步走策略:
首先,開(kāi)展針對(duì)用戶消費(fèi)數(shù)據(jù)的分析評(píng)估,以幫助運(yùn)營(yíng)商改善自身服務(wù)質(zhì)量。
其次,結(jié)合用戶上網(wǎng)情況及互聯(lián)網(wǎng)網(wǎng)頁(yè)內(nèi)容,為精準(zhǔn)行銷(xiāo)提供用戶行為偏好分析;為聯(lián)通自身的業(yè)務(wù)發(fā)展提供大趨勢(shì)及業(yè)務(wù)競(jìng)品分析能力和策略指引。
第三,在專門(mén)行業(yè)應(yīng)用領(lǐng)域入手,開(kāi)展專業(yè)化大數(shù)據(jù)產(chǎn)品的設(shè)計(jì)的開(kāi)發(fā),積累推廣經(jīng)驗(yàn)。
最后,開(kāi)展第三方資源整合和跨界合作,構(gòu)建智慧的大數(shù)據(jù)體系,加大開(kāi)放合作力度,與產(chǎn)業(yè)鏈各個(gè)環(huán)節(jié)開(kāi)展合作,加快對(duì)大數(shù)據(jù)經(jīng)營(yíng)商業(yè)模式的探索,不斷釋放其管道中龐大數(shù)據(jù)的潛在力量,為客戶創(chuàng)造更大的價(jià)值。
據(jù)上海聯(lián)通介紹,中國(guó)聯(lián)通目前正在著手對(duì)大數(shù)據(jù)業(yè)務(wù)進(jìn)行研究,并已經(jīng)成立了云數(shù)據(jù)運(yùn)營(yíng)中心,計(jì)劃依靠該部門(mén)逐步嘗試開(kāi)展大數(shù)據(jù)業(yè)務(wù)的運(yùn)營(yíng)工作,并計(jì)劃將該運(yùn)營(yíng)中心公司化,獨(dú)立運(yùn)營(yíng)。
2012年中國(guó)聯(lián)通成功將大數(shù)據(jù)和Hadoop技術(shù)引入到‘移動(dòng)通信用戶上網(wǎng)記錄集中查詢與分析支撐系統(tǒng)’,并已經(jīng)部署了4.5PB的存儲(chǔ)空間。系統(tǒng)已經(jīng)具備了每天處理700億條上網(wǎng)記錄的能力。
上海電信則主要從大數(shù)據(jù)基礎(chǔ)設(shè)施建設(shè),數(shù)據(jù)挖掘和開(kāi)放等兩個(gè)層次發(fā)展大數(shù)據(jù)相關(guān)業(yè)務(wù)。
在基礎(chǔ)設(shè)施方面,上海電信除建設(shè)城市光網(wǎng)等基礎(chǔ)設(shè)施外,更加關(guān)注數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)分析計(jì)算設(shè)施的建設(shè),包括IDC服務(wù)器托管和云產(chǎn)品。這為大數(shù)據(jù)市場(chǎng)的發(fā)展提供了基礎(chǔ)設(shè)施的資源。
上海電信表示:上海電信將充分發(fā)揮IDC運(yùn)營(yíng)主力軍作用,按照規(guī)劃引導(dǎo)、集約建設(shè)、資源共享、規(guī)范管理、適度超前的原則,加大建設(shè)投入,著力增強(qiáng)信息網(wǎng)絡(luò)綜合承載能力、設(shè)施資源綜合利用能力和信息通信集聚輻射能力,將IDC打造成豐富的信息承載平臺(tái)、完善的客戶服務(wù)平臺(tái)和全面的價(jià)值共享平臺(tái)。
上海電信將進(jìn)一步完善IDC資源布局,在未來(lái)3-5年內(nèi)重點(diǎn)建設(shè)幾大基地化數(shù)據(jù)中心,實(shí)現(xiàn)IDC業(yè)務(wù)在地理位置上的分區(qū)覆蓋,并滿足重要客戶數(shù)據(jù)同城異地的備份要求;繼續(xù)加強(qiáng)基礎(chǔ)設(shè)施規(guī)劃和建設(shè)管理,促進(jìn)機(jī)制完善和模式創(chuàng)新,同時(shí)注重節(jié)能環(huán)保和服務(wù)提升;推進(jìn)“新一代數(shù)據(jù)中心設(shè)計(jì)規(guī)范”的制定,在符合國(guó)際和國(guó)家相關(guān)行業(yè)標(biāo)準(zhǔn)的基礎(chǔ)上,結(jié)合上海的本地優(yōu)勢(shì),建設(shè)規(guī)范設(shè)計(jì)、綠色運(yùn)營(yíng)、智能管理的新一代數(shù)據(jù)中心。
今年,上海電信信網(wǎng)部通過(guò)體制調(diào)整,建立了云產(chǎn)品拓展中心和云平臺(tái)運(yùn)營(yíng)中心。
通過(guò)整合信網(wǎng)部現(xiàn)有的業(yè)務(wù)拓展資源、人力配置資源和運(yùn)維管理資源,主推云計(jì)算專業(yè)化產(chǎn)品,部署規(guī);逃迷朴(jì)算數(shù)據(jù)中心,為大力拓展高性能計(jì)算、存儲(chǔ)、災(zāi)備等增值業(yè)務(wù)做好基礎(chǔ)支撐,滿足服務(wù)本市及周邊地區(qū)經(jīng)濟(jì)社會(huì)發(fā)展的需求。
其次,以自主發(fā)展、應(yīng)用示范為重點(diǎn),以建設(shè)國(guó)家云計(jì)算試點(diǎn)城市為契機(jī),繼續(xù)實(shí)施“云海計(jì)劃”,集聚國(guó)內(nèi)外大型互聯(lián)網(wǎng)企業(yè),在金融、健康、文化等領(lǐng)域,探索建立云計(jì)算商業(yè)模式,打造亞太云計(jì)算中心。
第三,以市場(chǎng)化為導(dǎo)向,重點(diǎn)建設(shè)“金融云”、“中小企業(yè)云”、“健康云”等,向企業(yè)和個(gè)人提供服務(wù)。同時(shí)進(jìn)一步重視行業(yè)解決方案,這包括兩個(gè)方面的行動(dòng)。
一是在云計(jì)算服務(wù)器、云安全、云管理平臺(tái)、桌面虛擬化等關(guān)鍵技術(shù)領(lǐng)域?qū)崿F(xiàn)突破,形成具有競(jìng)爭(zhēng)力的云計(jì)算關(guān)鍵技術(shù)服務(wù)和整體解決方案。
二是深入智慧城市應(yīng)用,進(jìn)一步加強(qiáng)物聯(lián)網(wǎng)公共平臺(tái)建設(shè)和推廣智能車(chē)輛監(jiān)控、電子校徽、智能制造、社區(qū)安防等行業(yè)應(yīng)用。發(fā)揮EVDO網(wǎng)絡(luò)優(yōu)勢(shì),做強(qiáng)移動(dòng)全球眼。聚焦政務(wù)、教育、交通等重點(diǎn)行業(yè),積極開(kāi)發(fā)一系列物聯(lián)網(wǎng)行業(yè)應(yīng)用,重點(diǎn)切入、有效投入,最終達(dá)到規(guī)模效應(yīng),結(jié)合全球眼視頻監(jiān)控、RFID身份識(shí)別等,打造智能安防、環(huán)境監(jiān)測(cè)、平安校園、智能交通等產(chǎn)品,構(gòu)建基于物聯(lián)網(wǎng)的動(dòng)態(tài)信息交互與服務(wù)平臺(tái),助力政務(wù)、教育、交通等行業(yè)相關(guān)部門(mén),全面提升管理決策水平及服務(wù)社會(huì)公眾的能力。
上海移動(dòng)擁有超過(guò)2千萬(wàn)用戶,擁有海量的用戶、業(yè)務(wù)數(shù)據(jù)。上海移動(dòng)一直以來(lái)以提供優(yōu)質(zhì)的客戶服務(wù)為運(yùn)營(yíng)理念,為實(shí)現(xiàn)這一目標(biāo),上海移動(dòng)建成了成熟的經(jīng)營(yíng)分析系統(tǒng),流量經(jīng)營(yíng)系統(tǒng)等。
上海移動(dòng)積累了多年的業(yè)務(wù)、網(wǎng)絡(luò)和用戶數(shù)據(jù),建有電信級(jí)的數(shù)據(jù)中心和成熟的經(jīng)營(yíng)分析系統(tǒng),比如在流量經(jīng)營(yíng)系統(tǒng)中采集GSM、TD、WLAN三網(wǎng)網(wǎng)絡(luò)側(cè)運(yùn)行數(shù)據(jù),結(jié)合經(jīng)營(yíng)分析側(cè)用戶、終端和業(yè)務(wù)方面的數(shù)據(jù),對(duì)用戶上網(wǎng)內(nèi)容、終端等進(jìn)行深度分析,掌握客戶行為等信息,有效支撐網(wǎng)絡(luò)和業(yè)務(wù)部門(mén)的具體工作,不斷提升上海移動(dòng)的用戶滿意度和業(yè)務(wù)價(jià)值。
目前,上海移動(dòng)基于用戶數(shù)據(jù)的分析挖掘工作主要用于及時(shí)發(fā)現(xiàn)影響客戶感知的網(wǎng)絡(luò)運(yùn)營(yíng)和客戶服務(wù)領(lǐng)域,提升業(yè)務(wù)質(zhì)量和客戶滿意度。同時(shí),上海移動(dòng)正積極部署通過(guò)各類(lèi)業(yè)務(wù)和網(wǎng)絡(luò)運(yùn)營(yíng)數(shù)據(jù)的分析,通過(guò)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)流程,培養(yǎng)用戶習(xí)慣。將來(lái),上海移動(dòng)將進(jìn)一步精確洞察數(shù)據(jù),從數(shù)據(jù)成本中心向數(shù)據(jù)運(yùn)營(yíng)中心轉(zhuǎn)變,引入創(chuàng)新業(yè)務(wù)模式,挖掘行業(yè)客戶,與合作伙伴開(kāi)展業(yè)務(wù)合作。
上海運(yùn)營(yíng)商將保護(hù)用戶隱私
運(yùn)營(yíng)商所掌握的用戶信息是十分精確的數(shù)據(jù),而且手機(jī)、電話號(hào)碼也是信息傳遞最為直接的方式,所以,當(dāng)運(yùn)營(yíng)商進(jìn)行用戶信息拓展的時(shí)候,勢(shì)必要有一個(gè)范疇的定義。運(yùn)營(yíng)商所掌握的信息,不僅僅是用戶的身份信息、手機(jī)號(hào)碼等等,甚至連用戶的所處位置、通話狀態(tài)等等都能夠獲取,這些數(shù)據(jù)信息對(duì)于每一個(gè)人都是敏感的。
上海的通信運(yùn)營(yíng)企業(yè)對(duì)用戶數(shù)據(jù)提供了符合法律法規(guī)高級(jí)別的隱私保護(hù),在用戶信息保護(hù)工作中建立了非常完善的規(guī)章制度和嚴(yán)格的操作流程,并有安全部門(mén)負(fù)責(zé)檢查考核。
在大數(shù)據(jù)業(yè)務(wù)的開(kāi)發(fā)中,上海通信運(yùn)營(yíng)企業(yè)技術(shù)上將會(huì)采取更加系統(tǒng)全面的方式對(duì)用戶隱私進(jìn)行保護(hù)。
一個(gè)重要行動(dòng)是全面升級(jí)客戶資料檔案庫(kù)。據(jù)了解,目前上海聯(lián)通檔案庫(kù)存放標(biāo)準(zhǔn)達(dá)到業(yè)界領(lǐng)先水平。
另一個(gè)措施就是不斷提高客戶資料管理系統(tǒng)的安全保護(hù)能力,加強(qiáng)賬號(hào)管理。據(jù)悉,目前上海通信運(yùn)營(yíng)企業(yè)的網(wǎng)絡(luò)安全防護(hù)水平達(dá)到工業(yè)和信息化部《通信網(wǎng)絡(luò)安全防護(hù)管理辦法》所規(guī)定的三級(jí)以上。
為確保用戶隱私,上海通信運(yùn)營(yíng)企業(yè)短信中心系統(tǒng)目前已不留存用戶短息內(nèi)容等原始信息,對(duì)垃圾短信的攔截通過(guò)系統(tǒng)設(shè)置自動(dòng)執(zhí)行。