前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的大數(shù)據(jù)分析主題范文,僅供參考,歡迎閱讀并收藏。
我們知道,HDFS中的文件分配表的核心是NameNode,客戶端主要通過NameNode執(zhí)行數(shù)據(jù)操作,DataNode會與其他DataNode進(jìn)行通信并復(fù)制數(shù)據(jù)塊以實現(xiàn)冗余,這樣單一的DataNode損壞就會導(dǎo)致集群的數(shù)據(jù)丟失。但是NameNode一旦發(fā)生故障,后果就會非常嚴(yán)重。雖然NameNode可以故障轉(zhuǎn)移,但是花費(fèi)大量的時間,這也意味著序列中會有更多的等待時間。此外,HDFS的垃圾回收,尤其是Java垃圾回收還需要占用大量的內(nèi)存,一般是本機(jī)有效內(nèi)存的10倍左右。
因為HDFS的設(shè)計更多是建立在響應(yīng)“一次寫入、多次讀寫”任務(wù)的基礎(chǔ)上,多數(shù)情況下,分析任務(wù)都會涉及數(shù)據(jù)集中的大部分?jǐn)?shù)據(jù),也就是說對HDFS而言,請求讀取整個數(shù)據(jù)集要比讀取一條記錄更加高效,所以HDFS在語言選擇方面更偏向于基礎(chǔ)語言,而不是高級語言。
傳統(tǒng)的操作可以用更短的時間來開發(fā)部署,維護(hù)成本更低、安全性更好。業(yè)內(nèi)有這樣一種說法,大多數(shù)操作系統(tǒng)支持C語言、匯編和Java的原因是文件系統(tǒng)處于一個較低水平。HDFS的工具和其他文件系統(tǒng)工具相^存在差距,比起曾經(jīng)處理的任何文件系統(tǒng)或分布式存儲,HDFS周圍的工具表現(xiàn)不佳。基于Java的文件系統(tǒng)只能搭上IT人員最喜愛的POSIX工具的末班車,嘗試過NFS掛載HDFS嗎?其它的HDFS工具的安裝也相對較復(fù)雜,相反如果使用REST bridge Tool和客戶端命令行就會非常容易。
HDFS支持原生代碼擴(kuò)展,提高了運(yùn)行效率。另外社區(qū)也為NameNode的發(fā)展作出了很多貢獻(xiàn)。如果想要打造一個高端的系統(tǒng),那么必須打破監(jiān)測和診斷工具中的NameNode瓶頸,總之在操作系統(tǒng)上使用基于C或C ++的較為成熟的分布式文件系統(tǒng)往往是更好的選擇。
關(guān)鍵詞:大數(shù)據(jù) 智能 數(shù)據(jù)分析
中圖分類號:F503 文獻(xiàn)標(biāo)識碼:A 文章編號:1674-098X(2014)04(a)-0021-01
對于數(shù)據(jù)分析來說,其主要的目的就是通過對數(shù)據(jù)的分析去發(fā)現(xiàn)問題或預(yù)測趨勢。從數(shù)據(jù)鉆取、大規(guī)模分析的技術(shù)手段、以及算法執(zhí)行上來說,大規(guī)模分析是和小規(guī)模數(shù)據(jù)在技術(shù)上是有很大差異的。想要探究大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù),首先要對數(shù)據(jù)分析這一概念進(jìn)行深入研究。
1 數(shù)據(jù)分析
數(shù)據(jù)分析的過程其實簡單的說就是做報告,做什么樣的報告反映什么樣的指標(biāo)。最開始的時候基本上是data processing。例如零售行業(yè)來說,最主要的指標(biāo)就是庫存、銷售同比增長情況、利潤同比增長情況、促銷率等等。對于不同的行業(yè)會有不同的相關(guān)的KPI需要跟蹤,所以報告的內(nèi)容也會有所側(cè)重,但是只要你一個行業(yè)做久了,熟悉了套路之后,基本上就是以同樣的方法開展。
對于數(shù)據(jù)分析,如果公司部門分的比較細(xì)的(例如可能有建模組),那么做數(shù)據(jù)分析可能永遠(yuǎn)都是做data processing了。對于模型的分析,需要你對業(yè)務(wù)有了深入的了解就可以建立一些模型出來(例如推薦模型)等等。
數(shù)據(jù)分析主要涉及的技能:
(1)數(shù)據(jù)庫的能力。越全面越好,如果不是理工科的,最起碼要會select那些簡單的查詢語句。
(2)EXCEL、PPT的能力。報告的呈現(xiàn)一般都是Excel+PPT的形式,最好VBA,這樣就可以將很多人工的工作轉(zhuǎn)化為自動化的能力,提高工作效率,領(lǐng)導(dǎo)也對你刮目相看,自己也有更多空余的時間準(zhǔn)備其他方面的知識。
(3)市場分析能力。學(xué)會觀察市場的走向和關(guān)注的內(nèi)容,例如零售行業(yè),現(xiàn)在大家都對CRM很熱衷,那相關(guān)的分析方法和方式是怎么樣的,你要自己去了解。從來不會有人手把手的將所有東西都告訴你,你必須自己學(xué)會去增長知識。
(4)一些會計的知識。因為通過以上分析,就是會計管理的一部分內(nèi)容,最后還是公司盈利問題。有興趣的也可以去看看戰(zhàn)略管理方面的,對于做數(shù)據(jù)分析也很有好處的說。
綜合來看,可以說數(shù)據(jù)分析=技術(shù)+市場+戰(zhàn)略。
2 如何培養(yǎng)數(shù)據(jù)分析能力
理論:
基礎(chǔ)的數(shù)據(jù)分析知識,至少知道如何做趨勢分析、比較分析和細(xì)分,不然拿到一份數(shù)據(jù)就無從下手;
(2)基礎(chǔ)的統(tǒng)計學(xué)知識,至少基礎(chǔ)的統(tǒng)計量要認(rèn)識,知道這些統(tǒng)計量的定義和適用條件,統(tǒng)計學(xué)方法可以讓分析過程更加嚴(yán)謹(jǐn),結(jié)論更有說服力;
(3)對數(shù)據(jù)的興趣,以及其它的知識多多益善,讓分析過程有趣起來。
實踐:
(1)明確分析的目的。如果分析前沒有明確分析的最終目標(biāo),很容易被數(shù)據(jù)繞進(jìn)去,最終自己都不知道自己得出的結(jié)論到底是用來干嘛的;
(2)多結(jié)合業(yè)務(wù)去看數(shù)據(jù)。數(shù)據(jù)從業(yè)務(wù)運(yùn)營中來,分析當(dāng)然要回歸到業(yè)務(wù)中去,多熟悉了解業(yè)務(wù)可以使數(shù)據(jù)看起來更加透徹;
(3)了解數(shù)據(jù)的定義和獲取。最好從數(shù)據(jù)最初是怎么獲取的開始了解,當(dāng)然指標(biāo)的統(tǒng)計邏輯和規(guī)則是必須熟記于心的,不然很容易就被數(shù)據(jù)給坑了;
(4)最后就是不斷地看數(shù)據(jù)、分析數(shù)據(jù),這是個必經(jīng)的過程,往往一個工作經(jīng)驗豐富的非數(shù)據(jù)分析的運(yùn)營人員要比剛進(jìn)來不久的數(shù)據(jù)分析師對數(shù)據(jù)的了解要深入得多,就是這個原因。
3 大數(shù)據(jù)
大數(shù)據(jù)就是通過統(tǒng)計分析計算機(jī)收集的數(shù)據(jù),在人們可能不知道“為什么”的前提下,了解到事物的狀態(tài)、趨勢、結(jié)果等“是什么”。
對于大數(shù)據(jù),一直來說,數(shù)據(jù)規(guī)模導(dǎo)致的存儲、運(yùn)算等技術(shù)問題從來不是最重要的瓶頸。瓶頸只在于前端數(shù)據(jù)的收集途徑,以及后端商業(yè)思想引領(lǐng)的模型和算法問題。早期的各類OLAP工具已經(jīng)足夠了,后來類似海杜普這樣的研究則徹底降低了分布式數(shù)據(jù)的架構(gòu)成本和門檻,就徹底將大數(shù)據(jù)帶入了一個普及的領(lǐng)域。
從技術(shù)層面說,大數(shù)據(jù)和以前的數(shù)據(jù)時代的最大差異在于,以前是數(shù)據(jù)找應(yīng)用/算法的過程(例如各大銀行的大集中項目,以及數(shù)據(jù)建倉),而大數(shù)據(jù)時代的重要技術(shù)特征之一,是應(yīng)用/算法去找數(shù)據(jù)的過程,因為數(shù)據(jù)規(guī)模變成了技術(shù)上最大的挑戰(zhàn)。
大數(shù)據(jù)的特點:
(1)大數(shù)據(jù)不等同于數(shù)據(jù)大,我們處理問題是根據(jù)這個問題的所有數(shù)據(jù)而非樣本數(shù)據(jù),即樣本就是總體;不是精確性而是混雜性;不是因果關(guān)系而是相關(guān)關(guān)系。
(2)大數(shù)據(jù)應(yīng)用的幾個可能:當(dāng)文字變成數(shù)據(jù),此時人可以用之閱讀,機(jī)器可以用之分析;當(dāng)方位變成數(shù)據(jù),商業(yè)廣告,疫情傳染監(jiān)控,雅安地震時的谷歌尋人;當(dāng)溝通變成數(shù)據(jù),就成了社交圖譜。一切都可以量化,將世界看作可以理解的數(shù)據(jù)的海洋,為我們提供了一個從來未有過的審視現(xiàn)實的視角。
(3)數(shù)據(jù)創(chuàng)新的價值:數(shù)據(jù)的再利用。例如重組數(shù)據(jù):隨著大數(shù)據(jù)出現(xiàn),數(shù)據(jù)的總和比部分更有價值,重組總和和本身價值也比單個總和更大;可擴(kuò)展數(shù)據(jù):在設(shè)計數(shù)據(jù)收集時就設(shè)計好了它的可擴(kuò)展性,可以增加數(shù)據(jù)的潛在價值;數(shù)據(jù)的折舊值:數(shù)據(jù)會無用,需淘汰更新;數(shù)據(jù)廢氣:比如語音識別,當(dāng)用戶指出語音識別程序誤解了他的意思,實際上就有效的訓(xùn)練了這個系統(tǒng)。
總之,大數(shù)據(jù)是因為對它的分析使用,才產(chǎn)生和體現(xiàn)它的價值,而不是因為其用到了突出的技術(shù)和算法才體現(xiàn)了它的價值。
4 大數(shù)據(jù)下的智能數(shù)據(jù)分析
在大數(shù)據(jù)的背景下,必須考慮數(shù)據(jù)之間的關(guān)聯(lián)性。一個單獨(dú)的數(shù)據(jù)是沒有意義的,實際中,選擇處在兩個極端的數(shù)據(jù)往往更容易找出它們之間的聯(lián)系,把它們放在一個框架中看才能發(fā)現(xiàn)問題。因此,可以用以下四種方法在大數(shù)據(jù)背景下進(jìn)行智能數(shù)據(jù)分析:
(1)從解決問題的角度出發(fā)收集數(shù)據(jù);
(2)把收集的數(shù)據(jù)整理好,放入一個框架內(nèi),并利用這個框架幫助決策者做出決定;
(3)評估決定與行動的效果,這將告訴我們框架是否合理;
(4)如果有新的數(shù)據(jù)出現(xiàn),我們將考察能否利用它對前面三步做出改進(jìn),以及我們今天是否還需要收集更多種類的數(shù)據(jù)。
5 結(jié)語
數(shù)據(jù)分析的最終目的是幫助業(yè)務(wù)發(fā)現(xiàn)問題并解決問題,提升公司價值,而這些是從數(shù)據(jù)發(fā)覺的,而不是盲目下結(jié)論。每家公司都有自己業(yè)務(wù)生產(chǎn)的數(shù)據(jù),通過數(shù)據(jù)分析、同比環(huán)比、漏斗分析及模型等,發(fā)現(xiàn)業(yè)務(wù)上存在的問題,幫助公司業(yè)務(wù)的優(yōu)化。
參考文獻(xiàn)
[1] 李貴兵,羅洪.大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)研究[J].科技資訊,2013(30).
關(guān)鍵詞:告警數(shù)據(jù) Hadoop Spark
1 引言
隨著電信網(wǎng)絡(luò)的不斷演進(jìn),全省數(shù)據(jù)網(wǎng)、交換網(wǎng)、接入網(wǎng)設(shè)備單月產(chǎn)生告警原始日志近億條。以上告警通過網(wǎng)元網(wǎng)管、專業(yè)綜合網(wǎng)管、智能網(wǎng)管系統(tǒng)[1]三層收斂,監(jiān)控人員每月需處理影響業(yè)務(wù)或網(wǎng)絡(luò)質(zhì)量的告警事件為20萬條,但一些對網(wǎng)絡(luò)可能造成隱患的告警信息被過濾掉。如何從海量告警數(shù)據(jù)中獲取與網(wǎng)絡(luò)性能指標(biāo)、運(yùn)維效率相關(guān)的有價值的數(shù)據(jù),對于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫架構(gòu)而言,似乎是一個不可能完成的任務(wù)。
在一般告警量情況下,ORACLE數(shù)據(jù)處理能力基本可以滿足分析需求,但當(dāng)告警分析量上升到億級,如果采用傳統(tǒng)的數(shù)據(jù)存儲和計算方式,一方面數(shù)據(jù)量過大,表的管理、維護(hù)開銷過大,要做到每個字段建索引,存儲浪費(fèi)巨大;另一方面計算分析過程耗時過長,無法滿足實時和準(zhǔn)實時分析需求。因此必須采用新的技術(shù)架構(gòu)來分析處理海量告警信息,支撐主動維護(hù)工作顯得尤為必要,為此我們引入了大數(shù)據(jù)技術(shù)。
2 分析目標(biāo)
(1)數(shù)據(jù)源:電信運(yùn)營商網(wǎng)絡(luò)設(shè)備告警日志數(shù)據(jù),每天50 G。
(2)數(shù)據(jù)分析目標(biāo):完成高頻翻轉(zhuǎn)類(瞬斷)告警分析;完成自定義網(wǎng)元、自定義告警等可定制告警分析;完成被過濾掉的告警分析、TOPN告警分析;核心設(shè)備和重要業(yè)務(wù)監(jiān)控。
(3)分析平臺硬件配置:云計算平臺分配8臺虛擬機(jī),每臺虛機(jī)配置CPU16核;內(nèi)存32 G;硬盤2 T。
3 制定方案
進(jìn)入大數(shù)據(jù)時代,行業(yè)內(nèi)涌現(xiàn)了大量的數(shù)據(jù)挖掘技術(shù),數(shù)據(jù)處理和分析更高效、更有價值。Google、Facebook等公司提供可行的思路是通過類似Hadoop[2]的分布式計算、MapReduce[3]、Spark[4]算法等構(gòu)造而成的新型架構(gòu),挖掘有價值信息。
Hadoop是Apache基金會用JAVA語言開發(fā)的分布式框架,通過利用計算機(jī)集群對大規(guī)模數(shù)據(jù)進(jìn)行分布式計算分析。Hadoop框架最重要的兩個核心是HDFS和MapReduce,HDFS用于分布式存儲,MapReduce則實現(xiàn)分布式任務(wù)計算。
一個HDFS集群包含元數(shù)據(jù)節(jié)點(NameNode)、若干數(shù)據(jù)節(jié)點(DataNode)和客戶端(Client)。NameNode管理HDFS的文件系統(tǒng),DataNode存儲數(shù)據(jù)塊文件。HDFS將一個文件劃分成若干個數(shù)據(jù)塊,這些數(shù)據(jù)塊存儲DataNode節(jié)點上。
MapReduce是Google公司提出的針對大數(shù)據(jù)的編程模型。核心思想是將計算過程分解成Map(映射)和Reduce(歸約)兩個過程,也就是將一個大的計算任務(wù)拆分為多個小任務(wù),MapReduce框架化繁為簡,輕松地解決了數(shù)據(jù)分布式存儲的計算問題,讓不熟悉并行編程的程序員也能輕松寫出分布式計算程序。MapReduce最大的不足則在于Map和Reduce都是以進(jìn)程為單位調(diào)度、運(yùn)行、結(jié)束的,磁盤I/O開銷大、效率低,無法滿足實時計算需求。
Spark是由加州伯克利大學(xué)AMP實驗室開發(fā)的類Hadoop MapReduce的分布式并行計算框架,主要特點是彈性分布式數(shù)據(jù)集RDD[5],中間輸出結(jié)果可以保存在內(nèi)存中,節(jié)省了大量的磁盤I/O操作。Spark除擁有Hadoop MapReduce所具有的優(yōu)點外,還支持多次迭代計算,特別適合流計算和圖計算。
基于成本、效率、復(fù)雜性等因素,我們選擇了HDFS+Spark實現(xiàn)對告警數(shù)據(jù)的挖掘分析。
4 分析平臺設(shè)計
4.1 Hadoop集群搭建
基于CentOS-6.5系統(tǒng)環(huán)境搭建Hadoop集群,配置如表1所示。
4.2 Spark參數(shù)設(shè)置[6]
Spark參數(shù)設(shè)置如表2所示。
4.3 數(shù)據(jù)采集層
數(shù)據(jù)采集:由于需采集的告警設(shè)備種類繁多,故采取分布式的告警采集,數(shù)據(jù)網(wǎng)設(shè)備、交換網(wǎng)設(shè)備、接入網(wǎng)設(shè)備分別通過IP綜合網(wǎng)管、天元綜合網(wǎng)管、PON綜合網(wǎng)管進(jìn)行采集,采集周期5分鐘一次。采集機(jī)先將采集到的告警日志文件,通過FTP接口上傳到智能網(wǎng)管系統(tǒng)文件服務(wù)器上,再對文件進(jìn)行校驗,通過Sqoop推送到Hadoop集群上。
4.4 邏輯處理層
(1)建立高頻翻轉(zhuǎn)告警監(jiān)控工作流程
先將海量告警進(jìn)行初步刪選,通過數(shù)量、位置和時間三個維度的分析,得出高頻翻轉(zhuǎn)類告警清單列表,最后由專業(yè)工程師甄別確認(rèn),對某類告警進(jìn)行重點關(guān)注和監(jiān)控。
(2)差異化定制方案
按組網(wǎng)架構(gòu)細(xì)分,針對核心重要節(jié)點的所有告警均納入實時監(jiān)控方案;
按業(yè)務(wù)網(wǎng)絡(luò)細(xì)分,針對不同業(yè)務(wù)網(wǎng)絡(luò)設(shè)計個性化的監(jiān)控方案;
按客戶業(yè)務(wù)細(xì)分,針對客戶數(shù)字出租電路設(shè)計個性化的監(jiān)控方案。
4.5 數(shù)據(jù)分析層
Spark讀取Hive[7]表的告警數(shù)據(jù),然后在Spark引擎中進(jìn)行SQL統(tǒng)計分析。Spark SQL模K在進(jìn)行分析時,將外部告警數(shù)據(jù)源轉(zhuǎn)化為DataFrame[8],并像操作RDD或者將其注冊為臨時表的方式處理和分析這些數(shù)據(jù)。一旦將DataFrame注冊成臨時表,就可以使用類SQL的方式操作查詢分析告警數(shù)據(jù)。表3是利用Spark SQL對告警工單做的一個簡單分析:
5 平臺實踐應(yīng)用
探索運(yùn)維數(shù)據(jù)分析的新方法,利用大數(shù)據(jù)分析技術(shù),分析可能影響業(yè)務(wù)/設(shè)備整體性能的設(shè)備告警,結(jié)合網(wǎng)絡(luò)性能數(shù)據(jù),找到網(wǎng)絡(luò)隱患,實現(xiàn)主動維護(hù)的工作目標(biāo)。
5.1 高頻翻轉(zhuǎn)類告警監(jiān)控
首先制定了高頻翻轉(zhuǎn)類告警分析規(guī)則,將連續(xù)7天每天原始告警發(fā)生24次以上定義為高頻翻轉(zhuǎn)類告警,并基于大數(shù)據(jù)平臺開發(fā)了相應(yīng)的分析腳本,目前已實現(xiàn)全專業(yè)所有告警類型的分析。表4是全省高頻翻轉(zhuǎn)類TOP10排名。
5.2 核心設(shè)備和重要業(yè)務(wù)監(jiān)控
目前以設(shè)備廠商或?qū)<医?jīng)驗評定告警監(jiān)控級別往往會與實際形成偏差,主要表現(xiàn)在以下幾個方面:監(jiān)控級別的差異化設(shè)定基于已知的告警類型,一旦網(wǎng)絡(luò)重大故障上報未知的告警類型就無法在第一時間有效監(jiān)控到;同一類型的故障告警出現(xiàn)在不同網(wǎng)絡(luò)層面可能影響業(yè)務(wù)的程度是完全不同的;不同保障級別的客戶對故障告警監(jiān)控的實時性要求也是不同的。
通過大數(shù)據(jù)分析平臺對差異化監(jiān)控提供了靈活的定制手段,可根據(jù)告警關(guān)鍵字,分專業(yè)、地市、網(wǎng)管、機(jī)房、告警頻次等維度自主定制需要的告警數(shù)據(jù),實現(xiàn)日、周、月、某個時間區(qū)等統(tǒng)計分析。
應(yīng)用案例:省NOC通過大數(shù)據(jù)分析出一條編號為CTVPN80113的中國平安大客戶電路在一段時間內(nèi)頻繁產(chǎn)生線路劣化告警,但用戶未申告,省NOC隨即預(yù)警給政企支撐工程師,政支工程師與用戶溝通后,派維護(hù)人員至現(xiàn)場處理,發(fā)現(xiàn)線路接頭松動,緊急處理后告警消除、業(yè)務(wù)恢復(fù)。
5.3 被過濾告警分析
全省每天網(wǎng)絡(luò)告警數(shù)據(jù)300萬條~500萬條,其中99%都會根據(jù)告警過濾規(guī)則進(jìn)行過濾篩選,把過濾后的告警呈現(xiàn)給網(wǎng)絡(luò)監(jiān)控人員。過濾規(guī)則的準(zhǔn)確性直接影響告警數(shù)據(jù)的質(zhì)量。一般來說告警過濾規(guī)則可以從具有豐富運(yùn)維經(jīng)驗的網(wǎng)絡(luò)維護(hù)人員獲得,但是這個過程非常繁瑣,而且通過人工途徑獲得的告警過濾規(guī)則在不同的應(yīng)用環(huán)境可能存在差異,無法滿足網(wǎng)絡(luò)維護(hù)的整體需要。采用大數(shù)據(jù)技術(shù)對被過濾的告警進(jìn)行分析可以很好地完善過濾規(guī)則,讓真正急迫需要處理的告警優(yōu)先呈現(xiàn)給維護(hù)人員及時處理,真正做到先于客戶發(fā)現(xiàn)故障。表5是動環(huán)專業(yè)被過濾的告警情況分布。
5.4 動環(huán)深放電分析
動環(huán)網(wǎng)管通過C接口采集蓄電池電壓數(shù)據(jù),在停電告警產(chǎn)生之后,電壓數(shù)據(jù)首次下降到45 V,表示該局站電池出現(xiàn)深放電現(xiàn)象,通過計算這一放電過程的持續(xù)時間,記為深放電時長,該時長可以初步反映電池的放電性能。一個局站每天產(chǎn)生幾十萬條電壓等動環(huán)實時數(shù)據(jù)。
在告警數(shù)據(jù)分析的基礎(chǔ)上,實現(xiàn)對蓄電池電壓變化數(shù)據(jù)的分析,提醒分公司關(guān)注那些深放電次數(shù)過多和放電時長過短的局站,核查蓄電池、油機(jī)配置、發(fā)電安排等,并進(jìn)行整治。利用Spark SQL統(tǒng)計了一個月內(nèi)撫州、贛州、吉安三分公司幾十億條動環(huán)數(shù)據(jù),分析了其中深放電的情況如表6所示。
6 結(jié)論
本文利用HDFS+Spark技術(shù),實驗性地解決告警數(shù)據(jù)存儲和分析等相關(guān)問題:一是通過數(shù)據(jù)分析,從海量告警數(shù)據(jù)中發(fā)現(xiàn)潛在的網(wǎng)絡(luò)隱患;二是結(jié)合資源信息和不同專業(yè)的告警,最終為用戶提供綜合預(yù)警;三是轉(zhuǎn)變網(wǎng)絡(luò)監(jiān)控思路和方式,通過數(shù)據(jù)匯聚、數(shù)據(jù)相關(guān)性分析、數(shù)據(jù)可視化展示,提高了網(wǎng)絡(luò)監(jiān)控效率;最后還擴(kuò)展到對動環(huán)實時數(shù)據(jù)、信令數(shù)據(jù)進(jìn)行分析。
從實際運(yùn)行效果來看,HDFS和Spark完全可以取代傳統(tǒng)的數(shù)據(jù)存儲和計算方式,滿足電信運(yùn)營商主動運(yùn)維的需求。
參考文獻(xiàn):
[1] 中國電信股份有限公司. 中國電信智能網(wǎng)管技術(shù)規(guī)范-總體分冊[Z]. 2015.
[2] Tom white. Hadoop權(quán)威指南[M]. 4版. 南京: 東南大學(xué)出版社, 2015.
[3] RP Raji. MapReduce: Simplified Data Processing on Large Clusters[Z]. 2004.
[4] Spark. Apache Spark?[EB/OL]. [2016-11-27]. http:///.
[5] Matei Zaharia, Mosharaf Chowdhury, Tathagata Das, et al. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing[J]. Usenix Conference on Networked Systems Design & Implementation, 2012,70(2): 141-146.
[6] S鵬. Apache Spark源碼剖析[M]. 北京: 電子工業(yè)出版社, 2015.
[7] Hive. Apache HiveTM[EB/OL]. [2016-11-27]. http:///.
[8] Holden Karau, Andy Konwinski, Patrick Wendell, et al. Learning Spark: Lightning-Fast Big Data Analysis[M]. Oreilly & Associates Inc, 2015.
[9] 員建廈. 基于動態(tài)存儲策略的數(shù)據(jù)管理系統(tǒng)[J]. 無線電工程, 2014,44(11): 52-54.
【關(guān)鍵詞】大數(shù)據(jù);大數(shù)據(jù)營銷;京東
一、數(shù)據(jù)分析時代演變歷程
(一)數(shù)據(jù)1.0時代
數(shù)據(jù)分析出現(xiàn)在新的計算技術(shù)實現(xiàn)以后,分析1.0時代又稱為商業(yè)智能時代。它通過客觀分析和深入理解商業(yè)現(xiàn)象,取締在決策中僅憑直覺和過時的市場調(diào)研報告,幫助管理者理性化和最大化依據(jù)事實作出決策。首次在計算機(jī)的幫助下將生產(chǎn)、客戶交互、市場等數(shù)據(jù)錄入數(shù)據(jù)庫并且整合分析。但是由于發(fā)展的局限性對數(shù)據(jù)的使用更多的是準(zhǔn)備數(shù)據(jù),很少時間用在分析數(shù)據(jù)上。
(二)數(shù)據(jù)2.0時代
2.0時代開始于2005年,與分析1.0要求的公司能力不同,新時達(dá)要求數(shù)量分析師具備超強(qiáng)的分析數(shù)據(jù)能力,數(shù)據(jù)也不是只來源于公司內(nèi)部,更多的來自公司外部、互聯(lián)網(wǎng)、傳感器和各種公開的數(shù)據(jù)。比如領(lǐng)英公司,充分運(yùn)用數(shù)據(jù)分析搶占先機(jī),開發(fā)出令人印象深刻的數(shù)據(jù)服務(wù)。
(三)數(shù)據(jù)3.0時代
又稱為富化數(shù)據(jù)的產(chǎn)品時代。分析3.0時代來臨的標(biāo)準(zhǔn)是各行業(yè)大公司紛紛介入。公司可以很好的分析數(shù)據(jù),指導(dǎo)合適的商業(yè)決策。但是必須承認(rèn),隨著數(shù)據(jù)的越來越大,更新速度越來越快,在帶來發(fā)展機(jī)遇的同時,也帶來諸多挑戰(zhàn)。如何商業(yè)化地利用這次變革是亟待面對的課題。
二、大數(shù)據(jù)營銷的本質(zhì)
隨著顧客主導(dǎo)邏輯時代的到來以及互聯(lián)網(wǎng)電商等多渠道購物方式的出現(xiàn),顧客角色和需求發(fā)生了轉(zhuǎn)變,世界正在被感知化、互聯(lián)化和智能化。大數(shù)據(jù)時代的到來,個人的行為不僅能夠被量化搜集、預(yù)測,而且顧客的個人觀點很可能改變商業(yè)世界和社會的運(yùn)行。由此,一個個性化顧客主導(dǎo)商業(yè)需求的時代已然到來,大數(shù)據(jù)沖擊下,市場營銷引領(lǐng)的企業(yè)變革初見端倪。
(一)大數(shù)據(jù)時代消費(fèi)者成為市場營銷的主宰者
傳統(tǒng)的市場營銷過程是通過市場調(diào)研,采集目前市場的信息幫助企業(yè)研發(fā)、生產(chǎn)、營銷和推廣。但是在大數(shù)據(jù)以及社會化媒體盛行的今天,這種營銷模式便黯然失色。今天的消費(fèi)者已然成為了市場營銷的主宰者,他們會主動搜尋商品信息,貨比三家,嚴(yán)格篩選。他們由之前的注重使用價值到更加注重消費(fèi)整個過程中的體驗價值和情境價值。甚至企業(yè)品牌形象的塑造也不再是企業(yè)單一宣傳,虛擬社區(qū)以及購物網(wǎng)站等的口碑開始影響消費(fèi)者的購買行為。更有甚者,消費(fèi)者通過在社交媒體等渠道表達(dá)個人的需求已經(jīng)成為影響企業(yè)產(chǎn)品設(shè)計、研發(fā)、生產(chǎn)和銷售的重要因素。
(二)大數(shù)據(jù)時代企業(yè)精準(zhǔn)營銷成為可能
在大數(shù)據(jù)時代下,技術(shù)的發(fā)展大大超過了企業(yè)的想象。搜集非結(jié)構(gòu)化的信息已經(jīng)成為一種可能,大數(shù)據(jù)不單單僅能了解細(xì)分市場的可能,更通過真正個性化洞察精確到每個顧客。通過數(shù)據(jù)的挖掘和深入分析,企業(yè)可以掌握有價值的信息幫助企業(yè)發(fā)現(xiàn)顧客思維模式、消費(fèi)行為模式。尤其在今天顧客為了彰顯個性,有著獨(dú)特的消費(fèi)傾向。相對于忠誠于某個品牌,顧客更忠誠與給自己的定位。如果企業(yè)的品牌不能最大化地實現(xiàn)客戶價值,那么即使是再惠顧也難以保證顧客的持續(xù)性。并且,企業(yè)不能奢望對顧客進(jìn)行歸類,因為每個顧客的需求都有差別。正是如此,大數(shù)據(jù)分析才能更好地把握顧客的消費(fèi)行為和偏好,為企業(yè)精準(zhǔn)營銷出謀劃策。
(三)大數(shù)據(jù)時代企業(yè)營銷理念———“充分以顧客為中心創(chuàng)造價值”
傳統(tǒng)的營銷和戰(zhàn)略的觀點認(rèn)為,大規(guī)模生產(chǎn)意味著標(biāo)準(zhǔn)化生產(chǎn)方式,無個性化可言。定制化生產(chǎn)意味著個性化生產(chǎn),但是只是小規(guī)模定制。說到底,大規(guī)模生產(chǎn)與定制化無法結(jié)合。但是在今天,大數(shù)據(jù)分析的營銷和銷售解決的是大規(guī)模生產(chǎn)和顧客個性化需求之間的矛盾。使大企業(yè)擁有傳統(tǒng)小便利店的一對一顧客關(guān)系管理,以即時工具和個性化推薦使得大企業(yè)實現(xiàn)與顧客的實時溝通等。
三、基于數(shù)據(jù)營銷案例研究
———京東京東是最大的自營式電商企業(yè)。其中的京東商城,涵蓋服裝、化妝品、日用品、生鮮、電腦數(shù)碼等多個品類。在整個手機(jī)零售商行業(yè)里,京東無論是在銷售額還是銷售量都占到市場份額一半的規(guī)模。之所以占據(jù)這樣的優(yōu)勢地位,得益于大數(shù)據(jù)的應(yīng)用,即京東的JDPhone的計劃。JDPhone計劃是依據(jù)京東的大數(shù)據(jù)和綜合服務(wù)的能力,以用戶為中心整合產(chǎn)業(yè)鏈的優(yōu)質(zhì)資源并聯(lián)合廠商打造用戶期待的產(chǎn)品和服務(wù)體驗。京東在銷售的過程中,通過對大數(shù)據(jù)的分析,內(nèi)部研究出一種稱為產(chǎn)品畫像的模型。這個模型通過綜合在京東網(wǎng)站購物消費(fèi)者的信息,例如:年齡、性別、喜好等類別的信息,然后進(jìn)行深入分析。根據(jù)分析結(jié)果結(jié)合不同的消費(fèi)者便有諸如線上的程序化購買、精準(zhǔn)的點擊等營銷手段,有效的幫助京東實現(xiàn)精準(zhǔn)的營銷推送。不僅如此,通過對于后續(xù)用戶購物完成的售后數(shù)據(jù)分析,精確的分析商品的不足之處或者消費(fèi)者的直接需求。數(shù)據(jù)3.0時代的一個特征便是企業(yè)不在單純的在企業(yè)內(nèi)部分析數(shù)據(jù),而是共享實現(xiàn)價值共創(chuàng)。所以,京東把這些數(shù)據(jù)用于與上游供應(yīng)商進(jìn)行定期的交流,間接促進(jìn)生產(chǎn)廠商與消費(fèi)者溝通,了解市場的需求,指導(dǎo)下一次產(chǎn)品的市場定位。總的來說,這個計劃是通過京東銷售和售后環(huán)節(jié)的大數(shù)據(jù)分析,一方面指導(dǎo)自身精準(zhǔn)營銷,另一方面,影響供應(yīng)商產(chǎn)品定位和企業(yè)規(guī)劃,最終為消費(fèi)者提供滿足他們需求的個性化產(chǎn)品。
四、大數(shù)據(jù)營銷的策略分析
(一)數(shù)據(jù)分析要樹立以人為本的思維
“以人為本”體現(xiàn)在兩個方面,一方面是數(shù)據(jù)分析以客戶為本,切實分析客戶的需求,用數(shù)據(jù)分析指導(dǎo)下一次的產(chǎn)品設(shè)計、生產(chǎn)和市場營銷。另一方面,以人為本體現(xiàn)在對用戶數(shù)據(jù)的保密性和合理化應(yīng)用。切實維護(hù)好大數(shù)據(jù)和互聯(lián)網(wǎng)背景下隱私保護(hù)的問題,使得信息技術(shù)良性發(fā)展。
(二)正確處理海量數(shù)據(jù)與核心數(shù)據(jù)的矛盾
大數(shù)據(jù)具有數(shù)據(jù)量大、類型繁多、價值密度低和速度快時效高的特點。所以在眾多海量的數(shù)據(jù)中,只有反映消費(fèi)者行為和市場需求的信息才是企業(yè)所需要的。不必要的數(shù)據(jù)分析只會影響企業(yè)做出時代Time2017年第04期中旬刊(總第657期)正確的決策。鑒于此,首先企業(yè)需要明確核心數(shù)據(jù)的標(biāo)準(zhǔn);其次企業(yè)要及時進(jìn)行核心數(shù)據(jù)的歸檔;最后要有專業(yè)的數(shù)據(jù)分析專業(yè)隊數(shù)據(jù)進(jìn)行分析,得出科學(xué)合理的結(jié)果以指導(dǎo)實踐。
(三)整合價值鏈以共享數(shù)據(jù)的方式實現(xiàn)價值創(chuàng)造
[關(guān)鍵詞]綜采工作面 數(shù)據(jù)分析
中圖分類號:TD823 文獻(xiàn)標(biāo)識碼:A 文章編號:1009-914X(2016)16-0016-01
1.引言:本文主要從綜采工作面大數(shù)據(jù)的支撐下如何選擇綜采“三機(jī)”(三機(jī)指采煤機(jī)、刮板機(jī)、液壓支架)展開探討,綜采工作面“三機(jī)”配套不能停留在簡單的“經(jīng)驗類比”上,而應(yīng)開發(fā)研制綜采設(shè)備選型的大數(shù)據(jù)系統(tǒng),避免在選型設(shè)計中受決策者個人偏見或感彩的影響。同時還要對系統(tǒng)中的主要環(huán)節(jié)進(jìn)行動態(tài)優(yōu)化設(shè)計,使其設(shè)計參數(shù)與實際運(yùn)行參數(shù)得到統(tǒng)一。目前的綜采工作面“三機(jī)”選型設(shè)計還是以“經(jīng)驗類比”為主,雖然基本上能夠滿足生產(chǎn)需要,但在某些環(huán)節(jié)上還存在著嚴(yán)重的不合理現(xiàn)象。
2.綜采工作面大數(shù)據(jù)分析影響著綜采“三機(jī)”的合理配套選擇
2.1 采煤機(jī)的機(jī)型選擇
采煤機(jī)機(jī)型選擇之前要考慮一下數(shù)據(jù):首先考慮地質(zhì)條件,主要包括綜采工作面內(nèi)斷層斷距、走向、煤層傾角、煤質(zhì)硬度等判斷是否具備選擇采煤機(jī)的條件,在地質(zhì)條件適合綜采的情況下再考慮其他因素如采高、每月計劃產(chǎn)量、每刀生產(chǎn)能力、截深、功率、牽引方式,實際生產(chǎn)能力主要取決于采高、截深、牽引速度以及工作時間利用系數(shù)。采高由滾筒直徑、調(diào)高形式和搖臂擺角等決定,滾筒直徑是滾筒采煤機(jī)采高的主要調(diào)節(jié)變量,每種采煤機(jī)都有幾種滾筒直徑供選擇,滾筒直徑應(yīng)滿足最大采高及臥底量的要求。截深的選取與煤層厚度、煤質(zhì)軟硬、頂板巖性以及移架步距有關(guān)。截割速度是指滾筒截齒齒尖的圓周切線速度,由截割部傳動比、滾筒轉(zhuǎn)速和滾筒直徑確定,對采煤機(jī)的功率消耗、裝煤效果、煤的塊度和煤塵大小等有直接影響。牽引速度的初選是通過滾筒最大切削厚度和液壓支架移架追機(jī)速度驗算確定。牽引力是由外載荷決定的,其影響因素較多,如煤質(zhì)、采高、牽引速度、工作面傾角、機(jī)身自重及導(dǎo)向機(jī)構(gòu)的結(jié)構(gòu)和摩擦系數(shù)等,沒有準(zhǔn)確的計算公式,一般取采煤機(jī)電機(jī)功率消耗的10%~25%。滾筒采煤機(jī)電機(jī)功率常用單齒比能耗法或類比法計算,然后參照生產(chǎn)任務(wù)及煤層硬度等因素確定。
2.2 刮板機(jī)的選擇
在選型時要確定的刮板輸送機(jī)的參數(shù)主要包括輸送能力、電機(jī)功率和刮板鏈強(qiáng)度等。輸送能力要大于采煤機(jī)生產(chǎn)能力并有一定備用能力,輸送能力應(yīng)大于采煤機(jī)的最大生產(chǎn)能力,一般取1.2倍;電機(jī)功率主要根據(jù)工作面傾角、鋪設(shè)長度及輸送量的大小等條件確定;刮板鏈的強(qiáng)度應(yīng)按惡劣工況和滿載工況進(jìn)行驗,要根據(jù)刮板鏈的質(zhì)量情況確定鏈條數(shù)目,結(jié)合煤質(zhì)硬度選擇鏈子結(jié)構(gòu)型式。
2.3 液壓支架的選擇
液壓支架的選型就是要確定支架類型(支撐式、掩護(hù)式、支撐掩護(hù)式)、支護(hù)阻力(初撐力和額定工作阻力)、支護(hù)強(qiáng)度與底板比壓以及支架的結(jié)構(gòu)參數(shù)(立柱數(shù)目、最大最小高度、頂梁和底座的尺寸及相對位置等)及閥組性能和操作方式等。此外還要考慮礦井采區(qū)工作面的煤層、頂?shù)装寮暗刭|(zhì)條件數(shù)據(jù),依據(jù)不同類級頂板選取架型。
液壓支架具備最基本的特點是(1)要頂?shù)米。核某鯎瘟凸ぷ髯枇σm應(yīng)直接和老頂巖層移動所產(chǎn)生的壓力,使控頂區(qū)的頂板下沉量限制到最小程度;(2)要移得走:它的結(jié)構(gòu)形式和支護(hù)特性要適應(yīng)直接頂下部的巖層冒落特點,尤其要注意頂板在暴露后未支護(hù)下的破碎狀態(tài),要盡量保持該處頂板的完整性,支架底座的比壓要適應(yīng)底板巖石的抗壓強(qiáng)度,以防止底板松軟而使底板下陷不能移架。
2.4 “三機(jī)”合理配套選擇工程復(fù)雜
從采煤機(jī)、液壓支架、刮板輸送機(jī)的選型參數(shù)中看到,綜采設(shè)備的合理配套是很復(fù)雜的系統(tǒng)工程。滿足生產(chǎn)能力要求采煤機(jī)生產(chǎn)能力要與綜采工作面的生產(chǎn)任務(wù)相適應(yīng),工作面刮板輸送機(jī)的輸送能力應(yīng)大于采煤機(jī)的生產(chǎn)能力,液壓支架的移架速度應(yīng)與采煤機(jī)的牽引速度相適應(yīng),而乳化液泵站輸出壓力與流量應(yīng)滿足液壓支架初撐力及其動作速度要求;滿足設(shè)備性能要求輸送機(jī)的結(jié)構(gòu)形式及附件必須與采煤機(jī)的結(jié)構(gòu)相匹配,如采煤機(jī)的牽引機(jī)構(gòu)、行走機(jī)構(gòu)、底托架及滑靴的結(jié)構(gòu),電纜及水管的拖移方法以及是否連鎖控制等。輸送機(jī)的中部槽應(yīng)與液壓支架的推移千斤頂連接裝置的間距和連接結(jié)構(gòu)相匹配;采煤機(jī)的采高范圍與支架的最大和最小結(jié)構(gòu)尺寸相適應(yīng),而其截深應(yīng)與支架推移步距相適應(yīng)。如果綜采沒有大量數(shù)據(jù)的支持,“三機(jī)”的合理選擇無從下手。如下圖三機(jī)配套關(guān)系圖(見圖1)
3.綜采工作面大數(shù)據(jù)分析的意義
3.1 經(jīng)濟(jì)效益方面
工作面生產(chǎn)前期需要決策“三機(jī)”選擇,不同的決策者往往站在自己的專業(yè)領(lǐng)域考慮設(shè)備,這樣在缺乏綜合數(shù)據(jù)分析下往往造成“三機(jī)”設(shè)備不配套,不僅會造成大量資金的浪費(fèi),短時間內(nèi)不能滿足高產(chǎn)高效,又影響煤礦企業(yè)經(jīng)濟(jì)效益。
3.2 安全生產(chǎn)方面
井下作業(yè)條件特殊,尤其是工作面,時刻都面臨著危險,如果沒有工作面大量數(shù)據(jù)分析的支持,錯誤的選擇“三機(jī)”,不能很好的配合工作,這樣很可能會造成液壓支架支撐不住頂板壓力而造成頂板事故,工作面進(jìn)度跟不上可能會誘發(fā)火災(zāi)、一氧化碳等事故,還有“三機(jī)”的機(jī)械故障也容易造成人員傷害等等。
小結(jié)
一、智慧江蘇的建設(shè)現(xiàn)狀
信息化建設(shè)成果顯著。一是既有投資計劃完成超前。據(jù)2015年數(shù)據(jù)統(tǒng)計,全省“十二五”期間寬帶基礎(chǔ)設(shè)施建設(shè)累計完成投資1399.6億元,提前一年完成五年投資計劃。二是“寬帶江蘇”、“無線江蘇”建設(shè)取得顯著成效,多項指標(biāo)在全國名列前茅。數(shù)據(jù)顯示,至2014年底,江蘇光纜線路總長度205.4萬公里,位列全國第一;三網(wǎng)融合業(yè)務(wù)進(jìn)一步在全省推廣,繼續(xù)保持全國第一;而互聯(lián)網(wǎng)省際出口帶寬8453G,寬帶接入端口總數(shù)3198萬個,移動電話基站數(shù)24.5萬個,光纖到戶覆蓋家庭數(shù)達(dá)1984萬戶,均位列全國第二。據(jù)權(quán)威統(tǒng)計,2014年江蘇信息化發(fā)展水平指數(shù)達(dá)到82.49,位列全國第二;信息資源開發(fā)利用水平指數(shù)則居全國第一。
智慧化建設(shè)卓有成效。一是智慧城市入選數(shù)量和規(guī)模位居全國第一。如揚(yáng)州、常州等6市以及昆山、江寧等12個區(qū)縣園區(qū)分別被工信部、住建部、科技部列入智慧城市建設(shè)試點。二是智慧城市生活應(yīng)用推進(jìn)迅速。如“我的南京”智慧城市門戶服務(wù)平臺信息化示范工程,以手機(jī)應(yīng)用的形式集成了社保、違章處理、預(yù)約掛號、公積金查詢、主干道監(jiān)控以及公交查詢等多種社會公共服務(wù)。這類服務(wù)既有效減輕了政府部門的工作量,又為民眾生活提供了便利,初步實現(xiàn)居民日常行政業(yè)務(wù)需求的智慧化處理。
二、智慧江蘇建設(shè)中存在的問題
無線覆蓋質(zhì)量欠缺。據(jù)統(tǒng)計,截至2015年底,全省已建成“JSFree”免費(fèi)WiFi熱點約3.9萬個、AP數(shù)近50萬個。但從實際調(diào)研情況來看,南京、無錫、常州、蘇州、揚(yáng)州及南通等市的部分公共區(qū)域雖已可搜索到“JSFree”的WiFi信號,但接入質(zhì)量并不高,且不時會出現(xiàn)無法成功建立連接,或建立連接后依然無法訪問互聯(lián)網(wǎng)的情況。
應(yīng)用范圍深度有限。一是項目范圍有限。現(xiàn)有智慧江蘇建設(shè)項目主要涉及城市政務(wù)、民生、交通、生活、娛樂和旅游等五個方面,而在農(nóng)業(yè)、醫(yī)療、工業(yè)、物流、教育等方面的應(yīng)用則相對欠缺。二是應(yīng)用功能較為單一。目前,江蘇多數(shù)智慧項目僅開放原始數(shù)據(jù)查詢。這其中,民生和交通智慧建設(shè)項目相對較好,但應(yīng)用深度依然有限。如江蘇省智慧城市門戶,下設(shè)智慧政務(wù)欄目僅限于信息導(dǎo)航,并未涉及政務(wù)信息的在線處理。而智慧南京項目“我的南京”手機(jī)應(yīng)用雖提供違章信息的在線處理,但其罰款的在線繳納目前仍僅支持部分金融機(jī)構(gòu)進(jìn)行繳納。
數(shù)據(jù)分析挖掘缺乏。目前智慧江蘇項目的絕大多數(shù)是對數(shù)據(jù)資源的表面搬運(yùn),仍處于數(shù)據(jù)資源利用的初級階段,數(shù)據(jù)資源挖掘不夠。跨行業(yè)的信息資源整合、數(shù)據(jù)挖掘、知識發(fā)現(xiàn)和協(xié)同決策更為缺乏,智慧化程度低。如“我的南京”手機(jī)應(yīng)用中,所提供了對南京主干道的視頻監(jiān)控,公積金及社保等數(shù)據(jù)的獲取也停留在直接查詢,未能深層次利蘊(yùn)含的數(shù)據(jù)價值。
三、深化智慧江蘇建設(shè)的對策建議
加強(qiáng)規(guī)劃統(tǒng)籌,促進(jìn)互聯(lián)互通。一是建議系統(tǒng)制定支持技術(shù)與平臺、信息基礎(chǔ)設(shè)施、數(shù)據(jù)概念模型、數(shù)據(jù)編碼、信息系統(tǒng)安全與保障、信息系統(tǒng)運(yùn)維等方面的智慧江蘇建設(shè)與評價的標(biāo)準(zhǔn)和規(guī)范。加強(qiáng)頂層規(guī)劃和統(tǒng)籌設(shè)計,明確建設(shè)目標(biāo),提供建設(shè)指導(dǎo),防范建設(shè)風(fēng)險,協(xié)調(diào)建設(shè)利益。二是應(yīng)廣泛運(yùn)用互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算、移動通信、地理空間、智能終端等現(xiàn)代信息技術(shù),注重信息基礎(chǔ)設(shè)施的升級建設(shè),提高無線網(wǎng)絡(luò)的接入覆蓋率和質(zhì)量,全面促進(jìn)互聯(lián)互通,整體推進(jìn)建設(shè)進(jìn)程。三是需加快建設(shè)“互聯(lián)網(wǎng)+”和利于大數(shù)據(jù)分析的基本環(huán)境,提升公共基礎(chǔ)設(shè)施的感知能力。如可將溫度傳感器、重力傳感器、音頻采集器、視頻采集器等數(shù)據(jù)采集及環(huán)境感知設(shè)備嵌入至基礎(chǔ)設(shè)施中,構(gòu)建虛擬視聽觸動系統(tǒng),并涵蓋工業(yè)、商業(yè)、農(nóng)業(yè)、辦公、居住、旅店、展覽、餐飲、會議、文娛、交通、燈光照明、信息通信與顯示等諸多方面,實現(xiàn)日常運(yùn)行的監(jiān)測采集、智能分析和科學(xué)決策。
堅持以人為本,立足省情民情。一是應(yīng)當(dāng)聯(lián)系江蘇省的歷史文化特點和可持續(xù)發(fā)展,將信息系統(tǒng)與經(jīng)濟(jì)發(fā)展、城鄉(xiāng)管理、公共服務(wù)和文化傳承緊密結(jié)合,注重節(jié)能減排、綠色環(huán)保、環(huán)境友好等宜人自然條件的監(jiān)測、建設(shè)與管理,優(yōu)化全民生活環(huán)境。二是建議完善信息交互功能,形成全方位信息提供和自下而上的信息反饋機(jī)制,推動智慧建設(shè)與社會的高度融合,實現(xiàn)多元互動、多向協(xié)同。
深化數(shù)據(jù)挖掘,獲取智能智慧。一是可組織數(shù)據(jù)挖掘與分析專家,在統(tǒng)計、在線分析處理、情報檢索、機(jī)器學(xué)習(xí)、專家系統(tǒng)和模式識別方面協(xié)同攻關(guān),針對具體行業(yè)和領(lǐng)域?qū)嵤?shù)據(jù)挖掘工作,深挖數(shù)據(jù)價值,發(fā)現(xiàn)潛在知識,形成一系列具備數(shù)據(jù)分析和知識推理功能的智慧化方法。二是建議試點設(shè)計運(yùn)用城市和鄉(xiāng)村的分析決策支持模型,實現(xiàn)模型在網(wǎng)絡(luò)環(huán)境下的共享與應(yīng)用,形成一系列具備公共管理問題輔助決策功能的智慧化模型,優(yōu)化決策質(zhì)量。三是建議利用大數(shù)據(jù)挖掘與輔助決策研究成果,增強(qiáng)和完善現(xiàn)有智慧功能,研發(fā)特色智慧應(yīng)用。按照不同行業(yè)和不同權(quán)限,以手機(jī)應(yīng)用、網(wǎng)頁或?qū)iT應(yīng)用的方式向社會公開,以對包括民生、環(huán)保、公共安全、城鄉(xiāng)服務(wù)、工商業(yè)活動在內(nèi)的各種需求做出智能響應(yīng)。支持個人更好地了解生活環(huán)境,選擇更為理想的生活方式;支持工商企業(yè)更好地掌握客戶需求和消費(fèi)習(xí)慣,選擇更為理想的生產(chǎn)制造和商業(yè)模式;支持農(nóng)業(yè)更好地感知環(huán)境和監(jiān)測對象,提高對自然環(huán)境的風(fēng)險應(yīng)對能力,推動耕地資源的合理高效利用,促進(jìn)農(nóng)業(yè)的現(xiàn)代化精準(zhǔn)管理;支持政府更好地獲取綜合信息和運(yùn)行狀況,做出更為準(zhǔn)確科學(xué)的決策。將江蘇省建設(shè)成具備感知、記憶、理解、邏輯、辨別、計算、分析、判斷等多種能力的智慧體,實現(xiàn)高層次智慧化。
引領(lǐng)產(chǎn)業(yè)發(fā)展,助推創(chuàng)新創(chuàng)業(yè)。一是建議大力實施智慧化應(yīng)用項目,使項目的公益性、市場性、營利性有機(jī)結(jié)合,建立科學(xué)的商業(yè)運(yùn)作模式,通過多種途徑和方式推廣和應(yīng)用智慧化項目。二是應(yīng)鼓勵大數(shù)據(jù)產(chǎn)業(yè)發(fā)展,獲取數(shù)據(jù)倉庫、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)挖掘等圍繞大數(shù)據(jù)管理的商業(yè)價值,在金融、通信、零售、醫(yī)療、旅游、政府公共事業(yè)等領(lǐng)域深化創(chuàng)新創(chuàng)業(yè)。三是需催生“互聯(lián)網(wǎng)+”智慧產(chǎn)業(yè),加快行業(yè)O2O布局,推動互聯(lián)網(wǎng)與行業(yè)融合創(chuàng)新,整合線上線下資源,鼓勵創(chuàng)新商業(yè)模式,探索個性化定制、按需制造、眾包眾創(chuàng)等新型生產(chǎn)方式,推動制造業(yè)服務(wù)化升級。
關(guān)鍵詞:住宅空置;電力數(shù)據(jù);大數(shù)據(jù)分析;用電量;供電信息數(shù)據(jù);供電企業(yè) 文獻(xiàn)標(biāo)識碼:A
中圖分類號:TM743 文章編號:1009-2374(2016)33-0191-02 DOI:10.13535/ki.11-4406/n.2016.33.094
根據(jù)歐美發(fā)達(dá)國家相關(guān)機(jī)構(gòu)對長達(dá)30~40年多個房地產(chǎn)市場周期的研究表明,商品房的空置率合理區(qū)間為3%~10%,10%~20%為空置危險區(qū),空置率在20%以上為商品房嚴(yán)重積壓區(qū)。利用公司掌握的居民客戶用電量數(shù)據(jù),推斷以戶為單位的居民住宅的空置狀況,可以為房地產(chǎn)市場空置住宅的研究提供借鑒,同時結(jié)合該區(qū)域電量和業(yè)擴(kuò)報裝數(shù)據(jù),可為公司調(diào)整配電網(wǎng)建設(shè)和供電服務(wù)策略提供一定參考。
1 研究對象
截至2015年12月,已經(jīng)建檔立戶并抄表核算電量的所有居民客戶。
1.1 判斷標(biāo)準(zhǔn)
空置房可能因各種原因偶爾通電造成用電量“非0”,為方便處理,將居民住宅空置的判斷標(biāo)準(zhǔn)嚴(yán)格定義為居民客戶月度用電量為0千瓦時。實際的居民住宅空置率可能比本文計算值高。
1.2 數(shù)據(jù)獲取
提取2013年1月~2015年12月低壓居民電量為0的客戶數(shù)據(jù)935萬余條;通過采集系統(tǒng),采樣獲取29萬余戶低壓智能電表2015年國慶節(jié)期間用電量數(shù)據(jù);通過信息采集,獲取房地產(chǎn)價格、交易等相關(guān)數(shù)據(jù)。
1.3 分析粒度
由于數(shù)據(jù)量大,受硬件資源配置和數(shù)據(jù)積累限制,此次分析挖掘區(qū)域、價格等信息僅以行政區(qū)域為基礎(chǔ)進(jìn)行計算,未能進(jìn)一步細(xì)化至片區(qū),顆粒度相對較大。
2 研究結(jié)果
2.1 月度趨勢分析
根據(jù)月度低壓居民0電量數(shù)據(jù)統(tǒng)計,2013年1月~2015年12月居民住房空置率趨勢如圖1所示。
從公司供區(qū)范圍整體居民住宅空置率來看,近三年呈波浪式起伏趨勢,每年二、三季度空置率明顯上升,其中在2014年5、6月達(dá)到最高值19.35%;一、四季度空置率相對下降,在2015年2、3月達(dá)到最低值16.06%。
從鄉(xiāng)村居民住宅空置率來看,近三年呈現(xiàn)整體微上升趨勢,反映出農(nóng)村居民外出比例逐年加大;同時每年2月空置率均為當(dāng)年最低值,反映出春節(jié)期間外出農(nóng)民工集中返鄉(xiāng),0度用戶數(shù)集中減少。
從城鎮(zhèn)居民住宅空置率來看,近三年以來,月度空置率整體呈小幅下降趨勢,與國家經(jīng)濟(jì)下行、城市房地產(chǎn)市場逐漸萎縮致使房產(chǎn)交易活躍程度相對一致。
2.2 區(qū)域內(nèi)分析
隨著近幾年發(fā)展,各類區(qū)域居民用電總量和增長速度各不一致,空置率呈不均勻分布,其中城鎮(zhèn)地區(qū)土地供應(yīng)有限,部分新增房地產(chǎn)開發(fā)轉(zhuǎn)移至城郊等地區(qū),致使部分居民空置率不斷上升,例如一類主城區(qū):
從圖2可以看出,一類主城區(qū)的A等地空置率均超過20%。以A為例,隨著近幾年城市規(guī)劃發(fā)展,一大批大型居民小區(qū)相繼建成,原有鄉(xiāng)村土地被用來進(jìn)行住房開發(fā)和改造,造成住房供應(yīng)較多空置率達(dá)到22.17%。
以XX(居民小區(qū))為例,從2009年開工建設(shè),隨著小區(qū)1~4期陸續(xù)完工,用電戶數(shù)逐漸增至3400余戶。根據(jù)系統(tǒng)提取的2013年1月~2015年12月每戶月度用電量共計43000多條數(shù)據(jù),完成0電量居民比例統(tǒng)計如圖3:
從趨勢圖形分析,XX隨著用戶的不斷入住,2013~2015年0電量居民比例逐步下降,從最高的89.68%下降至29.35%。即使居民空置率大幅下降,但29.35%的數(shù)據(jù)仍遠(yuǎn)高于17.91%的平均數(shù)據(jù)。
相關(guān)建議:政府相關(guān)部門、房地產(chǎn)開發(fā)商可根據(jù)各地區(qū)居民住宅空置率和經(jīng)濟(jì)實力分布,因地制宜地采取價格優(yōu)惠等房地產(chǎn)政策調(diào)控手段,進(jìn)一步活躍房地產(chǎn)市場,促進(jìn)房地產(chǎn)經(jīng)濟(jì)可持續(xù)發(fā)展。供電企業(yè)可針對各地區(qū)(小區(qū))空置率不同的情況,按重要順序做好可靠供電應(yīng)對(恢復(fù))方案,以最快、最大程度保證居民生活用電。
2.3 從房地產(chǎn)市場投資分析
通過投資、竣工房地產(chǎn)核心數(shù)據(jù)多維計算和分析,房產(chǎn)市場和投資關(guān)系密切,但空置率與之關(guān)聯(lián)反映不明顯。近三年居民住宅空置率逐年降低,但從房地產(chǎn)市場開發(fā)投資趨勢來看,2013~2014年在經(jīng)歷連續(xù)的低速增長后,2015年緩慢回升,其中2015年投資金額同比下降5.9%;商品房竣工面積基本與投資金額走勢基本一致,其中2014年最高達(dá)到353.4萬平方米,2015年出現(xiàn)大幅下降,同比降低24.4%。總體來看,由于本報告空置率計算以供電居民用戶為基礎(chǔ),已投資開發(fā)未形成居民用戶供電關(guān)系的房產(chǎn)不在計算范圍,因此空置率與房產(chǎn)市場投資關(guān)聯(lián)反映不明顯。
2.4 從居民用電量分析
從近三年居民住宅空置率和居民售電量占比來看:
2.4.1 一類主城區(qū)居民電量占比最高(57.78%),同時空置率為18.58%,高于市平均水平。說明一類主城區(qū)居民用電市場總量龐大,在空置率較高的基礎(chǔ)上,其余在用居民電量仍占絕對多數(shù),表現(xiàn)出居民住房“空置”與“在住”交織分布,客戶用電排查情況復(fù)雜,服務(wù)壓力較大,需重點關(guān)注。
2.4.2 二類農(nóng)業(yè)大縣居民住宅空置率為22.93%,全市最高水平。該類區(qū)域發(fā)展相對緩慢,居民電量占比11.42%。居民空置基本為農(nóng)村外出務(wù)工造成,存在負(fù)荷因節(jié)日或農(nóng)時而短時間大幅波動。因此該類地區(qū)農(nóng)村居民的供電服務(wù),尤其是重大節(jié)假日集中負(fù)荷增長需要重點關(guān)注。
2.4.3 三類經(jīng)濟(jì)綜合區(qū)居民住宅空置率較低(14.57%),居民電量占比為30.8%,僅次于一類主城區(qū),需持續(xù)關(guān)注空置率變化趨勢。
3 相關(guān)結(jié)論及建議
3.1 分析結(jié)論
3.1.1 通過對近三年來低壓居民0電量數(shù)據(jù)的分析,市居民住宅空置率17.91%,雖逐年呈下降趨勢,但仍處于10%~20%的危險區(qū)間。
3.1.2 一類主城區(qū)、二類農(nóng)業(yè)大縣、三類綜合經(jīng)濟(jì)區(qū)居民住宅空置率分別為18.58%、22.92%、14.57%,其中一、二類高空置率區(qū)域,由于地域、經(jīng)濟(jì)等因素影響,城鎮(zhèn)和鄉(xiāng)村呈現(xiàn)出明顯相反的住房空置現(xiàn)狀,兩類區(qū)域房屋投資和持有風(fēng)險較大。
3.1.3 不同空置原因可為公司供電服務(wù)資源的調(diào)撥和分配提供一定的參考。
3.1.4 節(jié)日期間居民用戶用電規(guī)律一定程度會反映該戶居民的出行習(xí)慣。
3.1.5 大數(shù)據(jù)分析中反映出的房屋空置率季節(jié)性變化,供電企業(yè)可針對性提前做好供電服務(wù)應(yīng)用措施;根據(jù)房地產(chǎn)成交量價與空置率的變化趨勢,政府相關(guān)部門可針對性實施房地產(chǎn)開發(fā)審批、價格指導(dǎo)、政策刺激等措施。
總體來看,公司低壓居民客戶用電量數(shù)據(jù)存在多種、多樣深入挖掘的價值和潛力。
3.2 相關(guān)建議
3.2.1 當(dāng)前公司都在基于大數(shù)據(jù)開展管理提升,建議公司開展數(shù)據(jù)特別是大數(shù)據(jù)應(yīng)用計劃編制,統(tǒng)籌整合相關(guān)應(yīng)用需求,提高資源的利用效率,結(jié)合公司“互聯(lián)網(wǎng)+”應(yīng)用同步開展大數(shù)據(jù)挖掘的技術(shù)平臺研究和搭建工作,更好地運(yùn)用電力數(shù)據(jù)信息給公司和地方政府提供經(jīng)營管理、投資決策等參考。
3.2.2 建議相關(guān)業(yè)務(wù)部門根據(jù)大數(shù)據(jù)挖掘分析的需要,做好相關(guān)業(yè)務(wù)信息系統(tǒng)功能和基礎(chǔ)數(shù)據(jù)的維護(hù),保障系統(tǒng)的有效支撐和數(shù)據(jù)質(zhì)量真實、可靠。
3.2.3 建立高效常態(tài)化的地方政府單位(部門)聯(lián)絡(luò)機(jī)制,全面、及時、準(zhǔn)確地獲得地方經(jīng)濟(jì)、產(chǎn)業(yè)等相關(guān)數(shù)據(jù),有效支撐公司大數(shù)據(jù)關(guān)聯(lián)分析工作。
參考文獻(xiàn)
關(guān)鍵詞:大數(shù)據(jù) MapReduce SQL
中圖分類號:TP338.8 文獻(xiàn)標(biāo)識碼:A 文章編號:1007-9416(2013)08-0233-02
1 引言
云計算從開始所謂的“炒概念”到現(xiàn)在獲得大多數(shù)的認(rèn)可,過程中技術(shù)的成熟,應(yīng)用和服務(wù)的推出是這種轉(zhuǎn)變的關(guān)鍵。Google、Amazon、Microsoft、IBM等云計算的老牌企業(yè)巨大的投入,最近Apple花費(fèi)500萬美元購買icloud域名,推出云音樂服務(wù),不難看出云計算巨大的吸引力和發(fā)展?jié)摿Α:芏鄧鴥?nèi)組織機(jī)構(gòu)也投入了大量的資源,如中國移動的“大云”,華為的“云帆計劃”和“阿里云”。開源社區(qū)也貢獻(xiàn)了很多云計算項目,如Hadoop[1],Eucalyptus[2]和abiCloud,對云計算發(fā)展起到了重要作用。
MapReduce[3]作為云計算的關(guān)鍵技術(shù)之一,是Google提出的一個用來處理海量數(shù)據(jù)的分布式系統(tǒng)編程模式。用戶定義一個映射函數(shù)(Map)處理一個鍵/值(key/value)對來產(chǎn)生中間的鍵/值(key/value)對集合,還指定一個歸納函數(shù)(Reduce)來合并所有的與同一中間鍵(key)相關(guān)的中間值[4]。MapReduce正是把分布業(yè)務(wù)邏輯從這些復(fù)雜的細(xì)節(jié)中抽象出來,使得程序員可以不需要有什么并行或者分布式系統(tǒng)的經(jīng)驗,就可以處理超大的分布式系統(tǒng)的資源。從而通過廉價的計算服務(wù)來實現(xiàn)原先只能通過采用昂貴高性能計算機(jī)才能達(dá)到的效果。
2 大數(shù)據(jù)分析平臺
MapReduce編程模型。MapReduce是Google開發(fā)的Java、Python、C++編程模型,Hadoop MapReduce是Google MapReduce的開源實現(xiàn),主要用于大規(guī)模(TB級)數(shù)據(jù)文件處理,它是一種簡化的分布式編程模型和高效的任務(wù)調(diào)度模型,編程人員只需將精力放在應(yīng)用程序本身,使得云計算環(huán)境下的編程十分簡單。MapReduce思想是借助“Map(映射)”和“Reduce(化簡)”構(gòu)成運(yùn)算基本單元,先將數(shù)據(jù)切割成不相關(guān)的區(qū)塊,分配給大量Map任務(wù)處理,再將中間結(jié)果作為Reduce函數(shù)輸入,最后將最終結(jié)果匯總輸出。MapReduce[5]執(zhí)行方式如圖1所示。
簡而言之,從圖1可以看出,Map-Reduce編程模式將輸入數(shù)據(jù)文件劃分為M個獨(dú)立的數(shù)據(jù)分片(split);然后分配給多個worker啟動M個Map函數(shù)并行地執(zhí)行、寫中間文件(本地寫)、并將計算結(jié)果以key/value對形式輸出中間結(jié)果。中間結(jié)果key/value按照key分組,執(zhí)行Reduce函數(shù),根據(jù)從Master獲得的中間文件位置信息,將Reduce命令發(fā)送給中間文件所在節(jié)點執(zhí)行,計算并輸出最終結(jié)果,MapReduce的輸出存放在R個輸出文件中,可進(jìn)一步減少了傳送中間文件對帶寬的需求。
3 實驗分析
3.1 實驗數(shù)據(jù)集
采用8年地面全要素填圖數(shù)據(jù)如表1所示。其中數(shù)據(jù)格式為(26列/行),各屬性名稱分別為:區(qū)站號(長整數(shù)),經(jīng)度,緯度,海拔高度(均為浮點數(shù)),站點級別(整數(shù)),總云量,風(fēng)向,風(fēng)速,海平面氣壓(或本站氣壓),3小時變壓,過去天氣1,過去天氣2,6小時降水,低云狀,低云量,低云高,露點,能見度,現(xiàn)在天氣,溫度,中云狀,高云狀,標(biāo)志1,標(biāo)志2(均為整數(shù)),24小時變溫,24小時變壓。
3.2 實驗與分析
3.2.1 加載數(shù)據(jù)
首先,分別在Hive和SQL server平臺上創(chuàng)建表,然后把數(shù)據(jù)集1,4,8分別加載數(shù)據(jù)到SQL server,1,4,8個節(jié)點的Hive平臺的各個表中。
從圖2中可以看出,MapReduce加載數(shù)據(jù)的時間遠(yuǎn)遠(yuǎn)小于SQL server,而且集群結(jié)點數(shù)越多,數(shù)據(jù)加載時間越短;
3.2.2 大數(shù)據(jù)分析
查找各區(qū)站的總降水量(求和任務(wù))
select a ,sum(m) from tab6 group by a;
查找能見度和溫度都相等的區(qū)站(多表查詢?nèi)蝿?wù))
select a1.a from tab1 as a1,tab2 as a2 where a1.t=a2.t and a1.r=a2.r group by a1.a;
圖3可以看出,在執(zhí)行求和任務(wù)時,隨著數(shù)據(jù)量增大,SQL server執(zhí)行時間明顯增加,而MapReduce卻增加很平穩(wěn)。圖4可以看出,在執(zhí)行多表查詢?nèi)蝿?wù)時,MapReduce隨著數(shù)據(jù)量的增大,執(zhí)行時間緩慢增長,當(dāng)處理大數(shù)據(jù)集時,可以看出MapReduce比SQL server更適合處理多表查詢。文中對SQL server和MapReduce的性能進(jìn)行對比,當(dāng)處理大數(shù)據(jù)集時,MapReduce具有很較好的優(yōu)勢,當(dāng)數(shù)據(jù)量增大時,SQL server會出現(xiàn)內(nèi)存溢出問題,而且MapReduce的可擴(kuò)展性高,結(jié)點越多,數(shù)據(jù)分析性能越好; MapReduce用戶可以自定義函數(shù)來處理SQL server和Hive本身無法處理的問題,更符合大數(shù)據(jù)處理的需求。
4 結(jié)語
隨著云計算技術(shù)的發(fā)展,基于MapReduce的數(shù)據(jù)分析方法受到越來越多的關(guān)注。為此,本文提出了基于MapReduce的大數(shù)據(jù)分析方法,并對MapReduce和SQL server進(jìn)行了性能比較,實驗表明,基于MapReduce的分析方法在大數(shù)據(jù)分析上是有效可行的。下一步我們將通過MapReduce結(jié)合其他數(shù)據(jù)庫系統(tǒng)的優(yōu)勢,開發(fā)具有MapReduce和關(guān)系數(shù)據(jù)庫雙重優(yōu)點的大數(shù)據(jù)分析系統(tǒng)。
參考文獻(xiàn)
[1]Tom White. Hadoop: The Definitive Guide[M]. O'Reilly Media, Inc, 2009.
[2]Daniel Nurmi, Rich Wolski, Chris Grzegorczyk, Graziano Obertelli, Sunil Soman, Lamia Youseff, Dmitrii Zagorodnov. The Eucalyptus Open-Source Cloud-Computing System[C]. Proceedings of the 2009 9th IEEE/ACM International Symposium on Cluster Computing and the Grid, DC, USA, 2009:124-131
[3]Jeffrey Dean, Sanjay Ghemawat. MapReduce Simplified Data Processing on large clusters[C]. Communications of the ACM - 50th anniversary issue: 1958 2008, New York, USA, 2008:107-113.
[4]Michael Stonebraker, Daniel Abadi, David J. DeWitt, Sam Madden, Erik Paulson, Andrew Pavlo, Alexander Rasin. MapReduce and Parallel DBmss: friends or foes?[C]. Communications of the ACM - Amir Pnueli: Ahead of His Time, New York, USA, 2010:64-71.
隨著電信用戶數(shù)量的不斷增加以及使用需求的多樣化,電信企業(yè)在日常運(yùn)行的過程中,需要根據(jù)用戶使用需求,對自身的管理活動以及服務(wù)機(jī)制進(jìn)行及時調(diào)整,以期滿足用戶的使用需求,提供更為高質(zhì)量的電信服務(wù)。大數(shù)據(jù)分析作為一種新的企業(yè)管理決策機(jī)制,憑借大數(shù)據(jù)的技術(shù)優(yōu)勢,實現(xiàn)了對數(shù)據(jù)信息的全面梳理與有效匯總,為企業(yè)的發(fā)展提供了契機(jī)。大數(shù)據(jù)分析在電信企業(yè)中的使用,從技術(shù)層面上,提升了電信企業(yè)的管理能力,對于用戶的使用需求以及變化趨向能夠及時獲取,并以此為參考,進(jìn)行企業(yè)發(fā)展決策的制定與調(diào)整,實現(xiàn)了電信企業(yè)管理轉(zhuǎn)型活動的有序開展,為電信企業(yè)后續(xù)工作的開展提供了必要的數(shù)據(jù)支持與參考。
2大數(shù)據(jù)分析在電信企業(yè)中應(yīng)用的必要性
大數(shù)據(jù)分析推動電信企業(yè)的升級,電信企業(yè)由于自身工作環(huán)境以及用戶數(shù)量的特點,使得其運(yùn)行管理模式與傳統(tǒng)企業(yè)之間有著較為明顯的差異,在實際運(yùn)行的過程中,電信企業(yè)需要以用戶為中心進(jìn)行視圖數(shù)據(jù)資源的匯總分析,從而對用戶的消費(fèi)行為以及使用習(xí)慣進(jìn)行深入了解,進(jìn)而為后續(xù)電信企業(yè)運(yùn)行管理活動的開展提供了必要的數(shù)據(jù)支持。但是在傳統(tǒng)的數(shù)據(jù)分析體系下,受到技術(shù)條件等多方面因素的限制,電信企業(yè)在進(jìn)行數(shù)據(jù)分析的過程中,難以真正地將用戶使用需求與電信企業(yè)自身的運(yùn)行管理活動進(jìn)行銜接,從而導(dǎo)致數(shù)據(jù)分析工作質(zhì)量的降低。大數(shù)據(jù)分析與傳統(tǒng)數(shù)據(jù)分析有多不同,其借助于良好的技術(shù)框架,通過對BI系統(tǒng)等一系列軟件系統(tǒng)的開發(fā)應(yīng)用,真正意義上實現(xiàn)了海量數(shù)據(jù)的高速處理以及準(zhǔn)確篩選,在保證數(shù)據(jù)分析質(zhì)量的前提下,降低了企業(yè)在人力、物力以及財力方面的投入,避免了資源浪費(fèi)的出現(xiàn),擴(kuò)展了企業(yè)營利空間。例如電信企業(yè)在大數(shù)據(jù)分析的框架下,可以從CRM系統(tǒng)中對用戶訂購套餐以及使用情況進(jìn)行獲取,進(jìn)而對用戶的消費(fèi)行為、消費(fèi)習(xí)慣以及業(yè)務(wù)發(fā)展趨勢進(jìn)行明確,對電信企業(yè)服務(wù)類型以及用戶群體的擴(kuò)展提供了必要的數(shù)據(jù)參考。對于電信企業(yè)的各個生產(chǎn)服務(wù)環(huán)節(jié)而言,大數(shù)據(jù)分析活動的開展,有著十分重大的現(xiàn)實意義,從長遠(yuǎn)來看推動了電信企業(yè)的健康快速發(fā)展。
3電信企業(yè)實現(xiàn)大數(shù)據(jù)分析的意義
①大數(shù)據(jù)能夠在很大程度上提升電信企業(yè)內(nèi)部各個系統(tǒng)的使用效率,加快運(yùn)行與計算的速率。大數(shù)據(jù)打破了之前電信Management&TechnologyofSME中小企業(yè)管理與科技企業(yè)舊有的數(shù)據(jù)管理模式以及使用模式,改變了傳統(tǒng)的數(shù)據(jù)管理模式與應(yīng)用程序?qū)?yīng)關(guān)系,大數(shù)據(jù)能夠?qū)⒁环N數(shù)據(jù)管理模式分化成多種虛擬數(shù)據(jù)管理模式,而每種虛擬數(shù)據(jù)管理模式能夠根據(jù)實際的需要,同時在一種實體數(shù)據(jù)管理模式上運(yùn)行多個程序與軟件,這就極大地提升了數(shù)據(jù)管理模式的使用效率,保證了系統(tǒng)的使用效率,提升了數(shù)據(jù)管理模式的運(yùn)行效率,保證了數(shù)據(jù)中心的數(shù)據(jù)資源的高效應(yīng)用。②大數(shù)據(jù)能夠在很大程度上減少數(shù)據(jù)中心的運(yùn)行成本,降低電信企業(yè)自身的資金投入。在現(xiàn)有的數(shù)據(jù)管理模式設(shè)置模式下,在數(shù)據(jù)中心安排了為數(shù)眾多的獨(dú)立數(shù)據(jù)管理模式,這些數(shù)據(jù)管理模式不僅占據(jù)了巨大的空間,造成了一種空間資源的浪費(fèi),同時也耗費(fèi)了巨大的能源,而為了保證數(shù)據(jù)管理模式的正常運(yùn)轉(zhuǎn),及時排出數(shù)據(jù)中心內(nèi)部的大量熱能,就需要在排熱保溫方面投入大量的資金。隨著電信信息化進(jìn)程的不斷深入,建設(shè)進(jìn)程的加快,數(shù)據(jù)中心的規(guī)模越來越大,數(shù)據(jù)管理模式的數(shù)量也隨著增加,這在一定程度上增加了維護(hù)人員的數(shù)量,加大了人員費(fèi)用的支持,而數(shù)據(jù)管理模式虛擬技術(shù)能夠在很大程度上解決這一難題,通過虛擬化技術(shù),減少數(shù)據(jù)管理模式的空間占有率[1],同時減少了電信在能源費(fèi)用、保溫散熱方面的投入,大數(shù)據(jù)能夠有效地減少數(shù)據(jù)管理模式的數(shù)量,從而降低了對維護(hù)人員數(shù)量的要求,減少了在人員方面的支出,從而降低了電信數(shù)據(jù)中心建設(shè)與運(yùn)行的成本,保障了高效的財政安全。
4大數(shù)據(jù)分析在電信企業(yè)中使用管理所遵循的原則
大數(shù)據(jù)分析在電信企業(yè)運(yùn)行管理的開展不僅需要各項技術(shù)的支持,還需要工作人員立足于大數(shù)據(jù)分析開展的實際,以科學(xué)性原則與實用性原則為引導(dǎo),從宏觀層面提升自身的思想認(rèn)知程度,明確大數(shù)據(jù)分析的基本需求,進(jìn)而全面提升電信企業(yè)大數(shù)據(jù)分析的效率。①大數(shù)據(jù)分析在電信企業(yè)運(yùn)行管理中的應(yīng)用必須要遵循科學(xué)性的原則。大數(shù)據(jù)分析在電信企業(yè)中的實現(xiàn),要充分體現(xiàn)科學(xué)性的原則,只有從科學(xué)的角度出發(fā),對電信企業(yè)的相關(guān)內(nèi)容、大數(shù)據(jù)分析的定位以及具體職能,進(jìn)行細(xì)致而全面的考量,才能夠最大限度地保證大數(shù)據(jù)分析能夠滿足電信企業(yè)運(yùn)行管理工作的客觀要求。只有在科學(xué)精神、科學(xué)手段、科學(xué)理念的指導(dǎo)下,才能夠以現(xiàn)有的技術(shù)條件與操作方式為基礎(chǔ),確保大數(shù)據(jù)分析在電信企業(yè)運(yùn)行管理工作中的科學(xué)高效實現(xiàn)。②大數(shù)據(jù)分析在電信企業(yè)中的應(yīng)用必須要遵循實用性的原則。由于電信企業(yè)涉及領(lǐng)域較多,工作類型內(nèi)容多樣,信息數(shù)據(jù)繁多。為了適應(yīng)這一現(xiàn)實狀況,確保大數(shù)據(jù)分析在電信企業(yè)中的有效應(yīng)用,就要盡可能地增加大數(shù)據(jù)分析應(yīng)用方案的兼容性,減少復(fù)雜冗余環(huán)節(jié)對電信企業(yè)運(yùn)行管理中大數(shù)據(jù)分析應(yīng)用活動的不利影響。因此大數(shù)據(jù)分析以及相關(guān)技術(shù)應(yīng)用流程必須進(jìn)行簡化處理,降低操作的難度,提升大數(shù)據(jù)分析應(yīng)用方案的實用性能,使得在較短時間內(nèi),進(jìn)行有效化操作,保證電信企業(yè)運(yùn)行管理工作的順利開展,提升現(xiàn)階段電信企業(yè)運(yùn)行管理工作的質(zhì)量與水平。
5大數(shù)據(jù)分析在電信企業(yè)中使用管理策略
5.1CDR、RFID、Wi-Fi網(wǎng)絡(luò)信息的分析
電信企業(yè)通常使用CDR、RFID、Wi-Fi網(wǎng)絡(luò)進(jìn)行電信服務(wù)業(yè)務(wù)統(tǒng)計以及用戶消費(fèi)行為分析,伴隨著電信用戶數(shù)量的增加,服務(wù)類型的多樣化以及社交網(wǎng)絡(luò)的擴(kuò)展,傳統(tǒng)的信息數(shù)據(jù)分析方式越來越難以滿足數(shù)據(jù)分析工作的客觀需求。而大數(shù)據(jù)分析在CDR、RFID、Wi-Fi網(wǎng)絡(luò)中的實現(xiàn),使得用戶在獲取電信服務(wù)的過程中,各類用戶習(xí)慣以及消費(fèi)取向進(jìn)行對比分析,使得電信企業(yè)在相關(guān)網(wǎng)絡(luò)使用階段,能夠更加明確自身工作重點,并在分析的過程中,對系統(tǒng)以及相關(guān)服務(wù)進(jìn)行完善,全面提升電信企業(yè)的服務(wù)質(zhì)量[2]。
5.2大數(shù)據(jù)分析在電信企業(yè)運(yùn)行管理的使用
大數(shù)據(jù)分析在電信企業(yè)運(yùn)行管理活動中的使用,需要技術(shù)人員與企業(yè)管理者,不斷進(jìn)行大數(shù)據(jù)分析工作硬件設(shè)施的完善發(fā)展,通過數(shù)據(jù)挖掘等一系列方式,使得企業(yè)管理人員與決策者能夠在較短時間內(nèi),從用戶使用需求、套餐設(shè)計以及目標(biāo)客戶的定位等方面出發(fā),實現(xiàn)用戶體驗的提升,對于客戶維護(hù)以及開發(fā)工作的進(jìn)行有著十分深遠(yuǎn)的影響。同時在進(jìn)行大數(shù)據(jù)分析使用的過程中,需要著力進(jìn)行工作人員素質(zhì)的提升與專業(yè)技能的培養(yǎng),充分發(fā)揮人才優(yōu)勢,使得工作人員能夠滿足電信企業(yè)大數(shù)據(jù)分析工作的客觀需求,保證大數(shù)據(jù)分析的有效性,為后續(xù)共組的開展提供了必要的人才支持。
6結(jié)語
在推動大數(shù)據(jù)分析與電信企業(yè)運(yùn)行管理活動有效銜接的過程中,電信企業(yè)相關(guān)工作人員需要明確大數(shù)據(jù)分析工作在電信企業(yè)日常運(yùn)行管理以及企業(yè)決策之中的重要性,在此基礎(chǔ)上,以科學(xué)性原則與實用性原則為引導(dǎo),從多個維度出發(fā),將大數(shù)據(jù)分析落實于電信企業(yè)使用與管理活動之中,推動電信企業(yè)決策管理活動的有效性,滿足電信企業(yè)發(fā)展的客觀需求,提升服務(wù)能力。
作者:李衛(wèi)紅 單位:中國電信濮陽分公司
【參考文獻(xiàn)】
級別:統(tǒng)計源期刊
榮譽(yù):中國優(yōu)秀期刊遴選數(shù)據(jù)庫
級別:省級期刊
榮譽(yù):中國期刊全文數(shù)據(jù)庫(CJFD)
級別:省級期刊
榮譽(yù):中國優(yōu)秀期刊遴選數(shù)據(jù)庫
級別:統(tǒng)計源期刊
榮譽(yù):中國優(yōu)秀期刊遴選數(shù)據(jù)庫
級別:省級期刊
榮譽(yù):中國優(yōu)秀期刊遴選數(shù)據(jù)庫