智能大數(shù)據(jù)分析精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的智能大數(shù)據(jù)分析主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：智能大數(shù)據(jù)分析范文

關(guān)鍵詞:大數(shù)據(jù)；數(shù)據(jù)分析；數(shù)據(jù)挖掘

1綜述

1.1簡(jiǎn)介

在數(shù)字化時(shí)代,需要新一代系統(tǒng)架構(gòu)提升業(yè)務(wù)創(chuàng)新能力。在新一代系統(tǒng)架構(gòu)中,大數(shù)據(jù)是核心要素。業(yè)務(wù)應(yīng)用能否自主發(fā)現(xiàn)與自助獲得高質(zhì)量的大數(shù)據(jù),就成為業(yè)務(wù)創(chuàng)新成敗的關(guān)鍵。這就要在搭建大數(shù)據(jù)平臺(tái)時(shí),就著手大數(shù)據(jù)治理相關(guān)建設(shè)。

1.2需求和意義

從某種意義上說(shuō)大數(shù)據(jù)治理架構(gòu)需要以元數(shù)據(jù)為核心、提高大數(shù)據(jù)質(zhì)量、透明化大數(shù)據(jù)資產(chǎn)、自助化數(shù)據(jù)開(kāi)發(fā)、自動(dòng)化數(shù)據(jù)、智能化數(shù)據(jù)安全,提升大數(shù)據(jù)平臺(tái)服務(wù)能力,讓大數(shù)據(jù)平臺(tái)變得易使用、易獲得、高質(zhì)量。但是,目前很多技術(shù)解決方案存在諸多安全和效率隱患:業(yè)務(wù)系統(tǒng)多,監(jiān)管力度大;數(shù)據(jù)量龐大且呈碎片化分布,急需提升大數(shù)據(jù)質(zhì)量;數(shù)據(jù)格式不規(guī)范、難以在短時(shí)間內(nèi)找到所需數(shù)據(jù);數(shù)據(jù)在各階段的應(yīng)用角度不同,需要降低系統(tǒng)間的集成復(fù)雜度。

2功能設(shè)計(jì)

2.1總體架構(gòu)

本文講述的數(shù)據(jù)分析方法及實(shí)現(xiàn)技術(shù)是建立在Hadoop/Spark技術(shù)生態(tài)圈的基礎(chǔ)之上,以實(shí)現(xiàn)用戶集成處理、、清理、分析的一個(gè)統(tǒng)一的數(shù)據(jù)處理平臺(tái);按數(shù)據(jù)類別分為線數(shù)據(jù)、歸檔數(shù)據(jù);按數(shù)據(jù)格式分為非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù);按數(shù)據(jù)模型分類為范式化模型數(shù)據(jù)、維度模型數(shù)據(jù);按數(shù)據(jù)采集頻度分為非實(shí)時(shí)數(shù)據(jù)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理架構(gòu);并提供數(shù)據(jù)中心平臺(tái)與安全管理方案,為企業(yè)級(jí)用戶建立一個(gè)通用數(shù)據(jù)處理和分析中心。如圖1所示。

2.2在線數(shù)據(jù)

在線數(shù)據(jù)在線通過(guò)接口去獲得的數(shù)據(jù),一般要求為秒級(jí)或速度更快。首先應(yīng)當(dāng)將數(shù)據(jù)進(jìn)行區(qū)分:在線數(shù)據(jù)、或歸檔數(shù)據(jù)。本平臺(tái)中采用:Storm或SparkStreaming框架進(jìn)行實(shí)現(xiàn)。SparkStreaming將數(shù)據(jù)切分成片段,變成小批量時(shí)間間隔處理,Spark抽象一個(gè)持續(xù)的數(shù)據(jù)流稱為DStream(離散流),一個(gè)DStream是RDD彈性分布式數(shù)據(jù)集的micro-batch微批次,RDD是分布式集合能夠并行地被任何函數(shù)操作,也可以通過(guò)一個(gè)滑動(dòng)窗口的數(shù)據(jù)進(jìn)行變換。

2.3歸檔數(shù)據(jù)

歸檔數(shù)據(jù)是在線存儲(chǔ)周期超過(guò)數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù),處理的要求一般在分鐘級(jí)或速度更慢。通常歸檔數(shù)據(jù)的計(jì)算量、數(shù)據(jù)量、數(shù)據(jù)復(fù)雜度均超過(guò)試試數(shù)據(jù)處理。本平臺(tái)中采用:Hadoop、Spark技術(shù)生態(tài)體系內(nèi)的框架進(jìn)行計(jì)算,這里不詳細(xì)闡述。

2.4非結(jié)構(gòu)化數(shù)據(jù)

通常非結(jié)構(gòu)化的數(shù)據(jù)不一定具備字段,即使具備字段其長(zhǎng)度也不固定,并且字段的又可是由可不可重復(fù)和重復(fù)的子字段組成,不僅可以包含結(jié)構(gòu)化數(shù)據(jù),更適合處理非結(jié)構(gòu)化數(shù)據(jù)。常見(jiàn)的非結(jié)構(gòu)化數(shù)據(jù)包括XML、文本、圖象、聲音、影音、各類應(yīng)用軟件產(chǎn)生的文件。針對(duì)包含文字、數(shù)據(jù)的為結(jié)構(gòu)化數(shù)據(jù)應(yīng)當(dāng)先利用數(shù)據(jù)清洗、數(shù)據(jù)治理工具進(jìn)行提取,這項(xiàng)工作目前仍依賴技術(shù)員進(jìn)行操作,由于格式的復(fù)雜性所以難以使用自動(dòng)化方式進(jìn)行較為高效的批處理。在治理數(shù)據(jù)的過(guò)程中,需要根據(jù)情況對(duì)數(shù)據(jù)本身額外建立描述數(shù)據(jù)結(jié)構(gòu)的元數(shù)據(jù)、以及檢索數(shù)據(jù)的索引服務(wù),以便后續(xù)更佳深度利用數(shù)據(jù)。

2.5結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化數(shù)據(jù)具備特定的數(shù)據(jù)結(jié)構(gòu),通常可以轉(zhuǎn)換后最終用二維的結(jié)構(gòu)的數(shù)據(jù),并且其字段的含義明確,是挖掘數(shù)據(jù)價(jià)值的主要對(duì)象。本平臺(tái)中主要使用HadoopImpala和SparkSQL來(lái)進(jìn)行結(jié)構(gòu)化數(shù)據(jù)的處理。Impale底層采用C++實(shí)現(xiàn),而非Hadoop的基于Java的Map-Reduce機(jī)制,將性能提高了1-2個(gè)數(shù)量級(jí)。而SparkSQL提供很好的性能并且與Shark、Hive兼容。提供了對(duì)結(jié)構(gòu)化數(shù)據(jù)的簡(jiǎn)便的narrow-waist操作,為高級(jí)的數(shù)據(jù)分析統(tǒng)一了SQL結(jié)構(gòu)化查詢語(yǔ)言與命令式語(yǔ)言的混合使用。結(jié)構(gòu)化數(shù)據(jù)根據(jù)采集頻度可以繼續(xù)分類為:非實(shí)時(shí)數(shù)據(jù)、準(zhǔn)實(shí)時(shí)數(shù)據(jù)。

2.6準(zhǔn)實(shí)時(shí)數(shù)據(jù)

通常準(zhǔn)實(shí)時(shí)數(shù)據(jù)是指數(shù)據(jù)存儲(chǔ)在平臺(tái)本身,但更新頻率接近于接口調(diào)用數(shù)據(jù)源的數(shù)據(jù)。適合用于支持?jǐn)?shù)據(jù)和信息的查詢,但數(shù)據(jù)的再處理度不高,具有計(jì)算并發(fā)度高、數(shù)據(jù)規(guī)模大、結(jié)果可靠性較高的特點(diǎn)。通常使用分布式數(shù)據(jù)處理提高數(shù)據(jù)規(guī)模、使用內(nèi)存數(shù)據(jù)進(jìn)行計(jì)算過(guò)程緩沖和優(yōu)化。本平臺(tái)主要采用SparkSQL結(jié)合高速緩存Redis的技術(shù)來(lái)實(shí)現(xiàn)。SparkSQL作為大數(shù)據(jù)的基本查詢框架,Redis作為高速緩存去緩存數(shù)據(jù)熱區(qū),減小高并發(fā)下的系統(tǒng)負(fù)載。

2.7非實(shí)時(shí)數(shù)據(jù)

非實(shí)時(shí)數(shù)據(jù)主要應(yīng)用于支持分析型應(yīng)用,時(shí)效性較低。通常用于數(shù)據(jù)的深度利用和挖掘,例如:因素分析、信息分類、語(yǔ)義網(wǎng)絡(luò)、圖計(jì)算、數(shù)值擬合等。非實(shí)時(shí)數(shù)據(jù)根據(jù)數(shù)據(jù)模型可繼續(xù)分類為:范式化模型數(shù)據(jù)、維度模型數(shù)據(jù)。

2.8范式化模型

范式化模型主要是針對(duì)關(guān)系型數(shù)據(jù)庫(kù)設(shè)計(jì)范式,通常數(shù)據(jù)是采用第三范式3NF或更高范式。面向近源數(shù)據(jù)查詢、數(shù)據(jù)主題的整合。范式化模型數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)區(qū),建議使用并行MPP數(shù)據(jù)庫(kù)集群,既具備關(guān)系型數(shù)據(jù)庫(kù)的優(yōu)點(diǎn),又兼顧了大數(shù)據(jù)下的處理。

2.9基于維度模型

維度模型數(shù)據(jù)主要應(yīng)用于業(yè)務(wù)系統(tǒng)的數(shù)據(jù)挖掘和分析。過(guò)去多維度數(shù)據(jù)處理主要依賴OLAP、BI等中間件技術(shù),而在大數(shù)據(jù)和開(kāi)源框架的時(shí)代下,本技術(shù)平臺(tái)采用HadoopImpala來(lái)進(jìn)行實(shí)現(xiàn)。Im-pala并沒(méi)有使用MapReduce這種不太適合做SQL查詢的范式,而是參考了MPP并行數(shù)據(jù)庫(kù)的思想另起爐灶,省掉不必要的shuffle、sort等開(kāi)銷,使運(yùn)算得到優(yōu)化。

3應(yīng)用效果

本系統(tǒng)在不同的業(yè)務(wù)領(lǐng)域上都可以應(yīng)用,以2016年在某銀行的應(yīng)用案例為例:該銀行已完成數(shù)據(jù)倉(cāng)庫(kù)建設(shè),但眾多數(shù)據(jù)質(zhì)量問(wèn)題嚴(yán)重影響了數(shù)據(jù)應(yīng)用的效果,以不同的數(shù)據(jù)存儲(chǔ)方式,以更高的要求去進(jìn)行數(shù)據(jù)的統(tǒng)一管理。通過(guò)組織、制度、流程三個(gè)方面的實(shí)施,以元數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量平臺(tái)為支撐,實(shí)現(xiàn)了數(shù)據(jù)管控在50多個(gè)分支,60個(gè)局,1000余處的全面推廣,實(shí)現(xiàn)了全行的覆蓋;管理了120個(gè)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù),顯著提升了新系統(tǒng)的快速接入能力;通過(guò)14個(gè)數(shù)據(jù)規(guī)范和流程明確了數(shù)據(jù)管控的分工;數(shù)據(jù)考核機(jī)制的實(shí)施,使其在數(shù)據(jù)質(zhì)量評(píng)比中名列前茅。

4結(jié)語(yǔ)

本文介紹了大數(shù)據(jù)下數(shù)據(jù)分析方法及實(shí)現(xiàn)技術(shù)的大體設(shè)計(jì)和思路,從需求分析、總體架構(gòu)和數(shù)據(jù)處理以及數(shù)據(jù)分析這幾個(gè)方面來(lái)介紹。文章在最后介紹出了這種平臺(tái)的應(yīng)用效果。筆者相信這些思路和技術(shù)能夠在業(yè)務(wù)中能得到很好的應(yīng)用。

作者:藍(lán)科 李婧 單位:1.中國(guó)科學(xué)院成都計(jì)算機(jī)應(yīng)用研究所 2.中國(guó)科學(xué)院成都文獻(xiàn)情報(bào)中心

參考文獻(xiàn)

第2篇：智能大數(shù)據(jù)分析范文

電網(wǎng)的智能監(jiān)控包括電網(wǎng)故障的診斷和排除、解決故障。電網(wǎng)故障發(fā)生后，如何快速精準(zhǔn)地診斷并恢復(fù)，對(duì)于電網(wǎng)運(yùn)行，減少停電損失具有重要意義。本文提出基于大數(shù)據(jù)挖掘分析的改進(jìn)以后的RBF（Radial Basic Function）徑向基函數(shù)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行故障診斷，將最小二乘法擴(kuò)展用于優(yōu)化該RBF神經(jīng)網(wǎng)絡(luò)。

【關(guān)鍵詞】智能監(jiān)控 大數(shù)據(jù)挖掘分析 神經(jīng)網(wǎng)絡(luò)

1 引言

隨著現(xiàn)代電力電子工業(yè)的發(fā)展，大容量非線性電力負(fù)荷的不斷增多和電力系統(tǒng)超負(fù)荷運(yùn)行對(duì)電力系統(tǒng)的影響也隨之日益增大。電網(wǎng)故障后，需經(jīng)過(guò)緊急狀態(tài)調(diào)整，采取措施甩掉一批負(fù)荷或系統(tǒng)處于解列狀態(tài)后，在盡量少的時(shí)間里，最大限度地恢復(fù)至系統(tǒng)正常運(yùn)行。在電網(wǎng)預(yù)警監(jiān)控系統(tǒng)中，及時(shí)對(duì)電網(wǎng)進(jìn)行評(píng)估、故障預(yù)警、診斷與自動(dòng)控制，避免隱患故障的發(fā)生或者將故障的損失限制在最小范圍內(nèi)對(duì)電網(wǎng)的健康已經(jīng)安全運(yùn)行至關(guān)重要。

大數(shù)據(jù)挖掘有一套完整的方法用以解決實(shí)際問(wèn)題，依此通過(guò)分類估計(jì)，預(yù)測(cè)分析，相關(guān)性分組，抽象聚類，建模描述可視化，復(fù)雜數(shù)據(jù)類型挖掘六個(gè)部分，實(shí)現(xiàn)從海量無(wú)關(guān)信息到便于人們理解的可視化分析結(jié)論的過(guò)程。將這一套完整的方法用于電網(wǎng)的運(yùn)行系統(tǒng)中海量數(shù)據(jù)的分析，便可大幅度提高電網(wǎng)智能監(jiān)控系統(tǒng)的準(zhǔn)確度和實(shí)效性。

本文研究基于人工神經(jīng)網(wǎng)絡(luò)的大數(shù)據(jù)挖掘分析的智能電網(wǎng)監(jiān)控系統(tǒng)，通過(guò)對(duì)以往電網(wǎng)運(yùn)行參數(shù)進(jìn)行挖掘匯總與分析，整理好的數(shù)據(jù)信息采用RBF（Radial Basic Function）徑向基函數(shù)人工神經(jīng)網(wǎng)絡(luò)。RBF神經(jīng)網(wǎng)絡(luò)是一種的前饋神經(jīng)網(wǎng)絡(luò)模型，由于其具有全局逼近的性質(zhì)，且不存在局部最小問(wèn)題，已經(jīng)得到了廣泛的應(yīng)用。

2 監(jiān)控系統(tǒng)診斷大數(shù)據(jù)挖掘分析

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程為先用k-means聚類方法對(duì)所挖掘獲得的數(shù)據(jù)輸入進(jìn)行聚類，即用無(wú)監(jiān)督學(xué)習(xí)的方法確定RBF神經(jīng)網(wǎng)絡(luò)中隱結(jié)點(diǎn)的數(shù)據(jù)中心，并根據(jù)各數(shù)據(jù)中心之間的距離確定隱結(jié)點(diǎn)的擴(kuò)展常數(shù)，然后通過(guò)有監(jiān)督學(xué)習(xí)訓(xùn)練個(gè)隱結(jié)點(diǎn)的輸出權(quán)值。

RBF神經(jīng)網(wǎng)絡(luò)為n-h-m結(jié)構(gòu)，即有n個(gè)輸入、h個(gè)隱結(jié)點(diǎn)和m個(gè)輸出。神經(jīng)網(wǎng)絡(luò)的輸入矢量， 為輸出權(quán)矩陣，為輸出單元偏移，網(wǎng)絡(luò)輸出為

（1）

其中為第i個(gè)隱含結(jié)點(diǎn)的激活函數(shù)。RBF網(wǎng)絡(luò)所采用的隱含結(jié)點(diǎn)的激活函數(shù)可以取多種形式，研究中常采用高斯函數(shù)形式，即

（2）

其中是第i個(gè)隱含結(jié)點(diǎn)的中心，是第i個(gè)隱含結(jié)點(diǎn)的拓展常數(shù)。

從樣本中產(chǎn)生h個(gè)初始聚類中心，默認(rèn)選取前h個(gè)。ci為第i類聚類中心，其相對(duì)應(yīng)的方差為，定義所有樣本輸入與初始聚類中心的距離范數(shù)

（3）

對(duì)樣本輸入x按最小距離原則進(jìn)行分類。再重新計(jì)算各類的新的聚類中心。當(dāng)出現(xiàn)第一個(gè) 時(shí)，

（4）

當(dāng)出現(xiàn)第一個(gè)以后的 （5）

其余情況下

（6）

其中，v是勝者聚類中心的學(xué)習(xí)速率，聚類中心的懲罰速率p與v的比值。則勝者聚類中心的方差為

（7）

其中是接近于1小于1的常數(shù)，通常取0.999。進(jìn)一步聚類中心的學(xué)習(xí)速率

（8）

其中。

若上式收斂則迭代結(jié)束；若不收斂，此時(shí)需要循環(huán)樣本與聚類中心的距離，令k=k+1，再重新聚類并計(jì)算下新的聚類中心。迭代結(jié)束后去除空中心，獲得最優(yōu)的聚類中心。如果其中某聚類中心位于數(shù)據(jù)集合的外則去除該中心。

以上基于k-means算法的改進(jìn)算法使初始聚類中心位于數(shù)據(jù)集合外部，可以排除多余的競(jìng)爭(zhēng)節(jié)點(diǎn)，使新的聚類中心移進(jìn)數(shù)據(jù)集合，而多余的節(jié)點(diǎn)更加遠(yuǎn)離數(shù)據(jù)集，算法的迭代速度增大，根據(jù)各中心最終相對(duì)于數(shù)據(jù)集合的位置。

3 結(jié)論

本文把基于大數(shù)據(jù)挖掘分析獲得的數(shù)據(jù)改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)應(yīng)用于電網(wǎng)的智能監(jiān)控系統(tǒng)。本文將大數(shù)據(jù)挖掘分析應(yīng)用于電網(wǎng)智能監(jiān)控系統(tǒng)中。對(duì)改進(jìn)以后的RBF徑向基函數(shù)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行故障診斷進(jìn)行了闡述和分析，將最小二乘法擴(kuò)展用于優(yōu)化該RBF神經(jīng)網(wǎng)絡(luò)。通過(guò)計(jì)算機(jī)仿真結(jié)果表明：該改進(jìn)以后的RBF徑向基函數(shù)人工神經(jīng)網(wǎng)絡(luò)對(duì)電網(wǎng)的故障診斷十分有效。設(shè)計(jì)了基于此算法和TCP/IP協(xié)議通信的智能監(jiān)控系統(tǒng)。根據(jù)本文的研究，基于該改進(jìn)后的RBF神經(jīng)網(wǎng)絡(luò)應(yīng)用于電網(wǎng)的智能監(jiān)控系統(tǒng)在電網(wǎng)故障診斷和恢復(fù)方面有很高的效率。

參考文獻(xiàn)

[1]陳為化，江全元.電力系統(tǒng)電壓崩潰的風(fēng)險(xiǎn)評(píng)估[J].電網(wǎng)技術(shù)，2005，29（19）：6-10.

[2]李樹(shù)廣. 電網(wǎng)監(jiān)控與預(yù)警系統(tǒng)的研制[J]. 電網(wǎng)技術(shù)，2006，09：77-82.

作者單位

第3篇：智能大數(shù)據(jù)分析范文

分析是實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的重要一環(huán)

作為全球大數(shù)據(jù)分析的領(lǐng)軍企業(yè)，SAS一直在思考如何在大數(shù)據(jù)鏈條中將分析的作用發(fā)揮到最大化。SAS大中華區(qū)總裁吳輔世曾指出，“在過(guò)去的一年中，大數(shù)據(jù)得到前所未有的重視。它不僅扮演了商業(yè)變革引擎的角色，還是國(guó)家戰(zhàn)略發(fā)展的推動(dòng)力。不管是‘互聯(lián)網(wǎng)+’還是‘中國(guó)制造2025’的全面推進(jìn)，都需要大數(shù)據(jù)的全力支持。而分析是將海量數(shù)據(jù)從機(jī)遇轉(zhuǎn)化為決策的關(guān)鍵一環(huán)”，“作為全球大數(shù)據(jù)分析的領(lǐng)軍企業(yè)，我們一直在思考如何在大數(shù)據(jù)鏈條中將分析的作用發(fā)揮到最大化。SAS關(guān)注各種新興技術(shù)為行業(yè)帶來(lái)的活力，并與合作伙伴共同探索部署數(shù)據(jù)分析的新方式。我們相信，‘唯快不破’的道理同樣適用于企業(yè)大數(shù)據(jù)實(shí)踐。打破傳統(tǒng)、勇于創(chuàng)新的探索者們將得到意想不到的豐厚回報(bào)。”

敏捷商業(yè)智能平臺(tái)的領(lǐng)軍者

在Forrester Research的《The Forrester WaveTM： 2015年第三季度敏捷商業(yè)智能平臺(tái)――13個(gè)最重要的供應(yīng)商及其排名》報(bào)告中， SAS公司被評(píng)為該領(lǐng)域全球領(lǐng)導(dǎo)者。Forrester Research 綜合考慮現(xiàn)有產(chǎn)品、戰(zhàn)略和市場(chǎng)表現(xiàn)三個(gè)方面，評(píng)選出了13個(gè)敏捷商業(yè)智能軟件產(chǎn)品，其中包括SAS可視化分析（SAS Visual Analytics ）。Forrester從50多個(gè)敏捷商業(yè)智能供應(yīng)商中選擇了排名靠前的13個(gè)。

Forrester Research的研究報(bào)告指出，“作為高級(jí)分析領(lǐng)域的全球領(lǐng)導(dǎo)者，SAS提供了一個(gè)頂級(jí)的敏捷商業(yè)智能平臺(tái)”，“SAS公司在其傳統(tǒng)強(qiáng)項(xiàng)高級(jí)預(yù)測(cè)分析平臺(tái)上，引入垂直行業(yè)和商業(yè)領(lǐng)域的特定高級(jí)分析程序，提供了強(qiáng)大的敏捷商業(yè)智能產(chǎn)品――可視化分析，該產(chǎn)品既可以作為本地授權(quán)軟件使用，也可以通過(guò)云端服務(wù)使用”。

可視化分析提升業(yè)務(wù)洞察力

SAS可視化分析通過(guò)數(shù)據(jù)可視化為客戶提供業(yè)務(wù)洞察力。其靈活的點(diǎn)選式用戶界面，為用戶提供了理想的自助服務(wù)環(huán)境。SAS執(zhí)行副總裁兼首席營(yíng)銷官Jim Davis表示，“有了SAS可視化分析，企業(yè)用戶可以在他們的辦公桌上自行進(jìn)行基礎(chǔ)數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘、報(bào)告和分析，并通過(guò)移動(dòng)設(shè)備分享觀點(diǎn)”。

第4篇：智能大數(shù)據(jù)分析范文

關(guān)鍵詞：RFID技術(shù)；智能交通；大數(shù)據(jù)平臺(tái)；停車App

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2016）11-0-02

0 引 言

智能停車場(chǎng)作為智能交通系統(tǒng)的一部分，能夠?qū)崟r(shí)向整個(gè)交通系統(tǒng)提供停車位數(shù)量統(tǒng)計(jì)等信息，對(duì)交通擁擠、阻塞能起到一定的疏導(dǎo)作用，同時(shí)也可以接收交通系統(tǒng)發(fā)出的指揮命令，服從統(tǒng)一調(diào)度。現(xiàn)代智能停車場(chǎng)地在收費(fèi)管理、車輛控制和人員管理方面具有先進(jìn)、快捷、安全可靠等優(yōu)點(diǎn)，可有效解決停車難等問(wèn)題。國(guó)內(nèi)大城市現(xiàn)有的智能停車場(chǎng)大多數(shù)都使用RFID技術(shù)。RFID技術(shù)中的RFID識(shí)別多標(biāo)簽的能力強(qiáng)，抗污染能力和耐久性強(qiáng)，具有穿透性和無(wú)屏障閱讀以及可重復(fù)使用的特點(diǎn)，數(shù)據(jù)還可實(shí)現(xiàn)反復(fù)修改，能夠在企業(yè)內(nèi)部進(jìn)行循環(huán)使用，射頻識(shí)別技術(shù)具有遠(yuǎn)距離讀取、高準(zhǔn)確率等特點(diǎn)，相比于其他技術(shù)，數(shù)據(jù)識(shí)別在停車場(chǎng)管理系統(tǒng)中的應(yīng)用具有相當(dāng)大的優(yōu)勢(shì)。

國(guó)內(nèi)諸多大城市雖已建成較為成熟的智能停車場(chǎng)系統(tǒng)，但由于環(huán)境因素及人文因素造成了不同時(shí)段停車位使用率低下和停車等待時(shí)間較長(zhǎng)的問(wèn)題，在一定程度上浪費(fèi)了車位資源。這是由于所有的停車場(chǎng)并沒(méi)有做到實(shí)時(shí)信息共享，也不能實(shí)現(xiàn)對(duì)共享數(shù)據(jù)的整理、存儲(chǔ)和訪問(wèn)，從而出現(xiàn)了停車“一窩蜂”的狀況。

1 大數(shù)據(jù)的研究現(xiàn)狀及應(yīng)用

1991年，比爾?恩提出了一個(gè)新的術(shù)語(yǔ)――數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)最大的區(qū)別就在于數(shù)據(jù)倉(cāng)庫(kù)是為分析數(shù)據(jù)進(jìn)行決策而設(shè)計(jì)的。由于數(shù)據(jù)的迅速積累與大量應(yīng)用，迫切需要一種強(qiáng)大的工具來(lái)挖掘數(shù)據(jù)，因此數(shù)據(jù)挖掘技術(shù)應(yīng)運(yùn)而生。大數(shù)據(jù)則是從云計(jì)算、人工智能、數(shù)據(jù)挖掘發(fā)展而來(lái)。

智能交通系統(tǒng)[1]（Intelligent Transport System，ITS）是一種利用先進(jìn)的檢測(cè)、通信和計(jì)算機(jī)技術(shù)等手段對(duì)傳統(tǒng)交通運(yùn)輸系統(tǒng)進(jìn)行改造，增強(qiáng)系統(tǒng)運(yùn)行效率，提高地面交通網(wǎng)絡(luò)的安全性和效率，減少能源消耗對(duì)環(huán)境造成污染的綜合運(yùn)輸和管理系統(tǒng)。利用大數(shù)據(jù)技術(shù)，可以從動(dòng)態(tài)變化的智能交通各子系統(tǒng)的數(shù)據(jù)信息中提取出共享數(shù)據(jù)，并對(duì)跨區(qū)域、跨領(lǐng)域的“數(shù)據(jù)倉(cāng)庫(kù)”加以綜合。將歷史數(shù)據(jù)遷移至大數(shù)據(jù)平臺(tái)的同時(shí)保證數(shù)據(jù)的完整性以及數(shù)據(jù)之間關(guān)系的可理解性，同時(shí)還可以根據(jù)各子系統(tǒng)的需求以及相互之間的內(nèi)在聯(lián)系為用戶提供數(shù)據(jù)信息服務(wù)，并組織內(nèi)部存儲(chǔ)的數(shù)據(jù)直接輸出，而其他子系統(tǒng)存儲(chǔ)的相關(guān)數(shù)據(jù)則由信息共享平臺(tái)提供查詢支持。

2 大數(shù)據(jù)平臺(tái)架構(gòu)

大數(shù)據(jù)平臺(tái)架構(gòu)主要由數(shù)據(jù)采集、數(shù)據(jù)分析、云計(jì)算平臺(tái)、終端構(gòu)成。

2.1 數(shù)據(jù)采集

數(shù)據(jù)采集是該系統(tǒng)中不可或缺的一部分。數(shù)據(jù)采集系統(tǒng)主要通過(guò)感知器、RFID、二維碼、視頻監(jiān)控等方式獲取信息數(shù)據(jù)，為下一步的數(shù)據(jù)處理和平臺(tái)計(jì)算提供數(shù)據(jù)來(lái)源。這些設(shè)備會(huì)源源不斷的自動(dòng)產(chǎn)生新數(shù)據(jù)。盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時(shí)還可與歷史數(shù)據(jù)對(duì)照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。

2.2 數(shù)據(jù)分析

數(shù)據(jù)分析[2]是基于Hadoop、NoSQL、HBase和數(shù)據(jù)挖掘等技術(shù)的大數(shù)據(jù)分析技術(shù)，可以分析時(shí)、日、月以及年的數(shù)據(jù)，結(jié)合各種數(shù)學(xué)模型及停車場(chǎng)數(shù)據(jù)進(jìn)行實(shí)時(shí)處理和有效分析，以對(duì)未來(lái)的趨勢(shì)進(jìn)行預(yù)測(cè)。

2.3 云計(jì)算

云計(jì)算方法是整個(gè)平臺(tái)的基礎(chǔ)服務(wù)。利用云計(jì)算方法對(duì)獲得的數(shù)據(jù)進(jìn)行有效整理、分析和存儲(chǔ)。

2.4 終端

終端直接面向各層用戶，可將之前產(chǎn)生的數(shù)據(jù)和分析結(jié)果直接在各種終端上，實(shí)現(xiàn)所有終端用戶的信息共享和訪問(wèn)，并根據(jù)不同終端的需求提供不同的數(shù)據(jù)。大數(shù)據(jù)平臺(tái)架構(gòu)如圖1所示。

3 大數(shù)據(jù)平臺(tái)下的智能停車場(chǎng)系統(tǒng)

3.1 大數(shù)據(jù)平臺(tái)下的停車場(chǎng)終端

大數(shù)據(jù)平臺(tái)下的智能停車場(chǎng)服務(wù)終端不應(yīng)只為停車用戶提供目前該停車場(chǎng)所剩車位數(shù)量，還應(yīng)為用戶提供最佳的停車方案，包括停車誘導(dǎo)、停車等待時(shí)間以及附近停車位數(shù)量等信息，使該終端具備提供多種停車方案的功能，以有效緩解不同時(shí)段停車“一窩蜂”的狀況。

要實(shí)現(xiàn)具備高效、快捷特點(diǎn)的停車場(chǎng)系統(tǒng)，就必須采集完整的停車場(chǎng)系統(tǒng)信息，利用大數(shù)據(jù)平臺(tái)對(duì)停車信息進(jìn)行處理并整合，實(shí)現(xiàn)多個(gè)停車場(chǎng)車位、費(fèi)率、位置等信息的實(shí)時(shí)采集匯總，及時(shí)獲取停車位信息，并通過(guò)分析停車場(chǎng)附近的車流量和空閑車位，為車主提供多種選擇方案，同時(shí)還可利用大數(shù)據(jù)分析出的最佳方案誘導(dǎo)用戶快速停車。

大數(shù)據(jù)平臺(tái)下的停車場(chǎng)服務(wù)終端可以結(jié)合RFID技術(shù)[3]自動(dòng)識(shí)別車主信息，實(shí)現(xiàn)不停車交費(fèi)，及時(shí)車輛的位置信息、車輛的狀況信息，并通過(guò)視頻監(jiān)控實(shí)現(xiàn)停車場(chǎng)管理的安全防護(hù)，并對(duì)剩余車位進(jìn)行及時(shí)整合，充分利用，以防止浪費(fèi)資源。

3.2 大數(shù)據(jù)平臺(tái)下的智能停車場(chǎng)App

在大數(shù)據(jù)平臺(tái)下分析出的數(shù)據(jù)和結(jié)果不僅可以在停車場(chǎng)終端上，也可以在用戶的App上，實(shí)現(xiàn)服務(wù)終端與用戶App的信息共享和訪問(wèn)。用戶利用App可以及時(shí)了解自己所要到達(dá)的目的地附近的所有停車位信息，以便提前預(yù)定自己所需車位。

用戶App包括了用戶所要到達(dá)目的地的地圖數(shù)據(jù)。地圖數(shù)據(jù)包括以下兩部分內(nèi)容：

（1）地圖本身的信息。地圖詳細(xì)記錄了每條道路的位置、形狀、寬度、名稱等信息，可由此計(jì)算出停車場(chǎng)的位置。

（2）傳感器和監(jiān)測(cè)信息。傳感器和監(jiān)測(cè)信息可以把傳感器本身的物理編號(hào)和它在地圖上的位置對(duì)應(yīng)起來(lái)。地圖數(shù)據(jù)還包括用戶所要選擇的停車場(chǎng)內(nèi)部地圖，大數(shù)據(jù)平臺(tái)將停車的最佳方案在用戶App上。當(dāng)用戶到達(dá)停車場(chǎng)后，無(wú)需依賴停車場(chǎng)的終端也可快速找到自己所要的車位。

車輛進(jìn)入停車場(chǎng)時(shí)，RFID技術(shù)識(shí)別標(biāo)簽可實(shí)現(xiàn)自動(dòng)繳費(fèi)，費(fèi)用的支出均在App界面顯現(xiàn)，車主認(rèn)定之后便實(shí)現(xiàn)支付，防止費(fèi)用支出過(guò)剩的情況發(fā)生。使用App對(duì)停車位定位后，App中的車位引導(dǎo)技術(shù)引導(dǎo)車主尋找車位，避免浪費(fèi)時(shí)間與因?qū)ふ臆囄粠?lái)的停車場(chǎng)內(nèi)部交通擁堵。

用戶依靠App繳納自己的停車費(fèi)用。在離開(kāi)停車場(chǎng)時(shí)，門禁系統(tǒng)自動(dòng)識(shí)別該車輛，并對(duì)比該車輛在數(shù)據(jù)庫(kù)中的繳費(fèi)情況，判斷是否放行。

4 結(jié) 語(yǔ)

在當(dāng)前的大數(shù)據(jù)時(shí)代，數(shù)據(jù)所帶來(lái)的影響遠(yuǎn)遠(yuǎn)超出人們的想象。伴隨著經(jīng)濟(jì)的發(fā)展，由“停車難”引發(fā)的各種交通問(wèn)題也不斷涌現(xiàn)，使城市交通面臨著巨大挑戰(zhàn)。大數(shù)據(jù)平臺(tái)下的智能停車場(chǎng)是一個(gè)技術(shù)多元的龐大系統(tǒng)工程，涉及了整個(gè)區(qū)域和城市。大數(shù)據(jù)技術(shù)在智能停車場(chǎng)的應(yīng)用充分利用數(shù)據(jù)挖掘和大數(shù)據(jù)處理技術(shù)的優(yōu)勢(shì)進(jìn)行數(shù)據(jù)融合、平臺(tái)建設(shè)，提高智能停車場(chǎng)的運(yùn)行效率及核心競(jìng)爭(zhēng)力。同時(shí)作為智能交通的一部分，在一定程度上緩解了停車難的問(wèn)題。

參考文獻(xiàn)

[1]熊剛，董西松，朱鳳華，等.城市交通大數(shù)據(jù)技術(shù)及智能應(yīng)用系統(tǒng)[J].大數(shù)據(jù)，2015（4）：1-4.

第5篇：智能大數(shù)據(jù)分析范文

【關(guān)鍵詞】智慧倉(cāng)儲(chǔ) 物聯(lián)網(wǎng) 大數(shù)據(jù)平臺(tái)

大型供應(yīng)鏈管理服務(wù)商通常具備多條成熟的運(yùn)輸線路以及遍布全國(guó)的貨物倉(cāng)庫(kù)，企業(yè)日益擴(kuò)大的交易規(guī)模和業(yè)務(wù)范圍，各地倉(cāng)儲(chǔ)和物流運(yùn)輸每日可采集豐富的交易、物流、倉(cāng)儲(chǔ)、供應(yīng)商等數(shù)據(jù)，單一的企業(yè)ERP系統(tǒng)只能完成資源管理，對(duì)于海量數(shù)據(jù)的分析和企業(yè)更高要求的數(shù)據(jù)分析能力有限，于是，企業(yè)智慧倉(cāng)儲(chǔ)大數(shù)據(jù)平臺(tái)應(yīng)運(yùn)而生。

本文提出的智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái)，運(yùn)用了先進(jìn)的RFID技術(shù)、視頻分析技術(shù)及大數(shù)據(jù)分析技術(shù)，不僅解決了分散在各處的倉(cāng)庫(kù)智慧化管理，還可將倉(cāng)庫(kù)和物流各類運(yùn)營(yíng)及管理基礎(chǔ)數(shù)據(jù)同步上傳至大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)倉(cāng)庫(kù)運(yùn)營(yíng)和管理信息資源的整合與共享，并依托各類基礎(chǔ)信息庫(kù)，為企業(yè)管理者提供智能決策支持。

1 智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái)

智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái)是一個(gè)功能完備的基礎(chǔ)平臺(tái)，系統(tǒng)架構(gòu)如下圖所示，分五層結(jié)構(gòu)：感知層、傳輸層、數(shù)據(jù)層、服務(wù)層和應(yīng)用層。

1.1 感知層

包括RFID讀寫器、激光雷達(dá)、視頻終端、門禁對(duì)講、溫濕度傳感器和警報(bào)器。

1.2 傳輸層

采用有線局域網(wǎng)或WIFI無(wú)線通信方式與支撐平臺(tái)連接并傳輸數(shù)據(jù)。

1.3 數(shù)據(jù)層

包括設(shè)備信息庫(kù)、業(yè)務(wù)信息庫(kù)、監(jiān)控信息庫(kù)和人員信息庫(kù)。

1.4 服務(wù)層

包括RFID中間件、ESB總線和第三方接口等模塊，為整個(gè)系統(tǒng)的運(yùn)行提供服務(wù)支撐。

1.5 應(yīng)用層

包括倉(cāng)庫(kù)的業(yè)務(wù)管理、安防管理、人員管理、報(bào)表分析和系統(tǒng)管理等功能。

通過(guò)智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái)可實(shí)現(xiàn)對(duì)貨物入庫(kù)、出庫(kù)、移庫(kù)、盤點(diǎn)等基本業(yè)務(wù)的智能化處理，其中，視頻分析技術(shù)還可實(shí)現(xiàn)倉(cāng)儲(chǔ)的安防管理、人員管理等功能，不僅實(shí)現(xiàn)了對(duì)倉(cāng)庫(kù)的智能化管理，還能夠收集物流和倉(cāng)儲(chǔ)的各個(gè)生產(chǎn)過(guò)程和任務(wù)執(zhí)行中產(chǎn)生的運(yùn)營(yíng)數(shù)據(jù)，作為大數(shù)據(jù)分析平臺(tái)數(shù)據(jù)源的重要組成部分，為企業(yè)實(shí)現(xiàn)智能分析提供了基礎(chǔ)。

2 智慧倉(cāng)儲(chǔ)大數(shù)據(jù)應(yīng)用

智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái)將各地的倉(cāng)儲(chǔ)運(yùn)營(yíng)數(shù)據(jù)統(tǒng)一上傳至企業(yè)大數(shù)據(jù)平臺(tái)，進(jìn)行分類和對(duì)分散及重復(fù)數(shù)據(jù)進(jìn)行篩選、匯總、抽取、挖掘、分析形成物流與倉(cāng)儲(chǔ)有價(jià)值的大數(shù)據(jù)，便可應(yīng)用于企業(yè)管控和管理全過(guò)程的協(xié)調(diào)、管理、協(xié)同、決策。大數(shù)據(jù)平臺(tái)架構(gòu)如下圖所示，分為數(shù)據(jù)源、大數(shù)據(jù)獲取、大數(shù)據(jù)處理、大數(shù)據(jù)服務(wù)四層。

數(shù)據(jù)源層主要實(shí)現(xiàn)采集前端各類感知設(shè)備以及各倉(cāng)儲(chǔ)運(yùn)營(yíng)平臺(tái)數(shù)據(jù)。

大數(shù)據(jù)獲取層實(shí)現(xiàn)結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)的導(dǎo)入導(dǎo)出。

大數(shù)據(jù)處理層實(shí)現(xiàn)數(shù)據(jù)的分布式存儲(chǔ)和并行計(jì)算，并統(tǒng)一提供資源的調(diào)度服務(wù)、訪問(wèn)服務(wù)、管理監(jiān)控服務(wù)和權(quán)限控制服務(wù)等。

大數(shù)據(jù)應(yīng)用層實(shí)現(xiàn)物流運(yùn)輸調(diào)度、儲(chǔ)位管理、可追溯管理、精準(zhǔn)營(yíng)銷等各類智慧化應(yīng)用。

2.1 運(yùn)輸調(diào)度

通過(guò)大數(shù)據(jù)優(yōu)化任務(wù)發(fā)運(yùn)計(jì)劃，使運(yùn)輸任務(wù)最大程度地銜接起來(lái)，達(dá)到整個(gè)運(yùn)輸網(wǎng)絡(luò)任務(wù)協(xié)調(diào)排程，合理組織運(yùn)輸工作和車輛調(diào)配，提高運(yùn)輸調(diào)度水平。

2.2 儲(chǔ)位管理

通過(guò)對(duì)產(chǎn)品的進(jìn)出貨數(shù)據(jù)進(jìn)行分析、整理、分類，深度挖掘不同類別之間的相關(guān)關(guān)系，再配合波次作業(yè)手段，優(yōu)化揀貨單，提高倉(cāng)儲(chǔ)工作效率。

2.3 可追溯管理

借助大數(shù)據(jù)平臺(tái)智能分析及智慧倉(cāng)儲(chǔ)前端采集信息，建立產(chǎn)品檔案，全面直觀地展示品牌形象，借助供應(yīng)鏈系統(tǒng)與電子商務(wù)交易平臺(tái)，實(shí)時(shí)監(jiān)督產(chǎn)品生產(chǎn)、交易和運(yùn)輸全過(guò)程。

2.4 精準(zhǔn)營(yíng)銷

通過(guò)收集各個(gè)電子商務(wù)平臺(tái)上同類產(chǎn)品的銷售價(jià)格、數(shù)量、潛力，以及老客戶的個(gè)人資料、交易行為、忠誠(chéng)度等信息，同時(shí)深度挖掘潛在客戶，制定一些優(yōu)惠政策，激發(fā)購(gòu)買的積極性，定向推送產(chǎn)品信息，實(shí)現(xiàn)精準(zhǔn)營(yíng)銷。

3 結(jié)束語(yǔ)

基于大數(shù)據(jù)分析的智慧倉(cāng)儲(chǔ)運(yùn)營(yíng)支撐平臺(tái)，適用于擁有多個(gè)分散倉(cāng)庫(kù)的大型企業(yè)，不僅使倉(cāng)庫(kù)管理者能夠及時(shí)掌握倉(cāng)庫(kù)運(yùn)行情況，更將大數(shù)據(jù)技術(shù)應(yīng)用到物流領(lǐng)域，對(duì)于建設(shè)智能倉(cāng)儲(chǔ)體系，優(yōu)化物流運(yùn)作流程，提升物流倉(cāng)儲(chǔ)的自動(dòng)化、智能化水平有著積極的推進(jìn)作用。

參考文獻(xiàn)

[1]肖建輝.淺談倉(cāng)儲(chǔ)管理[J].物流工程與管理，2010，32（06）：130-132.

[2]張仁彬，李玉民.基于物聯(lián)網(wǎng)技術(shù)倉(cāng)儲(chǔ)管理系統(tǒng)研究[J].物流科技，2011（06）：35-38.

[3]宮夏屹，李伯虎，柴旭東，等.大數(shù)據(jù)平臺(tái)技術(shù)綜述[J].系統(tǒng)仿真學(xué)報(bào)，2014， 26（03）：489-496.

第6篇：智能大數(shù)據(jù)分析范文

IBM大數(shù)據(jù)分析融入騰訊媒體報(bào)道

在世界杯開(kāi)賽之前，IBM和騰訊“牽手”成為騰訊體育社交媒體數(shù)據(jù)分析合作伙伴。IBM根據(jù)網(wǎng)友和球迷在騰訊網(wǎng)絡(luò)媒體平臺(tái)及社交網(wǎng)絡(luò)上的海量公開(kāi)信息和數(shù)據(jù)，通過(guò)大數(shù)據(jù)分析技術(shù)，獲得球迷話題、球迷類型、球迷個(gè)性分析等一系列洞察；同時(shí)還能根據(jù)這些信息得出網(wǎng)友心中真實(shí)的球隊(duì)支持率。而騰訊則通過(guò)這些分析得出的洞察來(lái)指導(dǎo)內(nèi)容報(bào)道，細(xì)分受眾，制作球迷更加喜歡的內(nèi)容。

比如，IBM基于典型球迷在微博等社交媒體上所內(nèi)容的綜合分析，并對(duì)比心理學(xué)上的任務(wù)性格分析模型，通過(guò)大數(shù)據(jù)技術(shù)進(jìn)行球迷的性格分析，勾勒出不同球星的典型球迷形象，不僅是球迷的興趣愛(ài)好，連性格特點(diǎn)和行為方式都刻畫(huà)的十分詳細(xì)。如內(nèi)馬爾球迷的關(guān)鍵詞為“陽(yáng)光活潑、愛(ài)湊熱鬧、愛(ài)找樂(lè)子、喜歡悠閑生活”等等。

從世界杯看社交大數(shù)據(jù)分析如何為行業(yè)客戶創(chuàng)造價(jià)值

通過(guò)大數(shù)據(jù)分析，媒體能夠了解網(wǎng)友和球迷的喜好和關(guān)注點(diǎn)，就能夠有針對(duì)性的制作內(nèi)容并進(jìn)行推薦，這大大改善了網(wǎng)友的體驗(yàn)。作為一名媒體人，筆者經(jīng)常會(huì)為找到讀者喜歡的話題而頭痛，往往精心制作的選題卻反映冷淡，其原因在于媒體認(rèn)知和讀者需求出現(xiàn)了脫節(jié)。大數(shù)據(jù)分析改變了媒體傳統(tǒng)的單向式傳播模式，讓讀者變成內(nèi)容制作的“參與者”，從而更加貼近讀者的需求。“大數(shù)據(jù)”開(kāi)啟了媒體報(bào)道的新模式，據(jù)悉，眾多媒體集團(tuán)都表現(xiàn)出興趣，希望能和IBM進(jìn)行類似的合作。同時(shí)，在本屆世界杯上，大數(shù)據(jù)和媒體的結(jié)合，也為球迷送去了一場(chǎng)與眾不同的“足球報(bào)道盛宴”。

行業(yè)CMO最關(guān)注大數(shù)據(jù)和社交網(wǎng)絡(luò)對(duì)營(yíng)銷的影響

IBM在本屆世界杯和騰訊的合作只是IBM在體育行業(yè)大數(shù)據(jù)分析的一個(gè)縮影，此前IBM大數(shù)據(jù)社交分析已經(jīng)在網(wǎng)球四大大滿貫賽事、橄欖球、高爾夫球等賽事中也發(fā)揮著巨大作用，為球迷帶來(lái)了更佳的觀賽體驗(yàn)，為球員和教練合理制定訓(xùn)練和比賽計(jì)劃提供著參考，同時(shí)也助力主辦方創(chuàng)辦世界頂級(jí)賽事也幫助轉(zhuǎn)播機(jī)構(gòu)傳遞精彩比賽。事實(shí)上，其它行業(yè)的企業(yè)CMO也正越來(lái)越重視大數(shù)據(jù)和社交網(wǎng)絡(luò)在企業(yè)營(yíng)銷中的價(jià)值。

圖注一：中國(guó)的CMO已經(jīng)意識(shí)到營(yíng)銷管理在將來(lái)的巨大變化，并且已經(jīng)開(kāi)始在投資/整合技術(shù)與分析方面做出相應(yīng)的準(zhǔn)備

根據(jù)IBM年度的全球和中國(guó)CMO調(diào)查報(bào)告，在被認(rèn)為對(duì)營(yíng)銷管理產(chǎn)生重要影響的13中因素中，數(shù)據(jù)爆炸和社交媒體被認(rèn)為是最重要的兩種因素。其中，85%的CMO都選擇企業(yè)應(yīng)對(duì)數(shù)據(jù)爆炸做出市場(chǎng)營(yíng)銷的改變；71%的CMO則選擇了社交媒體。

IBM大數(shù)據(jù)社交分析已有成熟的方法論

移動(dòng)技術(shù)和社交業(yè)務(wù)正在催生著很多新的IT服務(wù)來(lái)與被數(shù)字化武裝的個(gè)體進(jìn)行交互。對(duì)于企業(yè)而言，構(gòu)建一套全方位的互動(dòng)參與體系，在員工、合作伙伴和客戶之間建立參與機(jī)制將尤為重要。而IBM在社交大數(shù)據(jù)分析方面不僅有SoftLayer等云計(jì)算基礎(chǔ)設(shè)施的支撐，還通過(guò)多年積累形成了一套為企業(yè)提供社交環(huán)境下客戶全生命周期支持的完整方法論，使大數(shù)據(jù)社交分析能充分挖掘到在媒體行業(yè)、電信、金融、交通運(yùn)輸、零售、快速消費(fèi)品等不同行業(yè)的客戶價(jià)值。

圖注2：IBM社交大數(shù)據(jù)分析解決方案為企業(yè)提供社交環(huán)境下客戶全生命周期的支持

第7篇：智能大數(shù)據(jù)分析范文

【關(guān)鍵詞】 工業(yè)互聯(lián)網(wǎng) 大數(shù)據(jù) 管控一體化

伴隨移動(dòng)網(wǎng)絡(luò)、大數(shù)據(jù)、云計(jì)算浪潮，工業(yè)革命創(chuàng)造的龐大的機(jī)器世界和信息革命的網(wǎng)絡(luò)、智能計(jì)算和數(shù)據(jù)搜集、處理能力結(jié)合，推動(dòng)著工業(yè)互聯(lián)網(wǎng)革命的到來(lái)。本文通過(guò)探討將中國(guó)石油管道公司在用的生產(chǎn)控制及經(jīng)營(yíng)管理信息系統(tǒng)之間的關(guān)鍵數(shù)據(jù)通過(guò)集成共享，借助云計(jì)算，實(shí)現(xiàn)資產(chǎn)最優(yōu)配置及科學(xué)管理決策，助力管控一體化建設(shè)，提高管理效率。

一、總體結(jié)構(gòu)及實(shí)現(xiàn)技術(shù)

1.1 總體結(jié)構(gòu)設(shè)計(jì)

大數(shù)據(jù)中心采用分層結(jié)構(gòu)，通過(guò)將現(xiàn)有各系統(tǒng)的生產(chǎn)過(guò)程數(shù)據(jù)及經(jīng)營(yíng)管理數(shù)據(jù)匯集到大數(shù)據(jù)中心，借助云計(jì)算及成熟的大數(shù)據(jù)分析技術(shù)，通過(guò)相關(guān)服務(wù)接口，為管理決策提供依據(jù)，實(shí)現(xiàn)資產(chǎn)優(yōu)化、失效預(yù)防、智能機(jī)器等功能。

1.2 解決方案及主流平臺(tái)

大數(shù)據(jù)中心的4V特征決定了它不同于傳統(tǒng)的數(shù)據(jù)采集、存儲(chǔ)、處理技術(shù)。大數(shù)據(jù)是多維的，而且極具復(fù)雜性，解決方案通常都是基于集群的物理設(shè)施平臺(tái)上，通過(guò)分布式處理系統(tǒng)來(lái)實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理和分析，最為常見(jiàn)的當(dāng)屬英特爾公司推出的Hadoop。

二、建設(shè)內(nèi)容

通過(guò)數(shù)據(jù)的高度集中及有效融合分析，在滿足現(xiàn)有控制及管理需要的前提下，通過(guò)數(shù)據(jù)利用，側(cè)重提升管理效率，為管理決策提供科學(xué)依據(jù)，實(shí)現(xiàn)資產(chǎn)優(yōu)化配置及失效預(yù)防等，主要實(shí)現(xiàn)以下功能：

2.1 為管控經(jīng)營(yíng)決策提供科學(xué)依據(jù)

傳統(tǒng)的決策往往倚賴于企業(yè)領(lǐng)導(dǎo)者的經(jīng)驗(yàn)，大數(shù)據(jù)中心的建立則可以改變長(zhǎng)期以來(lái)依靠經(jīng)驗(yàn)、理論和思想的管理決策方式，使直覺(jué)判斷讓位于精確的數(shù)據(jù)分析，保證任何決策都是從問(wèn)題出發(fā)而不用擔(dān)心數(shù)據(jù)缺失或者數(shù)據(jù)獲取困難，使決策重心回到問(wèn)題本身，而領(lǐng)導(dǎo)者的任務(wù)則變成了發(fā)現(xiàn)和提出正確的問(wèn)題。對(duì)于一般管理者和員工，可以很方便地獲得決策所需的信息，決策能力大大增強(qiáng)。同時(shí)，建立在大數(shù)據(jù)分析的基礎(chǔ)上，重大決策出臺(tái)前，可以對(duì)產(chǎn)生的影響效果及范圍進(jìn)行預(yù)測(cè)，為重大決策提供事前評(píng)估。

2.2 提高設(shè)備可靠性及效能，實(shí)現(xiàn)資產(chǎn)管理及優(yōu)化

在長(zhǎng)輸管道行業(yè)中，泵和其他流程設(shè)備是油、氣、電等能源的消耗大戶，這些設(shè)備是否工作在最佳狀態(tài)至關(guān)重要。借助大數(shù)據(jù)分析，隨時(shí)隨地獲知關(guān)鍵設(shè)備的運(yùn)行狀態(tài)，及時(shí)進(jìn)行維護(hù)調(diào)整，確保設(shè)備以最小的能耗工作在性能最佳的狀態(tài)，實(shí)現(xiàn)資產(chǎn)的優(yōu)化管理及有限資源的最大化合理分配。同時(shí)，通過(guò)庫(kù)存優(yōu)化計(jì)劃節(jié)約短期運(yùn)營(yíng)成本，并降低設(shè)備的生命周期成本，確保關(guān)鍵資產(chǎn)的部件供應(yīng)。

2.3 有效預(yù)防意外失效，提高運(yùn)營(yíng)效率

基于對(duì)數(shù)據(jù)的獲取、存儲(chǔ)和分析可結(jié)合大數(shù)據(jù)有效開(kāi)展預(yù)測(cè)。通過(guò)關(guān)鍵設(shè)備運(yùn)行狀態(tài)的實(shí)時(shí)分析，在設(shè)備失效前給出預(yù)警，安排檢修或計(jì)劃停機(jī)，改善“平均失效間隔時(shí)間”（MTBF），防止失效進(jìn)一步擴(kuò)大，借助數(shù)據(jù)中心強(qiáng)大的分析計(jì)算能力，結(jié)合設(shè)備運(yùn)行數(shù)據(jù)和管道內(nèi)檢測(cè)數(shù)據(jù)等，可在潛在問(wèn)題造成巨大損失以及浪費(fèi)維修時(shí)間之前搶先采取行動(dòng)，現(xiàn)場(chǎng)維修人員也將不需要耗費(fèi)時(shí)間去檢查哪里出了什么問(wèn)題，他們將能夠直接預(yù)測(cè)哪里出了什么問(wèn)題，并提前準(zhǔn)備好修復(fù)所需的零部件，有效避免管道失效及關(guān)鍵設(shè)備意外宕機(jī)造成的嚴(yán)重后果。

2.4 突破機(jī)器與智慧界限，讓機(jī)器更加智能

借助大數(shù)據(jù)分析及機(jī)器智能技術(shù)，以嶄新的方法將現(xiàn)實(shí)世界中的機(jī)器、設(shè)備、團(tuán)隊(duì)和網(wǎng)絡(luò)連接起來(lái)。使用基于物理的分析法、預(yù)測(cè)算法、自動(dòng)化和材料科學(xué)及其他關(guān)鍵學(xué)科的深厚專業(yè)知識(shí)來(lái)理解機(jī)器與大型系統(tǒng)的運(yùn)作方式。通過(guò)持續(xù)的數(shù)據(jù)積累、深度學(xué)習(xí)和提高洞察力，實(shí)現(xiàn)機(jī)器與信息智能化，當(dāng)“知道”大數(shù)據(jù)時(shí)，能夠分析判斷這些數(shù)據(jù)應(yīng)該用在什么地方，以及如何使用，讓大數(shù)據(jù)和預(yù)測(cè)有聯(lián)系，突破機(jī)器與智慧界限，使機(jī)器更加智能，不斷提高生產(chǎn)效率。

三、結(jié)束語(yǔ)

大數(shù)據(jù)時(shí)代的降臨已是勢(shì)不可擋，其中潛在的巨大價(jià)值勢(shì)必會(huì)掀起一場(chǎng)商業(yè)模式和管理決策的深刻變革，中國(guó)石油集團(tuán)公司也于2012年啟動(dòng)了三大數(shù)據(jù)中心建設(shè)。對(duì)于企業(yè)來(lái)說(shuō)，數(shù)據(jù)正日益成為企業(yè)的核心競(jìng)爭(zhēng)力，企業(yè)必須要充分、有效地利用大數(shù)據(jù)，挖掘蘊(yùn)含其中的附加價(jià)值，依靠數(shù)據(jù)來(lái)驅(qū)動(dòng)增長(zhǎng)，不斷發(fā)展壯大。

參 考 文 獻(xiàn)

[1]楊茂，陳渝等，數(shù)字氣田管控一體化信息系統(tǒng)建設(shè)[J].天然氣與石油，2013，（6）：7-9

第8篇：智能大數(shù)據(jù)分析范文

【關(guān)鍵詞】大數(shù)據(jù)；智能電網(wǎng)；應(yīng)用

0 引言

電力能源作為一種不能大量存儲(chǔ)的能源，其特點(diǎn)是“發(fā)電-輸電-配電”同時(shí)完成，發(fā)電的多少要依據(jù)用電側(cè)的符合進(jìn)行調(diào)配，維持發(fā)電和用電的均衡，這對(duì)電網(wǎng)頻率和電壓的穩(wěn)定起到了至關(guān)重要的作用。傳統(tǒng)電網(wǎng)中，此項(xiàng)工作主要由各電力公司的電力調(diào)度負(fù)責(zé)，通過(guò)對(duì)輸配電的控制使電網(wǎng)的頻率和電壓運(yùn)行在允許的范圍內(nèi)。

隨著新能源的出現(xiàn)及發(fā)展，風(fēng)力發(fā)電、太陽(yáng)能發(fā)電等多種分布式發(fā)電對(duì)電網(wǎng)的穩(wěn)定運(yùn)行提出了新的挑戰(zhàn)，如果調(diào)配不好，容易發(fā)生棄能的現(xiàn)象，這對(duì)發(fā)電企業(yè)帶來(lái)了不必要的損失。同時(shí)電動(dòng)汽車等新的電力耗能大戶的逐漸普及，對(duì)現(xiàn)有輸配電基礎(chǔ)設(shè)施的影響也很巨大。一個(gè)小區(qū)內(nèi)如果幾十臺(tái)汽車如果同時(shí)充電，就會(huì)對(duì)原有輸配電基礎(chǔ)設(shè)施產(chǎn)生影響，供電線路就容易超負(fù)荷。如何能解決這些問(wèn)題，突破電力發(fā)展的瓶頸，實(shí)現(xiàn)電能資源的高效利用，既是我國(guó)經(jīng)濟(jì)發(fā)展的目標(biāo)，又是輸配電企業(yè)目前亟待解決的問(wèn)題。

智能電網(wǎng)利用布置在發(fā)電側(cè)和配電側(cè)的大量的傳感器網(wǎng)絡(luò)，通過(guò)高速專用電力通信網(wǎng)絡(luò)將采集到的數(shù)據(jù)集中到電網(wǎng)運(yùn)營(yíng)調(diào)度中心，通過(guò)智能信息處理技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行分析和計(jì)算，根據(jù)需要對(duì)電網(wǎng)進(jìn)行實(shí)時(shí)自動(dòng)化控制，智能調(diào)節(jié)電網(wǎng)運(yùn)行狀態(tài)并在線分析和決策電力輸送，實(shí)現(xiàn)電能產(chǎn)生和使用的可測(cè)可控，使電力系統(tǒng)的運(yùn)行更加高效、可靠和安全。對(duì)各種傳感器網(wǎng)絡(luò)產(chǎn)生的海量數(shù)據(jù)的提取、分析、計(jì)算、管理和決策是智能電網(wǎng)運(yùn)行過(guò)程中至關(guān)重要的一部分，如何有效的處理大數(shù)據(jù)，成為智能電網(wǎng)應(yīng)用的關(guān)鍵。

1 大數(shù)據(jù)在電力應(yīng)用中的關(guān)鍵技術(shù)

如何利用大數(shù)據(jù)整合所需資源達(dá)到實(shí)現(xiàn)未來(lái)電力發(fā)展需要的應(yīng)用，提高生產(chǎn)率，提高管理效率、服務(wù)質(zhì)量，這些都是實(shí)現(xiàn)大數(shù)據(jù)在電力應(yīng)用中的關(guān)鍵。電力大數(shù)據(jù)主要包括數(shù)據(jù)的集成管理、數(shù)據(jù)分析、數(shù)據(jù)處理及數(shù)據(jù)展現(xiàn)。

1.1 電力大數(shù)據(jù)的集成管理

電力大數(shù)據(jù)集成管理是融合來(lái)自多個(gè)傳感器網(wǎng)絡(luò)的異構(gòu)數(shù)據(jù)，并進(jìn)行抽取、過(guò)濾和清洗后提供給電力應(yīng)用系統(tǒng)過(guò)程。從集成的角度來(lái)說(shuō)，就是把不同來(lái)源、數(shù)據(jù)格式、特點(diǎn)、性質(zhì)的多樣性數(shù)據(jù)在邏輯上或者存儲(chǔ)介質(zhì)上進(jìn)行清洗和集中，為應(yīng)用系統(tǒng)存儲(chǔ)一系列面向主題的、集成的、易于管理的、反映歷史變化的數(shù)據(jù)集合，從而為系統(tǒng)提供全面的數(shù)據(jù)共享。電力大數(shù)據(jù)集成管理技術(shù)就是為解決內(nèi)部各系統(tǒng)間的數(shù)據(jù)冗余和信息孤島而產(chǎn)生的。

1.2 電力大數(shù)據(jù)的數(shù)據(jù)分析

電力大數(shù)據(jù)分析是將傳感器采集到的數(shù)據(jù)進(jìn)行分析和提煉，從多個(gè)維度觸發(fā)，找出海量數(shù)據(jù)中潛在的模態(tài)和規(guī)律的過(guò)程。電力大數(shù)據(jù)分析的關(guān)鍵技術(shù)源于統(tǒng)計(jì)學(xué)，并利用計(jì)算機(jī)技術(shù)對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘和模式識(shí)別。

電力大數(shù)據(jù)分析技術(shù)，從根本上講，屬于傳統(tǒng)數(shù)據(jù)挖掘技術(shù)在海量數(shù)據(jù)挖掘下的新發(fā)展，針對(duì)發(fā)電數(shù)據(jù)、輸電數(shù)據(jù)、配電數(shù)據(jù)和用戶用電數(shù)據(jù)等大數(shù)據(jù)海量、高速增長(zhǎng)、多樣性的特點(diǎn)，從大數(shù)據(jù)的治理與抽樣、特征選擇的角度入手，將大數(shù)據(jù)小數(shù)據(jù)化，然后對(duì)大數(shù)據(jù)利用聚類、分類算法進(jìn)行聚類提取特征，最后利用機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘技術(shù)提取數(shù)據(jù)中的應(yīng)用知識(shí)，提供給應(yīng)用系統(tǒng)。

1.3 電力大數(shù)據(jù)的數(shù)據(jù)處理

電力大數(shù)據(jù)的數(shù)據(jù)處理主要是利用現(xiàn)代計(jì)算機(jī)大規(guī)模計(jì)算技術(shù)優(yōu)化數(shù)據(jù)的處理過(guò)程，提高數(shù)據(jù)的處理速度，主要包括分布式并行計(jì)算技術(shù)，內(nèi)存計(jì)算技術(shù)，流處理技術(shù)等。分布式并行計(jì)算技術(shù)是為了解決海量數(shù)據(jù)的分布式存儲(chǔ)與處理。內(nèi)存計(jì)算技術(shù)是為了解決數(shù)據(jù)的快速讀取和利用內(nèi)存的高帶寬特性進(jìn)行實(shí)時(shí)計(jì)算。流處理技術(shù)針對(duì)連續(xù)的、未知數(shù)據(jù)量的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，且處理過(guò)程不受信息完整度的影響。

分布式并行計(jì)算是一種新的計(jì)算方式，充分利用計(jì)算資源具有分布式的特點(diǎn)，將單一高性能計(jì)算機(jī)的計(jì)算分解為分布式并行計(jì)算，并將分布式計(jì)算的結(jié)果匯聚為最終結(jié)果。分布式計(jì)算的一個(gè)典型代表是Google公司Hadoop大數(shù)據(jù)平臺(tái)的Map-Reduce編程模型，該平臺(tái)實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)，并且具有高容錯(cuò)性的特點(diǎn)。該平臺(tái)將海量數(shù)據(jù)計(jì)算從高性能計(jì)算的解決方案改進(jìn)為分布式的低廉硬件解決方案，且仍然可以達(dá)到高性能計(jì)算機(jī)才能達(dá)到的性能要求。Map-Reduce編程模型先將待處理的數(shù)據(jù)進(jìn)行分塊，進(jìn)行分布式并行處理，并以鍵值對(duì)的形式存儲(chǔ)到本地硬盤，再由Reduce任務(wù)按照鍵值將結(jié)果匯總并輸出最終結(jié)果。分布式并行計(jì)算技術(shù)適用于電力系統(tǒng)用電信息或配電信息采集領(lǐng)域的海量分散數(shù)據(jù)源。

內(nèi)存計(jì)算技術(shù)將全部數(shù)據(jù)放在內(nèi)存中，利用內(nèi)存與CPU之間高速通信的特性進(jìn)行快速數(shù)據(jù)處理的計(jì)算技術(shù)，該技術(shù)避免了硬盤IO速度有限帶來(lái)的數(shù)據(jù)傳輸速度瓶頸，計(jì)算速度大幅提升。內(nèi)存計(jì)算技術(shù)伴隨著內(nèi)存價(jià)格的下降得到快速的發(fā)展，EMC、甲骨文、SAT都提出了內(nèi)存計(jì)算的優(yōu)化解決方案，將客戶計(jì)算時(shí)間從以天作為單位降低為以秒作為單位，在適當(dāng)提高計(jì)算資源成本的前提下解決了大數(shù)據(jù)實(shí)時(shí)處理和知識(shí)挖掘的難題。

流處理技術(shù)將每時(shí)每刻到來(lái)的數(shù)據(jù)視為流，每當(dāng)有新的數(shù)據(jù)到來(lái)時(shí)就隨時(shí)處理并返回結(jié)果，由序列檢測(cè)理論可知，基于事件檢測(cè)的應(yīng)用中數(shù)據(jù)的信息量會(huì)隨著時(shí)間的增長(zhǎng)而變小，因此在數(shù)據(jù)流數(shù)據(jù)的前段數(shù)據(jù)中可以盡可能快地對(duì)最新的數(shù)據(jù)做出分析并給出結(jié)果。隨著電力事業(yè)的發(fā)展，電力系統(tǒng)數(shù)據(jù)量不斷增長(zhǎng)，流處理技術(shù)應(yīng)用于電力系統(tǒng)可以為決策者提供即時(shí)依據(jù)，在事件檢測(cè)類應(yīng)用中起到至關(guān)重要的作用。

第9篇：智能大數(shù)據(jù)分析范文

面向工業(yè)互聯(lián)網(wǎng)的大數(shù)據(jù)相關(guān)應(yīng)用系統(tǒng)，從功能視角看，主要由數(shù)據(jù)采集與交換，數(shù)據(jù)預(yù)處理與存儲(chǔ)、建模、分析和數(shù)據(jù)驅(qū)動(dòng)下的決策與控制應(yīng)用四個(gè)層次五大部分組成。

數(shù)據(jù)采集與交換層主要實(shí)現(xiàn)工業(yè)各環(huán)節(jié)數(shù)據(jù)的采集與交換，數(shù)據(jù)源既包含來(lái)自傳感器、SCADA、MES、ERP等內(nèi)部數(shù)據(jù)，也包含來(lái)自企業(yè)外部的數(shù)據(jù)，主要包含對(duì)象感知、實(shí)時(shí)采集與批量采集、數(shù)據(jù)核查、數(shù)據(jù)路由等功能。

數(shù)據(jù)預(yù)處理與存儲(chǔ)層的關(guān)鍵目標(biāo)是實(shí)現(xiàn)工業(yè)互聯(lián)網(wǎng)數(shù)據(jù)的初步清洗、集成，并將工業(yè)系統(tǒng)與數(shù)據(jù)對(duì)象進(jìn)行關(guān)聯(lián)，主要包含數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)等功能。

數(shù)據(jù)建模層根據(jù)工業(yè)實(shí)際元素與業(yè)務(wù)流程，在數(shù)據(jù)基礎(chǔ)上建構(gòu)用戶、設(shè)備、產(chǎn)品產(chǎn)線、工廠、工藝等數(shù)字模型，并結(jié)合數(shù)據(jù)分析層提供數(shù)據(jù)報(bào)表、可視化、知識(shí)庫(kù)、數(shù)據(jù)分析工具及數(shù)據(jù)開(kāi)放功能，為各類決策的產(chǎn)生提供支持。