神經網絡降維方法精選(九篇)
前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡降維方法主題范文，僅供參考，歡迎閱讀并收藏。
第1篇：神經網絡降維方法范文
【關鍵詞】圖像分類深度 卷積神經網絡 加權壓縮近鄰
1 研究背景
手寫數字識別是一個經典的模式識別問題。從0 到9這10 個阿拉伯數字組成。由于其類別數比較小，它在些運算量很大或者比較復雜的算法中比較容易實現。所以，在模式識別中數字識別一直都是熱門的實驗對象。卷積神經網絡 （Convolutional Neural Networks，CNN），在手寫體識別中有著良好的性能。卷積神經網絡的神經元是局部連接，神經元之間能夠共享權值。深度卷積神經網絡不但可以解決淺層學習結構無法自動提取圖像特征的問題，并且提高了分類的泛化能力和準確度。
2 深度卷積神經網絡
深度卷積神經網絡是一種具有多層監督的神經網絡，隱含層中的卷積層和池采樣層是實現深度卷積神經網絡提取特征的核心模塊，并通過使用梯度下降算法最小化損失函數來進行權重參數逐層反向調節，再經過迭代訓練提高分類精確度。
深度卷積神經網絡的首層是輸入層，之后是若干個卷積層和若干個子采樣層和分類器。分類器一般采用Softmax，再由分類器去輸出相應的分類結果。正常情況下，一個卷積后面都跟一個子采樣層。基于卷積層里權值共享和局部連接的特性，可以簡化網絡的樣本訓練參數。運算之后，獲得的結果通過激活函數輸出得到特征圖像，再將輸出值作為子采樣層的輸入數據。為了實現縮放、平移和扭曲保持不變，在子采樣層中將之前一層對應的特征圖中相鄰特征通過池化操作合并成一個特征，減少特征分辨率。這樣，輸入的數據就可以立即傳送到第一個卷積層，反復進行特征學習。將被標記的樣本輸入到Softmax分類器中。
CNN 能夠簡化網絡的樣本訓練參數，降低計算難度。這些良好的性能是網絡在有監督方式下學會的，網絡的結構主要有局部連接和權值共享兩個特點：
2.1 局部連接
深度卷積神經網絡中，層與層之間的神經元節點是局部連接，不像BP 神經網絡中的連接為全連接。深度卷積神經網絡利用局部空間的相關性將相鄰層的神經元節點連接相鄰的上一層神經元節點。
2.2 權重共享
在深度卷積神經網絡中，卷積層中每一個卷積濾波器共享相同參數并重復作用，卷積輸入的圖像，再將卷積的結果變為輸入圖像的特征圖。之后提取出圖像的部分特征。
在得到圖像的卷積特征之后，需要用最大池采樣方法對卷積特征進行降維。用若干個n×n 的不相交區域來劃分卷積特征，降維后的卷積特征會被這些區域中最大的或平均特征來表示。降維后的特征更方便進行分類。
3 實驗結果
為了驗證卷積神經網絡的有效性，本實驗中使用以最經典的MNIST 和USPS 庫這兩個識別庫作為評測標準。手寫數字MNIST數據庫有集60000 個訓練樣本集，和10000 個測試，每個樣本向量為28×28=784維表示。手寫數字USPS 數據庫含有7291 個訓練樣本和2007 個測試樣本，每個樣本向量為16×16=256 維。
表1給出了卷積神經網絡在MNIST 和USPS 庫上的識別結果。從表1中可知，深度卷積神經網絡對MNSIT 庫識別率能夠達到97.89%，與用BP 算法得到的識別率94.26%相比，提高了兩個多百分點。對USPS 庫識別率能夠達到94.34%，與用BP 算法得到的識別率91.28%相比，也提高了三個多百分點。
因此，使用深度卷積神經網絡算法訓練在圖像識別中獲得更高識別率。因此，深度卷積神經網絡在識別手寫體字符時有著較好的分類效果。
4 總結
本文介紹深度卷積神經網絡的理論知識、算法技術和算法的結構包括局部連接、權重共享、最大池采樣以及分類器Softmax。本文通過深度卷積神經網絡對兩組手寫識別庫實驗來驗證CNN 有著較低的出錯率。
參考文獻
[1]趙元慶，吳華.多尺度特征和神經網絡相融合的手寫體數字識別簡介[J].計算機科學，2013，40（08）：316-318.
[2]王強.基于CNN的字符識別方法研究[D].天津師范大學，2014.
[3]Krizhevsky A，Sutskever I，Hinton G E.ImageNet Classification with Deep Convolutional Neural Networks.Advances in Neural Information Processing Systems，2012，25（02），1097-1105.
[4]郝紅衛， 蔣蓉蓉.基于最近鄰規則的神經網絡訓練樣本選擇方法[J].自動化學報，2007，33（12）：1247-1251.
作者簡介
關鑫（1982-），男，黑龍江省佳木斯市人。碩士研究生學歷。現為中國電子科技集團公司第五十四研究所工程師。研究方向為計算機軟件工程。
第2篇：神經網絡降維方法范文
上海市作為國家云計算服務創新試點城市之一，“十二五”期間將在五大領域推進云計算的示范應用，其中包括以云計算、物聯網等信息服務系統來支撐上海建設“智慧城市”的交通管理。面對傳統交通信息來源有限、可靠性差、滯后等缺陷，急需借助于云計算環境來研究多源交通信息的融合機理，催生多源交通信息服務模式的改變。本文著力構建多源信息云智能交通系統自適應服務模型，篩選年鑒數據為樣本，通過SPSS軟件仿真，最終驗證此模型的可行性。
模型構建
1、處理流程云計算環境下智能交通系統中多源信息渠道得到的原始數據具有典型無組織性。本文構建多源信息云智能交通系統自適應服務模型，處理流程如圖1所示。多源信息云智能交通系統自適應服務模型全流程均在云計算環境下進行，實時信息至歷史信息的傳遞過程體現本模型處理過程的動態性。此模型中自適應性體現在：（1）通過Newton多元參數優化法實現樣本降維處理；（2）通過前饋神經網絡訓練過程得到云智能交通系統信息服務最優拓撲結構，即確定前饋神經網絡中隱藏層邏輯結構，通過前饋神經網絡訓練過程得到最優層間權重和最優迭代參數，從而得到最優神經網絡；（3）通過有限混合分布擬合前饋神經網絡正向輸出數據，得到更具靈活性的全局分布。2、多元參數優化多元參數優化目的旨在尋找維元參數向量的標量評分函數的最小值。在多源信息神經網絡自適應服務模型中，實驗樣本維數通常比較大，而多維空間中局部最小值現象突出，如果在多源數據預處理過程中找到局部最小值，則能剔除非最小值空間，從而有效將樣本數據降維。多元參數優化運用迭代的思想，直至找到局部最小值。局部迭代一般過程為：其中，是第步迭代時的估計參數，是下一步迭代移動方向的維向量。神經網絡中的反饋思想運用的是最陡峭下降算法，最陡峭下降的梯度不一定指向最小值，理論上經過有限次迭代可以找到對應的，但并不是優選迭代法。Newton方法定義局部迭代過程為：其中，是在點處二階導數矩陣的逆矩陣（），為函數的一階導數，為矩陣中元素，幫助判定并剔除迭代過程中非指向局部最小值的點。3、前饋神經網絡多層前饋神經網絡包括輸入層、若干隱藏層和輸出層。訓練樣本反饋入輸入層，輸入層與隱藏層、隱藏層與輸出層之間加權全連接，和分別為其權重，如圖2所示。多層前饋神經網絡層數取決于隱藏層個數，若隱藏層個數為3，則有4層輸出單元，則此多層前饋神經網絡為四層神經網絡。神經網絡結構越復雜，則多層前饋神經網絡的層數越多，需要權重參數參與數越多，自適應系統訓練能力也就越強。確定最優系統的隱藏層個數沒有確定的規則可以遵循，多層前饋神經網絡最優結構的確定與網絡層間最優參數的確定一樣，都是重復訓練過程，訓練結果直接影響神經網絡自適應系統的準確性。估計的準確性為本模型重要精度指標。4、有限混合分布一般地，多源數據集數據為異質數據集，代表數據來自不同的小組，而非單一同質組。通常，異質數據可能反映不同內在現象，簡單處理異質數據將人為導致數據信息沉沒。引入權重處理有限源數據集的數據異質性，使得混合分布模型比單一擬合分布模型在分析和預測上更具靈活性和靈敏性。假設全局分布為：其中，為隨機變量的值，為隨機變量在分量上的分布函數，是分量上的參數向量，為分布函數的權重，全局混合度有限，為。
仿真與結果
1、樣本選擇本次仿真樣本來源于2003年至2011年的《上海年鑒》以及2001年至2011年的《上海統計年鑒》，抽取2000年至2010年間4組大類8組小類共32個屬性（如圖3）驗證本文中多源信息云智能交通系統自適應服務模型的可行性。樣本數據從旅客出行行為出發，對不同交通出行模式和支付方式數據依次進行預處理、優化處理、前饋神經網絡訓練、混合分布擬合。2、前饋神經網絡訓練結果本次仿真在進行神經網絡訓練之前，運用SPSS軟件對維度為11×32維數據進行預處理，首先通過區間估算方法處理統計過程中的缺省數據，其次統一所有數據量綱，最后Newton法優化為11×19維。優化結果顯示，{{旅客發送量,公路},{{“市民信箱”累計注冊用戶“,付費通”業務平臺交易量“,付費通”業務平臺交易額,交通卡銷售額,銀行卡交易額},{個人信用報告累計出具數量}},{{軌道運營車輛,軌道行駛里程,軌道客運總量},{高架道路長度}},{{公交線路長度,公交線路條數,公交客運總量},{出租運營車輛數,出租載客車次量,出租運營里程},{輪渡乘客人數}}}被保留進入神經網絡訓練進程。本次仿真取100%樣本作為訓練數據集，運用SPSSClementine軟件進行神經網絡訓練，對隱藏層數為1、2、3三種情況分別做訓練，結果如表1所示。結果顯示，本次樣本訓練得到2個隱藏層的神經網絡為本次最優神經網絡，估計的準確性可達90.188%。同時證明Newton法預優化原始數據一方面縮短神經網絡訓練時間，另一方面控制神經網絡具有較高估計準確性。可以認為，本多源信息云智能交通系統自適應服務模型基本可行。3、混合分布擬合結果本次仿真運用SPSS軟件擬合混合分布。擬合結果如圖4所示。X軸為時間軸，Y軸為數量軸，X軸下方19個屬性代號，代表混合分布由19個簡單分布混合擬合得到。綜上證明，源信息云智能交通系統自適應服務模型具有可行性。
第3篇：神經網絡降維方法范文
關鍵詞：人工神經網絡；電力變壓器；故障診斷
中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2016）32-0174-03
1引言
電力變壓器在長期的運行中，故障是不可避免的。變壓器一旦損壞會造成大面積停電且故障修復耗時長，因此變壓器故障的及早發現和處理具有非常重要的意義。
電力變壓器的故障一般有機械故障、熱性故障和電性故障，由于機械故障一般都以熱性故障和電性故障的形式體現，因此主要以熱性故障和電性故障為主。熱性故障一般為中低溫過熱和高溫過熱，電性故障一般為低能放電和高能放電。傳統的變壓器故障診斷方法存在著效率偏低以及診斷準確率不高的問題，因此我們可以利用人工神經網絡的方法對電力變壓器的故障進行自動診斷。
2人工神經網絡
2.1 人工神經網絡概述
人工神經網絡（ANNs）是對人腦或生物神經網絡若干基本特性的抽象和模擬。
依靠系統的復雜程度，ANNs可通過調整內部大量節點之間相互連接的關系，進而對有效信息進行可靠處理。而BP神經網絡通常是指基于誤差反向傳播（Back Propagation）算法的多層前向神經網絡， 不僅能對輸入-輸出模式映射關系進行學習和存儲，而且對描述此種映射關系的數學方程不需要事前揭示。最速下降法為BP神經網絡的學習規則，通過反向傳播來持續調整網絡的權值和閾值，使其誤差平方和最小。
本文采用BP神經網絡的三層前饋結構，分別為（input）、隱含層（hide layer）和輸出層（output layer）。輸入層的節點數為5（對應電力變壓器油中氣體H2、CH4、C2H4、C2H2、C2H6），輸出層則有5個節點（對應無故障，中低溫過熱，高溫過熱，低能放電，高能放電），隱含層的節點數根據經驗公式確定：
其中，r為隱層的節點數，n為輸入的節點數，m為輸出的節點數，a則為1～10之間的常數。經試驗，本文r取13。各層間神經元相互連接，且各層內沒有連接。如圖1所示：
BP神經網絡的訓練首先對每一層的權值和偏差進行初始化（用小的隨機數），以免被大的加權輸入飽和，并且需對一些參數進行設定及初始化（期望的誤差最小值、最大循環次數、修正權值的學習效率）；第二步需要對網絡各層輸出矢量及網絡誤差進行計算；第三步需要對各層反向傳播的誤差變化、各層權層的修正值及新的權值進行計算，最后需要對權值修正后的誤差平方和進行計算，若符合要求則訓練完成，若不符合要求則繼續。
2.2電力變壓器故障診斷的BP神經網絡設計
2.2.1樣本數據的定義
電力變壓器的故障主要體現為中低溫過熱、高溫過熱、低能放電和高能放電。電力變壓器的故障數據一共為70組，其中樣本集數據為50組，測試集數據為20組，且分別定義樣本數據如下：
無故障，記為10000；
中低溫過熱，記為01000；
高溫過熱，記為00100；
低能放電，記為00010；
高能放電，記為00001。
2.2.2樣本數據的預處理
為提高神經網絡的訓練效率，本論文對數據進行了標準化處理，使其落入[-1，1]區間；并且對輸入樣本集數據進行了主元分析，以減小各樣本矢量的相關性，從而達到降維的目的。
2.2.3 BP神經網絡設計參數設置
MATLAB中，BP神經網絡設計需要定義有關參數：訓練步數、顯示訓練結果的間隔步數、訓練目標誤差、訓練允許時間和訓練中最小允許梯度值等，最終可返回訓練后的權值、循環訓練的總數和最終誤差。神經網絡對象的一些主要訓練參數及含義如表1所示。
2.2.4 BP神經網絡驗證
表2列出了20組測試集數據，最后一列為網絡期望輸出，對應變壓器的實際故障類型。
由電力變壓器故障診斷的誤差變化曲線可知：在使用BP神經網絡法對網絡進行訓練時，網絡只訓練了112步，速度非常的快。網絡的訓練均方誤差此時已經達到目標誤差0.01的數量級，因此該網絡可用。對樣本集數據進行訓練后，我們可得到一個相關的BP神經網絡模型，再用測試集數據對改模型進行驗證，驗證結果如表3所示。（注：圖中*號表示該BP神經網絡模型診斷錯誤的數據組）
由以上BP神經網絡自動診斷結果可以得知：電力變壓器故障診斷正確的個數為18個，故診斷正確率為90%左右。
3 結論
本文應用人工神經網絡的方法對電力變壓器的故障進行了自動診斷，診斷正確率可達90%。隨著計算機技術和人工智能技術的發展，利用人工神經網絡進行變壓器的故障診斷有利于有效地實現對故障的綜合診斷，從而提高故障診斷的準確性，可靠性和診斷效率，為變壓器故障診斷技術的發展拓展新的途徑。
參考文獻：
[1] 張錚，徐超，任淑霞，等.數字圖像處理與機器視覺――Visual C++與Matlab實現[M].北京：人民郵電出版社，2014.
[2] 馬銳.人工神經網絡原理[M].北京：機械工業出版社，2010.
[3] 郭磊，董秀成.BP神經網絡在變壓器故障診斷中的應用[J] .西華大學學報，2008（5）：10-13.
[4] 殷躍.基于BP神經網絡的電力變壓器故障診斷的研究[D].吉林：吉林大學通信工程學院，2007.
[5] 王連成.基于神經網絡的DGA法在變壓器故障診斷中的應用研究[D].黑龍江：哈爾濱工業大學電氣工程及自動化學院，2009.
[6] 李霖.基于BP神經網絡的變壓器故障診斷方法研究[D].湖南：長沙理工大學電氣與信息工程學院，2013.
[7] 曾成碧，蒲維，曾先鋒.BP神經網絡在油浸式變壓器過熱性故障診斷中的應用[J]. 四川電力技術，2012（4）：60-63.
[8] 陳小玉.改進的神經網絡在變壓器故障診斷中的應用[J].計算機仿真，2012（8）：318-321.
[9] 宋彩利， 吳宏岐.神經網絡在變壓器故障診斷中的應用研究[J].微計算機信息，2008（34）：155-157.
第4篇：神經網絡降維方法范文
【關鍵詞】人工智能；深度學習；大數據時代；機器學習
1.引言
近年來，深度學習逐步推動了人工智能領域的新浪潮。2010年，美國國防部DARPA計劃首次資助深度學習項目；2011年來，微軟和Google研究人員先后采用深度學習技術降低語音識別錯誤率20%～30%，取得該領域重大突破；2013年百度創始人兼CEO李彥宏高調宣布成立百度研究院，其第一個重點方向就是深度學習；2013年4月，《麻省理工學院技術評論》雜志將深度學習列為2013年十大突破性技術之首。在今天，Google、百度、微軟等知名高科技公司爭相投入資源，占領深度學習的技術制高點。
2.大數據時代的深度學習
大數據時代迫切需要深度學習。為了說明這個觀點，本文來談一下淺層學習和深度學習模型。
淺層模型有個重要特點——靠人工經驗來抽取樣本特征，而強調模型主要是負責分類或預測。所以，特征提取就成了整個系統性能的瓶頸，通常開發團隊中更多的人力是投入到構造更好的特征上去的，這就要求開發人員對待解決的問題有很深入的理解。而達到這個程度，往往需要反復摸索。因此，人工手動構造樣本特征，不是一個具有生命力的途徑。
深度學習的實質，是通過構建具有很多隱層的機器學習模型和海量的訓練數據，來學習更有用的特征，從而最終提升分類或預測的準確性。區別于傳統的淺層學習，深度學習的不同之處在于：一是強調了模型結構的深度，通常有5層、6層，甚至10多層的隱層節點；二是明確突出了特征學習的重要性，即通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，使分類或預測更加容易。
3.深度學習的基本思想和常用方法
（1）Deep Learning的基本思想
假設我們有一個系統S，它有n層（S1，…Sn），它的輸入是I，輸出是O，形象地表示為：I=>S1=>S2=>…..=>Sn=>O，如果輸出O等于輸入I，即輸入I經過這個系統變化之后沒有任何的信息損失，保持了不變性，這意味著輸入I經過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示。現在回到我們的主題Deep Learning，我們需要自動地學習特征，假設我們有一堆輸入I（如一堆圖像或者文本），假設我們設計了一個系統S（有n層），通過調整系統中的參數，使得它的輸出仍然是輸入I，那么我們就可以自動地獲取得到輸入I的一系列層次特征，即S1，…，Sn。
另外，前面是假設輸出嚴格地等于輸入，這個限制太嚴格，我們可以略微地放松這個限制，例如我們只要使得輸入與輸出的差別盡可能地小即可，這個放松會導致另外一類不同的Deep Learning方法。
（2）Deep Learning的常用方法
AutoEncoder（自編碼），自編碼算法是一種基于神經網絡算法的無監督學習算法，它使用了神經網絡中經典的反向傳播算法，其特殊之處在于其目標在于讓神經網絡的輸出節點的輸出值等于網絡的輸入值，如在下面具有一個隱藏層（一般自編碼算法中會有多個隱藏層）的神經網絡中，我們應使得目標輸出，自然地，其輸出節點數目與輸入節點的數目應該相等。同時，自編碼算法的另外一個特征是隱藏層的節點數目一般少于輸入輸出節點的數目。這樣的意義在于，此時相當于將輸入的特征通過神經網絡的非線性變換到節點數更少的隱藏層，再由隱藏層通過非線性變換“無損”地恢復出輸入的信息，這樣實際上相當于用神經網絡實現了對于高維特征向量的一個特征提取和降維。如果輸入數據中隱含著一些特定的結構，比如某些輸入特征是彼此相關的，那么這一算法就可以發現輸入數據中的這些相關性。由此，用這種特殊的神經網絡對樣本進行學習和訓練，我們即可“自動地”得到輸入數據的降維后的特征，即隱藏層的節點，省去了人工特征提取的麻煩。
（3）自編碼算法的實現過程
將已得到的某一樣本的特征向量（或）作為自編碼算法的輸入，即上面特征向量的每一個分量代表自編碼網絡中的一個輸入節點。令其輸出節點的期望類別向量賦值為（或）。
1）對于自編碼網絡中某一層，，令矩陣該層權重矩陣的修正矩陣為零矩陣，偏置向量的修正向量為零向量。
2）設有個訓練樣本，對于每一個訓練樣本到。
①調用反向傳播算法函數backwards_trans（）
計算訓練自編碼網絡的準則函數的梯度和。
②計算。
③計算
3）更新權重系數：
4）反復迭代上面過程直到達到要求。訓練得到的神經網絡最靠近輸出層的隱藏層的輸出值即為深度學習后自動得到的新特征。
通過上面的學習訓練，我們便可以得到一個具有深度學習功能的自編碼網絡。當我們需要自動提取數據包用戶數據的特征時，僅需要去掉上面的自編碼網絡的原來的輸出層，將原來最靠近輸出層的隱藏層作為新的輸出層，再將初始的特征向量輸入，此時的網絡輸出即為自動提取的特征。
4.總結
近年，深度學習被逐漸應用到語音識別、圖像識別、自然語言處理等領域，總之，深度學習帶來了機器學習的一個新浪潮，受到從學術界到工業界的廣泛重視，并帶來大數據的深度學習時代。深度學習在應用方面的深度和廣度都將會得到更高程度的發展。同時，如果機器學習理論界取得突破，為深度學習提供強力的支撐，使之成為今后無論何種機器學習應用都不得不采用的基石，那么，人工智能的夢想將不再遙遠。
參考文獻：
[1]周志華，李航，朱軍.Deep Learning大家談[J].
[2]盧鶇翔.DNN與微軟同聲傳譯系統背后的故事[J].
第5篇：神經網絡降維方法范文
本文利用人工神經網絡的鋼材表面缺陷快速識別系統以及BP神經網絡的缺陷檢測和分類的方法，實現鋼材表面疵病的準確檢測與分類。選用Matlab作為系統軟件工具，以BP神經網絡作為其缺陷檢測的計算方法，實現冷軋帶鋼表面缺陷檢測技術的軟件方案設計，完成BP神經網絡在鋼材表面缺陷檢測的應用研究，滿足帶鋼生產線的表面缺陷檢測要求。
關鍵詞：缺陷檢測；人工神經網絡；BP神經網絡
中圖分類號：TN711 文獻標識碼：A 文章編號：
冷軋帶鋼已成為汽車生產、機械制造、化工、航空航天、造船等工業不可缺少的原材料，在國民經濟中占據重要地位。而鋼材表面缺陷是影響帶鋼質量的重要因素，因此，表面缺陷的識別檢測對提高帶鋼的質量具有十分重要的意義。
本文根據鋼材表面的缺陷情況，研究需要系統識別的常見鋼材表面缺陷類型，結合表面缺陷檢測系統的主要技術要求，提出基于人工神經網絡的鋼材表面缺陷識別系統的總體方案。利用計算機和圖像采集設備，使軟件和硬件協同配合，實現圖像信息的實時采集及處理，為BP神經網絡的訓練學習建立鋼材表面缺陷數據庫，通過訓練可以實時自動識別鋼材表面存在的缺陷。
1BP神經網絡的基本原理
BP（Back Propagation）神經網絡是一種神經網絡學習算法，全稱基于誤差反向傳播算法的人工神經網絡。它是目前研究最多、應用最廣泛的神經網絡模型之一【1】。BP網絡是一種多層前向反饋神經網絡，把樣本的輸入輸出變成一個非線性優化問題，使用了最優化中最普遍的梯度下降算法，用迭代運算求解權值，它可以實現從輸入到輸出的任意連續的非線性映射。BP網絡主要用于函數逼近、模式識別、數據壓縮等。BP神經網絡由輸入層、隱含層和輸出層三部分組成，其結構如圖1所示。
圖1BP神經網絡結構示意圖
Fig. 1 The BP neural network structure diagram
BP神經網絡在具體工作之前必須通過學習獲得一定的“智能”，才可以在實際的應用中取得良好的效果。其學習由四個過程組成：
第一是輸入向量由輸入層經隱含層向輸出層的“正向傳播”過程；
第二是網絡實際輸出與網絡的希望輸出之間的誤差信號由輸出層經隱含層向輸入層逐層修正連接權值的“誤差反向傳播”過程；
第三是由“正向傳播”與“誤差反向傳播”的反復交替進行的網絡“記憶訓練”過程；
第四是網絡的全局誤差趨向極小值的“學習收斂”過程。
2BP算法在鋼材表面缺陷識別的具體實現
為了使用BP神經網絡實現鋼材表面缺陷檢測方法研究，首先需要對鋼材圖像進行預處理，去除圖像噪聲，并進行圖像增強處理，保留圖像重要信息；然后，從樣本圖像中選擇部分有缺陷的圖像，進行樣本圖像分割，分割成適合網絡訓練的特征圖像，并將分割結果分類為正常圖像和缺陷圖像樣本集合；再使用各種圖像特征提取方法分別提取出正常圖像和缺陷圖像的特征值，構成BP神經網絡訓練集合；再將訓練集合輸入BP網絡訓練器中，按照設定參數，設置選定精度，進行網絡權值訓練，得到所需的分類器；最后將測試樣本輸入分類器中，實現最終的缺陷分類識別。
系統選用Matlab作為系統軟件工具。Matlab中專門編制了大量有關BP網絡的工具函數，為BP網絡的應用研究提供了強有力的便利工具【2】。BP網絡的設計過程如下：
（1）輸入訓練樣本
缺陷的出現會破壞其所在區域灰度值的排布規律，基于此先從帶缺陷圖像的缺陷區域截取圖像，再從無缺陷的圖像中截取相同大小的圖像，然后從這些圖像中提取特征向量【3】。對特征向量X進行歸一化，再進行主分量分析進行降維處理，最后把處理后的特征向量的每一列作為一個樣本輸入神經網絡。
（2）初始化網絡
采用initff函數初始化網絡。在建立網絡對象的同時，自動調用初始化函數，根據缺省的參數對網絡的連接權值和閾值進行初始化。initff函數格式：
[w1,b1,w2,b2]=initff(p,s1,f1,s2,f2)（1）
式中：w1表示隱含層神經元與輸入層神經元之間的連接權重系數矩陣；
w2表示輸出層神經元與隱含層神經元之間的連接權重系數矩陣；
b1、b2表示隱含層和輸出層神經元的閾值矩陣；
p表示輸入樣本矩陣；
s1、s2表示隱含層和輸出層神經元個數；
f1、f2表示隱含層和輸出層激活函數形式。
運行initff函數，系統能自動根據給定的p,s1,f1,s2,f2的值對w1,b1,w2,b2賦予一個初始值。
（3）訓練網絡
采用trainbp函數訓練網絡。用基本梯度下降法訓練網絡函數進行BP網絡訓練，獲取最終的權值與閾值矩陣。trainbp函數格式：
[w1,b1,w2,b2,te,tr]=trainbp(w1,b1,f1,w2,b2,f2,p,t,tp)(2)
式中：t表示輸出樣本矩陣；
te為網絡的實際訓練步數；
tr為訓練過程中的誤差平方和；
tp為網絡訓練參數。
選擇訓練參數tp進行訓練，tp=[df,me,err,lr]
式中：df是指定兩次更新顯示間的訓練次數；
me是指定訓練的最大次數；
err是誤差平方和指標；
lr是指定學習速率，即權值和閾值更新的比例。
trainbp函數以w1，w2，b1，b2的初始值和給定的f1，f2，p，t，tp開始訓練，使當輸入n時，網絡的輸出為目標矢量t。當訓練過程中誤差平方和小于等于目標誤差平方和或者訓練步數到達給定的最大步數時，停止訓練。此時的w1，w2，b1，b2的值就是已訓練好的網絡參數。
（4）網絡仿真
采用simuff函數對網絡進行仿真。在網絡訓練前后分別進行輸入輸出的仿真，以做比較，從而對網絡進行修改評價。simuff函數格式：
a=simuff(p，w1，b1，f1，w2，b2，f2) (3)
式中：a表示訓練好的BP網絡的實際輸出；
w1、w2、b1、b2 是訓練好的網絡參數；
p、f1、f2 與（1）式相同。
網絡訓練后，形成穩定的權值和閾值，使網絡輸入和網絡輸出形成了較好的映射，從而可以對其他輸入樣本進行輸出參數的預測。
3實際應用情況
從現場采集冷軋帶鋼樣本，并對這些樣本中的缺陷進行標定。將測試樣本圖像輸入神經網絡檢測缺陷區域，得到每類樣本的缺陷區域。將所有原始訓練樣本、測試樣本圖像，按照前面的預處理方法進行預處理，然后按照同樣的分割方式進行分割，提取出樣本塊的特征信息，構成一序列的向量，輸入已經訓練完成的分類器，進行缺陷識別，檢測出樣本的缺陷區域。
經工業現場實踐表明，經過訓練的BP神經網絡分類器對表面缺陷的識別分類較好,基本上能夠滿足帶鋼表面缺陷的分類識別要求。但是，神經網絡技術也存在訓練過程緩慢、需要大量的訓練數據、對其決策過程無法得到透徹理解、參數的設計無規律可循等缺點。
事實上，基于BP網絡的分類器只能識別BP網絡已知的模式類別。如果出現了新的模式類別，分類器就不能正確地識別，只能再次對分類器進行訓練，也就是說分類器沒有自學功能。因此，在優化BP神經網絡參數的基礎上，我們可以考慮將現在已經構建的BP神經網絡模型的分類器，分解成兩步來實現表面缺陷的分類，即首先構建神經網絡來對把缺陷和非缺陷識別分類開來，然后再對缺陷進行分類，以期提高分類識別的準確率。我們還需要研究基于其它神經網絡模型的分類器，利用各自的長處，實現分類器的融合，并使分類器具有自學的功能，對新出現的缺陷能夠記憶識別的功能，更好的滿足工業現場的要求。
參考文獻
[1]王婷,江文輝,肖南峰.基于改進BP神經網絡的數字識別.電子設計工程.2011,19(3):108-112.
第6篇：神經網絡降維方法范文
高新技術制造企業作為高新技術制造業的實體是知識密集型、技術密集型和資金密集型的企業，其發展決定了現實生產力的轉化，對于促進整體制造業的快速發展具有重要意義。高新技術企業的高收益特性源于其高科技產品和服務的高增長和高附加值，而與之對應的便是企業的高風險性，據統計20%～30%的高新技術制造業的巨大成功是以70%～80%的企業失敗為代價。企業財務風險的擴散和深化將直接導致企業陷入財務困境，從而影響正常的生產經營活動。所以，建立和完善高新技術制造企業的財務風險預警機制，提高企業有效預測和應對風險的能力，對于高新技術制造業的經營者和投資者具有一定的借鑒意義。
財務危機預警的研究由傳統的統計研究方法發展到人工智能算法。最早是由Fitzpatrick（1932）采用單變量分析方法對公司的財務危機進行預警研究，得出權益負債率和權益凈利率是判定企業財務風險的重要指標。Altman（1968）利用多元判別分析法建立基于Z-SCORE的財務預警模型。其后，回歸模型克服了線性模型的假設局限性，常用的有Probit模型和Logistic模型。Ohlson（1980）使用Probit和Logistic回歸方法建立邏輯回歸模型，得出公司規模、資本結構、業績和變現能力是影響公司破產的重要因素。上述以統計類方法為基礎的模型是在樣本滿足合理的統計假設條件下才能有效，否則可能沒有意義，由此許多學者相繼將非統計的方法引入財務風險預警研究，其中應用最多的是神經網絡分析法。Lapedes和Fyaber（1987）首次運用神經網絡模型對銀行的信用風險進行預測和分析，并取得了較好的預測效果。Odom和Sharda（1990）通過Z值模型中的5個財務比率構建了人工神經網絡財務預警模型成功地對企業的財務危機進行了預測，證明了人工神經網絡模型不但準確率高，而且魯棒性也更好。Feng Yu Lin和Sally McClean（2001）以Logistic回歸法、判別分析法、決策樹方法和神經網絡方法為基礎，通過這些方法的組合運用，采用了三種混合模型，再分別對這些方法進行檢驗分析，分析結果表明同等條件下，混合模型在準確率方面優于單個方法模式。國內財務風險預警研究起步較晚，陳靜（1999）對上市公司財務數據進行了單變量分析并建立Fisher線性判別分析模型，得出越臨近企業被ST的日期，模型的預測準確率越高。吳世農、盧賢義（2001）驗證了Logistic回歸分析方法在預測財務困境的效果上比單變量判別模型更好。柳炳祥、盛昭翰（2002）劃分了財務危機等級并驗證了基于粗神經網絡的財務預警方法的有效性。周敏，王新宇（2002）提出了模糊優選和神經網絡模型，范靜（2008）選擇因子分析法—BP神經網絡等評價方法。陳偉等（2010）主要分析了不同成長階段高新技術企業的融資特點，提出了有效防范財務風險的具體措施。楊淑娥引入面板數據，構建BP神經網絡模型對上市公司的財務狀況進行預測，提高了預警精度。張曉琦（2010）證明了支持向量機（SVM）方法在高新技術企業財務危機預警建模方面的有效性。綜上所述，現階段對于高新技術企業的財務危機預警研究集中與理論分析階段，大多數都是基于t-1期與t期的數據建立靜態數據模型，忽略了企業財務比率的時間序列特點，企業財務危機的出現是一個逐漸演變的過程且不同行業的高新技術企業特點也不盡相同，這些因素將對企業財務狀況的演化產生偏差，從而影響預警模型的有效性和精準度。
本研究綜合了主成分分析方法、Logistic回歸方法與BP神經網絡機制，引入面板數據為研究樣本，建立動態的高新技術制造企業財務危機預警模型。從理論分析而言，面板數據提供了多層面的數據信息，充分發掘企業財務信息，同時結合高新技術制造業的特點，從不同的側面選取指標來反映企業財務狀況的各個方面，所以能夠深入全面地反映財務危機前的狀況和趨勢并作出及時合理的判斷，采取相應措施。從實踐結果而言，解決了一般企業由于數據缺乏帶來的技術問題，擴大預警模型的適用性，為更多的高新技術制造企業服務。實證結果表明，基于Logistic-BP神經網絡模型的預警能力明顯優于傳統Logistic回歸分析方法和BP神經網絡預警機制。
一、研究方法
（一）Logistic回歸
二、數據和預警指標
（一）樣本選取和數據來源
本研究考慮到時間因素和指標可比性兩方面，選擇高新技術制造企業作為研究對象，利用多期歷史財務數據建立財務危機動態預警模型。本文以我國2008年至2012年深滬A股高新技術制造上市公司（通過2008《高新技術企業認定管理辦法》的制造行業企業）為研究對象，數據源于CCER經濟金融研究數據庫以及巨潮資訊數據庫，使用Excel、SPSS16.0和Matlab2010數據分析軟件對數據進行分析。沿用國內研究習慣，以ST作為出現財務危機的標志，選取2012年ST和非ST高新技術制造業上市公司為待測樣本。為了符合上市公司ST與非ST的實際比例，確保數據的真實性和可比性，參照Beaver（1966）的方法，采取1：3的配對方式，選擇規模（總資產）相近的ST、非ST公司120家為訓練樣本，所有50家ST和150家非ST公司為分析樣本。
由于上市公司在t年被特別處理是由其t-1年財務報告的公布所決定的。根據以往分析，t-1年財務數據的時效性較強，預測度很高，但是，其與正常樣本相差很大，有失模型構建的真實性和可比性，實際預測的應用價值不高。財務風險的形成并非一朝一夕，而是一個連續的動態過程，越早洞察出財務風險，越有可能避免再次虧損。據此，選定t-2和t-3作為財務預警年度。
（二）預警指標的設計
在參照現有財務風險研究文獻的基礎上，同時結合高新技術企業本身高投入、高風險、高收益的特點以及新型制造業的運營特點進行綜合評估，從公司的償債能力、盈利能力、成長能力、運營能力指標和現金流量五個方面初步選定18個變量作為備選指標，如表1所示。基于識別財務風險的及時性和準確性，挑選的變量必須在ST公司與非ST公司之間顯著不同。通過對指標進行顯著水平5%的K-S檢驗得出財務比率均不服從正態分布特征，因此采用Mann-Whitney-U檢驗來預警指標在ST公司與非ST公司之間是否存在顯著差異，在95%的置信區間內接受原假設，最終選取在2009年和2010年均存在顯著差異的14個變量作為最佳評估指標，剔除4個不顯著指標：營業利潤增長率、應收賬款周轉率、流動資產周轉率和存貨周轉率。
三、基于Logistic-BP神經網絡的實證研究
（一）建立財務危機預警模型
由于財務指標之間相關性較強，信息重疊不利于后續預警模型的構建，首先分別對t-2和t-3年的14個財務指標進行因子分析，得到t-2和t-3年的KMO值分別為0.681和0.724，Bartlett球度檢驗給出的相伴概率均為0，小于顯著性水平0.05，因此拒絕Bartlett球度檢驗的零假設，認為適合于因子分析。
本文在累計貢獻率85%以上的基礎上，采取正交旋轉法提取5個主成分F1—F5。第一主因子F1由流動比率、速動比率、股東權益比率、資產負債率組成；第二主因子F2由凈資產收益率、運營資金比率、主營業務利潤率組成；第三主因子F3由凈資產增長率、總資產增長率、主營業務收入增長率組成；第四主因子F4由資產周轉率、固定資產周轉率組成；第五主因子F5由現金流動負債比率和每股經營性現金流組成。通過上述因子分析所提取的五個財務指標包含了公司財務危機的主要信息，能夠比較全面地反映公司的財務狀況。
在靜態BP神經網絡模型中，同樣選擇訓練樣本的五個因子變量作為網絡層的輸入，經過反復試驗，構建出5x24x1的基于因子分析的靜態BP神經網絡財務預警模型，模型收斂情況如圖2所示，通過對所有上市公司樣本進行預測，得到如表4的預測結果。
綜合Logistic模型的回歸分析結果pt-2和pt-3，將訓練樣本的w1pt-2和w2pt-3作為網絡輸入變量，建立動態BP神經網絡財務危機預警模型，其中w1+w2=1，經過反復試驗取中間層8，將所有樣本作為驗證樣本帶入模型，通過選取不同權重系數w1=0.4，w2=0.6時，模型呈現較高的預警精度，模型收斂情況如圖3所示，預測結果如表4所示。
（二）三種模型的預測結果比較分析
由表4可知，在這三種模型中，t-2期的預測效果要明顯高于t-3期的，即離目標預警期越近，預測準確率越高。但是t-3期的預測結果仍與t期財務狀況存在緊密聯系，如果忽視t-3期數據將會降低t期的預測結果。對于單期財務數據的Logistic回歸模型和基于因子分析的BP神經網絡模型預警分析結果，均有較好的預測能力。其中BP神經網絡模型綜合預測效果要優于Logistic模型，但BP神經網絡模型中ST的誤判率高于Logistic模型中ST的誤判率。而基于動態BP神經網絡模型無論是從ST公司和非ST方面均提高了預測的準確率，其總體預測準確率為94%，明顯優于第一種和第二種模型。由此可見傳統的預測模型僅僅體現了某一時期對目標時期的預測效果，難以實現不同時期的最優預測，通過將二者相結合，綜合考慮t-2期和t-3期歷史數據來建立基于面板數據的動態BP神經網絡模型，且其預測結果優于前兩種方法，第三種模型充分結合了BP神經網絡和統計方法的優點。
四、結論
本文采用高新技術制造業上市公司的多期歷史面板財務數據，利用因子分析對指標進行降維，采用多期數據建立動態Logistic-BP神經網絡模型，提高了模型的縱向長期預測能力，實現多時段預警。通過實證研究得出以下結論：首先，高新技術制造企業財務危機的出現是循序漸進的過程，距離被ST時間越近，模型的預測準確率越高。其次，通過采用財務面板數據，從數據的截面和空間隨時間變化兩個方面研究，深入體現了企業財務狀況發展機理的漸變特性，體現企業財務危機發生的連續動態特點，提高了樣本中關鍵財務指標變化的特征信息，有利于建立更精確的模型，提高預警精度。最后，綜合模型結合了Logistic非線性分析方法和BP神經網絡的容錯性、自我學習性特點，具有更強大的財務預警建模和預測能力，降低了ST公司的誤判率，在實際應用中有助于經營者預防和監控財務危機，促進企業持續健康發展，也有利于投資者債權人規避財務風險，減少經濟損失。
【參考文獻】
第7篇：神經網絡降維方法范文
關鍵詞:城市產業結構;BP神經網絡模型;灰色GM(1,1)等維新息模型;預測
Abstract: According to the present situation of urban industrial structure and its change tendency, BP NN model and GM(1, 1)constant dimension mew information model are established to forecast the evolutionary tendency of urban industrial structure for the accuracy of forecast. Then the industrial percentage is modified on the basis of the weight in the evolutionary process of urban industrial structure to ensure the amount of industrial percentage as constant 1, which offer exact information to recognize the evolutionary tendency of urban industrial structure correctly and the relationship among them.
Key words: urban industrial structure;BP NN model;GM(1, 1)constant dimension mew information model;forecast
中圖分類號:TU-856 文獻標識碼:A 文章編號:1674-4144(2009)04-14(4)
作者簡介:王福林 武漢理工大學產業經濟學在職博士教授級高工
吳丹 河海大學博士生
1前言
城市產業結構是國民經濟中產業構成及所占比例的綜合概念,即在一定空間范圍內的三大產業構成及其各產業內部構成。正確認識和研究在一定地域空間范圍內的產業結構演變規律、經濟社會運行機制,深刻理解地區經濟發展的核心問題和資源的有效性、可用性,將有利于國民經濟的協調發展。
目前,許多學者對城市產業結構演變趨勢進行了系統深入地預測研究。張無畏①根據我國云南省及云南省各地建國以來產業結構的變動情況,利用三次產業分類法對云南省產業結構的發展和現狀進行了分析,并對云南省未來25年產業結構的發展作出預測。王惠文等②基于北京市三次產業結構的動態規律,對于一序列按照時間順序收集的成分數據,提出建立一種成分數據的非線性降維方法和預測模型,用于分析成分數據中各個份額隨時間的變化規律。周瑜等③針對江蘇省第三產業比重及其影響因素進行分析,提出運用灰色系統理論,建立灰色動態預測數學模型,對江蘇省第三產業比重進行預測。基于此,為提高城市產業結構演變趨勢預測的精度,采用BP神經網絡方法和灰色GM(1,1)等維新息模型對城市產業結構演變趨勢進行組合預測分析,以提高預測的精確性,并對城市產業結構演變過程中各產業比重進行權重修正,為正確認識城市產業演變趨勢和內部關系提供準確的信息。
2基于組合模型的城市產業結構演變趨勢預測
城市產業結構演變趨勢反映了城市各產業在產業結構中所占比重隨著時間變化而發生的變化趨勢,可結合其現狀及其變化趨勢,對未來城市產業結構的演變趨勢進行預測分析,根據產業結構布局的變化,為城市社會經濟發展過程中水資源以及各種能源資源的優化配置提供決策依據。為提高城市產業結構演變趨勢預測精度,采用BP神經網絡方法和灰色GM(1,1)等維新息模型對城市產業結構演變趨勢進行組合預測。
2.1 基于BP神經網絡模型的城市產業結構演變趨勢預測
人工神經網絡是一種包含許多簡單的非線性計算單元或連接點的非線性動力系統,具有很強的自適應、自學習及容錯能力,是一種強大的非線性信息處理工具,在模式識別、智能控制、圖形處理、預測和非線性優化等領域取得了成功的應用。BP神經網絡算法稱為誤差逆傳播算法,從結構上來講,它是一種分層型網絡,具有輸入層、中間層(隱含層)和輸出層,如圖1。
基于BP神經網絡強大的預測能力和預測精度,其在各個領域都得到廣泛的應用。這里,以歷年各產業在國民經濟中的比例為樣本,采用BP神經網絡,對城市產業結構演變趨勢進行預測,分析未來各產業在國民經濟中所占比重。設觀測到的某一產業在國民經濟中歷年的比重數據序列為x(1),x(2),… x(n),根據其中的n個觀測值,預測n+1所對應年份該產業在國民經濟中的比重。其具體步驟可表述為:
(1)BP網絡學習算法訓練網絡,見表1。
(2)訓練完畢后檢驗網絡預測精度,見表2。
利用BP神經網絡預測所得數據與x(n-1),x(n)所對應年份的實際數據進行對比。精度符合要求,網絡預測能力滿足要求,即以此對城市產業結構演變趨勢進行預測;精度不符合要求,預測能力不能滿足要求,需要對網絡重新訓練,返回1。
(3)預測n+1期所對應年份該產業在國民經濟中的比重,見表3。
采用BP神經網絡模型,可預測n+1期的城市產業結構演變趨勢,并在n+1期預測值的基礎上,進一步預測n+2期所對應年份城市產業結構演變趨勢,其中,n+2期所對應年份城市產業結構演變趨勢是以n+1期城市產業結構演變趨勢預測值為前提所進行的預測研究。
2.2 基于灰色GM(1,1)等維新息模型的城市產業結構演變趨勢預測
灰色系統預測理論對于信息不完整或不完全的實際情況具有良好的適用性,其中GM(1,1)模型具有充分利用“少數據”進行預測的優點,因此,可將各產業在國民經濟產業結構中所占的比重隨時間變化的數列作為原始序列,采用GM(1,1)模型對各產業在產業結構中的比重進行預測,以分析城市產業結構的演變趨勢。但GM(1,1)模型采用的是現實時刻t=n為止的過去的數據,然而,任何一個灰系統的發展過程中,隨著時間的推移,將會不斷地有一些隨機擾動或驅動因素進入系統,使系統的發展相繼的受其影響。故隨著系統的發展,舊數據的信息意義將逐步降低,而新數據的信息意義將逐步提高。因此,GM(1,1)模型在預測城市產業結構演變趨勢時本身存在一定的缺陷,針對其不足之處,為更好地反映系統將來的發展趨勢,可采用GM(1,1)等維新息模型對城市產業結構演變趨勢進行預測分析,灰色GM(1,1)等維新息模型通過不斷補充新信息,使建模數列更能反映系統目前的特征,更好地揭示了系統的發展趨勢,從而獲得較高的城市產業結構演變趨勢預測精度。預測各產業在城市產業結構中演變趨勢的灰色GM(1,1)等維新息模型的建模步驟可表述為:
記城市某產業在產業結構中所占比重按照時間先后順序排列而成的原始數列為x(0)
根據灰色系統理論對城市某產業在產業結構中所占比重的原始數列進行一階累加(1-AGO)生成后,得生成列x(1) ,即
z(1)為x(1)的緊鄰均值生成數列:
(1)灰微分方程的最小二乘估計參數滿足
(2)灰微分方程的白化方程 的時間響應式為
,t=1,2,……,n
(3)還原值
,t=1,2,……,n
① 當t≤n時,稱 為城市某產業在產業結構中所占比重的現狀模擬值;② 當t>n時,稱 為城市某產業在產業結構中所占比重的預測值。
(4)將最新信息x(1)(n+1)加入到城市某產業在產業結構中所占比重的現狀原始數列,利用建立等維新息模型,確定城市某產業在產業結構中所占比重的預測值。
2.3城市產業結構演變趨勢組合預測
2.3.1基于灰色神經網絡模型的城市產業結構演變趨勢組合預測
為了進一步提高城市產業結構演變趨勢預測的精度,結合BP神經網絡和灰色GM(1,1)等維新息模型的預測結果,對城市產業結構的演變趨勢進行組合預測,其公式為:
式中:xi(t)――t年i(i=1,2,……,I)產業在產業結構中所占比重的組合預測值;
xi(1)(t)―― t年i產業在產業結構中所占比重的神經網絡模型預測值;
xi(2)(t)―― t年i產業在產業結構中所占比重的灰色GM(1,1)等維新息模型預測值;
――為權重系數,通過預測值與實際值的差別,根據實際情況而定, 。
2.3.2 城市產業結構權重修正
通過灰色神經網絡模型的組合預測,可初步得出各產業在產業結構中所占比重,但其比重之和卻不等于常數1,為保障城市產業結構比重之和恒定為常數1,可根據式(7),對城市產業結構演變過程中各產業比重進行權重修正,即式中: :t年i(i=1,2,……,I)產業在產業結構中所占比重的修正組合預測值。
3算例分析
根據某城市社會經濟發展和產業結構的布局變化,對城市產業結構的演變趨勢進行預測分析。假定1990-2007年城市三產在國民經濟產業結構中所占比重數據,見表4。
根據表4中的數據,采用灰色神經網絡模型預測城市產業結構演變趨勢。
(1)BP神經網絡模型預測
利用matlab工具箱④,構建三層BP神經網絡,輸入層和隱層之間使用 sigmoid函數,隱層和輸出層之間使用pureline函數。訓練函數選擇trainlm,訓練最大步長5000次,均方誤差為10-5精度。經過訓練對比,預測第一產業隱層設計成8個結點,第二產業為15個節點,第三產業為10個節點。并通過檢驗,最終使用成功網絡完成預測。城市產業結構演變趨勢的檢驗和預測結果,見表5。
(2)灰色G(1,1)等維新息模型預測
城市產業結構演變趨勢的檢驗和預測結果,見表6。
(3)灰色神經網絡模型預測
為提高組合預測模型的擬合精度,調整BP神經網絡模型和灰色G(1,1)等維新息模型的權重系數,確定城市產業結構演變趨勢組合預測的組合預測結果,見表7。
根據表7結果可知,采用灰色神經網絡模型對城市產業結構演變趨勢進行組合預測,繼承了BP神經網絡模型和灰色G(1,1)等維新息模型預測精準的優勢,并在此基礎上增強了預測精度。利用式(8),對2008年―2009年的預
測結果進行修正,最終得到2008年―2009年三產產業比重的組合預測結果。
4結論
基于城市產業結構發展現狀及其變化趨勢,在建立BP神經網絡模型和灰色GM(1,1)等維新息模型的基礎上,結合算例分析,對城市產業結構演變趨勢進行組合預測,根據組合預測結果可知,灰色神經網絡模型在預測城市產業結構演變趨勢過程中,具有較高的精確度。
①張無畏.云南省產業結構現狀分析及發展趨勢預測[J].楚雄師范學院學報,2002,17(5):79-82.
②王惠文,黃薇,劉強.北京市三次產業預測分析[J].系統工程理論與實踐,2003,(6):123-126.
第8篇：神經網絡降維方法范文
關鍵詞：聚類；k-means；算法；實驗
中圖分類號：TP311文獻標識碼：A 文章編號：1009-3044(2008)32-1176-02
Study on the Initial Centrists of K-means Algorithm
MOU Ying1, QUAN Tai-feng2
(1.College of Physics and Information Technology, Chongqing Normal University, Chongqing 400047,China;2.Chongqing Communication Institute, Chongqing 400035, China)
Abstract: In order to conquer the problem that k-means algorithm depends on initial cluster centrists, so this paper discusses use competition neural network and the mind of density to improve the classic k-means algorithm. The two methods are able to improve the random choice of the initial centrists in the classic k-means algorithm. Experimental results show that the two algorithms are effective.
Key words: clustering; K-means; algorithm; experiment
1 引言
聚類是將數據對象分組成為多個類或簇，在同一個簇中對象之間具有較高的相似度，而不同簇中的對象之間差別較大[1]。在聚類算法中，K-means算法是其中一種最常用最知名的劃分方法[2]，它根據事先確定的K值，把樣本分為K類，使所有樣本到聚類中心的距離平方和最小。現在K-means算法已經應用到各種領域，包括圖像和語音數據壓縮，用徑向基函數網絡進行系統建模的數據處理等[3]，但經典K-means算法在運行初期隨機產生聚類初始點；如果初始聚類點離數據本身中心較近，則算法運行效率較高否則反之。
本文將競爭神經網絡和經典K-means算法相結合，提出一種基于競爭神經網絡的K-means算法。另外還采用基于密度的思想進行尋找初始聚類中心，從而改變經典K-means算法對初始聚類中心的隨機選擇。實驗結果表明，這兩種方法有效的克服了K-means對初始聚類中心的依賴性。
2 經典K-means算法
經典K-means算法的基本思想是：給定一個包含n個數據對象的數據庫，以及要生成的簇的數目k，隨機選取k個對象作為初始的聚類中心，然后計算剩余各個樣本到每一個聚類中心的距離，把該樣本歸到離它最近的那個聚類中心所在的類，直到調整結束且聚類平均誤差準則函數E已經收斂。
K-means算法的具體描述如下：
1）任選k個對象特征矢量作為初始聚類中心：z1(0),z2(0)…zk(0)，令t=0
2）將待分類的對象特征矢量集{xi}中的對象逐個按最小距離原則分配給k類中的某一類，即
如果
i=1,2,…N(1)
則判xi∈wi(t+1)。
其中dij(t)表示xi和wj(t)的中心zj(t)的距離，上角標表示迭代次數。于是產生新的聚類wj(t+1)(j=1,2,…,k)。
3）計算重新分類后的各類心
式中nj(t+1)為wj(t+1)類中所含對象的個數。
因為這一步采取平均的方法計算調整后各類的中心，且定為k類，故稱K－均值法。
4）如果Zj(t+1)=Zj(t)(j=1,2,…,k)，則結束；否則，t=t+1，轉至（2）
經典K－means算法的計算復雜度為O(nkt)，其中，n為對象個數，k為聚類個數，t為循環次數。由于它要求用戶輸入希望產生聚類的數目,而實際中的k值也很難被精確的確定，往往表現為一個模糊的取值區間[4]。并且在經典K-means算法中，首先需要根據初始聚類中心來確定一個初始劃分，然后對初始劃分進行優化。這個初始聚類中心的選擇對聚類結果有較大的影響，一旦初始值選擇得不好，可能無法得到有效的聚類結果，所以這個算法的聚類結果對初值的依賴是很強的，這也成為K-means算法的一個主要問題。然而其方法簡單，結果尚令人滿意，故應用較多。
3 兩種改進算法介紹
3.1 基于競爭神經網絡的K-means算法
競爭神經網絡是基于生物神經系統中的“側抑制”現象形成的。競爭神經網絡的顯著特點是它的輸出神經元相互競爭以確定勝者，勝者指出哪一種原型模式最能代表輸入模式。競爭神經網絡是一種“自發”分類器，一種基于感知機的無監督的神經網絡[5]。因此利用競爭神經網絡來對經典K-means算法的初始聚類點進行改進，使改進后的K-means算法的初始聚類中心穩定的靠近于數據本身的類中心，從而減少經典K-means的循環次數。
考慮到競爭神經網絡的建網速度，在訓練競爭神經網絡的時候，將原始數據按照10%進行采樣，用采樣后的數據建立競爭神經網絡。按照競爭神經網絡的聚類結果，將簇中數據的均值作為初始聚類中心輸入經典的K-means算法，從而起到優化初始聚類中心的作用。具體的采樣方法是，以α為半徑畫圓，在這個圓內隨機選取數據點的10%作為采樣數據，α越小，其采樣頻率越高，采樣到的數據越多；α越大，其采樣頻率越低，采樣到的數據越少。當α取一個較適中的值的時候，采樣到的數據可以反映原始數據的分布，也能夠有效的減少數據量。
圖1為基于競爭神經網絡的K-means算法的流程圖。
算法描述如下：
1）從文件中讀出數據。
2）利用最小－最大規范化操作將數據的每個屬性映射到 空間。
3）采用歐式距離，計算各個數據之間的相異度矩陣。
4）計算Davg=AVG(Dij)，α=Davg/2即α取數據平均相異度的一半。以α為半徑，按10％的采樣頻率進行數據采樣。
5）將采樣后的數據輸入競爭神經網絡進行初始聚類。
6）將初始聚類產生的各個簇的對象的均值作為經典K-means算法的初始聚類中心。
7）運行經典K-means算法。
3.2 一種基于密度的K-means算法
由于經典的K-means算法對聚類個數和初始聚類中心存在依賴性的問題，所以其結果可能是局部最優的。如果隨機選擇的聚類初始點靠近于數據本身的中心，則算法運行的循環次數少，而且數據分類也比較合乎實際；當隨機選擇的初始聚類點不是很好的時候，算法運行的循環次數會增加，而數據分類也在一定程度上趨向于局部最優。這個改進思路就想利用數據的分布，尋找能夠代表不同簇的數據，并利用他們周圍的數據來對這些數據進行修正，試圖尋找比較靠近于數據本身中心的初始聚類點。具體來說，首先尋找相距最遠的兩個點A和B，認為他們代表數據的兩個簇。然后選取一個點C，使AC和BC的距離都大于某一個值，如此重復，直到找到k個代表點。接著在每個代表點附近尋找α?n/k個點，其中α表示采樣頻率，n表示數據個數，k表示簇數目。這些點和該代表點屬于同一簇，然后對這些認為屬于各簇的數據求平均，將得到的k個初始聚類點輸入經典K－means算法。圖2為一種基于密度的K-means算法的流程圖。
算法描述如下：
1）從文件中讀出數據。
2）輸入k，表示數據需要聚成幾類。
3）利用最小－最大規范化操作將數據的每個屬性映射到[0,1]空間。
4）采用歐式距離，計算各個數據之間的相異度矩陣。
5）尋找兩個相距最遠的點，設為A和B，將它們作為簇中心，置h=2。
6）如果k>h，尋找一個點C，使C到已有簇中心的聚類大于ymax-β，其中ymax=(Davg+MAX(Dij))/2，Davg=AVG(Dij) (0
7）在這k個點的周圍，尋找與其最近的α?n/k個點，其中α=0.1。
8）將這些認為屬于某個簇的點做平均，將他們的均值作為經典K-means算法的初始聚類中心。
9）運行經典K-means算法。
4 實驗
4.1 測試數據
本文的算法均使用matlab進行仿真實驗，并與經典K-means算法進行比較。為了便于更加直觀的觀察聚類結果，采用了主元分析（PCA）進行降維處理，將數據投影到3維空間上進行顯示。實驗測試數據采用來自UCI測試庫的專門用于測試分類、聚類算法的Iris數據庫，以及一組客觀的個人信用數據。表1列出了各測試數據集的記錄數、屬性數和類別數。
4.2 實驗結果對比
首先實驗同時使用兩種改進算法和K-means算法對Iris數據進行聚類，表2是三種算法的實驗結果對比，其中可以看出，兩種改進方法的循環次數遠遠小于經典K-means算法。
然后實驗同時使用兩種改進算法和K-means算法對Credit數據進行聚類，表3是三種算法的實驗結果對比，其中可以看出兩種改進方法的循環次數小于經典K-means算法。
4.3 實驗結果分析
通過實驗結果對比可以看出：經典的K-means算法與聚類數目和初始聚類中心的選擇有很大關系，多次運行算法，從不同的初始聚類中心出發會得到不同的聚類結果和準確性，具有一定的主觀性和隨機性，算法穩定性不好。基于競爭神經網絡的K-means算法在運行經典的K-means算法之前用競爭神網做了一個預處理，而基于密度的K-means算法在運行經典的K-means算法之前做了一個預處理。這兩種算法都改變了初始聚類中心的隨機選擇，使輸入經典K-means算法的初始聚類中心離數據本身的類中心較近，改變其對聚類初始中心的依賴問題；而在競爭神網建立網絡的時候，利用采樣數據進行訓練，有效降低了數據量，減少了競爭神網的建立速度；并且多次運行算法，結果較穩定。從實驗結果也可以看出，它在兩組測試數據上運行得較好。
5 結論
本文針對經典K-means算法的主要不足，采用優化聚類中心的方法提出了基于競爭神經網絡的K-means算法和基于密度的K-means算法，從而使K-means算法能夠自適應的確定聚類中心，避免初始聚類中心的隨機性，在一定程度上彌補了經典算法的不足。
從實驗的結果來看，采用隨機選取初始聚類點的方法，初始聚類中心靠近數據本身的類中心時近時遠，非常不穩定，用于實際的數據聚類，效果不太好。而采用了一系列的改進算法后，其初始聚類點離數據本身類中心較近,并且較穩定，用于實際的數據聚類，效果較好。
參考文獻：
[1] HAN Jia-wei, Kamber M.數據挖掘:概念與技術[M].范明,孟小峰,譯.北京：機械工業出版社,2001:223-230.
[2] Belouchrani A,Abed-meraim K,Cardoso J F,et al.A Bjind Source Separation Technique Using Second-order Statistics[J].IEEE Trans.Signal Processing,1997,45(2):434-444.
[3] Charalampidis D,Kasparis T.Wavelet-Based Rotational Invariant Roughness Features for Texture Classification and Segmentation[J].IEEE Transactions on Image Processing,2002,11(8):825-837.
第9篇：神經網絡降維方法范文
關鍵詞 數據挖掘 預處理方法 基因表達數據
中圖分類號：O17文獻標識碼：A
Pretreatment Method of the Gene Expression Data
WANG Xiuzhu
(Computer Science and Technology, Southwest University of Science and Technology, Mianyang, Sichuan 621010)
AbstractThis paper introduces several common gene expression data pretreatment method, and compared those methods, elucidatedapplication advantages of different methods in different environment.
Key wordsdata mining; pretreatment methods; gene expression data
隨著人類基因組計劃對24對染色體全部基因測序工作的完成，人類對基因的研究將進入全新的發展階段，而它的重點也將落在對基因表達數據的分析上。面對數以千兆計的基因表達數據記錄，數據挖掘成了首當其沖的、強有力的分析工具。選擇合適的數據挖掘算法，是基因表達數據知識發現的關鍵。一般基因表達數據都會存在諸如數據完整性、數據的冗余性、屬性間的相關性等問題而不能直接滿足挖掘算法的要求。本文首先提出幾種常用的基因表達數據預處理方法，隨后會對這些方法進行論述和比較，以闡明在不同環境下各種預處理方法的應用優勢。
數據預處理是從大量的數據屬性中提取出一些對目標輸出有重要影響的屬性，即降低原始數據的維數，從而達到改善實例數據質量和提高數據挖掘速度的目的。常見的基因表達數據預處理方法有以下幾類。
1 基于粗糙集理論的約簡方法
20世紀80年代初，波蘭的Pawlak針對G.Frege的邊界線區域思想提出了粗糙集理論，粗糙集理論的主要研究內容有知識約簡、離散化問題和不完全知識的補齊等，它在一定程度上很好地解決了傳統數據挖掘中存在的超大數據、不確定性數據、噪音數據、空值和冗余數據等問題。①
粗糙集理論的基本思想是：用數據集的等價關系，這種關系可以是某個屬性，也可以是某幾個屬性的組合，對此數據集進行劃分，從而得到不同的基本類，在這些基本類的基礎上進一步求得最小約簡集，以達到降維的目的。
粗糙集理論的優點是：無需提供額外的先驗信息就可將問題的論域進行劃分，無需相關領域專家的監督就可獨立完成。能有效地去除基因表達數據庫中的冗余數據、噪音數據和空數據，并對數據進行有效的降維。缺點是：只能處理離散型數據。因此，如果基因表達數據庫中的數據是連續型的，則首先要對其進行離散化處理后才能運用粗糙集理論來進行后續處理。
2 基于概念樹的數據濃縮方法
在基因表達數據庫中，許多屬性都是可以進行歸類的，各屬性值依據抽象程度可以構成一個層次結構，這種層次結構通常稱為概念樹。它依據抽象程度將屬性按照一般到特殊的順序排列，并用這種層次結構體現出來。這種方法其實是幾組合并的處理過程，用這種方法從基因表達數據庫中發現規則知識的核心是執行基本的和面向各屬性的歸納。②
基于概念樹的數據濃縮法的基本思想是：（1）用概念樹中的父概念去替代下面同性的、較具體的屬性值。（2）合并知識基表中出現的相同元組，并計算由這些相同元組所構成的宏元組所覆蓋的元組數，如果元組數大于設定的閥值，則用概念樹中更一般的父概念去替代。（3）得到覆蓋面更廣、數量更少的宏元組以達到降維的目的。（4）將最終結果進行歸納并轉換成邏輯規則。
基于概念樹的數據濃縮法是基于監督的方法，它的降維思想主要是根據經驗和需要制定出相應的剪枝閾值，以對噪聲數據進行有效剪除。這種概念泛化處理的手段，能使處理后的基因表達數據庫以不同層次和匯聚密度展現出來，為后續數據挖掘階段能更好地挖掘出不同層次屬性值間的關系做出了鋪墊。
3 主成分分析法
常見的基于統計分析的屬性選取方法有主成分分析、逐步回歸分析、公共因素模型分析等。它們都是旨在用盡可能少的特征去描述高維的原始基因表達數據庫，從而達到降維的目的。其中最有代表性，應用得最廣的就屬主成分分析。③
主成分分析的基本思想是：將多個變量通過線性變換的方式選出較少的重要變量的一種多元統計分析方法,它是在數據信息丟失最少的原則下對高維空間進行降維處理。它設法將原來給定的一組變量X1,X2,,,Xp,通過線性變換,轉換為一組不相關的變量Y1,Y2,,,Yp,在這種變換中，保持原始變量的方差和不變。通常數學上的處理就是將原來p個指標作線性組合，作為新的綜合指標的同時,使得Y1具有最大方差,成為第一主成分，如果第一主成分不足以代表原來p個指標的信息,再考慮選取第二個線性組合Y2作為第二主成分。依此類推,原來的k個變量就可以轉換成q個主成分。
主成分分析法的特點是用盡可能少的、具有代表性的特征變量來描述原本高維的基因表達數據庫，它能依據變量間的相關程度，自動生成權重，在一定程度上避免了人為因素的干擾，確保了評價的客觀性。它的局限性在于評價結果并不能重復使用，每次樣本的增減都會使原來的評價失去意義。
4 遺傳算法
遺傳算法是一種基于生物進化論和分子遺傳學的全局隨機搜索算法，它模擬了生物界“生存競爭，優勝劣汰，適者生存”的機制，用逐次迭代法去搜索尋優，求得問題的最優解。④⑤遺傳算法的基本思想是：將問題的可能解按某種形式進行染色體編碼。在選擇個體適應度評價較優的染色體中隨機選取 N 個進行復制。通過選擇、交叉、變異三個環節產生一群新的更適應環境的染色體，從而形成新的種群。
遺傳算法應用的關鍵是適應度函數的建立和染色體的描述，具體體現在對遺傳算法運行參數的設定上，其中包括對種群的大小、進化終止的最大代數、交叉概率、變異概率的確定等。在實際應用中，通常將它和神經網絡方法綜合使用。
5 結論
綜上所述，在以上的數據預處理方法中，基于粗糙集理論的約簡方法在處理離散型基因表達數據上具有明顯優勢；基于概念樹的數據濃縮方法在有相關領域專家監督的前提下具有優勢；基于統計分析的屬性選取方法由于在對基因表達數據的預處理過程中無需通過人為賦值來確定各個指標的權重，增強了數據處理的客觀性。此外，它是在數據信息丟失最少的前提下進行的。因此，它較其他三種方法在降維的質量上有優勢，遺傳算法在處理基因表達數據上的降維效果也是比較明顯的，但通常要與神經網絡相結合來使用，算法的復雜度相對較高。
基金項目：西南科技大學青年基金項目（項目編號：11zx3118，“西南科技大學科研基金資助成果”）
注釋
①于成.粗糙集在基于神經網絡的入侵檢測系統的探討[J].自動化與儀器儀表,2010.5:129-131.
②劉上力,趙勁強,聶勤務.Web使用挖掘中的數據預處理方法[J].鄭州輕工業學院學報(自然科學版),2010.25(4):71-74.
③顧明,蘇園園.主成分分析法在工作評價中的應用[J].科教導刊,2010(6):159-161.
