神經網絡優化方法精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡優化方法主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經網絡優化方法范文

>> 基于MATLAB的BP神經網絡算法在多元非線性系統建模中的應用 改進的求解非線性方程組的迭代神經網絡算法 基于非線性粒子群算法與神經網絡的天氣預測 演化算法在非線性方程求解方面的應用 基于BP神經網絡的非線性函數擬合 非線性倒立擺系統的神經網絡辨識 基于遺傳小波神經網絡的非線性動態自治網絡故障診斷仿真算法 一種基于正交基神經網絡的非線性衛星信道預失真補償算法 神經網絡在電路故障診斷方面的應用 神經網絡在鋼鐵企業質量預測方面的應用 BP神經網絡在坐標轉換方面的應用 人工神經網絡在電渦流傳感器非線性補償中的應用研究 基于神經網絡的通用非線性神經自適應控制研究 基于BP神經網絡的非線性網絡流量預測 改進的基于神經網絡的非線性多元回歸分析 基于徑向基神經網絡的非線性系統辨識 基于OBF神經網絡的溫度傳感器非線性補償方法 基于RBF神經網絡的非線性控制系統 群智能算法優化神經網絡在網絡安全的應用 淺談基于BP神經網絡的水源熱泵在建筑節能方面的應用 常見問題解答 當前所在位置：中國 > 教育 > 神經網絡算法非線性優化方面的應用 神經網絡算法非線性優化方面的應用 雜志之家、寫作服務和雜志訂閱支持對公帳戶付款！安全又可靠！ document.write("作者： 方達 胡忠剛")

申明:本網站內容僅用于學術交流，如有侵犯您的權益，請及時告知我們，本站將立即刪除有關內容。 摘 要：文章通過神經網絡算法對一類非線性優化方面的問題進行了分析，得到了應用神經網絡非線性優化算法求解該類問題的具體步驟和算法方案，并給出了實例進行驗證，證明了神經網絡非線性優化算法是有效的，具有理論意義和實用價值。 關鍵詞：：神經網絡算法;MTLAB;非線性優化最優化

中圖分類號：G622 文獻標識碼：B 文章編號：1002-7661（2014）22-002-01

人工神經網絡是由簡單的處理單元所組成的大量并行分布的處理機，這種處理機具有儲存和應用經念知識的自然特性，它與人腦的相似之處概括兩個方面：一是通過學習過程利用神經網絡從外部環境中獲取知識;二是內部神經元（突觸權值）用來存儲獲取的知識信息。

一、神經網絡非線性優化求解鐵路空車調度組合優化問題

目前鐵路局對空車調度計劃是利用表上作業法，采用計算機輔助統計，要經過分局管內各主要站和各區段的車種別空車調度，分局間分界站車種別交接空車數的確定;局間分界站車種別交接空車數的確定來編制整個鐵路局的空車調度計劃.下面用神經網絡優化方法解決該問題。

空車調度問題一般指的是：設有個空車發送站，個空車到達站數的距離為，設空車產生站 到空車需求站的空車數為，由發出的空車數為，則應滿足

空車需求站接受到的空車數為，則應滿足

假設空車產生數等于空車的需求數，即平衡運輸，則

總的空車走行公里數為

由于神經元的輸出值在之間，而空車數目是大于1的數，則將（ ）作為實際空車數，這樣就可以保證在（ ）之間，求為在中所占的百分比，為了用Hopfield神經網絡求解空車調度問題，建立能量函數如下

式中

表示空車發送站的空車數應等于的約束，當且僅當發車數為時，該項為0; 表示空車到達站所需的空車數應等于的約束，當且僅當到達的空車數為時，該項為0;

表示對空車調度的總體約束;

表示對目標項的約束;

表示懲罰項系數，為目標項系數.

當計算能量函數 達到最小時，對應于空車調整計劃的一個最佳計劃方案.其算法如下

則動態迭代過程為

其中 ，分別代表迭代次數，選取0.001.

二、結束語

第2篇：神經網絡優化方法范文

[關鍵詞] 小生境遺傳算法 神經網絡 股票 預測

一、引言

股票和股票市場對國家企業的經濟發展起到了積極的作用，如可以為投資者開拓投資渠道，增強投資的流動性和靈活性等。但股票價格的形成機制是頗為復雜的，股票價格既受到多種因素，諸如:政治，經濟，市場因素的影響，亦受技術和投資者行為因素的影響，個別因素的波動作用都可能會影響到股票價格的劇烈波動。因此，股票價格和各影響因素之間很難直接建立明確的函數關系表達式。針對這一情況，將可有效處理非線性問題的神經網絡引入到股票價格的預測中來，但神經網絡收斂慢,易陷入局部極小點，出現振蕩，魯棒性差。所以有的學者用遺傳算法(ga)來優化神經網絡，這種神經網絡可能獲得個別的甚至局部的最優解,即ga早熟現象。本文引進能較有效地保持種群多樣性的小生境遺傳算法(nga),采用nga優化與用ga優化的bp網絡權值進行對比,證實了nga的判別準確性和尋優能力。

二、小生境遺傳算法優化的神經網絡

1.bp神經網絡

反向傳播(bp)算法又稱為誤差逆傳播校正方法，它是1974年p.werbos(哈佛大學)提出的。133229.CoMbp算法用來訓練多層前饋神經網絡,屬于監督學習算法。bp網絡具有結構清晰，易實現，計算功能強大等特點。因而是目前最常見，使用最廣泛的一種神經網絡。但是在實際應用中，傳統的bp算法存在以下問題:收斂速度慢;若加快收斂速度易產生振蕩；存在局部極小和平臺問題;泛化能力差;隱節點數和初始值的選取缺乏理論指導;未考慮樣本選擇對系統學習的影響等。所以很多學者提出許多改進的方法，用小生境遺傳算法優化神經網絡權值的神經網絡來預測股票價格。

2.小生境遺傳算法

小生境遺傳算法(iche genetical gorihm)的基本思想是:首先比較任意兩個個體間的距離與給定值的大小，若該距離小于給定值，則比較其適應值大小。對適應值較小的個體施加一個較強的懲罰，極大地降低其適應值。也就是說，在距離l內將只有一個優良個體，從而既維護了群體的多樣性，又使得各個體之間保持一定的距離，并使得個體能夠在整個約束空間中分散開來。

3.神經網絡連接權的優化

用小生境遺傳算法可以優化神經網絡連接權，神經網絡結構，學習規則等，這里我們對神經網絡的連接權進行優化，具體步驟如下：

（1）隨機產生一組權值分布，采用某種編碼方案對該組中的每個權值(或閾值)進行編碼，進而構造出一個碼串(每個碼串代表網絡的一種權值分布)，在網絡結構和學習規則已確定的前提下,該碼串就對應一個權值和閾值取特定值的一個神經網絡。

（2)對所產生的神經網絡計算它的誤差函數，從而確定其適應度函數值，誤差越大,則適應度越小。

（3)選擇若干適應度函數值最大的個體,直接遺傳給下一代。

（4)利用交叉和變異等遺傳操作算子對當前一代群體進行處理，產生下一代群體。

（5)重復（2）（3）（4），使初始確定的一組權值分布得到不斷地進化,直到訓練目標得到滿足為止。

這種由小生境遺傳算法訓練神經網絡的方法也可以稱做混和訓練法。將基于小生境遺傳算法的遺傳進化方法和基于梯度下降的反傳訓練相結合,這種訓練方法吸取兩種方法的各自特點，所以收斂速度快。

三、股票價格預測仿真

根據經驗選取輸入預測日前四天開盤價、收盤價歸一化后做為作為輸入量，輸出為第五天收盤價歸一化數值。所以，本文采用神經網絡結構為(8,5,1),即網絡的輸入層6個節點,隱含層9個節點,輸出層1個節點。本文選擇了“xdg 新梅（600732）”從2006年3月14日到2006年7月1日數據進行了仿真。利用matlab6.5編程，取70組訓練樣本和30組測試樣本。如圖（1）表示用遺傳算法和小生境遺傳算法對神經網絡的權值進行優化時，誤差曲線變化;從圖中可以看出，小生境遺傳算法收斂速度要快;圖（2）表示股票預測值和實際值比較，從圖中可以看出，遺傳算法和小生境遺傳算法對神經網絡的權值的模型進行股票價格的預測，都能預測出股票走向趨勢，但是，后者的預測精度顯然要比前者高。

四、結束語

股票市場的不確定因素太多，股票的價格更是多種因素影響的集合體，是典型的非線性動力學問題。股票價格的中長期準確預測很難。本文建立了用小生境遺傳算來優化神經網絡模型來預測股票價格，結果表明，這種方法比單用遺傳算法優化的神經網絡收斂速度快，預測精度高。對于股票價格預測具有較好的應用價值。

參考文獻:

[1]龍建成李小平:基于神經網絡的股票市場趨勢預測[j].西安電子科技大學學報(自然科學版.2005.3（32）:460-463

[2]王波張鳳玲:神經網絡與時間序列模型在股票預測中的比較[j].第27卷第6期武漢理工大學學報·信息與管理工程版.2005.9（27）:69-72

第3篇：神經網絡優化方法范文

關鍵詞： 高維BP神經網絡； 粒子群算法； 神經網絡； 結構優化

中圖分類號： TN711?34； TP311 文獻標識碼： A 文章編號： 1004?373X（2017）03?0157?03

Research on a neural network structure optimization method based on

high?dimensional particle swarm optimization

HUANG Yu1， 2

（1. College of Computer Science， Chongqing University， Chongqing 400044， China； 2. Yibin Vocational and Technical College， Yibin 644003， China）

Abstract： In order to eliminate the shortcomings of the traditional BP neural network in the operation process， a neural network optimization method based on the high?dimensional particle swarm optimization algorithm is proposed. The acceleration constant with random variation is introduced into the high?dimensional PSO algorithm to acquire the optimal weight to optimize and train the BP neural network. The optimized high?dimensional BP neural network is applied to the automatic detection of the traffic incident. The trained data is performed with class test with the detection and training algorithm， and its result is compared with those tested with the traditional BP neural network algorithm and classical event detection algorithm. The results show that the detection rate and performance of the algorithm optimized with high?dimensional particle swarm optimization BP neural network algorithm are better than those optimized with BP neural network algorithm and classical algorithm， the values of 2 test samples are different with the expected values of 97 and 50 test samples， the rest samples can meet the test requirement， and the average optimal testing time is half of the detection time of the traditional BP neural network. The optimized BP neural network algorithm has excellent performance.

Keywords： high?dimensional BP neural network； particle swarm optimization； neural network； structure optimization

0 引 言

目前關于高維多目標優化問題的理論和方法大都限于少數幾種算法，如NSGA?II算法，粒子群優化（PSO）算法。粒子群優化算法是Kennedy等受到飛鳥集群活動的啟發而提出的一類新興的基于集群智能優化算法[1?5]。相比進化算法，PSO具有易于實現和收斂速度快等優勢。近年來PSO在多目標優化領域的研究上取得了較大進展[6?9]，在神經網絡訓練、復雜函數優化、圖像處理、工業系統優化等領域應用廣泛[10]，PSO在特性的函數優化問題上更是發揮著重要作用，這些特性函數通常具備維數高、非線性、規模大、非凸和不可微等特點，一般計算方法運算困難。針對粒子群優化算法的優點以及傳統BP神經網絡存在的諸如較慢的收斂速度、較低的學習效率，并且在計算過程中較難計算出局部極小值等問題[11?14]，提出一種基于高維粒子群算法的神經網絡優化方法，結合二者優點使其更好地應用于實際中。

1 基于高維PSO算法的BP神經網絡優化

1.1 高維PSO算法簡介

粒子群算法是一種集群行為的計算方法，在不局限于二維空間，考慮高維時，即是高維PSO算法。設搜索空間為[D]維，粒子集群是由[M]個粒子組成，其中，第[i]個粒子的空間位置表示為[Xi=xi1，xi2，…，xiD，i=][1，2，…，M，]其飛行速度應表示為[Vi=][vi1，vi2，…，viD。]將空間位置和飛行速度數值代入優化目標函數中，從而計算出用于衡量[x]優劣的適應值。假設粒子[i]搜索到的最優位置為[Pi=pi1，pi2，…，piD，]整個粒子群搜索到的最優位置記為[PK=pK1，pK2，…，pKD。]此時，對于每一代粒子，其第[d]維[1≤d≤D]的速度和位置根據式（1），式（2）迭代：

[vktt+1=ut?vitt+c1r1pid-xidt+c2r2pid-xidt] （1）

[xidt+1=xidt+vidt+1] （2）

[ut=umax-umax-umintitmax] （3）

式中：[ut]代表慣性權值數值，一般為線性慣性權值，慣性權值的作用是提高粒子群算法的全局、局部優化能力；[t]代表現在的迭代次數；[itmax]代表迭代的最大次數；[c1]和[c2]代表學習因子；[r1，r2]代表在[0，1] 范圍內變化的兩個隨機數值。

粒子位置的更新如圖1所示。

1.2 BP神經網絡

BP神經網絡在結構上一般由輸入層、隱含層、輸出層三層構成，屬于多層前饋神經網絡，包括輸入信號前向傳遞和誤差反向傳播兩個過程。BP神經網絡廣泛應用在各種預測模型中。網絡結構一般只需單個隱含層就能以任意精度逼近任意有理函數。訓練樣本的輸入、輸出向量的維數分別決定了網絡的輸入、輸出層神經節點個數，典型的只有單個隱含層、單個輸出的BP神經網絡結構如圖2所示。

在圖2中，[xi=x1，x2，…，xn]代表一組BP神經網絡的輸入向量；[y]代表一組BP神經網絡的目標輸出值；[wij]代表輸入層和隱含層兩層級之間的連接權值；[wj1]代表隱含層和輸出層兩層級之間的連接權值。[aj，b]分別為隱含層和輸出層的節點閾值。若設隱含層節點個數為[m，]則[j=1，2，…，m=1，]在輸入信號前向傳遞過程中，[xi]從輸入層逐層傳輸到隱含層和輸出層，由傳輸過程中各層連接權值矢量、閾值矢量和相應的激勵函數計算，得出輸出層的預測輸出值[Y，]若預測值[y]與目標值[Y]之間有誤差，則誤差部分轉入反向逐層傳遞，沿誤差減小的方向調整網絡各層連接的權值、閾值。反復執行以上過程，使得BP神經網絡的預測值不斷逼近實際輸出值。

1.3 PSO算法的優化

在實驗過程中，種群的中間粒子更容易得到全局最優位置而不是PSO算法中的所有粒子。因此，本文基于PSO算法并采用慣性因子[σ，]慣性因子更容易追蹤種群中最優粒子的位置并確保速度連續變化，即粒子下一時段的運行速度是在上一時段\行速度的基礎上迭代產生的，提高了PSO算法的性能，該優化算法稱為帶慣性項的粒子群算法。采用慣性因子[σ]后，新的粒子速度公式為：

[Vidt+1=σVidt+c1r1Pid-Xidt+c2r2Pgd-Xidt] （4）

優化后的PSO算法更容易找到最優位置。在最優位置找尋過程中，如果粒子探索的程度是在新的方向則被稱為探測，而仍然在原始軌跡搜索則稱為開發。探測和開發是找尋最優位置的必經過程，調整粒子探測和開發程度可以更好地找尋最優位置并達到優化效果。所以，常將隨機變化的加速常數[c1]和[c2]應用到帶慣性項的粒子群算法，代表粒子向個體極值和全局極值推進過程中的隨機加速權值，從而動態改變探測和開發所占的比例，使其盡快找到全局最優位置，該優化算法稱為引入慣性項和隨機加速常數的粒子群算法。其中，加速常數[c1]和[c2]定義為：

[c1=random（a）+tTmax] （5）

[c2=random（b）-tTmax] （6）

式中：[random（a）]和[random（b）]代表系統隨機生成的數；[t，Tmax]代表當前進化代數和最大進化代數。

1.4 BP網絡權值優化方法

由BP網絡的三層結構可知，用[ujht]代表輸入層和隱含層的網絡權值，[wkj（t）]代表隱含層和輸出層的網絡權值，[θk]代表輸出節點閾值，[θj]代表隱含層節點閾值。具體更新公式如下：

[wkjt+1=wkjt+αδkHj] （7）

[ujht+1=ujht+αkσjIh] （8）

[θKt+1=θKt+βδk] （9）

[θjt+1=θjt+βσj] （10）

式中：[Hj]代表隱含層節點[j]的輸出信號；[Ih]代表輸入層節點[h]的輸入信號；[δk]代表輸出層節點[k]的誤差；[σj]代表隱含層節點[j]的誤差；[α， β]代表學習參數，參數取值范圍為0.1～0.9。

1.5 高維粒子群BP的算法實現

高維粒子群優化BP神經網絡需要確定網絡的拓撲結構，根據網絡的拓撲結構確定粒子搜索空間的維數，即粒子長度，以誤差均方值作為基準調節BP網絡中的權值和閾值，以粒子群優化的適應度函數作為BP網絡誤差的反傳函數，據此建立誤差均方值與粒子群優化的適應度函數的對等關系，目標函數的表達式如下：

[fi=1Nk=1Nyk-ymk2] （11）

式中：[N]代表總訓練樣本數；[fi]代表目標函數的誤差平方和；[y（k）]代表目標函數的目標輸出值；[ym（k）]代表目標函數的實際輸出值。

改進粒子群算法尋優的具體步驟如下：

（1） 初始化粒子群參數。初始化粒子群規模、最大迭代次數[Tmax、]學習因子[c1]和[c2、]慣性權重[wmax]和[wmin]在特定位置與速度范圍內隨機初始化位置向量和速度向量。

（2） 初始化BP神經網絡。由實際情況確定BP神經網絡的拓撲結構，并建立下一步運算的網絡模型，進一步明確粒子維度。

（3） 輸入網絡訓練樣本。通過步驟（1），步驟（2）初始化的位置向量輸入網絡訓練樣本，確定網絡的權值和閾值，計算出期望輸出的誤差均方值和實際輸出的誤差均方值，由二者的誤差均方值可以得到粒子群的適應度函數。在粒子群適應度函數的基礎上結合位置和慣性因子可以計算粒子新的運動位置和運動速度。

（4） 迭代運算。確定每個粒子的個體極值和全局極值：粒子[i]的適應度值[fi]與個體最優值[Pbest]比較，如果小于[Pbest]則取代它作為當前的個體最優；適應度值[fi]與全局極值[gbest]比較， 如果小于[gbest]則取代它作為當前的全局最優。當停止迭代時，會得到粒子在全局的最優位置，此時需要把該數值作為BP網絡的最后權重值，映射為BP神經網絡的權值和閾值。

（5） 將樣本數據源中訓練樣本輸入到已確定的網絡模型中進行訓練，用測試樣本做預測。

2 高維粒子群BP算法實例仿真

高維粒子群BP算法仿真實驗的實驗數據采集自沈陽市和平區易發生交通擁堵的某一路段，采集方式是在測試車輛上安裝激光測距儀和 GPS設備，采樣時間設置為2 s，采樣時間段為早、中、晚高峰期三小時的時間區間，并多次測量采集數據，選擇每組中發生事件的實驗數據為6 rain，參照上述標準共采集150組樣本數據，把樣本數據歸一化。將100組訓練數據、50組測試數據輸入到Matlab進行運算，電腦內存為8 GB，利用本文的高維粒子群算法的BP神經網絡優化算法訓練，最后將測試樣本分類判別，檢驗最后的計算性能。部分原始樣本數據見表1。

設置高維粒子群算法的參數，其中，種群數量設置為[m=30，]維數設置為[D=12×13+13×4+4=212，]加速因子設置為[c1=c2=1.50，]慣性因子設置為[ω=0.720，]速度最大值[Vmax=1，]速度最小值[Vmin=-1，]位置最大值為5，位置最小值為?5，最大迭代次數[N=100。]當計算循環過程達到終止迭代次數時則終止計算。

通常采用交通事件的檢測率（DR）、平均檢測時間（MTTD）、誤判率（FAR）評價交通事件自動檢測的算法效率。通過采用本文優化的計算方法對采集到的數據進行分類訓練等一系列計算分析，并將最終分析結果和經典事件檢測算法、BP神經網絡算法比較。結果表明，經過優化后的高維粒子群BP神經網絡的檢測率、算法性能均優于經典算法和BP神經網絡算法，其中97，50個測試樣本中僅有2個測試樣本與應該達到的數值不一致，其他樣本都滿足測試要求，并且平均優化測試時間是傳統BP神經網絡檢測時間的一半，結果對比見表2。

3 結 語

本文基于高S粒子群算法的BP神經網絡結構優化方法，改進了傳統運算方法的檢測時間長、收斂速度慢的缺點，且容易實現，是一種新興的群智能優化算法，優化全面，適用范圍廣泛，具有較高的精度和較好的擬合性能。

參考文獻

[1] 姚爾果，閆秋粉，南振岐，等.基于改進粒子群算法的BP神經網絡模型研究[J].佳木斯大學學報（自然科學版），2012，31（1）：107?109.

[2] 謝錚桂，鐘少丹，韋玉科.改進的粒子群算法及收斂性分析[J].計算機工程與應用，2011，47（1）：46?49.

[3] 閏紀如.粒子群優化的神經網絡在交通流預測中的應用[D].杭州：浙江工業大學，2013.

[4] 劉洪波，王秀坤，孟軍.神經網絡基于粒子群優化的學習算法研究[J].小型微型計算機系統，2005，26（4）：638?640.

[5] 胡衛東，曹文貴.基于改進粒子群算法的BP神經網絡在邊坡穩定性評價中的應用[J].湖南理工學院學報（自然科學版），2014，27（2）：71?77.

[6] 劉坤，譚營，何新貴.基于粒子群優化的過程神經網絡學習算法[J].北京大學學報（自然科學版），2011，47（2）：238?244.

[7] 徐以山，曾碧，尹秀文，等.基于改進粒子群算法的BP神經網絡及其應用[J].計算機工程與應用，2009，45（35）：233?235.

[8] 張德慧，張德育，劉清云，等.基于粒子群算法的BP神經網絡優化技術[J].計算機工程與設計，2015，36（5）：1322?1328.

[9] 肖俊生，任諱龍，李文濤.基于粒子群算法優化BP神經網絡漏鋼預報的研究[J].計算機測量與控制，2015，23（4）：1302?1305.

[10] 沈學利，張紅巖，張紀鎖.改進粒子群算法對BP神經網絡的優化[J].計算機系統應用，2010（2）：57?61.

[11] 江麗，王愛平.基于粒子群與BP混合算法的神經網絡學習方法[J].計算機應用，2012，32（z2）：13?15.

[12] 徐大明，周超，孫傳恒，等.基于粒子群優化BP神經網絡的水產養殖水溫及pH預測模型[J].漁業現代化，2016，43（1）：24?30.

第4篇：神經網絡優化方法范文

關鍵詞：網絡入侵；神經網絡；參數優化；人工魚群算法

中圖分類號：TP393 文獻標識碼：A 文章編號：2095-2163（2015）03-

Application of Back Propagation Neural Network Optimizing by Artificial Fish Swarm Algorithm in Network Intrusion Detection

LIU Chun

（Network Management Center ， Sichuan College of Architectural Technology， Deyang Sichuan 618000， China）

Abstract： In order to detect the network intrusion effectively， an artificial fish swarm （AFSA） algorithm is proposed to optimize the BP neural network （BPNN） intrusion detection model. In this paper， firstly， weights and threshold coding state of BP neural network is artificial fish of the AFSA， followed by artificial fish swarm foraging， Poly Group， rear end， which is used to optimize the parameters of BP neural network， to find the optimal parameters of the BP neural network； After that， using the establishment of optimal BP neural network model， the behavior of the network intrusion are detected. In the Windows XP operating system， on the platform of MATLAB 2012 by the KDD cup 99 data set of simulation test， compared with the traditional BP neural network model， the proposed model can significantly improve the network intrusion detection accuracy and has a more extensive application prospects.

Keywords： Network Intrusion； Neural Network； Parameter Optimization； Artificial Fish Swarm Algorithm

0 引言

隨著互聯網規模越來越大，網絡的用途越來越廣泛，在網絡給人們生活帶來便利的同時，其受到入侵的可能性頁隨之增加，未經授權用戶對計算機進行操作，可能竊取系統中的信息，給計算機系統造成一定的安全隱患，網絡安全問題日漸受到學界關注，在網絡安全防御研究領域，網絡入侵檢測已然成為迫切需要解決的一個重要課題[1-2]。

按照入侵檢測方式的不同，可將其分為誤用入侵檢測和異常入侵檢測[3]。其中，誤用入侵檢測方法主要是依據檢測知識庫，對網絡入侵行為進行匹配，如果檢測知識庫不完備，則可能存在某些未知的入侵行為無法檢測。而異常入侵檢測是通過對可接受行為進行描述，如果某項行為與正常行為存在偏差，則認為該行為是入侵行為，異常入侵檢測方法能夠對未知網絡攻擊行為進行有效檢測，從而成為當前網絡入侵研究的熱點研究內容[4]。

網絡入侵檢測是依據網絡行為與正常行為進行比較，以判斷是否存在網絡入侵、攻擊行為，因此，可以將網絡入侵檢測認為是一個數據分類問題。網絡入侵檢測處理的分類數據屬于大樣本數據，具有高維、復雜、非線性等特征；相應地，傳統的數據分類檢測方法在實際應用執行時，即表現了計算速度慢、復雜、正確率低的結果現象[5]。近年來，隨著人工智能技術的快速發展，神經網絡被越來越多地用于數據分類問題。神經網絡有多種類型，其中，BP神經網絡（Back Propagation Neural Network，BPNN）結構簡單、學習能力強，切具有非線性逼近映射能力，相較于其它類型的神經網絡，BP神經網絡的用途更為廣泛。但是，利用BP神經網絡進行網絡入侵檢測，其檢測的準確率與網絡的初始權值、閾值等參數有關，為了獲得較高的網絡入侵檢測正確率，就需要對BP神經網絡進行參數優化。即在利用學習樣本對BP神經網絡進行訓練過程中，不是隨機產生BP神經網絡的初始權值和閾值，而是利用智能算法，如粒子群、遺傳、蟻群等算法等對BP神經網絡初始權值和閾值進行優化，使BP神經網絡避免陷入局部最優，并且找到全局最優參數，從而使BP神經網絡分類精度更高，網絡入侵檢測性能也隨之提升[6-8]。在這些智能算法中，人工魚群算法（Artificial Fish Swarm Algorithm，AFSA）是近年來提出的一種新的智能仿生算法，該算法魯棒性強，可并行操作，同時便于實現[9]。利用AFSA算法來對BP神經網絡參數進行尋優，能夠避免BP神經網絡易陷入局部極小的缺陷，實現了BP神經網絡參數的最優獲取，因而可知這是一種非常適合BP神經網絡參數尋優的理想方法。同時，仿真試驗又對AFSA-BPNN（人工魚群算法優化BP神經網絡）模型的網絡入侵檢測性能進行了有效驗證。

1 網絡入侵檢測數學模型

網絡入侵是指未經授權的用戶實施的任何試圖以非法手段來獲取計算機資源的行為。進行網絡入侵檢測，主要是通過收集網絡或系統中的若干關鍵點的未經授權用戶的訪問、操作等信息，并對這些信息進行對比分析，以確定系統中是否存在被攻擊的跡象[10]。

在計算機網絡中，存在兩種現象，一種為無入侵信號，一種為有入侵信號，用 表示無入侵信號， 表示有入侵信號，則網絡數據信號數學表達式：

（1）

其中， 表示收集到的所有信號， 表示在抽樣間隔中接收到的信號所有字節的長度； 表示網絡數據中的噪聲， 表示入侵信號。

在進行網絡入侵檢測時，存在噪聲，并且，接收到的信息還存在非線性的關系，為了保護網絡安全，有效地防范未經授權用戶對網絡安全形成的潛在隱患，有必要對這些網絡訪問行為進行識別、檢測，由上可知，BP神經網絡即可有效地進行網絡入侵檢測。

2 AFSA優化BPNN的網絡入侵檢測模型

2.1 人工魚群算法

AFSA可以地對BP神經網絡進行全面參數尋優，通過模擬魚群的覓食、聚群、追尾等典型行為，不斷地對BP神經網絡參數進行優化[11]。算法中典型行為的實現機理如下：

（1） 覓食行為。設Xi表示人工魚當前所處的位置，Xj表示一個隨機選擇的位置，對Xi和Xj的食物濃度進行比較，如果Xj處的食物濃度大于Xi處的食物濃度，則向Xj處前進，否則人工魚留在原處不動，而后，重新隨機選擇位置Xj，再對Xi和Xj的食物濃度進行判斷，反復試探nj次后，如果選取的位置處食物濃度仍然小于初始位置的食物濃度，則人工魚隨機前進一步。該行為的數學描述可如式（2）所示：

（2）

式中，Rand（）表示一個（0，1）之間的隨機數；Step表示人工魚移動的步長。

（2） 聚群行為。設nf表示人工魚視野范圍內所有的伙伴數目，Xc表示所有魚群的中心位置，若Yc/nf>δYi（δ為擁擠度因子），則表明當前人工魚所處位置的食物濃度小于伙伴處的食物濃度，人工魚便朝伙伴中心前進一步，否則，人工魚繼續執行覓食行為。這一行為的數學實現則如式（3）所示：

（3）

（3） 追尾行為。在人工魚視野范圍內，濃度最高Yj的人工魚位置為Xmax，若Yj/nf> Yi，則人工魚群向Xj處前進一步，否則人工魚執行覓食行為。

（4）

（4） 隨機行為。人工魚沒有執行明確的覓食或聚群行為，而是在視野范圍內隨機選擇某個位置，隨后向其移動，該行為屬于人工魚覓食行為的一種缺省行為。

（5） 公告板。公告用于記錄食物濃度最高的人工魚的狀態。

2.2 BP神經網絡模型

BP神經網絡學習過程如下[12]：

（1）確定BP神經網絡結構。設輸入層、隱層和輸出層的神經元數分別為N、L和M，網絡輸入向量為 ，隱含層輸出向量為 ，網絡實際輸出向量為 ，網絡輸入層神經元節點 到隱含層神經元節點 的權重系數表示為 ，隱含層神經元節點 到輸出層神經元節點 的權重系數表示為 ，訓練集的目標輸出向量為 。此外，分別用 和 來表示輸出神經元和隱神經元的閾值，設：

（5）

于是，得到隱含層各神經元節點的輸出為：

（6）

同理，輸出層各神經元節點為：

（7）

（2）將輸出神經元 與目標向量 進行比較，計算出輸出誤差項：

（8）

（9）

（3）依次計算出各權重的調整量：

（10）

（11）

式中， 表示網絡的學習速率，其取值在0-1之間。

（4）調整網絡權重，公式如下：

（12）

（13）

（5）判斷是否達到最大迭代次數，如果沒有，將網絡輸出值與期望值進行比較，如果大于誤差允許的范圍，返回步驟（1），繼續迭代，在每次迭代過程中，都進行判斷，誤差是否達到預定目標，或者是否達到最大迭代次數，如果滿足終止條件，則停止迭代。

2.3 SAFSA-BPNN網絡入侵檢測流程

（1） 收集BP神經網絡狀態信息，設置人工魚狀態；

（2） 隨機生成n條人工魚，每一條人魚代表一組BP神經網絡參數，用passed_iterate表示BP神經網絡訓練迭代的次數；

（3） 登記每條人工魚所在位置的食物濃度，并對每條人工魚處的食物濃度進行排序登記，將食物濃度值最高處的人工魚個體的位置及食物濃度登記寫入公告板；

（4） 隨機選擇一條人工魚，對其覓食、追尾和聚群行為后所處位置的食物濃度進行判斷，將其所處位置的食物濃度與公告板中的所登記的食物濃度進行比較，如果該人工魚處的食物濃度高于公告板的食物濃度，則該人工魚向此方向前進一步。

（5） 更新公告板內容，將步驟（4）中得到的最好人工魚的位置及食物濃度記入公告板。

（6） 判斷BP神經網絡是否尋優得到最優參數，或訓練是否達到最大迭代次數，如果沒有滿足上述情況，則人工繼續執行覓食、追尾、聚群行為，passed_iterate=passed_iterate+1，并轉步驟（4）繼續迭代執行，如果達到最大迭代次數，則BP神經網絡訓練尋優結束，輸出公告板中的人工魚的位置及食物濃度；

（7） 根據尋優結束后BP神經網絡模型，進行網絡入侵檢測。

利用AFSA-BP神經網絡模型，進行網絡入侵檢測流程如圖1所示。

圖1 AFSA優化BPNN參數流程

Fig. 1 the flow chart of BPNN parameters optimized by AFSA

3 仿真測試

3.1 數據來源

為了驗證本文模型的網絡入侵檢測效果，利用KDD CUP 99的數據集進行仿真試驗，并在Windows XP，Matlab 2012 軟件平臺上執行實現。由于BP神經網絡不能直接對字符型數據進行處理，而在KDD CUP 99數據集中卻包含有大量的字符型數據，因此，在進行實驗仿真之前，需將KDD CUP 99數據集中的字符型數據轉換成整型數據[13]。在利用BP神經網絡進行網絡入侵檢測時，實質上就是一個分類問題，因此，可將KDD CUP 99數據集的分類字段處理成五個類標識：1（“normal"），2（"Probe"），3（"DOS"），4（"U2R"），5（"R2L"）。同時，為了有效地提高網絡入侵檢測正確率，有必要在BP神經網絡進行訓練學習時，利用人工魚群算法對BP神經網絡參數進行優化，訓練集來自于文件kddcup.data_10_percent.gz，從中隨機選取800條記錄，測試集數據則將隨機從文件corrected.g中選取300條記錄。

在KDD CUP 99數據集中，每一個數據集均包含了41個特征屬性，而且每一個數據集還對應一種類型的網絡入侵行為，為此BP神經網絡輸入層有41個神經元，輸出層有一個神經元，經過反復試驗，當隱含層有22個神經元時，網絡收斂速度最快，誤差最小，最終確定BP神經網絡結構為41×22×1。利用訓練集對BP神經網絡進行訓練，再用人工魚群算法對BP神經網絡參數進行優化，人工魚群參數可如表1所示。

表1 人工魚群算法參數設置

Tab. 1 parameter setting of artificial fish swarm algorithm

參數名 說明 值 參數名 說明 值

Visual 可視域 18 P 魚群規模 30

δ 擁擠因子 0.58 Step_max 迭代步長 0.6

N 迭代次數 5000

3.2 對比模型

為了證明AFSA-BPNN模型進行網絡入侵檢測的有效性，在同等情況下，利用傳統的BP神經網絡（BPNN）模型進行對比實驗。選擇了檢測率、誤報率和運行速度作為模型網絡入侵檢測性能的指標評價。在此，僅分別給出檢測率和誤報率的定義如下：

（14）

（15）

3.3 數據處理

在KDD CUP 99數據集中，每個數據集有41個特征屬性，對其中的字符型數據轉換成整型數據，但由于這些數據集中的屬性量綱不同，為了有效地檢測出網絡入侵行為，即需對數據集進行歸一化處理，以減少量綱不同對網絡入侵檢測的影響。歸一化處理公式如下：

（16）

式中， 表示某屬性的最大值； 、 分別表示某屬性的最小值和最大值； 表示經過歸一化處理后的某屬性。

3.4 結果與分析

3.4.1 檢測結果對比

采用BPNN作為對比模型，以驗證ASFA-BPNN模型進行網絡入侵檢測時的實際性能，首先編程利用同樣的訓練集對兩種模型進行訓練，過程中不同之處卻是，在AFSA-BPNN模型訓練的同時，利用人工魚群算法對BPNN進行尋優；然后，分別利用測試集對訓練后的模型進行驗證，兩種模型的檢測性能對比如表2所示。

表2 兩檢測模型的檢測性能對比

Tab2 performance comparison of two detection models

檢測模型 評價指標 DOS U2L U2R Probe

BPNN rate（%） 80.65 70.83 81.21 79.65

error（%） 19.35 29.17 18.79 20.35

AFSA-BPNN rate（%） 82.63 76.89 88.78 91.43

error（%） 17.37 23.11 11.22 8.57

3.4.2 運行速度對比

為了驗證兩種模型的網絡入侵檢測速度，選取測試集對模型的網絡入侵檢測時間作為衡量指標，兩種模型進行不同類型的入侵檢測時間（秒/s）如表3所示。從表3可知，相對于BPNN模型，AFSA-BPNN模型的檢測時間更少，說明了AFSA-BPNN模型進行網絡入侵檢測具有更高效率，因而實時性更強。

表3 兩種模型的檢測時間對比

Tab.3 detection time comparison of two models

模型 DOS U2L U2R Probe

BPNN 0.97 0.89 0.86 0.96

AFSA-BPNN 0.76 0.78 0.80 0.64

4 結束語

為了有效地對網絡入侵進行檢測，提出一種人工魚群算法優化的BP神經網絡的網絡入侵檢測模型，在BP神經網絡訓練時，利用人工魚群算法對BP神經網絡參數進行優化，獲得了BP神經網絡的最優參數，同時加快了BP神經網絡的收斂速度。仿真結果表明，AFSA-BPNN模型比BPNN模型檢測率更高，誤檢率更低，同時檢測時間更少，這就說明了AFSA-BPNN模型堪稱為一種有效的網絡入侵檢測模型，其應用前景也將更趨廣泛與廣闊。

參考文獻

[1] 戴英俠.系統安全與入侵檢測[M].北京：清華大學出版社， 2002.

[2] 何敏. 基于數據挖掘的網絡實時入侵檢測體系結構的研究[J]. 計算機與現代化， 2011， 193（9）： 134-136.

[3] 姜春茂，張國印，李志聰. 基于遺傳算法優化SVM的嵌入式網絡系統異常入侵檢測[J]. 計算機應用與軟件，2011，28（2）：287-289.

[4] 閆新娟，譚敏生，嚴亞周，等. 基于隱馬爾科夫模型和神經網絡的入侵檢測研究[J]. 計算機應用與軟件，2012，29（2）：294C297.

[5] 牟琦，畢孝儒，庫向陽. 基于GQPSO算法的網絡入侵特征選擇方法[J]. 計算機工程，2011，37（14）：103-16.

[6] 周敏.GARBF在網絡入侵檢測中的應用研究[J].計算機仿真，2011.28（6）：165-168.

[7] 趙俊忠. 入侵檢測系統中檢測技術的研究[J]. 計算機工程與應用，2005，（2）：11-13.

[8] 欒慶林，盧輝斌.自適應遺傳算法優化神經網絡的入侵檢測研究[J].計算機工程與設計，2008，29（12）：3022-3024.

[9] 李曉磊.一種新型的智能優化方法一人工魚群算法[D].杭州：浙江大學，2003.

[10] 孫寧青. 基于神經網絡和CFS特征選擇的網絡入侵檢測系統[J]. 計算機工程與科學，2010，32（6）：37-39.

[11] 江銘炎，袁東風. 人工魚群算法及其應用[M]. 北京：科學出版社，2012.

第5篇：神經網絡優化方法范文

關鍵詞：矩陣式紅外熱電堆；RBF神經網絡；慣性權重因子；粒子群算法

DOI：10.16640/ki.37-1222/t.2017.04.220

1 引言

常用的人體入侵檢測方法有視頻監測、超聲波、機電檢測、紅外檢測等，而它的準確性和可靠性對人的生命財產安全起確定性的作用。本文采用的是Melexis（邁來芯）的一套矩陣式紅外熱電堆溫度采集裝置，其中傳感器MLX90621是一款采用16*4像素的紅外陣列傳感器，可以檢測出一副畫面中64個點的溫度，可以提供的視角范圍是，配合電機，它的檢測范圍可以達到，因此它每一幀可以測得的溫度數據有個。相比于傳統的檢測方法，雖然它的檢測像素低，但是在后面的算法計算中，它的計算量會降低，它的優勢在于成本低、體積小易于隱蔽，而且不易受環境因素的影響，比如黑夜、電磁干擾等。在人體識別部分，本文采用的是改進RBF神經網絡算法，RBF神經網絡是一種采用局部接受域來執行函數映射的人工神經網絡[1]。而如何確定RBF神經網絡的隱層基函數的個數、中心向量以及寬度是訓練RBF神經網絡的關鍵所在。假如設定的隱層基函數的個數偏多會造成訓練和測試的時間加長，不僅容易產生過擬合[2]，而且還會造成網絡的泛化能力下降。相反，設定偏少的話會造成神經網絡的收斂誤差變大。一般采用K-mean聚類算法來確定徑向基函數的個數和中心向量，但其依賴初始中心的選擇，只能獲得局部最優解[3]。

粒子群算法（PSO）是基于群體智能的優化算法，通過粒子間的合作與競爭的群體智能理論的優化搜索，它可以記憶所有粒子都共享的迄今為止問題的最優解[4]。PSO的優勢在于簡單且易于實現。但基本PSO的缺點在于其參數是相對固定的，會導致在優化某些函數時，造成精度差、收斂速度慢等。因此本文針對基本PSO的缺點，提出了結合慣性權重模型，將適應度擇優選取引入基本PSO算法的方法進行改進。RBF神經網絡首先采用最近鄰聚類算法來確定隱層基函數的個數，中心向量即為聚類的的均值。同時將改進的粒子群優化算法來優化最近鄰聚類算法的聚類半徑，從而確定出RBF神經網絡最優的隱層基函數和中心向量，使其不用依靠初始中心的選擇，減少了現有算法中人為因素的影響，從而有效地提高了RBF神經網絡的精度和收斂速度。獨立訓練特定的RBF網絡并合成其預測結果，可以有效得提高神經網絡表達對象的準確性[5，6]。將改進PSO優化RBF神經網絡的方法應用于人體入侵檢測識別中，通過實測數據驗證，準確率相對基本RBF神經網絡有了顯著的提高。

2 RBF神經網絡設計

2.1 RBF基本原理

RBF 神經網絡，即徑向基神經網絡，是前饋神經網絡的一種，具有三層結構，如圖 1 所示。它的基本思想是用RBF作為隱單元的“基”構成隱含層空間，將輸入矢量直接（即不需要通過權鏈接）映射到隱空間，當RBF神經網絡的中心確定之后，映射關系也就隨之確定了。隱含層的作用是把向量從低維映射到高維，這樣低維線性不可分的情況到高維就線性可分了，隱含層空間到輸出空間的映射關系是線性的。

（1）假設已經有個聚類中心，分別為：，分別計算與它們之間的距離，。

（2），即到中心的歐式距離最小。

（3）比較與的大小，如果，則就會被設定為一個新的聚類中心，如果，則按照更新，。

（4）重新選取下一個輸入的樣本數據，返回1）。

（5）所有的輸入數據取完則結束。

從上面的算法步驟來看，可以得出，隱層基函數的中心的確定，最主要的因素是聚類半徑，若過大，會造成基函數的中心個數較少的情況，從而導致網絡的收斂誤差偏大，反之則會造成基函數的中心個數較多的情況，從而導致網絡的泛化能力下降。因此本文在最近鄰聚類算法中選取合適的聚類半徑時，采用改進的粒子群算法，最后可以確定出最優的RBF神經網絡的隱層基函數的中心向量。

3 粒子群優化算法

3.1 基本粒子群優化算法

粒子群優化算法（PSO）是由Kennedy和 Eberhart于1995年提出的一種通過模仿鳥類群體捕食行為研究的群體智能算法[7]。粒子群優化算法的基本思想是通過群體中個體之間的協作和信息共享來尋找最優解[8]。它的優勢在于簡單容易實現并且沒有許多參數的調節[9]，目前已被廣泛應用于函數優化、神經網絡訓練、模糊系統控制以及其他遺傳算法的應用領域。在由 m 個粒子組成的粒子群中，每個搜索空間中的潛在的解由粒子的位置來確定，新的個體在取值時主要由粒子的當前速度、粒子群中的最優個體以及當前粒子的歷史最優解3個因素來決定，其中粒子的當前速度控制著搜索的步長，算法的全局以及全局搜索能力由其決定，對PSO的收斂速度和質量有著重要的影響；后兩者則主要用于控制搜索的方向，反映了可利用的梯度信息[10]。粒子根據如下三條原則來更新自身狀態：（1）保持自身慣性；（2）按自身的最優位置來改變狀；（3）按群體的最優位置來改變狀態。

算法描述：在一個 n維的搜索空間中，是由m個粒子組成的粒子群，其中，為第個粒子的位置為，為速度。其中，為個體極值，為種群的全局極值。接下去粒子會根據公式（6）不斷更新自己的速度，根據公式（7）不斷更新自己的位置。

3.2 慣性權重因子的引入及其改進

為改善粒子群算法的搜索性能，以及基本PSO參數固定優化某些函數時精度較差的問題，Shi和Eberhart對基本PSO算法進行了改進，在粒子的速度進化方程中引入慣性權重[11]。一般地，較大的權重有利于提高算法的全局開發能力，而較小的權重則能增強算法的局部搜索能力[12]。因此慣性權重因子對當前速度的大小起決定性因素，提升PSO性能的關鍵一環是慣性權重因子和調整策略的合理設置[13，14]。將代入公式（6）可得：

上式中，和分別代表第個粒子和最優粒子在第次迭代時相應的函數值。的計算是用來判斷目標函數的平整度[16]。由圖2可以看出，在迭代時變化越明顯，表明目標函數越不平整，相反則表示越平整。通過跟隨的變化而變化，以此來實現的動態變化。

4 基于改進PSO算法的RBF神經網絡訓練

前面提到RBF神經網絡基函數個數和中心向量難以獲取最優的缺點，本文將改進PSO算法應用到RBF神經網絡的訓練學習中，有效地提高了RBF神經網絡的精度和收斂速度，大大地增強了網絡的泛化能力。粒子群算法的神經網絡訓練過程如圖3所示。具體的優化步驟如下：

1）首先對樣本進行歸一化處理。

2）初始化。由參數，，組成粒子群，然后隨機賦上初始值，并根據這些S機值來初始化粒子群的位置和速度。

3）計算適應度值。根據得到的RBF神經網絡輸入輸出值，應用公式：

來計算粒子群的適應度值，以此來確定和。其中和分別為訓練樣本數和輸出神經元個數，、分別為第個樣本的第個分量的輸出值和期望輸出值。

4）根據公式（8）更新粒子的位置和速度，得到新的粒子群。

5）判斷優化目標是否滿足終止條件，若滿足，則結束算法；否則返回到（3）。

5 實驗驗證及結果分析

本文在對上述改進PSO算法訓練的RBF神經網絡算法進行尋優測試后發現，改進后的RBF神經網絡算法在尋找最優值時，收斂速度和精度上都優于基本RBF神經網絡算法，且大大提高了網絡的泛化能力。然后將改進后的RBF神經網絡運用到實際的人體識別檢測中來進行驗證。在實驗中，通過MLX90621紅外陣列傳感器配合電機采集一個空間在不同情況下的溫度數據作為實驗數據，每一幀有16X36個溫度數據，共測得297組數據用于訓練。下面附上其中一張實測數據結果驗證圖（見圖4）：

圖中坐標軸中顯示的溫度數據就是實測的空間溫度數據，綠色區域為熱源干擾物，紅色區域為目標。根據采集獲得的溫度數據將其分為最高溫度、最低溫度、平均溫度三類，在正常情況下，由于人體的正常溫度存在一個絕對范圍，因此結合這個絕對范圍并將分割處理后的圖像一起作為訓練的特征值對改進PSO算法訓練的RBF神經網絡進行訓練，實現了對人體目標的檢測，然后利用訓練好的RBF神經網絡直接對新的溫度數據進行分類，檢測并判斷每一幀是否有人。

下面分別采集無人無干擾和無人有熱源干擾的兩種情況下的空間溫度數據，用這兩組數據作為訓練樣本對基本RBF神經網絡和改進PSO算法訓練的RBF神經網絡進行訓練，訓練結果如表1所示：

從訓練結果來看，改進后的RBF神經網絡算法的訓練效果有了很大的提高，無論在無人無干擾還是無人有熱源干擾的數據中，測得的無人的準確率都高于基本RBF神經網絡。最后用測得的有人有熱源干擾的空間溫度數據用來進行結果驗證，驗證結果如表2所示：

重新在一個空間中測得99組有人有干擾的溫度數進行結果驗證，在基本PSO的基礎上引入慣性權重因子，對基本RBF神經網絡的訓練效果有明顯的提升，改進PSO算法訓練的RBF神經網絡算法測得有人的準確率明顯高于基本RBF神經網絡。

6 結論

對人體識別算法進行了研究，最終確定使用RBF神經網絡作為研究對象，并使用最近鄰聚類算法來確定RBF神經網絡的中心向量，成功地消除了操作時人為因素的參與。本文通過引入動態慣性權重因子對基本PSO算法進行改進，將改進PSO算法訓練的RBF神經網絡與基本RBF神經網絡進行對比，對比訓練的過程及結果可以得出，改進后的RBF神經網絡在訓練效果上有了很大的提升，精度、收斂速度以及穩定性都優于基本RBF神經網絡。最后將改進后的RBF神經網絡應用到人體入侵檢測識別中，經過實測數據驗證，雖然改進PSO算法訓練的RBF神經網絡在排除干擾的問題上提升不是非常明顯，但是識別的準確率有了很大的提高，說明改進后的RBF神經網絡更加適用于低精度且計算量少的人體入侵檢測識別中。

參考文獻：

[1]SimonHaykin.Neural Networks：A comprehensive Foundation，SecondEdition[M]. U.S：Prentive Hall，1988.

[2]段其昌.一種改進PSO優化RBF神經網絡的新方法[J]計算機仿真，2009，26（12）：126-129.

[3]Y Moddy and C J Darken. Fast learning in network of locally tuned processing unites [C] .Neural Computation，1989（01）：281-294.

[4]Kennedy J and R C Eberhart. Particle swarm optimization[C]. Conf.Neural Networks.1995.1942-1948.

[5]王桂洋，張亞庭.基于APSO優化算法的 GCHP 系統神經網絡預測控制[J].計算機測量與控制，2014，22（01）：106-108.

[6]譚子平.基于白適應權值神經網絡的 PID 參數優化[J].計算機光盤軟件與應用，2014，17（07）：97-98.

[7]皮倩瑛，葉洪濤.一種動態調節慣性權重的粒子群算法[J].廣西科技大學學報，2016，27（03）：26-31.

[8]胡珀，婁淵勝.改進粒子群優化算法在服務組合中的應用[J].計算機工程，2011，37（17）：130-133.

[9]任圓圓，劉培玉，薛素芝.一種新的自適應動態文化粒子群優化算法[J]. 計算機應用研究，2013（30）11：3240-3243.

[10]于海鵬，翟紅生.基于混合策略的自適應粒子群優化算法[J].計算機工程與設計，2014，35（07）：2552-2556.

[11]Shi Y，Eberhart R C.A Modified Particle Swarm Op-timizer[C]/ / Proceedings of the IEEE Congress onEvolutionary Computation.Now York： IEEE，1998：303-308.

[12]羅金炎.粒子群優化算法慣性權重的一種動態調整策略[J]沈陽化工大大學學報，2013（04）：371-375.

[13]De Silva I J，Rider IM J，Romero R，et al.Transmission network expansion planning with security constraints[J].IEEE Proc Gener Transm Distrib，2005，152（6）：828-836.

[14]左浩，李雯.混沌粒子群與模糊聚類在圖像分割中的應用[J].計算機工程與應用，2012，48（02）：194-196.

[15]田雨波.混合神經網絡技術[M].北京：科學出版社，2009.

第6篇：神經網絡優化方法范文

關鍵詞：仿生算法；神經網絡；遺傳算法

中圖分類號：TP183文獻標識碼：Adoi: 10.3969/j.issn.1003-6970.2011.03.017

An Improved Algorithm of Bionic Research and Analysis

Yue Tong-sen, Wang Da-hai

(XinXiang Vocational and Technical Collage, Xinxiang 453000,Henan,China)

【Abstract】In this paper the bionic algorithm of neural network and genetic algorithm were analyzed and summarized, aimed at slow speed of neural network training, recognition efficiency low, and genetic algorithm the optimum choice premature convergence problem, combined with neural network method and genetic algorithms of their respective characteristics, puts forward the improved algorithm.Without the destruction of single neurons based on input weights, adopt data pretreatment methods to reduce the number of input layers, so as to improve the ability of evolutionary learning.

【Key words】Bionic algorithm; Neural network; Genetic algorithm

0引言

人工神經網絡[1]和遺傳算法[2]是仿生算法[3]的典型方法，它們的優化問題一直是眾多研究者所倍為關注的研究熱點之一。在人工神經網絡和遺傳算法結構的研究中發現，人工神經網絡具有很好的模式分類的特性，遺傳算法有很好的動態變更權值的特性，基于此，本文提出了一種改進的基于人工神經網絡和遺傳算法的算法。本章的改進算法，就是對人工神經網絡和遺傳算法進行了變換，增強了對輸入權值的變化速度，并提出用減少輸入層個數的方法是加快神經網絡學習的有效方法，取得了良好的實驗效果。

1神經網絡和遺傳算法的特究點

1.1神經網絡和遺傳算法的不同點

1．神經網絡是多層感知機，而遺傳算法是單層感知機。神經網絡是由輸入層，隱含層和輸出層夠成，但遺傳算法的基因組是一個數組，不管基因的長度有多長，其結構仍然是一個單層感知機。

2． 神經網絡的隱含神經元個數是不確定的，而輸出層和輸入層的個數是可以確定的。我們希望輸入層的個數用新的方法得到降低，這樣神經網絡的訓練速度就可以提高。同時對于隱含層的層數，一般情況設為1。每層的神經元個數也并不是越多越好，是要根據問題的情況而變動的。但神經網絡的隱含層是不確定的，而且隱含層的個數也是不確定的。對于遺傳算法，它的二進制的長度是可以確定的，但是交叉和變異的比例是變動的。對于單點交叉比例，我們可以設定為黃金分割點。雖然設定為黃金分割點作為單點交叉比例沒有用數學方法嚴格的證明，但是，大量的實驗表明，選擇黃金分割點往往可以得到較好的結果。對于變異比例，沒有交好的方法確定，只能設計交互式的實驗來調試決定。

3．權值的更新方式不一樣。神經網絡的權值的更新方式是時時的，而遺傳算法權值的更新方式是批量的。

4．兩者應用的范圍不一樣。神經網絡主要應用于模式匹配，錯誤診斷，監視病人的狀態，特征提取，數據過濾。而遺傳算法主要應用在計算機輔助設計，日程安排，經濟學的投資研究等。

1.2神經網絡和遺傳算法的相同點

1．有教師的學習。神經網絡的輸出是有目標的，當然是確定的。同時對于遺傳算法的目標也是確定的。所以兩者都是有目標的，也就是有教師的學習。

2．隨機近似優化過程。神經網絡中，如果把網絡的權值初始化為接近于0的值，那么在早期的梯度下降步驟中，網絡將表現為一個非常平滑的函數，近似為輸入的線性函數，這是因為sigmoid函數本身在權值靠近0時接近線性。同樣，遺傳算法的初始個體都是隨機產生的，它的交叉和變異都是一個不斷近似的過程。

3．并行化。神經網絡的每個神經元是獨立的，如果把每個神經元分配一個處理器，那么就可以采用并行的方式。同樣，遺傳算法很自然地適合并行實現，有粗粒度并行方法和細粒度并行方法。有粗粒度并行方法就是把群體細分成相對獨立的個體群，稱為類屬，然后為每個類屬分配一個不同的計算節點，在每個節點進行標準的GA搜索。細粒度并行方法就是給每個個體分配一個處理器，然后相鄰的個體間發生重組。

2算法的研究及改進

結合人工神經網絡和遺傳算法的研究的本質，通過兩種算法結合的研究及改進，提高算法的收斂速度，從大量的數據中模擬生物的特性來完成特定的任務和解決問題的方法和方向。由于遺傳算法是單層感知機，而神經網絡是多層感知機，所以可以從多層感知機的多層性，我們想象為遺傳算法是單層感知機作為神經網絡是多層感知機的輸入層。這樣，我們就可以采用遺傳算法的動態變更權值的特性來對神經網絡輸入層有效性的遺傳和變異。這種算法適合與沒有輸入，只有輸出的應用，就像無人駕駛技術中控制行駛的速度和方向的控制一樣。基本的框架如圖1：

圖1結合人工神經網絡和遺傳算法的框圖

Fig.1 Combined with artificial neural network and genetic algorithm diagram

最上面的是智能體，神經網絡的輸出來控制智能體，控制中心將神經網絡的權值用遺傳算法的初始體來提供。

2.1遺傳算法的基因作為神經網絡的權值變量

遺傳算法的基因的初始化必須要滿足神經網絡的輸入要求，一般遺傳算法的基因都是0，1編碼。但是為了達到神經網絡的輸入要求，是要在（-1，+1）之間隨機產生。

2.2遺傳傳算法中雜交點選擇

遺傳算法中，一般都是采用隨機平均變異[4][5]的方式，但是如果輸入是由遺傳算法的基因提供的話，為了保證在變異的時候，采用標記變異的方法。我們可以首先根據圖2的神經網絡來考慮：

圖2遺傳算法作為人工神經網絡和的權值圖

Fig.2 Genetic algorithm as artificial neural network and the weights of figure

很顯然，（0.3,-0.8,-0.2）是神經元1的權值 ；(0.6,0.1,-0.1)是神經元2的的權值；(0.4,0.5) 神經元3的權值。為了在遺傳算法中的雜交過程中，不破壞每個神經元的權值個數，特意標記（3，6）所在的箭頭。

2.3引入神經網絡輸入層的數據預處理

神經網絡的計算問題是神經網絡應用中最為關鍵的問題。如何提高網絡的訓練速度是算法研究的重點。我們在思考問題的時候，總是希望問題越簡單越容易解決。同樣，我們也可以通過對數據的預處理，來降低問題的難度。

為了減少輸入層的個數，我們可以先對數據進行預處理。預處理的方法為如下流程：

（1）.計算機器人前進方向Position(x,y)和目標的所在的位置Location(x,y)。

（2）.歸一化Position(x,y) 和Location(x,y)。

（3）.用點乘的計算公式計算兩者點乘。

（4）.用符號重載的方式計算是順時針還是相反。

（5）.計算角度=第3步的結果*第4步的結果。

3實驗結果及分析

3.1實驗框架

將本算法應用于掃雪機器人的智能控制中，設計的主要模塊：

3.1.1神經網絡部分的設計

神經網絡的輸入由四個變量組成：掃雪機器人方向向量（由兩個變量組成，即在X和Y的分量），發現目標，即雪的向量（由兩個變量組成，即在X和Y的分量）。神經網絡的隱含層由一層組成，而且由10個神經元。神經網絡的輸出由兩個變量組成，V1和V2，分別作用在機器人的左輪和右輪上。神經網絡的響應函數采用SIGMOD。

3.1.2遺傳算法部分的設計

遺傳算法的初始化是為神經網絡提供權值，所以是由[-1，1]隨機數產生。遺傳算法的變異是采用隨機變量的變異，選擇采用輪轉法。

3.1.3掃雪機器人

掃雪機器人用神經網絡來控制，當找到目標后，它的適值就加一。這樣就隨著發現目標越多，它的適值就越大。學習能力是通過不斷的學習后，它的適值就會加強。如果直接采用機器人前進方向和目標的所在的位置，那么神經網絡的輸入為四個變量。

3.2結果與分析

如果直接采用機器人前進方向和目標的所在的位置，那么神經網絡的輸入為四個變量。通過對掃雪機器人的學習過程，沒有進行預處理的數據，即四個變量輸入神經網絡后的參數設定：神經網絡的輸入為4，神經元為6個，輸出個數為2個，如圖3所示：

圖3網絡的參數設定圖

Fig.3 Network parameters set figure

我們設定初始的適值為0，如果發現一個目標后，它所對應的適值就加上1，這樣經過50次的進化后，沒有進行數據預處理的最大值是25，平均值是10.1333。如表1所示：

將50次的統計結果用柱狀圖進行對比,如圖4所示。

圖4進化50代后的加入數據預處理和沒有加入預處理的對比圖

Fig.4 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

為了減少輸入層的個數，我們可以先對數據進行預處理下面，用統計的方法對數據進行的結果分析，如表2所示。

將進化100代后，對比兩者的對比柱狀圖如圖5所示。

圖5進化50代后的加入數據預處理和沒有加入預處理的對比圖

Fig.5 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

實驗結果表明，為了減少輸入層的個數，先對數據進行預處理。通過對掃雪機器人的過程的數據分析進行分析，數據預處理后的智能進化學習能力相對于原始數據的智能進化學習能力有明顯的提高。

4結束語

本文提出了基于神經網絡和遺傳算法結合的改進算法，對于遺傳算法的變異操作進行改進，不會破壞單個神經元的輸入權值的基礎上，采用數據預處理的方法來減少輸入層的個數，從而提高進化學習的能力。從實驗數據中可以看到，本章提出的改進算法加快了學習速度，達到了提高智能學習的預期

目的。

參考文獻

[1] 喬俊飛，韓桂紅．神經網絡結構動態優化設計的分析與展望[J].控制理論與應用，2010,3(13):350-357.

[2] 葛繼科，邱玉輝,吳春明，等．遺傳算法研究綜述[J].計算機應用研究,2008,10(9):2911-2916.

[3] 丁建立，陳增強，袁著祉．智能仿生算法及其網絡優化中的應用研究進展[J].計算機工程與應用，2003,12(3):10-15

[4] 鞏敦衛，等．交互式遺傳算法原來及其應用[M].北京:國防工業出版社,2007.

第7篇：神經網絡優化方法范文

摘要：針對數據挖掘算法中常用的機器學習型算法進行研究。機器學習型算法特色是運用了人工智能技術，能在大量樣本集訓練和學習后自動找出運算需要的參數和模式。以機器學習型算法中的人工神經網絡為例研究數據挖掘技術，針對學習速度慢、抗干擾能力弱以及容易陷入局部最小值等缺點和傳統的遺傳算法存在算法早熟以及局部尋優能力弱等問題，提出一種通過改進常規遺傳算法的染色體結構和遺傳算子，并且通過引入自適應交叉和變異概率來對BP神經網絡結構參數進行優化的改進型遺傳優化BP神經網絡模型。最后通過煤礦空壓機故障診斷系統這一實例來研究改進型算法的數據挖掘技術的性能。研究結果表明，改進后的算法建立的診斷模型相比常規神經網絡的診斷模型診斷準確率更好，診斷效率更快。

關鍵詞 ：數據挖掘；BP神經網絡；遺傳優化算法；空壓機故障診斷

中圖分類號：TN957.52+9?34；TP274 文獻標識碼：A 文章編號：1004?373X（2015）20?0011?04

Application of machine learning algorithm in data mining

CHEN Xiaoyan

（Jiangsu Polytechnic College of Agricultural and Forestry，Jurong 212400，China）

Abstract：The machine learning algorithm commonly used in data mining algorithm is studied in this paper. AIT（artificialintelligence technology） is adopted in machine learning algorithm，which can automatically find out the parameters and modesrequired by operation after a large number of sample set training and learning. The artificial neural network in machine learningalgorithm is taken as an example to research the data mining technology. Since the traditional genetic algorithm has the short?comings of prematurity and weak local optimizing capacity，the improved genetic optimization BP neural network model is pro?posed by improving the chromosome structure and genetic operator，and by introducing adaptive crossover and mutation probabilityto optimize neural network structure parameters and solve the problems of slow learning speed，weak anti?jamming capability，and easily falling into local minimum value. Finally，the performance of the improved algorithm is studied by using the fault di?agnosis system of air compressor. The research results show that the improved diagnostic model，compared with the conventionalneural network diagnosis model，has better diagnostic accuracy and higher diagnostic efficiency.

Keywords：data mining；BP neural network；genetic optimization algorithm；fault diagnosis of air compressor

0 引言

數據挖掘技術是在整個社會發展中隨著科學和技術的不斷進步而順應需要所生。隨著信息化技術的不斷普及，人類社會逐步進入到信息化社會中，信息化管理技術隨之不斷提升，成本卻同時逐步下降，數據管理技術（Data Management Technology）在各企事業單位中進一步普及，從而推動企事業單位內部職能部門間的溝通聯絡。但是，隨之而來的弊病是海量數據的累積導致數據分析的困難[1?2]。

1 數據挖掘

數據挖掘算法中常用的有機器學習型算法和統計型算法兩類。前者的特色是運用了人工智能技術，能在大量樣本集訓練和學習后自動找出運算需要的參數和模式；后者則常用相關性分析、聚類分析、概率和判別分析等進行運算。不同算法當然有著各自不同的對應領域和目標，它們既能單獨使用，也能相互結合。

機器學習型算法中人工神經網絡方法被普遍運用，它具有極好的數據處理能力和自組織學習能力，并且能準確進行識別，從而有助于分類問題中的數據處理。人工神經網絡通過建構模型而工作，其模型多樣，能滿足不同需求。總體來看，人工神經網絡模型精確度高、魯棒性好，具有較強描述能力，在應用時可以無需專家支持。當然，它也存在一些缺陷，具體表現在：訓練數據所需要的時間較長；對所獲取知識的理解上不夠智能；開放性和可伸縮性也有一定局限性。

傳統的BP神精網絡存在學習速度慢、抗干擾能力弱以及容易陷入局部最小值等缺點，而傳統的遺傳算法存在算法早熟以及局部尋優能力弱等問題；所以本文提出一種通過改進常規遺傳算法的染色體結構和遺傳算子，并且通過引入自適應交叉和變異概率來對BP神經網絡結構參數進行優化的改進型遺傳優化BP神經網絡模型[3?4]。

2 改進型GA?BP 神經網絡

本文為了提高BP神經網絡的性能，針對常規遺傳算法的染色體結構和遺傳算子進行改進。引入自適應交叉、變異概率以平衡優化BP神經網絡的結構和初始權重。

（1）染色體結構設計。本文將染色體基因結構分為上下兩層結構，分別為控制基因和參數基因兩層，從而對常規的遺傳算法優化BP神經網絡模型進行改進。處于上層的控制基因通過對BP神經網絡的隱含層節點數優化從而實現對BP神經網絡結構的優化。處于下層的參數基因主要對BP神經網絡的連接權值和閾值進行優化。

（2）設計適應度函數。本文將適應度函數表示為：

式中：n 為訓練樣本個數； 是訓練數據的均方根誤差，處于0~1之間；yi 和y?i 分別是實際值和識別值。（3）算子選擇。本文提出的改進型遺傳優化BP神經網絡算法使用最優個體保留方法實現算子選取以常規的適應值比例算法選取方法引起的局部最小值等問題[5]。（4）交叉、變異算子。本文提出的改進型遺傳優化BP神經網絡算法的上層控制基因采用單點交叉和基本位變異算子，下層的參數基因使用整體算數交叉和非一致變異算子。

（5）自適應交叉、變異概率。本文通過對自適應交叉、變異概率進行設計以平衡優化BP神經網絡的結構和初始權重，具體設計過程如下，設定自適應交叉概率為：

式中：favr ，fmin 及fc 分別是種群的平均適應值、最小適應值以及交叉個體偏小的適應值；k1 ，k2 通常在1.0上下取值。設定自適應變異概率為：

式中：fm 是等待變異的個體適應值；k3 ，k4 通常在0.5上下取值[5?7]。

本文提出的改進型遺傳優化BP神經網絡算法的實施步驟如下：

Step1：采集并歸一化處理數據。將處理好后的數據分為訓練樣本數據和測試樣本數據兩大類。

Step2：對遺傳優化算法模型的基本參數，如進化最大代數為G ，種群的規模N 以及隱含層節點數等進行設定。

Step3：對種群上層種群個體使用二進制編碼，對種群下層種群個體使用實數編碼。

Step4：對種群各個個體解碼以確定BP神經網絡的結構參數。

Step5：遺傳操作種群中適應度優異的個體。

Step6：對種群中遺傳個體使用自適應概率進行交叉、變異操作，獲得新的子群。

Step7：對上下層的子群個體解碼以對BP神經網絡隱含層節點數、權值和閾值等結構參數進行更新。

Step8：如果迭代步數達到設定最大值或者最佳個體適應度值滿足要求，進入下一步，否則從Step5繼續循環。

Step9：對適應值最佳的個體進行解碼以確定最佳的BP神經網絡隱含層節點數、閾值和連接權值等參數[8]。

3 數據挖掘應用實例

本文以煤礦空壓機的故障診斷系統為實例，對提出的基于改進型GA?BP神經網絡的數據挖掘模型進行研究。

3.1 煤礦空壓機故障診斷系統

在建立空壓機故障診斷模型之前，首先要通過查閱大量的空壓機使用說明、故障說明、專家、操作人員的現場使用經驗以及集合現在實時監測數據對空壓機故障類型、故障來源等問題進行歸納總結。

以某煤礦的煤礦空壓機故障診斷系統為例進行研究。通過經驗及現場數據對煤礦空壓機歸納出5種工作狀態，用符號Y1~Y5表示，即為神經網絡故障診斷模型的輸出。Y1~Y5 分別表示：煤礦空壓機為無故障工作狀態；煤礦空壓機冷卻水系統出現故障的工作狀態；煤礦空壓機系統出現故障的工作狀態；煤礦空壓機軸承出現故障的工作狀態；煤礦空壓機電路系統出現故障的工作狀態。

當煤礦空壓機出現上述故障情況時，會有相應的故障征兆，根據經驗及文獻可以將煤礦空壓機的故障征兆或者故障現象歸納為10種，用符號X1~X10表示，即為神經網絡故障診斷模型的輸入。X1~X10分別表示：煤礦空壓機排氣量過低、空壓機排氣壓力不足、空壓機排氣溫度超限、空壓機冷卻水溫度超限、空壓機冷卻水壓力不足、空壓機主機轉速低限、空壓機振動超限、空壓機系統油溫超限、空壓機油壓力不足以及軸承溫度超限。

煤礦空壓機的故障征兆或者故障現象與煤礦空壓機出現故障的工作狀態有一定的內在聯系，但又不是一一對應的，屬于非線性關系，在此將歸納整理的煤礦空壓機的故障狀態和故障現象之間的內在聯系列于表1。

通過長期的現場監測得到了大量關于煤礦空壓機在正常工作及各種故障狀態下的系統數據。通過對數據處理選取100 組數據作為基于數據挖掘的故障診斷系統的訓練數據樣本，選取100組數據用于基于數據挖掘的故障診斷系統的性能測試數據樣本。表2列出了10組部分用于網絡訓練和測試的數據樣本。

表1 空壓機故障狀態及故障現象關系

本文將所有用于訓練和測試的數據樣本進行歸一化處理以消除不同傳感器信號數據不同量綱產生的影響，通過式（4）將所有數據歸一到0.05~0.95之間： 式中：S 為歸一化處理之前的值；Smax 為是歸一化處理的最大值；Smin 為是歸一化處理的最小值。 表2 訓練和測試數據樣本

建立基于本文提出的基于改進型GA?BP神經網絡的故障診斷系統主要分為兩大塊：

第一塊是利用改進GA 算法對BP神經網絡結構參數進行優化，如閾值θj ，γ 、隱層節點數m 以及連接權值wj1 ，wij 等；第二塊就是根據優化后的BP神經網絡結構參數進行建模。

故障診斷系統的輸入單元數由煤礦空壓機故障現象確定，通過上述分析，確定數量為10，即X1~X10；輸出單元個數由煤礦空壓機的工作狀態確定，通過上述分析，確定數量為5，即Y1~Y5；隱含層為單層，單元數量一般先通過經驗試湊法確定為16。初始閾值θj ，γ 以及初始連接權值wj1 ，wij 在-3~3范圍內取值；神經網絡的最大訓練次數設定為3 000，精度為10-3。

設定遺傳算法中種群的規模為N = 150 ，進化最大代數為G = 300 ，及其他參數b = 0.1 ，k1 = k2 = 1.0 ，k3 = k4 = 0.5 。

通過遺傳算法優化的平均適應度曲線如圖1所示，隱含層節點數優化曲線如圖2所示，最終隱含層節點數通過189次的迭代后確定為22。

3.2 基于數據挖掘的空壓機故障診斷分析針對上述建立的煤礦空壓機故障診斷系統進行仿真研究，為了比較本文提出的改進型GA?BP神經網絡算法的優越性能，使用基于常規GA優化的BP神經網絡建立同樣的煤礦空壓機故障針對系統，使用同樣的訓練數據樣本進行網絡訓練，使用同樣的測試數據樣本進行性能測試。使用采集并處理后的100組訓練樣本對模型進行訓練，得到兩種模型的誤差逼近曲線如圖3，圖4所示。

通過對比可以看出，使用本文提出的改進型GA?BP神經網絡算法經過569 次迭代就使得誤差達到了設定范圍內，而使用常規GA 優化的BP 神經網絡算法經過2 779次迭代才使得誤差滿足要求。因此在網絡的訓練速度、收斂速度和收斂精度方面，本文提出的改進型GA?BP神經網絡算法更勝一籌。

下面使用采集并處理后的100 組測試數據樣本對故障診斷模型的診斷性能進行測試。測試結果表明，常規GA優化的BP神經網絡的診斷正確率為87.5%，診斷時間為564 s，輸出值不穩定，而本文提出的改進型GA?BP神經網絡的診斷正確率為98.2%，診斷時間為246 s，輸出值穩定。

圖4 改進GA優化的BP神經網絡訓練誤差

可以看出，相比于常規GA優化的BP神經網絡，本文提出的改進型GA?BP神經網絡算法所建立的故障診斷模型的性能更優，檢測準確率以及速度更快，誤判率極低。

4 結論

數據挖掘技術是在整個社會發展中隨著科學和技術的不斷進步而順應需要所生，在近年來發展十分迅速。本文針對機器學習算法中的人工神經網絡算法在數據挖掘技術中的應用進行了研究，提出一種通過改進常規遺傳算法的染色體結構和遺傳算子，并且通過引入自適應交叉和變異概率來對BP神經網絡結構參數進行優化的改進型遺傳優化BP神經網絡模型。最后通過將提出的基于改進GA?BP神經網絡算法的數據挖掘技術應用于無法用數學模型建立、具有復雜非線性、數據龐大的煤礦空壓機故障診斷系統中。

參考文獻

[1] 胡秀.基于Web 的數據挖掘技術研究[J].軟件導刊，2015（1）：149?150.

[2] 李仕瓊.數據挖掘中關聯規則挖掘算法的分析研[J].電子技術與軟件工程，2015（4）：200?202.

[3] 陳勇.一種目標行為序列模式的數據挖掘方法[J].無線電通信技術，2015（2）：79?81.

[4] 于書媛，陳靚，王偉.基于空間數據挖掘的合肥市應急避難場所選址[J].地理空間信息，2015（1）：93?95.

[5] 莊健，楊清宇，杜海峰，等.一種高效的復雜系統遺傳算法[J].軟件學報，2010（11）：2790?2801.

[6] 劉磊.基于遺傳神經網絡的指數跟蹤優化方法[J].系統工程理論與實踐，2010（1）：22?29.

[7] 宋國峰，梁昌勇，梁焱，等.改進遺傳算法優化BP 神經網絡的旅游景區日客流量預測[J].小型微型計算機系統，2014（9）：2136?2141.

第8篇：神經網絡優化方法范文

關鍵詞：遺傳算法 神經網絡 瓦斯突出 預測

中圖分類號：TD712 文獻標識碼：A 文章編號：1672-3791（2017）01（a）-0000-00

預測煤層中的瓦斯含量是進行煤與瓦斯突出風險研究的重要一環，由于影響瓦斯含量的地質因素復雜多樣，以及各因素間存在著復雜的非線性關系，迄今為止，對瓦斯突出的預測主要使用回歸分析方法，預測的結果往往跟實際的情況差別較大，因此需要使用新的方法建立預測模型來實現對瓦斯突出高精度的預測。

1 利用遺傳算法改進的神經網絡建立瓦斯突出預測模型

（1）網絡輸入參數的確定：經查閱相關文獻和咨詢得知瓦斯突出的主要影響因素有：煤層底板標高、煤層到斷層距離、煤層到最近剝蝕面距離、頂板砂巖比、統計單元中有無斷層、基巖厚度、煤厚。

（2）網絡輸出參數的確定：選擇二進制數0和1分別表征瓦斯不突出和突出。

（3）網絡的構造： 一般地可以用一個三層神經網絡實現預測功能，此神經網絡的輸入層有n個神經元，根據經驗公式選取隱含層有（2n+1）個神經元，輸出層有m個神經元，因此本模型中的神經網絡可以采用3層神經網絡。

（4）網絡的訓練：訓練樣本取自唐山開灤多個礦井具有代表性的10個突出點，利用突出點的數據訓練神經網絡，得到預測模型。

（5）網絡的精確度驗證： 利用已完成的人工神經網絡對實際問題進行試驗研究。把在開灤礦井采取的11～20組數據的瓦斯突出指標輸入已經訓練的網絡中，驗證人工神經網絡的預測結果與實際突出情況的吻合度，如果吻合度低，就需要對網絡進行改動，直至達到滿意的吻合度。

（6）利用遺傳算法對神經網絡的權值和閾值進行優化

個體的編碼：將神經網絡各層之間可能存在的連接權值和閾值編碼成實數碼串或者進行二進制碼串，每條碼串中包含著網絡中的所有權值、閾值其排列順序可以隨意定義，不受限制，組成一個染色體。

產生初始種群：隨機生成一定數量的碼串個體作為一個初始種群。

計算適應度：設網絡有K個訓練樣本，讓所有的訓練樣本依次通過解碼后生成的神經網絡，計算所有訓練樣本一次通過的平均總誤差作為每條染色體的適應度， 其中， 為瓦斯含量的實測值， 為網絡的輸出值。

④將網絡的所有連接權值和閾值進行實數編碼，構成一個染色體，每條染色體代表一個神經網絡模型的權值和閾值。設定初始種群規模為20，進化代數為220，交叉概率0.2 ，變異概率為0.1，為了防止遺傳算法的早熟現象，變異概率先定義為0.1，然后在逐漸遞增。算法運行到158代時獲得最佳的連接權值，網絡平均總誤差為0.001。

2 實例分析及算例求解

選取唐山開灤煤礦為例，對該地進行瓦斯含量預測研究。對影響瓦斯含量的主要因素進行分析，歸納確定了神經網絡的輸入層神經元個數為7，對應為7個輸入變量即7個影響瓦斯含量的因素。其中對輸入變量中的頂板砂巖比、統計單元中有無斷層、頂板基巖厚度、煤層厚度四個影響因素采用二變量比值法將其定量化。處理方法的劃分條件如表1所示，輸出層神經元個數是1。在開灤集團獲得的相關數據如表2所示，其中1～10作為網絡訓練樣本，11～20作為網絡檢驗樣本，用來檢驗模型的預測精度。

利用前10組數分別訓練自適應的BP神經網絡和與遺傳算法結合改進的網絡得到瓦斯突出預測模型，如圖1和2所示。然后利用11～20組的樣本對網絡性能進行檢驗，并將檢驗結果和實測值的數據進行對比，對比后的結果如表3所示。 由圖1、2可知用遺傳算法改進的神經網絡收斂速度更快，由表3可知用遺傳算法改進后的神經網絡預測的值跟實際的值更加的逼近即預測精度高。

3 結論

本文采用遺傳算法與神經網絡相結合的方法，通過優化神經網絡的權值和閾值，使得預測的絕對誤差從-0.0119～0.2000縮小到-0.0013～0.0611，提高了預測的精度，加快了收斂速度。對煤礦安全發展具有一定的意義。

參考文獻

[1]曾文飛，張英杰，顏玲.遺傳算法的基本原理及其應用研究[J]，軟件導刊，2009

[2]梁芳.遺傳算法的改進及其應用[D].武漢理工大學，2008.

[3]彭海雁.影響煤與瓦斯突出的主控因素研究[D].東北大學，2013.

第9篇：神經網絡優化方法范文

關鍵詞：神經網絡；遺傳算法；優化理論

一、引言

在人類的歷史上，通過學習與模擬來增強自身適應能力的例子不勝枚舉。模擬飛禽，人類可以翱游天空；模擬游魚，人類可以橫渡海洋；模擬昆蟲，人類可以縱觀千里；模擬大腦，人類創造了影響世界發展的計算機。人類的模擬能力并不僅僅局限于自然現象和其它生命體。自從20世紀后半葉以來，人類正在將其模擬的范圍延伸向人類自身。

神經網絡是人類對其大腦信息處理機制的模擬，早期的自動機理論假設機器是由類似于神經元的基本元素組成，從而向人們展示了第一個自復制機模型。近年來諸如機器能否思維、基于規則的專家系統是否能勝任人類的工作、以及神經網絡能否使機器具有生物功能已成為人工智能關注的焦點。

遺傳算法是一種更為宏觀意義下的仿生算法，它模仿的機制是一切生命與智能的產生與進化過程。人類之所以能夠向其自身的演化學習以增強決策問題的能力，是因為自然演化過程本質就是一個學習與優化的過程。

神經網絡和遺傳算法都是仿效生物處理模式以獲得智能信息處理功能的理論，二者雖然實施方法各異，但目標相近，有很多特點相同，功能類似，對二者進行深入地對比研究，并取長補短，將二者綜合運用是非常有意義的課題。

二、神經網絡與遺傳算法概述

自1943年第一個神經網絡模型MP模型提出至今，神經網絡的發展非常迅速，特別是1982年提出的Hopfield網絡模型和1985年提出的8P算法。使神經網絡逐步發展成為用途廣泛的系統。神經網絡是由大量神經元廣泛互連。形成大規模并行處理和分布式的信息存儲的復雜網絡系統。單一神經元可以有許多輸入、輸出。神經元之間的相互作用通過連接的權重體現。神經元的輸出是其輸入的函數。雖然每個神經元的結構和功能極其簡單和有限，但大量神經元構成的網絡系統的行為則是豐富多彩的。神經網絡計算的基本特征是大規模并行處理、容錯性、自適應性和自組織性。大規模并行處理指能同時處理與決策有關的因素，雖然單個神經元的動作速度不快。但網絡的總體并行處理速度極快。容錯性指由于神經網絡包含的信息是分布存儲的，即使網絡某些單元和連接有缺陷，仍可以通過聯想得到全部或大部分信息。自適應性和自組織性指它可以通過學習，不斷適應環境，增加知識的容量。

遺傳算法最早由美國密執安大學的Holland教授在1975年發表的論文“自然和人工系統的適配”一文中提出。它是一種借鑒生物界自然選擇思想和遺傳機制的全局隨機搜索算法，其實現方法是，從一個初始種群出發，不斷重復執行選擇、雜交和變異的過程，使種群進化越來越接近某一目標。它的基本特征是大規模并行處理、通用性、魯棒性。大規模并行處理指遺傳算法的操作對象是一組可行解而非單個解。搜索路徑有多條而非單條，因而具有良好的并行性。通用性指只需利用目標的取值信息，而無需梯度等高價值信息，因而適用于任何大規模、高度非線性的不連續多峰函數的優化以及無解析表達式的目標函數的優化，具有很強的通用性。魯棒性指算法的擇優機制是一種軟選擇，再加上其良好的并行性，使它具有很好的全局優化性和穩定性。

三、神經網絡與遺傳算法在優點上的相似性

(一)二者都可對問題進行大規模的并行處理。整體上極大提高了運算速度。這是神經網絡和遺傳算法優于傳統算法的最重要的特征。

對于神經網絡來說，雖然每個神經元都要計算連接函數和傳遞函數(也稱作用函數)，但神經元的計算可以分布式地并行進行。對于遺傳算法來說，每一個個體都需要根據適應值函數計算適應值，每一代都有很多個體，表面看來也有很大的計算量，但可同時對多個可行解進行操作，所以整體上與傳統的計算方法相比，運算時間很短。從這一點來看，神經網絡和遺傳算法都需要發展分布式并行計算系統來替代傳統的計算機，這種計算系統不再是傳統計算機順序執行命令的運行過程，而是希望對輸入進行平行處理；這種計算系統不再是只包含一個或幾個復雜的計算設備，而是由眾多簡單設備有機組成在一起共同執行相同的計算功能；一旦適合這種要求的硬件系統得到發展，神經網絡和遺傳算法將能得到更加廣泛地應用，更有效地解決更大規模的實際問題。

(二)二者都具有高度的適應性和容錯性

人工神經網絡在解決某個具體問題時，可以反復用示例來訓練它，在訓練的過程中自組織自學習來適應新的情況。而且，由于神經網絡中信息的分布式存貯，即使個別神經元出錯，也不會導致網絡運行的癱瘓，所以總體上具有較強的可靠性；而遺傳算法通過每一代的選擇過程來淘汰適應值較小的個體，保留適應值較大的個體，從而使收斂的結果趨于適應目標值，通過變異算子將每一代的種群空間擴大到個體空間，使每一個個體都有被選進種群的機會，每一個解都有機會參與計算。

(三)二者都通過對有限個可行解進行操作來獲取對整個解空間的求解，實踐證明對于其中已經相對成熟的算法，二者具有較好的魯棒性。

神經網絡，如BP算法，通過對有限個模式的訓練和學習來實現對所有模式的識別；事實證明效果很好。遺傳算法通過在個體空間中選擇有限數目的個體作為種群進行代代操作來實現對個體空間中最優解的搜索。兩種方法都選擇了較少的操作數目，但由于算法本身的優越性，仍能取得較好的穩定性和收斂性。

四、神經網絡與遺傳算法在缺點上的相似性

(一)二者優越性的理論分析有待完善。

神經網絡與遺傳算法各自的種類繁多，神經網絡主要有前饋(BP)神經網絡、Hopfield網絡、自組織特征映射網絡、波爾茲曼機等，其中最有影響的是BP網絡和Hopfleld網絡；遺傳算法主要有簡單遺傳算法、統計遺傳算法、共同進化遺傳算法及其它改進后的遺傳算法；針對要解決問題的性質可以選擇合適的網絡或算法。這些網絡或算法已經被諸多實踐證明其優越性。

目前神經網絡和遺傳算法已經在語音識別、模式識別、圖像處理和工業控制等領域取得了顯著成效。雖然實踐已證明了其無比的優越性，但在理論分析上，兩者都略有不足。BP算法和Hopfield網絡雖然給出了算法的執行原理及過程，但其優越性的理論仍不嚴格，即并未對不同情況定量說明，為什么這種算法能夠快速收斂或快速求解。對遺傳算法來說，早在Holland提出遺傳算法之初就提出了著名的模式定理和穩并行性分析來定量說明遺傳算法的優越性，并長期以來被人們所接受。但是模式定理只對簡單遺傳算法有效，因為其證明過程依賴于二進制編碼，對非二進制編碼收斂性的分析至今也未得出。除此之外，近年來，有很多著名學者也對模式定理的證明過程提出了質疑。所以，找到神經網絡和遺傳算法優越性的理論基礎仍是一項艱巨的科研任務和課題。

(二)在算法的執行過程中參數的確定都需要依賴于人的經驗。

建立一個神經網絡需要首先確定它的基本結構、學習規則以及工作方式(前饋式還是演化式)，網絡結構包括網絡的拓撲結構即網絡中神經元的連接方式和節點轉換函數兩部分。結構的優劣對網絡的處理能力有很大影響，一個好的結構應能圓滿解決問題，同時不出現冗余節點和冗余連接，但不幸的是，神經網絡結構的設計基本上還依賴于人的經驗，尚沒有一個系統的方法來設計一個適當的網絡結構。目前，人們在設計網絡結構時，只能或者預先指定。或者采用遞增或遞減的探測方法。

對遺傳算法來說，需要針對待解決的問題而設計出編碼方案、三個算子(選擇、雜交、變異)、進化機制以及各個概率參數，如雜交概率、變異概率等。參數的確定也沒有理論支持，只是人為地認為雜交概率的值確定在(0.65，0，9)范圍內，變異概率的值確定在(0.001.0.01)比較好，目前，在遺傳算法的實際執行過程中一般需要預先指定這兩個參數，近來有學者提出在遺傳算法的執行過程中動態地改變這些參數的方法也取得了較好的效果。