神經(jīng)網(wǎng)絡(luò)的權(quán)值精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經(jīng)網(wǎng)絡(luò)的權(quán)值主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵字：智能手機(jī)；安全；神經(jīng)網(wǎng)絡(luò)；病毒病毒識別模型在智能手機(jī)監(jiān)測中的優(yōu)越性以及可行性。

0 引言

現(xiàn)階段，互聯(lián)網(wǎng)已成為當(dāng)今社會不可或缺的一部分，智能手機(jī)的數(shù)量也是與日俱增，與此同時不斷發(fā)展的是手機(jī)病毒，手機(jī)病毒已成為現(xiàn)代病毒發(fā)展的趨勢。

所謂手機(jī)病毒，其實是一種破壞手機(jī)系統(tǒng)的程序，且其傳播手段極為廣泛，可通過短信、彩信、郵件、網(wǎng)站或者下載文件、藍(lán)牙等傳播，手機(jī)一旦被病毒感染就會根據(jù)所感染病毒程序的要求對手機(jī)實施破壞，其表現(xiàn)方式不盡相同，可以使關(guān)機(jī)、死機(jī)、刪除手機(jī)資料、自動通話、發(fā)郵件等，有的病毒還能夠破壞手機(jī)SIM卡和芯片等手機(jī)硬件設(shè)備。

怎樣才能避免手機(jī)遭受病毒的破壞？其主要措施還是殺毒軟件和防火墻：

①定期對殺毒軟件的病毒庫進(jìn)行更新升級，盡可能的保證其擁有當(dāng)時已出現(xiàn)的病毒程序的破解，若病毒庫中不存在某個病毒的特征，則殺毒軟件就不能對該病毒進(jìn)行查殺。此外，現(xiàn)在的手機(jī)殺毒軟件病毒庫采用的是特征代碼法，病毒的細(xì)微的變化都需要病毒庫對其進(jìn)行辨別，然而智能手機(jī)的存儲空間和運(yùn)算能力都是有限的，所以這種防殺毒的方法對智能手機(jī)而言，并不是完美的。

②而智能手機(jī)的防火墻主要的作用是攔截騷擾電話等，而并不是對手機(jī)病毒進(jìn)行監(jiān)控，面對現(xiàn)存的多樣易變的病毒，防火墻更是顯得微不足道。

究竟該選擇何種方式來保護(hù)手機(jī)，這也是本文研究的重點―神經(jīng)網(wǎng)絡(luò)。

1 神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)是依據(jù)生物神經(jīng)的機(jī)制和原理，對信息進(jìn)行處理的一種模型。它能夠模擬動物大腦的某些機(jī)制機(jī)理，實現(xiàn)一些特定的功能。人工神經(jīng)網(wǎng)絡(luò)具有很大的優(yōu)越性：

①具有自學(xué)功能。比如說，當(dāng)對一幅圖像進(jìn)行識別時，將各種不同的圖像樣本及其對應(yīng)的結(jié)果輸入人工神經(jīng)網(wǎng)絡(luò)，它就能夠自己學(xué)習(xí)識別相同類型的圖像。

②具有聯(lián)想存儲功能。人工神經(jīng)網(wǎng)絡(luò)中的反饋網(wǎng)絡(luò)具備了聯(lián)想存儲的功能。

③具有高速尋找優(yōu)化解的功能。

2 神經(jīng)網(wǎng)絡(luò)安全監(jiān)控系統(tǒng)

神經(jīng)網(wǎng)絡(luò)安全監(jiān)控系統(tǒng)就是監(jiān)控手機(jī)應(yīng)用程序，使手機(jī)的正常業(yè)務(wù)能夠順利進(jìn)行，而對那些異常業(yè)務(wù)則進(jìn)行阻止。所謂正常的業(yè)務(wù)就是那些手機(jī)用戶已知的、按照用戶的意愿運(yùn)行的、并且其運(yùn)行并不破壞用戶手機(jī)中的資源和產(chǎn)生額外費(fèi)用的已經(jīng)授權(quán)的程序。

通過神經(jīng)網(wǎng)絡(luò)監(jiān)控手機(jī)的而應(yīng)用程序的流程圖如圖1所示：

圖1 神經(jīng)網(wǎng)絡(luò)安全監(jiān)控流程圖圖2 單層感知器神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)智能手機(jī)安全監(jiān)控的第一步是獲取所運(yùn)行程序的特征，然后借助于神經(jīng)網(wǎng)絡(luò)的識別功能，對所提取的應(yīng)用程序的行為特征進(jìn)行識別，如果識別結(jié)果為病毒手機(jī)會向用戶發(fā)出提示信息，若不為病毒則程序?qū)⒗^續(xù)運(yùn)行。

3.1 程序行為特征的獲取

這里舉個例子說明。例如OwnSkin.A病毒，該病毒以手機(jī)主題的形式誘導(dǎo)手機(jī)用戶進(jìn)行下載安裝，一旦該病毒被安裝進(jìn)了手機(jī)，它就會在用戶不知情的情況下自動連接網(wǎng)絡(luò)，自動想外界批量發(fā)送短信，對手機(jī)收到的短信的信息內(nèi)容進(jìn)行刪除等等。從對病毒的描述詳細(xì)程度方面來說，病毒具有很多種特征，本文以3個為例，進(jìn)行說明，這3個特征分別是有無按鍵、是否自啟動、是否特殊號碼，程序行為特征獲取的方法如下：

①針對手機(jī)自啟動的行為特征：每種手機(jī)的系統(tǒng)，都有其正常的程序啟動方式，例如Windows Mobile通過“啟動”設(shè)置，Symbian的系統(tǒng)式通過“Recognizer”來設(shè)置程序的啟動，Linux系統(tǒng)是將啟動語句加入/ect/init.d/rcs，或者/usr/etc/rc.local中，在程序啟動的時候?qū)@些個位置進(jìn)行監(jiān)控，就可以很容易的判別其是否為自啟動。

②針對按鍵這個行為特征：塞班的系統(tǒng)對是否有按鍵這個行為特征的監(jiān)控是粗略的監(jiān)控，以短信為例，手機(jī)短信的使用一般是先按功能鍵啟動功能圖標(biāo)，然后選取短信的圖標(biāo)，接著是對短信內(nèi)容的編輯，即一系列的數(shù)字鍵，監(jiān)控可得到一個相應(yīng)的按鍵序列，這樣就可以通過是否有按鍵這個行為特征來監(jiān)測手機(jī)程序的啟動是否正常。

③針對“被叫號碼”和“文件信息”的特征： 對于被叫號碼主要執(zhí)行的是，查看所要撥出去的電話號碼是否是設(shè)置在黑名單里的電話，對于文件信息則是查看信息中所添加的附件是否是安裝文件，如果是手機(jī)用戶之間的正常傳輸行為，則必定有按鍵行為特征，這樣也就會避免手機(jī)中的病毒程序隱蔽性的自啟動來傳輸文件。

3.2 神經(jīng)網(wǎng)絡(luò)建模

仍舊以上述3個行為特征為例，將其三個特征分別用“0”或者“1”來表示，若無按鍵、自啟動、特殊號碼，其特征值都取“1”，反之則取“0”，這三個特征值一共組合成了8中可能出現(xiàn)的情況，將其標(biāo)記為矩陣如下：

(1)

借助于神經(jīng)網(wǎng)絡(luò)的識別功能，本文以單層單神經(jīng)元的神經(jīng)網(wǎng)絡(luò)為例進(jìn)行說明，采用以下的參數(shù)對神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)計：

該網(wǎng)絡(luò)包含有一個輸入向量，包汗三個元素，并且每個元素取0―1之間的值。

神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元通過hardlim函數(shù)為傳輸手段，根據(jù)這個函數(shù)設(shè)計出如圖2所示的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),：

(2)

該結(jié)構(gòu)輸出結(jié)果為二值向量“0”或者“1”，其中“0”表示不是病毒特征，“1”則表示是行為特征。

在智能手機(jī)的實際應(yīng)用中，傳輸函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)、層數(shù)極易神經(jīng)元等的類型多種多樣，可根據(jù)病毒的實際情況進(jìn)行選擇和應(yīng)用，在此筆者只是舉個例子來論述神經(jīng)網(wǎng)絡(luò)是如何識別網(wǎng)絡(luò)的。當(dāng)網(wǎng)絡(luò)建好之后，就需要通過適當(dāng)?shù)姆椒▽Σ《緲颖具M(jìn)行訓(xùn)練得出誤差。

仍以上述例子為例進(jìn)行訓(xùn)練：

輸入向量為：p= ;目標(biāo)向量選為：t= ,在MATLAB7.1的環(huán)境中對病毒進(jìn)行訓(xùn)練，根據(jù)所的結(jié)果得出訓(xùn)練的誤差性能曲線，如圖3所示：

圖3 訓(xùn)練誤差性能曲線

經(jīng)過訓(xùn)練并獲取矩陣權(quán)重，至此，神經(jīng)網(wǎng)絡(luò)的建模基本完成，其模型為

a=hardlim(P1*2+P2*2+P3*1-3)

在手機(jī)中所執(zhí)行的應(yīng)用程序，計算程序的行為特征向量與病毒的行為特征向量（111）之間的歐式距離，當(dāng)所得之?dāng)?shù)比程序的特征行為向量和正常行為特征向量之間的歐式距離大時，系統(tǒng)將將此程序判定為病毒。

運(yùn)用神經(jīng)網(wǎng)絡(luò)系統(tǒng)對手機(jī)進(jìn)行監(jiān)測不需要像殺毒軟件一樣需要定期更新，這對手機(jī)的安全具有更好的防護(hù)作用。

3結(jié)語

隨著現(xiàn)代社會智能手機(jī)數(shù)量的增多和日常化，網(wǎng)絡(luò)黑客技術(shù)也在不斷的發(fā)展和完善，因此智能手機(jī)安全問題已然不能忽視或者小視。本文針對這個問題，以及殺毒軟件和防火墻的不足之處，論述了神經(jīng)網(wǎng)絡(luò)病毒識別模型在智能手機(jī)監(jiān)測中的優(yōu)越性以及可行性。

參考文獻(xiàn)

[1]劉一靜,孫瑩,藺洋. 基于手機(jī)病毒攻擊方式的研究[J]信息安全與通信保密, 2007, (12) .

[2]李錦. 手機(jī)病毒特點及防范對策[J]通信技術(shù), 2009, (02) .

[3]楊建強(qiáng),吳釗,李學(xué)鋒. 增強(qiáng)智能手機(jī)安全的動態(tài)惡意軟件分析系統(tǒng)[J]. 計算機(jī)工程與設(shè)計, 2010, (13) .

[4]智能手機(jī)安全防護(hù)框架淺析[J]. 信息安全與通信保密, 2010, (10).

第2篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

【關(guān)鍵詞】自組織神經(jīng)網(wǎng)絡(luò)；智能建筑管理；BP神經(jīng)網(wǎng)絡(luò)

1 基于自組織神經(jīng)網(wǎng)絡(luò)技術(shù)原理

基于大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)技術(shù)[1]是在自組織神經(jīng)網(wǎng)絡(luò)技術(shù)和專家系統(tǒng)的基礎(chǔ)原理運(yùn)用多層數(shù)據(jù)融合彌補(bǔ)了單循環(huán)數(shù)據(jù)在智能建筑工程管理分析數(shù)據(jù)處理的不足和邏輯的缺陷學(xué)科.多跳自組織神經(jīng)網(wǎng)絡(luò)是智能傳感器采集數(shù)據(jù)訓(xùn)練樣本仿真學(xué)習(xí)模型即自動增速各個自組織神經(jīng)元連接權(quán)閥值與感知識別隱式分布在整個網(wǎng)絡(luò)結(jié)構(gòu)體系中實現(xiàn)自組織神經(jīng)網(wǎng)絡(luò)模式記憶與信息處理應(yīng)用.

2 基于大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)在智能建筑管理中研究

2.1 基于多跳自組織神經(jīng)網(wǎng)絡(luò)在造價預(yù)測研究

基于大規(guī)模自組織BP神經(jīng)模型應(yīng)用40個高層智能建筑工程樣本訓(xùn)練并用工程實例進(jìn)行驗證高精確性;而用大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)模擬與輸入層和隱含層加入了偏置自組織神經(jīng)元來促進(jìn)學(xué)習(xí)訓(xùn)練樣本數(shù)據(jù)中有噪聲、干擾等會造成過度學(xué)習(xí)現(xiàn)象,同時采用遺傳優(yōu)化算法進(jìn)行建筑結(jié)構(gòu)優(yōu)化.基于BP神經(jīng)在智能建筑工程估價中的應(yīng)用“特征提取器”的運(yùn)算大量過去的工程資料中自動提取工程特征與預(yù)算資料的規(guī)律關(guān)系數(shù)據(jù).

2.2 基于大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)在工程管理績效評價中的應(yīng)用

運(yùn)用大規(guī)模自組織BP神經(jīng)模型對工程管理績效評價問題進(jìn)行研究建立綜合考慮工期、質(zhì)量、費(fèi)用、安全四大控制指標(biāo)的工程管理績效評價模型[2].實踐證明,基于BP神經(jīng)網(wǎng)絡(luò)在運(yùn)算工程管理績效評估模型有利于多跳自組織神經(jīng)網(wǎng)絡(luò)預(yù)測工程工期、質(zhì)量、成本、安全與績效之間復(fù)雜的非線性關(guān)系來提高管理績效的評價數(shù)據(jù).

2.3 基于遺傳算法模型在建設(shè)工程評標(biāo)結(jié)構(gòu)優(yōu)化應(yīng)用

基于多層神經(jīng)網(wǎng)絡(luò)的工作原理是先將輸入信號傳輸?shù)较乱粚庸?jié)點運(yùn)算函數(shù)處理后再將該節(jié)點的輸出信息向下一層節(jié)點傳輸?shù)叫盘杺鬏數(shù)捷敵鰧庸?jié)點為止.同時運(yùn)用遺傳算法模型構(gòu)造及算法設(shè)計進(jìn)行方案優(yōu)劣排序、換位矩陣以及能量函數(shù)構(gòu)造、大規(guī)模自組織神經(jīng)元之間連接和輸出,并用實例說明了該方法的優(yōu)越性和實用性與非線性.

2.4 基于BP神經(jīng)網(wǎng)絡(luò)模型在建設(shè)工程招投標(biāo)管理應(yīng)用研究

基于BP神經(jīng)網(wǎng)絡(luò)多層數(shù)據(jù)融合多跳自組織神經(jīng)網(wǎng)絡(luò)技術(shù)原理分析自動預(yù)測工程招投標(biāo)的招標(biāo)價格和風(fēng)險因素分析以及競標(biāo)單位資格審查等方面的應(yīng)用指出多跳自組織神經(jīng)網(wǎng)絡(luò)具有的高度并行處理和可完成復(fù)雜輸入輸出的非線性映射組合結(jié)構(gòu),不僅可以保證高的中標(biāo)率,且可避免招標(biāo)過程中不確定性因素的影響.運(yùn)用大規(guī)模自組織神經(jīng)網(wǎng)絡(luò)的工程承包招投標(biāo)報價的研究,提出了一個多因素確定高層智能建筑投標(biāo)報價的大規(guī)模自組織模型影響報高率的諸多因素,并確定了其權(quán)值即確定了用BP神經(jīng)網(wǎng)絡(luò)實施黑箱操作的樣本輸入值和目標(biāo)值再通過訓(xùn)練樣本自主調(diào)整修正輸入節(jié)點和輸出節(jié)點間的聯(lián)系得出符合各種情況要求的權(quán)值矩陣算法.

2.5 基于智能建筑算法模型研究

基于BP神經(jīng)網(wǎng)絡(luò)是以訓(xùn)練樣本算法即誤差反向傳播算法即BP神經(jīng)算法的學(xué)習(xí)過程分為信息的正向傳播和誤差的反向傳播[1],其通過訓(xùn)練樣本前一次迭代的權(quán)值和閾值來應(yīng)用神經(jīng)網(wǎng)絡(luò)技術(shù)的第一層向后計算各層大規(guī)模自組織神經(jīng)元的輸出和最后層向前計算各層權(quán)值和閾值對總誤差的梯度進(jìn)而對前面各層的權(quán)值和閾值進(jìn)行修改運(yùn)算反復(fù)直到神經(jīng)網(wǎng)絡(luò)樣本收斂 BP神經(jīng)網(wǎng)絡(luò)輸入向量為

X=( )T;隱含層輸出向量為Y=( )T;輸出層的輸出向量為O= )T;期望輸出向量為 ;輸入層到隱含層之間的權(quán)值矩陣 ,其中列向量 為隱含層第j個大規(guī)模自組織神經(jīng)元對應(yīng)的權(quán)向量;隱含層到輸入層之間的權(quán)值矩陣 ,其中列向量 為輸出層第k個大規(guī)模自組織神經(jīng)元對應(yīng)的權(quán)向量.各層信號之間的算法結(jié)構(gòu)為:

以上式中的 均為S類型函數(shù), 的導(dǎo)數(shù)方程為: （5）

神經(jīng)網(wǎng)絡(luò)輸出與期望輸出的均方誤差為: （6）

則訓(xùn)練樣本輸出層和隱含層的權(quán)值調(diào)整量分別為:

式中: 為比例系數(shù),在模型訓(xùn)練中代表學(xué)習(xí)速率.如果BP自組織神經(jīng)網(wǎng)絡(luò)有 個隱含層,各隱含層節(jié)點分別記為 ,各隱含層輸出分別記為 ,則各層權(quán)值調(diào)整計算公式分別如下:

輸出層

綜合上述預(yù)測分析在BP神經(jīng)學(xué)習(xí)算法運(yùn)用各層權(quán)值調(diào)整公式均由學(xué)習(xí)速率、本層輸出的誤差信號和本層輸入數(shù)字離散信號決定在訓(xùn)練樣本學(xué)習(xí)的過程受決策環(huán)境復(fù)雜程度和訓(xùn)練樣本的收斂性即需要增大樣本量來提高網(wǎng)絡(luò)技術(shù)所學(xué)知識的代表性應(yīng)注意在收集某個問題領(lǐng)域的樣本時,注意樣本的全面性、代表性以及提高樣本的精確性,增大抗干擾噪聲,還可以采用其他方法收集多層訓(xùn)練樣本數(shù)據(jù).

3 結(jié)束語

自組織神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用在智能建筑管理領(lǐng)域是在多層智能傳感器等多種信息技術(shù)飛速發(fā)展的多學(xué)科交叉研究領(lǐng)域得到廣泛應(yīng)用.

參考文獻(xiàn):

[1]周小佳.電力系統(tǒng)可靠性神經(jīng)網(wǎng)絡(luò)模型及實現(xiàn)研究[D].博士學(xué)位論文,1997.

[2]胡保清等.神經(jīng)網(wǎng)絡(luò)在土木工程領(lǐng)域的應(yīng)用[J].低溫智能建筑,2004(2).

作者介紹:

第3篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

【關(guān)鍵詞】遺傳算法；BP神經(jīng)網(wǎng)絡(luò)；柴油機(jī)；故障診斷

柴油機(jī)缸蓋振動信號中包含著豐富的工作狀態(tài)信息，在對其現(xiàn)代診斷技術(shù)中，基于振動信號分析的診斷方法顯示出了其優(yōu)越性，利用缸蓋振動信號診斷柴油機(jī)故障是一種有效方法。故障特征的提取和故障類型的識別是利用振動信號分析法在對柴油機(jī)進(jìn)行故障診斷過程中兩個最為重要的過程。根據(jù)提取的故障特征識別柴油機(jī)的故障類型是一個典型的模式識別問題，對柴油機(jī)故障類型識別采用恰當(dāng)?shù)哪Ｊ阶R別方法就尤為重要。神經(jīng)網(wǎng)絡(luò)作為一種自適應(yīng)的模式識別技術(shù)，其通過自身的學(xué)習(xí)機(jī)制自動形成所要求的決策區(qū)域，而不需要預(yù)先給出有關(guān)模式的經(jīng)驗知識和判斷函數(shù)；它可以充分利用狀態(tài)信息，對來自于不同狀態(tài)的信息逐一進(jìn)行訓(xùn)練而獲得某種映射關(guān)系。鑒于其自身特性，在故障模式識別領(lǐng)域中有著越來越廣泛的應(yīng)用。而據(jù)統(tǒng)計，有80%～90%的神經(jīng)網(wǎng)絡(luò)模型都是采用了BP網(wǎng)絡(luò)或者是它的變形。BP網(wǎng)絡(luò)是前向網(wǎng)絡(luò)的核心部分，是神經(jīng)網(wǎng)絡(luò)中最精華、最完美的部分。但是它也存在一些缺陷，例如學(xué)習(xí)收斂速度、不能保證收斂到全局最小點、網(wǎng)絡(luò)結(jié)構(gòu)不易確定。遺傳算法是一種基于生物自然選擇與遺傳機(jī)理的隨機(jī)搜索算法。其基本操作是選擇、交叉和變異，核心內(nèi)容是參數(shù)編碼、初始群體的設(shè)定、適應(yīng)度函數(shù)的設(shè)計、遺傳操作設(shè)計和控制參數(shù)的設(shè)定。遺傳算法通過種群隨機(jī)搜索，對數(shù)據(jù)進(jìn)行并行處理，將結(jié)果收斂到全局最優(yōu)解。因此，將遺傳算法與BP神經(jīng)網(wǎng)絡(luò)結(jié)合應(yīng)用于柴油機(jī)故障診斷中，可以提高網(wǎng)絡(luò)的性能，避免網(wǎng)絡(luò)陷入局部極小解，進(jìn)而實現(xiàn)對設(shè)備故障的識別。

1 BP神經(jīng)網(wǎng)絡(luò)

1.1 BP神經(jīng)元模型在柴油機(jī)故障診斷中的應(yīng)用

BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋型神經(jīng)網(wǎng)絡(luò)，其神經(jīng)元的傳遞是S型函數(shù)，輸出量為0至1之間的連續(xù)量，它可以實現(xiàn)從輸入到輸出的任意非線性映射。由于權(quán)值的調(diào)整采用反向傳播學(xué)習(xí)算法，因此也稱為其為BP網(wǎng)絡(luò)。

圖1 BP神經(jīng)元模型

上圖給出一個基本的BP神經(jīng)元模型，它具有R個輸入，每個輸入都通過一個適當(dāng)?shù)臋?quán)值和ω下一層相連，網(wǎng)絡(luò)輸入可表示為：

a=f（wp+b）

f就是表示輸入/輸出關(guān)系的傳遞函數(shù)。

BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與所有影響齒輪故障的特征因素有關(guān)。柴油機(jī)運(yùn)動部件多而復(fù)雜，激勵源眾多且其頻率范圍寬廣，加之噪聲的融入，使得柴油機(jī)表面振動信號極為復(fù)雜。基于這種特點，可以確定用于柴油機(jī)故障診斷的BP神經(jīng)網(wǎng)絡(luò)的輸入層、輸出層隱含層以及節(jié)點數(shù)等。由小波包提取各柴油機(jī)故障的特征值作為輸入節(jié)點，輸出節(jié)點數(shù)目與柴油機(jī)故障類別的數(shù)目有關(guān)。

1.2 BP神經(jīng)網(wǎng)絡(luò)與遺傳算法

BP神經(jīng)網(wǎng)絡(luò)又稱為反向傳播算法，其算法數(shù)學(xué)意義明確、步驟分明，是神經(jīng)網(wǎng)絡(luò)中最為常用、最有效、最活躍的一種網(wǎng)絡(luò)模型。常用方法梯度下降法和動量法，但是梯度下降法訓(xùn)練速度較慢，效率比較低，訓(xùn)練易陷入癱瘓，而且其實質(zhì)是單點搜索算法，不具有全局搜索能力；動量法因為學(xué)習(xí)率的提高通常比單純的梯度下降法要快一些，但在實際應(yīng)用中速度還是不夠；BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練開始時網(wǎng)絡(luò)的結(jié)構(gòu)參數(shù)是隨機(jī)給定的，因此結(jié)果存在一定的隨機(jī)性。

遺傳算法（Genetic Algorithm，GA）是模擬達(dá)爾文的遺傳選擇和自然淘汰的生物進(jìn)化過程的計算模型，它是由美國密歇根大學(xué)的J.Holland 教授于1975年首先提出來的，遺傳算法具有很強(qiáng)的宏觀搜索能力和良好的全局優(yōu)化性能，因此將遺傳算法與BP神經(jīng)網(wǎng)絡(luò)結(jié)合，訓(xùn)練時先用遺傳算法對神經(jīng)網(wǎng)絡(luò)的權(quán)值進(jìn)行尋找，將搜索范圍縮小后，再利用BP網(wǎng)絡(luò)來進(jìn)行精確求解，可以達(dá)到全局尋找和快速高效的目的，并且可以避免局部極小點問題。該算法不僅具有全局搜索能力，而且提高了局部搜索能力，從而增強(qiáng)了在搜索過程中自動獲取和積累搜索空間知識及自應(yīng)用地控制搜索的能力，從而使結(jié)果的性質(zhì)得以極大的改善。

2 基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)主要分為：BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定、遺傳算法優(yōu)化權(quán)值和閥值、BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練及預(yù)測。其中，BP神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)是根據(jù)樣本的輸入/輸出個數(shù)確定的，這樣就可以確定遺傳算法優(yōu)化參數(shù)的個數(shù)，從而確定種群個體的編碼長度。因為遺傳算法優(yōu)化參數(shù)是BP神經(jīng)網(wǎng)絡(luò)的初始權(quán)值和閥值，只要網(wǎng)絡(luò)結(jié)構(gòu)已知，權(quán)值和閥值的個數(shù)就已知了。神經(jīng)網(wǎng)絡(luò)的權(quán)值和閥值一般是通過隨機(jī)初始化為[-0.5，0.5]區(qū)間的隨機(jī)數(shù)，這個初始化參數(shù)對網(wǎng)絡(luò)訓(xùn)練的影響很大，但是又無法準(zhǔn)確獲得，對于相同的初始權(quán)重值和閥值，網(wǎng)絡(luò)的訓(xùn)練結(jié)果是一樣的，引入遺傳算法就是為了優(yōu)化出最佳的初始權(quán)值和閥值。

2.1 基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)在柴油機(jī)故障診斷中的應(yīng)用

通過基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)建立小波包特征量與故障之間的對應(yīng)關(guān)系。表1為柴油機(jī)常見故障在不同頻段的能量分布，構(gòu)成了人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本。表2為網(wǎng)絡(luò)輸出樣本，“0”代表沒有故障，“1”代表發(fā)生故障。利用表1中的訓(xùn)練樣本對基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，經(jīng)1000次訓(xùn)練達(dá)到了理想訓(xùn)練效果。

表1 訓(xùn)練樣本

表2 網(wǎng)絡(luò)理想輸出

表3 待診斷的故障樣本

表4 診斷結(jié)果

將表3中的待診斷的故障樣本輸入到已經(jīng)訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，得到診斷結(jié)果如表4所示。第1組待診斷的信號第1個輸出節(jié)點接近1，可以根據(jù)訓(xùn)練樣本結(jié)果判斷該組數(shù)據(jù)故障為供油提前角晚；第2組待診斷的信號第4個輸出節(jié)點接近1，根據(jù)訓(xùn)練樣本結(jié)果可以判斷該組數(shù)據(jù)故障類型為供油提前角早；第3組待診斷的信號第7個數(shù)據(jù)節(jié)點接近1 ，可以判斷故障類型為針閥卡死，其診斷結(jié)果和現(xiàn)場勘查結(jié)果一致。

3 結(jié)語

遺傳算法優(yōu)化BP神經(jīng)網(wǎng)絡(luò)的目的是通過遺傳算法得到更好的網(wǎng)絡(luò)初始值和閥值。通過以上研究可以看出，遺傳算法和BP算法有機(jī)的融合，可以有效地彌補(bǔ)BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、權(quán)值和閥值選擇上的隨機(jī)性缺陷，充分利用了遺傳算法的全局搜索能力和BP神經(jīng)網(wǎng)絡(luò)的局部搜索能力，克服了傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)柴油機(jī)故障診斷的缺點，提高了柴油機(jī)故障診斷的精度。

【參考文獻(xiàn)】

第4篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵詞:諧波分析 神經(jīng)網(wǎng)絡(luò) 遺傳算法 MATLAB

中圖分類號:TM1文獻(xiàn)標(biāo)識碼:A文章編號:1007-3973(2010)06-083-02

隨著現(xiàn)代工業(yè)科技的發(fā)展,電力電子裝置的應(yīng)用越來越廣泛,非線性和時變性電子裝置大量投入到電網(wǎng)使得電力系統(tǒng)中的非線性負(fù)荷急劇增加,導(dǎo)致了配電網(wǎng)中電壓和電流波形的嚴(yán)重失真,由此而產(chǎn)生了電網(wǎng)諧波污染問題,諧波的產(chǎn)生降低了電能質(zhì)量,直接影響工業(yè)用電設(shè)備和居民用電設(shè)備的正常安全運(yùn)行。另一方面隨著科技的發(fā)展,各種精密儀器的投入使用對電能質(zhì)量提出了更高的要求。諧波問題作為降低電能質(zhì)量問題的核心內(nèi)容對電力系統(tǒng)的安全經(jīng)濟(jì)運(yùn)行帶來了巨大的挑戰(zhàn) 。

對諧波含量準(zhǔn)確進(jìn)行分析計算時保證諧波治理效果的重要前提,本文采用遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法進(jìn)行諧波含量計算,其實時性和結(jié)果精確性都有較大提高。

1諧波含量計算問題

原始理想的電壓和電流波形應(yīng)該是標(biāo)準(zhǔn)的正弦波波形, 可以假設(shè)電源瞬時電壓為

考慮到負(fù)載電流發(fā)生畸變,含有諧波分量,根據(jù)傅里葉級數(shù)將負(fù)載電流分解為:

其中,為基波有功電流;為基波無功電流;為高次諧波電流,可以將式(2)改寫成權(quán)值模式:

對諧波含量的分析計算目標(biāo)即為求出的值,其中體現(xiàn)高次諧波的含量 。實際電網(wǎng)中由于電力系統(tǒng)為三相系統(tǒng),偶次諧波基本消除,因此只考慮奇次諧波,占總諧波含量97%以上的諧波集中在25次諧波以下,本文只分析25次以下(包括25次)奇次諧波含量,根據(jù)以上分析,式(4)可以簡化成

其中 諧波分析即為求取式(5)中權(quán)值系數(shù) 的值。

2基于神經(jīng)網(wǎng)絡(luò)諧波檢測算法

本系統(tǒng)采用單層感知器―誤差修正學(xué)習(xí)法 。由式(5)可知,神經(jīng)網(wǎng)絡(luò)諧波權(quán)值計算可用如圖1所示,作為網(wǎng)絡(luò)的輸入,為理論電流:

為實測電流值,也就是期望電流值,為期望電流值與網(wǎng)絡(luò)實際輸出之差,即誤差信號:

誤差信號為驅(qū)動控制信號,其目的是修正調(diào)節(jié)各次諧波權(quán)值,使網(wǎng)絡(luò)輸出一步一步接近期望輸出 ,這一目標(biāo)通過最小化性能指標(biāo)來實現(xiàn) ,性能指標(biāo)定義如下:

權(quán)值修正法則如下:

其中表示第n個輸入量第k+1表示第次迭代后結(jié)果,為學(xué)習(xí)率,為學(xué)習(xí)誤差,為第n個輸入向量。

綜合以上分析可知,采用單層感知器-誤差修正神經(jīng)網(wǎng)絡(luò)的諧波算法計算步驟如下:

(1)給定初始諧波權(quán)值

初始權(quán)值賦值可采用在規(guī)定區(qū)間內(nèi)的隨機(jī)賦值法,初值賦值區(qū)間為[-2,2]。

(2)給定當(dāng)前輸入

由前面分析可知為神經(jīng)網(wǎng)絡(luò)輸入,輸入量在不同的時刻t不同,因此必須建立查表機(jī)制來查詢不同時刻的網(wǎng)絡(luò)輸入,用表示第n次迭代中第個輸入量( 的順序依次編號)。

(3)由權(quán)值和輸入量計算網(wǎng)絡(luò)輸出值

(4)根據(jù)網(wǎng)絡(luò)輸出和期望輸出計算學(xué)習(xí)誤差,如式(7)所示。

(5)根據(jù)學(xué)習(xí)誤差調(diào)節(jié)權(quán)值

其中表示第次迭代中第n個輸入量的連接權(quán)值

(6)回到2繼續(xù)進(jìn)行下一次迭代計算

基于單層感知器-誤差修正學(xué)習(xí)網(wǎng)絡(luò)最大的優(yōu)點就是迭代過程相對簡單,最后系統(tǒng)能穩(wěn)定收斂到目標(biāo)范圍。但系統(tǒng)的穩(wěn)定性受系統(tǒng)反饋參數(shù)影響較大,學(xué)習(xí)率的選取對于系統(tǒng)重復(fù)學(xué)習(xí)過程中的穩(wěn)定性和收斂性是非常重要的,的值過大,會加快收斂速度但誤差過大,的值過小,學(xué)習(xí)速度過慢,也將影響系統(tǒng)實時響應(yīng)速度。

3遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法

上一節(jié)中提到的單層感知器-誤差修正神經(jīng)網(wǎng)絡(luò)是一種簡單的尋優(yōu)算法,但神經(jīng)網(wǎng)絡(luò)權(quán)值尋優(yōu)算法存在全局搜索能力差的缺點,初始權(quán)值隨機(jī)性過大影響網(wǎng)絡(luò)的泛化能力,而遺傳算法可以對復(fù)雜的,非線性的、多峰的不可微函數(shù)實現(xiàn)最優(yōu)全局搜索,能有效利用歷史信息來推測下一代更優(yōu)質(zhì)的尋優(yōu)點集 。這樣不斷進(jìn)化,最后收斂到一個最適應(yīng)環(huán)境的個體上,進(jìn)而得出問題的最優(yōu)解。因此,可以先用遺傳算法對初始權(quán)值進(jìn)行優(yōu)化,在大范圍解空間定位出適用于優(yōu)化目標(biāo)的較好搜索空間,然后利用神經(jīng)網(wǎng)絡(luò)在這一個較小解空間進(jìn)行局部尋優(yōu),這樣既可以避免在尋優(yōu)過程陷入局部最優(yōu),還可以加快算法收斂。據(jù)此本文將遺傳算法與單層感知器-學(xué)習(xí)修正神經(jīng)網(wǎng)絡(luò)算法進(jìn)行結(jié)合來優(yōu)化諧波含量計算。遺傳算法進(jìn)化步驟如下 :

第一步:確定決策變量和約束條件

包括基波權(quán)值在內(nèi),一共有13組,總共有26個權(quán)值,諧波權(quán)值的范圍一般在[-1,1],權(quán)值可能溢出,本文將權(quán)值范圍擴(kuò)大到[-2,2],即:

第二步:建立優(yōu)化模型

優(yōu)化目標(biāo)為使得性能指標(biāo)到合理范圍

第三步:確定編碼、解碼方法

對于每一個權(quán)值其取值區(qū)間為[-2,2],由于遺傳算法計算目的為搜索最優(yōu)區(qū)間,而非最優(yōu)解,因此將[-2,2]區(qū)間以0.2為單位分為20等份,計算最終目標(biāo)只需求出最優(yōu)解所在區(qū)間即可,可知每個權(quán)值從-2到2有21個取值可能,可用4位二進(jìn)制編碼串表示,一共有26個權(quán)值,按照的順序需要104位二進(jìn)制編碼串來表示,這便構(gòu)成了染色體編碼方法。解碼時先將104位的二進(jìn)制編碼串截成26段4位二進(jìn)制編碼串,每一段編碼串表示一個權(quán)值編碼,設(shè)某一段編碼為,解碼后表示權(quán)值實際值為,可知

第四步:確定個體評價方法

可知個體評價方法即為性能指標(biāo)控制到合理范圍。

第五步:設(shè)計遺傳算子

選擇運(yùn)算選用比例選擇算子;交叉運(yùn)算使用單點交叉算子;編譯運(yùn)算使用基本位變異算子。

第六步:設(shè)定遺傳算法運(yùn)行參數(shù)

包括群體大小、終止代數(shù)、交叉概率和變異概率

結(jié)合前面神經(jīng)網(wǎng)絡(luò)算法的分析,可得出遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法計算諧波的總計算流程,如圖2所示:

4MATLAB仿真分析

根據(jù)前面對算法的分析,使用MATLAB提供的神經(jīng)網(wǎng)絡(luò)和遺傳算法工具性進(jìn)行仿真處理 。設(shè)置遺傳算法群體大小為80,終止代數(shù)為100,交叉概率為0.7,變異概率為0.001,神經(jīng)網(wǎng)絡(luò)算法學(xué)習(xí)率為0.1,使用遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練樣本曲線如圖3所示,單獨(dú)使用神經(jīng)網(wǎng)絡(luò)算法的訓(xùn)練樣本曲線如圖4所示:

由圖3和圖4可知,采用遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法進(jìn)行諧波分析,在遺傳算法完成100步迭代后適應(yīng)度最高樣本的訓(xùn)練誤差已經(jīng)降到,此后進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練到160步后訓(xùn)練誤差已經(jīng)降到,相比單獨(dú)使用神經(jīng)網(wǎng)絡(luò)算法,需要到350步訓(xùn)練誤差才能到,可見采用遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法大大加快了迭代速度和計算結(jié)果的準(zhǔn)確性。

5遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法的優(yōu)點

使用遺傳算法改進(jìn)神經(jīng)網(wǎng)絡(luò)算法為諧波計算分析提出了新的解決思路,主要特點包括:(1)全局搜索能力強(qiáng),算法精確度高 。(2)抗干擾能力強(qiáng).。(3)自適應(yīng)能力強(qiáng)。智能算法進(jìn)行諧波分析作為一種新興的諧波分析思路,但是由于智能算法對于訓(xùn)練樣本的依耐性非常大,算法參數(shù)的設(shè)置對于整體計算精度和效率影響非常大,現(xiàn)場應(yīng)用不夠,因此還需作更為深入的探索研究。

注釋:

呂潤如. 電力系統(tǒng)高次諧波[M].北京:中國電力出版社,1998.

危韌勇,李志勇.基于人工神經(jīng)元網(wǎng)絡(luò)的電力系統(tǒng)諧波測量方法[J]. 電網(wǎng)技術(shù),1999,23(12):20-23.

焦李成.神經(jīng)網(wǎng)絡(luò)計算[M].西安:西安電子科技大學(xué)出版社,1993.

危韌勇,李志勇,李群湛.一種基于ANN理論的諧波電流動態(tài)檢測方法研究[J]. 鐵道學(xué)報,2000,22(1):40-43.

陳國良,王熙法,莊鎮(zhèn)泉,王東生.遺傳算法及其應(yīng)用[M].北京:人民郵電出版社,1999.

王小平,曹立民.遺傳算法-理論、應(yīng)用于軟件實現(xiàn)[M].西安:西安交通大學(xué)出版社,2002.

第5篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò) BP網(wǎng)絡(luò)

中圖分類號：TP3 文獻(xiàn)標(biāo)識碼：A 文章編號：1672-3791（2014）01（c）-0240-02

神經(jīng)網(wǎng)絡(luò)是一門發(fā)展十分迅速的交叉學(xué)科，它是由大量的處理單元組成非線性的大規(guī)模自適應(yīng)動力系統(tǒng)。神經(jīng)網(wǎng)絡(luò)具有分布式存儲、并行處理、高容錯能力以及良好的自學(xué)習(xí)、自適應(yīng)、聯(lián)想等特點。該模型對于擬合現(xiàn)實復(fù)雜世界有著重要的實用價值。

1 神經(jīng)網(wǎng)絡(luò)簡介

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN），亦稱神經(jīng)網(wǎng)絡(luò)（Neural Network，NN），是一種應(yīng)用類似于大腦神經(jīng)突觸連接結(jié)構(gòu)進(jìn)行信息處理的數(shù)學(xué)模型，它是在人類對自身大腦組織結(jié)合和思維機(jī)制的認(rèn)識理解基礎(chǔ)之上模擬出來的，它是根植于神經(jīng)科學(xué)、數(shù)學(xué)、統(tǒng)計學(xué)、物理學(xué)、計算機(jī)科學(xué)以及工程科學(xué)的一門技術(shù)。心理學(xué)家Mcculloch，數(shù)學(xué)家Pitts在20世紀(jì)40年代第一次提出了神經(jīng)網(wǎng)絡(luò)模型，從此開創(chuàng)了神經(jīng)科學(xué)理論的研究時代，此后半個世紀(jì)神經(jīng)網(wǎng)絡(luò)技術(shù)蓬勃發(fā)展。神經(jīng)網(wǎng)絡(luò)是一種計算模型，由大量的神經(jīng)元個體節(jié)點和其間相互連接的加權(quán)值共同組成，每個節(jié)點都代表一種運(yùn)算，稱為激勵函數(shù)（activation function）。每兩個相互連接的節(jié)點間都代表一個通過該連接信號加權(quán)值，稱值為權(quán)重（weight），神經(jīng)網(wǎng)絡(luò)就是通過這種方式來模擬人類的記憶，網(wǎng)絡(luò)的輸出則取決于網(wǎng)絡(luò)的結(jié)構(gòu)、網(wǎng)絡(luò)的連接方式、權(quán)重和激勵函數(shù)。而網(wǎng)絡(luò)本身通常是對自然界或者人類社會某種算法或函數(shù)的逼近，也可能是一種邏輯策略的表達(dá)。神經(jīng)網(wǎng)絡(luò)的構(gòu)筑理念是受到生物的神經(jīng)網(wǎng)絡(luò)運(yùn)作啟發(fā)而產(chǎn)生的。人工神經(jīng)網(wǎng)絡(luò)則是把對生物神經(jīng)網(wǎng)絡(luò)的認(rèn)識與數(shù)學(xué)統(tǒng)計模型向結(jié)合，借助數(shù)學(xué)統(tǒng)計工具來實現(xiàn)。另一方面在人工智能學(xué)的人工感知領(lǐng)域，我們通過數(shù)學(xué)統(tǒng)計學(xué)的方法，使神經(jīng)網(wǎng)絡(luò)能夠具備類似于人的決定能力和簡單的判斷能力，這種方法是對傳統(tǒng)邏輯學(xué)演算的進(jìn)一步延伸。

2 神經(jīng)網(wǎng)絡(luò)模型及訓(xùn)練

2.1 生物神經(jīng)元模型

人腦是自然界所造就的高級動物，人的思維是由人腦來完成的，而思維則是人類智能的集中體現(xiàn)。人腦的皮層中包含100億個神經(jīng)元、60萬億個神經(jīng)突觸，以及他們的連接體。神經(jīng)系統(tǒng)的基本結(jié)構(gòu)和功能單位就是神經(jīng)細(xì)胞，即神經(jīng)元，它主要由細(xì)胞體、樹突、軸突和突觸組成。人類的神經(jīng)元具備以下幾個基本功能特性：時空整合功能；神經(jīng)元的動態(tài)極化性；興奮與抑制狀態(tài)；結(jié)構(gòu)的可塑性；脈沖與電位信號的轉(zhuǎn)換；突觸延期和不延期；學(xué)習(xí)、遺忘和疲勞；神經(jīng)網(wǎng)絡(luò)是由大量的神經(jīng)元單元相互連接而構(gòu)成的網(wǎng)絡(luò)系統(tǒng)。

2.2 人工神經(jīng)網(wǎng)絡(luò)模型

人工神經(jīng)網(wǎng)絡(luò)，使通過模仿生物神經(jīng)網(wǎng)絡(luò)的行為特征，進(jìn)行分布式并行信息處理的數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關(guān)系，從而達(dá)到信息處理的目的。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)和自適應(yīng)的能力，可以通過預(yù)先提供的一批相互對應(yīng)的輸入輸出數(shù)據(jù)，分析兩者的內(nèi)在關(guān)系和規(guī)律，最終通過這些規(guī)律形成一個復(fù)雜的非線性系統(tǒng)函數(shù)，這種學(xué)習(xí)分析過程被稱作“訓(xùn)練”。神經(jīng)元的每一個輸入連接都有突觸連接強(qiáng)度，用一個連接權(quán)值來表示，即將產(chǎn)生的信號通過連接強(qiáng)度放大，每一個輸入量都對應(yīng)有一個相關(guān)聯(lián)的權(quán)重。處理單元將經(jīng)過權(quán)重的輸入量化，然后相加求得加權(quán)值之和，計算出輸出量，這個輸出量是權(quán)重和的函數(shù)，一般稱此函數(shù)為傳遞函數(shù)。

2.3 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

當(dāng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)確定以后，接下來的工作就是訓(xùn)練和學(xué)習(xí)。神經(jīng)網(wǎng)絡(luò)不是通過改變處理單元的本身來完成訓(xùn)練和學(xué)習(xí)過程的，而是依靠改變網(wǎng)絡(luò)中各神經(jīng)元節(jié)點的連接權(quán)重來完成的。因此若處理單元要學(xué)會正確的處理所給定的問題，唯一用以改變處理單元性能的元素就是連接權(quán)重。

2.4 神經(jīng)網(wǎng)絡(luò)的分類

神經(jīng)網(wǎng)絡(luò)按照不同的結(jié)構(gòu)、功能，以及學(xué)習(xí)算法，對網(wǎng)絡(luò)進(jìn)行分類，可以分為：（1）感知器神經(jīng)網(wǎng)絡(luò)：最簡單的神經(jīng)網(wǎng)絡(luò)類型，只有單層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，采用硬限值作為網(wǎng)絡(luò)傳遞函數(shù)，主要適用于簡單的線性二類劃分問題，在此類問題中處理的效率較高。但不適合本論文的課題。（2）線性神經(jīng)網(wǎng)絡(luò)：單層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，采用線性函數(shù)作為網(wǎng)絡(luò)的傳遞，主要也是用于解決線性逼近問題。

3 BP神經(jīng)網(wǎng)絡(luò)

目前應(yīng)用最為廣泛的網(wǎng)絡(luò)，具有多層網(wǎng)絡(luò)結(jié)構(gòu)，可以由一個或者多個隱含層。BP網(wǎng)絡(luò)采用Widrow―Hoff學(xué)習(xí)算法和非線性傳遞函數(shù)，典型的BP網(wǎng)絡(luò)采用的是梯度下降算法，也就是Widrow―Hoff算法所規(guī)定的。BP，即Back Propagation，就是指為非線性多層網(wǎng)絡(luò)訓(xùn)練中梯度計算是采用信號正向傳播、誤差反向傳播的方式。通過采用非線性傳遞函數(shù)，BP網(wǎng)絡(luò)能夠以仁義的精度逼近任何非線性函數(shù)，由于采用隱含中間層的結(jié)構(gòu)，BP網(wǎng)絡(luò)能夠提取出更高階的統(tǒng)計性質(zhì)，尤其是當(dāng)輸入規(guī)模龐大時，網(wǎng)絡(luò)能夠提取高階統(tǒng)計性質(zhì)的能力就顯得非常重要了，結(jié)合本文的課題，將采用BP神經(jīng)網(wǎng)絡(luò)及其改進(jìn)算法進(jìn)行組合集成實驗，用以解決財務(wù)預(yù)警的實際問題，在后面的章節(jié)會采用相關(guān)實驗證明組合集成的BP神經(jīng)網(wǎng)絡(luò)的優(yōu)勢。

4 徑向基神經(jīng)網(wǎng)絡(luò)

徑向基神經(jīng)網(wǎng)絡(luò)又稱為RBF網(wǎng)絡(luò)，它與BP網(wǎng)絡(luò)同為多層前向網(wǎng)絡(luò)，也能夠以任意的精度逼近任何非線性函數(shù)，只是它與BP網(wǎng)絡(luò)采用的傳遞函數(shù)不同，BP通常采用的是Sigmoid函數(shù)或線性函數(shù)作為傳遞函數(shù)，而RBF網(wǎng)絡(luò)則采用徑向基函數(shù)作為傳遞函數(shù)。本文后面將采用徑向基函網(wǎng)絡(luò)與BP網(wǎng)絡(luò)進(jìn)行對比。

5 競爭神經(jīng)網(wǎng)絡(luò)

競爭神經(jīng)網(wǎng)絡(luò)的特點是它的各個神經(jīng)元之間是相互競爭的關(guān)系，眾多神經(jīng)元之間相互競爭以決定勝出者，或勝神經(jīng)元決定哪一種原模型最能代表輸入模式。

6 反饋神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)（Fredric M.Ham Ivica Kostanic Principles of Neurocomputing for Science―Engineering 2007）BP神經(jīng)網(wǎng)絡(luò)具有sigmoid隱含層以及線性輸出層，具有很強(qiáng)的映射能力，本節(jié)我們對BP網(wǎng)絡(luò)神經(jīng)元和網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行介紹。神經(jīng)網(wǎng)絡(luò)方法的具體步驟是：向網(wǎng)絡(luò)提供訓(xùn)練例子，即學(xué)習(xí)樣本，包括輸入和期望的輸出。確定網(wǎng)絡(luò)的實際輸出和期望輸出之間允許的誤差。改變網(wǎng)絡(luò)中所有連接權(quán)值，使網(wǎng)絡(luò)產(chǎn)生的輸出更接近于期望輸出，直到滿足確定的允許誤差。下圖給出了一個具有N個輸入的基本的BP神經(jīng)元模型結(jié)構(gòu)。途中每一個輸入都被賦予一定的權(quán)值，與偏差求和和后形成神經(jīng)元傳遞函數(shù)的輸入。

我們來看看三層BP神經(jīng)網(wǎng)絡(luò)模型的數(shù)學(xué)表達(dá)，首先我們來確定途中各個參數(shù)所代表的涵義：

（1）輸入向量：X=（x1，x2，…，xi，…，xn）T；

（2）隱層輸出向量：Y=（y1，y2，…，yj，…，ym）T；

（3）輸出層輸出向量：O=（O1，O2，…，Ok，…，Ol）T；

（4）期望輸出向量：d=（d1，d2，…，dk，…，dl）T；

（5）輸入層到隱層之間的權(quán)值矩陣：V=（V1，V2，…，Vj，…，Vm）；

（6）隱層到輸出層之間的權(quán)值矩陣：W=（W1，W2，…，Wk，…，Wl）。

BP神經(jīng)網(wǎng)絡(luò)就是通過構(gòu)建上述變量來完成網(wǎng)絡(luò)的描述。

我們從上至下，從輸出層開始看BP網(wǎng)絡(luò)的工作原理，對于輸出層：

k=1，2，…，l （1）

k=1，2，…，l （2）

對于隱層：j=1，2，…，m （3）

j=1，2，…，m （4）

其中的是傳遞函數(shù)我們可以采用單極性Sigmoid函數(shù)： （5）

（1）網(wǎng)絡(luò)誤差與權(quán)值調(diào)整

輸出誤差E定義：

（6）

（7）

在這一步的基礎(chǔ)上，進(jìn)一步展開至輸入層：

（8）

j=0，1，2，…，m；k=1，2，…，l （9）

i=0，1，2，…，n；j=1，2，…，m （10）

式中負(fù)號表示梯度下降，常數(shù)η∈（0，1）表示比例系數(shù)。在全部推導(dǎo)過程中，對輸出層有j=0，1，2，…，m；k=1，2，…，l，對隱層有i=0，1，2，…，n；j=1，2，…，m

（2）BP算法推導(dǎo)

對于輸出層，式（9）可寫為：

（8）對隱層，式（9）可寫為：（10），對于隱層，利用式（7）：

可得： （11）

將以上結(jié)果代入式（8），并應(yīng)用式（5）：，得到：

（12）

（13）

至此兩個誤差信號的推導(dǎo)已完成。將式（12）代回到式（8），得到三層前饋網(wǎng)的BP學(xué)習(xí)算法權(quán)值調(diào)整計算公式為：

（14）

第6篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；模式；分類

中圖分類號：TP183文獻(xiàn)標(biāo)識碼：A文章編號：1009-3044(2009)04-0922-02

The Research of the Classification of Model with Neural Network

GUO Xiao-yan

(Gansu Agriculture University, Information & Science Technology College, Lanzhou 730070, China)

Abstract: The problems of classification of model with neural network can be solved by the help oftutors information, and also be solved by the help of clustering without the tutors information.This article analyzes andcompares several neural network models being used for classification of model,reach a conclusionthat inparticular situation different models of neural network can bechoiced , and if nessesary aintegratedway can be used.

Key words: neural network; classification; model

傳統(tǒng)的分類方法對于同類相聚，異類分離比較有優(yōu)勢，但客觀世界中許多事物在樣本空間中的區(qū)域分割曲面非常復(fù)雜，相近的樣本可能屬于不同的類，而遠(yuǎn)離的樣本可能屬于同一類1。模式是對某些感興趣的客體的定量描述或結(jié)構(gòu)描述，模式類是具有某些共同特征的模式的集合。模式分類可分為兩種類型，分類和聚類，分類是在類別知識等導(dǎo)師信息的指導(dǎo)下，將待識別的輸入模式分配到各自的模式類中去。聚類是無導(dǎo)師的分類方法，它是將相似的模式樣本劃歸為一類，而將不相似的分離開，實現(xiàn)了模式樣本類內(nèi)相似性和類間分離性。通過聚類，可以發(fā)現(xiàn)原始樣本的分布特性。

神經(jīng)網(wǎng)絡(luò)對外界的輸入樣本具有很強(qiáng)的識別能力，可以發(fā)現(xiàn)輸入樣本自身的聯(lián)系和規(guī)律以及輸入樣本和期望輸出之間的非線性規(guī)律，因此在模式分類方面具有傳統(tǒng)分類方法無法比擬的優(yōu)點。人工神經(jīng)網(wǎng)絡(luò)在模式分類方面提出了大量了網(wǎng)絡(luò)模型，發(fā)現(xiàn)了許多學(xué)習(xí)算法。

1 無導(dǎo)師分類機(jī)制

對于無導(dǎo)師的模式分類只從輸入樣本入手，通過分析與比較，找到輸入樣本的特征和內(nèi)在規(guī)律，從而將具有相似性的樣本聚為一類。

1.1 SOM網(wǎng)

SOM 網(wǎng)屬于自組織映射神經(jīng)網(wǎng)絡(luò)，SOM神經(jīng)網(wǎng)絡(luò)接收外界的輸入模式時，會分為不同的對應(yīng)區(qū)域，各區(qū)域?qū)Σ煌妮斎肽Ｊ綍胁煌捻憫?yīng)特征，利用這個特征可以對輸入模式進(jìn)行分類。

算法思想：

它的學(xué)習(xí)規(guī)則是“勝者為王”。找出和輸入向量最為相似的競爭層神經(jīng)元（即獲勝神經(jīng)元），在一個以該神經(jīng)元為中心的鄰域內(nèi)對本區(qū)域內(nèi)的所有神經(jīng)元的權(quán)值進(jìn)行不同程度的調(diào)整，調(diào)整的原則是由遠(yuǎn)及近，由興奮變?yōu)橐种疲瑱?quán)值調(diào)整的結(jié)果是使競爭層的特定神經(jīng)元變得對輸入層的某些樣本敏感，從而達(dá)到分類的目的。

算法步驟：

1) 找出獲勝神經(jīng)元

對于每一個輸入模式向量 X，競爭層的所有神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量Wj(j=1,2,…,m)均與X進(jìn)行比較，將與X最為相似的神經(jīng)元判為獲勝神經(jīng)元。其權(quán)值記為Wj*。相似性量度為X和W的歐氏距離或夾角余弦。

■

m是競爭層神經(jīng)元個數(shù)。

d=||X-Wj*||=min||X-Wj*||(j=1,2,…,n)

d為輸入向量X離獲勝神經(jīng)元的距離

2) 找出一個Wj*的一個鄰域Sj，對于Sj內(nèi)的所有權(quán)值進(jìn)行調(diào)整。

3) 權(quán)值調(diào)整

Wj(t+1)=Wj(t)+α[X-Wj(t)]

α為學(xué)習(xí)率，隨著t的增加，α的值在不斷地減小。

權(quán)值的調(diào)整是使得獲勝結(jié)點更加接近輸入樣本，從而使競爭層的每一個神經(jīng)元變?yōu)橐粋€聚類中心。當(dāng)向網(wǎng)絡(luò)輸入一個模式時，競爭層中哪個神經(jīng)元獲勝使輸出為1，當(dāng)前輸入就歸為哪類。

通過聚類進(jìn)行模式劃分的方法還有模糊聚類，K-均值聚類，HCM，最近鄰聚類(NN算法)等，這些算法的最主要優(yōu)點就是不需要導(dǎo)師信號，這對于一些無法得到導(dǎo)師信號的模式分類情況來說是有優(yōu)勢的。

2 有導(dǎo)師分類機(jī)制

基于無導(dǎo)師的聚類算法只考慮輸入樣本，而沒有考慮輸入樣本所對應(yīng)的輸出、這就使得這樣的分類不是最優(yōu)的。

2.1 BP神經(jīng)網(wǎng)絡(luò)

BP神經(jīng)網(wǎng)絡(luò)利用導(dǎo)師信號和輸入樣本來訓(xùn)練網(wǎng)絡(luò)的權(quán)值，從而找到從輸入樣本到導(dǎo)師信號（期望輸出）之間的非經(jīng)性變幻規(guī)律來修整權(quán)值，經(jīng)過測試樣本和期望輸出的多次訓(xùn)練來使成熟的網(wǎng)絡(luò)穩(wěn)定，當(dāng)有新的輸入時，就可根據(jù)此規(guī)律對它樣本進(jìn)行正確的分類。

BP神經(jīng)網(wǎng)絡(luò)的算法思想是：輸入樣本自輸入層傳入，由各隱層處理后，傳向輸出層，這屬于正向傳播；如果輸出與期望輸出(導(dǎo)師信號)不符，得到誤差值，輸出誤差通過隱層向輸入層逐反向傳播，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號成為修正各單元權(quán)值的依據(jù)。

2.1.1 BP神經(jīng)網(wǎng)絡(luò)的描述1(圖2)

1） 正向傳播

對于有單個隱層單元的BP神經(jīng)網(wǎng)絡(luò)而言

隱層輸出：

■

輸出層：

■

l 為輸出層神經(jīng)元的個數(shù)m為隱層神經(jīng)元的個數(shù)n為輸入層神經(jīng)元的個數(shù)

f(x)可采用單極性的Sigmoid函數(shù)：

■

2）反向修正權(quán)值

輸出誤差E定義如下：

■

其中d為導(dǎo)師信號（期望輸出），o為實際輸出

進(jìn)一步展開至輸入層，有：

■

權(quán)值修正：

■

η是學(xué)習(xí)率，可以控制學(xué)習(xí)的時間和快慢。

在BP神經(jīng)網(wǎng)絡(luò)中，利用導(dǎo)師信號和神經(jīng)網(wǎng)絡(luò)的輸出得到總誤差E,調(diào)整權(quán)值時，按誤差梯度下降的原則進(jìn)行。利用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行分類時，可以利用導(dǎo)師信息先規(guī)定類別信息，再利用輸入樣本和類別信息得出E，從而反向調(diào)整ω，ν值，如果網(wǎng)絡(luò)的總誤差小于一個特定的值，可認(rèn)為網(wǎng)絡(luò)訓(xùn)練結(jié)束，得到最終的ω，ν值。對于新的樣本，此訓(xùn)練好的網(wǎng)絡(luò)便可進(jìn)行正確分類。

3 徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)

利用BP網(wǎng)絡(luò)進(jìn)行分類時，完全沒有考慮輸入樣本的特征，只利用導(dǎo)師信息進(jìn)行權(quán)值的修正，因此學(xué)習(xí)時間很長，分類的精度也不是非常高，錯分的情況很多。通常，輸入樣本本身具有某種規(guī)律性，利用現(xiàn)有樣本的自身規(guī)律加上導(dǎo)師信號的限制，可以大大提高分類的精度，同時可以縮短學(xué)習(xí)的時間。徑向基函數(shù)網(wǎng)絡(luò)就是基于這種思想。

用徑向基函數(shù)作為隱單元的“基”，構(gòu)成隱含層空間。隱含層對輸入向量進(jìn)行變換，將低維空間的模式變到高維空間中，使低維空間中的不可分問題在高維空間中變得可分。

算法思想：

1）找到分類中心向量，也稱基向量，(一般用K-均值法，動態(tài)聚類法等)，假定分類中心向量個數(shù)為 個，這也就決定隱層神經(jīng)元的個數(shù)。

2）算出輸入樣本到各個分類中心向量的距離d，利用基函數(shù)f(x),自變量為d，得到隱層輸出，只有離分類中心最近的向量得到較大的輸出。

■

p是輸入樣本個數(shù)，j是聚類中心的個數(shù)，k是樣本和聚類中心向量的維數(shù)。

■

3）最后通過隱層到輸出層的線性變換得到最終的輸出，則：

■

學(xué)習(xí)算法：

1）利用無導(dǎo)師機(jī)制選取分類中心向量；

2）利用有導(dǎo)師信號修正隱層到輸出層的權(quán)值，權(quán)值的修正仍用類似BP神經(jīng)網(wǎng)絡(luò)的梯度下降算法。

徑向基函數(shù)網(wǎng)絡(luò)對于輸入層向隱層的變換是非線性的，而隱層到輸出層變換進(jìn)線性的，在確定中心結(jié)點時，可采用無導(dǎo)師的聚類機(jī)制，當(dāng)修正隱層到輸出層的權(quán)值時可采用有導(dǎo)師機(jī)制，此兩種方法結(jié)合即可發(fā)現(xiàn)輸入樣本中的內(nèi)在規(guī)律，又可利用導(dǎo)師信號進(jìn)行約束從而提高分類的精度和縮短學(xué)習(xí)的時間。

3 結(jié)論

利用神經(jīng)網(wǎng)絡(luò)進(jìn)行分類時，如果可以得到導(dǎo)師信號，可采用徑向基神經(jīng)網(wǎng)絡(luò)，或BP神經(jīng)網(wǎng)絡(luò)，徑向基神經(jīng)網(wǎng)絡(luò)收縮速度快，不容易陷入局部極小值，在解決分類時和般優(yōu)越于BP神經(jīng)網(wǎng)絡(luò)，如果無法得到導(dǎo)師信號，則可采用自組織神經(jīng)網(wǎng)絡(luò)SOM網(wǎng)絡(luò)，通常SOM也可以用在徑向基神經(jīng)網(wǎng)絡(luò)的選用中心向量問題上。

參考文獻(xiàn)：

[1] 韓力群.人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計及應(yīng)用[M].2版.北京:化學(xué)工業(yè)出版社,2007.

第7篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵詞:BP神經(jīng)網(wǎng)絡(luò) MATLAB仿真

中圖分類號:TP39文獻(xiàn)標(biāo)識碼:A 文章編號:1007-3973(2010)06-061-02

1 BP神經(jīng)網(wǎng)絡(luò)概述

BP(Back Propagation)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出,是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò),是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。它的學(xué)習(xí)規(guī)則是使用最速下降法,通過反向傳播來不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值,使網(wǎng)絡(luò)的誤差平方和最小。BP一般為多層神經(jīng)網(wǎng)絡(luò),其模型拓?fù)浣Y(jié)構(gòu)一般包括輸入層(input)、隱層(hide layer)和輸出層(output layer)。如圖1所示:

2BP網(wǎng)絡(luò)的學(xué)習(xí)算法

(1)最速下降BP算法(steepest descent backpropagation,SDBP)

如圖2所示的BP神經(jīng)網(wǎng)絡(luò),設(shè)k為迭代次數(shù),則每一次權(quán)值和閾值的修正案下式進(jìn)行:

式中:w(t)為第k次迭代各層之間的連接權(quán)向量或閾值向量。x(k)= 為第k次迭代的神經(jīng)網(wǎng)絡(luò)輸出誤差對個權(quán)值或閾值的梯度向量。負(fù)號代表梯度的反方向,即梯度的最速下降方向。 為學(xué)習(xí)速率,在訓(xùn)練時事一常數(shù)。在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中,其默認(rèn)值為0.01,可以通過改變訓(xùn)練參數(shù)進(jìn)行設(shè)置。為第k次迭代的網(wǎng)絡(luò)輸出的總誤差性能函數(shù),在MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中,BP網(wǎng)絡(luò)誤差性能函數(shù)的默認(rèn)值為均誤差MSE(mean square error):

根據(jù)(2.2)式,可以求出第k次迭代的總誤差曲面的梯度x(k)= ,分別代入式(2.1)中,就可以逐次修正其權(quán)值和閾值,并使總的誤差向減小的方向變化,最終求出所要求的誤差性能。

(2)沖量BP算法(momentum backpropagation,MOBP)

因為反向傳播算法的應(yīng)用廣泛,所以已經(jīng)開發(fā)出了很多反向傳播算法的變體。其中最常見得事在梯度下降算法的基礎(chǔ)上修改公式(2.1)的權(quán)值更新法則,即引入沖量因子,并且0≤

標(biāo)準(zhǔn)BP算法實質(zhì)上是一種簡單的最速下降靜態(tài)尋優(yōu)方法,在修正W(K)時,只按照第K步的負(fù)梯度方向進(jìn)行修正,而沒有考慮到以前積累的經(jīng)驗,即以前時刻的梯度方向,從而常常使學(xué)習(xí)過程發(fā)生振蕩,收斂緩慢。動量法權(quán)值調(diào)整算法的具體做法是:將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計算所得的權(quán)值調(diào)整量上,作為本次的實際權(quán)值調(diào)整量,即公式(2.3)所示:是沖量系數(shù),通常0≤

(3)學(xué)習(xí)率可變的BP算法(variable learnling rate backpropagation,VLBP)

標(biāo)準(zhǔn)BP算法收斂速度緩慢的一個重要原因是學(xué)習(xí)率選擇不當(dāng),學(xué)習(xí)率選得太小,收斂慢;反之,則有可能修正的過頭,導(dǎo)致振蕩甚至發(fā)散。因此可以采用圖3所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。

自適應(yīng)調(diào)整學(xué)習(xí)率的梯度下降算法,在訓(xùn)練的過程中,力求使算法穩(wěn)定,而同時又使學(xué)習(xí)的不長盡量地大,學(xué)習(xí)率則是根據(jù)局部誤差曲面作出相應(yīng)的調(diào)整。學(xué)習(xí)率則是通過乘上一個相應(yīng)的增量因子來調(diào)整學(xué)習(xí)率的大小。即公式(2.5)所示:

其中:為使步長增加的增量因子,為使步長減小的增量因子; 為學(xué)習(xí)率。

3 建立BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型

BP預(yù)測模型的設(shè)計主要有輸入層、隱含層、輸出層及各層的個數(shù)和層與層之間的傳輸函數(shù)。

(1)網(wǎng)絡(luò)層數(shù)

BP有一個輸入層和一個輸出層,但可以包含多個隱含層。但理論的上已證明,在不限制隱含層節(jié)點的情況下,只有一個隱含層的BP就可以實現(xiàn)任意非線性映射。

(2)輸入層和輸出層的節(jié)點數(shù)

輸入層是BP的第一層,它的節(jié)點數(shù)由輸入的信號的維數(shù)決定,這里輸入層的個數(shù)為3;輸出層的節(jié)點數(shù)取決于BP的具體應(yīng)用有關(guān),這里輸出節(jié)點為1。

(3)隱含層的節(jié)點數(shù)

隱含層節(jié)點數(shù)的選擇往往是根據(jù)前人設(shè)計所得的經(jīng)驗和自己的進(jìn)行的實驗來確定的。根據(jù)前人經(jīng)驗,可以參考以下公式設(shè)計:

其中:n為隱含層節(jié)點數(shù);m為輸入節(jié)點數(shù);t為輸出節(jié)點數(shù);a為1~10之間的常數(shù)。根據(jù)本文要預(yù)測的數(shù)據(jù)及輸入和輸出節(jié)點的個數(shù),則取隱含層個數(shù)為10。

(4)傳輸函數(shù)

BP神經(jīng)網(wǎng)絡(luò)中的傳輸函數(shù)通常采用S(sigmoid)型函數(shù):

如果BP神經(jīng)網(wǎng)絡(luò)的最后一層是Sigmoid函數(shù),那么整個網(wǎng)絡(luò)的輸出就會限制在0~1之間的連續(xù);而如果選的是Pureline函數(shù),那么整個網(wǎng)絡(luò)輸出可以取任意值。因此函數(shù)選取分別為sigmoid和pureline函數(shù)。

4 BP神經(jīng)網(wǎng)絡(luò)預(yù)測的MATLAB仿真實驗

(1)樣本數(shù)據(jù)的預(yù)處理

本文的樣本數(shù)據(jù)來源于中國歷年國內(nèi)生產(chǎn)總值統(tǒng)計表,為了讓樣本數(shù)據(jù)在同一數(shù)量級上,首先對BP輸入和輸出數(shù)據(jù)進(jìn)行預(yù)處理:將原樣本數(shù)據(jù)乘上,同時將樣本數(shù)據(jù)分為訓(xùn)練樣本集和測試樣本集,1991~1999年我國的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為訓(xùn)練樣本集,即1991~1998年訓(xùn)練樣本作為訓(xùn)練輸入;1999年訓(xùn)練樣本數(shù)據(jù)作為輸出訓(xùn)練輸出;1992~2000年我國的三大產(chǎn)業(yè)的各總值的處理結(jié)果作為測試樣本集,即1992~1999年的測試樣本作為測試輸入,2000年測試樣本數(shù)據(jù)作為測試輸出。

(2)確定傳輸函數(shù)

根據(jù)本文的數(shù)據(jù),如第3節(jié)所述,本文選取S函數(shù)(tansig)和線性函數(shù)(purelin)。

(3)設(shè)定BP的最大學(xué)習(xí)迭代次數(shù)為5000次。

(4)設(shè)定BP的學(xué)習(xí)精度為0.001;BP的學(xué)習(xí)率為0.1。

(5)創(chuàng)建BP結(jié)構(gòu)如圖4所示;訓(xùn)練BP的結(jié)果圖5所示:

正如圖5所示的數(shù)據(jù)與本文所示設(shè)計的網(wǎng)絡(luò)模型相符,且如圖5所示當(dāng)BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)迭代到99次時,就打到了學(xué)習(xí)精度0.000997788,其學(xué)習(xí)速度比較快。

(6)測試BP神經(jīng)網(wǎng)絡(luò)

通過MATLAB對測試樣本數(shù)據(jù)進(jìn)行仿真,與實際的2000年我國三大產(chǎn)業(yè)的各生產(chǎn)總值比較(見表1),說明BP神經(jīng)網(wǎng)絡(luò)預(yù)測模型是可行的。、

5總結(jié)

總之,在人工神經(jīng)網(wǎng)絡(luò)的實際應(yīng)用中,BP神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于函數(shù)逼近、模式識別/分類、數(shù)據(jù)壓縮等。通過本文可以體現(xiàn)出MATLAB語言在編程的高效、簡潔和靈活。雖然BP在預(yù)測方面有很多的優(yōu)點,但其還有一定的局限性,還需要進(jìn)一步的改進(jìn)。

參考文獻(xiàn):

[1]周開利,康耀紅.神經(jīng)網(wǎng)絡(luò)模型及其MATLAB仿真程序設(shè)計[M].北京:清華大學(xué)出版社,2005.7.

[2]張德豐等.MATLAB神經(jīng)網(wǎng)絡(luò)應(yīng)用設(shè)計[M].北京:機(jī)械工業(yè)出版社,2009.1.

[3][美]米歇爾(Mitchell,T.M.)著;曾華軍等譯[M].北京:機(jī)械工業(yè)出版社,2003.1.

第8篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

但當(dāng)BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于預(yù)測模型尤其對于未來增長趨勢比較明顯的預(yù)測模型時，雖然其收斂精度較高，但其值域范圍受限導(dǎo)致訓(xùn)練樣本擬合函數(shù)與預(yù)測數(shù)據(jù)有較大差異，導(dǎo)致其局部搜索能力較強(qiáng)但全局搜索能力較差，易陷入局部最優(yōu)值。本文通過引入遺傳算法，發(fā)揮該算法全局搜索能力較強(qiáng)的特點，對BP神經(jīng)網(wǎng)絡(luò)權(quán)值和閾值進(jìn)行預(yù)優(yōu)化，賦予各層較佳輸出解空間，發(fā)揮BP神經(jīng)網(wǎng)絡(luò)局部搜索能力強(qiáng)的特點，實現(xiàn)強(qiáng)強(qiáng)聯(lián)合，提高時間序列預(yù)測的精準(zhǔn)度。

1．1BP神經(jīng)網(wǎng)絡(luò)

BP(BackPropagationnetwork)神經(jīng)網(wǎng)絡(luò)是當(dāng)今預(yù)測領(lǐng)域應(yīng)用最廣泛的一種神經(jīng)網(wǎng)絡(luò)算法。BP神經(jīng)網(wǎng)絡(luò)由3層組成:輸入層、隱含層和輸出層。每一層中都包含若干節(jié)點(神經(jīng)元)，不同層之間節(jié)點通過權(quán)值進(jìn)行全連接，同層節(jié)點之間無連接。其中，隱含層可為多層，實際應(yīng)用過程中有一個隱含層的三層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)即可實現(xiàn)非線性函數(shù)擬合。

1．2遺傳算法

本文中的優(yōu)化對象為BP神經(jīng)網(wǎng)絡(luò)各層間權(quán)值和閾值。因此，在種群初始化時，遺傳算法采用常用的二進(jìn)制編碼，并由農(nóng)業(yè)機(jī)械數(shù)量的歷史樣本數(shù)目確定遺傳算法將優(yōu)化的參數(shù)(權(quán)值和閾值)個數(shù)，從而確定種群的編碼長度。因BP神經(jīng)網(wǎng)絡(luò)隱含層神經(jīng)元采用S型傳遞函數(shù)，為減小計算誤差，減少或避免計算結(jié)果落入局部最小值，權(quán)值和閾值應(yīng)避免選擇區(qū)間內(nèi)較小和較大數(shù)值，選擇在［－0．5，0．5］區(qū)間內(nèi)的隨機(jī)數(shù)。遺傳算法計算流程。

2預(yù)測結(jié)果與分析

本文采用基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)，以我國從1997－2013年的農(nóng)業(yè)機(jī)械數(shù)量為基礎(chǔ)數(shù)據(jù)進(jìn)行訓(xùn)練和測試和預(yù)測。其中，遺傳算法群體規(guī)模M=50，交叉概率pc=0．6，變異概率pm=0．01，BP神經(jīng)網(wǎng)絡(luò)權(quán)值閾值取值空間為［－0．5，0．5］，訓(xùn)練次數(shù)為1000，訓(xùn)練目標(biāo)為0．01，學(xué)習(xí)速率為0．1。我國在1997－2013年期間的農(nóng)機(jī)總動力、農(nóng)用大中型拖拉機(jī)數(shù)量和小型拖拉機(jī)數(shù)量的預(yù)測值與歷史樣本數(shù)據(jù)之間的絕對值平絕誤差分別為1．080%、1．352%和1．765%。由此看出，使用基于遺傳算法的BP神經(jīng)網(wǎng)絡(luò)對于以農(nóng)業(yè)機(jī)械數(shù)量為預(yù)測對象的時間序列預(yù)測模型的預(yù)測精度較好，預(yù)測精度穩(wěn)定性較佳。從預(yù)測誤差可以看出，本文所使用的BP神經(jīng)網(wǎng)絡(luò)在預(yù)測本時間序列模型時，基本避免運(yùn)算結(jié)果落入局部最小值，收斂性能較好，與前文中遺傳算法和BP神經(jīng)網(wǎng)絡(luò)優(yōu)勢互補(bǔ)、強(qiáng)強(qiáng)聯(lián)合的理論設(shè)想較為一致。2014年我國農(nóng)機(jī)總動力、農(nóng)用大中型拖拉機(jī)數(shù)量和小型拖拉機(jī)數(shù)量的預(yù)測結(jié)果來看，該預(yù)測結(jié)果與2013年度數(shù)值比較有較大增長，但增長幅度有所下降。預(yù)計到2014年，我國農(nóng)機(jī)總動力、大中型拖拉機(jī)數(shù)量和小型拖拉機(jī)數(shù)量分別為11．251×108kW、587．012萬臺和2043．201萬臺，與1997年相比分別增加了167．86%、751．96%和94．87%，與2013年相比分別增加了4．17%、10．75%和2．16%。其中，2014年農(nóng)機(jī)總動力和小型拖拉機(jī)數(shù)量增長率分別小于2013年的增長率5．88%和3．3%，農(nóng)用大中型拖拉機(jī)數(shù)量增長率大于2013年的增長率9．19%。由于我國在2004年出臺了一系列鼓勵提高農(nóng)業(yè)機(jī)械化的法律、政策、法規(guī)，中央財政農(nóng)機(jī)購置補(bǔ)貼資金投入連年大幅增加，極大地調(diào)動了農(nóng)民購機(jī)的積極性和企業(yè)生產(chǎn)的積極性，促進(jìn)我國農(nóng)機(jī)裝備總量持續(xù)增長和農(nóng)機(jī)結(jié)構(gòu)優(yōu)化。隨著跨區(qū)作業(yè)和農(nóng)業(yè)生產(chǎn)合作社的逐步發(fā)展，有效提高了農(nóng)用大中型拖拉機(jī)在農(nóng)業(yè)生產(chǎn)中的的利用率，降低了農(nóng)民勞動強(qiáng)度，提高生產(chǎn)效率，因而其近幾年的保有量有較大增幅。小型拖拉機(jī)受農(nóng)業(yè)產(chǎn)業(yè)結(jié)構(gòu)調(diào)整和農(nóng)業(yè)機(jī)械大型化的影響，其近幾年的保有量增幅逐年降低。

3結(jié)論

第9篇：神經(jīng)網(wǎng)絡(luò)的權(quán)值范文

關(guān)鍵字：BP神經(jīng)網(wǎng)絡(luò)； 數(shù)據(jù)庫； 查詢；準(zhǔn)確度

中圖分類號：TP393 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2017）04-0001-03

神經(jīng)網(wǎng)絡(luò)系統(tǒng)是根據(jù)人體神經(jīng)系統(tǒng)的基本原理構(gòu)建的，其在一定程度上實現(xiàn)了記憶和訓(xùn)練過程[1-2]。此項功能體現(xiàn)了神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)計算機(jī)算法存在的根本差異，其具備在線學(xué)習(xí)、自調(diào)節(jié)以及自適應(yīng)性，同時具備信息的分布式信息存儲特性。正是由于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)特性，使其在聯(lián)想記憶、數(shù)據(jù)非線性映射、在線學(xué)習(xí)模型構(gòu)建、數(shù)據(jù)信息分類與識別等領(lǐng)域具有了廣泛的應(yīng)用空間。

在云數(shù)據(jù)應(yīng)用時代，存儲系統(tǒng)的應(yīng)用領(lǐng)域及使用者的范圍不斷擴(kuò)大[6]，用戶呈指數(shù)倍的增長使得數(shù)據(jù)的存儲容量不斷增長，用戶訪問數(shù)據(jù)庫的頻繁程度也將持續(xù)增加，這對存儲系統(tǒng)數(shù)據(jù)庫訪問的吞吐量性能提出了更高的要求，也對數(shù)據(jù)查詢的效率得出了更加嚴(yán)格的標(biāo)準(zhǔn)。

本文提出的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫優(yōu)化查詢方法主要通過對云存儲數(shù)據(jù)的關(guān)鍵詞進(jìn)行相似度對比，利用神經(jīng)網(wǎng)絡(luò)算法對查詢數(shù)據(jù)樣本進(jìn)行記憶訓(xùn)練，通過對查詢關(guān)鍵字進(jìn)行數(shù)據(jù)匹配，最終實現(xiàn)數(shù)據(jù)的準(zhǔn)確查詢。為了測試本文設(shè)計的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫優(yōu)化查詢方法的可行性及準(zhǔn)確性能，作者在完成了模型構(gòu)建后，Matlab軟件中構(gòu)建實驗場景，模擬數(shù)據(jù)庫檢索過程，完成了對查詢方法進(jìn)行測試驗證。

1 神經(jīng)網(wǎng)絡(luò)模型的建立

1.1 BP神經(jīng)網(wǎng)絡(luò)處理單元模型

為了不失一般性，選取BP神經(jīng)網(wǎng)絡(luò)的任意兩層介紹其處理單元的數(shù)學(xué)模型。BP神經(jīng)網(wǎng)絡(luò)處理單元的結(jié)果如圖1所示，其中，L1層的[n]個神經(jīng)元和L2層的[p]個神經(jīng)元進(jìn)行全連接，定義連接權(quán)向量為[W={wij}，i=1，2，…，n，j=1，2，…，p]；L1層的[n]個神經(jīng)元的輸出作為L2層各神經(jīng)元的輸入列向量[X=（x1，…，xi，…，xn）T]，L2層各個神經(jīng)元的閾值設(shè)置為[θj，j=1，2，…，p]，因此，L2層各神經(jīng)元接收的輸入加權(quán)和如下式所示[3-4]：

L2層各神經(jīng)元的輸出結(jié)果利用轉(zhuǎn)移函數(shù)進(jìn)行計算。一般情況下，BP神經(jīng)網(wǎng)絡(luò)將Sigmoid函數(shù)作為轉(zhuǎn)移函數(shù)。Sigmoid函數(shù)的數(shù)學(xué)表達(dá)式為：

因此，L2層各個處理單元的輸出為：

由于Sigmoid函數(shù)的輸出類似于本文設(shè)計的神經(jīng)網(wǎng)絡(luò)的信號輸出形式，本文設(shè)計的模型采用Sigmoid函數(shù)作為系統(tǒng)的轉(zhuǎn)移函數(shù)，其能蜃既訪枋鍪據(jù)檢索過程中的非線性特性水平[5-6]。

1.2 BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

本文的無線通信選擇機(jī)制采用三層BP神經(jīng)網(wǎng)絡(luò)結(jié)果，具體學(xué)習(xí)算法如下所述：

輸入模式向量設(shè)為[Xk=（x1k，…，xik，…，xnk）T]，[k=1，2，…，m]，其中[m]表示樣本模式對個數(shù)，[n]表示輸入層神經(jīng)元數(shù)量；輸入模式對應(yīng)的期望輸出向量為[Yk=（y1k，…，yik，…，yqk）T]，隱含層神經(jīng)元的凈輸入向量設(shè)置為[Sk=（s1k，…，sik，…，spk）T]，輸出向量設(shè)置為[Bk=（b1k，…，bik，…，bpk）T]，[q]表示輸出層單元數(shù)量，[p]表示隱含層單元個數(shù)；輸出層神經(jīng)元凈輸入向量設(shè)置為[Lk=（l1k，…，lik，…，lqk）T]，實際輸出向量設(shè)置為[Ck=（c1k，…，cik，…，cqk）T]；輸入層神經(jīng)元至隱含層神經(jīng)元的連接權(quán)值設(shè)置為[W={wij}]，其中，[i=1，2，…，n，j=1，2，…，p]隱含層至輸出層的連接權(quán)值設(shè)置為[V={vjt}]，隱含層神經(jīng)元的閾值設(shè)置為[θ={θj}，j=1，2，…，p]，輸出層各神經(jīng)元的閾值設(shè)置為[γ={γt}，t=1，2，…，q]。

（1）初始化操作。將連接權(quán)值矩陣[W]、[V]及閾值[θ]、[γ]在[[-1，+1]]區(qū)間內(nèi)進(jìn)行隨機(jī)取值。

（2）隨機(jī)從訓(xùn)練集合中選取一個學(xué)習(xí)模式對[（Xk，Yk）]作為BP神經(jīng)網(wǎng)絡(luò)的輸入。

（3）輸入層的輸出的計算。輸入層的各神經(jīng)元不對輸入模式進(jìn)行任何處理，而是直接將接收到的數(shù)據(jù)關(guān)鍵詞直接輸出到隱含層各神經(jīng)元，不做任何的數(shù)據(jù)處理。

（4）根據(jù)下式求得隱含層各處理單元的凈輸入和凈輸出：

（5）根據(jù)下式求得各輸出層神經(jīng)元的凈輸入和實際輸出：

（6）根據(jù)設(shè)定的期望輸出，通過下式求得各輸出層神經(jīng)元的校正誤差[dkt]，

（7）根據(jù)下式得出隱含層各神經(jīng)處理單元的校正誤差[ekj]，

（8）根據(jù)下式調(diào)整隱含層至輸出層的連接權(quán)值[V]和輸出層神經(jīng)元閾值[γ]， [α]表示學(xué)習(xí)速率，[0

（9）根據(jù)下式調(diào)整輸入層至隱含層神經(jīng)元的連接權(quán)值[W]和輸出層神經(jīng)元閾值[θ]， [β]表示學(xué)習(xí)速率，[0

（10）為BP神經(jīng)網(wǎng)絡(luò)隨機(jī)輸入下一個學(xué)習(xí)模式對，返回（3）處，直至訓(xùn)練完成[m]個學(xué)習(xí)模式對。

（11）對系統(tǒng)的全局誤差[E]進(jìn)行判斷，查看其是否滿足神經(jīng)網(wǎng)絡(luò)設(shè)定的精度需求。如果 [E≤ε]，這說明滿足結(jié)束條件，結(jié)束學(xué)習(xí)過程，如果未滿足，則繼續(xù)學(xué)習(xí)。

（12）更新神網(wǎng)絡(luò)學(xué)習(xí)次數(shù)，如果未達(dá)到設(shè)定的學(xué)習(xí)次數(shù)，則返回Step2。

（13）BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程結(jié)束。

在整個神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)階段中，分別涵蓋了輸入模式的“順傳播過程”，全局誤差的“逆?zhèn)鞑ミ^程”以及“學(xué)習(xí)記憶訓(xùn)練”過程，（11）至（12）表示是收斂過程。全局誤差[E]的理想學(xué)習(xí)曲線如圖2所示。

為了減小震蕩，加快網(wǎng)絡(luò)的記憶訓(xùn)練速度，作者在對連接權(quán)值進(jìn)行調(diào)整時，在改變量基礎(chǔ)上添加一定比例的權(quán)值改變值，稱之為動量項。則附加動量項的連接權(quán)值調(diào)整方法如下式所示：

式中，[ηΔwij（n-1）]代表動量項，其中[n]為學(xué)習(xí)次數(shù)，[η]作為動量系數(shù)，[0

加入動量項的本質(zhì)目的是使控制學(xué)習(xí)過程的學(xué)習(xí)速率[β]不僅僅是一個固定值，而是能夠持續(xù)變化的。在引入動量項后，網(wǎng)絡(luò)總是試圖使連接權(quán)值的調(diào)整按照相同方向進(jìn)行，即使前后兩次連接權(quán)值的調(diào)整值方向相反，也能夠降低震蕩趨勢，加快學(xué)習(xí)記憶速度，以及網(wǎng)絡(luò)收斂速度[7]。

通常來說，動量系數(shù)的取值不宜過大。若動量系數(shù)過大，動量項所占比例過重，則本次誤差修正項的作用會不太明顯，以致完全沒有作用，反而會減慢收斂速度，甚至導(dǎo)致整個網(wǎng)絡(luò)震蕩。一般情況下，動量系數(shù)的最大值在0.9作用，本文取值為0.6。

2 數(shù)據(jù)庫查詢方法測試

為了測試本文設(shè)計的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫優(yōu)化查詢方法的可行性及準(zhǔn)確性能，作者在完成了模型構(gòu)建后，Matlab軟件中構(gòu)建實驗場景，模擬數(shù)據(jù)庫檢索過程，完成了對查詢方法進(jìn)行測試驗證。數(shù)據(jù)庫查詢學(xué)習(xí)樣本使用的是加州大學(xué)標(biāo)準(zhǔn)數(shù)據(jù)集，通過選擇中度數(shù)據(jù)規(guī)模的樣本空間進(jìn)行設(shè)計網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練，主要訓(xùn)練搜索關(guān)鍵字與查詢結(jié)果直接的對應(yīng)關(guān)系，并進(jìn)行存儲記憶。通過不同查詢次數(shù)的響應(yīng)延時進(jìn)行統(tǒng)計分析，與未使用任何算法的隨機(jī)檢索方法的搜索結(jié)果進(jìn)行對比分析。數(shù)據(jù)檢索實驗對比結(jié)果如圖3所示。

從數(shù)據(jù)檢索對比結(jié)果得知，當(dāng)?shù)螖?shù)達(dá)到200次時，本文提出的基于神經(jīng)網(wǎng)絡(luò)算法的數(shù)據(jù)庫查詢方法滿足收斂條件[f（x）≤e-10]，此時可視為系統(tǒng)以及查詢到最優(yōu)數(shù)據(jù)結(jié)果。同時，較隨機(jī)數(shù)據(jù)庫檢索方法，本設(shè)計的優(yōu)化方法在響應(yīng)延時方面平均降低了34.7%，同時搜索查詢準(zhǔn)確率高達(dá)99.3%。

3 總結(jié)

神經(jīng)網(wǎng)絡(luò)在聯(lián)想記憶、數(shù)據(jù)非線性映射、在線學(xué)習(xí)模型構(gòu)建、數(shù)據(jù)信息分類與識別等領(lǐng)域具有了廣泛的應(yīng)用空間。通過對云存儲數(shù)據(jù)庫查詢過程的原理進(jìn)行研究，本文提出的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫優(yōu)化查詢方法主要通過對云存儲數(shù)據(jù)的關(guān)鍵詞進(jìn)行相似度對比，利用神經(jīng)網(wǎng)絡(luò)算法對查詢數(shù)據(jù)樣本進(jìn)行記憶訓(xùn)練，通過對查詢關(guān)鍵字進(jìn)行數(shù)據(jù)匹配，最終實現(xiàn)數(shù)據(jù)的準(zhǔn)確查詢。為了測試本文設(shè)計的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫優(yōu)化查詢方法的可行性及準(zhǔn)確性能，作者在完成了模型構(gòu)建后，Matlab軟件中構(gòu)建實驗場景，模擬數(shù)據(jù)庫檢索過程，完成了對查詢方法進(jìn)行測試驗證。仿真結(jié)果表明，本文提出的基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)庫優(yōu)化查詢方法的準(zhǔn)確率高達(dá)98.3%，具有較高的檢索精度及穩(wěn)定性。

參考文獻(xiàn)：

[1] 李中志.基于改進(jìn)BP神經(jīng)網(wǎng)絡(luò)的水位流量關(guān)系擬合[J].中國農(nóng)村水利水電， 2008（10）：30-32.

[2] 任雯，胥布工.基于標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)模型的非線性系統(tǒng)分布式無線網(wǎng)絡(luò)化控制[J]. 控制與決策， 2015，30（4）：691-697.

[3] 余開華.小波神經(jīng)網(wǎng)絡(luò)模型在河道流量水位預(yù)測中的應(yīng)用[J].水資源與水工程學(xué)報， 2013， 24（2）：204-208.

[4] 潘道宏.RBF神經(jīng)網(wǎng)絡(luò)模型擬合電力抽水站水位流量關(guān)系研究[J].水利科技與經(jīng)濟(jì)， 2010，16（3）：300-301.

[5] 孔玉靜，侯鑫，華爾天等.基于BP神經(jīng)網(wǎng)絡(luò)的無線傳感器網(wǎng)絡(luò)路由協(xié)議的研究[J].傳感技術(shù)學(xué)報， 2013， 26（2）：246-251.

[6] 田曉青，劉松良.基于人工神經(jīng)網(wǎng)絡(luò)的過閘流量軟測量研究[J].電子產(chǎn)品世界， 2013（10）：43-45.