神經網絡的復雜度精選(九篇)

前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡的復雜度主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經網絡的復雜度范文

關鍵詞：物聯網；LS-SVM；數據模型

中圖分類號：TP393

文獻標識碼：A

文章編號：1009-3044（2017）10-0145-02

1.引言

前神經網絡（feedforwardneuralnetwork），簡稱前饋網絡，是人工神經網絡的一種。

2.概念相關概述

2.1前饋人工神經網絡現實基礎模型

首先，生物神經元模型。人的大腦中有眾多神經元，而神經元之間需要神經突觸連接，進而構成了復雜有序的神經網絡。而神經元主要由樹突、軸突和細胞體組成。一個神經元有一個細胞體和軸突，但是卻有很多樹突。樹突是神經元的輸入端，用于接受信息，并向細胞體財團對信息。而細胞體是神經元的信息處理中心，能夠對信號進行處理。軸突相當于信息輸出端口，負責向下一個神經元傳遞信息；其次，人工神經元。人工神經元的信息處理能力十分有限，但是，由眾多人工神經元構成的神經網絡系統龐大，具有巨大的潛力，能夠解決復雜問題。人工神經網絡與生物神經網絡具有相似之處，人工神經網絡能夠從環境中獲取知識，并存儲信息。前饋人工神經網絡主要包括隱含層、輸入層和輸出層。在前饋人工神經網絡中，神經元將信號進行非線性轉換之后，將信號傳遞給下一層，信息傳播是單向的。并且，前饋人工神經網絡是人們應用最多的網絡模型，常見的有BP神經網絡、單層感知器、RBF神經網絡等模型。

2.2 LS-SVM相關概述

支撐向量機是一種基于統計學習理論的機器學習方法，能夠根據樣本信息進行非現象映射，解回歸問題的高度非現象問題。并且，支撐向量機在解決非線性、局部極小點方問題上有很大的優勢。LS-SVM也叫最小二乘支撐向量機，是支撐向量機的一種，遵循支撐向量機算法的結構風險最小化的原則，能夠將支撐向量機算法中的不等式約束改為等式約束，進而將二次問題轉換為線性方程問題，大大降低了計算的復雜性。并且，LS-SVM在運算速度上遠遠高于支持向量機。但是，LS-SVM也存在一定的缺點，在計算的過程中，LS-SVM的忽視了全局最優，只能實現局部最優。并且，LS-SVM在處理噪聲污染嚴重的樣本時，會將所有的干擾信息都擬合到模型系統中，導致模型的魯棒性降低。另外，LS-SVM的在線建模算法、特征提取方法以及LS-SVM的支持向量稀疏性都有待改進。

2.3物聯網下人工神經網絡前饋LS-SVM研究的意義

物聯網是互聯網技術的發展趨勢，為前饋人工神經網絡的發展與LS-SVM研究提供了技術保障，在物聯網背景下，研究人工神經網絡前饋LS-SVM不僅能夠創新人工神經網絡的計算方法，完善人工神經網絡在現實生活中的應用，而且對人們生活的自動化和智能化發展有著重要意義。另外，物聯網為人們對LS-SVM的研究提供了條件，在物聯網環境下，人們能夠運用信息技術深化最小二乘支撐向量機研究，不斷提高LS-SVM回歸模型的魯棒性，改進LS-SVM的特征提取方法和在線建模算法，完善計算機學習方法，提升計算機的運算速度。3基于LS―SVM的丟包數據模型

在選擇的參數的基礎上，運用IS-SVM方法，建立評估模型。本文選用LS-SVM回歸方法的原因，SVM優于神經網絡的方法主要是以下幾點：

首先，了解數據挖掘，數據挖掘前景廣闊，SVM是數據挖掘中的新方法。其次，選擇合適的數據分析方法根據數據集的大小和特征。小樣本訓練適合SVM，樣本大情況的訓練適宜神經網絡，這里用SVM。

然后，就是文獻使用SVM和PCA建立跨層的評估QOE，實驗結果表明主觀MOS評分和此評價結果具有很好的一致性。

最后，本文采用SVM基礎上的進一步拔高，LS-SVM，比SVM運行快，精確度高。srcl3_hrcl_525.yuv實驗素材的特征是具有高清性質。525序列60HZ，幀大小為1440x486字節/幀，625序列50HZ，大小同上。YUV格式是422格式即4：2：2格式的。

時域復雜度的模型如下，視頻的時域復雜度σ；編碼量化參數是Q；編碼速率為R；待定模型的參數為a和b。σ=Q（aR+b）。通過大量的實驗和理論分析，得到模型的參數：a=l 260，b=0.003。其中，編碼速率和幀率可以看作是視頻的固有屬性。高清視頻編碼速率R是512kb/s，最大幀速率為30000/1001=29.97幅，秒。量化參數是根據實驗的具體情況確定的。計算σ的值如下所示：當量化參數為31時，σ=19998720.1，當量化參數為10時，σ=6451200.03，當量化參數為5時，σ=3225600.02，當量化參數為62時，σ=39997440.2，當量化參數為100時，σ=64512000.3，當量化參數為200時，σ=129024001，當量化參數為255時，σ=164505601。

對于srcl3網絡環境建立考慮網絡丟包的視頻質量無參評估模型使用LS-SVM方法。

（1）輸入x的值。XI是量化參數，X2封包遺失率，X3單工鏈路速度，X4雙工鏈路速度，X5視頻的時域復雜度。等權的參數。

LS-SVM要求調用的參數只有兩個gam和sig2并且他們是LS-SVM的參數，其中決定適應誤差的最小化和平滑程度的正則化參數是gam，RBF函數的參數是sig2。Type有兩種類型，一種是elassfieation用于分類的，一種是function estimation用于函數回歸的。

4.機器學習和物聯網的結合

物聯網中也用到人工智能，人工智能中有機器學習，機器學習中有神經網絡。機器學習是人工智能研究的核心問題之一，也是當前人工智能研究的一個熱門方向。

第2篇：神經網絡的復雜度范文

關鍵詞：中立神經網絡；魯棒穩定性；離散時滯；范數有界；李雅普諾夫泛函

中圖分類號：TP183

近年來，各種類型的神經網絡已經廣泛應用于許多實際工程問題，如信號與圖像處理、模式識別、聯想記憶、并行計算和優化與控制等[1-3]。在這些應用中，神經網絡的動力學行為是非常重要的。眾所周知，許多實際系統的數學模型中均含有時滯的現象，如在模擬神經網絡電路實現中，由于運放器的開關速度限制會產生時滯，神經網絡中的軸突信號傳輸延遲也會產生時滯。當在模型中引入時滯后，它將影響軸突信號傳輸率下降，進而導致失穩。因此，在神經網絡的穩定性分析中時滯是不可或缺的。近來的文獻中，已經有很多利用各種分析和不等式方法，研究了不同類型的神經網絡，得到了一些時滯神經網絡的穩定性結果[4-7]。事實上，為了精確描述神經網絡的平衡和穩定屬性，前一個狀態的時間導數信息的必須引入神經網絡的狀態方程，即中立神經網絡，這種神經網絡的穩定性研究已經有許多的結果，包括離散時滯、分布時滯以及變時滯[8-11]。

另一方面，在很多實際的系統中，如在物理電路和生物系統中，隨機干擾在動力系統中起著非常重要的作用。那么由于隨機因素客觀存在于實際過程中，確定性系統建模的只能描述實際過程動態特性的某種近似。顯而易見，利用確定性系統理論的系統建模方法對某些系統實行的描述常常會嚴重背離所期望的效果。為了抵消這些不確定因素的影響，必須將系統描述為不確定系統。

本文將在Lipschitz連續的激活函數條件下，研究參數范數有界不確定的離散時滯中立神經網絡的魯棒穩定性問題。應用范數分析方法，構造合適的Lyapunov-Krasovskii泛函并考慮參數范數有界不確定，研究新的穩定性判定準則，用以保證離散時滯中立神經網絡在平衡點是全局漸近魯棒穩定的。與現有文獻中穩定性準則絕大多數使用LMI形式[5，7，8，10，13]相比，本文的準則未知參數少且計算復雜度底，更加易于驗證。

在本文中，用Rn表示n維歐幾里德空間；對任意p=（pij）n*n，p>0表示p是對稱正定矩陣；pT，p-1，λm（p），λM（p）分別代表P的轉置、P的逆、P的特征值的最小值和P的特征值的最大值；矩陣的范數P2=[λM（PTP）]1/2；對于向量 ， 。

1 系統模型及引理

考慮以下一類具有離散時滯的中立神經網絡模型：

（1）

其中n 是神經元數目，xi是第i個神經元狀態；參數ci為常數；αij表示神經網絡中神經元之間的互連權值；τj為時滯；bij表示在具有時滯τj的情況下神經元之間的互連權值；eij表示時滯狀態的時間導數的系數；fj（?）表示神經元的激活函數；常數ui表示外部輸入。在系統（1）中，τj≥0表示時滯參數τ滿足τ=max（τj），1≤j≤n。系統（1）的初始條件為： ，其中 表示從[-τ，0]到R的連續函數集。

假設1 考慮系統模型參數的不確定性，假設系統（1）中ci，αij，bij，eij和τj是范數有界且滿足

（2）

假設2 系統（1）中的激活函數fj（），i=1，2，…，n是Lipschitz連續，即存在 使得

（3）

接下來，系統模型（1）寫成矩陣向量形式，如下

（4）

其中 A=（aij）n×n，B=（bij）n×n，

E=（bij）n×n，C=diag（ci>0），u=（u1，u2，…，un）T，

f（x（t））=（f1（x1（t）），f2（x2（t）），…，fn（xn（t）））T，

f（x（t-τ））=（f1（x1（t-τ1）），f2（x2（t-τ2）），…，fn（xn（t-τn）））T.

為了求得結果，將使用下列1個事實和4個引理。

事實1 如果W=（Wij）和V=（Vij）滿足式（2）且范數有界，則存在正常數σ（W）和σ（V）使得||W||2≤σ（W）和||V||2≤σ（V）。

引理1[12] 對W∈W1：=

下列不等式成立：

其中

引理2[13] 對W∈W1：=

下列不等式成立：

σ2（W）=||W*||2+||W*||2

其中

引理3[14] 對W∈W1：=

下列不等式成立：

其中

引理4[15] 對W∈W1：=

下列不等式成立：

其中

2 穩定性分析

為了簡化證明過程，通過變換z（t）=x（t）-x*，轉移中立神經網絡（1）的平衡點到新系統的原點，得到以下系統模型：

（5）

寫成矩陣向量形式，如下

（6）

其中 是轉換后神經網絡的狀態向量， g（z（t））=g1（z1（t）），g2（z2（t）），…，gn（zn（t）））T，和表示新的非線性激活函數。式（5）中的激活函數gi（zi（t））滿足

（7）

以下將導出主要的穩定性結果。

定理1 對于中立神經網絡（5），讓||E||2

γ1=||C||2-||P||2-||Q||2-||H||2-σ2（C）||R-1||2>0，

γ2=||C||2||L-2||2-||D||2-σ2（A）||P-1||2-σ2（A）||R-1||2>0， （8）

γ3=||D||2-σ2（B）||Q-1||2-σ2（B）||R-1||2>0，

γ4=||H||2-3σ2（E）||R||2>0，

其中

證明 構造如下Lyapunov-Krasovskii泛函：

（9）

其中hi和di，i=1，2，…，n是正常數。

沿著系統（5）解的軌跡，對V（z（t））求時間的導數：

（10）

由于 ，則有

（11）

另有下列不等式：

2zT（t）Ag（z（t））≤zT（t）Pz（t）+gT（z（t））ATP-1Ag（z（t））

≤||P||2||z（t）||22-||A||22||P-1||2||g（z（t））||22

（12）

2zT（t）Bg（z（t-τ））≤zT（t）Qz（t）+gT（z（t-τ））BTQ-1Bg（z（t-τ））

≤||Q||2||z（t）||22+||B||22||Q-1||2||g（z（t-τ））||22

（13）

-2zT（t-τ）ETCz（t）≤zT（t-τ）ETREz（t-τ）+zT（t））CTR-1Cz（t）

≤||E||22||R||2||（z（t-τ）||22+||C||22||R-1||2||z（t）||22

（14）

2zT（t-τ）ETAg（z（t））≤zT（t-τ）ETREz（t-τ）+gT（z（t））ATR-1Ag（z（t））

≤||E||22||R||2||（z（t-τ）||22+||A||22||R-1||2||g（z（t））||22，

（15）

2zT（t-τ）ETBg（z（t-τ））≤zT（t-τ）ETREz（t-τ）+gT（z（t-τ））BTR-1Bg（z（t-τ））

≤||E||22||R||2||（z（t-τ）||22+||B||22||R-1||2||g（z（t-τ））||22

（16）

其中P，Q，R是正定矩陣。

根據式（7）有

zT（t）Cz（t）≥gT（z（t））CL-2g（z（t）） （17）

將（12）-（17）代入（11），可得：

（18）

由事實1和引理1-引理4，

||A||2≤σ（A），||B||2≤σ（B），||C||2≤σ（C），||E||2≤σ（E）

，則有

（19）

即

（20）

等于

（21）

顯然，如果z（t），g（z（t-τ）），gT（z（t））和z（t-τ）中任意一個向量非零，則γ1>0，γ2>0，γ3>0，和γ4>0，就能保證 。當且僅當在系統（5）的原點有，z（t）=z（t-τ）=g（z（t-τ））=g（z（t））=0，則 。另外，V（z（t））∞as||z（t）||2∞意味著用于穩定性分析的Lyapunov泛函是徑向無界的。因此，可以從標準的Lyapunov穩定性理論得出結論：系統（5）的原點（等價于系統（1）的平衡點）是全局漸近魯棒穩定的。定理1證明完畢。

選擇定理1中的H，D，P，Q和R，令H=hI，D=dI，P=pI，Q=qI和R=rI，我們能得到以下推論1。

推論1 對于中立神經網絡（5），讓||E||2

（22）

其中

3 仿真示例

在本節，將用一個仿真算例說明所得結論的有效性。

例1 考慮具有離散時滯和范數有界不確定性的中立神經網絡模型系統（5），其參數為

其中χ>0是一個實數。

計算矩陣A*，A*，B*和B*，有

那么，有

σ21（A*）=|||A*TA*|+2|A*T|A*+A*TA*||2=105.3505χ2，

σ22（A）=（||A*||2+||A*||2）=98.3826χ2，

σ23（A）=||A*||22+||A*||22+2||A*T|A*|||2=95.4366χ2，

因為σ（A）=minσ1（A），σ2（A），σ3（A），σ4（A），

可得σ2（A）=95.4366χ2。同理，計算得σ2（B）=95.4366χ2，σ2（C）=4。

由推論1，令||E||2，r，h，為極小值，d=1，p=q，則有

聯立上述4項必要條件，可得95.4366χ2≤1，即χ≤0.1024。因此，根據推論1，如果選擇χ≤0.1024，推論1中的穩定性條件就能滿足，那么就能判定系統（5）的平衡點是全局漸近魯棒穩定的。

接下來，考慮本例中的一種特殊情況，將給出可視化的模擬結果。令χ=0.08（滿足χ≤0.1024），則有

選擇

使用Matlab模擬，結果如圖1所示，可以看出系統（5）經過一段時間后收斂于平衡點。

圖1

系統（5）的x（t）軌跡（初始狀態x（0）=[0.4 -0.2]、激活函數f（x（t））=tanh（x（t））

4 結束語

本文得到了一個有關具有離散時滯和參數范數有界的不確定性中立神經網絡的全局漸近魯棒穩定性的新結果。通過將神經網絡模型中的參數不確定性轉化為范數有界問題，并利用矩陣不等式分析方法，構造合適的Lyapunov-Krasovskii泛函，得到了新的與時滯無關的穩定性判定準則，能夠保證該類離散時滯中立神經網絡在平衡點全局漸近魯棒穩定。與現有文獻中大多數LMI形式的穩定性準則不同，該穩定性判定準則中未知參數少且計算復雜度低，易于計算驗證。最后，一個數值仿真算例驗證了穩定性判定準則的有效性。在后續的研究工作中，將進一步研究具有變時滯的范數有界不確定神經網絡的全局漸近魯棒穩定性問題。

參考文獻：

[1]韓廣，喬俊飛，薄迎春.溶解氧濃度的前饋神經網絡建模控制方法[J].控制理論與應用，2013（05）：585-591.

[2]黃亮，馮登國，連一峰.基于神經網絡的 DDoS 防護績效評估[J].計算機研究與發展，2013（10）：2100-2108.

[3]吳玉香，王聰.基于確定學習的機器人任務空間自適應神經網絡控制[J].自動化學報，2013（06）：806-815.

[4]劉國權，周書民.一類含有時變時滯的不確定中立型Hopfield神經網絡的魯棒穩定性判據[J].自動化學報，2013（09）：1421-1430.

[5] DU Y，ZHONG S，ZHOU N， et al.Exponential stability for stochastic CohenGrossberg BAM neural networks with discrete and distributed time-varying delays[J].Neurocomputing，2014（01）：144-151.

[6]LIU B. Global exponential stability for BAM neural networks with time-varying delays in the leakage terms[J].Nonlinear Analysis：Real World Applications，2013（01）：559-566.

[7]KWON O，PARK J H，LEE S-M，et al.Analysis on delay-dependent stability for neural networks with time-varying delays[J].Neurocomputing，2013（01）：114-120.

[8]LAKSHMANAN S，PARK J H，JUNG H Y，et al.A delay partitioning approach to delay-dependent stability analysis for neutral type neural networks with discrete and distributed delays[J].Neurocomputing，2013（01）：81-89.

[9]WANG K，ZHU Y.Stability of almost periodic solution for a generalized neutral-type neural networks with delays [J].Neurocomputing，2010（16-18）：3300-3307.

[10]LIU P L.Improved delay-dependent stability of neutral type neural networks with distributed delays[J].ISA Trans，2013（06）：717-24.

[11]ZHANG Z，LIU W， ZHOU D.Global asymptotic stability to a generalized Cohen-Grossberg BAM neural networks of neutral type delays[J].Neural networks，2012（01）：94-105.

[12]FAYDASICOK O，ARIK S.A new upper bound for the norm of interval matrices with application to robust stability analysis of delayed neural networks[J].Neural Networks，2013（01）：67-71.

[13]CAO J，HUANG D-S，QU Y.Global robust stability of delayed recurrent neural networks[J].Chaos，Solitons & Fractals，2005（01）：221-229.

[14]ENSARI T，ARIK S.New results for robust stability of dynamical neural networks with discrete time delays[J].Expert Systems with Applications，2010（08）：5925-5930.

[15]SINGH V.Global robust stability of delayed neural networks：Estimating upper limit of norm of delayed connection weight matrix[J].Chaos，Solitons&Fractals，2007（01）：259-263.

作者簡介：吳海霞（1979-），女，山東臨清人，博士后，副教授，美國IEEE會員，中國計算機學會會員。研究方向：神經網絡、基因調控網絡動力學行為。

第3篇：神經網絡的復雜度范文

關鍵字神經網絡，BP模型，預測

1引言

在系統建模、辨識和預測中，對于線性系統，在頻域，傳遞函數矩陣可以很好地表達系統的黑箱式輸入輸出模型；在時域，Box-Jenkins方法、回歸分析方法、ARMA模型等，通過各種參數估計方法也可以給出描述。對于非線性時間序列預測系統，雙線性模型、門限自回歸模型、ARCH模型都需要在對數據的內在規律知道不多的情況下對序列間關系進行假定。可以說傳統的非線性系統預測，在理論研究和實際應用方面，都存在極大的困難。相比之下，神經網絡可以在不了解輸入或輸出變量間關系的前提下完成非線性建模[4，6]。神經元、神經網絡都有非線性、非局域性、非定常性、非凸性和混沌等特性，與各種預測方法有機結合具有很好的發展前景，也給預測系統帶來了新的方向與突破。建模算法和預測系統的穩定性、動態性等研究成為當今熱點問題。目前在系統建模與預測中，應用最多的是靜態的多層前向神經網絡，這主要是因為這種網絡具有通過學習逼近任意非線性映射的能力。利用靜態的多層前向神經網絡建立系統的輸入/輸出模型，本質上就是基于網絡逼近能力，通過學習獲知系統差分方程中的非線性函數。但在實際應用中，需要建模和預測的多為非線性動態系統，利用靜態的多層前向神經網絡必須事先給定模型的階次，即預先確定系統的模型，這一點非常難做到。近來，有關基于動態網絡的建模和預測的研究，代表了神經網絡建模和預測新的發展方向。

2BP神經網絡模型

BP網絡是采用Widrow-Hoff學習算法和非線性可微轉移函數的多層網絡。典型的BP算法采用梯度下降法，也就是Widrow-Hoff算法。現在有許多基本的優化算法，例如變尺度算法和牛頓算法。如圖1所示，BP神經網絡包括以下單元：①處理單元(神經元)（圖中用圓圈表示），即神經網絡的基本組成部分。輸入層的處理單元只是將輸入值轉入相鄰的聯接權重，隱層和輸出層的處理單元將它們的輸入值求和并根據轉移函數計算輸出值。②聯接權重(圖中如V,W)。它將神經網絡中的處理單元聯系起來，其值隨各處理單元的聯接程度而變化。③層。神經網絡一般具有輸入層x、隱層y和輸出層o。④閾值。其值可為恒值或可變值，它可使網絡能更自由地獲取所要描述的函數關系。⑤轉移函數F。它是將輸入的數據轉化為輸出的處理單元，通常為非線性函數。

2.1基本算法

BP算法主要包含4步，分為向前傳播和向后傳播兩個階段：

1）向前傳播階段

（1）從樣本集中取一個樣本（Xp，Yp），將Xp輸入網絡；

（2）計算相應的實際輸出Op

在此階段，信息從輸入層經過逐級的變換，傳送到輸出層。這個過程也是網絡在完成訓練后正常運行時的執行過程。

2）向后傳播階段

（1）計算實際輸出Op與相應的理想輸出Yp的差；

（2）按極小化誤差的方式調整權矩陣。

這兩個階段的工作受到精度要求的控制，在這里取作為網絡關于第p個樣本的誤差測度，而將網絡關于整個樣本集的誤差測度定義為。圖2是基本BP算法的流程圖。

2.2動態BP神經網絡預測算法

在經典的BP算法以及其他的訓練算法中都有很多變量，這些訓練算法可以確定一個ANN結構，它們只訓練固定結構的ANN權值（包括聯接權值和結點轉換函數）。在自動設計ANN結構方面，也已有較多的嘗試，比如構造性算法和剪枝算法。前一種是先隨機化網絡，然后在訓練過程中有必要地增加新的層和結點；而剪枝法則正好相反。文獻[2]中提出了演化神經網絡的理念，并把EP算法與BP進行了組合演化；也有很多學者把遺傳算法和BP進行結合，但這些算法都以時間復雜度以及空間復雜度的增加為代價。根據Kolmogorov定理,對于任意給定的L2型連續函數f:[0,1]nRm,f可以精確地用一個三層前向神經網絡來實現，因而可以只考慮演化網絡的權值和結點數而不影響演化結果。基于此，在BP原有算法的基礎上，增加結點數演化因子，然后記錄每層因子各異時演化出的結構，最后選取最優的因子及其網絡結構，這樣就可以避免由于增加或剪枝得到的局部最優。根據實驗得知，不同的預測精度也影響網絡層神經元的結點數，所以可根據要求動態地建立預測系統。具體步驟如下：

（1）將輸入向量和目標向量進行歸一化處理。

（2）讀取輸入向量、目標向量，記錄輸入維數m、輸出層結點數n。

（3）當訓練集確定之后，輸入層結點數和輸出層結點數隨之而確定，首先遇到的一個十分重要而又困難的問題是如何優化隱層結點數和隱層數。實驗表明，如果隱層結點數過少，網絡不能具有必要的學習能力和信息處理能力。反之，若過多，不僅會大大增加網絡結構的復雜性（這一點對硬件實現的網絡尤其重要），網絡在學習過程中更易陷入局部極小點，而且會使網絡的學習速度變得很慢。隱層結點數的選擇問題一直受到神經網絡研究工作者的高度重視。Gorman指出隱層結點數s與模式數N的關系是：s＝log2N；Kolmogorov定理表明，隱層結點數s＝2n＋1（n為輸入層結點數）；而根據文獻[7]：s＝sqrt（0.43mn＋0.12nn＋2.54m＋0.77n＋0.35）＋0.51[7]。

（4）設置結點數演化因子a。為了快速建立網絡，可以對其向量初始化，并從小到大排序[4，7]。

（5）建立BP神經網絡。隱含層傳遞函數用tansig，輸出層用logsig，訓練函數采用動態自適應BP算法，并制訂停止準則：目標誤差精度以及訓練代數。

（6）初始化網絡。

（7）訓練網絡直到滿足停止判斷準則。

（8）用測試向量對網絡進行預測，并記錄誤差和逼近曲線，評估其網絡的適應性。其適應度函數采取規則化均方誤差函數。

（9）轉到（5），選取下一個演化因子，動態增加隱含層結點數，直到最后得到最佳預測網絡。

3基于神經網絡的預測原理[4]

3.1正向建模

正向建模是指訓練一個神經網絡表達系統正向動態的過程，這一過程建立的神經網絡模型稱為正向模型，其結構如圖3所示。其中，神經網絡與待辨識的系統并聯，兩者的輸出誤差用做網絡的訓練信號。顯然，這是一個典型的有導師學習問題，實際系統作為教師，向神經網絡提供算法所需要的期望輸出。當系統是被控對象或傳統控制器時，神經網絡多采用多層前向網絡的形式，可直接選用BP網絡或它的各種變形。而當系統為性能評價器時，則可選擇再勵學習算法，這時網絡既可以采用具有全局逼近能力的網絡（如多層感知器），也可選用具有局部逼近能力的網絡（如小腦模型控制器等）。3.2逆向建模

建立動態系統的逆模型，在神經網絡中起著關鍵作用，并且得到了廣泛的應用。其中，比較簡單的是直接逆建模法，也稱為廣義逆學習。其結構如圖4所示，擬預報的系統輸出作為網絡的輸入，網絡輸出與系統輸入比較，相應的輸入誤差用于訓練，因而網絡將通過學習建立系統的逆模型。但是，如果所辨識的非線性系統是不可逆的，利用上述方法將得到一個不正確的逆模型。因此，在建立系統時，可逆性應該先有所保證。

4應用實例分析

以我國西南某地震常發地區的地震資料作為樣本來源，實現基于動態神經網絡的地震預報。根據資料，提取出7個預報因子和實際發生的震級M作為輸入和目標向量。預報因子為半年內M>=3的地震累計頻度、半年內能量釋放積累值、b值、異常地震群個數、地震條帶個數、是否處于活動期內以及相關地震區地震級。在訓練前，對數據進行歸一化處理。由于輸入樣本為7維的輸入向量，一般情況下輸入層設7個神經元。根據實際情況，輸出層神經元個數為1。隱含層神經元的傳遞函數為S型正切函數，輸出層也可以動態選擇傳遞函數。實例數據來自文獻[4]，將數據集分為訓練集、測試集和確定集。表1中的7×7數組表示歸一化后的訓練向量，第一個7表示預報因子數，第二個7表示樣本數。

表1歸一化后的訓練向量

在不同神經元數情況下，對網絡進行訓練和仿真，得到如圖5所示的一組預測誤差曲線。其中，曲線A表示隱層結點數為6時的預測誤差曲線，曲線B表示隱含層結點數為3時的預測誤差曲線，曲線C表示隱含層結點數為5時的預測誤差曲線，曲線D表示隱含層結點數為4時的預測誤差曲線。將五種情況下的誤差進行對比，曲線C表示的網絡預測性能最好，其隱含層神經元數為5，圖中曲線E表示的是隱含層結點數為15時的預測誤差曲線（文獻[4]中的最好結果）。同時也證明，在設計BP網絡時，不能無限制地增加層神經元的個數。若過多，不僅會大大增加網絡結構的復雜性，網絡在學習過程中更易陷入局部極小點，而且會使網絡的學習速度、預測速度變得很慢。

5結論

本文針對基本的BP神經網絡，提出了可動態改變神經元數（與精度相關）的BP神經網絡預測方法，可以根據實際情況建立預測系統。用此種方法可以建立最好的神經網絡，不會有多余的神經元，也不會讓網絡在學習過程中過早陷于局部極小點。

參考文獻

[1]YaoX,LiuY.FastEvolutionaryProgramming.inEvolutionaryProgrammingⅤ:Proc.5thAnnu.Conf.EvolutionaryProgram,L.Fogel,P.AngelineandT.Bäck,Eds.Cambridge,MA:MITPress,1996,451-460

[2]XinYao,YongLiu,ANewEvolutionarySystemforEvolvingArtificialNeuralNetworksIEEETRANSACTIONSONNEURALNETWORKS,VOL8,NO.31997，694-714

[3]潘正君，康立山，陳毓屏.演化計算[M].北京:清華大學出版社，1998

[4]飛思科技產品研發中心.神經網絡理論與實現.北京:電子工業出版社，2005

[5]蔡曉芬，方建斌.演化神經網絡算法.江漢大學學報，第33卷第3期，2005.9

第4篇：神經網絡的復雜度范文

（黑龍江民族職業學院，黑龍江 哈爾濱 150066）

摘　要：盈余預測具有引導投資者投資行為的作用，因此受到投資者的廣泛重視。然而，國內對公司未來盈利進行預測的研究還相當少。提出了以決策樹作為基分類器，采用集成學習方法，利用上市某公司2001至2005年的財務數據對該上市公司在2006年的盈利狀況進行預測研究。首先，采用有放回的隨機抽樣技術分別從訓練樣本和測試樣本中產生50個訓練子集和1個測試集；然后利用決策樹，采用CHAID算法對50個訓練子集分別進行訓練，得到50個基決策樹分類器；通過采用Bagging方法，構建決策樹集成模型。所得到的集成模型在測試集上的分類準確率達到96%以上，通過比較由不同數目的基分類器構成的集成模 型和單個分類器的預測準確率，證明了該集成模型的預測準確率高且穩定。

關鍵詞 ：神經網絡；集成學習；盈利預測

中圖分類號：F275文獻標志碼：A文章編號：1000-8772（2014）31-0253-02

收稿日期：2014-10-28

作者簡介：潘道華（1981-），女，漢族，黑龍江哈爾濱人，研究生，主要研究方向：人工智能、數據挖掘與決策支持。

1 引言

公司的財務狀況及其未來盈利情況不但對公司的管理層十分重要，而且對其他投資者也非常重要。如果能夠利用公司以往的財務報表數據和其它一些宏觀經濟數據（如GDP、CPI、利率等）及早準確預測公司未來的盈利狀況的話，那么就可以更有效地對公司進行管理和指導投資者的投資行為。但是，一個公司的財務報表往往只反映了公司在過去的財政年度內的經營狀況，并不反映出公司在下一年中的管理情況。因而，一個公司的財務狀況與其未來盈利之間的關系并沒有那么明顯，它受到很多因素的影響，要構建一個精確的模型反映它們之間的關系是很困難的。針對此情況，本文提出采用決策樹集成方法，構建模型來刻畫公司財務狀況與其未來盈利之間的關系，利用上市公司已有的財務數據，并結合主要的宏觀經濟變量來預測公司未來的盈利狀況，這必將是公司財務處理的一個新發展。

數據挖掘技術越來越多地被用于預測研究。集成學習方法作為數據挖掘技術中一種較新的方法，由于其在提高預測的準確性上的優點，正被越來越多的研究者使用。

盡管許多領域都應用集成學習方法來進行研究，但在對公司未來盈利的預測研究上還很少，在國內尚未見到任何報導。雖然Takashi Washio等人對日本上市公司的未來盈利狀況進行了研究，但是他們只是將盈利狀況分為兩種情況來進行研究。本文通過利用集成學習方法，考慮宏觀經濟對公司盈利可能造成的影響，提出將宏觀經濟變量納入變量體系，同時，為了使結果更有指導意義，將上市公司的每股收益（EPS）指標將公司盈利的情況劃分為三類，即EPS為負，EPS大于均值及EPS介于二者之間，對其進行預測研究。

2 研究方法

2.1神經網絡

人工神經網絡是由大量并行分布式處理單元組成的簡單處理單元[1]。由于神經網絡具有非線性，自學習能力、自適應性強和容錯性高等優點，因而被廣泛用于各種非線性預測問題。

所有神經網絡都有一個輸入層和輸出層，一個網絡結構可以包含一個或多個隱含層。神經網絡的學習是通過調整連接權重和偏差實現的。Cybenko等人證明了如果神經網絡利用一個有界的，連續的，非遞減的激活函數時，只要不對隱含層的神經元數進行限制，一個三層網絡（包含一個隱含層）就能夠學習任意一個在輸入和輸出空間的連續映射[2]。在實際應用中用的最多的是BP神經網絡。

BP神經網絡是一種基于誤差后向傳播算法（BP算法）的多層感知器網絡。BP神經網絡的激活函數一般采用Log-Sigmoid或Tangent Sigmoid等可微函數。BP算法分為兩個階段。第一階段是前向過程，逐層計算各神經元的輸出值，第二階段是誤差后向傳播過程，從后向前逐層傳播輸出層的誤差并據此修正各層權重，直到輸出結果滿足預先設定的精度要求或達到算法設定的最大循環次數。

2.2神經網絡集成

如何根據觀測數據學習得到精確估計是機器學習領域中人們非常關注的一個問題，機器學習的一個重要目標就是對新的測試樣本盡可能給出最精確的估計。構造一個高精度估計是一件相當困難的事情，然而產生多個只比隨機猜測好的粗糙估計卻很容易。傳統的機器學習方法是在一個由各種可能的函數構成的空間中尋找最接近實際分類函數的分類器。常用的單個分類器模型主要有決策樹、人工神經網絡等。

集成學習（ensemble learning）的基本思想是在對新的實例進行分類的時候，把若干個單個分類器集成起來，通過對多個分類器的分類結果按某種方式來進行組合，決定最終的分類，以取得比單個分類器更好的結果。如果把單個分類器比作一個決策者的話，集成學習方法就相當于多個決策者共同進行一項決策。

盡管單個神經網絡在處理非線性問題上表現良好，但是用單個神經網絡來進行預測，一個不足的地方就是結果的穩定性差。因為神經網絡的預測結果受網絡各層之間的初始權重影響很大。為了克服這一不足，本文利用集成學習的思想，采用以BP神經網絡作為基分類器的神經網絡集成方法來對公司未來盈利狀況進行預測。

以神經網絡作為基分類器構建集成模型的方法主要有Bagging和Boosting。本文選擇采用Bagging方法，因為Bagging方法較易于實現，而且不容易產生過擬合現象。對一個已知的有n個數據元素的數據集，Bagging法的原理是[1]：對每次循環（=1，2，…，），采用有放回的隨機抽樣方法從數據集中抽取m個數據形成訓練集（mn），分類器模型從中學習。為了對一個未知的元素X分類，每個都返回一個分類值，將該分類值看成是一票，而最后的集成分類器，通過統計這些投票，將X歸為得票最多的那一類。

3 研究步驟與具體實例分析

3.1樣本選取

本文采用的上市公司數據樣本來自天軟數據庫。在剔除了財務變量有大量缺失值后，樣本共包含從2001年至2006年的深市和滬市A股的1174家上市公司。其中，滬市上市公司734家，深市440家。本文選取了反映上市公司償債能力，成長能力，經營能力，資本結構，盈利能力，現金流，每股指標等方面的29個財務變量作為初始變量。此外，為了研究宏觀經濟環境對公司未來盈利的影響，相應的選擇了2001年至2006年的三個宏觀經濟變量：國內生產總值增長率（GDP），居民消費價格指數增長率（CPI）及一年期金融機構貸款基準利率。這幾個變量都與公司的盈利狀況有著密切的關系。國內生產總值反映了整個國家的經濟狀況，而居民消費價格指數是反映居民購買并用于消費的商品和服務項目價格水平的變動趨勢和變動幅度的相對數，它可以全面反映多種市場價格變動因素及其對居民實際生活的影響程度。一年期金融機構貸款基準利率會影響公司的營運成本，會對公司的利潤產生直接的影響。所有變量見附表。

為了預測未來公司的盈利狀況，本文將數據樣本分為訓練樣本和測試樣本。其中，訓練樣本由2001年至2005年的公司樣本數據用有放回的隨機抽樣方法得到，每個訓練樣本包含1000個觀測，測試樣本是用相同方法得到的上市公司在2006年的數據樣本，包含400個觀測。

3.2指標選擇

對于初始變量表，變量之間存在著相關性。雖然神經網絡對變量間的相關性具有較強的容忍度，但是，變量太多會增加網絡的復雜度，還有可能使網絡過適應，從而使得網絡在測試樣本上的表現很差，而且并不是變量越多，神經網絡的預測精度就越大，所以適當選擇具有代表性的指標變量既可以達到與用所有變量相同的預測精度，又能降低網絡的復雜度，避免使網絡陷入過適應，提高網絡的訓練速度。

然而，運用神經網絡方法，對輸入變量的選取目前并沒有一個公認的方法。為了從眾多的初始變量中選擇具有代表性的變量，本文利用spss Clementine11.1數據挖掘軟件包選項面板中的建模欄中的特征選擇節點來對變量進行篩選。通過構建一個帶有特征選擇節點的流，可以為每一訓練集篩選出重要的變量。利用篩選出來的變量和全部變量分別對訓練樣本進行訓練，得到兩種神經網絡模型，分別對測試樣本進行分類，并分別構建集成模型。

3.3 建立模型

本文是對2001年至2005年上市公司的數據樣本進行訓練得到單個神經網絡模型，用該模型對測試樣本進行預測。如何產生不同的分類模型是影響集成模型準確性的一個重要因素[4]。以下四種方法——不同的初始條件，不同的網絡結構，不同的訓練數據，不同的訓練算法常用來產生分類模型。本文采用不同的訓練數據和不同的網絡結構這兩種方式結合得到基神經網絡。

按照Bagging方法的要求，本文采用有放回隨機抽樣方法，從訓練樣本中隨機抽取了15個子訓練集，并用相同的方法從測試集中抽取了400個樣本數據組成測試集。每個子訓練集含有1000個樣本，它們均由2001至2005年的200個公司樣本組成。利用特征選擇節點在每個訓練集上選出的變量分別在這15個子樣本上進行訓練得到子分類器，然后用這些子分類器對測試樣本進行分類。采用多數投票法對子分類器進行集成，得到集成方法在測試集上的預測結果。

3.4 結果分析

為了比較集成模型與單個神經網絡預測準確率的差異，按照單個神經網絡模型預測準確率按升序進行排序，分別計算了由7個、9個、11個、13個、15個基神經網絡模型構成的集成模型的預測準確率，集成模型，不論是由用全部變量進行訓練得到的基神經網絡構建還是由用篩選出的變量進行訓練得到的構建，都顯示出了很高的準確率，而且得到的預測準確率相當穩定。

4 結論

本文利用神經網絡集成的方法，以上市公司過去的財務數據和宏觀經濟數據為樣本，對上市公司的未來盈利狀況進行預測。研究結果表明，相比于單個神經網絡模型，盡管選用7個預測精度最差的單個神經網絡作為基神經網絡，其集成網絡的預測準確率仍然很高，因而集成方法得到的結果更穩定，更具有說服力。

由于上市公司管理水平的差異，影響公司盈利狀況的因素又多，所以要想較好的刻畫它們對盈利狀況的影響，是一個很有挑戰性的問題。本文的研究結果還表明，采用神經網絡集成方法來研究未來盈利狀況是可行的。進一步的研究可以從以下幾個方面考慮：

（1）變量的選取。為了使預測更為準確，在建模時，需要考慮更多的影響因素。由于公司盈利狀況跟公司的管理水平直接相關，因此，如何合理選取量化一些有關公司治理的指標變量，將它們加入到模型中去，是一個值得深入研究的問題。

（2）產生集成神經網絡的方法。除了Bagging方法，還有其他產生集成神經網絡的方法，比如Boosting方法。不同的方法會得到不同的結果，從而通過比較不同的結果，可以得到一個用來研究此類問題的最好的方法。

參考文獻：

[1] Lars Kar Hansen， Peter Salamon. Neural network ensembles，IEEE transactions on pattern analysis and machine intelligence，vol.12， pp993-1001， 1990.

[2] Li-Chiu Chia，Tseng-Chung Tang. Artificial neural networks in reorganization outcome and investment of distressed firms： The Taiwanese case， Expert Systems with Applications， vol.29，pp641-652， 2005.

[3] Jiawei Han Micheline Kamber， data mining; concepts and tech-niques（second edition）[M]．北京：機械工業出版社，2006．

第5篇：神經網絡的復雜度范文

文章通過對比不同種類的預測模型，找到一種能夠適合預測寬帶網絡故障的方法。文中使用動態神經網絡和自回歸移動平均法來預測非線性系統，并對結果進行比較，并得到了比較滿意的結果。對于每個測試用例，相關參數都進行了調整以適應相應的精度要求。

【關鍵詞】網絡故障 神經網絡 自回歸移動平均法 非線性系統

1 引言

寬帶電信網絡現已經大規模的市場化，雖然網絡服務的質量一直在不斷提高，但是網絡故障的不斷發生，仍然是電信運營商所必須關注的問題。網絡故障最常見的表現是：服務完全中斷，下行帶寬低，無法訪問網站，撥打VoIP電話時的噪音，無法建立一個電話呼叫等。最能夠反映網絡服務質量的參數是MTBF（發生故障之間的平均時間），減少故障的發生也就是提高發生故障之間的平均時間是運營商對于網絡改進的重點。國內外的運營商也正在開發中運營支持系統和業務支持系統，目的為了分析大量來自網絡的可用數據。但是由于服務復雜度，較長的平均服務時間和更多終端設備的實例，與傳統的電話網絡相比，寬帶接入網絡的平均故障間隔時間（MTBF）比傳統的非寬帶網絡低2-6倍，也就是是說網絡故障發生的頻率遠高于傳統的電話網絡。另一方面，網絡的復雜性使得難以準確地診斷可能會導致更高的重復數的問題故障。同時在用戶被引入通過感知和報告故障的隨機分量的數量和復雜性的增加，一個寬帶網絡中發生的故障可以看作是一個時間序列。時間系列描述寬帶故障的特點是事件發生的隨機性，事件馱有砸約笆錄數量龐大，這就使得到的時間序列具有較高的過程噪聲。由于監視系統的不完善性，時間序列中的噪聲是必然是很多沒有觀察到的變量所導致的。監視系統的不完善性表明其預警的模糊性，不準確性，同時也可能導致在某些特定的網絡故障事件發生時，無法預警。通過測量噪聲的水平，我們確定了模型中所需的變量和其復雜度。描述時間序列有兩個相關的變量，即平穩性和線性、非線性。描述寬帶網絡的時間序列是由于其特性，即高水平的波動多引起的非平穩性所決定的。在系統中的變量都是線性的和非線性的，一個時間序列的線性/非線性決定哪種模型會更有效地預測時間序列的結果，最終確定的最終實施的最佳模式。線性的時間序列可以使用自回歸模型，例如ARMA或ARIMA來描述，而非線性的時間序列則更適合用神經網絡的非線性激活函數來描述。本文的目的是為了找到最合適的模型來描述它表征的系統。

2 一個網絡故障時間序列實例

為了動態跟蹤和預測的故障發生，我們將故障的數量作為一個時間序列。它被認為是一個隨機序列而不是確定性的序列，也就是說未來的結果只能進行估計，而不能夠精確計算。數據收集的頻率依賴于時間序列的性質和邏輯，也就是說結果依賴于所描述的現象。采樣的頻率利用每天，每周，每月和每年的時間序列。運營管理中，對于寬帶故障的短期預測是必不可少的，而長期的預測是與戰略和長期規劃相關。此外，正確選擇的數據采集頻率有助于確定數據的周期性。寬帶故障有兩個清晰可辨的周期性，每天每周一次。故障發生模式本質上是動態的，并隨著時間和季節的變化。每日樣本反映住宅及商業客戶的工作活動以及之后形成每周模型。本文對每10分鐘，每小時，每天，每周序列進行了分析，為實際應用提供了足夠的選擇。圖1顯示了一個例子系列描述的是故障發生在10分鐘的時間間隔，采樣的總時間為2000分鐘。一般情況下，該序列具有可識別的形式，然而像諸如如核心網元發生故障或雷雨可以顯著影響曲線的形狀和扭曲，使其不可識別。

3 神經網絡模型

人工神經網絡由于其十分強的自適應、自學習功能，因此經常用來預測不同種類的時間序列。人工神經網絡是一個以有向圖為拓撲結構的動態系統，它通過對連續或斷續式的輸入作狀態響應而進行信息處理。是一個高度復雜的非線性動力學系統，不但具有一般非線性系統的共性，更主要的是它還具有自己的特點，比如高維性、神經元之間的廣泛互連性以及自適應性或自組織性等。

3.1 感知器神經網絡

MLP網絡是神經網絡中研究的一個重點，它們具有很強的分類能力，它能解決模式分布非常復雜的分類問題。它由三部分組成：一組感知單元（源節點）組成輸入層、一層計算節點的隱含層、一層計算節點的輸出層。第一層的激活函數為對數s形函數，第二層激活函數為線性函數。如圖2所示。

3.2 BP神經網絡

BP神經網絡是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種多層前向型網絡。其神經元的傳遞時S型函數，輸出量為0-1的連續量，它可以實現輸入到輸出的任意非線性映射。BP神經元的傳輸函數為非線性函數，常用的函數為losig函數和tansig函數，輸出層則采用線性函數purelin。如圖3所示。

3.3 NARX神經網絡

NARX神經網絡即Jordan神經網絡是一個能表示動態系統的網絡，它把輸入也反饋到網絡的輸出，這就使加入的狀態反饋反映到網絡的動態性能中。我們的想法得到進一步提高在非線性自回歸網絡與外部輸入，輸出的數據是保存在延遲存儲器線。Jordan網絡的輸出值存儲在網絡本身的狀態變量中，而NARX網絡中，他們存儲在延遲矢量中。如圖4所示。

3.4 ARIMA 模型

ARIMA模型全稱為差分自回歸移動平均模型，是由博克思和詹金斯于70年代初提出的一著名時間序列預測方法。所謂ARIMA模型，是指將非平穩時間序列轉化為平穩時間序列，然后將因變量僅對它的滯后值以及隨機誤差項的現值和滯后值進行回歸所建立的模型。ARIMA模型根據原序列是否平穩以及回歸中所含部分的不同，包括移動平均過程（MA）、自回歸過程（AR）、自回歸移動平均過程（ARMA）以及ARIMA過程。ARIMA模型的基本思想是：將預測對象隨時間推移而形成的數據序列視為一個隨機序列，用一定的數學模型來近似描述這個序列。這個模型一旦被識別后就可以從時間序列的過去值及現在值來預測未來值。模型如下圖公式所示。

4 數據分析和對比

通過使用均方根誤差和判定系數，對比實際的數據和預測的數據來估算預測模型的準確性。

圖5和圖6是對LRN模型和NARX模型預測的結果與實際數據的對比，從圖形可以直觀看出，這兩個模型具有相對可靠地準確性。

5 結束語

本文的主要目的是比較不同的預測方法對于寬帶網絡故障的短期和長期預測。研究的結果表明動態遞歸神經網絡優于靜態神經網絡。此外，傳統的預測方法，ARIMA無法實現神經網絡的準確性預測，這證實了在電信網絡中大多數故障的非線性特征的假說。未來的改進方向是應用動態內存模型，像NARX和LRN模行，調節相應的網絡參數，另外識別和輸入參數的引入，也將有利于提高模型的準確性。

參考文獻

[1]陸寧云，何克磊，姜斌，呂建華.一種基于貝葉斯網絡的故障預測方法[J].東南大學學報自然科學版，2012，42：87-91.

[2]艾紅，周東華.動態系統的故障預測方法[J].華中科大學學報：自然科學版，2009，37：222-225.

[3]吳昕慧.基于神經網絡的鐵路客運量優化預測[J].計算機仿真，2010（10）：168-170.

[4]李楠，曾興雯.基于EMD和神經網絡的時間序列預測[J].西安郵電學院學報，2007（01）：51-54.

[5]汪遠征，徐雅靜.多元平穩時間序列ARIMAX模型的應用[J].統計與決策，2007（18）：132-135.

第6篇：神經網絡的復雜度范文

關鍵詞：個性化；信息檢索；文本分類

中圖分類號：TP311文獻標識碼：A 文章編號：1009-3044(2008)29-0265-02

Method of Text Categorization in Personalized Retrieval

PENG Ye-ping, XIAO Da-guang

(Information science and Engineering college,Central South University,Changsha 416000,China)

Abstract: Personalized retrieval is becoming a hot topic for research， this paper mainly discusses about the text categorization algorithm， its principles and scope of application.

Key words: personalized; retrieval; text categorization

1 引言

搜索引擎在信息檢索中起了重要作用，但是由于引擎的通用性，使其不能滿足不同目的，背景，時期的用戶查詢需求，因此需要針對擁護特征向用戶提供個性化服務。文本分類方法通過構造某種分類模型，并以此判斷樣本所屬的類別。文本分類對合理組織，存儲文本信息，提高信息檢索速度，提高個性化信息檢索效率的基礎。

2 分類方法

2.1 樸素貝葉斯方法

樸素貝葉斯方法是一種在已知先驗概率與條件的情況下的模式識別方法，假設詞條之間是相互獨立的。設d為一任意文本，它屬于文檔類C{c1，c2，…，ck}中的一類Cj，引用詞條和分類的聯合概率來計算給定文檔的分類概率的公式如下：

計算所有文本類在給定d情況下的概率，概率值最大的那個類就是文本d所屬的類，既：

2.2 貝葉斯網絡分類法

貝葉斯網絡分類法考慮了特征之間的依賴關系，該方法更能真實反映文本的情況，但是計算復雜度比樸素貝葉斯高的多。

2.3 決策樹方法

決策樹極強的學習反義表達能力使得其適合于文本分類，它是通過一組無序，無規則的實例推理出樹型的分類規則，采用自頂向下的遞歸方式，在決策樹的內部結點進行屬性值的比較并根據不同的屬性值進行判斷從該結點向下的分支，在決策樹的葉結點得到結論，決策樹的建立算法有很多，文獻[5]其中包括基于信息增益的啟發式計算ID3；基于信息增益率的解決聯系屬性的算法C4.5；基于Gini系數的算法CART和可并行性算法SPRINT算法。決策樹方法特點是使用者只要將訓練樣例能夠使用屬性-結合式的方法表達出來，就能夠用該方法來學習，但是這種算法生成的仍是多叉樹。

2.4 K-鄰近方法

K-鄰近方法，根據測試文本在訓練文本中與之最相近的K篇文本的類別來判定它的類別，其中，K是一個重要的參數，文獻[4]K值過大，則與待分類文本實際上并不相似的一些文本也被包含，造成噪音增加;K值太小，則不能充分體現待分類文本的特點.一般對K會選定一個初值，相似值的判定可取歐拉距離或余旋相似度等，若分類系統中相似值的計算采用余旋相似度，則公式如下:

Sim(x，di)為相似度公式，X為新文本的向量，y(di，cj)為類別屬性函數，若d∈cj，則y(di，cj)=1;否則y(di，cj)=0;將新文本分到權重最大的類別中去。

2.5 支持向量機

Vapnik提出在結構風險最小化準則理論上的支持向量機方法，能有效解決小樣本集的機器學習問題，向量機主要是針對兩類分類問題，在高維空間尋找一個滿足分類要求的最優超平作為兩類的分割，既保證分類精確度，又要使超平面兩側的空白區域最大化，以保證最小的分類錯誤率，文獻[1]對于大于兩類的多類文本分類，就對每個類構造一個超平面，將這一類與其余的類分開，有多個類就構造多個超平面，測試時就看哪個超平面最適合測試樣本。支持向量機方法避免了局部性問題，樣本中的支持向量數，能夠有效地用于解決高緯問題。

2.6 神經網絡方法

神經網絡是模仿人腦神經網絡的基本組織特性構成的新型信息處理系統，其性質取決于網絡拓撲結構，網絡的權值和工作規則.通常由等于樣本特征數的輸入層，輸出層，等于樣本類數的神經元組成。其中，每一個連接都有一定的權值，通過訓練類來訓練的過程就是調整這些權值的過程，從而使神經網絡與可以正確地預測類別。

3 幾種方法的比較

3.1 樸素貝葉斯與網絡貝葉斯

樸素貝葉斯方法使用概率去表示所有形式的不確定性，學習或其他形式的推理都用概率規則來實現，但是大部分情況是文本特征之間的依賴關系是相互存在的，所以特征獨立性會影響樸素貝葉斯分類的結果；網絡貝葉斯能夠考慮特征之間的依賴關系，但是計算復雜度比樸素貝葉斯高得多；

3.2 支持向量機方法

支持向量機方法的優點：首先，該方法是針對有限樣本情況的分類方法，其算法最終將轉化為一個二次型尋優萬惡提，理論上得到的將是全局最優點，避免了局部極值問題；其次，該方法計算的復雜度不再取決于空間維度，而是取決于樣本數，這可能有效地用于解決高維度問題；再次，該方法對稀疏數據不敏感，能更好地捕捉數據的內在特征。缺點是：該方法參數的調整比較困難，分類比較費時。

3.3 神經網絡方法

神經網絡方法的優點：首先，具有自適應功能，它能根據所提供的數據，通過學習找出輸出結果之間的內在聯系，從而球的問題的解答；其次，神經網絡善于聯想、概括、類比和推廣，任何局部的操作都不會影響整體效果；再次，具有高速尋找優化解的能力。缺點：該方法根據輸入輸出的關系訓練網絡，缺少解釋能力，受訓練樣本影響大，訓練過程較慢，不適應大量數據的學習。

3.4 決策樹方法

決策樹方法的優點是它在學習過程中不需要使用者了解很多背景知識，只要訓練樣例能夠使用屬性-結論式的方法表示出來，就能使用該方法。缺點是測試屬性的選擇對該方法影響較大。

3.5 K-鄰近方法

K-鄰近方法的優點是該方法訓練過程較快，且可隨時添加或更新訓練文本來調整；缺點是因為需要很大的空間來保存文本，所以它分類的開銷很大，K值確定較慢，分類效果較差.

4 文本分類方法效果評價

1） 精確度（查全率）：是指通過分類系統正確分類的文本數與實際分類的文本數的比值，其公式如下：

精確度：=

2） 召回率(查全率)：是指通過分類系統正確分類的文本數與人工分類中應有的文本數的比值，公式如下：

召回率：=

3） F1測試值：對查權率和查準綠的綜合測試

F1測試值：=

參考文獻：

[1] 史忠植.知識發現[M].北京:清華大學出版,2002.

[2] 朱明.數據挖掘[M].合肥:中國科技大學出版社,2002.

[3] 王繼成,潘金貴,張福炎.web文本挖掘技術研究[J].計算機研究與發展,2000,37(5):513-520.

第7篇：神經網絡的復雜度范文

清河水庫位于遼寧省鐵嶺市清河區境內,遼河左岸支流清河偏下游處。是一座以防洪、灌溉、工業供水為主,兼養魚、旅游等綜合利用多年調節的大型水利樞紐工程。水庫已安全運行了50年,在防洪、興利等方面取得了顯著的經濟效益和巨大的社會效益。

洪水分類預報是針對洪水典型過程代表性的不足,通過降雨成因和聚類分析,確定不同類別洪水預報參數的優選方法。清河水庫根據現代洪水預報所存在的問題,結合工程實際,采用當前先進的分類預報方法,在流域長系列資料中將預報誤差較大的洪水提出來,根據其成因不同,采用人工神經網絡分類,利用遺傳算法參數優選,然后根據洪水特征,選擇不同的模型參數和規則進行洪水調度,從而提高了水庫預報調度精度,并與先進的計算機技術結合,集成到防洪調度系統中去,使其具有可行性、外延性和推廣性,從而取得顯著的經濟效益和社會效益。本文就人工神經網絡在清河水庫洪水分類預報中的應用作以介紹。

一、人工神經網絡的基本原理

人工神經網絡是由大量神經元廣泛互連而成的網絡系統,用以模擬人腦的行為。它是在現代神經科學研究成果的基礎上提出來的,是一種全新的模擬人類智能的方法和技術。目前,世界上已有50余種神經網絡計算模型,這些模型大體上可以分為三類,即:前饋網絡(Feedforward NNS)、反饋網絡(Feedback NNS)和自組織網絡(Self-Organizing NNS) 。

多層神經網絡能夠以任意精度逼近任意連續的非線性映射程的前提是在網絡任意大的情況下成立。對于給定的問題,網絡的層數取決于問題的要求,同時直接影響其推廣能力。對于用于分類的BP模型,選用3層BP神經網絡結構,具體的訓練算法分別采用標準的BP算法、動量法、基于動量法的自適應調整學習率的策略、擬牛頓法的BFGS法、共軛梯度法的Polak-Ribievre(簡稱P-R)法以及Leveberg-Marquardt(簡稱L-M)法。其輸入層節點數與輸入的特征數相同;輸出層節點數與分類類別數相同;隱含層節點數視問題的復雜度經試驗確定。一般確定隱節點數的方法采用“試錯法”(Trail-and-Error);先設定一個數為隱節點數,如果訓練誤差不能下降到所需范圍就增加節點數。如果誤差已經很小而分類效果依然很差,說明隱節點數過多,此時需適當減少隱節點數。這樣經過訓練合格后的BP模型就是一個分類器,可以對輸入樣本進行分類,這種分類器適于離線或在線分類。

Back-Propagation(反向傳播,簡稱BP算法)是目前研究最多的算法之一。BP神經網絡通常有一個或多個隱含層,含有一個隱含層的BP神經網絡結構如圖1所示。

圖1中,R代表輸入層有R個分量的輸入向量,Q為樣本數,P為輸入矩陣,W1、W2、b1、b2、a1、a2、s1、s2、n1、n2分別為隱含層和輸出層神經元的權重矩陣、閾值向量、輸出向量、神經元數及加權和向量。

在基本結構確定后,就可利用輸入輸出樣本集對網絡進行訓練。BP算法的訓練就是對網絡的權值和閾值進行學習和調整,使網絡實現給定的輸入輸出映射關系。BP算法實質上是把一組樣本輸入輸出問題轉化為一個非線性優化問題,并通過梯度算法利用迭代運算求解權值問題的一種學習算法。已經證明,具有sigmoid非線性函數的三層神經網絡可以任意逼近任何連續函數。其學習過程包括誤差正向傳播和反向傳播兩個過程。在正向傳播過程中,輸入信息從輸入層經隱含層逐層處理,并傳向輸出層,每一層神經元的狀態只影響下一層神經元的狀態。如果輸出層不能得到期望的輸出,則轉入反向傳播,將誤差信號沿原來的路徑返回。通過反復修改各層神經元的權值和閾值,使誤差最小。

二、BP算法在清河水庫洪水預報分類中的應用

洪水過程具有高度復雜性、模糊性和隨機性,但同時又表現出自身的規律性。對洪水進行模糊聚類分析,尋找同類型洪水的規律,以便將參數分類調試和洪水分類預報有機地結合起來,提高預報精度。在分析模糊ISODATA聚類不適合大樣本和實時在線分類的不足的基礎之上,BP算法和ANN模型解決洪水的分類問題是可行的,還具有良好的外延性和推廣性。

本文選用圖1的3層BP神經網絡結構,具體的訓練算法分別采用上面提及的標準的BP算法、動量法、基于動量法的自適應調整學習率的策略、擬牛頓法的BFGS法、共軛梯度法的Polak-Ribievre(簡稱P-R)法以及Leveberg-Marquardt(簡稱L-M)法。選取清河水庫從1964年至2004年41年的38場洪水按傳統預報方法進行重新計算,在這38場洪水中,用隨機函數隨機取出28場洪水作為分析資料,其他10場洪水留作檢驗用。由于在清河水庫歷史洪水資料中,降雨時期的天氣情況資料不完整,所以只考慮流域平均降雨量、前期影響雨量、降雨強度、降雨時空特征四個因子。

第8篇：神經網絡的復雜度范文

關鍵詞：多移動機器人;未知環境;導航;智能算法

1.引言

移動機器人的研究始于20世紀60年代末期，目的是研究人工智能技術及在復雜環境下機器人系統的自主推理和規劃能力。本文從多個方面對移動機器人的導航進行了深入的系統研究，其主要的內容和成果如下：從移動機器人的歷史和現狀出發，對比了國內外的不同發展狀況，對移動機器人導航領域的研究方向進行了綜述。著重介紹了移動機器人導航中常用的方法，對其中的人工勢能場法、神經網絡、遺傳算法和模糊控制進行了逐一的分析闡述，最后綜述結尾對全文進行了總結并對移動機器人導航研究進行了展望。

2.移動機器人的幾種導航方式

移動機器人導航是指移動機器人通過傳感器感知環境和自身狀態，實現在有障礙物的環境中面向目標的自主運動。我們可以將移動機器人所處的環境分成以下幾個研究方向：1）完全已知環境：機器人知道所在工作環境的所有信息，包括目標點的位置，方向，障礙物的位置和方向;2）部分已知環境：機器人知道所在工作環境中的部分信息，比如知道一部分障礙物的位置和方向，有另外一部分環境是不知道的;3）完全未知環境：機器人完全不知道所在工作環境的信息，只知道目標點的方向和位置，其它障礙物的信息是一點都不知道。

目前，機器人導航要解決的關鍵問題表現為以下三個方面[1]：

1）通過一定的檢測手段獲取移動機器人在空間中的位置、方向以及所處環境的信息;

2）用一定的算法對所獲信息進行處理并建立環境模型;

3）尋找一條最優或近似最優的無碰路徑，實現移動機器人安全移動的路徑規劃。

目前，移動機器人導航有很多方法，常用的方法有：人工勢能場法、神經網絡、遺傳算法和模糊控制等，下面本文將對這幾種常用的方法進行分析比較。

2.1 基于人工勢能場法（APF）的移動機器人導航

人工勢場法[1，2]是Khatib提出的一種虛擬力法。人工勢場法是傳統算法中較成熟且高產的規劃方法，其基本思想是將移動機器人在環境中的運動視為一種虛擬人工受力場中的運動。障礙物對移動機器人產生斥力，目標點產生引力，引力和斥力周圍由一定的算法產生相應的勢，機器人在勢場中受到抽象力作用，抽象力使得機器人繞過障礙物。該法結構簡單，便于低層的實時控制，在實時避障和平滑的軌跡控制方面，得到了廣泛應用。

高云峰等[3]針對勢場原理所固有的幾個缺陷進行了改進，使改進后的勢場法適用于未知復雜環境下移動機器人的導航，具備一定的學習能力，并通過仿真實驗驗證了該方法的有效性。王肖青等[4]討論了傳統的人工勢能場方法的不足，并提出了一種改進的人工勢能場方法。王奇志等[5]提出了一種改進的人工勢場法，通過排除一個距機器人最遠的障礙物，同時加一個同等大小反方向力來消除零勢能點，從而實現消除零勢能域，達到多障礙物情況下機器人運動規劃的快速、實時、避障的效果，結果表明，該算法對多個障礙物和非靜態的障礙物同樣適用。

人工勢場法突出的優點是系統的路徑生成與控制直接與環境實現了閉環，從而大大加強了系統的適應性與避障性能。但是人工勢場法也存在幾個主要的缺陷：1）陷阱區域;2）在相近的障礙物之間不能發現路徑;3）在障礙物前振蕩;4）在狹窄通道中擺動;針對這些缺陷，提出了一些改進辦法。對于人工勢場法存在“機器人在到達目標位置前由于陷入局部極小點而無法到達目標位置”的問題，解決的方法有：重新定義勢函數，使之沒有或有更少的局部極小點;利用搜索算法跳出局部極小點;還可以利用模擬退火算法使勢函數跳出局部極小點，到達機器人的目標位置。

2.2 基于神經網絡的移動機器人導航

神經網絡具有很強的適應復雜環境和多目標控制要求的自學習能力，并具有以任意精度逼近任意非線性函數的特點，神經網絡可與其他控制方法如專家系統、模糊控制等相結合，為其提供非參數化的對象模型、推理模型等。

近年來神經網絡在移動機器人導航領域得到越來越廣泛的應用。Zhang等[6]利用移動機器人在未知雜亂的環境中基于神經網絡和模糊邏輯的反應式導航原理，提出了一種新的方法，即提供一條指導命令使移動機器人避免內部碰撞及與障礙物相撞，說明了如何使用ART神經網絡在感知空間分區中控制移動機器人，如何為反應式導航的移動機器人建立一個三維的模糊控制器，并通過實驗模擬，證明了這種方法能夠很好地適應這種未知雜亂的環境。Zhu等[7]提出了一種基于模糊神經網絡將傳感器信息與機器人的移動結合起來的導航方法，這種方法可以使移動機器人充分感受周圍環境、自主避開靜態和動態障礙物，并在不同情況下避開“死循環”產生到達目標的合理的軌跡。通過仿真證明了該方法的實用性和有效性。Yang等[8]提出了一種神經網絡結構，這是一個有序的離散拓撲結構，用支路神經網絡模型為移動機器人進行路徑規劃，分流利用。Meng等[9]使用生物激勵神經網絡的方法，使移動機器人在動態環境中實現動態無碰撞。Millan[10]提出了一種強化學習的結構模型，使移動機器人在經過一定的嘗試后獲得導航的策略。為了避免簡單的模糊反應式方法帶來的兩大隱患，即從陷阱的情況下逃脫以及if-then規則的推理機制組合爆炸。盡管神經網絡在很多復雜度很高的問題上取得了很好的效果，但在使用時有幾點需要注意：1）神經網絡很難解釋，目前還沒有能對神經網絡做出顯而易見解釋的方法學;2）神經網絡會學習過度，這主要是由于神經網絡太靈活、可變參數太多，如果給足夠的時間，他幾乎可以“記住”任何事情，因此在訓練神經網絡時一定要恰當的使用一些能嚴格衡量神經網絡的方法;3）訓練一個神經網絡可能需要相當可觀的時間才能完成，除非問題非常簡單。當然，一旦神經網絡建立好了，在用它做預測時運行時還是很快的;4）建立神經網絡需要做的數據準備工作量很大。

2.3 基于遺傳算法的移動機器人導航

遺傳算法是由美國的J.Holland教授于1975年在他的專著《自然界和人工系統的適應性》中首先提出的，它本質上是對染色體模式所進行的一系列運算，即通過選擇算子將當前種群中的優良模式遺傳到下一代種群中，利用交叉算子進行模式重組，利用變異算子進行模式突變。通過這些遺傳操作，模式逐步向較好的方向進化，最終得到問題的最優解。

張文志等[11]給出了一種用遺傳算法學習模糊規則以完成移動機器人導航的方法，采用了變長度編碼方法和競爭型小生境遺傳算法，減少了染色體的尺寸和復雜度，同時提高了學習速度。Nishida等[12]利基于神經元系統提出了一種預測機器人伙伴感知的控制方法，該預測方法對于減少計算量、提取感知信息是非常重要的。龔濤等[13]分析了未知遠程環境下移動機器人導航過程中進化學習的效率和知識更新問題，提出了并行進化模型來解決此問題。Hu等[14]提出了一種基于遺傳算法的移動機器人路徑規劃，即使用具體的遺傳算法來解決機器人的路徑規劃問題。這種遺傳算法結合了專門的領域知識及本地搜索技術的知識，是一種獨特而簡單的路徑表示，具有簡單而有效的特點。現有多機器人協作構建地圖的方法對環境和機器人位置信息有著較高要求，因而在實際應用中存在一定局限性，Kala等[15]在文中提出了遺傳算法在移動機器人導航中的應用，使機器人可用于業界派調查，數據采集等，移動機器人可以在動態環境中避免內部碰撞證明了這種算法的有效性。

3.展望

目前，移動機器人導航技術已經取得了很好的研究成果。計算機技術、電子技術、通信技術、傳感器技術、控制技術、網絡技術地迅猛發展必將推動和促進移動機器人導航技術取得更多的研究成果。移動機器人導航技術的發展有以下幾方面的趨勢：（1）視覺導航具有信息量大、探測范圍廣等特點，仍然是移動機器人導航技術的主要發展方向;（2）導航系統結構將朝著分布式、模塊化、網絡化、多機器人協作的方向發展。分布式和模塊化的結構有利于減少機器人的體積和自重。通過互聯網實現機器人的遠程操作以及基于網絡的多機器人協作是導航技術的新的研究熱點;（3）路徑規劃將朝著多層規劃和多方法相結合的方向發展。采用基于反應式的行為規劃與基于慎思行為規劃相結合的方法。全局路徑規劃和局部路徑規劃相結合更有利于復雜環境的避障規劃;（4）新技術、新方法（如，虛擬現實技術、信息融合新方法、新型傳感器等）將促進移動機器人導航技術更快地發展。

參考文獻：

[1]王志文，郭戈.移動機器人導航技術現狀與展望[J].機器人，2003，25（5）：193-197.

[2]徐秀娜，賴汝.移動機器人路徑規劃技術的現狀與發展.計算機仿真.2006.10

[3]高云峰，黃海.復雜環境下基于勢場原理的路徑規劃方法[J].機器人，2004，26（2）：114-118

[4]王肖青，王奇志.傳統人工勢場的改進[J].計算機技術與發展，2006，16（4）：96-98.

[5]王奇志，基于改進人工勢場法的多障礙機器人運動控制，北京交通大學計算機學院，北京 100044.

[6]M.Zhang，S.Peng，and Q.Meng，Neural network and fuzzy logic techniques based collision avoidance for a mobile robot，Robotica，1997：627C632.

[7]A.Zhu and S.X.Yang，Neurofuzzy-based approach to mobile robot navigation in unknown environments，IEEE Trans.Syst.Man，Cybern.C.2007，37（4）：610-621.

[8]S.X.Yang and Q.-H.M.Meng，Real-time collision-freemotion planning of mobile robots using neural dynamics based approaches，IEEE Trans.Neural Netw.2003，14（6）：1541-1552.

[9]X.Yang and M.Meng，Neural network approaches to dynamic collision-free robot trajectory generation，IEEE Trans.Syst.Man，Cybern.2001，31：302-318.

[10]J.del R.Millan.Rapid，Safe and Incremental Learning of Navigation Strategies[J].IEEE Trans.on SMC-Part B，1996，26（3）：408-420.

[11]張文志，呂恬生.基于改進的遺傳算法和模糊邏輯控制的移動機器人導航[J].機器人，2003，25（1）：1-6.

[12]N.Kubota and K.Nishida，Perceptual control based on prediction for natural communication of a partner robot，IEEE Trans.Ind.Electron.2007，54（2）：866C877.

[13]龔濤，蔡自興.未知遠程環境下移動機器人導航的并行進化模型[J].機器人，2003，25（3）：470～474.

[14]Y.Hu，S.X.Yang，A knowledge based genetic algorithm for path planning of a mobile robot，in：Proceedings of the 2004 IEEE International Conference on Robotics and Automation.2004：4350 - 4355.

第9篇：神經網絡的復雜度范文

【摘要】 目的建立高效準確的穿心蓮樣品識別模型，為進行質量控制提供參考。方法收集不同產地的12個穿心蓮藥材樣品的指紋圖譜，提取4個主成分利用LM-BP神經網絡進行模式識別。結果建立了穿心蓮藥材指紋圖譜的LM-BP神經網絡模型，經過對不同產地穿心蓮的識別，證明其有較好的識別功能。結論LM-BP算法在識別速度和精度上都比傳統BP算法有了較大提高。

【關鍵詞】 LM-BP神經網絡 穿心蓮 指紋圖譜

為了更全面地檢測各種成分在藥材中分布的全貌，評價藥材質量，促進優質中成藥的生產，對中藥品種的分類識別是一個首要環節［1］。我國中藥材產地多，資源豐富、品種繁多、來源復雜，單憑傳統的經驗鑒別容易造成失誤，而隨著計算機技術發展和模式識別算法的提出和改進，利用中藥指紋圖譜進行中藥材鑒定已經取得了長足發展。由于中藥指紋圖譜含有大量信息，形成一個巨大的多維信息庫，且同時存在一些噪聲干擾而真偽難辨等，因此如何提高中藥指紋圖譜的識別效率，獲取更多有用的數據信息成為亟待解決的問題。本研究結合Levenberg-Marquardt算法與BP神經網絡技術，提取不同產地批次的穿心蓮中藥指紋圖譜的特征空間信息，利用Matlab7.0軟件編程建立高效準確的穿心蓮樣品識別系統。

1 材料與儀器

1.1 樣品來源 12批穿心蓮藥材樣品由廣東省中藥研究所提供，經廣州華南植物研究所陳炳輝研究員鑒定為穿心蓮Andrographis paniculata(Burm．f.)Nees，其中4批產自江西，5批來自廣東，福建3批。

1.2 試劑 乙腈(色譜純)，甲酸(分析純)，二次蒸餾水(自制)。

1.3 儀器Agilent四元泵高效液相色譜儀、SPD210A紫外檢測器，LC210ATVP輸液泵、UV24802型紫外可見分光光度計，AR2140電子分析天平。

2 方法

2.1 色譜分析條件 Phenomsil ODS柱( 250 mm ×4.6 mm，5 μm)，0.1%甲酸乙腈(A)與0.2%甲酸(B)梯度洗脫：0～20 min(20%A-80%B)，20～40 min(30%A -70%B)，40～55 min(40%A -60%B)，55～60 min(85%A-15%B)。流速1.0 ml/min，柱溫25。C，檢測波長254 nm，進樣量10 μl，所有組分均在60 min內被洗脫。

2.2 對照品溶液的制備精密稱取穿心蓮內酯、脫水穿心蓮內酯、新穿心蓮內酯和脫氧穿心蓮內酯對照品適量，用50%甲醇配制成1.0 mg/ml的對照品溶液。

2.3 供試品溶液的制備　取各批干燥的穿心蓮藥材2.0 g，粉碎，過40目，用20 ml 85%的乙醇回流提取兩次，2 h/次，過濾，合并濾液，回收乙醇，濾液濃縮至干，再加50%甲醇使其充分溶解，置10ml量瓶中稀釋至刻度，作為供試品溶液。

2.4 方法學考察

2.4.1 精密度實驗取供試品溶液(樣品1)，連續進樣6次，各主要色譜峰的相對保留時間和相對峰面積比值的RSD均小于3.0%，表明儀器精密度良好。

2.4.2 穩定性實驗取供試品溶液(樣品1)分別在0，1，2，4，12，24 h進樣測定，各主要色譜峰的相對保留時間和相對峰面積比值的RSD均小于3.0%，表明樣品在24 h內穩定。

2.4.3 重復性實驗取穿心蓮藥材(樣品1)，按“2.3”項下的方法分別制備供試品溶液6份，進樣檢測，結果各主要色譜峰的相對保留時間和相對峰面積比值的RSD均小于3.0%，表明方法的重復性良好。

2.5 模式識別方法

2.5.1 模式識別和BP神經網絡模式識別作為一個研究領域，迅速發展于20世紀60年代，它是一門以應用數學為理論基礎，利用計算機應用技術，解決實際分類及識別問題的學問［2］。

神經網絡是一種模擬人腦功能的成熟的模式識別方法，它借鑒了人腦神經系統處理信息的過程，以數學網絡拓撲結構為理論基礎，其中BP神經網絡是迄今為止應用最為廣泛的神經網絡［3］。

BP神經網絡是一種有監督的學習算法，它的特點是同一層內的神經元不連接，在整個信號傳遞過程中不存在任何信號反饋；輸入層用于信號分配和傳遞，不具備運算功能；隱含層和輸出層的神經元具有運算功能，可輸出最終運算結果。BP神經網絡的學習過程有正向與反向兩個過程，在正向傳播過程中，輸入信息從輸入層經過隱含層傳向輸出層，若不能得到預期輸出，則轉為反向傳播，將信號沿原來的連接通道返回并修改各層節點間的權值，經過反復調試，使得誤差信號小于某個閾值或等于0，此時訓練結束。經過訓練的網絡則可將系統規則、預測能力等隱含在網絡中，只需將測試樣本輸入則可給出處理結果。

2.5.2 Levenberg-Marquardt算法改進的BP算法BP神經網絡的常規算法在實際應用還存在一些需要改進的問題，例如網絡學習收斂速度慢，容易陷入局部極小等。而L-M算法是專門用于誤差平方和最小化的方法，它在網絡訓練速度和識別精度上的具有明顯的優勢［4］，因此本研究采用L-M算法對標準的BP算法進行改進。

設BP神經網絡的誤差指標函數為：

E(x)=12?Ni=1Yi-Y＾i2=12?Ni=1e2i(x)

其中，Yi為實際輸出向量， Y＾i為預期的輸出向量， ei(x)為誤差。

設xk表示第k次迭代的權值和閾值組成的向量，新的權值和閾值組成的向量xk+1表示為：

xk+1=xk+x，x=［JT(x)J(x)=μI］-1J(x)e(x)

其中， J(x)為網絡訓練誤差e(x)的Jacobian矩陣， I為單位矩陣， μ>0。

L-M算法的流程：①給出訓練誤差允許值ε，常數β和μ0，初始化權值和閾值向量k=0，μ=μ0。② 計算網絡輸出及誤差指標函數E(xk)。 ③計算Jacobian矩陣J（x)。④計算x 。⑤如果E(xk)＜?，則轉到⑥，否則以xk+1=xk+x為權值和閾值向量計算誤差指標函數E(xk+1)，若E(xk+1)＜E(xk)，則令k=k+1，μ=μ/β，轉到②；否則令μ=μβ，轉到④。⑥結束。

當μ=0時，L-M算法即高斯-牛頓法，當μ取值很大時，則越接近梯度下降法。在實踐中，它具有二階收斂速度，所需要的迭代次數很少，既具備牛頓法的局部收斂特性，又有梯度下降算法的全局特性。因此，L-M算法提供了一種快速有效的訓練手段，其算法計算復雜度為O(n3/6) 。

2.6 指紋圖譜的建立和分析

2.6.1 穿心蓮的指紋圖譜　按照上述方法，分別對12批穿心蓮藥材進行分析，制作了穿心蓮藥材的HPLC指紋圖譜，并計算出其穿心蓮內酯、脫水穿心蓮內酯、新穿心蓮內酯和脫氧穿心蓮內酯的含量。

2.6.2 資料預處理 為消除由于數據變換的幅度和范圍以及數據分布的非正態性對結果的影響，先將原始數據進行標準化變換。

2.6.3 LM-BP神經網絡結構及訓練測試結果本實驗所采用的3層LM-BP網絡中，輸入節點數為4，即原始數據經特征提取后的4個主成分，隱含層節點數為4，輸出層有1個節點。由于目前仍無系統的關于中間隱層節點數的選取理論，經多次實驗比較，最終選取隱層節點數為4時效果比較顯著。

動量因子和學習速率是影響BP神經網絡訓練速率和收斂度的兩個重要因素。如果學習效率和動量因子過大則網絡收斂很快，但最后網絡發生振蕩，失去功能；如果學習效率和動量因子太小則學習速度太慢，網絡性能也會受到影響。因此經實驗比較選擇，本網絡的最佳學習率為0.05，動量因子為0.6。

由于實驗的樣品數目較少，故采用交叉驗證法進行分類驗證，也就是說將標準化變換后的每個樣本依次作為待測樣本，用剩余的其它樣本組成新的訓練集建立學習模型，用于預測每個樣本的歸屬。

經過LM-BP神經網絡的訓練，可發現有一個穿心蓮樣品被識別錯誤，這份來自江西的樣品被鑒別為福建的樣品，其他11個樣品的鑒別結果均正確。從總體來看，使用LM-BP網絡鑒別穿心蓮樣品的識別正確率達到了91.67%，結果見表1。

表1 LM-BP神經網絡對穿心蓮預測樣本的預測結果（略）

同時實驗預先使用傳統BP神經網絡進行訓練學習，發現雖然傳統BP神經網絡的鑒別結果與改進的模型結果一致，但從訓練的速度進行比較，LM-BP算法的收斂速度很快，而傳統算法的收斂速度則比較緩慢，其誤差收斂曲線圖如圖1和圖2。

圖1 傳統BP神經網絡的誤差收斂曲線（略）

圖2 LM-BP神經網絡的誤差收斂曲線（略）

3 討論

中藥指紋圖譜是一種綜合的、可量化的鑒定手段［5，6］，它是建立在中藥化學成分系統研究的基礎上，它能通過指紋圖譜的特征性來有效鑒別樣品的真偽或產地，并且能夠通過指紋圖譜主要特征峰的面積或比例的確定，有效控制產品的質量，確保產品質量的相對一致。但由于受到不同產地及不同采收期的影響，當不同藥材樣品的指紋圖譜非常相似時，不可能用直接觀察的方法對各類產區的藥材作出準確鑒別，如果使用簡單的傳統相關系數法，當樣品間的相關系數非常大也很難作出鑒定。因此使用神經網絡方法可對相似度較高的樣品分類鑒定作深入地研究。

本文首先利用穿心蓮HPLC的指紋圖譜資料建立了LM-BP神經網絡模型，測試時只需將樣品的主要圖譜數據作為輸入，則可輸出相應的產地類別，操作簡便快捷。由于中藥指紋圖譜的模糊綜合等特性，單純依靠人工識別容易出現混淆，因此借助人工神經網絡技術對中藥指紋圖譜資料進行分析，充分利用了模糊、非線性的技術特性，可以真實反映中藥材的內在質量。

應用基于L-M算法的神經網絡進行穿心蓮藥材的識別分類，訓練時間比普通的BP網絡訓練時間短，且擬合精度并未降低。本方法克服了傳統BP網絡訓練時間長、易陷入局部極小的局限性，在對識別精度和識別速度要求比較高的情況下，采用L-M算法改進的BP網絡可以達到很好的效果，具有一定的實用價值。

【參考文獻】

［1］ 萬紹暉，萬紹明，康廷國.系統科學在中藥質量控制中的運用［J］.時珍國醫國藥，2005，16(5): 457.

［2］ Andrew R.Webb著.王 萍，楊培龍，羅穎昕譯.統計模式識別，第2版［M］.北京:電子工業出版社， 2004.

［3］ 湯 丹，李 薇，許 毅，等.廣藿香指紋圖譜解析的人工神經網絡方法研究［J］.中藥材，2004，27 (7): 534.

［4］ 趙 弘，周瑞祥，林廷圻.基于Levenberg-Marquardt算法的神經網絡監督控制［J］.西安交通大學學報，2002，36(5):523.

［5］ 林蔚蘭，曾令杰，梁惠瑜.不同產地穿心蓮藥材HPLC指紋圖譜初步研究［J］.中成藥，2007，29 (5): 730.