TWI720698B - 機器學習的動態非線性辨識系統 - Google Patents
機器學習的動態非線性辨識系統 Download PDFInfo
- Publication number
- TWI720698B TWI720698B TW108142712A TW108142712A TWI720698B TW I720698 B TWI720698 B TW I720698B TW 108142712 A TW108142712 A TW 108142712A TW 108142712 A TW108142712 A TW 108142712A TW I720698 B TWI720698 B TW I720698B
- Authority
- TW
- Taiwan
- Prior art keywords
- module
- output
- particle
- machine learning
- identification system
- Prior art date
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 19
- 239000002245 particle Substances 0.000 claims abstract description 62
- 238000013528 artificial neural network Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 17
- 230000003068 static effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 210000004205 output neuron Anatomy 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 210000002364 input neuron Anatomy 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Feedback Control In General (AREA)
- Filters That Use Time-Delay Elements (AREA)
Abstract
一種機器學習的動態非線性辨識系統，包括：一真實的非線性模
組，係接收一外部輸入訊號並輸出一第一輸出值；一改良型漢摩史坦尼模組，包括一沃特拉神經網路及一無限脈衝響應數位濾波器，該沃特拉神經網路係接收該外部輸入訊號以輸出一輸出訊號，該無限脈衝響應數位濾波器係接收該沃特拉神經網路之該輸出訊號，以輸出一第二輸出訊號；以及一粒子群演算模組，包括一粒子速度更新公式及一位置更新公式；其中，該真實的非線性系統及該改良型漢摩史坦尼模模組係同時接收該外部輸入訊號，透過該真實的非線性模組取得該第一輸出值及透過該改良型漢摩史坦尼模組取得該第二輸出值，取得該第一輸出值及該第二輸出值的一誤差值，依據該誤差值，使該粒子群演算模組調整該改良型漢摩史坦尼模組的運算係數，以降低該第一輸出值及該第二輸出值的該誤差值。
Description
本發明是有關於一種機器學習的動態非線性辨識系統，且特別是有關於一種可增加紙上遊戲樂趣的紙上遊戲電子輔助系統及其方法。
一般針對連續時間動態系統進行辨識的時候，通常是利用微分方程式來描述系統；然而針對離散時間動態系統而言，則是會使用差分方程式來描述。不過就真實的系統而言大多數都是屬於非線性系統居多，因此若要以簡單的微分方程或差分方程來描述系統的話，所得到效果往往不是很好，很難清楚與詳細辨識出真實系統的動態情形。在這種情況之下，如何提出一種合適的數學模型或者數學表示式來完整描繪出真實的動態系統，這是在系統辨識領域中一個蠻重要的研究議題。
一般而言，在系統識別領域中，傳統上會使用的模型有沃特拉級數模型、雙線性級數模型、以及人工智慧模型。人工智慧模型則包含類神經網路模型、模糊系統模型以及結合這兩者的模糊類神經網路模型等等。上述這幾種模型應用在系統識別上都有蠻不錯的效果，其原因乃是在這些模型中包含為數眾多的可調參數，透過適當的演算法進行這些可調參數的修正或設計，使得模型輸出能夠逼近真實系統輸出，因而完成系統辨識的目的，但仍有系統辨識能力不足的問題。
本發明提供一種動態非線性辨識系統，透過粒子演算法進行參數的調整及設計，以達到簡單但有效的機器學習的動態非線性系統。
本發明提出一種機器學習的動態非線性辨識系統，包括：一真實的非線性模組接收一外部輸入訊號並輸出一第一輸出值；一改良型漢摩史坦尼模組，包括一沃特拉神經網路及一無限脈衝響應數位濾波器，沃特拉神經網路係接收外部輸入訊號以輸出一輸出訊號，無限脈衝響應數位濾波器係接收沃特拉神經網路之輸出訊號，以輸出一第二輸出訊號；以及一粒子群演算模組，包括一粒子速度更新公式及一位置更新公式；其中，該真實的非線性模組及該改良型漢摩史坦尼模組係同時接收該外部輸入訊號，透過該真實的非線性系統取得第一輸出值及透過該改良型漢摩史坦尼模組取得第二輸出值，取得該第一輸出值及該第二輸出值的一誤差值，依據該誤差值，使該粒子群演算法模組調整該改良型漢摩史坦尼模組的運算係數，以降低該第一輸出值及該第二輸出值的該誤差值。
在本發明之一實施例中，上述之粒子群演算模組係用以修正該改良型漢摩史坦尼模型中的可調參數，以完成該動態非線性辨識模組。
在本發明之一實施例中，上述之改良型漢摩史坦尼模型為一非線性靜態函數串接一線性動態子系統。
在本發明之一實施例中，上述之非線性靜態函數為該沃特拉神經網路。
在本發明之一實施例中，上述之線性動態子系統為該無限脈衝響應數位濾波器。
在本發明之一實施例中，上述之粒子群演算模組包括複數個粒子，該粒子群演算模組透過一速度更新公式及一位置更新公式以達該些粒子位置最佳化。
在本發明之一實施例中，上述之速度更新公式係依據每一該些粒子的位置、個體最佳位置以及速度分量進行運算。
在本發明之一實施例中，上述之位置更新公式係依據最佳粒子位置及該速度更新公式以調整每一該些粒子的位置。
在本發明之一實施例中，上述之粒子群演算模組更包括一價值函數用以評斷每一該些粒子的優劣。
在本發明之一實施例中，上述之系統運作步驟如下：建立一個具有複數個粒子的族群；判斷迭代次數是否到達預設次數，若是則停終止運算；計算每一個粒子的價值函數；針對族群內每一個粒子，執行速度更新公式；以及針對族群內每一個粒子，執行位置更新公式，並計算迭代次數。
本發明提出一種機器學習的非線性辨識系統，系統包含真實的非線性模組、改良型漢摩史坦尼模組以及粒子群演算模組，其中，改良型漢摩史坦尼模組係由沃特拉神經網路與無線脈衝響應數位濾波器所組成，而粒子群演算模組是用來設計模型內所有可調參數，使得改良型漢摩
史坦尼模組輸出能與真實非線性模組輸出能夠非常接近，進而完成非線性辨識系統。
110:真實的非線性模組
120:改良型漢摩史坦尼模組
130:粒子群演算法
140:沃特拉神經網路
150:無限脈衝響應數位濾波器
S410~S460:步驟流程
圖1是本發明之機器學習的非線性辨識系統的元件示意圖。
圖2是本發明之沃特拉神經網路的示意圖。
圖3是本發明之無限脈衝響應數位濾波器的示意圖。
圖4是本發明之系統運算步驟流程圖。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式，作詳細說明如下。
請同時參閱圖1~圖4，圖1是本發明之機器學習的非線性辨識系統的元件示意圖，機器學習的動態非線性辨識系統包括：一真實的非線性模組110、一改良型漢摩史坦尼模組120及一粒子群演算模組130，改良型漢摩史坦尼模組120包括一沃特拉神經網路140及一無限脈衝響應數位濾波器150。
其中，輸入一外部訊號至該真實的非線性模組及該改良型漢摩史坦尼模組，透過該真實的非線性模組取得一第一輸出值及透過該改良型漢摩史坦尼模組取得一第二輸出值，取得該第一輸出值及該第二輸出值的一誤差值，依據
該誤差值，使該粒子群演算模組調整該改良型漢摩史坦尼模組的運算係數，以降低該第一輸出值及該第二輸出值的該誤差值。
更進一步來說，u為系統外部輸入訊號，y是指真實非線性系統的輸出，y m 則是指改良型漢摩史坦尼模組輸出，e為這兩者的誤差訊號，同時透過粒子群演算模組來進行模組內可調參數設計，以期系統誤差訊號能夠愈來愈小，進而完成系統辨識目的。
於本實施例中，為了評估每一個粒子的效能，提出誤差平方平均函數當成演算法的價值函數，如下所示：
其中K為系統取樣點數，此函數值愈小的話，代表效能愈好。粒子群演算法係透過下列兩個公式來完成最佳化的目的：1.粒子速度更新公式：v ij ←w．v ij +c 1 r 1(pbest ij -θ ij )+c 2 r 2(gbest ij -θ ij )，2.位置更新公式：θ ij ←θ ij +v ij ，其中i=1,2,…,T以及j=1,2,…,PS，PS代表演算法中粒子總數，也稱為族群大小，θ ij 、pbest ij 、v ij 分別是代表第j粒子中的第i個位置、個體最佳位置以及速度分量，gbest ij 則是指族群內最佳粒子的第i個位置，w稱為慣性權重，c 1與c 2為兩個正的常數，r 1,r 2 
[0,1]為兩個均勻隨機亂數。
於本實施例中，改良型漢摩史坦尼模組為一非線性靜態函數串接一線性動態子系統，其中，非線性靜態函數為該沃特拉神經網路，而線性動態子系統為該無限脈衝響應數位濾波器。
圖2是本發明之沃特拉神經網路的示意圖，沃特拉神經網路則是由沃特拉數位系統與前饋式神經網路所組成，主要數學表示式為：
其中u為系統的輸入訊號，x是沃特拉數位系統的輸出訊號，N代表過去輸入項次，h[k]是指系統係數，h[k 1,k 2]則是代表二階的系統係數，經由簡單計算可以得到所有可調參數包括h[0],h[1],…,h[N],h[0,0],h[0,1],…,h[0,N-1],…,h[N-1,N-1]的總數為
，同時為簡單起見，進一步令U=[u 1,u 2,…,u M ]=[1,u[n],u[n-1],…,u[n-N+1],u 2[n],u[n]u[n-1],…,u[n]u[n-N+1],…,u 2[n-N+1]]
為所有相關輸入訊號所組成的向量，在本發明中，這個向量將被當成前饋式神經網路的輸入訊號，進而型成所謂的沃特拉神經網路。
其中，M為輸入訊號個數，L是隱藏層神經元個數，u i 為神經網路的輸入訊號，w_uh ij 是代表第i個輸入神經元與第j個隱藏層神經元鏈結的權值，w_hx j 為第j個隱藏層神經元與輸出神經元鏈結的權值，x[n]為沃特拉神經網路的輸出訊號，其中i=1,2,…,M以及j=1,2,…,L。
同時在每一個隱藏層神經元中的數學運算如下：
其中，net_h j ，θ_h j 以及h j 分別代表第j個隱藏層神經元的內部狀態、閥值、以及輸出訊號，g(．)是非線性激發函數。而在輸出神經元方面，其數學運算為：
x[n]=g(net_x)=net_x
其中net_x與θ_x為輸出神經元的內部狀態及閥值，g(．)在此為線性激發函數，x[n]則是指沃特拉神經網路最後的輸出訊號。
在這種沃特拉神經網路架構之下，所有可調參數(包括權值與閥值)總計有P=M×L+L+L+1=L(M+2)+1，為方便起見，在此令W為沃特拉神經網路內所有可調參數所組成的向量，如下所示：W=[w 1,w 2,…,w P ]=[w_uh 11,…,w_uh 1L ,w_xh 21,…,w_xh 2L ,…,w_xh M1,…,w_xh ML ,θ_h 1,…,θ_h L ,w_hx 1,…,w_hx L ,θ_x]
圖3是本發明之無限脈衝響應數位濾波器的示意圖。在本發明中，是利用無限脈衝響應數位濾波器來當成改良型漢摩史坦尼模組中的線性動態子系統，無限脈衝響應數位濾波器的系統轉移函數表示如下：
其中，N a 是指濾波器系統階次，N b 為濾波器過去輸入個數，a k 與b k 分別代表濾波器係數。進一步將上述方程式轉換成時域的差分方程表示式，如下所示：
其中，x為輸入訊號，是由沃特拉神經網路所產生，y為濾波器的輸出訊號，換言之，也是改良型漢摩史坦尼模組的最終輸出。
再者，可以將數位濾波器係數a k 與b k 收集而成
以及
，其中向量A包含N a 個元素，向量B則包含N b +1個元素。
本發明所提出的改良型漢摩史坦尼模組係結合沃特拉神經網路與無限脈衝響應數位濾波器，在這個模型之下，可調參數總數共計有T=P+N a +N b +1其中P是指沃特拉神經網路中所有可調參數總數，N a +N b +1為無限脈衝響應數位濾波器中所有可調參數總數，為了進一步與粒子群演算法做結合，在此令Θ=[θ 1,θ 2,…,θ T ]代表在改良型漢摩史坦尼模組中所有可調參數所組成的向量，定義如下：
這個參數向量以粒子群演算模組的觀點來看稱之為粒子。
圖4是本發明之系統運算步驟流程圖。主要步驟如下：
S410：建立一個具有PS個粒子的族群
S420：判斷迭代次數是否到達預設次數
S430：計算每一個粒子的價值函數
S440：針對族群內每一個粒子，執行速度更新公式
S450：針對族群內每一個粒子，執行位置更新公式
S460：終止運算
雖然本發明以前述實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，所作更動與潤飾之等效替換，仍為本發明之專利保護範圍。
110:真實的非線性模組
120:改良型漢摩史坦尼模組
130:粒子群演算法模組
140:沃特拉神經網路
150:無限脈衝響應數位濾波器
Claims (10)
- 一種機器學習的動態非線性辨識系統，包括：一真實的非線性模組，係接收一外部輸入訊號並輸出一第一輸出值；一改良型漢摩史坦尼模組，包括一沃特拉神經網路及一無限脈衝響應數位濾波器，該沃特拉神經網路係接收該外部輸入訊號以輸出一輸出訊號，該無限脈衝響應數位濾波器係接收該沃特拉神經網路之該輸出訊號，以輸出一第二輸出訊號；以及一粒子群演算模組，包括一粒子速度更新公式及一位置更新公式；其中，該真實的非線性模組及該改良型漢摩史坦尼模組係同時接收該外部輸入訊號，透過該真實的非線性模組取得該第一輸出值及透過該改良型漢摩史坦尼模組取得該第二輸出值，取得該第一輸出值及該第二輸出值的一誤差值，依據該誤差值，使該粒子群演算模組調整該改良型漢摩史坦尼模組的運算係數，以降低該第一輸出值及該第二輸出值的該誤差值，其中，該粒子速度更新公式： v ij ←w．v ij +c 1 r 1 (pbest ij -θ ij )+c 2 r 2 (gbest ij -θ ij )該位置更新公式： θ ij ←θ ij +v ij 其中i=1,2,…,T以及j=1,2,…,PS，PS代表演算法中粒子總數，也稱為族群大小， θ ij 、pbest ij 、v ij 分別是代表第j粒子中的第i個位置、個體最佳位置以及速度分量，gbest ij 則是指族群內最佳粒子的第i個位置，w稱為慣性權重，c 1與c 2為兩個正的常數，r 1,r 2[0,1]為兩個均勻隨機亂數。
- 如申請專利範圍第1項所述之機器學習的動態非線性辨識系統，其中該粒子群演算法係用以修正該改良型漢摩史坦尼模組中的可調參數，以完成該動態非線性辨識系統。
- 如申請專利範圍第1項所述之機器學習的動態非線性辨識系統，其中該改良型漢摩史坦尼模組為一非線性靜態函數串接一線性動態子模組。
- 如申請專利範圍第3項所述之機器學習的動態非線性辨識系統，其中該非線性靜態函數為該沃特拉神經網路。
- 如申請專利範圍第3項所述之機器學習的動態非線性辨識系統，其中該線性動態子模組為該無限脈衝響應數位濾波器。
- 如申請專利範圍第1項所述之機器學習的動態非線性辨識系統，其中該粒子群演算模組包括複數個粒子，該粒子群演算模組透過該速度更新公式及該位置更新公式以達該些粒子位置最佳化。
- 如申請專利範圍第1項所述之機器學習的動態非線性辨識系統，其中該速度更新公式係依據每一該些粒子的位置、個體最佳位置以及速度分量進行運算。
- 如申請專利範圍第1項所述之機器學習的動態非線性辨識系統，其中該位置更新公式係依據最佳粒子位置及該速度更新公式以調整每一該些粒子的位置。
- 如申請專利範圍第1項所述之機器學習的動態非線性辨識系統，其中該粒子群演算模組包括一價值函數用以評斷每一該些粒子的優劣。
- 如申請專利範圍第1項所述之機器學習的動態非線性辨識系統，其中主要系統運作步驟如下：建立一個具有複數個粒子的族群；判斷迭代次數是否到達預設次數，若是則停終止運算；計算每一個粒子的價值函數；針對族群內每一個粒子，執行速度更新公式；以及針對族群內每一個粒子，執行位置更新公式，並計算迭代次數。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108142712A TWI720698B (zh) | 2019-11-25 | 2019-11-25 | 機器學習的動態非線性辨識系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108142712A TWI720698B (zh) | 2019-11-25 | 2019-11-25 | 機器學習的動態非線性辨識系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI720698B true TWI720698B (zh) | 2021-03-01 |
| TW202121261A TW202121261A (zh) | 2021-06-01 |
Family
ID=76035801
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108142712A TWI720698B (zh) | 2019-11-25 | 2019-11-25 | 機器學習的動態非線性辨識系統 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI720698B (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897538A (zh) * | 2017-03-14 | 2017-06-27 | 中国人民解放军军械工程学院 | 基于卷积神经网络的地磁图方向适配性计算方法 |
-
2019
- 2019-11-25 TW TW108142712A patent/TWI720698B/zh not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106897538A (zh) * | 2017-03-14 | 2017-06-27 | 中国人民解放军军械工程学院 | 基于卷积神经网络的地磁图方向适配性计算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202121261A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Andersson et al. | Deep convolutional networks in system identification | |
| Gotmare et al. | Swarm and evolutionary computing algorithms for system identification and filter design: A comprehensive review | |
| Back et al. | FIR and IIR synapses, a new neural network architecture for time series modeling | |
| CN110084610B (zh) | 一种基于孪生神经网络的网络交易欺诈检测系统 | |
| WO2023019601A1 (zh) | 基于结构优化算法的复值神经网络的信号调制识别方法 | |
| CN107273974B (zh) | 一种安全应急处置评价体系构建方法及系统 | |
| CN112578089B (zh) | 一种基于改进tcn的空气污染物浓度预测方法 | |
| CN112087442A (zh) | 基于注意力机制的时序相关网络入侵检测方法 | |
| CN113901448A (zh) | 基于卷积神经网络和轻量级梯度提升机的入侵检测方法 | |
| CN115422995A (zh) | 一种改进社交网络和神经网络的入侵检测方法 | |
| TWI720698B (zh) | 機器學習的動態非線性辨識系統 | |
| CN111624882B (zh) | 基于反推设计方法的供应链系统用零和微分博弈处理方法 | |
| Lim et al. | Lyapunov theory-based multilayered neural network | |
| Becerra et al. | An efficient parameterization of dynamic neural networks for nonlinear system identification | |
| CN117273516A (zh) | 一种基于注意力机制神经网络的绩效评估方法 | |
| Lee et al. | Modified back-propagation algorithm applied to decision-feedback equalisation | |
| CN108629401A (zh) | 基于局部感知递归神经网络的字符级语言模型预测方法 | |
| CN114170338A (zh) | 一种差分隐私保护下基于自适应梯度裁剪的图像生成方法 | |
| Chen et al. | Particle swarm optimization for image noise cancellation | |
| CN113820954A (zh) | 一种广义噪声下复杂非线性系统的容错控制方法 | |
| CN111008687A (zh) | 一种物联网边缘节点安全的神经网络监测模型 | |
| Ikuta et al. | Multi-layer perceptron with impulse glial network | |
| Jiang et al. | On modified complex recurrent neural network adaptive equalizer | |
| Jiali et al. | A novel adaptive channel equalizer based on artificial neural network trained by modified FOA | |
| TW202121300A (zh) | 應用在金融科技的預測系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |