TW202203093A - 類神經網路人工智慧決策核心系統 - Google Patents

類神經網路人工智慧決策核心系統 Download PDF

Info

Publication number
TW202203093A
TW202203093A TW109122440A TW109122440A TW202203093A TW 202203093 A TW202203093 A TW 202203093A TW 109122440 A TW109122440 A TW 109122440A TW 109122440 A TW109122440 A TW 109122440A TW 202203093 A TW202203093 A TW 202203093A
Authority
TW
Taiwan
Prior art keywords
data
module
neuron
unit
residual
Prior art date
Application number
TW109122440A
Other languages
English (en)
Other versions
TWI746038B (zh
Inventor
陳朝煌
Original Assignee
阿證科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿證科技股份有限公司 filed Critical 阿證科技股份有限公司
Priority to TW109122440A priority Critical patent/TWI746038B/zh
Priority to US16/932,863 priority patent/US11526726B2/en
Application granted granted Critical
Publication of TWI746038B publication Critical patent/TWI746038B/zh
Publication of TW202203093A publication Critical patent/TW202203093A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2246—Trees, e.g. B+trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Physiology (AREA)
  • Algebra (AREA)
  • Genetics & Genomics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一種類神經人工智慧決策網路核心系統，其可利用至少一具備運算單元與儲存單元之裝置，實作具有動態節點調整機制的類神經網路所建構的非對稱隱藏層；協同一可獨立運作之具備殘差修正機制的回饋子系統；該類神經人工智慧決策核心系統可支援多種不同性質的已訓練資料，利用非監督式類神經網路之非對稱隱藏層的輸出資料，進行非線性運算的分析程序，以產生具獨特性與適用性的決策資料。

Description

類神經網路人工智慧決策核心系統
本發明係關於一種人工智慧決策核心系統，特別是指一種可支援多種不同性質的已訓練資料，以動態調整類神經網路節點，協同殘差修正回饋機制，經由非線性分析程序，可產生具獨特性與適用性之決策資料的類神經網路人工智慧決策核心系統。
目前人工智慧決策系統，多採用單一型態的類神經網路，而類神經網路內所安排、設定使用的神經元所使用的資料結構多為傳統線性資料結構。
然而，上述傳統類神經網路係採用的線性資料結構進行資料訓練，其訓練結果單一，決策風格也容易與其他拓樸結構相似的類神經網路相近，導致所產生的決策結果難以在不同應用場景之下而具有特色差異，也無法提供不同變數維度或風格的決策結果使其更具商業價值，甚至可能因為該決策結果的參考性低、適用性也低，進而影響其決策之效益。
即使目前已有少數類神經網路具有差異化決策之技術手段(例如 DCIGN、LSM、SOMNN等)，但是其類神經網路對應某種性質之資料(例如金融資料、人因資料、兵棋資料等)之拓樸架構一但訓練成形，便難以再改變以適用於另一不同性質之資料，同時其決策資料亦容易被外部神經網路所學習模仿或分析出其類神經網路之拓樸架構。
由此可知，目前以類神經網路為主的人工智慧技術，在決策核心系統的應用架構之實現上仍有待改進。
本發明之一目的在於提出一種可支援多種不同性質的已訓練資料，協同殘差補償之修正回饋機制，利用非線性主成分分析之運算程序，進而產生具獨特性與適用性之決策資料的類神經網路人工智慧決策核心系統。此技術可實現於具合理成本的電子裝置或系統，且可根據對於決策資料的特定需求，快速調整類神經網路的拓樸結構，同時有效避免先前技術的輸出資料容易被外部的類神經網路學習或分析的問題。
為達成至少上述目的，本發明提出一種可用於類神經網路人工智慧決策核心系統的實施例，包含有：一非監督式類神經網路介面模組、一神經元運算子系統以及一殘差回饋子系統。非監督式類神經網路介面模組係至少一運算與儲存裝置，此裝置可作為一非監督式類神經網路之輸入裝置，用於接收一原始資料，其中用於接收該原始資料的介面可適用多種來自外部的非特定模型(例如金融模型、人因行為模型、兵棋模型等)的已訓練資料。神經元運算子系統，係至少一整合或協同儲存裝置運作之運算裝置，連接該非監督式類神經網路介面模組，對該原始資料進行預處理之運算程序，以獲得已預處理之資料，再對該已預處理之資料進行可動態更新神經元節點的神經元運算程序，而後透過一非線性主成份分析(non-linear principle component analysis, non-linear PCA)之計算程序可產生對應的非線性分析後資料與決策資料。可獨立運作的一殘差回饋子系統，協同該神經元運算子系統，根據非線性分析後資料，進行殘差分析的補償運算程序，以產生修正回饋資訊與回饋資料或訓練中斷資訊，可促進該神經元運算子系統產生具獨特性與適用性的決策資料。其中，該修正回饋資訊用於協同神經元運算子系統對類神經網路進行修正或調整，該訓練中斷資訊用於協同神經元運算子系統對類神經網路進行中的訓練程序執行中斷機制，該回饋資料則用於促進神經元運算子系統產生或修正決策資料。
在一實施例中，該神經元運算子系統，包含有以下模組：一非對稱隱藏層輸入模組、一樹狀結構神經元模組、一分層權重參數模組、一非線性主成份分析模組以及一樹狀搜尋模組。非對稱隱藏層輸入模組可對來自該類神經網路人工智慧決策核心系統之非監督式類神經網路介面模組的原始資料，以非監督式類神經網路所構成的非對稱隱藏層進行一資料預處理程序，以產生一已預處理之資料，其中此處所稱之非對稱隱藏層，係指該隱藏層之類神經節點間的雙向權重並不對等。樹狀結構神經元模組，連結該非對稱隱藏層輸入模組，包括多個神經元節點資料，可用於管理類神經網路之神經元節點，根據接收到的已預處理之資料，進行一樹狀資料結構處理程序，以產生各神經元節點對應的樹狀結構資料，並可根據來自殘差回饋子系統的修正回饋資訊，進行神經元節點的資料修正。分層權重參數模組，其中該參數模組連結該樹狀結構神經元模組，並根據該樹狀結構資料執行一分層權重參數計算程序以得到一分層權重參數資料，用於管理類神經網路每一層的特定權重，使得該類神經網路的權重調整除了一般個別神經元的參數以外，還需考量分層的權重因素。非線性主成份分析模組，連結該分層權重參數模組，並根據該分層權重參數資料進行一非線性主成份分析之計算程序，以產生一非線性分析後資料，並可據以或協同來自殘差回饋子系統的回饋資料，推導出適用的決策資料。樹狀搜尋模組，協同該樹狀結構神經元模組與該類神經網路人工智慧決策核心系統之殘差回饋子系統，可及時中斷類神經網路之訓練程序，以維護該決策資料之獨特性與適用性。以上各模組可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其組合為一神經元運算子系統，藉此可動態調整神經元節點以支援多種類型的已訓練資料，使具備非對稱隱藏層的非監督式類神經網路可導出涵蓋多維變量的分層權重參數資料，同時可彈性導入適用的殘差補償機制，利用分層權重參數資料結合非線性主成分分析的方法，進一步將具有非線性多變量的資料集予以特徵化，使一適用多種資料型態的類神經決策網路得以實現，此為先前技術所無法達成之功效。
在一實施例中， 上述之神經元運算子系統，為強化核心系統的決策品質，可再進一步包含有以下模組：一隱藏層路徑規劃模組、一密集資料處理模組、一稀疏張量處理模組、一渾沌模型分析模組以及一神經元維度調整模組。其中，該隱藏層路徑規劃模組，可接收來自該決策核心系統之非監督式類神經網路介面模組的原始資料，根據該原始資料之屬性，進行適合該屬性的隱藏層路徑規劃，藉此可支持類神經網路隱藏層具備可動態設定的傳導路徑。該密集資料處理模組，可分析來自該決策核心系統之非監督式類神經網路介面模組的原始資料，若該原始資料具有高密度屬性，則執行一密集資料處理程序，以排除無效資料，並將重複性資料歸一化，再將已完成該密集資料處理程序的輸出資料導入該子系統之非對稱隱藏層輸入模組。該稀疏張量處理模組，可協同該子系統之樹狀結構神經元模組，針對已產生的神經元節點，分析是否符合稀疏張量的條件，若是，則可進一步進行稀疏矩陣之運算程序，以促進系統運算效能並節省系統記憶體之使用。該渾沌模型分析模組，可協同該子系統之非線性主成份分析模組運作，當該非線性主成份分析模組無法根據來自殘差回饋子系統的回饋資料，進行有效修正時，則可進一步啟動渾沌模型分析程序，以渾沌模型的分析結果促進決策資料的產出。該神經元維度調整模組，可根據來自殘差回饋子系統的回饋資料，協同該子系統之樹狀結構神經元模組，進行類神經網路的維度調整，以促進決策核心系統之決策風格的轉換，以提升該神經元運算子系統其決策資料的獨特性與適用性。以上各模組可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一神經元運算子系統，藉此可大幅增進決策資料的導出流程，提升其導出效能，促進可用的即時決策之功效得以實現，此整合與先前技術相較應具進步性。
在一實施例中，上述之殘差回饋子系統，包含有以下模組：一先進回饋機制輸入模組、一修正與中斷運算模組以及一先進回饋機制輸出模組。先進回饋機制輸入模組用於接收來自上述神經元運算子系統之非線性主成份分析模組的非線性分析後資料。修正與中斷運算模組，對於非線性分析後資料，進行殘差分析的補償運算程序，以產生修正回饋資訊，並根據該修正回饋資訊觸發類神經網路的中斷訓練機制或進行先進回饋輸出。先進回饋機制輸出模組，根據該修正與中斷運算模組所更新的狀態以及所產生的修正回饋資訊，導出一回饋資料並將該回饋資料傳送給神經元運算子系統之非線性主成份分析模組，以促進該神經元運算子系統維護其決策資料的獨特性與適用性。以上各模組可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其組合成一殘差回饋子系統，不僅藉此可提升類神經網路訓練模型的精確度，同時可有效控制決策資料的分布範圍，更可及時防止不當的外部資料干擾類神經網路的訓練模型，此為先前技術所無法達成之功效。
在一實施例中，為強化修正與中斷運算模組對於非線性分析後資料的處理能力，以適用多種不同性質的非線性分析後資料，上述該殘差回饋子系統，可再進一步包含有以下模組：一動態範數處理模組、一內積運算處理模組、一流形運算模組、一張量轉換模組、一殘差函式泛函處理模組以及一ARIMA模型運算模組。其中，對於可向量化或矩陣化的非線性分析後資料，該殘差回饋子系統之先進回饋機制輸入模組，可進一步協同該動態範數處理模組進行一預處理程序，以便對修正與中斷運算模組導入向量化資料或矩陣化資料，以進行殘差補償修正運算。對於具圖像性質的向量化資料或矩陣化資料，該殘差回饋子系統之先進回饋機制輸入模組，可進一步協同該內積運算處理模組進行另一預處理程序，以自定義點與向量之間的關係，以便對修正與中斷運算模組導入標準正交基，以增進殘差補償修正運算。對於非歐氏空間的資料，該殘差回饋子系統之先進回饋機制輸入模組，可進一步協同該流形運算模組進行另一預處理程序，以便將該資料轉入歐氏空間，藉此對修正與中斷運算模組導入來自不同空間的取樣資料，以增進殘差補償修正運算的適用範圍。對於具有時變性質的資料，該殘差回饋子系統之修正與中斷運算模組，可進一步協同該張量轉換模組進行一自我修正程序，以便將經過殘差分析的補償運算後的殘差資料，進行不同維度的轉換，以找出最適合該時變性質的殘差運算空間，以增進殘差補償修正運算的適用範圍。對於利用提升演算法取得損失函數最優解的殘差運算程序，該殘差回饋子系統之修正與中斷運算模組，可進一步協同該殘差函式泛函處理模組進行一最佳化程序，以促進損失函數最優解的導出，藉此維護殘差修正的精確性。對於非平穩的殘差資料，該殘差回饋子系統之修正與中斷運算模組，可進一步協同該ARIMA模型運算模組，透過差分整合運算進行一平穩化程序，取得一平穩化殘差資料，再檢驗該平穩化殘差資料是否符合一白噪聲序列，以確認原殘差資料是否需再修正。以上各模組可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一殘差回饋子系統，不僅藉此可增進不同性質的資料之殘差運算，更可從不同空間、不同維度，以及不同時間區段的角度進行殘差分析，以提供一自我修正殘差資料的機制，可防止非自然資料導致的不當殘差破壞類神經網路的訓練模型，此為先前技術所無法達成之功效。
在一實施例中，上述神經元運算子系統之樹狀結構神經元模組包含有：一跨神經元運算單元以及一神經元權重更新單元。跨神經元運算單元根據神經元運算子系統所接收到來自殘差回饋子系統之先進回饋機制輸出模組的回饋資料，進行一神經元資料更新程序，以產生對應的一神經元更新資料。神經元權重更新單元，根據該神經元更新資料，更新該類神經網路之神經元的樹狀結構資料及神經元的權重參數資料，並通知該非對稱隱藏層輸入模組對於進行預處理的該原始資料實施更新程序。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其組合成一樹狀結構神經元模組，不僅藉此可對類神經網路提供即時權重調整的功能，更可促進動態調整類神經網路的神經元，使其決策風格能做即時的轉變，此為先前技術所無法達成之功效。
在一實施例中，上述神經元運算子系統之樹狀結構神經元模組，為避免類神經網路結構被外部人工智慧系統分析或學習，可更進一步包含有以下單元：一神經元生成單元、一神經元拓樸結構調整單元以及一神經元分群管理單元。其中，該神經元生成單元，可根據來自該樹狀結構神經元模組的指令，進行一神經元節點的新增程序，以產生所需的神經元節點。該神經元拓樸結構調整單元，可根據來自該樹狀結構神經元模組的指令，協同該神經原生成單元，進行一神經元拓樸結構調整程序，以動態改變類神經網路的拓樸結構。該神經元分群管理單元，可用於對具有不同特性的神經元節點進行一整合重組程序，藉此可動態組合多個拓樸結構不同的類神經網路。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一樹狀結構神經元模組，可達到高速配置多種不同拓樸結構之類神經網路之功能，使得本發明可於具備不同功能的類神經網路之間做快速轉換(例如：監督式與非監督式類神經網路之切換，類神經記憶網路與類神經非記憶網路之切換，或是自定義類神經網路與開源類神經網路之切換) ，此為先前技術所無法達成之功效。
在一實施例中，上述神經元運算子系統之分層權重參數模組包含有：一激勵函式整合單元、一拉普拉斯轉換單元以及一激勵函式更新單元。激勵函式整合單元可協同不同的激勵函式，並根據此分層權重參數模組所管理的激勵設定資料，設定類神經網路進行權重更新所適用的激勵函式。拉普拉斯轉換單元，根據該分層權重參數模組所設定的激勵函式與神經元的權重參數資料進行一拉普拉斯運算，以產生一拉普拉斯運算結果。激勵函式更新單元，根據該拉普拉斯運算結果產生對應該分層權重參數資料的一激勵設定資料，此分層權重參數模組並可根據該激勵設定資料，分析評估是否協同該激勵函式整合單元重設對應的激勵函式。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其與可存放權重參數資料及可存放激勵設定資料之儲存單元組合成一分層權重參數模組，藉此不僅可提供類神經網路多種可用的激勵函式，以便該神經元運算子系統可支援切換不同功能的類神經網路，對於非時變的資料集，更可於短時間內快速確認所設定的激勵函式是否適用，此為先前技術所無法達成之功效。
在一實施例中，上述神經元運算子系統之分層權重參數模組，為提升類神經網路的泛化能力，可更進一步包含有以下單元：一歸一化處理單元、一調和函數處理單元、一時間函數處理單元、一多維動差處理單元、一傅立葉變換處理單元以及一波函數變換處理單元。其中，該分層權重參數模組可根據來自上述激勵函式整合單元的設定結果，對於具備無界性質的激勵函式，驅動該歸一化處理單元，對於要被導入激勵函式的資料先進行一歸一化程序，以優化隱藏層的處理效能。此外，該分層權重參數模組可根據來自該激勵函式整合單元的設定結果，對於具有相位性質或是可用複平面表示的原始資料，驅動該調和函數處理單元，進行一調和函數映射程序，使得選定的激勵函式可支援以複數(complex number)表示的資料型態。該分層權重參數模組亦可根據該激勵設定資料，判斷隱藏層是否無可避免出現梯度消失或梯度爆炸現象，若是，則驅動該時間函數處理單元，對選定的激勵函式導入時間變數，以促進權重調整趨於收斂。該分層權重參數模組亦可根據該激勵設定資料，判斷原始資料是否符合多變量連續隨機變數之性質，若是，則可驅動該多維動差處理單元，對選定的激勵函式導入一動差生成函數仿射變換程序，以促進權重調整趨於收斂。該分層權重參數模組亦可根據該激勵設定資料，判斷原始資料是否具有狄拉克δ函數之分布性質；若是，則可驅動該傅立葉變換處理單元，對隱藏層傳遞的訊息資料利用狄拉克δ函數進行一傅立葉變換程序，再以一斜坡函數作為激勵函式，將該變換後的訊息資料導入該激勵函式，以支援具質點性質或維度為零的原始資料。該分層權重參數模組亦可根據該激勵設定資料，判斷原始資料是否具有量子多體系統之分布性質；若是，則可驅動該波函數變換處理單元，以一適配之波函數做為隱藏層之激勵函式，以促進量子多體模擬資料之權重調整趨於收斂。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一分層權重參數模組，藉此不僅可增進隱藏層處理效能，同時使得一般的激勵函式可支援複數型態之資料，更可促進多種具特殊性質的資料集於類神經網路的訓練程序中加速收斂，可避免傳統類神經網路在可用的激勵函式有限的情況下，資料維度過高或過低，其訓練結果都難以收斂的問題，此為先前技術所無法達成之功效。
在一實施例中，上述神經元運算子系統之樹狀搜尋模組包含有：一重複節點防制單元以及一上限信賴區間搜尋單元。重複節點防制單元可根據該神經元運算子系統的樹狀結構神經元模組所產生的樹狀結構資料，判斷是否有重複的神經元節點，若是，則產生一節點重複資訊，該樹狀搜尋模組並可協同該殘差回饋子系統之狀態暫存器單元，產生對應的一訓練中斷資訊，且該神經元運算子系統可根據此訓練中斷資訊，協同該子系統之樹狀結構神經元模組執行一訓練中斷機制。上限信賴區間搜尋單元，根據來自該殘差回饋子系統的修正回饋資訊與該神經元運算子系統的原始資料、樹狀結構資料、權重參數資料、非線性分析後資料進行運算程序，以產生對應的一上限信賴區間資訊，該樹狀搜尋模組再根據該上限信賴區間資訊及該修正回饋資訊判斷是否不符合該上限信賴區間資訊，若是，則協同該殘差回饋子系統之狀態暫存器單元，產生對應的一訓練中斷資訊，且該神經元運算子系統可根據此訓練中斷資訊，協同該子系統之樹狀結構神經元模組執行一訓練中斷機制。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一樹狀搜尋模組，藉此不僅可避免無效的訓練程序消耗系統資源，更可進一步控制決策資料的分布區間，避免浪費太多系統資源在不必要的決策資料分析程序。
在一實施例中，上述神經元運算子系統之樹狀搜尋模組，為提升其搜尋效能，可更進一步包含有以下單元：一支撐向量機運算單元、一基因演算搜尋單元、一蒙地卡羅搜尋單元、一搜尋排程加速單元、以及一雜湊存取搜尋單元。其中，該樹狀搜尋模組可根據來自上述該上限信賴區間搜尋單元的上限信賴區間資訊，判斷上限信賴區間是否有過大或過小的現象，可驅動該支撐向量機運算單元，進行一超平面最佳化程序，以調整決策邊界進而優化上限信賴區間，可避免過多無效的搜尋程序。此外，該樹狀搜尋模組可針對由多種拓樸結構組成的類神經網路，驅動該基因演算搜尋單元，以一基因演算程序對神經元節點進行分群，以決定目標群組，再針對目標群組進行樹狀結構資料搜尋，可有效精簡搜尋範圍。再者，該樹狀搜尋模組可針對深度較大的樹狀拓樸結構組成的類神經網路，驅動該蒙地卡羅搜尋單元，以一蒙地卡羅演算程序進行啟發式搜尋，可提升對較佳路徑的搜尋效能。該樹狀搜尋模組亦可針對寬度較大的樹狀拓樸結構組成的類神經網路，驅動該搜尋排程加速單元，於一支援B+樹的檔案系統，以B+樹的搜尋演算法執行搜尋排程，可有效節省搜尋時間。針對索引數量較多的樹狀拓樸結構組成的類神經網路，該樹狀搜尋模組可驅動該雜湊存取搜尋單元，將索引存入一雜湊表，以雜湊搜尋演算法執行一索引搜尋程序，可有效節省搜尋時間。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一樹狀搜尋模組，藉此不僅可有效解決類神經網路之神經元節點採用樹狀結構資料所需面對的系統搜尋效能問題，同時也有效避免了系統記憶體的大量佔用，使得具有樹狀結構資料的神經元節點在產業利用的考量上具有可行性。
在一實施例中，上述殘差回饋子系統的修正與中斷運算模組包含有：一殘差分析單元、一自我修正函式單元、一狀態暫存器單元以及一訓練中斷機制單元。殘差分析單元具有一種以上的殘差計算程序，可根據該子系統之先進回饋機制輸入模組所導入的非線性分析後資料，選定適用的殘差計算程序，以產生一殘差分析資料。自我修正函式單元，根據該非線性分析後資料以及該殘差分析資料進行一殘差修正函式計算程序，以產生一修正回饋資訊。狀態暫存器單元，該修正與中斷運算模組可根據系統狀態資料，於此狀態暫存器單元儲存有一個以上的中斷設定轉換資料。訓練中斷機制單元，根據來自該自我修正函式單元的修正回饋資訊，判斷是否滿足一訓練中斷條件，若是，則協同狀態暫存器單元根據選用的中斷設定轉換資料產生一訓練中斷資訊，該殘差回饋子系統可進一步根據該訓練中斷資訊協同該神經元運算子系統進行訓練中斷機制程序。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其組合成一修正與中斷運算模組，藉此不僅利用適當的修正回饋機制可促進決策資料的適用性，同時導入訓練中斷機制亦可有效確保決策資料的獨特性不被破壞，避免了傳統非監督式類神經網路在訓練過程中容易放大不具重要性的資料特徵以致於最後導出的決策資料趨於一般化的問題。
在一實施例中，上述殘差回饋子系統的修正與中斷運算模組，為強化對訓練狀態與回饋資訊之管理機制，可更進一步包含有以下單元：一狀態恢復單元、一狀態切換單元、一編碼處理單元、一狀態刪除單元、一視覺化監控單元、一壓縮處理單元以及一歷史追蹤單元。其中，對於已執行訓練中斷機制之系統，若造成訓練中斷的因素已排除，則上述該修正與中斷運算模組可驅動該狀態恢復單元，根據該狀態暫存器單元所儲存的中斷設定轉換資料，以協助該系統恢復中斷機制被觸發之前的一正常狀態。若目前的決策結果比先前的決策結果退化，或是有多種不同型態的原始資料須進行切換，則該修正與中斷運算模組可驅動該狀態切換單元，根據該狀態暫存器單元所儲存的中斷設定轉換資料，以協助該系統切換至較具適用性的一先前狀態。再者，為提升修正回饋資訊與回饋資料或訓練中斷資訊在傳送時的機密性，該修正與中斷運算模組可驅動該編碼處理單元，對該修正回饋資訊與回饋資料或訓練中斷資訊執行一編碼處理程序，以降低機敏資訊洩漏的風險。再者，若發生系統入侵事件，為防止重要訓練狀態之參數被洩漏，該修正與中斷運算模組可驅動該狀態刪除單元與狀態暫存器單元，於限定條件下(例如：系統無法及時排除入侵行為時)對特定狀態進行刪除程序，以降低機敏資訊洩漏的風險。另外，該修正與中斷運算模組亦可驅動該視覺化監控單元，於特定監控裝置上執行一視覺化界面，以便提供系統管理者一遠端系統監控機制。同時，為促進修正回饋資訊與回饋資料或訓練中斷資訊於不同模組間，透過不同的裝置進行傳輸，該修正與中斷運算模組可進一步驅動該壓縮處理單元，對其輸出之資料進行一壓縮處理程序，以提升不同的傳輸裝置之間的頻寬利用效率。為強化資料安全機制並避免大量的重複決策運算程序，該修正與中斷運算模組可驅動該歷史追蹤單元，對其傳輸的資料流啟動一歷史追蹤機制，該機制乃是透過對歷史紀錄(system log)的檢視，以找出具有異常特徵的傳輸資料。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一修正與中斷運算模組，藉此重要或機敏的資料流可透過網路進行安全傳輸，不僅使得此發明實施例之決策核心系統的神經元運算子系統與殘差回饋子系統可採用異地佈署以分散風險，更可對具有商業價值的決策資料提供有效的維護與管理機制，使得本發明可實作成具備資安防護設計的類神經網路人工智慧決策核心系統，此為先前技術所無法達成之功效。
圖1 係依據本發明之類神經網路人工智慧決策核心系統的實施例的代表圖。 圖2 係依據本發明之類神經網路人工智慧決策核心系統的實施例的資料流程示意圖。 圖3A 係圖1之類神經網路人工智慧決策核心系統的一實施例的示意圖。 圖3B 係非監督式類神經網路介面模組的一實施例的示意圖。 圖3C 係神經元運算子系統的一實施例的示意圖。 圖3D 係殘差回饋子系統的一實施例的示意圖。 圖4 係本發明之一實施例的神經元運算子系統的系統架構方塊圖。 圖5A係本發明之一實施例的非對稱隱藏層輸入模組的內部架構示意圖。 圖5B係本發明之一實施例的非對稱隱藏層輸入模組的內部架構示意圖。 圖5C 係本發明之一實施例的非線性主成分分析的資料流程示意圖。 圖5D 係本發明之一實施例的非線性主成分分析的資料流程示意圖。 圖5E 係本發明之一實施例的樹狀結構神經元模組的架構方塊圖。 圖6 係本發明之一實施例的分層權重參數模組的架構方塊圖。 圖7 係本發明之一實施例的樹狀搜尋模組的架構方塊圖。 圖8 係本發明之一實施例的殘差回饋子系統的系統架構方塊圖。 圖9 係本發明之一實施例的修正與中斷運算模組的架構方塊圖。
為充分瞭解本發明之目的、特徵及功效，茲藉由下述具體之實施例，並配合所附之圖式，對本發明做詳細說明，說明如後：
以下提供一類神經網路人工智慧決策核心系統（或可實現為裝置）的多個實施例，可兼容支援多種來自外部的非特定模型(例如金融模型、人因行為模型、兵棋模型等)的已訓練資料，以助於產出具備適用性與獨特性的決策資料。在一此實施例中，此系統更可進一步實現具有資安防護機制的決策核心系統。在一些實施例中，此技術可分別實現為在SDN(Software Defined Network)基礎架構下之磁碟陣列管理裝置、嵌入式系統或伺服器虛擬化平台， 並以具有去耦合管控機制(decoupled controller)的轉向裝置(forwarding device)之角色進行裝置或子系統之間的資料傳送。
如圖1所示，其為類神經網路人工智慧決策核心系統的實施例的系統架構方塊圖。舉例而言，類神經網路人工智慧決策核心系統S1000，至少包括『非監督式類神經網路介面模組M100』、『神經元運算子系統S1001』以及『殘差回饋子系統S1002』。在一實施例中，該非監督式類神經網路介面模 組M100，係利用至少一運算與儲存裝置來實現，此裝置可作為一非監督式類神經網路之輸入裝置，用於接收一原始資料，其中用於接收該原始資料的介面可適用多種來自外部的非特定模型(例如金融模型、人因行為模型、兵棋模型等)的已訓練資料。一般用於決策分析的傳統類神經網路輸入裝置通常僅適用特定模型的原始資料，例如用於分析生理健康狀況的類神經網路就無法接受股市價量的歷史走勢資料，而本發明實施例之用於接收該原始資料的介面可經由一般的分類設定(例如參數之設定、屬性之設定或標記之設定等，然不限於以上之設定方式) 來進行分類，以實現適用多種非特定模型的已訓練資料之輸入。在一實施例中，M100可被實現為一具有磁碟陣列管理單元的伺服器，多種來自外部的非特定模型的已訓練資料可被上傳至M100，且經由M100的磁碟陣列管理單元將接收到的已訓練資料集採用一隨機儲存的演算法(例如採用數組或動態陣列，協同合併排序merge-sort運作的運算步驟組合，或本案所屬技術領域中具通常知識者依此示例可旁通之其他隨機儲存演算法)，將其分散儲存於磁碟陣列中，該磁碟陣列的實體並不限於安裝在同一伺服器上，但透過此介面模組M100的介面管理機制，可迅速組合出特定的已訓練資料集又可實現兼顧資料儲存的風險管理架構。然而，此實施例僅為一種可行示例，模組M100之實施態樣並不受限於上述例子。
在一實施例中，上述之神經元運算子系統S1001，係利用至少一整合或協同儲存裝置運作之運算裝置來實現，連接該非監督式類神經網路介面模組M100，用於對來自M100的原始資料進行預處理之運算程序(例如包含資料清洗(data cleaning)、資料編輯(data editing)、資料精簡(data reduction)、資料轉換(data wrangling)等通常用於類神經網路學習的資料預處理程序)，以獲得已預處理之資料，再對該已預處理之資料進行可動態更新神經元節點的神經元運算程序，而後透過一非線性主成份分析(non-linear PCA)之計算程序可產生對應的非線性分析後資料與決策資料。其中，舉例而言，一般神經元的運算程序乃基於以下的輸入輸出關係：output = factivation (Σ(weight*input) + bias)，而上述本發明實施例中所稱之可動態更新神經元節點的神經元運算程序乃指其權重(weight)、輸入(input)、偏差值(bias)、甚至激勵函數(activation function)都可動態進行更新。在一實施例中，子系統S1001可被實現為一整合神經運算棒(Neural Compute Stick, NCS)的嵌入式系統，本發明所使用之類神經網路可具體實現於該神經運算棒，而該嵌入式系統之一個以上的處理器則可協同儲存於該嵌入式系統的特定指令組合完成上述與S1001相關之運算程序。
參考圖1，在一實施例中，上述之殘差回饋子系統S1002，為一可獨立運作的子系統，可協同該神經元運算子系統S1001，根據來自S1001的非線性分析後資料，進行殘差分析的補償運算程序，以產生修正回饋資訊與回饋資料或訓練中斷資訊，可促進該神經元運算子系統S1001產生具獨特性與適用性的決策資料。其中，該修正回饋資訊用於協同神經元運算子系統S1001對類神經網路進行修正或調整，該訓練中斷資訊用於協同神經元運算子系統S1001對類神經網路進行中的訓練程序執行中斷機制，該回饋資料則用於促進神經元運算子系統S1001產生或修正決策資料。在一實施例中，子系統S1002可被實現為一具有多個虛擬機器的伺服器虛擬化平台，其中一虛擬機器可作為S1002之監控與管理單元，用於協調其他多個虛擬機器完成上述與S1002相關之運算程序。然而，此實施例僅為一種可行示例，子系統S1002之實施態樣並不受限於上述例子。
請參考圖2，其為圖1之類神經網路人工智慧決策核心系統S1000的資料流程示意圖。如圖2所示並參照圖1，以下說明本發明於實施S1000時，基於其中一種使用場景的資料流程。首先，如區塊F100所示，非監督式類神經網路介面模組M100從資料來源接收已訓練的資料集作為本系統的原始資料。接著如區塊F101所示，該原始資料轉換成適用於非監督式類神經網路的輸入向量，藉此將原始資料導入一非監督式類神經網路的輸入層。然後如區塊F102所示，該原始資料從類神經網路的輸入層進入一非對稱隱藏層，藉由類神經網路運算進行一預處理程序。接著如區塊F103所示，此系統完成非對稱隱藏層的預處理程序，經由類神經網路的輸出層，輸出已預處理資料。然後如區塊F110所示，此系統根據已預處理資料，進行一樹狀資料結構處理程序，可產生各神經元節點對應的樹狀結構資料，並可藉此動態更新神經元節點；此處區塊F110所指動態更新之神經元節點，主要分布於區塊F102所指之非對稱隱藏層，而區塊F102所指之非對稱隱藏層若於訓練程序中改變了神經元節點的狀態，則區塊F110所指之樹狀結構資料也會被更新。接著如區塊F111所示，根據神經元節點對應的樹狀結構資料，於分層權重模組中執行一分層權重運算程序，以得到一分層權重參數資料，藉此可管理非對稱隱藏層的每一層的特定權重；此處區塊F111所指之分層權重參數資料，將經由一管理機制被用於區塊F102所指之非對稱隱藏層相關的訓練程序。接著如區塊F112所示，該分層權重參數資料也會進入區塊F112所代表的流程中進行處理，根據該分層權重參數資料，進行一非線性主成份分析之計算程序，以產生一非線性分析後資料，藉此可據已或協同來自殘差回饋子系統的回饋資料，推導出適用的決策資料。至此，上述區塊F101~F112之資料流程皆可實現於圖1所示之神經元運算子系統S1001，但為維護區塊F112所指之決策資料之適用性與獨特性，區塊F112所指的非線性分析後資料將被導入區塊F200所代表的資料流程。如區塊F200所示，殘差回饋子系統根據非線性分析後資料，進行殘差分析的補償運算程序，以產生給非線性主成分分析模組的回饋資料，或是以訓練中斷資訊通知類神經網路中斷訓練程序，或是回傳修正回饋資訊以促進類神經網路的修正程序；此處區塊F200所指的回饋資料，將被導回區塊F112的資料流程，以修正決策資料，而區塊F200所指的訓練中斷資訊或修正回饋資訊將被導入區塊F201代表之資料流程。如區塊F201所描述，殘差回饋子系統將訓練中斷資訊或修正回饋資訊發送至一樹狀搜尋模組協同樹狀結構神經元模組可中斷類神經網路的訓練運算程序或動態修正神經元節點。至此，上述區塊F200之資料流程可實現於圖1所示之殘差回饋子系統S1002，而區塊F201之資料流程則是從子系統S1002至子系統S1001，其中，區塊F201所指的樹狀搜尋模組位於子系統S1001，同時是子系統S1002所導出的訓練中斷資訊與修正回饋資訊要傳入子系統S1001的入口點，並經由樹狀搜尋程序找出需要處理的神經節點索引值，再將該索引值與訓練中斷資訊或修正回饋資訊轉入區塊F201所指之樹狀結構神經元模組。至此，區塊F201所指之樹狀結構神經元模組再根據索引值與訓練中斷資訊藉由區塊F102之資料流程對訓練程序進行中斷機制，或者根據索引值與修正回饋資訊接入區塊F110之資料流程，以進行動態更新神經元節點。基於上述資料流程，再說明本發明對應之各部元件的實現方式如下。
請參考圖1所示，在上述實施例中，該神經元運算子系統S1001，包含有以下模組：一非對稱隱藏層輸入模組M200、一樹狀結構神經元模組M201、一分層權重參數模組M202、一非線性主成份分析模組M203及一樹狀搜尋模組M204。非對稱隱藏層輸入模組M200，可對來自該類神經網路人工智慧決策核心系統S1000之非監督式類神經網路介面模組M100的原始資料，以非監督式類神經網路所構成的非對稱隱藏層進行一資料預處理程序，以產生一已預處理之資料，其中此處所稱之非對稱隱藏層，係指該隱藏層之類神經節點間的雙向權重並不對等。樹狀結構神經元模組M201，連結該非對稱隱藏層輸入模組M200，包括多個神經元節點資料，可用於管理類神經網路之神經元節點，根據接收到的已預處理之資料，進行一樹狀資料結構處理程序，以產生各神經元節點對應的樹狀結構資料，並可根據來自殘差回饋子系統S1002的修正回饋資訊，進行神經元節點的資料修正。分層權重參數模組M202，其中，該參數模組M202連結該樹狀結構神經元模組M201，並根據M201所產生的樹狀結構資料，執行一分層權重參數計算程序以得到一分層權重參數資料，用於管理類神經網路每一層的特定權重，使得該類神經網路的權重調整除了一般個別神經元的參數以外，還需考量分層的權重因素。舉例而言，上述分層權重參數計算程序可包含將隱藏層各層所含的個別神經元權重矩陣化、以幾何平均法做標準化以提取優勢向量、依一致性指標完成分層權重向量化等步驟，然以上步驟僅為本發明之一種示例，其主要目的在於整合分層個別神經元之權重數據以推導出適用原始資料之向量化的分層權重關係。此外，非線性主成份分析模組M203，連結該分層權重參數模組M202，並根據M202所導出的分層權重參數資料進行一非線性主成份分析之計算程序，以產生一非線性分析後資料，並可據以或協同來自殘差回饋子系統S1002的回饋資料，推導出適用的決策資料。樹狀搜尋模組M204，協同該樹狀結構神經元模組M201與該類神經網路人工智慧決策核心系統之殘差回饋子系統S1002，可及時中斷類神經網路之訓練程序，以維護該決策資料之獨特性與適用性。
舉例而言，上述實施例所稱之各模組(M200~M204)可利用至少一儲存裝置之一部分或全部來實作，並儲存有特定之指令或編碼組合，可協同一個以上之處理器，執行與上述各模組(M200~M204)相關之程序(例如，樹狀資料結構處理程序、分層權重參數計算程序，非線性主成份分析之計算程序等)。例如，上述之非對稱隱藏層輸入模組M200包含有依據本發明之實施例之類神經網路之編碼資料，用以實現本發明實施例之類神經網路。請參考圖5A，其係本發明之一實施例的非對稱隱藏層輸入模組的內部架構示意圖。如圖5A所示，非對稱隱藏層輸入模組M200內部實作有一非監督式類神經網路，但此非監督式類神經網路之核心為非對稱隱藏層M20001。此處非對稱隱藏層輸入模組M200雖採用無設定正確目標的非監督式類神經網路，但非監督式類神經網路的隱藏層採用各神經元具有前向與反向權重，且正向與反向權重不對等的非對稱隱藏層M20001，同時非對稱隱藏層M20001的各分層(如以L1、L2、L3-LN來代表)具有各層的分層權重(如以WL1 , WL2 , WL3 , …, WLN 來代表)，且N≧2。舉例而言，分層L1、L2、L3-LN中的任一分層可以具有複數個神經元；圖5A所示的僅為示例而已，各分層中可以實現為具有個別對應數量(如相同或不同的數量)的神經元，且實現上並不受限於圖5A。又例如，各分層的分層權重(如以WL1 , WL2 , WL3 , …, WLN 來代表)可以實現為對應於該分層的權重參數的集合，如各分層的分層權重可以實現為對應於該分層的一權重參數，或實現為對應於該分層的多個權重參數。
此外，在一實施例中，如圖5B所示，非對稱隱藏層輸入模組M200內部所採用的神經元是具有樹狀結構資料的樹狀結構神經元M20002。此處所指的樹狀結構神經元M20002，除了具備一般神經元都有的激勵函式M20003以外，還具備有對應於該神經元的樹狀結構資料M20004。舉例而言，樹狀結構資料M20004的實施方式採用非平衡樹做為基礎架構，並內建有一可執行分支界定演算法(branch-and-bound method)的特定指令集或編碼，用以大幅節省搜尋路徑；同時根據原始資料的變數維度性質，可將原始資料變數的相關參數、屬性與權重，切割成不同維度分支儲存，例如維度分支1用於儲存變數1的參數、屬性與權重，維度分支2用於儲存變數2的參數、屬性與權重，依此類推。此樹狀結構神經元M20002之實現方式，不僅可以即時調整神經元權重，還可支援神經元於不同資料維度做切換或是進行維度組合。在一些特殊的實施例中(容後說明)，協同特定的模組運作，還可藉此快速變換神經網路的拓樸形態(例如監督式網路與非監督式網路間的切換，記憶網路與非記憶網路間的切換，或是自定義神經網路與開源神經網路間的切換)，可知以上樹狀結構神經元的實現方式具有先前技術無法達到之多種功效。
接著參考圖5C，其說明在一實施例中，上述神經元運算子系統S1001之非線性主成份分析模組M203所執行的非線性主成分分析之計算程序之一種資料流程。如區塊F300所描述，該非線性主成分分析模組M203首先接受來自分層權重參數模組M202之分層權重參數資料。接著如區塊F301所描述，非線性主成份分析模組M203於該子系統S1001中執行一特定指令集以驅動一核主成分分析程序(kernel PCA)。然後如區塊F302所示，非線性主成份分析模組M203選定一適用的核函數(kernel method)將該分層權重參數資料映射至再生希爾伯特空間(reproducing kernel Hilbert space)以進行非線性擴展。接著如區塊F303所示，非線性主成份分析模組M203將非線性擴展後的資料導入一自定義之內積空間進行主成分分析，可完成對非線性多重變數的特徵化。最後如區塊F304所示，輸出已完成特徵化之非線性分析後資料。然而，以上僅為非線性主成分分析之運算程序之一種可行示例，資料流程之實施態樣並不受此例子限制，其非線性擴展後的資料流程可能因選定適用的核函數不同(例如，Gaussian kernel，RBF kernel，hyperbolic tangent kernel等)而有所差異，但此運算程序之最終目的皆為輸出已完成特徵化之非線性分析後資料。
在一實施例中，上述如圖1所示之非對稱隱藏層輸入模組M200可實現於一神經運算棒(Neural Compute Stick) ，該神經運算棒整合於一嵌入式系統平台中，而模組M201~M204之相關運算程序則以特定之指令集或編碼或函式庫之型態儲存於該嵌入式系統平台，並可協同該嵌入式系統平台之一個以上的處理器執行以上相關程序。然而，此實施例僅為一可行示例，模組M200~M204之實施態樣並不受限於上述例子，該以上各模組可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其組合為一神經元運算子系統，藉此可動態調整神經元節點以支援多種類型的已訓練資料，使具備非對稱隱藏層的非監督式類神經網路可導出涵蓋多維變量的分層權重參數資料，同時可彈性導入適用的殘差補償機制，利用分層權重參數資料結合非線性主成分分析的方法，進一步將具有非線性多變量的資料集予以特徵化，使一適用多種資料型態的類神經決策網路得以實現，此為先前技術所無法達成之功效。
接著參考圖4，在另一實施例中，上述之神經元運算子系統S1001A，為強化核心系統的決策品質，可再進一步包含有以下模組：一隱藏層路徑規劃模組M205、一密集資料處理模組M206、一稀疏張量處理模組M207、一渾沌模型分析模組M208以及一神經元維度調整模組M209。例如，該隱藏層路徑規劃模組M205，可接收來自該決策核心系統之非監督式類神經網路介面模組M100的原始資料，根據該原始資料之屬性，進行適合該屬性的隱藏層路徑規劃程序，藉此可支援類神經網路之隱藏層具備可動態設定的傳導路徑。該密集資料處理模組M206，可分析來自該決策核心系統之非監督式類神經網路介面模組M100的原始資料，若該原始資料具有高密度屬性，則執行一密集資料處理程序，該密集資料處理程序主要包含以下步驟：排除無效資料、篩選可整合的重複性資料、以及將重複性資料歸一化，然以上步驟僅為本發明之一可行示例，以增進密集資料的可用性，再將已完成該密集資料處理程序的輸出資料導入該子系統之非對稱隱藏層輸入模組M200。該稀疏張量處理模組M207，可協同該子系統S1001A之樹狀結構神經元模組M201，針對已產生的神經元節點，分析是否符合稀疏張量(sparse tensor)的條件，若是，則可進一步進行稀疏矩陣之運算程序，以促進系統運算效能並節省系統記憶體之使用。該渾沌模型分析模組M208，可協同該子系統之非線性主成份分析模組M203運作，當該非線性主成份分析模組M203無法根據來自殘差回饋子系統S1002的回饋資料，進行有效修正時，則可進一步啟動渾沌模型分析程序，以渾沌模型的分析結果促進決策資料的產出。該神經元維度調整模組M209，可根據來自殘差回饋子系統的回饋資料，協同該子系統之樹狀結構神經元模組M201，進行類神經網路的維度調整，以促進決策核心系統之決策風格的轉換，以提升該神經元運算子系統其決策資料的獨特性與適用性。
舉例而言，上述實施例所稱之各模組(M205~M209)可以利用一儲存裝置之一部分或全部實作之，並儲存有特定之指令或編碼組合，可協同一個以上之處理器，執行與上述各模組(M205~M209)相關之程序(例如，隱藏層路徑規劃程序、密集資料處理程序，稀疏矩陣之運算程序等)。此外，在一些基於嵌入式系統的實施例中，M205與M206亦可整合於一來源資料預處理之專屬函式庫封裝，以便將來自M100的原始資料進行一來源資料分析與與處理程序後，得到一優化後的原始資料再導入非對稱隱藏層輸入模組M200。接著請參考圖5D，其說明在一實施例中，當上述之非線性主成份分析模組M203，無法根據來自殘差回饋子系統S1002的回饋資料，進行有效修正時，其協同該渾沌模型分析模組M208所啟動的渾沌模型分析程序之一種資料流程。首先在上述條件下，如區塊F400所描述，M208先根據來自分層權重參數模組之分層權重參數資料篩選出具時變性質的變數資料。接著如區塊F401所示，M208將具時變性質的變數資料導入混沌模型。然後如區塊F402所示，M208利用混沌模型進行變數模擬，並篩選出可較快導出吸引子的變數。最後如區塊F403所示，M203再將M208所篩選出的變數集合重做非線性主成分分析程序，並導出非線性分析後資料。然而，以上僅為渾沌模型分析程序之一種可行示例，資料流程之實施態樣並不受此例子限制，其變數模擬後的資料流程可能因選用的混沌模型不同而有所差異，但此運算程序之最終目的皆為將篩選後的時變變數資料集合再導入M203重做非線性主成分分析程序。
在一實施例中，參考圖4所示，上述之模組M205~M209之相關運算程序通常以特定之指令集或編碼或函式庫之型態儲存於一嵌入式系統平台，並可協同該嵌入式系統平台之一個以上的處理器執行以上相關程序。然而，此實施例僅為一可行示例，模組M205~M209之實施態樣並不受限於上述例子，該以上各模組可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一神經元運算子系統，藉此可大幅增進決策資料的導出流程，提升其導出效能，促進可用的即時決策之功效得以實現，此整合與先前技術相較應具進步性。
請參考圖8所示，在一實施例中，上述之殘差回饋子系統S1002A，包含有以下模組：一先進回饋機制輸入模組M300、一修正與中斷運算模組M301及一先進回饋機制輸出模組M302。先進回饋機制輸入模組M300，用於接收來自上述神經元運算子系統S1001A之非線性主成份分析模組M203的非線性分析後資料。修正與中斷運算模組M301，對於非線性分析後資料，進行殘差分析的補償運算程序，以產生修正回饋資訊，並根據該修正回饋資訊觸發類神經網路的中斷訓練機制或進行先進回饋輸出。先進回饋機制輸出模組M302，根據該修正與中斷運算模組M301所更新的狀態以及所產生的修正回饋資訊，導出一回饋資料並將該回饋資料傳送給神經元運算子系統S1001A之非線性主成份分析模組M203，以促進該神經元運算子系統S1001A維護其決策資料的獨特性與適用性。以上各模組可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現。，然將其組合成一殘差回饋子系統，不僅藉此可提升類神經網路訓練模型的精確度，同時可有效控制決策資料的分布範圍，更可及時防止不當的外部資料干擾類神經網路的訓練模型，此為先前技術所無法達成之功效。
請參考圖8，在一實施例中，為強化修正與中斷運算模組M301對於非線性分析後資料的處理能力，以適用多種不同性質的非線性分析後資料，上述該殘差回饋子系統S1002A，可再進一步包含有以下模組：一動態範數處理模組M303、一內積運算處理模組M304、一流形運算模組M305、一張量轉換模組M306、一殘差函式泛函處理模組M307以及一ARIMA模型運算模組M308。舉例而言，對於可向量化或矩陣化的非線性分析後資料，該殘差回饋子系統之先進回饋機制輸入模組M300，可進一步協同該動態範數處理模組M303進行一預處理程序，該預處理程序主要包括有以下步驟：根據原始資料的變量維度將原始資料向量化或矩陣化、根據變量維度的特性選用合適的範數(例如L-0，L-1，L-2或L-∞等範數)、以及使用選定的範數對目標向量或目標矩陣進行優化。以便對修正與中斷運算模組M301導入向量化資料或矩陣化資料，以進行殘差補償修正運算。對於具圖像性質的向量化資料或矩陣化資料，該殘差回饋子系統之先進回饋機制輸入模組M300，可進一步協同該內積運算處理模組M304進行另一預處理程序，該預處理程序主要包括以下步驟：以純量投影(scalar projection)自定義點與向量之間的關係、利用垂直向量的內積運算將各點關係表示為垂直向量在標準基上的投影乘積和(例如，A•B =  A•Σi (bi ei )  =  Σi (bi (A•ei )) = Σi (bi ai ) )、最後導出以向量或矩陣表示的正交化因子，以上步驟僅為本發明之一種示例，以便對修正與中斷運算模組M301導入標準正交基，以增進殘差補償修正運算。對於非歐氏空間的資料，該殘差回饋子系統之先進回饋機制輸入模組M300，可進一步協同該流形運算模組M305進行另一預處理程序，該預處理程序主要包括以下步驟：將非歐氏空間的資料以黎曼幾何(Riemannian geometry)解析為具黎曼度量(Riemannian metrics)的光滑流形、以及利用納許嵌入定理(Nash embedding theorems)將該光滑流行等距嵌入到歐氏空間，以上步驟僅為本發明之一種示例，以便將該資料轉入歐氏空間，藉此對修正與中斷運算模組M301導入來自不同空間的取樣資料，以增進殘差補償修正運算的適用範圍。對於具有時變性質的資料，該殘差回饋子系統之修正與中斷運算模組M301，可進一步協同該張量轉換模組M306進行一自我修正程序，該自我修正程序主要步驟在於：將經過殘差分析的補償運算後的殘差資料，進行不同維度的轉換、將不同維度的轉換資料進行迴歸分析、根據各維度的迴歸分析結果選定最適用的轉換維度，以上步驟僅為本發明之一種示例，以找出最適合該時變性質的殘差運算空間，以增進殘差補償修正運算的適用範圍。對於利用提升演算法取得損失函數最優解的殘差運算程序，該殘差回饋子系統之修正與中斷運算模組M301，可進一步協同該殘差函式泛函處理模組M307進行一最佳化程序，該最佳化程序乃是根據損失函數促進其最優解的導出，藉此維護殘差修正的精確性。對於非平穩的殘差資料，該殘差回饋子系統之修正與中斷運算模組M301，可進一步協同該ARIMA模型運算模組M308，透過差分整合運算進行一平穩化程序，該平穩化程序主要步驟在於：將原始殘差資料以差分整合(integration of differencing steps)的操作，可將其演化變量(evolving variables)進行自迴歸(auto regression)而轉成平穩化序列，以取得一平穩化殘差資料，再檢驗該平穩化殘差資料是否符合一白噪聲序列，以上步驟僅為本發明之一種示例，以確認原殘差資料是否需再修正。
舉例而言，上述實施例所稱之各模組(M300~M308)可以利用至少一儲存裝置之一部分或全部協同運算裝置來實作，並儲存有特定之指令或編碼組合或為虛擬機器之複本，可協同一個以上之處理器，執行與上述各模組(M300~M308)相關之程序(例如，動態範數預處理程序、內積運算預處理程序，流形運算預處理程序等)。在一實施例中，參考圖8所示，上述之模組M300~M308之相關運算程序通常以特定之虛擬機器複本之型態儲存於一伺服器虛擬化平台，並可協同該伺服器虛擬化平台之一個以上的處理器執行以上相關程序。其中，M300~M302可實現為個別之虛擬機器複本，而M303~M305通常可整合於一預處理專用伺服器之虛擬機器複本，而M306~M308通常可整合於一殘差管理專用伺服器之虛擬機器複本，各虛擬機器之間再透過專屬之虛擬網段進行通訊，以形成一協同運作之殘差回饋子系統S1002A。然而，此實施例僅為一可行示例，模組M300~M308之實施態樣並不受限於上述例子。例如將各模組實現為實體伺服器或實現為雲端服務亦為基於本發明之一種實現方式。以上各模組可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一殘差回饋子系統，不僅藉此可增進不同性質的資料之殘差運算，更可從不同空間、不同維度，以及不同時間區段的角度進行殘差分析，以提供一自我修正殘差資料的機制，可防止非自然資料導致的不當殘差破壞類神經網路的訓練模型，此為先前技術所無法達成之功效。
在一實施例中，請參考圖5E所示，上述神經元運算子系統之樹狀結構神經元模組M201包含有一跨神經元運算單元U20101及一神經元權重更新單元U20102。跨神經元運算單元U20101，根據來自殘差回饋子系統S1002之先進回饋機制輸出模組M302的回饋資料，進行一神經元資料更新程序，該神經元資料更新程序乃是根據該回饋資料分析是否需調整一個或多個特定神經元的樹狀結構或是權重參數，以產生對應的一神經元更新資料，以上步驟僅為本發明之一種示例，以驅動具特定關聯的多個神經元節點調整。神經元權重更新單元U20102，根據該神經元更新資料，更新該類神經網路之神經元的樹狀結構資料及神經元的權重參數資料，並通知該非對稱隱藏層輸入模組M200對於進行預處理的該原始資料實施更新程序。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其組合成一樹狀結構神經元模組，不僅藉此可對類神經網路提供即時權重調整的功能，更可促進動態調整類神經網路的神經元，使其決策風格能做即時的轉變，此為先前技術所無法達成之功效。
在一實施例中，請參考圖5E所示，上述神經元運算子系統之樹狀結構神經元模組M201，為避免類神經網路結構被外部人工智慧系統分析或學習，可更進一步包含有以下單元：一神經元生成單元U20103；一神經元拓樸結構調整單元U20104；以及一神經元分群管理單元U20105。其中，該神經元生成單元U20103，可根據來自該樹狀結構神經元模組M201的指令，進行一神經元節點的新增程序，該神經元節點的新增程序乃是根據指令的節點索引參數與權重參數，在非對稱隱藏層的特定位置建立新的神經元節點，以上步驟僅為本發明之一種示例，以便為類神經網路新增神經元節點。該神經元拓樸結構調整單元U20104，可根據來自該樹狀結構神經元模組M201的指令，協同該神經原生成單元U20103，進行一神經元拓樸結構調整程序，該神經元拓樸結構調整程序乃是根據指令的拓樸結構參數與路徑調整參數，調用神經元節點的新增程序與隱藏層路徑規劃程序，進行類神經網路的拓樸結構切換，以上步驟僅為本發明之一種示例，以動態改變類神經網路的拓樸結構。該神經元分群管理單元U20105，可用於對具有不同特性的神經元節點進行一整合重組程序，該整合重組程序乃是根據指令的分群參數與拓樸結構參數，調用多個神經元拓樸結構調整程序，同時分群進行類神經網路的拓樸結構與傳導路徑調整，以上步驟僅為本發明之一種示例，藉此可動態組合多個拓樸結構不同的類神經網路。舉例而言，上述實施例所稱之各單元(U20101~U20105)可以利用程序或函式之指令碼之組合來實作之，並封裝為協同處理器單元與記憶體單元一起執行的特定函式庫，用於執行與上述各單元(U20101~U20105)相關之程序(例如，神經元資料更新程序、神經元節點的新增程序、神經元拓樸結構調整程序等)。在一實施例中，參考圖5E所示，上述之各單元(U20101~U20105)封裝成一樹狀結構神經元模組函式庫安裝於一嵌入式系統，並可協同該嵌入式系統之一個以上的處理器執行以上相關程序。然而，此實施例僅為一可行示例，單元U20101~U20105之實施態樣並不受限於上述例子。例如，將跨神經元運算單元U20101與神經元權重更新單元U20102分別實現為各自的API(application programming interface)，而將U20103~U20105整合為一神經元管理API，亦為基於本發明之一種實現方式。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一樹狀結構神經元模組，可達到高速配置多種不同拓樸結構之類神經網路之功能，使得本發明不僅可於具備不同功能的類神經網路之間做快速轉換(例如：監督式與非監督式類神經網路之切換，類神經記憶網路與類神經非記憶網路之切換，或是自定義類神經網路與開源類神經網路之切換)，並可有效避免類神經網路結構被外部人工智慧系統分析或學習模仿，此為先前技術所無法達成之功效。
在一實施例中，請參考圖6所示，上述神經元運算子系統之分層權重參數模組包含有一激勵函式整合單元U20201、一拉普拉斯轉換單元U20202及一激勵函式更新單元U20203。激勵函式整合單元U20201，可協同不同的激勵函式，並根據此分層權重參數模組M202所管理的激勵設定資料U20200，以一激勵函式設定程序，設定類神經網路進行權重更新所適用的激勵函式。拉普拉斯轉換單元U20202，對於具有非時變性質的原始資料，根據該分層權重參數模組M202所設定的激勵函式與神經元的權重參數資料U20210進行一拉普拉斯運算程序，以產生一拉普拉斯運算結果。激勵函式更新單元U20203，根據該拉普拉斯運算結果，以一激勵函式更新程序，將其結果參數更新於M202所管理的激勵設定資料U20200，此分層權重參數模組M202並可根據該激勵設定資料U20200，分析評估目前所設定的激勵函式是否適用，以確認是否協同該激勵函式整合單元U20201重設對應的激勵函式。舉例而言，上述實施例所稱之激勵設定資料U20200與神經元權重參數資料U20210可以利用資料編碼的儲存態樣實現為一儲存裝置的一部份，其他各單元(U20201~U20203)可以利用程序或函式之指令碼之組合實作之，並封裝為協同處理器單元與記憶體單元一起執行的特定函式庫，用於執行與上述各單元(U20201~U20203)相關之程序(例如，激勵函式設定程序、拉普拉斯運算程序、激勵函式更新程序等)。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其與可存放神經元權重參數資料及可存放激勵設定資料之儲存單元組合成一分層權重參數模組，藉此不僅可提供類神經網路多種可用的激勵函式，以便該神經元運算子系統可支援切換不同功能的類神經網路，對於非時變的資料集，更可於短時間內快速確認所設定的激勵函式是否適用，此為先前技術所無法達成之功效。
在一實施例中，請參考圖6所示，上述神經元運算子系統之分層權重參數模組M202，為提升類神經網路的泛化能力，可更進一步包含有以下單元：一歸一化處理單元U20204、一調和函數處理單元U20205、一時間函數處理單元U20206、一多維動差處理單元U20207、一傅立葉變換處理單元U20208以及一波函數變換處理單元U20209。舉例而言，該分層權重參數模組M202可根據來自上述激勵函式整合單元U20201的設定結果，對於具備無界性質的激勵函式，驅動該歸一化處理單元U20204，對於要被導入激勵函式的資料先進行一歸一化程序，以優化隱藏層的處理效能。此外，該分層權重參數模組M202可根據來自該激勵函式整合單元的設定結果，對於具有相位性質或是可用複平面表示的原始資料，驅動該調和函數處理單元U20205，進行一調和函數映射程序，該調和函數映射程序主要步驟為：將選定的激勵函式於表示為在一黎曼流形上的全純函數f、使用拉普拉斯算子Δ定義Δf=0得到一調和函數、以該調和函數做為新的激勵函式，並以該調和函數的極值所對應的區間做為新的激勵函式的有效區間，以上步驟僅為本發明的一種示例，主要目的在於使得選定的激勵函式可支援以複數(complex number)表示的資料型態。該分層權重參數模組M202亦可根據該激勵設定資料U20200，判斷隱藏層是否無可避免出現梯度消失或梯度爆炸現象；若是，則驅動該時間函數處理單元U20206，對選定的激勵函式執行一時間變數導入程序，以促進權重調整趨於收斂。該分層權重參數模組M202亦可根據該激勵設定資料U20200，判斷原始資料是否符合多變量連續隨機變數之性質；若是，則可驅動該多維動差處理單元U20207，對選定的激勵函式導入一動差生成函數仿射變換程序，該動差生成函數仿射變換程序主要步驟為：將原始資料之多變量導入隨機向量z的聯合 (joint)動差生成函數mz (t)=E[exp(tT z)] 、若z為p維隨機向量，則令μ為p維常數向量，且B是p＊p階可逆矩陣、將z以x=Bz+μ做仿射變換代回動差生成函數、根據仿射變換後的動差生成函數導出各變量的機率密度函數，以上步驟僅為本發明的一種示例，主要目的在於使得權重調整可導入多變量的機率因子，以促進權重調整趨於收斂。該分層權重參數模組M202亦可根據該激勵設定資料U20200，判斷原始資料是否具有狄拉克δ函數之分布性質；若是，則可驅動該傅立葉變換處理單元U20208，對隱藏層傳遞的訊息資料利用狄拉克δ函數進行一傅立葉變換程序，再以一斜坡函數作為激勵函式，將該變換後的訊息資料導入該激勵函式，以支援具質點性質或維度為零的原始資料。該分層權重參數模組M202亦可根據該激勵設定資料U20200，判斷原始資料是否具有量子多體系統之分布性質；若是，則可驅動該波函數變換處理單元U20209，執行一波函數變換程序，以一適配之波函數做為隱藏層之激勵函式，以促進量子多體模擬資料之權重調整趨於收斂。
舉例而言，上述實施例所稱之各單元(U20204~U20209)可利用程序或函式之指令碼之組合來實作之，並封裝為協同處理器單元與記憶體單元一起執行的特定函式庫，用於執行與上述各單元(U20204~U20209)相關之程序(例如，歸一化程序、動差生成函數仿射變換程序，傅立葉變換程序等)。在一實施例中，參考圖6所示，上述之各單元(U20200~U20210)封裝成一分層權重參數模組函式庫安裝於一嵌入式系統，並可協同該嵌入式系統之一個以上的處理器執行以上相關程序。然而，此實施例僅為一可行示例，單元U20201~U20209之實施態樣並不受限於上述例子。例如，將激勵函式整合單元U20201，拉普拉斯轉換單元U20202與激勵函式更新單元U20203分別實現為各自的API，而將U20204與U20205整合為一激勵函式附加功能API，並將U20206~U20209整合為一激勵函式進階轉換API，亦為基於本發明之一種實現方式。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一分層權重參數模組，藉此不僅可增進隱藏層處理效能，同時使得一般的激勵函式可支援複數型態之資料，更可促進多種具特殊性質的資料集於類神經網路的訓練程序中加速收斂，可避免傳統類神經網路在可用的激勵函式有限的情況下，資料維度過高或過低，其訓練結果都難以收斂的問題，此為先前技術所無法達成之功效。
接著參考圖7所示，在一實施例中，上述神經元運算子系統之樹狀搜尋模組M204包含有一重複節點防制單元U20401及一上限信賴區間搜尋單元U20402。重複節點防制單元U20401，可根據該神經元運算子系統的樹狀結構神經元模組所產生的樹狀結構資料，判斷是否有重複的神經元節點。若是，則產生一節點重複資訊，該樹狀搜尋模組M204並可協同如圖9之該殘差回饋子系統S1002A之修正與中斷運算模組M301內的狀態暫存器單元U30103，產生對應的一訓練中斷資訊U20400，且該神經元運算子系統S1001A可根據此訓練中斷資訊，協同該子系統之樹狀結構神經元模組M201執行一訓練中斷機制。上限信賴區間搜尋單元U20402，根據來自該殘差回饋子系統S1002A的修正回饋資訊與該神經元運算子系統S1001A的原始資料、樹狀結構資料、權重參數資料、非線性分析後資料進行一上限信賴區間運算程序，利用上限信賴區間演算法(UCT, upper confidence bounds to trees)以產生對應的一上限信賴區間資訊。其中，該修正回饋資訊用於判斷是否調整權重參數資料、再根據所需調整的權重資料模擬更新樹狀結構資料、並根據模擬後的非線性分析後資料判斷結果是否趨於收斂、同時可根據原始資料與樹狀結構資料進行UCT分析以產生上限信賴區間資訊。該樹狀搜尋模組M204再根據該上限信賴區間資訊及該修正回饋資訊導出的結果判斷其收斂趨勢是否不符合該上限信賴區間資訊；若是不符合，則協同該殘差回饋子系統之狀態暫存器單元U30103，產生對應的一訓練中斷資訊U20400。該神經元運算子系統S1001A可根據此訓練中斷資訊U20400，協同該子系統之樹狀結構神經元模組M201執行一訓練中斷機制。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一樹狀搜尋模組，藉此不僅可避免無效的訓練程序消耗系統資源，更可進一步控制決策資料的分布區間，避免浪費太多系統資源在不必要的決策資料分析程序。
參考圖7所示，在一實施例中，上述神經元運算子系統之樹狀搜尋模組M204，為提升其搜尋效能，可更進一步包含有以下單元：一支撐向量機運算單元U20403、一基因演算搜尋單元U20404、一蒙地卡羅搜尋單元U20405、一搜尋排程加速單元U20406以及一雜湊存取搜尋單元U20407。舉例而言，該樹狀搜尋模組M204可根據來自上述該上限信賴區間搜尋單元U20402的上限信賴區間資訊，判斷上限信賴區間是否有過大或過小的現象；若是，則驅動該支撐向量機運算單元U20403，進行一超平面最佳化程序，以調整決策邊界進而優化上限信賴區間，可避免過多無效的搜尋程序。此外，該樹狀搜尋模組M204可針對由多種拓樸結構組成的類神經網路，驅動該基因演算搜尋單元U20404，執行一基因演算程序，利用基因演算法(GA, genetic algorithm)對神經元節點進行分群，以決定目標群組，再針對目標群組進行樹狀結構資料搜尋，可有效精簡搜尋範圍。再者，該樹狀搜尋模組M204可針對深度較大的樹狀拓樸結構組成的類神經網路，驅動該蒙地卡羅搜尋單元U20405，執行一蒙地卡羅演算程序，利用蒙地卡羅樹搜尋演算法(MCTS, Monte Carlo tree search)進行啟發式搜尋，可提升對較佳路徑的搜尋效能。該樹狀搜尋模組M204亦可針對寬度較大的樹狀拓樸結構組成的類神經網路，驅動該搜尋排程加速單元U20406，於一支援B+樹的檔案系統，以B+樹的搜尋演算法執行搜尋排程，可有效節省搜尋時間；以及針對索引數量較多的樹狀拓樸結構組成的類神經網路，該樹狀搜尋模組M204可驅動該雜湊存取搜尋單元U20407，將索引存入一雜湊表，以雜湊搜尋演算法(hashing search)執行一索引搜尋程序，可有效節省搜尋時間。
舉例而言，上述實施例所稱之各單元(U20401~U20407)可以利用程序或函式之指令碼之組合來實作之，並封裝為協同處理器單元與記憶體單元一起執行的特定函式庫，用於執行與上述各單元(U20401~U20407)相關之程序(例如，超平面最佳化程序、基因演算程序，上限信賴區間運算程序等)。在一實施例中，參考圖7所示，上述之各單元(U20401~U20407)封裝成一樹狀搜尋模組函式庫安裝於一嵌入式系統，並可協同該嵌入式系統之一個以上的處理器執行以上相關程序。然而，此實施例僅為一可行示例，單元U20401~U20407之實施態樣並不受限於上述例子。例如，單獨將重複節點防制單元U20401實現為一API，而將U20402與U20407整合為一增進搜尋效能API，亦為基於本發明之一種實現方式。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一樹狀搜尋模組，藉此不僅可有效解決類神經網路之神經元節點採用樹狀結構資料所需面對的系統搜尋效能問題，同時也有效避免了系統記憶體的大量佔用，使得具有樹狀結構資料的神經元節點在產業利用的考量上具有可行性。
接著參考圖9，在一實施例中，上述殘差回饋子系統的修正與中斷運算模組M301包含有：一殘差分析單元U30101、一自我修正函式單元U30102、一狀態暫存器單元U30103以及一訓練中斷機制單元U30104。殘差分析單元U30101，具有一種以上的殘差計算程序(例如，均方差MSE、最小平方差LSE、最大可能差MLE等，以上僅為部分示例，本發明可用之殘差程序不限於此)，可根據該子系統S1002A之先進回饋機制輸入模組M300所導入的來自於神經運算子系統的非線性分析後資料，選定適用的殘差計算程序，以產生一殘差分析資料。自我修正函式單元U30102，根據該非線性分析後資料以及該殘差分析資料進行一殘差修正函式計算程序，以產生一修正回饋資訊。狀態暫存器單元U30103，該修正與中斷運算模組M301可根據系統狀態資料，於此狀態暫存器單元U30103儲存有一個以上的中斷設定轉換資料。訓練中斷機制單元U30104，根據來自該自我修正函式單元U30102的修正回饋資訊，執行一中斷條件分析程序，以判斷是否滿足一訓練中斷條件；若是，則協同狀態暫存器單元U30103根據選用的中斷設定轉換資料產生一訓練中斷資訊，該殘差回饋子系統S1002A可進一步根據該訓練中斷資訊協同該神經元運算子系統S1001A進行訓練中斷機制程序。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其組合成一修正與中斷運算模組，藉此不僅利用適當的修正回饋機制可促進決策資料的適用性，同時導入訓練中斷機制亦可有效確保決策資料的獨特性不被破壞，避免了傳統非監督式類神經網路在訓練過程中容易放大不具重要性的資料特徵以致於最後導出的決策資料趨於一般化的問題。
如圖9所示，在一實施例中，上述殘差回饋子系統的修正與中斷運算模組M301，為強化對訓練狀態與回饋資訊之管理機制，可更進一步包含有以下單元：一狀態恢復單元U30105、一狀態切換單元U30106、一編碼處理單元U30107、一狀態刪除單元U30108、一視覺化監控單元U30109、一壓縮處理單元U30110以及一歷史追蹤單元U30111。舉例而言，對於已執行訓練中斷機制之系統，若造成訓練中斷的因素已排除，則上述該修正與中斷運算模組M301可驅動該狀態恢復單元U30105，根據該狀態暫存器單元U30103所儲存的中斷設定轉換資料，執行一狀態恢復程序，以協助該系統恢復中斷機制被觸發之前的一正常狀態。若目前的決策結果比先前的決策結果退化，或是有多種不同型態的原始資料須進行切換，則該修正與中斷運算模組M301可驅動該狀態切換單元U30106，執行一狀態切換程序，根據該狀態暫存器單元U30103所儲存的中斷設定轉換資料，以協助該系統切換至較具適用性的一先前狀態。再者，為提升修正回饋資訊與回饋資料或訓練中斷資訊在傳送時的機密性，該修正與中斷運算模組M301可驅動該編碼處理單元U30107，對該修正回饋資訊與回饋資料或訓練中斷資訊執行一編碼處理程序(例如對資料做加密編碼(encryption)、或是轉碼編碼(transcoding)、或是神經編碼(neural encoding)等，以上僅為部分示例，本發明可用之編碼不限於此)，以降低機敏資訊洩漏的風險。再者，若發生系統入侵事件，為防止重要訓練狀態之參數被洩漏，該修正與中斷運算模組M301可驅動該狀態刪除單元U30108協同狀態暫存器單元U30103，於限定條件下(例如：系統無法及時排除入侵行為時)對特定狀態進行狀態刪除程序，以降低機敏資訊洩漏的風險。另外，該修正與中斷運算模組M301亦可驅動該視覺化監控單元U30109，於特定監控裝置上執行一視覺化界面程序，以便提供系統管理者一遠端系統監控機制。同時，為促進修正回饋資訊與回饋資料或訓練中斷資訊於不同模組間，透過不同的裝置進行傳輸，該修正與中斷運算模組M301可進一步驅動該壓縮處理單元U30110，對其輸出之資料進行一壓縮處理程序，以提升不同的傳輸裝置之間的頻寬利用效率。為強化資料安全機制並避免大量的重複決策運算程序，該修正與中斷運算模組M301可驅動該歷史追蹤單元U30111，對其傳輸的資料流啟動一歷史追蹤程序，透過對歷史紀錄的檢視，以找出具有異常特徵的傳輸資料。
舉例而言，上述實施例所稱之狀態暫存器單元U30103可實作為至少一儲存裝置的一部份，而該儲存裝置可以是一磁碟裝置或是非揮發性記憶體裝置或為一持久性的記憶電路；其他各單元(U30101~U30102以及U30104~U30111)可利用程序或函式之指令碼之組合來實作之，並封裝為協同處理器單元與記憶體單元一起執行的特定虛擬機器複本，用於執行與上述各單元(U30101~U30102以及U30104~U30111)相關之程序(例如，狀態恢復程序、壓縮處理程序，歷史追蹤程序等)。在一實施例中，參考圖9所示，上述之各單元(U30101~U30102以及U30104~U30111)封裝成一修正與中斷模組虛擬機器複本整合於一伺服器虛擬平台，並可協同該伺服器虛擬平台之一個以上的處理器執行以上相關程序。然而，此實施例僅為一可行示例，單元U30101~U30102以及U30104~U30111之實施態樣並不受限於上述例子。例如，將殘差分析單元U30101、自我修正函式單元U30102、訓練中斷機制單元U30104、狀態刪除單元U30108，以及視覺化監控單元U30109分別實現為RESTful API，而將U30105與U30106整合為一狀態管理RESTful API，同時將U30107、U30110，與U30111整合為一資料流管理RESTful API，以提供予雲端平台整合為一雲端服務，亦為基於本發明之一種實現方式。以上各單元可基於本發明之技術領域實現為軟體單元、硬體單元或以軟硬體結合方式實現，然將其整合於一修正與中斷運算模組，藉此重要或機敏的資料流可透過網路進行安全傳輸，不僅使得此發明之決策核心系統的神經元運算子系統與殘差回饋子系統可採用異地佈署以分散風險，更可對具有商業價值的決策資料提供有效的維護與管理機制，使得本發明可實作成具備資安防護設計的類神經網路人工智慧決策核心系統，此為先前技術所無法達成之功效。
最後請參考圖3A，此為一類神經網路人工智慧決策核心系統S1000之實施例示意圖，此處並配合圖1說明一基礎系統的實現方式如下。如圖3B所示，系統S1000之非監督式類神經網路介面模組M100於一實施例中實現為一磁碟陣列伺服器DA001，該伺服器具有一磁碟陣列管理單元，並將接收到的已訓練資料集採用一隨機儲存的演算法將其分散儲存於磁碟陣列中，其中磁碟陣列例如是包含多個固態硬碟，如於圖3B中以SSD001、SSD002至SSD009代表。如圖3C所示，神經元運算子系統S1001於一實施例中實現為一整合神經運算棒(Neural Compute Stick, NCS)的嵌入式系統EBS001，S1001之各模組以不同的函式庫(如以Lib1、Lib2、Lib3~LibN來表示)封裝與該嵌入式系統之軟體開發套件(SDK, software development kit)整合並內建為該嵌入式系統EBS001之儲存單元(如快閃記憶體FLASH)之一部分，並可協同EBS001之處理器(CPU)執行上述S1001之相關程序。如圖3D所示，殘差回饋子系統S1002於一實施例中則實現為一伺服器虛擬化平台VSP001，S1002之各模組以不同的虛擬機器複本整合於該虛擬伺服器平台VSP001，並有一虛擬機器(virtual machine, VM)可作為S1002之監控與管理單元，利用該平台VSP001內部的虛擬網段協調其他多個虛擬機器(VM)完成上述與S1002相關之運算程序；舉例而言，如圖3D所示，該虛擬伺服器平台VSP001可基於包含處理器(CPU)、記憶體、網路卡及儲存裝置之運算裝置硬體而實現，其中作業系統(OS)及應用程式(APP)可依據對應的虛擬機器(VM)而實現。此外，於一實施例中，如圖3B-3D所示之DA001，EBS001與VSP001皆可架構於如圖3A所示之由一軟體定義網路控制器(SDN Controller) SC001所管理之系統網路，並且皆設定為轉向裝置(forwarding device) 。例如，DA001被設定為轉向裝置FD001，EBS001被設定為轉向裝置FD002以及VSP001被設定為轉向裝置FD003。同時DA001、EBS001與VSP001彼此間透過SDN的去耦合管控機制(decoupled control)進行資料流傳輸。然而，此實施例僅為一可行示例，非監督式類神經網路介面模組M100、神經元運算子系統S1001與殘差回饋子系統S1002之實施態樣並不受限於上述例子。例如，以AWS或Azure之雲端機器來實現M100、S1001以及S1002，亦為基於本發明之一種實現方式。
本發明在上文中已以多個實施例揭露，然熟習本項技術者應理解的是，該實施例僅用於描繪本發明，而不應解讀為限制本發明之範圍。應注意的是，舉凡與該實施例等效之變化與置換，均應設為涵蓋於本發明之範疇內。因此，本發明之保護範圍當以申請專利範圍所界定者為準。
S1000:類神經網路人工智慧決策核心系統 M100:非監督式類神經網路介面模組 S1001、S1001A:神經元運算子系統 S1002、S1002A:殘差回饋子系統 M200:非對稱隱藏層輸入模組 M20001:非對稱隱藏層 M20002:樹狀結構神經元 M20003:激勵函式 M20004:樹狀結構資料 L1、L2、L3-LN:分層 WL1 ,WL2 ,WL3 ,…,WLN :分層權重 M201:樹狀結構神經元模組 M202:分層權重參數模組 M203:非線性主成份分析模組 M204:樹狀搜尋模組 M205:隱藏層路徑規劃模組 M206:密集資料處理模組 M207:稀疏張量處理模組 M208:渾沌模型分析模組 M209:神經元維度調整模組 M300:先進回饋機制輸入模組 M301:修正與中斷運算模組 M302:先進回饋機制輸出模組 M303:動態範數處理模組 M304:內積運算處理模組 M305:流形運算模組 M306:張量轉換模組 M307:殘差函式泛函處理模組 M308:ARIMA模型運算模組 U20101:跨神經元運算單元 U20102:神經元權重更新單元 U20103:神經元生成單元 U20104:神經元拓樸結構調整單元 U20105:神經元分群管理單元 U20200:激勵設定資料 U20201:激勵函式整合單元 U20202:拉普拉斯轉換單元 U20203:激勵函式更新單元 U20204:歸一化處理單元 U20205:調和函數處理單元 U20206:時間函數處理單元 U20207:多維動差處理單元 U20208:傅立葉變換處理單元 U20209:波函數變換處理單元 U20210:權重參數資料 U20400:訓練中斷資訊 U20401:重複節點防制單元 U20402:上限信賴區間搜尋單元 U20403:支撐向量機運算單元 U20404:基因演算搜尋單元 U20405:蒙地卡羅搜尋單元 U20406:搜尋排程加速單元 U20407:雜湊存取搜尋單元 U30101:殘差分析單元 U30102:自我修正函式單元 U30103:狀態暫存器單元 U30104:訓練中斷機制單元 U30105:狀態恢復單元 U30106:狀態切換單元 U30107:編碼處理單元 U30108:狀態刪除單元 U30109:視覺化監控單元 U30110:壓縮處理單元 U30111:歷史追蹤單元 DA001:磁碟陣列伺服器 SSD001、SSD002至SSD009:固態硬碟 EBS001:整合神經元運算棒之嵌入式系統 Lib1、Lib2、Lib3~LibN:函式庫 NCS:神經運算棒 SDK:軟體開發套件 VSP001:伺服器虛擬化平台 FD001~FD003:轉向裝置 SC001:軟體定義網路控制器 F100~F200:代表的資料流程之區塊 F300~F304:代表的資料流程之區塊 F400~F403:代表的資料流程之區塊
M100:非監督式類神經網路介面模組
S1000:類神經網路人工智慧決策核心系統
S1001:神經元運算子系統
S1002:殘差回饋子系統
M200:非對稱隱藏層輸入模組
M201:樹狀結構神經元模組
M202:分層權重參數模組
M203:非線性主成份分析模組
M204:樹狀搜尋模組
M300:先進回饋機制輸入模組
M301:修正與中斷運算模組
M302:先進回饋機制輸出模組

Claims (13)

  1. 一種類神經網路人工智慧決策核心系統，包含： 一非監督式類神經網路介面模組，係至少一第一運算裝置用於接收一原始資料，其中該非監督式類神經網路介面模組具有一用於接收該原始資料的介面，該介面適用於來自外部的非特定模型的已訓練資料； 一神經元運算子系統，係至少一第二運算裝置，連接該非監督式類神經網路介面模組，對該原始資料進行預處理之運算程序，以獲得已預處理之資料，再對該已預處理之資料進行可動態更新神經元節點的神經元運算程序，而後透過非線性主成份分析(non-linear PCA)之計算程序產生對應的非線性分析後資料與決策資料；以及 一殘差回饋子系統，協同該神經元運算子系統，根據該非線性分析後資料，進行殘差分析的補償運算程序，以產生修正回饋資訊與回饋資料或訓練中斷資訊，用於促進該神經元運算子系統產生具獨特性與適用性的決策資料。
  2. 如請求項1所述之類神經網路人工智慧決策核心系統，其中該神經元運算子系統，包含： 一非對稱隱藏層輸入模組，用於對來自該類神經網路人工智慧決策核心系統之非監督式類神經網路介面模組的原始資料，以類神經網路進行一資料預處理程序，以產生一已預處理之資料； 一樹狀結構神經元模組，連結該非對稱隱藏層輸入模組，包括多個神經元節點，並根據接收到的已預處理之資料，進行一樹狀資料結構處理程序，以產生各神經元節點對應的樹狀結構資料； 一分層權重參數模組，其中該參數模組連結該樹狀結構神經元模組，並根據該樹狀結構資料執行一權重參數計算程序以得到一權重參數資料，用於管理類神經網路每一層的特定權重； 一非線性主成份分析模組，連結該分層權重參數模組，並根據該分層權重參數資料進行一非線性主成份分析之計算程序，以產生一非線性分析後資料，並用於據以或協同來自殘差回饋子系統的回饋資料，推導出適用的決策資料；以及 一樹狀搜尋模組，協同該樹狀結構神經元模組與該類神經網路人工智慧決策核心系統之殘差回饋子系統，用於及時中斷類神經網路之訓練程序，以維護該決策資料之獨特性與適用性。
  3. 如請求項2所述之類神經網路人工智慧決策核心系統，其中該神經元運算子系統，更包含： 一隱藏層路徑規劃模組，用於接收來自該決策核心系統之非監督式類神經網路介面模組的原始資料，根據該原始資料之屬性，進行適合該屬性的隱藏層路徑規劃，藉此用以支持類神經網路隱藏層具備動態可變的傳導路徑； 一密集資料處理模組，用於分析來自該決策核心系統之非監督式類神經網路介面模組的原始資料，若該原始資料具有高密度屬性，則執行一密集資料處理程序，以排除無效資料，並將重複性資料歸一化，再將已完成該處理程序的輸出資料導入該神經元運算子系統之非對稱隱藏層輸入模組； 一稀疏張量處理模組，用於協同該神經元運算子系統之樹狀結構神經元模組，針對已產生的神經元節點，分析是否符合稀疏張量的條件，若是，則進一步進行稀疏矩陣之運算程序，以促進系統運算效能並節省系統記憶體之使用； 一渾沌模型分析模組，用於協同該神經元運算子系統之非線性主成份分析模組運作，當該非線性主成份分析模組無法根據來自殘差回饋子系統的回饋資料，進行有效修正時，則進一步啟動渾沌模型分析程序，以渾沌模型的分析結果促進決策資料的產出；以及 一神經元維度調整模組，用於根據來自殘差回饋子系統的回饋資料，協同該神經元運算子系統之樹狀結構神經元模組，進行類神經網路的維度調整，以促進決策核心系統之決策風格的轉換，以提升該神經元運算子系統其決策資料的獨特性與適用性。
  4. 如請求項1所述之類神經網路人工智慧決策核心系統，其中該殘差回饋子系統，包含： 一先進回饋機制輸入模組，用於接收來自該非線性主成份分析模組的非線性分析後資料； 一修正與中斷運算模組，用於對於非線性分析後資料，進行殘差分析的補償運算程序，以產生修正回饋資訊，並根據該修正回饋資訊觸發類神經網路的中斷訓練機制或進行先進回饋輸出；以及 一先進回饋機制輸出模組，用於根據該修正與中斷運算模組所更新的狀態以及所產生的修正回饋資訊，導出一回饋資料並將該回饋資料傳送給神經元運算子系統之非線性主成份分析模組，以促進該神經元運算子系統維護其決策資料的獨特性與適用性。
  5. 如請求項4所述之類神經網路人工智慧決策核心系統，其中該殘差回饋子系統，更包含： 一動態範數處理模組，對於可向量化或矩陣化的非線性分析後資料，該殘差回饋子系統之先進回饋機制輸入模組，用於進一步協同該動態範數處理模組進行一預處理程序，以便對該修正與中斷運算模組導入向量化資料或矩陣化資料，以進行殘差補償修正運算； 一內積運算處理模組，對於具圖像性質的向量化資料或矩陣化資料，該殘差回饋子系統之先進回饋機制輸入模組，用於進一步協同該內積運算處理模組進行另一預處理程序，以自定義點與向量之間的關係，以便對該修正與中斷運算模組導入標準正交基，以增進殘差補償修正運算； 一流形運算模組，對於非歐氏空間的資料，該殘差回饋子系統之先進回饋機制輸入模組，用於進一步協同該流形運算模組進行另一預處理程序，以便將該資料轉入歐氏空間，以便對該修正與中斷運算模組導入來自不同空間的取樣資料，以增進殘差補償修正運算的適用範圍； 一張量轉換模組，對於具有時變性質的資料，該殘差回饋子系統之修正與中斷運算模組，用於進一步協同該張量轉換模組進行一自我修正程序，以便將經過殘差分析的補償運算後的殘差資料，進行不同維度的轉換，以找出最適合該時變性質的殘差運算空間，以增進殘差補償修正運算的適用範圍； 一殘差函式泛函處理模組，對於利用提升演算法取得損失函數最優解的運算程序，該殘差回饋子系統之修正與中斷運算模組，用於進一步協同該殘差函式泛函處理模組進行一最佳化程序，以促進損失函數最優解的導出，以維護殘差修正的精確性；以及 一ARIMA模型運算模組，對於非平穩的殘差資料，該殘差回饋子系統之修正與中斷運算模組，用於進一步協同該ARIMA模型運算模組，透過差分整合運算進行一平穩化程序，取得一平穩化殘差資料，再檢驗該平穩化殘差資料是否符合一白噪聲序列，以確認原殘差資料是否需再修正。
  6. 如請求項2或4所述之類神經網路人工智慧決策核心系統，其中該神經元運算子系統的樹狀結構神經元模組，更包含： 一跨神經元運算單元，用於根據神經元運算子系統所接收到來自殘差回饋子系統之先進回饋機制輸出模組的回饋資料，進行一神經元資料更新程序，以產生對應的一神經元更新資料； 一神經元權重更新單元，用於根據該神經元更新資料，更新該類神經網路之神經元的樹狀結構資料及神經元的權重參數資料，並通知該非對稱隱藏層輸入模組對於進行預處理的該原始資料實施更新程序。
  7. 如請求項3或5所述之類神經網路人工智慧決策核心系統，其中該神經元運算子系統的樹狀結構神經元模組，更包含： 一神經元生成單元，用於根據來自該樹狀結構神經元模組的指令，進行一神經元節點的新增程序，以產生所需的神經元節點； 一神經元拓樸結構調整單元，用於根據來自該樹狀結構神經元模組的指令，協同該神經原生成單元，進行一神經元拓樸結構調整程序，以動態改變類神經網路的拓樸結構；以及 一神經元分群管理單元，用於根據來自該樹狀結構神經元模組的指令，協同該神經元拓樸結構調整單元，對具有不同特性的神經元節點進行一整合重組程序，以動態組合多個拓樸結構不同的類神經網路。
  8. 如請求項2所述之類神經網路人工智慧決策核心系統，其中該神經元運算子系統的分層權重參數模組，更包含： 一激勵函式整合單元，用於協同不同的激勵函式，並根據該分層權重參數模組所管理的激勵設定資料，設定類神經網路進行權重更新所適用的激勵函式； 一拉普拉斯轉換單元，用於根據該分層權重參數模組所設定的激勵函式與神經元的權重參數資料進行一拉普拉斯運算，以產生一拉普拉斯運算結果； 以及 一激勵函式更新單元，用於根據該拉普拉斯運算結果產生對應該分層權重參數資料的一激勵設定資料，該分層權重參數模組並用於根據該激勵設定資料，分析評估是否協同該激勵函式整合單元重設對應的激勵函式。
  9. 5或8所述之類神經網路人工智慧決策核心系統，其中該神經元運算子系統的分層權重參數模組，更包含： 一歸一化處理單元，該分層權重參數模組用於根據來自該激勵函式整合單元的設定結果，對於具備無界性質的激勵函式，驅動該歸一化處理單元，以優化隱藏層的處理效能； 一調和函數處理單元，對於具有相位性質或是可用複平面表示的原始資料，該分層權重參數模組用於根據來自該激勵函式整合單元的設定結果，驅動該調和函數處理單元，進行一調和函數映射程序，使得選定的激勵函式得以支援以複數(complex number)表示的資料型態； 一時間函數處理單元，若該分層權重參數模組根據該激勵設定資料，判斷隱藏層無可避免出現梯度消失或梯度爆炸現象，則驅動該時間函數處理單元，對選定的激勵函式導入時間變數，以促進權重調整趨於收斂； 一多維動差處理單元，若該分層權重參數模組根據該激勵設定資料，判斷原始資料符合多變量連續隨機變數之性質，則驅動該多維動差處理單元，對選定的激勵函式導入一動差生成函數仿射變換程序，以促進權重調整趨於收斂； 一傅立葉變換處理單元，若該分層權重參數模組根據該激勵設定資料，判斷原始資料具有狄拉克δ函數之分布性質，則驅動該傅立葉變換處理單元，對隱藏層傳遞的訊息資料利用狄拉克δ函數進行一傅立葉變換程序，再以一斜坡函數作為激勵函式，將該變換後的訊息資料導入該激勵函式，以支援具質點性質或維度為零的原始資料；以及 一波函數變換處理單元，若該分層權重參數模組根據該激勵設定資料，判斷原始資料具有量子多體系統之分布性質，則驅動該波函數變換處理單元，以一適配之波函數做為隱藏層之激勵函式，以促進量子多體模擬之權重調整趨於收斂。
  10. 如請求項2或4所述之類神經網路人工智慧決策核心系統，其中該神經元運算子系統的樹狀搜尋模組，更包含： 一重複節點防制單元，用於根據該神經元運算子系統的樹狀結構神經元模組所產生的樹狀結構資料，判斷是否有重複的神經元節點，若是，則產生一節點重複資訊，該樹狀搜尋模組並驅動該殘差回饋子系統之狀態暫存器單元，產生對應的一訓練中斷資訊，且該神經元運算子系統根據此訓練中斷資訊，協同該神經元運算子系統之樹狀結構神經元模組執行一訓練中斷機制；以及 一上限信賴區間搜尋單元，用於根據來自該殘差回饋子系統的修正回饋資訊與該神經元運算子系統的原始資料、樹狀結構資料、權重參數資料、非線性分析後資料進行運算程序，以產生對應的一上限信賴區間資訊，該樹狀搜尋模組再根據該上限信賴區間資訊及該修正回饋資訊判斷是否不符合該上限信賴區間資訊，若是，則協同該殘差回饋子系統之狀態暫存器單元，產生對應的一訓練中斷資訊，且該神經元運算子系統可根據此訓練中斷資訊，驅動該神經元運算子系統之樹狀結構神經元模組執行一訓練中斷機制。
  11. 如請求項3或5所述之類神經網路人工智慧決策核心系統，其中該神經元運算子系統的樹狀搜尋模組，更包含： 一支撐向量機運算單元，該樹狀搜尋模組用於根據來自該上限信賴區間搜尋單元的上限信賴區間資訊，判斷上限信賴區間是否有過大或過小的現象，若是，驅動該支撐向量機運算單元，進行一超平面最佳化程序，以調整決策邊界進而優化上限信賴區間，從而避免過多無效的搜尋程序； 一基因演算搜尋單元，針對由多種拓樸結構組成的類神經網路，該樹狀搜尋模組用於驅動該基因演算搜尋單元，以一基因演算程序對神經元節點進行分群，以決定目標群組，再針對目標群組進行樹狀結構資料搜尋，從而有效精簡搜尋範圍； 一蒙地卡羅搜尋單元，針對深度較大的樹狀拓樸結構組成的類神經網路，該樹狀搜尋模組用於驅動該蒙地卡羅搜尋單元，以一蒙地卡羅演算程序進行啟發式搜尋，從而提升對較佳路徑的搜尋效能； 一搜尋排程加速單元，針對寬度較大的樹狀拓樸結構組成的類神經網路，該樹狀搜尋模組用於驅動該搜尋排程加速單元，於一支援B+樹的檔案系統，以B+樹的搜尋演算法執行搜尋排程，從而有效節省搜尋時間；以及 一雜湊存取搜尋單元，針對索引數量較多的樹狀拓樸結構組成的類神經網路，該樹狀搜尋模組用於驅動該雜湊存取搜尋單元，將索引存入一雜湊表，以雜湊搜尋演算法執行一索引搜尋程序，從而有效節省搜尋時間。
  12. 如請求項2或4所述之類神經網路人工智慧決策核心系統，其中該殘差回饋子系統的修正與中斷運算模組，更包含： 一殘差分析單元，具有一種以上的殘差計算程序，用於根據該殘差回饋子系統之先進回饋機制輸入模組所導入的非線性分析後資料，選定適用的殘差計算程序，以產生一殘差分析資料； 一自我修正函式單元，用於根據該非線性分析後資料以及該殘差分析資料進行一殘差修正函式計算程序，以產生一修正回饋資訊； 一狀態暫存器單元，該修正與中斷運算模組用於根據系統狀態資料，於該狀態暫存器單元儲存有一個以上的中斷設定轉換資料；以及 一訓練中斷機制單元，用於根據來自該自我修正函式單元的修正回饋資訊，判斷是否滿足一訓練中斷條件，若是，則協同該狀態暫存器單元根據選用的中斷設定轉換資料產生一訓練中斷資訊，該殘差回饋子系統可進一步根據該訓練中斷資訊協同該神經元運算子系統進行訓練中斷機制程序。
  13. 如請求項3或5所述之類神經網路人工智慧決策核心系統，其中該殘差回饋子系統的修正與中斷運算模組，更包含： 一狀態恢復單元，對於已執行訓練中斷機制之系統，若造成訓練中斷的因素已排除，則該修正與中斷運算模組用於驅動該狀態恢復單元，根據該狀態暫存器單元所儲存的中斷設定轉換資料，以協助該系統恢復中斷機制被觸發之前的一正常狀態； 一狀態切換單元，若目前的決策結果比先前的決策結果退化，或是有多種不同型態的原始資料須進行切換，則該修正與中斷運算模組用於驅動該狀態切換單元，根據該狀態暫存器單元所儲存的中斷設定轉換資料，以協助該系統切換至較具適用性的一先前狀態； 一編碼處理單元，為提升修正回饋資訊與回饋資料或訓練中斷資訊在傳送時的機密性，該修正與中斷運算模組用於驅動該編碼處理單元，對該修正回饋資訊與回饋資料或訓練中斷資訊執行一編碼處理程序，以降低機敏資訊洩漏的風險； 一狀態刪除單元，若發生系統入侵事件，為防止重要訓練狀態之參數被洩漏，該修正與中斷運算模組用於驅動該狀態刪除單元與該狀態暫存器單元，於限定條件下對特定狀態進行刪除程序，以降低機敏資訊洩漏的風險； 一視覺化監控單元，該修正與中斷運算模組用於驅動該視覺化監控單元，於特定監控裝置上執行一視覺化界面，以便提供系統管理者一遠端系統監控機制； 一壓縮處理單元，為促進修正回饋資訊與回饋資料或訓練中斷資訊於不同模組間，透過不同的裝置進行傳輸，該修正與中斷運算模組用於驅動該壓縮處理單元，對其輸出之資料進行一壓縮處理程序，以提升不同的傳輸裝置之間的頻寬利用效率；以及 一歷史追蹤單元，為強化資料安全機制並避免大量的重複決策運算程序，該修正與中斷運算模組用於驅動該歷史追蹤單元，對其傳輸的資料流啟動一歷史追蹤機制，透過對歷史紀錄的檢視，以找出具有異常特徵的傳輸資料。
TW109122440A 2020-07-02 2020-07-02 類神經網路人工智慧決策核心系統 TWI746038B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109122440A TWI746038B (zh) 2020-07-02 2020-07-02 類神經網路人工智慧決策核心系統
US16/932,863 US11526726B2 (en) 2020-07-02 2020-07-20 Artificial-intelligence decision-making core system with neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109122440A TWI746038B (zh) 2020-07-02 2020-07-02 類神經網路人工智慧決策核心系統

Publications (2)

Publication Number Publication Date
TWI746038B TWI746038B (zh) 2021-11-11
TW202203093A true TW202203093A (zh) 2022-01-16

Family

ID=79167461

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109122440A TWI746038B (zh) 2020-07-02 2020-07-02 類神經網路人工智慧決策核心系統

Country Status (2)

Country Link
US (1) US11526726B2 (zh)
TW (1) TWI746038B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI819578B (zh) * 2022-04-20 2023-10-21 國立中央大學 多目標參數最佳化系統、方法及電腦程式產品

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709252B (zh) * 2020-06-17 2023-03-28 北京百度网讯科技有限公司 基于预训练的语义模型的模型改进方法及装置
CN114004756A (zh) * 2021-10-13 2022-02-01 星宸科技股份有限公司 图像处理装置与图像处理方法
CN114584358B (zh) * 2022-02-25 2023-10-13 安捷光通科技成都有限公司 基于贝叶斯正则化的智能网络安全系统、装置及存储介质
CN114580890B (zh) * 2022-03-02 2024-07-26 博雷顿科技股份公司 协同决策分析神经网络算法系统设计方法、系统及车辆
CN114545884B (zh) * 2022-03-16 2023-12-05 温州大学 基于增强拓扑神经进化的等效并行机动态智能调度方法
CN114626635B (zh) * 2022-04-02 2024-08-06 北京乐智科技有限公司 一种基于混合神经网络的钢铁物流成本预测方法及系统
US12015585B2 (en) 2022-04-29 2024-06-18 Bank Of America Corporation System and method for detection, translation, and categorization of visual content associated with malicious electronic communication
CN115033903B (zh) * 2022-06-13 2024-07-02 湖北工业大学 一种神经网络训练中不完整数据的隐私保护方法及系统
TWI805511B (zh) * 2022-10-18 2023-06-11 國立中正大學 內積計算裝置
CN115604011B (zh) * 2022-10-19 2023-08-04 上海蜂高科技有限公司 一种基于机器人与区块链osi协议多点通信方法
CN115829016B (zh) * 2022-12-15 2024-01-16 广州鲁邦通物联网科技股份有限公司 基于神经网络的无线调制解调器的调整方法及装置
CN116306770B (zh) * 2023-02-17 2023-11-14 西安电子科技大学广州研究院 一种基于密母神经架构搜索的软件定义网络性能预测方法
CN116719293B (zh) * 2023-08-04 2023-11-17 江苏甬金金属科技有限公司 一种冷轧钢带的生产监测方法及系统
CN117075549B (zh) * 2023-08-17 2024-03-22 湖南源达智能科技有限公司 基于人工神经网络的厂务控制方法及系统
CN116821774B (zh) * 2023-08-28 2023-11-28 山东理工职业学院 一种基于人工智能的发电故障诊断方法
CN117035125B (zh) * 2023-10-09 2024-01-02 中电科大数据研究院有限公司 一种分布式人工智能模型的决策系统、方法及装置
CN117236650B (zh) * 2023-11-13 2024-03-01 山东工泵电机有限公司 一种水肥一体化智慧泵房控制方法
CN118277745B (zh) * 2024-06-03 2024-08-06 青岛农业大学 一种可视化农业大数据分析交互系统及方法
CN118709724A (zh) * 2024-08-29 2024-09-27 南京航空航天大学 一种面向时空过程非对等域映射的降阶流形神经算子构建方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366564B2 (en) * 2002-08-23 2008-04-29 The United States Of America As Represented By The Secretary Of The Navy Nonlinear blind demixing of single pixel underlying radiation sources and digital spectrum local thermometer
US9195935B2 (en) * 2012-04-30 2015-11-24 The Regents Of The University Of California Problem solving by plastic neuronal networks
WO2016096309A1 (en) * 2014-12-15 2016-06-23 Asml Netherlands B.V. Optimization based on machine learning
US10248907B2 (en) * 2015-10-20 2019-04-02 International Business Machines Corporation Resistive processing unit
US9715656B1 (en) * 2016-09-12 2017-07-25 International Business Machines Corporation Killing asymmetric resistive processing units for neural network training
US9646243B1 (en) * 2016-09-12 2017-05-09 International Business Machines Corporation Convolutional neural networks using resistive processing unit array
KR101880901B1 (ko) * 2017-08-09 2018-07-23 펜타시큐리티시스템 주식회사 기계 학습 방법 및 장치
CN108171329A (zh) * 2017-12-13 2018-06-15 华南师范大学 深度学习神经网络训练方法、层数调整装置和机器人系统
CN110807520A (zh) * 2020-01-08 2020-02-18 成都四方伟业软件股份有限公司 一种卷积神经网络的神经节点的影响因子分析方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI819578B (zh) * 2022-04-20 2023-10-21 國立中央大學 多目標參數最佳化系統、方法及電腦程式產品

Also Published As

Publication number Publication date
US11526726B2 (en) 2022-12-13
TWI746038B (zh) 2021-11-11
US20220004839A1 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
TW202203093A (zh) 類神經網路人工智慧決策核心系統
Yoo Hyperparameter optimization of deep neural network using univariate dynamic encoding algorithm for searches
US10817599B2 (en) Application execution control utilizing ensemble machine learning for discernment
Martín et al. Evodeep: a new evolutionary approach for automatic deep neural networks parametrisation
Tong et al. Directed graph contrastive learning
Andonie et al. Weighted random search for CNN hyperparameter optimization
Feynman et al. Quantum mechanics
Hu et al. Network security situation prediction based on MR-SVM
Huizinga et al. Evolving neural networks that are both modular and regular: Hyperneat plus the connection cost technique
CN107423636B (zh) 一种基于MapReduce的差分隐私K均值聚类方法
CN116644804B (zh) 分布式训练系统、神经网络模型训练方法、设备和介质
Liu et al. A hybrid quantum-classical conditional generative adversarial network algorithm for human-centered paradigm in cloud
Deng et al. Establishment of attribute bitmaps for efficient XACML policy evaluation
Chivukula et al. Adversarial learning games with deep learning models
Pahariya et al. Software cost estimation using computational intelligence techniques
Altmann et al. Challenges for reinforcement learning in quantum computing
Shen et al. Multi-class adaboost elm
Pilát et al. Hypervolume-based local search in multi-objective evolutionary optimization
Dhingra et al. Sparsity-promoting optimal control of systems with invariances and symmetries
Makkar et al. Optimization of software quality attributes using evolutionary algorithm
Qi et al. Qubit neural tree network with applications in nonlinear system modeling
TWI709090B (zh) 類神經人工智慧決策網路核心系統及其資訊處理方法
Sadowski et al. Learning and exploiting mixed variable dependencies with a model-based EA
Sotoyz et al. Machine-part cell formation problems with constraint programming
Ren et al. The improvement research on rule matching algorithm rete in electronic commerce application systems