TWI783594B

TWI783594B - 多目標神經網路演化方法及裝置

Info

Publication number: TWI783594B
Application number: TW110127413A
Authority: TW
Inventors: 宋宇倫; 邱偉育
Original assignee: 國立清華大學
Priority date: 2021-07-26
Filing date: 2021-07-26
Publication date: 2022-11-11
Also published as: TW202305666A

Abstract

一種多目標神經網路演化方法及裝置。所述方法包括下列步驟：在不同的多個環境下訓練多個神經網路群；從各神經網路群的多個神經網路中挑選至少一個神經網路，隨機交換所挑選的神經網路中的至少二神經網路的多個基因，以產生多個混合基因組並用以建構多個混合神經網路；利用多目標基因演算法演化所建構的混合神經網路，並計算演化後各混合神經網路的適應度；以及依據演化後的混合神經網路的適應度，決定適應於多個環境的單一多目標神經網路。

Description

多目標神經網路演化方法及裝置

本發明是有關於一種神經網路計算方法及裝置，且特別是有關於一種多目標神經網路演化方法及裝置。

近年來，人工智能的興起衍生出了各式機器學習（machine learning）的技術與應用，其中包含機器人方面的應用，目前有許多文獻以神經網路（neural network）的技術讓機器人自行學習移動控制。這些技術是將多個神經網路在各自不同的環境中進行預訓練後再進行合併，其合併的方式是在完整保留各神經網路的節點和權重的情況下，將多個神經網路強制合併為一個。

然而，當所欲合併的神經網路都是同樣大小時，其合併後的神經網路的規模會變大，結果將導致占用過多的記憶與計算資源。綜上，透過單一神經網路讓機器人學習在多個環境移動的方法，除了不易學習外，若要學習的環境變多時，神經網路的整體架構勢必會變大，將更不利於小型或硬體上有限制（例如，較少記憶體容量）的機器人。

本發明提出了一種神經進化演算法，其透過隨機混合的方式，將已訓練過的神經網路互相交換彼此的節點和權重參數，藉此可以不讓混合的神經網路規模擴大，達到節省運算資源及有利於多目標基因演算法學習之功效。

本發明提供一種多目標神經網路演化方法，適用於具處理器的運算裝置。所述方法包括下列步驟：在不同的多個環境下訓練多個神經網路群；從各神經網路群的多個神經網路中挑選至少一個神經網路，隨機交換所挑選的神經網路中的至少二神經網路的多個基因，以產生多個混合基因組並用以建構多個混合神經網路；利用多目標基因演算法演化所建構的混合神經網路，並計算演化後各混合神經網路的適應度（fitness）；以及依據經演化後的混合神經網路的適應度，決定適應於多個環境的單一多目標神經網路。

本發明提供一種多目標神經網路演化裝置，其包括儲存裝置及處理器。其中，儲存裝置是用以儲存電腦程式。處理器耦接儲存裝置，經配置以載入並執行電腦程式以在不同的多個環境下訓練多個神經網路群，從各神經網路群的多個神經網路中挑選至少一個神經網路，隨機交換所挑選的神經網路中的至少二神經網路的多個基因，以產生多個混合基因組並用以建構多個混合神經網路，利用多目標基因演算法演化所建構的混合神經網路，並計算演化後各混合神經網路的適應度，以及依據經演化後的混合神經網路的適應度，決定適應於多個環境的單一多目標神經網路。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明實施例的神經進化演算法是將在各個不同環境下訓練的神經網路以基因組（genome）表示，互相混合彼此基因（gene），以產生新的混合神經網路，並將混合神經網路結合多目標基因演算法（multi-objective genetic algorithm）繼續演化，使得蛇形模組機器人（snake-like modular robot）、探索機器人或救援機器人等移動式機器人能夠經由單一個神經網路實現不同環境下的移動控制。

詳細而言，本發明實施例的神經進化演算法例如是結合蛇形運動（serpentine locomotion），使該演算法能在不同環境下各自產生神經網路並進行訓練，接著將預訓練過的神經網路隨機混合交換彼此的節點（node）和權重（weight），以產生混合神經網路群。該隨機混合交換的方法例如是將神經網路群隨機倆倆分組，再以隨機方式決定是否要進行節點之交換；此流程會進行多次，其次數例如等於神經網路群之數目。其中，若神經網路群之數目為單數，則於隨機混合交換流程時，將會有一組神經網路保持不變，於下次隨機混合交換流程再加入分組流程。最後，混合神經網路群會藉由多目標基因演算法繼續演化。

圖1是根據本發明一實施例所繪示的多目標神經網路演化方法的示意圖。請參考圖1，本實施例的方法是在各個環境中預先訓練（Pre-training）各自的神經網路群（如圖所示的神經網路群A、B、C），再從中各自挑選出幾個表現較好的神經網路（如圖所示的A1、B1、C1），這些神經網路將會以基因組的方式表示。挑選後，會再從各個挑選出的神經網路群裡各自隨機選出一個神經網路，彼此之間隨機交換基因以得到混合基因組（如圖所示的M1、M2、M3），而混合基因組再用來建構混合神經網路，混合後的神經網路會以多目標基因演算法繼續演化。本實施例所述的神經網路群A、B、C的演化方式僅為舉例說明，而不限定其數目、組成方式及基因交換方式。

圖2是根據本發明一實施例所繪示的多目標神經網路演化裝置的方塊圖。請參考圖2，本發明實施例的多目標神經網路演化裝置20例如是具有運算能力的檔案伺服器、資料庫伺服器、應用程式伺服器、工作站或個人電腦等計算機裝置，其中包括儲存裝置22及處理器24等元件，這些元件的功能分述如下：

儲存裝置22例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或類似元件或上述元件的組合，而用以儲存可由處理器26執行的電腦程式。

處理器24例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、微控制器（Microcontroller）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，本發明不在此限制。在本實施例中，處理器24可從儲存裝置22載入電腦程式，以執行本發明實施例的多目標神經網路演化方法。

圖3是依照本發明一實施例所繪示的多目標神經網路演化方法的流程圖。請同時參照圖2及圖3，本實施例的方法適用於上述的多目標神經網路演化裝置20。以下即搭配多目標神經網路演化裝置20的各項元件說明本實施例的多目標神經網路演化方法的詳細步驟。

在步驟S302中，多目標神經網路演化裝置20是由處理器24在不同的多個環境下訓練多個神經網路群。其中，每個神經網路群包括多個神經網路，所述的神經網路例如是卷積神經網路（Convolution neural network，CNN）、遞歸神經網路（Recurrent neural network，RNN）、長短時記憶（Long/short term memory，LSTM）網路、生成對抗網路（Generative adversarial network，GAN）、支持向量機（Support vector machine，SVM）等人工神經網路（Artificial neural network，ANN），在此不設限。

在步驟S304中，處理器24從各個神經網路群的多個神經網路中挑選至少一個神經網路，隨機交換所挑選的神經網路中的至少二神經網路的多個基因，以產生多個混合基因組並用以建構多個混合神經網路。

在一些實施例中，處理器24是針對各個神經網路群的多個神經網路，評估各個神經網路的適應度（fitness），並挑選此適應度排序在前的至少一個神經網路，所述的適應度，通常是根據問題的特性，設計出屬於該問題的適應度函式並評估，來反應神經網路的表現或效能。

在一些實施例中，處理器24例如是將以表型（Phenotype）表示的神經網路改以基因型（Genotype）表示成基因組（Genome）的型式，以利後續進行基因交換。

舉例來說，圖4A及圖4B是依照本發明一實施例所繪示的神經網路型式轉換的示意圖。請參照圖4A，神經網路40是以表型表示，其中包括表示節點N ₁~N ₅之間的連接關係及權重，例如由節點N ₁至節點N ₄的權重為 W _{1, 4}。本實施例是將圖4A所示的表型的神經網路40轉換為如圖4B所示的基因型，其中包括將神經網路40中的節點N ₁~N ₅表示為多個基因依序串接而成的基因組42，其中包括記錄各個基因對應的節點編號、屬性（property）及啟用函式（activation function）。此外，基因組42還包括記錄節點之間的連接編號、對應的權重及連接狀態（其中，「真」代表有連接、「假」代表無連接）。

基於上述以基因型表示的基因組，處理器24即可隨機交換所有基因組中的至少二基因組中位置對應的基因。也就是說，處理器24是將任意兩個基因組中的多個基因逐一進行隨機交換，以形成混合基因組。在一些實施例中，處理器24例如會隨機混合基因直到所產生的混合基因組的數量與原先的基因組的加總數量相同。

舉例來說，圖5是依照本發明一實施例所繪示的基因交換的示意圖。請參照圖5，本實施例的基因表示52中的基因組m ₁~m ₃例如是從不同神經網路群中挑選出的神經網路經由前述的表示型式轉換後所得到的多個基因組中所挑選出的三個基因組。其中，這三個基因組m ₁~m ₃中位置對應的基因經過倆倆分群後會進行隨機交換（如圖中箭頭所示），而得到如基因表示54中所示的混合基因組c ₁~c ₃。

在一些實施例中，當隨機交換的基因組為奇數時，處理器24例如會將這些基因組中位置對應的基因隨機倆倆分群，並將未分群的基因設為獨立基因，從而以隨機方式交換已分群的基因．並維持未分群的獨立基因不變。

詳細而言，圖6是依照本發明一實施例所繪示的基因交換流程的示意圖。請參照圖6，本實施例的基因表示62中的基因組m ₁~m ₃例如與圖5中的基因組m ₁~m ₃相同，是從不同神經網路群中挑選出的神經網路經由前述的表示型式轉換後所得到的多個基因組中所挑選出的三個基因組。

在進行交換時，例如會從基因組m ₁~m ₃中的第一個基因開始，將基因隨機倆倆分群，並將未分群的基因設為獨立基因。此處是將基因組m ₁、m ₃的第一個基因分群，將基因組m ₂的第一個基因設為獨立基因，而經由隨機方式交換已分群的基因組m ₁、m ₃的第一個基因，並維持未分群的基因組m ₂的第一個基因不變後，獲得基因表示64中的基因組m ₁ ^’、m ₂、m ₃ ^’。

接下來，進行第二個基因的交換，此處是將基因組m ₂、m ₃ ^’的第二個基因分群，將基因組m ₁ ^’的第二個基因設為獨立基因，而經由隨機方式交換已分群的基因組m ₂、m ₃ ^’的第一個基因，並維持未分群的基因組m ₁ ^’的第一個基因不變後，獲得基因表示66中的基因組m ₁ ^’、m ₂ ^’、m ₃ ^’’。

以此類推，將基因組m ₁~m ₃中的所有基因以上述方式逐一進行分群並進行隨機交換後，即可獲得如基因表示68所示的混合基因組c ₁~c ₃。

需說明的是，在一些實施例中，處理器24在進行基因的隨機交換前例如會依據基因組整體的相似度或是所要交換基因彼此的差距來決定是否進行交換，以最大化交換所能帶來的效益。

詳細而言，在一實施例中，處理器24可針對所挑選的神經網路的整體，利用典型相關分析（Canonical correlation analysis）來計算兩個神經網路的相關程度。其中，若所挑選的已訓練過的神經網路的相似度高（例如高於預設閾值），則處理器24會針對相似度高的神經網路，重新挑選一次。在另一實施例中，處理器則是針對神經網路中的節點，例如在將基因倆倆分群後，可藉由計算兩個基因的差距（例如對應權重的差值），而在所計算的差距小於預設閾值（代表兩個基因相似）時，不對這兩個基因進行交換，以節省交換所佔用的計算資源。

回到圖3的流程，在步驟S306中，處理器24會利用多目標基因演算法演化所建構的混合神經網路，並計算演化後各個混合神經網路的適應度。在步驟S308中，處理器24即可依據經演化後的混合神經網路的所述適應度，決定適應於所述多個環境的單一多目標神經網路。

詳細而言，在一些實施例中，處理器24例如會評估各個混合神經網路的適應度，並挑選適應度排序在前的多個混合神經網路作為父代，然後將作為父代的多個混合神經網路透過交配（crossover）及變異（mutation）的方式產生多個子代，並計算所述子代與父代中的每一個對於多個目標的適應度，從而選擇對於目標的適應度整體排序在前的多個混合神經網路作為下一代的父代。藉由重複上述步驟，最終處理器24即可選擇適應度整體排序最高的混合神經網路作為上述的單一多目標神經網路。

根據上述圖3的流程，以下說明本發明實施例的多目標神經網路演化演算法。此演算法係假設有 K個分別自不同環境訓練過的神經網路群

，每個群各有 N個神經網路已基因組表示，其步驟如下：

在步驟1中，設置

和

（其中，

為混合基因組群，

為經由混合而形成的多目標神經網路）；

在步驟2中，從各個已訓練過的神經網路群

中，選出表現較好的

個神經網路，並轉換為待選基因組集合

；

其中，當

＜

，

對於

，

在步驟3中，從待選基因組集合

中隨機選取一個基因組

，

結束選取；

在步驟4中，將基因組

彼此隨機交換各自的基因，以得到混合基因組

；

在步驟5中，將所得到的混合基因組形成混合基因組群

（即，

）；

在步驟6中，將混合基因組群

與待選基因組集合

聯集，用以作為後續用以進行多目標基因演算法的神經網路群

（即，

）。

本發明實施例透過上述的隨機混合方式，將已訓練過的神經網路互相混合交換彼此節點和權重，藉此可以避免混合後的神經網路規模擴大，占用較少資源，也有利於多目標基因演算法學習。

在一些實施例中，本發明實施例的多目標神經網路演化方法可應用於蛇形模組機器人，用以改善蛇形模組機器人在不同環境下的移動控制。

舉例來說，圖7A至圖7C是依照本發明一實施例所繪示的蛇形模組機器人的訓練環境的示意圖。圖7A的俯視圖72a及側視圖72b分別繪示蛇形模組機器人70的周圍環繞著多層長圓柱形的障礙物72。此環境下，蛇形模組機器人70需要爬越障礙物72並移動到離原點愈遠愈好。圖7B的俯視圖74a及側視圖74b分別繪示蛇形模組機器人70的周圍環繞著階梯74。此環境下，蛇形模組機器人70需要爬上階梯74並避免滑落階梯74，且同樣是移動到離原點愈遠愈好。圖7C的俯視圖76a及側視圖76b分別繪示蛇形模組機器人70位在下飾板（ceiling）76下方的地板78上。此環境下，蛇形模組機器人70需在下飾板76的限制下，移動到離原點愈遠愈好。

藉由設置上述三組環境，本實施例的多目標神經網路演化裝置可分別建構三個神經網路群，以學習蛇形模組機器人70在具有不同障礙物的環境中學習如何移動。進一步，多目標神經網路演化裝置可依照上述方法，從這三個神經網路群中挑選神經網路以進行基因交換，以形成混合基因組群

，再將混合基因組群

以多目標基因演算法進行演化，目標是要找出可以使蛇形模組機器人70在各個環境中能移動距離最大化的神經網路：

其中，

，

為蛇形模組機器人70在第 k個環境中可移動到離原點的最遠距離。

需說明的是，除了在蛇形模組機器人適應不同環境的應用上，本發明實施例的方法也可應用在其他型態的機器人，如手臂機器人經過不同路徑抓放物體的應用，或是探索機器人、救援機器人等移動式機器人的應用。

再者，除了機器人領域外，本發明實施例也應用在其他領域。以智慧電網為例，其電力需求量會受四季與用戶習慣的影響而產生浮動，而能源聚合商（Aggregator）須因應四季變化而調整電力買賣策略，以獲得最大利益。藉由上述的多目標神經網路演化方法，可先訓練不同季節的神經網路，並將訓練過的神經網路混合後再經過一陣演化，即可獲得四季下都能使用的神經網路。

綜上所述，本發明實施例的多目標神經網路演化方法及裝置透過隨機混合方式，將已訓練過的神經網路互相混合交換彼此的節點和權重，並將混合後的神經網路藉由多目標基因演算法繼續演化。藉此，可避免混合的神經網路規模擴大，並可節省神經網路所占用的計算資源，也有利於多目標基因演算法學習，使得單一個神經網路能夠在多個不同環境下完成任務。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

20:多目標神經網路演化裝置 22:儲存裝置 24:處理器 40:神經網路 42:基因組 52~54、62~68:基因表示 70:蛇形模組機器人 72:障礙物 72a、74a、76a:俯視圖 72b、74b、76b:側視圖 74:階梯 76:下飾板 78:地板 A~C:神經網路群 A1~C1、m ₁~m ₃:基因組 M1~M3、m ₁ ^’、m ₂ ^’、m ₃ ^’、m ₃ ^’’、c ₁~c ₃:混合基因組 N ₁~N ₅:節點 W _1,4、W _1,5、W _2,4、W _2,5、W _3,4、W _3,5、W _4,5:權重 S302~S308:步驟

圖1是根據本發明一實施例所繪示的多目標神經網路演化方法的示意圖。圖2是根據本發明一實施例所繪示的多目標神經網路演化裝置的方塊圖。圖3是依照本發明一實施例所繪示的多目標神經網路演化方法的流程圖。圖4A及圖4B是依照本發明一實施例所繪示的神經網路型式轉換的示意圖。圖5是依照本發明一實施例所繪示的基因交換的示意圖。圖6是依照本發明一實施例所繪示的基因交換流程的示意圖。圖7A至圖7C是依照本發明一實施例所繪示的蛇形模組機器人的訓練環境的示意圖。

S302~S308:步驟

Claims

一種多目標神經網路演化方法，適用於具處理器的運算裝置，所述方法包括下列步驟：在不同的多個環境下訓練多個神經網路群；從各所述神經網路群的多個神經網路中挑選至少一神經網路，隨機交換所挑選的所述神經網路中的至少二神經網路的多個基因，以產生多個混合基因組並用以建構多個混合神經網路，其中，該隨機交換所挑選的所述神經網路中的至少二神經網路的多個基因的步驟包括：將各所述神經網路的多個節點以基因型(Genotype)表示為多個基因依序串接而成的基因組，其中包括記錄所述基因的屬性與啟用函式以及所述基因之間的連接關係與權重；隨機交換所述基因組中的至少二基因組中位置對應的所述基因；當隨機交換的所述基因組為奇數時，將所述基因組中位置對應的所述基因隨機倆倆分群，未分群的所述基因設為獨立基因；以及以隨機方式交換已分群的所述基因．並維持未分群的所述獨立基因不變；利用多目標基因演算法演化所建構的所述混合神經網路，並計算演化後各所述混合神經網路的適應度(fitness)；以及依據經演化後的所述混合神經網路的所述適應度，決定適應於所述多個環境的單一多目標神經網路。
如請求項1所述的方法，其中從各所述神經網路群的多個神經網路中挑選至少一神經網路的步驟包括：針對各所述神經網路群的所述多個神經網路，評估各所述神經網路的所述適應度，並挑選所述適應度排序在前的至少一所述神經網路。
如請求項1所述的方法，其中隨機交換至少二所述基因組中位置對應的所述基因的步驟包括：計算倆倆分群的所述基因的差距；以及若所述分群中的所述基因的差距高於一第一閾值，不交換所述分群的所述基因。
如請求項1所述的方法，其中隨機交換至少二所述基因組中位置對應的所述基因的步驟包括：計算所挑選的所述神經網路彼此的相似度；以及若所挑選的所述神經網路中的兩個神經網路的所述相似度高於一第二閾值，重新挑選所述神經網路並用以取代所述相似度高的所述神經網路。
如請求項1所述的方法，其中利用多目標基因演算法演化所建構的所述混合神經網路的步驟包括：評估各所述混合神經網路的所述適應度，並挑選所述適應度排序在前的多個混合神經網路作為父代；將作為所述父代的所述多個混合神經網路透過交配 (crossover)及變異(mutation)的方式產生多個子代；計算所述子代與所述父代中的每一個對於多個目標的適應度，選擇對於所述目標的所述適應度整體排序在前的多個混合神經網路作為下一代的父代；以及重複上述步驟，以選擇所述適應度整體排序最高的所述混合神經網路作為所述單一多目標神經網路。
一種多目標神經網路演化裝置，包括：儲存裝置，儲存電腦程式；以及處理器，耦接所述儲存裝置，經配置以載入並執行所述電腦程式以：在不同的多個環境下訓練多個神經網路群；從各所述神經網路群的多個神經網路中挑選至少一神經網路，隨機交換所挑選的所述神經網路中的至少二神經網路的多個基因，以產生多個混合基因組並用以建構多個混合神經網路，其中，將各所述神經網路的多個節點以基因型表示為多個基因依序串接而成的基因組，其中包括記錄所述基因的屬性與啟用函式以及所述基因之間的連接關係與權重，並隨機交換所述基因組中的至少二基因組中位置對應的所述基因，其中，當隨機交換的所述基因組為奇數時，將所述基因組中位置對應的所述基因隨機倆倆分群，未分群的所述基因設為獨立基因，並以隨機方式交換已分群的所述基因．且維持未分群的所述獨立基因不變；利用多目標基因演算法演化所建構的所述混合神經網路，並計算演化後各所述混合神經網路的適應度；以及依據經演化後的所述混合神經網路的所述適應度，決定適應於所述多個環境的單一多目標神經網路。
如請求項6所述的多目標神經網路演化裝置，其中所述處理器包括針對各所述神經網路群的所述多個神經網路，評估各所述神經網路的所述適應度，並挑選所述適應度排序在前的至少一所述神經網路。
如請求項6所述的多目標神經網路演化裝置，其中所述處理器包括計算倆倆分群的所述基因的差距，並在所述分群中的所述基因的差距高於一第一閾值時，不交換所述分群的所述基因。
如請求項6所述的多目標神經網路演化裝置，其中所述處理器包括計算所挑選的所述神經網路彼此的相似度，並在所挑選的所述神經網路中的兩個神經網路的所述相似度高於一第二閾值時，重新挑選所述神經網路並用以取代所述相似度高的所述神經網路。
如請求項6所述的多目標神經網路演化裝置，其中所述處理器包括評估各所述混合神經網路的所述適應度，並挑選所述適應度排序在前的多個混合神經網路作為父代，將作為所述父代的所述多個混合神經網路透過交配及變異的方式產生多個子代，計算所述子代與所述父代中的每一個對於多個目標的適應度，選擇對於所述目標的所述適應度整體排序在前的多個混合神經網路作為下一代的父代，以及重複上述步驟，以選擇所述適應度整體排序最高的所述混合神經網路作為所述單一多目標神經網路。