TW201915837A - 人工智慧裝置的本地學習系統 - Google Patents

Abstract

一種本地人工智慧裝置的本地學習系統包括至少一資料源、一資料蒐集器、一訓練資料產生器及一本地學習引擎。資料蒐集器是連接至至少一資料源，並用於蒐集訓練資料。訓練資料產生器是連接至資料蒐集器，並用於分析訓練資料以產生監督式學習法所用的成對樣本，或無監督式學習法所用的無標記資料。本地學習引擎是連接至訓練資料產生器，並包括一本地神經網路。本地神經網路是在一訓練階段，由成對樣本或無標記資料所訓練，並在一推論階段進行推論。

Description

人工智慧裝置的本地學習系統

本發明是關於機器學習，更特別是，關於人工智慧裝置所用的本地學習系統。

一般而言，一深度神經網路工作流程包括二階段：一訓練階段及一推論階段。在訓練階段，深度神經網路是訓練成理解多個物件的本質或多個情況的條件。在推論階段，深度神經網路辨認（現實世界）物件或情況，以作出一適當決定或預測。

典型地，一深度神經網路是在具備多個圖形處理器（GPU）卡的一運算伺服器上訓練。訓練需要一段長時間，範圍自數小時至數星期，甚至更長。

圖1顯示在一單機或雲端運算伺服器11（簡稱「伺服器11」）及一本地裝置12之間的一習知深度神經網路架構的一示意圖。伺服器11包括一深度神經網路，訓練是在伺服器11端執行。一本地裝置12必須透過一網路連結13自伺服器11來下載訓練過的模型，接著本地裝置12才可基於訓練過的模型來執行推論。

在習知的例子中，本地裝置12缺乏訓練能力。再者，設計給伺服器11的深度神經網路亦不適用於本地裝置12，因為本地裝置12只有有限容量。換句話說，一直接系統移植是不可行的。

因此，迫切需要提供一種本地學習系統。

本發明的一目的是提供一種本地學習系統，可應用於多種類型的本地人工智慧裝置。各獨立本地人工智慧裝置可透過本地（感測器）資料來進行本地學習，適應其所在環境。

為了達成此目的，本發明提供一種本地人工智慧裝置的本地學習系統，包括至少一資料源、一資料蒐集器、一訓練資料產生器及一本地學習引擎。資料蒐集器是連接至至少一資料源，並用於蒐集輸入資料。訓練資料產生器是連接至資料蒐集器，並用於分析輸入資料以產生監督式學習法所用的成對樣本，或無監督式學習法所用的無標記資料。本地學習引擎是連接至訓練資料產生器，並包括一本地神經網路。本地神經網路是在一訓練階段（training phase），由成對樣本或無標記資料所訓練，並在一推論階段（inference phase）進行推論。

較佳地，本地學習系統是在本地人工智慧裝置中訓練，並不需要連接至具備高階硬體的一單機或雲端運算伺服器。

較佳地，本地學習引擎允許依序輸入單一訓練資料點，或平行輸入一小批次的多個資料點。

較佳地，本地學習引擎採取一增量學習（incremental learning）機制。

較佳地，本地學習引擎是設計成推論階段在訓練階段的期間不中斷。

較佳地，本地人工智慧裝置是一智慧手機，至少一資料源包括一主麥克風及一次麥克風，而訓練資料產生器自主麥克風或次麥克風產生多個資料對的至少一者。再者，資料對內含一清楚聲音及一嘈雜聲音。此外，本地學習引擎是以該些資料對，由隨機梯度下降法來訓練，以透過自嘈雜聲音辨認及進一步濾除不想要的雜訊來執行聲音增強。

本發明的另一目的是引進一修剪法（pruning method），以減少神經網路的複雜度，允許一修剪過的神經網路可由本地人工智慧裝置來執行。

為了達成此另一目的，本發明提供一種本地人工智慧裝置的本地學習系統，包括至少一資料源、一資料蒐集器、一資料產生器及一本地引擎。資料蒐集器是連接至至少一資料源，並用於蒐集輸入資料。資料產生器是連接至資料蒐集器，並用於分析輸入資料。本地引擎是連接至資料產生器，並包括一本地神經網路，其中，本地神經網路是一修剪過的神經網路，其中某些神經元或某些連結經過修剪，並在一推論階段以輸入資料來進行推論。

較佳地，某些神經元或某些連結是經由一神經元統計引擎來修剪。

較佳地，神經元統計引擎是設計成在一應用階段計算及儲存各神經元的多個活動統計值。再者，多個活動統計值包括神經元的輸入及／或輸出的一直方圖（histogram）、一平均值（mean）或一變異數（variance）。

較佳地，神經元統計引擎將具有微小輸出值的多個神經元停用，它將具有微小輸出變異數的多個神經元分別取代成單純偏值，或它將具有相同直方圖或相似直方圖的多個神經元合併。再者，其可修剪本地神經網路，是透過不需要驗算的一攻擊型修剪（aggressive pruning），或需要驗算的一防禦型修剪（defensive pruning）。

較佳地，本地人工智慧裝置的修剪過的神經網路是透過修剪具備模型普遍性的一原神經網路而獲得。

在又一觀點中，本地人工智慧裝置的本地學習系統可使其神經元統計引擎連接至本地神經網路，並包括多個設定檔（profile），其中，本地神經網路的一模型結構是基於來自該些設定檔的一所選設定檔而決定。再者，設定檔內含不同使用者、場域或運算資源。此外，本地人工智慧裝置的本地學習系統包括一分類引擎連接至神經元統計引擎，並設計成分類多個原始輸入，以選擇一合適設定檔給本地神經網路。

值得注意的是，通常，本地人工智慧裝置的神經網路結構（亦即，神經元及連結）是固定的，神經元的係數（coefficient）及／或偏值（bias）是不可改變的。然而，根據本發明，本地人工智慧裝置可支援可由本地學習來訓練的一合適神經網路，以取代必須由具備高階硬體的一單機或雲端運算伺服器來訓練的一深度神經網路。

在下述詳細說明中，配合附圖，本發明的其他目的、優點及新穎特徵將更明顯。

下述詳細說明提供本發明的不同實施例。這些實施例並非用於限制。可將本發明的特徵進行修飾、置換、組合、分離或設計，以應用於其他實施例。

（人工智慧裝置所用的本地學習）

本發明旨在實現本地學習，是應用於本地人工智慧裝置，諸如智慧手機、筆記型電腦、智慧電視、電話、電腦、家庭娛樂設備、穿戴裝置等，而不是具備高階硬體的單機或雲端運算伺服器。

圖2顯示根據本發明一實施例的一本地學習系統2的一示意圖。

本地學習系統2包括至少一資料源21（示例性顯示多個感測器211、212、213）、一資料蒐集器22、一訓練資料產生器23及具有一本地神經網路240的一本地學習引擎24。

資料蒐集器22、訓練資料產生器23及本地學習引擎24可實現成多個分離程式模組，或一整合軟體程式（例如，APP），而可由一本地人工智慧裝置（諸如一智慧手機）的內建硬體所執行。

資料源21可為感測器，用於自現實世界來感測物理量，以供本地學習。感測器可為相同種類或不同種類，諸如麥克風、影像感測器、溫度感測器、位置感測器等。或者，資料源21可為軟體資料庫。

倘若資料源是感測器，感測到的物理量會由資料蒐集器22來蒐集，接著傳送到訓練資料產生器23，作為輸入資料。

訓練資料產生器23是用於分析輸入資料以產生監督式學習法所用的成對樣本（例如，標記資料）或純粹產生無監督式學習法所用的無標記資料。一般而言，在一監督式學習法中，各樣本是由一輸入及一相應輸出所組成的一配對，而一神經網路是設計成學習各樣本的輸入及相應輸出之間的關係，以產生，可用於映射多個新樣本的一推論函數。

本地學習引擎24包括本地神經網路240。本地學習引擎24的一學習任務可執行於單一訓練資料點，或一小批次的多個資料點。換句話說，本地學習引擎24可設計成允許依序或平行輸入資料。本地學習引擎24可採取一漸進式學習機制，亦即，它漸進式更新神經網路240的神經元的係數及／或偏值。較佳地，本地學習引擎24（具體而言，本地神經網路240）是設計成推論程序（或階段）在訓練程序（或階段）的期間不中斷，尤其是在資料輸入的期間，或在神經網路正在更新時。

訓練可在，亦可不在推論期間執行。然而，吾人可將推論設定成具有一優先權高於訓練者，以避免中斷推論，而防止差劣的使用者經驗（bad user experience）。

若有足夠硬體資源，訓練及推論可同時執行，例如，倘若推論只使用N組運算引擎的某幾組。在此例中，訓練結果可暫時儲存，直到沒有推論在執行時，再讀取出來，以更新本地神經網路240。一漸進式更新法亦可用於每次更新神經網路的一小部分，而在數次後完成整體更新。

或者，若所有硬體資源皆為推論所占用，訓練可在沒有推論執行的每個空檔執行。

從而，本地學習系統2允許一初始神經網路（其多個神經元具有合適係數及／或偏值）為多種本地人工智慧裝置所採用。再者，各獨立本地人工智慧裝置可透過資料源21所提供的輸入資料來進行本地學習，適應其所在環境。

（智慧手機言語增強之例）

圖3顯示一智慧手機3，其包括根據本發明一實施例的本地學習系統2。關於本節說明，請同時參考圖2及3。

除了本地學習系統2之外，智慧手機3更包括一主麥克風31及一次麥克風32作為多個資料源21，以蒐集聲音波形。

訓練資料產生器23可使用至少一麥克風輸入來計算或提供一清楚聲音或一嘈雜聲音的資料對。一清楚聲音可為一人類言語，而一嘈雜聲音可為清楚聲音及一環境雜訊的一混合。特別是，訓練資料產生器23可在一第一時間區間接收一（相對）清楚聲音輸入（例如，一清楚波形），及在晚於第一時間區間的一第二時間區間接收一（相對）嘈雜聲音輸入（例如，一嘈雜波形），皆是由主麥克風31為之。或者，訓練資料產生器23可由主麥克風31來接收一（相對）清楚聲音輸入，同時由次麥克風32來接收一（相對）嘈雜聲音輸入（反之亦可）。

接著，訓練資料產生器23可將清楚波形配合「清楚」的標籤，以形成一資料對（清楚波形，「清楚」），並將嘈雜波形配合「嘈雜」的標籤以形成另一資料對（嘈雜波形，「嘈雜」）。

生成的資料對接著傳送至本地學習引擎24。本地學習引擎24可在監督式學習法中使用隨機梯度下降法（stochastic gradient descent），以更新（亦即，訓練）神經網路240。神經網路240可用於執行聲音（例如，言語）增強，是透過自嘈雜聲音辨認及進一步濾除不想要的雜訊，以盡可能恢復清楚的聲音。

（神經網路線上修剪）

一深度神經網路是使用大量訓練資料來訓練其具有大量參數的模型，而學習自來源資料至預測目標的一廣義映射（general mapping）。因為模型的複雜度，深度神經網路必須建置於具備高階硬體的一單機或雲端運算伺服器。

然而，資料源的多元性（variety）在現實世界的應用中可能有所限縮，這表示模型尺寸可進一步縮小。換句話說，吾人可追求一修剪過（或簡化）的神經網路的一「實用映射」（utility mapping），而不需要深度神經網路的「廣義映射」。根據本發明，修剪過的神經網路較佳是可應用於一本地人工智慧裝置。

在另一觀點下，如圖1所示，一通用再訓練（re-training）流程需要本地裝置12及伺服器11之間存在網路連線（亦即，網路連結13）。若沒有可用的網路，則再訓練會停止。

在又一觀點下，在大量訓練資料，諸如使用者的相片、聲音、影像及其他隱私資料上傳至伺服器11時，可能存在使用者隱私問題值得關切。

因此，本發明旨在提供一種本地訓練系統，可獨立於伺服器11來訓練。

圖4顯示根據本發明在訓練階段的一原神經網路4，及其在應用階段修剪過的神經網路4’。關於本節說明，請同時參考圖2至4。

通常，原神經網路4是一深度神經網路，建置於一單機或雲端運算伺服器。然而，根據本發明，原神經網路4是一本地神經網路，提供於一本地學習系統2。

原神經網路4包括多個神經元41及神經元41之間的多個連結42，而它具有一（相對）完整神經網路結構。在訓練階段，大量資料源是用於訓練原神經網路4，以增強其模型普遍性，這表示模型可有效處理普遍例子。

原神經網路4在訓練階段獲得足夠模型普遍性後，即在應用階段修剪成修剪過的神經網路4’。

「應用階段」一詞是指使用者正在使用本地人工智慧裝置的階段，並可包括一終端訓練（亦即，訓練本地神經網路）及一終端推論（亦即，由本地神經網路進行推論）。

在執行這種修剪時，吾人計算原神經網路4的各神經元41的多個活動統計值，接著修剪較少活性的神經元，或合併相似神經元，以減少模型尺寸、電力或記憶體的足跡。如圖4的右半側所示，虛圓表示修剪掉的神經元41’，而虛線表示修剪掉的連結42’。顯然，修剪過的神經網路4’具有一簡化結構，合適執行於一本地人工智慧裝置，諸如一智慧手機。修剪的細節將在後續說明中討論。

接著，修剪過的神經網路4’會應用於本地學習系統2，其可能包括於本地人工智慧裝置。修剪過的神經網路4’可設置於本地學習系統2的本地學習引擎24的神經網路240。由於具備修剪過的神經網路4’，本地學習系統2可執行本地學習，而不需要連接至伺服器。

如圖4的右半側所示，本地學習系統2的修剪過的神經網路4’只由在一特定環境中所蒐集的有限資料源來訓練，例如，家庭、辦公室、教室等。然而，即使修剪過的神經網路4’缺少某些神經元或某些連結，它仍然有效於學習及辨識特定環境的多個物件或多個條件，因為特定環境具有較少多元性。

在某些例子中，原神經網路4的修剪是在伺服器端執行。在修剪後，修剪過的神經網路4’會下載至本地人工智慧裝置的本地學習系統2，而可獨立於伺服器來訓練，本地學習即可因此實現。然而，根據本發明，原神經網路4的修剪可進一步在本地端執行，以適應本地環境。

在此應該注意的是，對於一神經網路而言，「修剪」（pruning）的概念是不同於「捨棄」（dropout）的概念。修剪是實施於原神經網路4在訓練階段獲得足夠模型普遍性後，而實施於應用階段，目的在於減少足跡。然而，在捨棄中，某些神經元在訓練階段暫時捨棄，以防止過擬現象（overfitting），而捨棄掉的神經元會在推論階段恢復。

（神經元統計引擎）

圖5繪示根據本發明一實施例的一神經元統計引擎50依照多個神經元的多個直方圖來修剪的細節。

一神經元統計引擎50是設計成決定應該修剪哪個神經元。特別是，神經元統計引擎50是設計成在應用階段計算及儲存各神經元的多個活動統計值。神經元統計引擎50可設置在本地人工智慧裝置中，以修剪其中的原神經網路4。

多個活動統計值可包括神經元的輸入及／或輸出的一直方圖、神經元的輸入及／或輸出的一平均值、神經元的輸入及／或輸出的一變異數，或其他類型的統計值。圖5的右上側顯示一直方圖，X軸是輸出值的分區，而Y軸是數量。

圖5的左半側顯示一原神經網路4，它具有多個神經元N00、N01、N02、N03在第零層L0，多個神經元N10、N11、N12、N13、N14在第一層L1，諸如此類，而它共有18個神經元分布在四層。圖5的右下側顯示原神經網路4的神經元的直方圖。應該理解的是，圖5的原神經網路4及直方圖只是為了說明之目的而顯示，它們不限於此。

多個活動統計值可用於終端裝置（on-device）修剪／合併，或者，統計結果可傳輸至伺服器以供模型調適（model adaptation）。

神經元統計引擎50可根據下述修剪／合併規則的任何一者或全部來執行修剪或合併：

對於具有微小輸出值的多個神經元，在推論階段，它會將它們停用。亦即，該些神經元在修剪過的神經網路4’中消失。

對於具有微小輸出變異數的多個神經元，它會將它們分別取代成單純偏值，這表示該些神經元分別只有常數，而非變數。

對於具有相同直方圖或相似直方圖的多個神經元，它會將它們合併，只保留一神經元的活性。連接至修剪掉的神經元的連結轉而連接至保留的神經元。例如，神經元N11及N12具有相同直方圖，故它們之一者可合併於另一者，對應如圖4所示。

另外，修剪可為不需要驗算的一攻擊型修剪，或需要驗算的一防禦型修剪。

特別是，攻擊型修剪意思是直接修剪滿足修剪／合併規則的神經元。

防禦型修剪則不立即修剪神經元，而它可包括下述步驟：

步驟T1：儲存原神經網路4的多個輸入訊號及多個預測（推論）結果；

步驟T2：將原神經網路4修剪成修剪過的神經網路4’；

步驟T3：以儲存的輸入訊號來執行修剪過的神經網路4’，並計算原神經網路4及修剪過的神經網路4’在預測結果上的差異；及

步驟T4：基於一預定門檻來決定是否修剪。例如，若原神經網路4及修剪過的神經網路4’在預測結果上的差異大於預定門檻，則可取消修剪。預定門檻可根據實際應用就個案來給定。

（多個設定檔以供修剪或推論）

圖6顯示根據本發明一實施例的一學習系統6的一示意圖，其具有多個設定檔以供修剪或推論。

學習系統6包括一神經元統計引擎61、一神經網路62及一分類引擎63。

神經元統計引擎61包括多個設定檔，例如，611、612、…、61N。該些設定檔支援神經網路62的不同修剪或推論條件。例如，設定檔可內含不同使用者、場域或運算資源。

神經網路62可接收多個原始輸入，並基於原始輸入來進行一預測。神經網路62是連接至神經元統計引擎61。神經網路62的修剪或推論可由選自神經元統計引擎61的一設定檔，例如設定檔611來決定。換句話說，本地神經網路62的模型結構是基於一所選設定檔而決定。設定檔可自動或手動選擇。

例如，在一本地人工智慧裝置（諸如一智慧手機）處於一低電池模式時，一運算資源設定檔會自動套用至本地人工智慧裝置的神經網路62，而使神經網路62進一步修剪成一最小化結構。透過減少計算複雜度，神經網路62在低電池模式下可消耗較少能量。

分類引擎63是連接至神經元統計引擎61，而它是設計成分類原始輸入，以選擇一合適設定檔61N給神經網路62。

（智慧家庭助理的言語辨識之例）

圖7顯示根據本發明的智慧家庭助理的言語辨識的一例。關於本節說明，請同時參考圖4及7。

通常，原神經網路4是使用大量語料來訓練，以涵蓋所有可能的字彙、音位及口音，而實現一穩固模型。

然而，在一實際應用例子中，可能只有有限使用者生活在一特定環境。例如，如圖7所示，一智慧家庭裝置（例如，一智慧家庭助理）7只服務生活在一房子中的三名使用者71、72、73。智慧家庭裝置7是由聲音指令控制，故其具有由修剪過的神經網路4’所實現的一言語辨識功能。

智慧家庭裝置7的修剪過的神經網路4’只須學習及辨認生活在房子中的三名使用者71、72、73的字彙、音位及／或口音，即使它經過修剪，仍然保持有效。

智慧家庭裝置7不需要連接至一伺服器即可訓練。另外，使用者的聲音或言語無須上傳至一伺服器，使用者即可避免隱私曝光。

綜上所述，本發明提供一種本地學習系統，其可在一本地人工智慧裝置中執行，其不需要連接至一運算伺服器即可訓練。再者，本發明引進一修剪法，以減少神經網路的複雜度，允許一修剪過的神經網路可由本地人工智慧裝置來執行。

可理解的是，本發明的上述模組可以任何所需及合適方式來實現。例如，它們可實現於硬體或軟體。除了特別指明者之外，本發明的該多種功能性元件、層級及手段可包括一合適處理器、一控制器、一功能性單元、一電路、一程序邏輯、一微處理器的設置等，可操作成執行該些功能。可能存在一專用的硬體元件及／或可程式硬體元件，可組態成以所需及合適方式來操作。

儘管本發明已透過其較佳實施例加以說明，應該理解的是，只要不背離本發明的精神及申請專利範圍所主張者，可作出許多其他可能的修飾及變化。

11‧‧‧伺服器

12‧‧‧本地裝置

13‧‧‧網路連結

2‧‧‧本地學習系統

21‧‧‧資料源

211、212、213‧‧‧感測器

22‧‧‧資料蒐集器

23‧‧‧訓練資料產生器

24‧‧‧本地學習引擎

240‧‧‧本地神經網路

3‧‧‧智慧手機

31‧‧‧主麥克風

32‧‧‧次麥克風

4‧‧‧神經網路

4’‧‧‧修剪過的神經網路

41‧‧‧神經元

41’‧‧‧修剪掉的神經元

42‧‧‧連結

42’‧‧‧修剪掉的連結

50‧‧‧神經元統計引擎

6‧‧‧學習系統

61‧‧‧神經元統計引擎

611～61N‧‧‧設定檔

62‧‧‧神經網路

63‧‧‧分類引擎

7‧‧‧智慧家庭裝置

71、72、73‧‧‧使用者

N00～N33‧‧‧神經元

L0～L3‧‧‧層

圖1顯示在一伺服器及一本地裝置之間的一習知深度神經網路架構的一示意圖； 圖2顯示根據本發明一實施例的一本地學習系統的一示意圖； 圖3顯示包括根據本發明一實施例的本地學習系統的一智慧手機； 圖4顯示根據本發明在訓練階段的一原神經網路，及其在應用階段修剪過的神經網路； 圖5繪示根據本發明一實施例的一神經元統計引擎依照多個神經元的多個直方圖來修剪的細節； 圖6顯示根據本發明一實施例的一學習系統的一示意圖，其具有多個設定檔以供修剪或推論；及 圖7顯示根據本發明的智慧家庭助理的言語辨識的一例。

Claims (19)

1. 一種本地人工智慧裝置的本地學習系統，包括： 至少一資料源； 一資料蒐集器，連接至該至少一資料源，並用於蒐集輸入資料； 一訓練資料產生器，連接至該資料蒐集器，並用於分析該輸入資料，以產生監督式學習法所用的成對樣本，或無監督式學習法所用的無標記資料；及 一本地學習引擎，連接至該訓練資料產生器，並包括一本地神經網路，其中，該本地神經網路是在一訓練階段，由該成對樣本或該無標記資料所訓練，並在一推論階段進行推論。
2. 如請求項1所述的本地人工智慧裝置的本地學習系統，其中，該本地學習系統是在該本地人工智慧裝置中訓練，並不需要連接至具備高階硬體的一單機或雲端運算伺服器。
3. 如請求項1所述的本地人工智慧裝置的本地學習系統，其中，該本地學習引擎允許依序輸入單一訓練資料點，或平行輸入一小批次的多個資料點。
4. 如請求項1所述的本地人工智慧裝置的本地學習系統，其中，該本地學習引擎採取一增量學習機制。
5. 如請求項1所述的本地人工智慧裝置的本地學習系統，其中，該本地學習引擎是設計成該推論階段在訓練階段的期間不中斷。
6. 如請求項1所述的本地人工智慧裝置的本地學習系統，其中，該本地人工智慧裝置是一智慧手機，該至少一資料源包括一主麥克風及一次麥克風，而該訓練資料產生器自該主麥克風或該次麥克風的至少一者產生多個資料對。
7. 如請求項所述的本地人工智慧裝置的本地學習系統6，其中，該些資料對內含一清楚聲音及一嘈雜聲音。
8. 如請求項所述的本地人工智慧裝置的本地學習系統7，其中，該本地學習引擎是以該些資料對，由隨機梯度下降法來訓練，以透過自該嘈雜聲音辨認及進一步濾除雜訊來執行聲音增強。
9. 一種本地人工智慧裝置的本地學習系統，包括： 至少一資料源； 一資料蒐集器，連接至該至少一資料源，並用於蒐集輸入資料； 一資料產生器，連接至該資料蒐集器，並用於分析該輸入資料；及 一本地引擎，連接至該資料產生器，並包括一本地神經網路，其中，該本地神經網路是一修剪過的神經網路，其中某些神經元或某些連結經過一神經元統計引擎來修剪，並在一推論階段以輸入資料來進行推論。
10. 如請求項9所述的本地人工智慧裝置的本地學習系統，其中，該神經元統計引擎是設計成在一應用階段計算及儲存各神經元的多個活動統計值。
11. 如請求項10所述的本地人工智慧裝置的本地學習系統，其中，該些活動統計值包括神經元的輸入及／或輸出的一直方圖、一平均值或一變異數。
12. 如請求項9所述的本地人工智慧裝置的本地學習系統，其中，該神經元統計引擎將具有微小輸出值的多個神經元停用。
13. 如請求項9所述的本地人工智慧裝置的本地學習系統，其中，該神經元統計引擎將具有微小輸出變異數的多個神經元分別取代成單純偏值。
14. 如請求項9所述的本地人工智慧裝置的本地學習系統，其中，該神經元統計引擎將具有相同直方圖或相似直方圖的多個神經元合併。
15. 如請求項9所述的本地人工智慧裝置的本地學習系統，其中，該神經元統計引擎修剪該本地神經網路，是透過不需要驗算的一攻擊型修剪法，或需要驗算的一防禦型修剪法。
16. 如請求項9所述的本地人工智慧裝置的本地學習系統，其中，本地人工智慧裝置的該修剪過的神經網路是透過修剪具備模型普遍性的一原神經網路而獲得。
17. 如請求項9所述的本地人工智慧裝置的本地學習系統，其中，該神經元統計引擎是連接至該本地神經網路，並包括多個設定檔，其中，該本地神經網路的一模型結構是基於來自該些設定檔的一所選設定檔而決定。
18. 如請求項17所述的本地人工智慧裝置的本地學習系統，其中，該些設定檔內含不同的多個使用者、多個場域或多個運算資源。
19. 如請求項17所述的本地人工智慧裝置的本地學習系統，更包括一分類引擎，連接至該神經元統計引擎，並設計成分類多個原始輸入，以選擇一合適設定檔給該本地神經網路。