TW202001693A - 將人工神經網路中之活動特徵化之方法及包含一或多個可執行該方法之計算機之系統 - Google Patents

Abstract

一種將遞迴人工神經網路中的活動特徵化並且將資訊編碼及解碼的方法、系統以及裝置被揭露於此，其中該裝置包含編寫於計算機儲存媒介中的計算機程式。於一方面，該方法可包含將人工神經網路中的活動特徵化。該方法由資料處理裝置所執行，並且可包含識別人工神經網路中的活動的多個團模式。該等團模式可包圍多個空腔。

Description

將人工神經網路中之活動特徵化之方法及包含一或多個可執行該方法之計算機之系統

本揭露涉及遞迴人工神經網路中的活動特徵化。本揭露還涉及資訊的編碼及解碼，以及在各種環境中使用已編碼資訊的系統及技術。

本揭露涉及遞迴人工神經網路中的活動特徵化。活動特徵化可應用於例如決策時刻（decision moments）的識別，以及應用於如傳輸、加密、資料儲存等環境中的訊息的編碼／解碼。本揭露還涉及資訊的編碼及解碼，以及在各種環境中使用已編碼資訊的系統及技術。該編碼資訊可表示神經網路中的活動，例如遞迴神經網路。

人工神經網路是受生物神經元網路的結構及功能方面所啟發的裝置。尤其人工神經網路使用稱為節點的互連構造系統來模擬生物神經元網路的資訊編碼與其他處理能力。人工神經網路中節點之間的連接分布及連接強度決定了人工神經網路的資訊處理或資訊儲存的結果。

可透過訓練神經網路以在網路內產生理想的訊號流並且實現理想的資訊處理或資訊儲存結果。通常在學習階段中，訓練神經網路將會改變節點之間的連接分布及／或連接強度。當神經網路對於特定的輸入組有辦法輸出足夠合適的處理結果時，可將該神經網路視為已訓練完畢。

人工神經網路可用在各種不同的裝置中以執行非線性資料處理及分析。非線性資料處理不滿足疊加原理（superposition principle），亦即，欲確定的變量無法被寫為獨立分量的線性總和。非線性資料處理在特定的環境中是有用的，例如：模式與序列辨識（pattern and sequence recognition）、語音處理、新穎性檢測及順序決策、複雜系統建模以及各種其他環境中的系統和技術。

編碼和解碼都是將資訊從一種形式或表示轉換為另一種形式或呈現方式。不同的呈現方式可提供在不同應用程式中較多較少有用的不同特徵。例如，一些形式或資訊呈現方式（例如：自然語言）可更容易讓人類理解。一些其他的形式或呈現方式則可具有更小的大小（例如：壓縮過的），並且更方便傳輸或儲存。另一些其他的形式或呈現方式則可有意地模糊資訊內容（例如：資訊可被加密編碼）。

無論具體的應用方式如何，編碼或解碼的過程通常將遵循預設的一組規則或演算法，而該組規則或演算法可建立在不同的形式或呈現方式中的資訊之間的對應關係。舉例而言，產生二元（即，二進位制，binary）碼的編碼過程可根據每個位元在二元序列或向量中的位置而為其分配角色或意義。

本揭露敘述關於人工神經網路中的活動特徵化的技術。

舉例而言，於一種實施方式中，一方法可包含將一人工神經網路中的活動特徵化。該方法是由一資料處理裝置所執行，並且可包含識別該人工神經網路中的活動的多個團模式（clique pattern）。活動的該等團模式可包圍多個空腔（cavities）。

此實施方式及其他實施方式可包含以下特徵當中的一或多個。該方法可包含定義多個時間窗（window of time），且該人工神經網路之該活動於該等時間窗期間響應於該人工神經網路之一輸入。活動之該等團模式可於該等時間窗的各個中被識別。該方法可包含基於發生於該等時間窗中之一第一時間窗期間之活動之該等團模式之一可區分機率（distinguishable likelihood）識別該第一時間窗。識別該等團模式可包含識別活動之多個有向團（directed clique）。存在於更高維度之有向團中之低維度之有向團可被捨棄或忽略。

該方法可包含區分該等團模式為多個類別，以及根據該等團模式於各該類別之出現次數將該活動特徵化。區分該等團模式可包含根據各該團模式中之一點數量（a number of points）來區分該等團模式。該方法可包含從該遞迴人工神經網路輸出由數字零與數字一所組成之一二元序列。該二元序列中之每一數字可表示該人工神經網路中是否存在相應之一活動模式。該方法可包含透過讀取該人工神經網路所輸出之數字以及演化（evolving）該人工神經網路之一結構以建構該人工神經網路。可透過迭代地更改該人工神經網路之該結構、將更改之該結構中活動之模式之複雜度特徵化、以及使用該模式之該複雜度之該特徵化來作為更改之該架構是否理想之一指標來演化該結構。

該人工神經網路可為一遞迴人工神經網路。該方法可包含基於確認在該遞迴人工神經網路中活動之模式之複雜度來識別在該遞迴人工神經網路中之多個決策時刻。識別該等決策時刻可包含：確認活動之一時間點，且該活動相較於響應於該輸入之其他活動具有可區分（distinguishable）之一複雜度；以及基於具有可區分之該複雜度之該活動之該時間點來識別該等決策時刻。該方法可包含：將一資料流（data stream）輸入至該遞迴人工神經網路；以及於輸入該資料流時識別活動之該等團模式。該方法可包含評估該活動是否響應於該人工神經網路之該輸入。評估該活動是否響應於該人工神經網路之該輸入可包含：評估在該輸入事件後相對較早且相對較簡單之活動模式響應於該輸入，而在該輸入事件後相對較早且相對較複雜之活動模式不響應於該輸入；以及評估在該輸入事件後相對較晚且相對較複雜之活動模式響應於該輸入，而在該輸入事件後相對較早且相對較複雜之活動模式不響應於該輸入。

於另一種實施方式中，一系統可包含一或多個計算機，該一或多個計算機可執行多個運算。該等運算可包含將該人工神經網路中之活動特徵化，並且識別該人工神經網路中活動之多個團模式，其中活動之該等團模式包圍多個空腔。該等運算可包含定義多個時間窗，該人工神經網路之活動於該等時間窗期間響應於該人工神經網路之一輸入。活動之該等團模式可於該等時間窗中被識別。該等運算可包含基於活動之該等團模式之一可區分機率識別該等時間窗中之一第一時間窗，且活動之該等團模式是發生於該第一時間窗。識別該等團模式可包含捨棄或忽略存在於更高維度之有向團中之低維度之有向團。該等運算可包含建構該人工神經網路，且建構該人工神經網路包含：讀取該人工神經網路所輸出之數字；以及演化該人工神經網路之一結構。可透過迭代地更改該人工神經網路之該結構、將該結構中之該等活動模式之複雜度特徵化、以及將針對該模式之複雜度之該特徵化用以指示所更改之該架構是否理想以演化該結構。該人工神經網路可為一遞迴人工神經網路。該方法可包含基於確認該遞迴人工神經網路中之活動模式之複雜度來識別該遞迴人工神經網路中之多個決策時刻。識別該等決策時刻可包含：確認一活動之一時間點，該活動具有相較於其他響應於輸入之活動為可區分之一複雜度；以及基於具有可區分之該複雜度之該活動之該時間點來識別該等決策時刻。該等運算可包含：將一資料流輸入至該遞迴人工至神經網路；以及於輸入該資料流時識別活動之該等團模式。該等運算可包含評估該活動是否響應於該人工神經網路之該輸入。評估該活動是否響應於該人工神經網路之該輸入可包含：評估在該輸入之時刻後相對較早且相對較簡單之活動模式響應於該輸入，而在該輸入之時刻後相對較早且相對較複雜之活動模式不響應於該輸入；以及評估在該輸入之時刻後相對較晚且相對較複雜之活動模式響應於該輸入，而在該輸入之時刻後相對較早且相對較複雜之活動模式不響應於該輸入。

作為另一示例，一種識別一人工神經網路中之多個決策時刻之方法包含：確認在該遞迴人工神經網路中活動之模式之複雜度，其中該活動響應於該人工神經網路之一輸入確認活動之一時間點；確認活動之一時間點，該活動相較於響應於該輸入之其他活動具有可區分之一複雜度；以及基於具有可區分之該複雜度之該活動之該時間點來識別該等決策時刻。

作為另一示例，一種將一遞迴人工神經網路中之活動特徵化之方法包含識別遞迴人工神經網路中之活動之預先定義的多個團模式。該方法由一資料處理裝置所執行。作為另一示例，該方法可包含從一遞迴人工神經網路輸出由數字零與數字一所組成之一二元序列，其中該二元序列中之每一數字表示該遞迴人工神經網路中之一特定節點組是否顯示相應之一活動模式。

作為另一示例，一種建構一遞迴人工神經網路之方法可包含：將於該遞迴人工神經網路中可能會出現之活動之多個模式之一複雜度特徵化，該遞迴人工神經網路包含一結構化的節點集合及節點之間的連結；以及演化該遞迴人工神經網路之一結構，以增加活動之多個模式之該複雜度。舉例而言，該建構方法也可被應用成一種訓練該遞迴人工神經網路之方法之一部分。

上述實施方式之其他實施例包含相應之系統、裝置及計算機程式，該系統、裝置及計算機用以執行編寫於計算機儲存裝置上之該方法之多個步驟。

本揭露中特定之實施例可被實作以實現如下所述之一或多個優點。舉例而言，傳統資料處理裝置（例如：數位計算機及其他計算機）處理資訊時是被編程以遵守一預先定義之邏輯序列。當一計算機運算出一結果時相對地容易識別。亦即，編程中所體現之邏輯序列之完成表示資訊處理也已完成，且該計算機已「做出決策（decision）」。該結果可以一種相對長久的形式（例如：一記憶體裝置、一組緩衝器等）被保存於該計算機之資料處理器之輸出端，並且可出於多種目的而被存取。

相反地，如本文所述，可基於資訊處理期間神經網路的動態特性之特徵來識別遞迴人工神經網路中之決策時刻。可基於在進行資訊處理時人工神經網路之功能狀態（functional states）的特徵而識別人工神經網路中的決策時刻，而非透過等待人工神經網路到達邏輯序列中預先定義的末端來識別。

除此之外，在資訊處理的過程中遞迴人工神經網路的動態特性（dynamic property）的特徵（包含與團模式及有向團模式相符的活動特徵）可用於各種信令（signalling）運算，包含訊號的傳輸、編碼、加密及儲存。尤其在資訊處理期間，遞迴人工神經網路中的活動的特徵反映了輸入，並且可被視為輸入的一種編碼形式（亦即，編碼過程中的遞迴人工神經網路的「輸出」）。舉例而言，這些特徵可被發送到遠端接收器，該遠端接收器可解碼該特徵以重構輸入或輸入的一部分。

除此之外，在某些情況下，遞迴人工神經網路中不同節點組中的活動（例如：與團模式及有向團模式一致的活動）可表示為「0」和「1」的二元序列，當中的每個數字指示活動是否符合一模式。由於活動在某些情況下可以是遞迴人工神經網路的輸出，因此，遞迴人工神經網路的輸出可被表示為二進位數字的向量並且與數位資料處理相容。

除此之外，在某些情況下，可在訓練之前及／或訓練期間使用這種對遞迴人工神經網路的動態特性的特徵化，以增加在資訊處理期間複雜活動模式出現的機率。例如，在訓練之前或在訓練期間可有意地演化遞迴神經網路中節點之間的連結以增加活動模式的複雜度。例如，可有意地演化遞迴人工神經網路中節點之間的連結，以增加在資訊處理期間出現團模式及有向團模式的機率。如此，可減少訓練遞迴人工神經網路所需的時間及精力。

作為另一示例，此種對遞迴人工神經網路的動態特性的特徵化可用於確認遞迴神經網路的訓練完整程度。舉例而言，在活動中顯示特定類型的排序（例如：團模式及有向團模式）的遞迴人工神經網路可被視為比不顯示該特定類型排序的遞迴人工神經網路訓練得更深入。實際上，在某些情況下，可透過量化遞迴人工神經網路中活動的排序程度來量化訓練的程度。

例如，用於識別神經網路中的多個決策時刻的方法包含：確認遞迴人工神經網路中的活動的模式的複雜度，其中該活動響應於該遞迴人工神經網路的輸入；確認相較於響應於該輸入的其他活動具有可區分複雜度的活動的一時間點；以及基於具有可區分複雜度的該活動的該時間點來識別該等決策時刻。

作為另一示例，用於特徵化一遞迴人工神經網路中的活動的方法包含識別遞迴人工神經網路的活動的團模式。該方法由資料處理裝置所執行。

作為另一示例，一方法可包含從遞迴人工神經網路輸出零和一的二元序列，其中序列中的每個數字表示遞迴人工神經網路中的特定節點組是否顯示相應的活動模式。

作為另一示例，建構遞迴人工神經網路的方法可包含：將在遞迴人工神經網路中可能出現的活動的模式的複雜度特徵化，該遞迴人工神經網路包含了當中包含多個節點與該等節點間的連結的一結構化集合；以及演化遞迴人工神經網路的結構，以增加活動的模式的複雜度。此種建構方法也可用作例如訓練遞迴人工神經網路的方法的一部分。

該等實施方式的其他實施例包含相應的系統、裝置以及計算機程式，該計算機程式被配置以執行被編碼在計算機儲存裝置上的方法的步驟。

可透過實作本揭露中的特定實施例以實現以下優點中的一或多個。舉例而言，傳統的資料處理裝置（例如：數位與其他種類的計算機），被編程為在處理資訊時遵循預定義的邏輯序列。因此，計算機運算出結果的時刻相對地容易識別。亦即，編程中所包含的邏輯序列的完成指示了資訊處理完成的時間，且表示計算機已「做出決策」。計算機所運算出的結果可以壽命相對較長的形式保存在計算機資料處理器的輸出端（例如：一儲存器裝置、一組緩衝器等），並且出於各種目的而被訪問。

相反地，如本文所述，可基於資訊處理期間神經網路的動態特性之特徵來識別遞迴人工神經網路中之決策時刻。可基於在進行資訊處理時人工神經網路之功能狀態的特徵而識別人工神經網路中的決策時刻，而非透過等待人工神經網路到達邏輯序列中預先定義的末端來識別。

除此之外，在資訊處理的過程中遞迴人工神經網路的動態特性的特徵（包含與團模式及有向團模式相符的活動特徵）可用於各種信令運算，包含訊號的傳輸、編碼、加密及儲存。尤其在資訊處理期間，遞迴人工神經網路中的活動的特徵反映了輸入，並且可被視為輸入的一種編碼形式（亦即，編碼過程中的遞迴人工神經網路的「輸出」）。舉例而言，這些特徵可被發送到遠端接收器，該遠端接收器可解碼該特徵以重構輸入或輸入的一部分。

除此之外，在某些情況下，遞迴人工神經網路中不同節點組中的活動（例如：與團模式及有向團模式一致的活動）可表示為「0」和「1」的二元序列，當中的每個數字指示活動是否符合一模式。由於活動在某些情況下可以是遞迴人工神經網路的輸出，因此，遞迴人工神經網路的輸出可被表示為二進位數字的向量並且與數位資料處理相容。

除此之外，在某些情況下，可在訓練之前及／或訓練期間使用這種對遞迴人工神經網路的動態特性的特徵化，以增加在資訊處理期間複雜活動模式出現的機率。例如，在訓練之前或在訓練期間可有意地演化遞迴神經網路中節點之間的連結以增加活動模式的複雜度。例如，可有意地演化遞迴人工神經網路中節點之間的連結，以增加在資訊處理期間出現團模式及有向團模式的機率。如此，可減少訓練遞迴人工神經網路所需的時間及精力。

作為另一示例，此種對遞迴人工神經網路的動態特性的特徵化可用於確認遞迴神經網路的訓練完整程度。舉例而言，在活動中顯示特定類型的排序（例如：團模式及有向團模式）的遞迴人工神經網路可被視為比不顯示該特定類型排序的遞迴人工神經網路訓練得更深入。實際上，在某些情況下，可透過量化遞迴人工神經網路中活動的排序程度來量化訓練的程度。

作為另一示例，於一實施方式中，一裝置包含一神經網路，該神經網路被訓練為響應於一第一輸入而產生一活動的模式當中的拓撲結構的一第一表示（representation）的一近似，其中該活動是在一源神經網路（source neural network）中響應於該第一輸入而出現。該神經網路也被訓練為響應於一第二輸入而產生一活動的模式當中的拓撲結構的一第二表示的一近似，其中該活動是在該源神經網路中響應於該第二輸入而出現。該神經網路還被訓練為響應於一第三輸入而產生一活動的模式當中的拓撲結構的一第三表示的一近似，其中該活動是在該源神經網路中響應於該第三輸入而出現。

該實施方式及其他實施方式可包含以下特徵中的一或多個。拓撲結構可全部包含源神經網路中的二個或更多個節點以及節點之間的一或多個邊。拓撲結構可包含單體（simplices）。拓撲結構可包圍空腔。該第一表示、該第二表示以及該第三表示中的每一者可表示在源神經網路中出現的拓撲結構，且該拓撲結構僅出現於活動的該等模式具有可區分於響應於各自的輸入的其他活動的複雜度的時候。該裝置還可包含一處理器，該處理器被耦合以接收由神經網路裝置所產生的表示的近似，並且處理所接收的該近似。處理器可包含第二神經網路，且該第二神經網路已受過訓練以處理由神經網路產生的表示。該第一表示、該第二表示以及該第三表示中的每一者可包含多值（multi-valued）且非二元的數字。該第一表示、該第二表示以及該第三表示中的每一者可表示拓撲結構的出現，而不指定源神經網路中活動模式出現的位置。該設備可包含智慧型手機。該源神經網路可以是一遞迴神經網路。

在另一實施方式中，一裝置包含神經網路，該神經網路被耦合至活動的模式中的拓撲結構的輸入表示，該活動的模式響應於多個不同輸入而在源神經網路中出現。該神經網路被訓練以處理該等表示並產生相應的輸出。

該實施方式及其他實施方式可包含以下特徵中的一或多個。拓撲結構可全部包含源神經網路中的二個或更多個節點以及節點之間的一或多個邊。拓撲結構可包含單體。拓撲結構的該等表示可表示在源神經網路中出現的拓撲結構，且該拓撲結構僅出現於活動的模式具有可區分於響應於各自的輸入的其他活動的複雜度的時候。該裝置還可包含一神經網路，該神經網路被訓練以響應於多個不同的輸入而產生活動的模式中的多個拓撲結構的多個表示各自的近似，該活動在源神經網路中響應於該等不同的輸入而出現。該等表示可包含多值且非二元的數字。該等表示可表示拓撲結構的出現，而不指定源神經網路中活動模式出現的位置。該源神經網路可以是一遞迴神經網路。

在另一實施方式中，一方法由神經網路裝置所實作，並且包含：輸入在源神經網路中的活動的模式的拓撲結構的表示，其中該活動響應於源神經網路的輸入；處理該表示；以及輸出該表示的處理結果。該處理與神經網路的訓練一致，以處理源神經網路中的活動模式中的拓撲結構的不同表示。

該實施方式及其他實施方式可包含以下特徵中的一或多個。拓撲結構可全部包含源神經網路中的二個或更多個節點以及節點之間的一或多個邊。拓撲結構可包含單體。拓撲結構可包圍空腔。拓撲結構的該等表示可表示在源神經網路中出現的拓撲結構，且該拓撲結構僅出現於活動的模式具有可區分於響應於各自的輸入的其他活動的複雜度的時候。該等表示可包含多值且非二元的數字。該等表示可表示拓撲結構的出現，而不指定源神經網路中活動模式出現的位置。該源神經網路可以是一遞迴神經網路。

作為另一示例，在一實施方式中，一裝置包含神經網路，該神經網路被耦合至活動的模式中的拓撲結構的輸入表示，該活動的模式響應於多個不同輸入而在源神經網路中出現。該神經網路被訓練以處理該等表示並產生相應的輸出。

該實施方式及其他實施方式可包含以下特徵中的一或多個。拓撲結構可全部包含源神經網路中的二個或更多個節點以及節點之間的一或多個邊。該裝置可包含一致動器（actuator），其被耦合以接收來自神經網路的響應輸出並作用於真實或虛擬環境；一感測器，其被耦合以測量環境的特徵；以及一教師模組，其被配置為解釋從感測器接收的測量結果，並且為神經網路提供獎勵（reward）及／或遺憾（regret）。拓撲結構可包含單體。拓撲結構可包圍空腔。拓撲結構的該等表示可表示在源神經網路中出現的拓撲結構，且該拓撲結構僅出現於活動的模式具有可區分於響應於各自的輸入的其他活動的複雜度的時候。該裝置可包含一第二神經網路，該神經網路被訓練以響應於多個不同的輸入而產生活動的模式中的多個拓撲結構的多個表示各自的近似，該活動在源神經網路中響應於該等不同的輸入而出現。該裝置還可包含一致動器，其被耦合以接收來自神經網路的響應輸出並作用於真實或虛擬環境；以及一感測器，其被耦合以測量環境的特徵。可訓練該第二神經網路以至少部分地響應於所測量的環境特徵來產生相應的近似。該裝置還可包含一教師模組，該教師模組被配置為解釋從感測器接收的測量結果，並且為神經網路提供獎勵及／或遺憾。拓撲結構的該等表示可包含多值且非二元的數字。該等表示可表示拓撲結構的出現，而不指定源神經網路中活動模式出現的位置。該裝置可為一智慧型手機。該源神經網路可為一遞迴神經網路。

在另一實施方式中，由一或多個資料處理裝置實作的方法可包含：接收一訓練集，該訓練集包含一源神經網路中的活動的多個模式中的多個拓撲結構的多個表示；以及透過將該等表示用作該神經網路的一輸入或者用作一目標答案向量（target answer vector）來訓練一神經網路。該活動響應於該源神經網路的一輸入。

該實施方式及其他實施方式可包含以下特徵中的一或多個。拓撲結構可全部包含源神經網路中的二個或更多個節點以及節點之間的一或多個邊。該訓練集可包含多個輸入向量，每個輸入向量對應於各該表示。訓練該神經網路可以包含透過將該等表示中的每一個作為目標答案向量來訓練該神經網路。訓練該神經網路可包含透過將該等表示中的每一個作為輸入來訓練該神經網路。訓練集可包含多個獎勵值或遺憾值。訓練該神經網路可包含強化學習（reinforcement learning）。拓撲結構可包含單體。拓撲結構的該等表示可表示在源神經網路中出現的拓撲結構，且該拓撲結構僅出現於活動的模式具有可區分於響應於各自的輸入的其他活動的複雜度的時候。拓撲結構的該等表示可包含多值且非二元的數字。拓撲結構的該等表示可表示在不指定源神經網路中活動模式出現的位置時拓撲結構的出現。該源神經網路可為一遞迴神經網路。

在圖式及下方描述中闡述了本揭露中所描述的一或多個實施方式的細節。透過參照說明書、圖式及申請專利範圍，本發明的其他特徵、實施方式以及優點將變得顯而易見。

第1圖例示了一種遞迴人工神經網路裝置100的結構的示意圖。遞迴人工神經網路裝置100是使用由互連節點所組成的系統來模擬由生物神經元所組成的網路中的資訊編碼及其他處理能力的裝置。遞迴人工神經網路裝置100可用硬體、軟體或其組合來實作。

遞迴人工神經網路裝置100的圖示包含透過多個結構連結110互連的多個節點101、102、...、107。節點101、102、...、107是類似於生物網路中的神經元的離散資訊處理構造。節點101、102、...、107通常處理在連結110中的一或多個上接收的一或多個輸入訊號，以產生在連結110中的一或多個上輸出的一或多個輸出訊號。舉例而言，在一些實施方式中，節點101、102、...、107可以是人工神經元，其對多個輸入訊號進行加權及求和、透過一或多個非線性激勵函數（activation function）傳送所求的和、以及輸出一或多個輸出訊號。

節點101、102、...、107可用作一累加器（accumulators）。舉例而言，節點101、102、...、107可根據一整合並觸發（integrate-and-fire）模型進行操作，其中一或多個訊號在第一節點中累積，直到達到閾值。在達到閾值之後，第一節點透過沿著一或多個連結110而向所連接的第二節點發送輸出訊號來觸發。接著，第二個節點101、102、...、107累積所接收的訊號，且假如所累積的訊號達到閾值，則第二個節點101、102、...、107將另一個輸出訊號發送到另一個所連接的節點。

結構連結110是能夠在節點101、102、...、107之間傳輸訊號的連結。為了方便起見，所有結構連結110在本文中接可被視為相同的雙向連結，該雙向連結傳送來自節點101、102、...、107中的第一個節點的訊號至節點101、102、...、107中的第二個節點，其方式與傳送第二節點的訊號至第一個節點的方式相同。然而，並非所有結構連結110皆需要被視為雙向連結。舉例而言，結構連結110的一部分或者全部可以是單向連結，該單向連結將來自節點101、102、...、107中的第一個節點的訊號傳送到節點101、102、...、107中的第二個節點，而不將訊號從第二節點傳送到第一節點。

作為另一示例，在一些實施方式中，結構連結110可具有除了方向性以外的其它屬性。舉例而言，在一些實施方式中，不同的結構連結110可承載不同大小的訊號，此導致了節點101、102、...、107中的相應節點之間的連接強度不同。作為另一示例，不同的結構連結110可承載不同類型的訊號（例如：抑制（inhibitory）訊號及／或興奮（excitatory）訊號）。事實上，在一些實施方式中，結構連結110可在生物系統中的體細胞之間的連結上進行建模，並且反映其形態、化學、及其他多樣性的至少一部分。

在所示的實施方式中，遞迴人工神經網路裝置100是團網路（clique network，或者是一子網路），其中的每個節點101、102、...、107連接到每個其他的節點101、102、...、107。然而，此情況並非限制，亦即，在一些實作方式中，每個節點101、102、...、107可連接到節點101、102、...、107的一適當子集（可透過相同連結或不同的連結，視情況而定）。

為了清楚地說明，此處示出了僅具有七個節點的遞迴人工神經網路裝置100。通常真實世界的神經網路裝置將包含更多的節點。舉例而言，在一些實施方式中，神經網路裝置可包含數十萬、數百萬甚至數十億個節點。因此，遞迴人工神經網路裝置100可以是較大的遞迴人工神經網路的一部分（亦即，一子網路）。

在生物神經網路裝置中，累積及訊號傳輸的過程需要真實世界中的時間流逝。例如，神經元的體細胞整合隨著時間流逝而接收的輸入，以及從神經元到神經元的訊號傳輸需要由例如訊號傳輸速度與神經元之間的連結性質及長度所決定的時間。因此，生物神經網路裝置的狀態是動態的，並且隨時間而變化。

在人工遞迴神經網路裝置中，時間是人為的並且使用數學結構來表示。例如，當訊號從一個節點傳遞到另一個節點，其時間可用通常與現實世界的時間流逝無關的人造單位來表示，例如計算機時鐘週期或其他的單位。然而，因為人工遞迴神經網路裝置相對於這些人造單位而改變，故其狀態可被描述為「動態的」。

應注意的是，為便於說明，這些人造單位在本揭露中被稱為「時間」單位。然而，應理解，這些單位是人造的且通常不符合現實世界的時間流逝。

第2圖及第3圖例示了遞迴人工神經網路裝置100在不同時間窗中的功能的示意圖。因為遞迴人工神經網路裝置100的狀態是動態的，所以可使用在時間窗內發生的訊號傳輸活動來表示遞迴人工神經網路裝置100的功能。此種功能性的描繪通常僅示出連結110的一部分中的活動。具體而言，由於通常不是每個連結110都在特定時間窗內傳送訊號，因此在這些圖示中並非每個連結110被示為對遞迴人工神經網路裝置100的功能有所貢獻。

在第2圖及第3圖中，活躍（active）的連結110被示為連接節點101、102、...、107其中一對的相對粗實線。相反地，不活躍的連結110被示為虛線。這種呈現方式僅是為了說明，換句話說，無論連結110是否活躍，由連結110所形成的結構連結都是存在的。然而，這種表現形式突顯了遞迴人工神經網路裝置100的活動以及功能。

除了示意性地示出沿著連結的活動的存在之外，還示意性地示出了活動的方向。具體而言，用以示出連結110為活躍的相對粗實線還包含箭頭，其表示在相關的時間窗期間沿著該連結的訊號傳輸方向。一般而言，單一個時間窗中的訊號傳輸方向不能將一連結限制為具有與該傳輸方向相同方向性的單向連結。相反地，在一第一時間窗的第一功能圖（functional graph）中，一連結可在一第一方向上活躍，而在一第二時間窗的第二功能圖中，該連結可在相反的方向上活躍。然而，在某些情況下，例如在特地包含單向連結的遞迴人工神經網路裝置100中，訊號傳輸的方向性將最終地指示連結的方向性。

在前饋神經網路裝置中，訊息僅在單一個方向上（即，向前）移動到位於網路末端的節點的輸出層。在前饋神經網路裝置中，訊號通過網路而傳播到輸出層可代表已做出「決策」，且資訊處理已完成。

相反地，在遞迴神經網路中，節點之間的連接形成循環，且網路中的活動也是動態地進行而沒有容易識別的決策。例如，即使在具有三個節點的遞迴神經網路中，第一節點可向第二節點發送訊號，第二節點則可響應而將訊號發送到第三節點。第三節點同樣可響應而將訊號發送回第一節點。由第一節點所接收的訊號可至少部分地響應於從該相同節點發送的訊號。

第2圖及第3圖中的示意性功能圖透過僅略大於三節點遞迴神經網路的一網路說明了這一點。第2圖中所示的功能性圖示可說明第一時間窗內的活動，而第3圖可說明緊接著第一時間窗的第二時間窗內的活動。如圖所示，訊號傳輸活動的集合源自節點104，並且在第一時間窗期間透過遞迴人工神經網路裝置100大致以順時針方向前進。在第二時間窗中，至少一些訊號傳輸活動返回到節點104。即使在這種簡單的圖示中，訊號傳輸也不會以產生清晰可識別的輸出或結束的方式進行。

當考慮具有例如數千個或更多節點的遞迴神經網路時，可看出訊號傳播可在大量路徑上發生，且這些訊號缺少可清楚識別的「輸出」的位置或時間。雖然網路可被設計成返回至僅有背景活動、甚至是沒有訊號傳輸活動的靜止狀態（quiescent state），但該靜止狀態本身並不代表資訊處理的結果。無論輸入如何，遞迴神經網路總是會返回至靜止狀態。因此，響應於特定輸入，「輸出」或資訊處理的結果被編碼至在遞迴神經網路內發生的活動中。

第4圖例示了一種基於網路中的活動的特徵化來識別遞迴人工神經網路中的決策時刻的流程400的流程圖。一決策時刻是遞迴人工神經網路中的活動指示網路響應於輸入的資訊處理結果的時間點。流程400可由一或多個資料處理裝置的系統執行，該系統根據一或多組機器可讀指令的邏輯執行操作。例如，流程400可由一系統執行，該系統與執行用於實作在流程400中所使用的遞迴人工神經網路的軟體的一個或多個計算機的系統相同。

執行流程400的系統接收關於一訊號已被輸入至遞迴人工神經網路的通知（標示為405）。在某些情況下，該訊號的輸入為一離散注入事件（discrete injection event），舉例而言，在該離散注入事件中，資訊被注入至一或多個節點及／或神經網路的一或多個連結中。在其他情況下，該訊號的輸入為在一段時間內注入神經網路的一或多個節點及／或連結的一資訊流。該通知指示人工神經網路正在主動處理資訊而非，例如，處於一靜止狀態。在某些情況下（例如：當神經網路退出可識別的靜止狀態時），可從神經網路本身接收通知。

執行流程400的系統將網路中響應的活動劃分為時間窗集合（標示為410）。當所注入的是一離散事件時，時間窗可在從注入到返回至靜止狀態之期間將時間細分為多個週期，在該等週期中活動顯示可變的複雜度。當所注入的是一資訊流時，注入所持續的時間（以及，可選地，在注入完成後返回靜止狀態所需的時間）可被細分為多個時間窗，且在該等時間窗的期間，活動顯示可變的複雜度。下方將進一步討論確認活動複雜度的各種方法。

在某些實施方式中，所有的時間窗的持續時間皆相同，然而該情況並非限制，亦即在某些實施方式中，該等時間窗的持續時間可不相同。舉例而言，在某些實施方式中，時間窗的持續時間可隨著離散注入事件發生的時間而增加。

在某些實施方式中，該等時間窗可為一系列連續且獨立的時間窗。在某些其他實施方式中，時間窗在時間上重疊，使得一個時間窗在前一個時間窗結束之前開始。在某些情況下，該等時間窗可以是可隨時移動的時間窗。

在某些實施方式中，針對活動複雜度的不同確認方式來定義時間窗的不同持續時間。舉例而言，對於定義在相對較大數量的節點之間發生的活動的模式，其時間窗可比定義在相對較少數量的節點之間發生的活動的模式時所定義的時間窗具有相對更長的持續時間。例如，在模式500當中（如第5圖所示），在用於識別與模式530一致的活動時所定義的時間窗可比在用於識別與模式505一致的活動時所定義的時間窗更長。

執行流程400的系統識別網路中在不同時間窗內的活動中的模式（標示為415）。如下方所進一步探討的，可透過將功能圖視為一拓撲空間並且將節點（nodes）視為點（points）來識別活動的模式。在某些實施方式中，所識別的活動的模式是網路的功能圖中的團，例如：有向團。

執行流程400的系統確認不同時間窗中的活動的模式的複雜度（標示為420）。複雜度可為一有序的活動模式在一時間窗內出現的機率的度量。因此，隨機出現的活動模式將相對簡單。另一方面，以非隨機的順序出現的活動模式將相對複雜。舉例而言，在某些實施方式中，可使用例如活動模式的單體計數（simplex counts）或貝蒂數（Betti number）來測量活動模式的複雜度。

執行流程400的系統確認具有可區分複雜度的活動模式的時間點（標示為425）。特定活動模式可基於向上偏離或向下偏離的複雜度（例如，相對於固定或可變的一基線）來區分。換言之，顯示活動中特別高程度或特別低程度的非隨機順序的活動模式的時間點可被確認。

舉例而言，當訊號輸入是一離散注入事件時，諸如自穩定的一基線的偏差或者自神經網路對各種不同離散注入事件的平均響應的特徵的一曲線的偏差可用於確定可區分的複雜活動模式的時間點。再舉例而言，當訊號輸入是資訊流時，可使用資訊流傳輸期間複雜度的大變化來確定可區分的複雜活動模式的時間點。

執行流程400的系統基於可區分的複雜活動模式的時間點來安排對神經網路的輸出的讀取（標示為430）。例如，在某些實施方式中，可在可區分的複雜活動模式出現的同時讀取神經網路的輸出。在某些實施方式中，當複雜度的偏差顯示活動中相對高程度的非隨機順序時，所觀察到的活動模式本身也可作為遞迴人工神經網路的輸出。

第5圖例示了一種可被識別且可用於識別遞迴人工神經網路中的決策時刻的活動的模式500的示意圖。舉例而言，可在第4圖所示的流程400中的步驟415處識別模式500。

模式500是遞迴人工神經網路內的活動的一示意圖。在模式500的應用期間，功能圖被視為一拓撲空間，且功能圖的節點被視為點。無論參與活動的特定節點及／或連結的身份為何，與模式500一致的節點及連結中的活動都可被辨識為有序的。舉例而言，當將第一個模式505中的點0當作節點104、將點1當作節點105且將點2當作節點101時，第一個模式505可表示第2圖中的節點101、104及105之間的活動。再舉例而言，當將第一個模式505中的點0當作節點106、將點1當作節點104且將點2當作節點105時，第一個模式505也可表示第3圖中的節點104、105及106之間的活動。有向團中的活動的順序也被指定了。舉例而言，在模式505中，點1和點2之間的活動發生在點0和點1之間的活動之後。

在所示的實施方式中，模式500都是有向團或有向單體。在這種模式中，活動源自於將訊號發送到模式中的每個其他節點的一源節點。在模式500中，這樣的源節點被指定為點0，而其他節點被指定為點1、2、…。除此之外，在有向團或單一團中，其中一個節點充當一匯聚（sink）節點並接收從該模式中的每個其他節點發送的訊號。在模式500中，這種匯聚節點被指定為模式中具有的最高編號的點。例如，在模式505中，匯聚節點被指定為點2。在模式510中，匯聚節點被指定為點3。在模式515中，匯聚節點被指定為點4，依此類推。因此，由模式500表示的活動以可區分的方式排序。

每個模式500具有不同數量的點並且反映不同數量的節點中的有序活動。例如，模式505是一個二維（two-dimensional，2D）單體並且反映三個節點中的活動，模式510是一個三維（three-dimensional，3D）單體並且反映四個節點中的活動，諸如此類。隨著模式中點數的增加，排序程度與活動的複雜度也會增加。舉例而言，對於在時間窗內具有特定程度的隨機活動的大量節點集合，其中的某些活動可剛好與模式505一致。然而，隨機活動分別與模式510、515、520、...一致的機率將逐漸地減少。當存在與模式530一致的活動時表示一種相較於存在與模式505一致的活動時更高程度的排序及活動的複雜度。

如前所述，在某些實施方式中，可因活動複雜度的不同確認方式而定義具有不同的持續時間的時間窗。舉例而言，當要識別與模式530一致的活動時，可使用具有比識別與模式505一致的活動時更長的持續時間的時間窗。

第6圖例示了一種可被識別且可用於識別遞迴人工神經網路中的決策時刻的活動的模式600的示意圖。舉例而言，可在第4圖的流程400中的步驟415處識別模式600。

類似於模式500，模式600是遞迴人工神經網路內的活動的示意圖。然而，模式600與模式500的嚴格排序的不同之處在於模式600並非完全是有向團或有向單體。具體而言，模式605及610具有比模式515更低的方向性。除此之外，模式605完全沒有匯聚節點。然而，模式605及610顯示超過透過隨機偶然事件所預期的有序活動的程度，並且可用於確認遞迴人工神經網路中的活動的複雜度。

第7圖例示了一種可被識別且可用於識別遞迴人工神經網路中的決策時刻的活動的模式700的示意圖。舉例而言，可在第4圖的流程400中的步驟415處識別模式700。

模式700是具有相同維度（即，具有相同數量的點）的有向團或有向單體的集合，其定義了涉及具有比單個團或單體更多點的模式，且其在有向單體的集合內包圍空腔。

舉例而言，模式705包含六個不同的三點且二維的模式505，它們一起定義了一二階同源類別（homology class of degree two）；而模式710包含八個不同的三點且二維的模式505，它們一起定義了一第二二階同源類別。模式705及710當中的每個三點且二維的模式505可被認為包圍相應的腔。可透過與有向圖相關聯的第「n」個貝蒂數（Betti number）來進行拓撲表示內的此種同源類別的計數。

由諸如模式700的模式所表示的活動顯示了網路內活動的相對高程度的排序，其不太可能是由隨機偶然事件所引起。模式700可用於將活動的複雜度特徵化。

在某些實施方式中，於識別決策時刻時，可僅識別某些活動的模式，以及／或者可捨棄或以其他方式忽略所識別的活動的模式的某些部分。舉例而言，如第5圖所示，與五點且四維的單體的模式515一致的活動固有地包含與四點且三維的活動510以及三點且二維的單面模式505一致的活動。例如，第5圖中的四維單體模式515的點0、2、3、4以及點1、2、3、4皆與三維單體模式510一致。在某些實施方式中，於識別決策時刻時，可捨棄或以其他方式忽略包含較少點且因此具有較低維度的模式。

作為另一示例，僅有某些活動模式需要被識別。舉例而言，在某些實施方式中，於識別決策時刻時僅使用具有奇數個點（例如三個、五個、七個、...）或偶數個維度（二維、四維、六維、...）的模式。

可以各種不同的方式確認不同時間窗中的遞迴人工神經網路裝置中的活動的模式的複雜度或排序程度。第8圖例示了一種可用於確認遞迴人工神經網路裝置中的活動模式的複雜度或活動模式中的排序程度的資料表800的示意圖。資料表800可用於獨立地或與其他活動一起確認活動模式的複雜度。舉例而言，資料表800可在第4圖的流程400中的步驟420處使用。

更具體而言，資料表800包含在時間窗「N」期間的模式出現數量的計數，其中各列呈現了匹配不同維度的模式的活動的數量計數。例如，在所示示例中，列805包含與一或多個三點且二維的模式匹配的活動發生的數量（即，「2032」），而列810包含與一或多個四點且三維的模式匹配的活動發生的數量（即，「877」）。由於模式的出現表示活動具有非隨機的順序，因此數量計數還提供活動模式的總體複雜度的一般特徵化。可為例如在第4圖的流程400中的步驟410中所定義的每個時間窗製作類似於資料表800的表。

儘管資料表800包含針對每種類型的活動模式的單獨的行與列，但此情況並非限制。舉例而言，可在資料表800中以及確認複雜度時省略一或多個計數（例如，針對較簡單的模式的計數）。作為另一示例，在某些實施方式中，單一個行或列可包含多個活動模式的出現的計數。

雖然第8圖例示了資料表800中的數量計數，但此情況並非限制。舉例而言，數字計數可被表示為向量（例如：＜2032, 877, 133, 66, 48, ...＞）。無論計數如何呈現，在某些實施方式中，計數可以二元形式表示並且可與數位資料處理的基礎設備相容。

在某些實施方式中，可對模式的出現次數進行加權或組合以確認排序的程度或複雜度，例如，在第4圖的流程400中的步驟420處。舉例而言，尤拉示性數（Euler characteristic）可透過下式提供活動複雜度的近似值：

＜第1式＞ 當中，「S_n 」是具有「n」個點的模式的出現次數（即，維度為「n-1」的模式）。例如，模式可為第5圖的有向團的模式500。

作為如何對模式的出現次數進行加權以確認排序的程度或複雜度的另一示例，在某些實施方式中，可基於活動的連結的權重來對模式的出現進行加權。具體而言，如前所述，人工神經網路中節點之間的連結強度可以變化，例如，以強度表示連結在訓練期間的活躍程度。當出現沿著相對較強的連結集合的活動時，其加權方式可與當出現沿著相對較弱的連結的集合的相同活動模式時不同。舉例而言，在某些實施方式中，可使用活動的連結的權重的總和來對事件進行加權。

在某些實施方式中，尤拉示性數或其他的複雜度量測可透過在特定時間窗內匹配的模式的總數及／或特定網路在給定其結構的情況下可能形成的模式的總數來正規化（normalize）。以下第2式及第3式中提供了關於以網路可能形成的模式總數進行正規化的示例。

在某些實施方式中，當出現涉及較大數量的節點的較高維度的模式時，其權重可比當出現涉及較少數量的節點的較低維度的模式時的權重來得高。舉例而言，形成有向團的機率將隨著維度的增加而迅速減小。具體而言，為了在「n+1」個節點中形成「n」維團（n-clique），需要「（n+1）n/2」個邊都正確地定向。這樣的機率可反映在權重當中。

在某些實施方式中，模式的維度和方向性都可用於針對模式的出現進行加權以及確認活動的複雜度。舉例而言，參照第6圖，有鑑於模式515、605及610之間方向性的差異，當出現五點且四維的模式515時，其權重可比出現五點且四維的模式605、610時來得高。

透過模式的方向性及維度來確認活動的排序程度或複雜程度的示例可如下式所示：

＜第2式＞ 當中，「S_x ^active 」表示具有「n」個點的模式的活動出現次數，且「ERN」是等效隨機網路（即，具有相同數量的節點並且隨機地連接的網路）的計算。除此之外，「SC」可由下式所獲得：

＜第3式＞ 當中，「S_x ^silent 」表示當遞迴人工神經網路靜止時，具有「n」個點的模式的出現次數，並且可被認為體現了網路可能形成的模式的總數。在第2式及第3式中，模式可為例如第5圖中有向團的模式500。

第9圖例示了一種確認具有可區分複雜度的活動模式的時間點的示意圖。第9圖中所示確認具有可區分複雜度的活動模式的時間點的實施例可單獨地進行或與其他活動結合進行。舉例而言，可在第4圖的流程400中的步驟425處進行具有可區分複雜度的活動模式的時間點的確認。

第9圖包含圖表905以及圖表910。圖表905中以沿「x」軸的時間的函數的形式示出了模式的出現。具體而言，各個出現被示意性地示為垂直線906、907、908、909。每一列的出現可為活動匹配相應的模式或者模式類別的實例。舉例而言，最上方一列的出現可為活動匹配第5圖的模式505的實例，第二列的出現可為活動匹配第5圖的模式510的實例，第三列的出現可為活動匹配第5圖的模式515的實例，依此類推。

圖表905還包含虛線矩形915、920、925，其示意性地描繪了當活動模式具有可區分的複雜度時的不同時間窗。如圖所示，在由虛線矩形915、920、925所描繪的時間窗的期間，遞迴人工神經網路中的活動與表示複雜度的模式相匹配的機率高於該等時間窗以外的時間窗的期間。

圖表910中以沿「x」軸的時間的函數的形式示出了與該等出現相關的複雜度。圖表910包含複雜度的第一峰值930，其與由虛線矩形915所描繪的時間窗一致，以及複雜度的第二峰值935與由虛線矩形920、925所描繪的時間窗一致。如圖所示，峰值930、935所示的複雜度相對於複雜度的底線940為可區分的。

在某些實施方式中，讀取遞迴人工神經網路的輸出的時間與具有可區分的複雜度的活動模式的出現是一致的。舉例而言，在第9圖的說明性上下文中，可在峰值930、935處（即，在由虛線矩形915、920、925所描繪的時間窗期間）讀取遞迴人工神經網路的輸出。

當遞迴人工神經網路的輸入為資料流時，特別有益於在遞迴人工神經網路中識別可區分的複雜度。資料流的示例包含例如影片或音頻資料。雖然資料流有一個開始，但通常處理資料流中與資料流的開頭沒有預設關係的資訊是較理想的。舉例而言，神經網路可執行物件辨識，例如辨識汽車附近的騎自行車的人。無論騎自行車的人是出現在影片串流中的何時，該神經網路理應皆能辨識出騎自行車的人，亦即，無需考慮自影片開始以來的時間。繼續本示例，當資料流被輸入到物件辨識神經網路中時，神經網路中的任何活動模式通常將顯示低或靜止的複雜度。無論串流資料連續地（或幾乎連續地）輸入神經網路裝置，神經網路都將顯示這些低或靜止的複雜程度。然而，當感興趣的物件出現在影片串流中時，活動的複雜度將變得可區分並顯示在影片串流中被辨識出來的該物件的時間。因此，活動的可區分的複雜度的時間點也可作為關於資料流中的資料是否滿足特定標準的「是／否（Yes/No）」輸出。

在某些實施方式中，具有可區分複雜度的活動模式除了時間點之外還可提供人工神經網路的輸出的內容。具體而言，參與了與活動模式一致的活動的節點的身份及活動可以被視為遞迴人工神經網路的輸出。因此，所識別的活動模式可代表神經網路的處理結果，以及讀取該決策的時間點。

決策的內容可以各種不同的形式表達。舉例而言，在某些實施方式中且如下方所進一步詳述的，決策的內容可表示為二元向量或由一和零所形成的矩陣。例如，每個數字可表示對於預設的節點組及／或預設的持續時間而言是否存在活動模式。在此實施方式中，決策的內容以二元的形式表示，並且可與傳統的數位資料處理的基礎設備相容。

第10圖例示了一種基於網路中的活動的特徵化而使用遞迴人工神經網路對訊號進行編碼的流程1000的流程圖。訊號可在各種不同的情境中編碼，例如傳輸、加密及資料儲存。流程1000可由具有一或多個資料處理裝置的系統執行，該系統根據一或多組機器可讀指令的邏輯執行運算。舉例而言，流程1000可由與執行用於實作流程1000中所使用的遞迴人工神經網路的軟體的一或多個計算機的系統相同的系統執行。在某些情況下，流程1000可由執行流程400的相同的資料處理裝置執行。在某些情況下，流程1000可由例如訊號傳輸系統中的編碼器或資料儲存系統的編碼器執行。

執行流程1000的系統將訊號輸入至遞迴人工神經網路中（標示為1005）。在某些情況下，訊號的輸入是一離散注入事件。在其他情況下，輸入訊號被串流入遞迴人工神經網路。

執行流程1000的系統識別遞迴人工神經網路中的一或多個決策時刻（標示為1010）。舉例而言，系統可透過執行第4圖的流程400來識別一或多個決策時刻。

執行流程1000的系統讀取遞迴人工神經網路的輸出（標示為1015）。如上所述，在某些實施方式中，遞迴人工神經網路的輸出的內容是神經網路中與用於識別決策點的模式匹配的活動。

在某些實施方式中，可將單獨的「讀取器節點」添加至神經網路中以識別特定節點集合處的特定活動模式的出現，並因此在步驟1015處讀取遞迴人工神經網路的輸出。若且唯若特定節點集合處的活動滿足時間（甚至可能還有大小）的標準時，讀取器節點才能觸發。舉例而言，為了在第2圖及第3圖中的節點104、105、106處讀取第5圖的模式505的出現，讀取器節點可連接到節點104、105、106（或者是該等節點之間的連結110）。如果涉及節點104、105、106（或其連結）的活動模式發生了，則僅讀取器節點本身成為活躍的。

透過使用此讀取器節點，可免除為整個遞迴人工神經網路定義時間窗的必要。具體而言，各讀取器節點可連接到不同的節點及／或數個節點（或它們之間的連結）。可將各讀取器節點設置為具有特製的響應（例如，在一整合並觸發模型中的不同衰減時間（decay time））以識別不同的活動模式。執行流程1000的系統發送或儲存遞迴人工神經網路的輸出（標示為1020）。在步驟1020中所執行的特定動作可反映正在使用流程1000的情境。舉例而言，在期望安全或壓縮通訊的情境中，執行流程1000的系統可將遞迴神經網路的輸出發送到可訪問相同或類似的遞迴神經網路的接收器。作為另一示例，在期望安全或壓縮資料儲存的情境中，執行流程1000的系統可將遞迴神經網路的輸出記錄在一或多個機器可讀資料儲存裝置中以供稍後訪問。

在某些實施方式中，可不發送或儲存遞迴神經網路的完整輸出。舉例而言，在一實施方式中，遞迴神經網路的輸出內容是神經網路中與表示活動複雜度的模式匹配的活動，則可僅發送或儲存匹配相對更複雜或更高維度活動的活動。作為示例，參考第5圖中的模式500，在某些實施方式中，僅發送或儲存與模式515、520、525及530匹配的活動，而忽略或捨棄與模式505及510匹配的活動。透過這種方式，有損流程（lossy process）允許以所編碼資訊的完整性為代價來減少傳輸或儲存的資料量。

第11圖例示了一種基於網路中的活動的特徵化而使用遞迴人工神經網路對訊號進行解碼的流程1100的流程圖。訊號可在各種不同的情境中解碼，例如訊號接收、解密以及從儲存器讀取資料。流程1100可由具有一或多個資料處理裝置的系統執行，該系統根據一或多組機器可讀指令的邏輯執行運算。舉例而言，流程1100可由與執行用於實作流程1100中所使用的遞迴人工神經網路的軟體的一或多個計算機的系統相同的系統執行。在某些情況下，流程1100可由執行流程400及／或流程1000的相同的資料處理裝置執行。在某些情況下，流程1100可由例如訊號傳輸系統中的解碼器或資料儲存系統的解碼器執行。

執行流程1100的系統接收遞迴人工神經網路的輸出的至少一部分（標示為1105）。在1105執行的特定動作可反映正在使用流程1100的情境。舉例而言，執行流程1000的系統可接收包含遞迴人工神經網路的輸出的發送訊號，或者讀取儲存遞迴人工神經網路的輸出的機器可讀資料儲存裝置。

執行流程1100的系統從接收的輸出重建遞迴人工神經網路的輸入（標示為1110）。重建可以各種不同的方式進行。舉例而言，在某些實施方式中，可訓練第二人工神經網路（遞迴或非遞迴）以從步驟1105處所接收的輸出重建進入遞迴神經網路的輸入。

作為另一示例，在某些實施方式中，可訓練已使用機器學習（包含但不限於深度學習）訓練過的解碼器以從在步驟1105處所接收的輸出重建進入遞迴神經網路的輸入。

作為另一示例，在某些實施方式中，可迭代地置換輸入到相同的遞迴人工神經網路或類似的遞迴人工神經網路，直到該遞迴人工神經網路的輸出在某種程度上匹配在步驟1105處所接收的輸出。

在某些實施方式中，流程1100可包含接收使用者輸入，該使用者輸入指示要重建輸入的程度，並且可相應地在步驟1110處調整重建以作為響應。舉例而言，使用者輸入可以指定不需要完整的重建。執行流程1100的系統調整重建以作為響應。例如，在一實施方式中，遞迴神經網路的輸出內容是神經網路中與指示活動複雜度的模式匹配的活動，僅有針對與相對更複雜或更高維度活動匹配的活動進行特徵化的輸出會被用於重建輸入。作為示例，參照第5圖的模式500，在某些實施方式中，可僅使用與模式515、520、525及530匹配的活動來重建輸入，而與模式505及510匹配的活動可被忽略或捨棄。透過這種方式，可在選定的情況下進行有損重建。

在某些實施方式中，流程1000及流程1100可用於對等加密通訊。具體而言，發送器（即，編碼器）以及接收器（即，解碼器）皆可配備相同的遞迴人工神經網路。制定共享的遞迴人工神經網路以確保第三方無法對其進行逆向工程並解密訊號的幾種方法可包含： 遞迴人工神經網路的結構； 遞迴人工神經網路的功能設置，包含節點狀態和邊緣權重； 模式的尺寸（或維度）；以及 每個維度中的模式的分數（fraction）。 這些參數可被視為多個層次，其共同確保了傳輸的安全性。除此之外，在某些實現中，決策時刻的時間點可用作解密訊號的密鑰。

儘管流程1000及流程1100被呈現為針對單一個遞迴人工神經網路進行編碼及解碼，但是流程1000及流程1100也可應用於仰賴多個遞迴人工神經網路的系統及流程中。這些遞迴人工神經網路可平行地或串聯地運行。

作為串聯地運行的示例，第一遞迴人工神經網路的輸出可用作第二遞迴人工神經網路的輸入。第二遞迴人工神經網路的結果輸出是對第一遞迴人工神經網路的輸入二次編碼（或二次加密）的版本。這種遞迴人工神經網路的串聯式排列在各方對於資訊具有不同的訪問層級的情況下是有用的，舉例而言，在醫療記錄系統中，患者的身份資訊可能無法被某個將會使用且可存取其他部分的醫療記錄的一方所存取。

作為平行的運行的示例，可將相同的資訊輸入到多個不同的遞迴人工神經網路中。舉例而言，可使用該等神經網路的不同輸出來確保有辦法高度保真地（with high fidelity）重建輸入。

可對上述描述的許多實施方式進行各種修改。舉例而言，儘管應用程式通常表示遞迴人工神經網路內的活動應該與表示排序的模式匹配，但此情況並非限制。相反地，在某些實施方式中，遞迴人工神經網路內的活動可與模式一致，但不必顯示與模式匹配的活動。例如，遞迴神經網路顯示與模式匹配的活動的機率增加可被視為活動的非隨機排序。

作為另一示例，在某些實施方式中，可制定不同的模式組以針對不同的遞迴人工神經網路中的活動進行特徵化。例如，制定模式的方式可以是根據在特徵化不同的遞迴人工神經網路的活動時模式的有效性（effectiveness）。該有效性可透過例如基於顯示不同模式出現的計數的表或向量的大小來量化有效性。

作為另一示例，在某些實施方式中，用於特徵化遞迴人工神經網路中的活動的模式可考量節點之間的連結的強度。換言之，此前描述的模式以二元的方式（即，活動存在或不存在）來處理二個節點之間的所有訊號傳輸活動。然而，此情況並非限制。相反地，在某些實施方式中，可能需要將具有某級別或強度的連結的活動視為顯示遞迴人工神經網路的活動中的有序的複雜度，才能與一模式一致。

作為另一示例，遞迴人工神經網路的輸出的內容可包含在時間窗之外發生的活動模式，且其中神經網路中的活動具有可區分的複雜度。舉例而言，參照第10圖，在步驟1015中讀取並在步驟1020中發送或儲存的遞迴人工神經網路的輸出可包含資訊編碼活動模式，該資訊編碼活動模式發生在例如第9圖的圖表905中的虛線矩形915、920及925的外部。舉例而言，無論這些活動模式何時發生，遞迴人工神經網路的輸出可僅針對最高維度的活動模式進行特徵化。作為另一示例，無論這些活動模式何時發生，遞迴人工神經網路的輸出可僅針對包圍腔的活動模式進行特徵化。

第12圖、第13圖及第14圖例示了拓撲結構（例如：神經網路中的活動模式）的二元形式或表示1200的示意圖。第12圖、第13圖及第14圖中示出的拓撲結構都包含相同的資訊，亦即在一圖表中特徵存在或不存在的表示。該特徵可以是例如神經網路裝置中的活動。在某些實施方式中，該活動是基於一段期間來識別，且在該期間中神經網路中的活動具有相較於響應於輸入的其他活動為可區分的複雜度。

如第12圖所示，二元表示1200包含位元1205、1207、1211、1293、1294、1297以及額外任意數量的位元（由「…」所表示）。為便於說明，位元1205、1207、1211、1293、1294、1297、...被繪示為離散的矩形，並且以矩形被填充與否來表示該位的二元值。於第12圖、第13圖及第14圖中，二元表示1200表面上看起來是由位元組成的一維向量（第12圖及第13圖）或二維矩陣（第14圖）。然而，表示1200與向量、矩陣或其他有序位元集合的不同之處在於，無論位元的順序如何（亦即，無論集合內各個位元的位置如何），都可編碼相同的資訊。

舉例而言，在某些實施方式中，無論在圖中一拓撲特徵的位置如何，每個單獨的位元1205、1207、1211、1293、1294、1297、...可表示該拓撲特徵是否存在。作為示例，如第2圖所示，諸如位元1207的位元可表示存在與第5圖中的模式505一致的拓撲特徵，而不管該活動是在節點104、105及101之間還是在節點105、101及102之間發生。儘管每個單獨的位元1205、1207、1211、1293、1294、1297、...可與特定特徵相關聯，但是該圖中該特徵的位置不需要例如透過表示1200中位元的相應位置而被編碼。換言之，在某些實施方式中，表示1200可僅提供圖的同構拓撲重建（isomorphic topological reconstruction）。

另一方面，在其他實施方式中，各個位元1205、1207、1211、1293、1294、1297、...的位置確實可編碼諸如圖中特徵位置的資訊。在這些實施方式中，可使用表示1200來重構源圖（source graph）。然而，不一定需要存在這樣的編碼方式。

有鑑於位元可表示拓撲特徵的存在與否，而無論圖中該特徵的位置如何，如第12圖所示，位元1205出現在表示1200的開頭處且在位元1207之前，而位元1207出現在位元1211之前。在第13圖及第14圖中，表示1200內的位元1205、1207及1211的順序相對於表示1200內的其他位元的位置已改變。然而，二元表示1200仍保持相同，而定義二元表示1200中編碼資訊的過程的規則或演算法集合也保持相同。只要位元和特徵之間的對應關係是已知的，則位元在表示1200中的位置便是無關緊要的。

更具體而言，每個位元1205、1207、1211、1293、1294、1297、...分別表示圖中特徵的存在與否。圖是由一組節點及這些節點之間的一組邊所形成。節點可對應於物件。該物件的示例可包含例如神經網路中的人工神經元、社交網路中的個體等。邊可對應於物件之間的某種關係。關係的示例包含例如結構連結或沿著連結的活動。在神經網路的情境下，人工神經元可透過神經元之間的結構連結或透過沿結構連結傳輸資訊來彼此關聯。在社交網路的情境中，每個人可透過「朋友」或其他關係的連結或透過沿著這種連結傳輸資訊（例如，發佈貼文）來關聯。因此，邊可特徵化節點集當中相對長久的結構特徵或在限定的時間範圍內發生的相對瞬態的活動特徵。除此之外，邊可為有向或雙向的。有向邊表示物件之間關係的方向性。舉例而言，從第一神經元到第二神經元的資訊傳輸可由表示傳輸方向的有向邊表示。作為另一示例，在社交網路中，關係連結可表示第二使用者將從第一使用者接收資訊，而非第一使用者將從第二使用者接收資訊。在拓撲術語中，圖表可表示為一組單位區間「[0,1]」，其中「0」和「1」分別表示為由一邊連接的相應節點。

由位元1205、1207、1211、1293、1294及1297表示其存在與否的特徵可為例如節點、一組節點、多組節點當中的一組，一組邊、多組邊當中的一組及／或其他分層更複雜的特徵（例如：多組節點當中的多組節點中的一組節點）。位元1205、1207、1211、1293、1294及1297通常表示處於不同層級的特徵的存在與否。舉例而言，位元1205可表示單一節點的存在與否，而位元1205也可表示一組節點的存在與否。

在某些實施方式中，位元1205、1207、1211、1293、1294及1297可表示圖中的具有某些特徵的門檻值標準的特徵。舉例而言，位元1205、1207、1211、1293、1294及1297不僅可表示在一組邊緣中存在活動，而且還表示該活動的權重是在門檻值標準之上或之下。舉例而言，權重可體現神經網路裝置對特定目的的訓練，或者可為邊的固有特徵。

上方的第5圖、第6圖及第8圖示出了可由位元1205、1207、1211、1293、1294、1297、…表示其存在與否的特徵。

模式集合500、600及700中的有向單體將功能圖或結構圖視為以節點作為點的拓撲空間。無論參與活動的特定節點及／或連結的身份為何，都可使用位元來表示涉及一或多個節點的結構或活動以及與模式集合500、600及700中的單體一致的連結。

在某些實施方式中，可僅識別結構或活動的某些模式，且／或可捨棄或忽略所識別的結構或活動模式的某些部分。例如，如第5圖所示，與五點且四維的單體模式515一致的結構或活動固有地包含與四點且三維的單體模式510及三點且二維的單體模式505一致的結構或活動。舉例而言，第5圖的四維的單體模式515中的點0、2、3、4以及點1、2、3、4均與三維單體模式510一致。在某些實施方式中，可捨棄或忽略包含較少點並且因此具有較低維度的單體模式。

作為另一示例，僅需要識別某一些結構或活動的模式。舉例而言，在某些實施方式中，僅使用了具有奇數個點（例如：三個、五個、七個等）或偶數維度（例如：二維、四維、六維等）的模式。

重新參照第12圖、第13圖及第14圖，由位元1205、1207、1211、1293、1294、1297等來表示其存在與否的特徵可不彼此獨立。具體而言，假如位元1205、1207、1211、1293、1294、1297表示零維（zero-dimensional，0-D）單體的存在與否，且其中每個零維單體都反映單個節點的存在或活動，則位元1205、1207、1211、1293、1294、1297彼此獨立。然而，假如位元1205、1207、1211、1293、1294、1297表示更高維度的單體的存在與否，且其中該等更高維度的單體各自反映多個節點的存在或活動，則由每個單獨特徵的存在與否所進行編碼的資訊可不依賴於其他特徵的存在與否。

第15圖例示了一種對應於不同位元的特徵的存在或不存在彼此間如何不互相獨立的示意圖。具體而言，當中示出了包含四個節點1505、1510、1515及1520以及六個有向的邊1525、1530、1535、1540、1545及1550的子圖1500。更具體而言，邊1525從節點1505指向節點1510，邊1530從節點1515指向節點1505，邊1535從節點1520指向節點1505，邊1540從節點1520指向節點1510，邊緣1545是從節點1515指向節點1510，邊緣1550從節點1515指向節點1520。

表示1200中的單個位元（例如，第12圖、第13圖及第14圖中被填滿的位元1207）可表示有向的三維單體的存在。舉例而言，這樣的位元可表示由節點1505、1510、1515及1520以及邊1525、1530、1535、1540、1545及1550所形成的三維單體的存在。表示1200中的第二個位元（例如，第12圖、第13圖及第14圖中被填滿的位元1293）可表示有向的二維單體的存在。舉例而言，這樣的位元可表示由節點1515、1505及1510以及邊1525、1530及1545所形成的二維單體的存在。在這個簡單的示例中，由位元1293所編碼的資訊對於由位元1207所編碼的資訊而言是完全冗餘的。

應注意的是，由位元1293所編碼的資訊對於由更後續的位元所編碼的資訊而言也可能是冗餘的。舉例而言，由位元1293編碼的資訊對於表示存在額外的有向二維單體的第三位元及第四位元而言都是冗餘的。該等單體的示例由節點1515、1520、1510及邊1540、1545、1550以及節點1520、1505、1510及邊1525、1535、1540所形成。

第16圖例示了另一種對應於不同位元的特徵的存在或不存在彼此間如何不互相獨立的示意圖。具體而言，當中示出了包含四個節點1605、1610、1615及1620以及五個有向的邊1625、1630、1635、1640及1645的子圖1600。節點1505、1510、1515及1520以及邊1625、1630、1635、1640、1645一般而言對應於第15圖的子圖1500當中的節點1505、1510、1515及1520以及邊1525、1530、1535、1540及1545。然而，子圖1600與子圖1500（其節點1515、1520透過邊1550連接）相反，其節點1615及1620不透過邊連接。

表示1200中的單個位元（例如，第12圖、第13圖及第14圖中未被填滿的位元1205）可表示有向的三維單體的不存在，例如，該有向的三維單體包含節點1605、1610、1615及1620。表示1200中的第二個位元（例如，第12圖、第13圖及第14圖中被填滿的位1293）可表示二維單體的存在。例如，由節點1615、1605及1610以及邊1625、1630及1645所形成的二維單體。被填滿的位元1293與未被填滿的位元1205的組合提供了一種資訊，該資訊表示可能存在或不存在於表示1200中的其他特徵是否存在（以及其他位元的狀態）。具體而言，有向三維單體的不存在以及有向二維單體的存在的組合表示至少一個邊不存在於： （一）由節點1615、1620、1610所形成的可能的有向二維單體，或 （二）由節點1620、1605、1610所形成的可能的有向二維單體。 因此，表示任一個這些可能的單體的存在與否的位元的狀態並不與位元1205及位元1293的狀態無關。

儘管已根據具有不同數量的節點及分層關係的特徵而敘述了該等示例，然而此情況並非限制。舉例而言，可能出現表示1200包含了位元集合，且該位元集合僅對應於例如三維單體的存在與否的情況。

當使用各個位元來表示圖中特徵的存在與否時會產生某些屬性。舉例而言，資訊的編碼是容錯的，並且提供了對編碼資訊的「適度降級」。具體而言，特定位元（或位元組）的丟失可能增加對於特徵的存在與否的不確定性。然而，仍可以從表示相鄰特徵的存在與否的其他位元來評估特徵存在與否的機率。

同樣地，隨著位元數的增加，對於特徵的存在與否的確定性也增加。

作為另一示例，如上所述，位元的排序或排列與由位元所表示的圖的同構重建無關。所需要的只是位元與圖中特定節點／結構之間的已知對應關係。

在某些實施方式中，神經網路中的活動模式可在第12圖、第13圖及第14圖中的表示1200中被編碼。一般而言，神經網路中的活動模式是神經網路的許多特徵的結果，例如，神經網路的節點之間的結構連結、節點之間的權重、以及整個主機中可能的其他參數。例如，在某些實施方式中，可在表示1200中的活動模式的編碼之前訓練神經網路。

然而，無論神經網路是否經過訓練，對於給定的一輸入，響應的活動的模式可被認為是神經網路內關於該輸入的「表示」或「摘要」。因此，儘管表示1200看似為數字（在某些情況下為二元數字）的直接出現的集合，但是每個數字可編碼神經網路中的特定輸入與相關活動之間的關係或對應關係。

第17圖、第18圖、第19圖及第20圖例示了在四種不同分類系統1700、1800、1900及2000中使用神經網路中的活動中的拓撲結構的出現的表示的示意圖。分類系統1700及1800將神經網路中的活動模式的表示進行分類，並作為輸入分類的一部分。分類系統1900及2000各自對神經網路中活動模式的表示的近似進行分類，並作為輸入分類的一部分。在分類系統1700及1800中，被表示的活動模式發生在作為分類系統1700及1800的一部分的源神經網路裝置1705中，並且從中被讀取。相反地，在分類系統1900及2000中，被近似地表示的活動模式發生在不屬於分類系統1700及1800的源神經網路裝置中，且被近似地表示的活動模式是從作為分類系統1900及2000的一部分的近似器1905中被讀取。

在額外的細節中，如第17圖所示，分類系統1700包含源神經網路1705以及線性分類器1710。源神經網路1705是神經網路裝置，其被配置為在源神經網路1705中接收一輸入並且呈現活動中的拓撲結構的出現。在所示的實施方式中，源神經網路1705包含接收輸入的輸入層1715。然而，此情況並非限制。舉例而言，在某些實施方式中，可將一些或全部的輸入注入源神經網路1705中的不同層級／或邊或節點中。

源神經網路1705可以是各種不同類型的神經網路。通常，源神經網路1705是一遞迴神經網路，例如在生物系統上建模的遞迴神經網路。在某些情況下，源神經網路1705可模擬生物系統的形態特徵、化學特徵及其他特徵的程度。一般而言，源神經網路1705是被實作於具有相對高程度計算性能的一或多個計算裝置上實現，例如超級計算機。在這種情況下，分類系統1700通常是分散式系統，且在分類系統1700中遠程分類器1710透過例如資料通訊網路以和源神經網路1705進行通訊。

在某些實施方式中，源神經網路1705可以是未經訓練的，且其所表示的活動可以是源神經網路1705的固有活動。在其他實施方式中，可訓練源神經網路1705，且其所表示的活動可體現該訓練。

從源神經網路1705讀取的表示可以是諸如第12圖、第13圖及第14圖中的表示1200。可透過多種方式從源神經網路1705讀取表示。舉例而言，在所示的示例中，源神經網路1705包含讀取源神經網路1705內的其他節點之間的活動模式的「讀取器節點」。在其他實施方式中，源神經網路1705內的活動由資料處理元件所讀取，該資料處理元件被編程為監視源神經網路1705中具有相對高有序性的活動模式。在其他實施方式中，源神經網路1705可包含輸出層，舉例而言，當源神經網路1705被實現為前饋神經網路時，可從該輸出層讀取表示1200。

線性分類器1710是基於物件（即，源神經網路1705中的活動模式的表示）特徵的線性組合而對物件進行分類的裝置。線性分類器1710包含輸入1720和輸出1725。輸入1720被耦合以接收源神經網路1705中的活動模式的表示。換言之，源神經網路1705中的活動模式的表示是一特徵向量，該特徵向量表示源神經網路1705的輸入的特徵，且源神經網路1705被線性分類器1710用以對該輸入進行分類。線性分類器1710可透過各種方式接收源神經網路1705中的活動模式的表示。舉例而言，活動模式的表示可作為離散事件或作為實時或非實時通訊信道上的連續串流來接收。

輸出1725被耦合以從線性分類器1710輸出分類結果。在所示的實施方式中，輸出1725被示意性地示為具有多個信道的平行端口。然而，此情況並非限制。例如，輸出1725可透過串列端口或具有綜合平行與串列的功能的端口來輸出分類結果。

在一些實現中，線性分類器1710可實作在具有相對有限的計算性能的一或多個計算裝置上。舉例而言，線性分類器1710可實作在個人計算機或諸如智慧型電話或平板電腦的行動計算裝置上。

參照第18圖，分類系統1800包含源神經網路1705以及神經網路分類器1810。神經網路分類器1810為一神經網路裝置，其基於物件（即，源神經網路1705中的活動模式的表示）的特徵的非線性組合而對物件進行分類。在所示的實施方式中，神經網路分類器1810是包含輸入層1820以及輸出層1825的前饋網路。神經網路分類器1810與線性分類器1710一樣可透過各種方式接收源神經網路1705中的活動模式的表示。舉例而言，活動模式的表示可作為離散事件或作為實時或非實時通訊信道上的連續串流來接收。

在某些實施方式中，神經網路分類器1810可在具有相對有限的計算性能的一或多個計算裝置上執行推斷（inferences）。舉例而言，神經網路分類器1810可實作在個人計算機或諸如智慧型電話或平板電腦的行動計算裝置上，例如，在這種裝置的神經處理單元中。與分類系統1700類似，分類系統1800一般而言是分散式系統，且在分類系統1800中遠端的神經網路分類器1810透過例如資料通訊網路以和源神經網路1705進行通訊。

在某些實施方式中，神經網路分類器1810可為一深度神經網路，例如一卷積神經網路（convolutional neural network），其包含卷積層（convolutional layers）、池化層（pooling layers）以及完全連接層（fully-connected layers）。卷積層可透過例如使用線性卷積濾波器及／或非線性激勵函數來生成特徵圖（feature maps）。池化層可減少參數數量並且控制過度擬合（overfitting）。由圖像分類器1820中的不同層所執行的計算可在圖像分類器1820的不同實作中以不同方式定義。

參照第19圖，分類系統1900包含源近似器1905以及線性分類器1710。如下方所詳述，源近似器1905是相對簡單的神經網路，其被訓練為在輸入層1915或其他地方接收輸入向量，並且輸出一向量，其中該向量近似於在相對更複雜的神經網路中的活動模式中所出現的拓撲結構的表示。舉例而言，可訓練源近似器1905以近似於遞迴源神經網路，例如，在生物系統上建模並且包含一定程度的形態特徵、化學特徵及生物系統的其他特徵的一遞迴神經網路。在所示的實施方式中，源近似器1905包含輸入層1915以及輸出層1920。輸入層1915可耦合以接收輸入資料。輸出層1920被耦合以輸出神經網路裝置內的活動表示的近似，以便由線性分類器的輸入1720所接收。舉例而言，輸出層1920可輸出第12圖、第13圖及第14圖中的表示1200的一近似1200’。另一方面，第17圖及第18圖中所示出的表示1200與第19圖及第20圖中所示出的表示1200的近似1200’是相同的。此僅是為了便於說明。一般而言，近似1200’將至少在某些方面與表示1200有所不同。儘管存在這些差異，線性分類器1710仍可對近似1200’進行分類。

一般而言，源近似器1905可在具有相對有限的計算性能的一或多個計算裝置上執行推斷。舉例而言，源近似器1905可實作在個人計算機或諸如智慧型電話或平板電腦的行動計算裝置上，例如在這種裝置的神經處理單元中。對比於分類系統1700及1800，分類系統1900，例如包含源近似器1905以及線性分類器1710，通常會被容納於單個外殼中，其中線性分類器1710實作在相同資料處理裝置上或透過硬線連接的方式進行耦合的資料處理裝置上。

參照第20圖，分類系統2000包含源近似器1905以及神經網路分類器1810。源近似器1905的輸出層1920被耦合以輸出神經網路裝置內的活動表示的近似1200’，以便由神經網路的輸入1820所接收。儘管近似1200’與表示1200之間存在任何差異，神經網路分類器1810仍可對近似1200’進行分類。相同於類似的分類系統1900，分類系統2000，例如包含源近似器1905以及神經網路分類器1810，通常會被容納於單個外殼中，其中神經網路分類器1810實作在相同資料處理裝置上或透過硬線連接的方式進行耦合的資料處理裝置上。

第21圖例示了包含區域人工神經網路的邊緣裝置2100的示意圖，該區域人工神經網路可透過使用對應於源神經網路中的活動的拓撲結構的出現的表示來訓練。在這種情況下，區域人工神經網路可以是例如完全在一或多個本地處理器上執行的人工神經網路，其不需要通訊網路來交換資料。一般而言，本地處理器將透過硬線連接。在某些情況下，本地處理器可容納於單個外殼中，例如單一個個人計算機或單一個手持行動裝置。在某些情況下，本地處理器可以由單一個人或有限數量的人所控制並且存取。實際上，透過使用在更複雜的源神經網路中拓撲結構的出現的表示來訓練（例如：使用監督學習或強化學習技術）更簡單且／或訓練程度更低但更獨特的第二神經網路，計算資源及訓練樣本較有限的人也可根據需要來訓練神經網路。如此，減少了訓練期間的儲存需求及計算複雜度，並且節省了電池壽命等資源。

在所示的實施方式中，邊緣裝置2100被示意性地表示為安全攝影機裝置，其包含光學成像系統2110、圖像處理電子裝置2115、源近似器2120、表示分類器2125，以及通訊控制器與介面2130。

光學成像系統2110可包含例如一或多個透鏡（或者甚至針孔）和電荷耦合元件（charge-coupled device，CCD）裝置。圖像處理電子裝置2115可讀取光學成像系統2110的輸出，且通常可執行基本的圖像處理功能。通訊控制器與介面2130為被配置以控制進出邊緣裝置2100的資訊流的裝置。如下方所詳述，通訊控制器與介面2130可執行的運算為將感興趣的圖像傳輸到其他裝置以及從其他裝置接收訓練資訊。因此，通訊控制器與介面2130可包含可透過例如資料端口2135進行通訊的資料發送器以及接收器。資料端口2135可為有線端口、無線端口、光學端口等。

源近似器2120為相對簡單的神經網路，其被訓練以輸出近似於在相對更複雜的神經網路中的活動模式中出現的拓撲結構的表示的向量。舉例而言，可訓練源近似器2120以近似於遞迴源神經網路，例如，在生物系統上建模並包含一定程度的形態特徵、化學特徵以及生物系統的其他特徵的遞迴神經網路。

表示分類器2125為線性分類器或神經網路分類器，其被耦合以從源近似器2120接收源神經網路中的活動模式的表示的近似，並且輸出分類結果。表示分類器2125可以是一深度神經網路，例如包含卷積層、池化層以及完全連接層的一卷積神經網路。卷積層可透過例如使用線性卷積濾波器及／或非線性激勵函數來生成特徵圖。池化層可減少參數數量並控制過度擬合。由表示分類器2125中的不同層所執行的計算可以在表示分類器2125的不同實作中以不同方式定義。

在某些實施方式中，光學成像系統2110可在操作中產生原始（raw）的數位圖像。圖像處理電子裝置2115可讀取原始圖像，且通常將會執行至少一些基本的圖像處理功能。源近似器2120可從圖像處理電子裝置2115接收圖像並執行推斷操作以輸出近似於在相對更複雜的神經網路中的活動模式中出現的拓撲結構的表示的向量。近似的向量被輸入至表示分類器2125中，且表示分類器2125確認近似的向量是否滿足一或多組分類標準。示例包含臉部辨識以及其他的機器視覺操作。在表示分類器2125確認近似的向量滿足一組分類標準的情況下，表示分類器2125可指示通訊控制器與介面2130發送關於圖像的資訊。舉例而言，通訊控制器與介面2130可發送圖像本身、圖像的分類及／或關於圖像的其他資訊。

在某些時候可能需要改變分類的過程。在這些情況下，通訊控制器與介面2130可接收訓練集。在某些實施方式中，訓練集可包含原始或處理過的圖像資料以及在相對更複雜的神經網路中的活動模式中出現的拓撲結構的表示。這樣的訓練集可用於例如透過使用監督學習或強化學習技術來重新訓練源近似器2120。具體而言，該等表示被用作目標答案向量，以及表示源近似器2120處理原始或處理過的圖像資料的期望結果。

在其他實施方式中，訓練集可包含在相對更複雜的神經網路中的活動模式中出現的拓撲結構的表示以及拓撲結構的該等表示的期望分類。這樣的訓練集可用於例如透過使用監督學習或強化學習技術來重新訓練神經網路的表示分類器2125。尤其地，期望分類被用作目標答案向量，以及表示處理拓撲結構的表示的表示分類器2125的期望結果。

無論源近似器2120或表示分類器2125是否被重新訓練，邊緣裝置2100的推斷操作可容易地適應於會改變的環境以及目標，而無需大量的訓練資料以及耗時且耗費計算能量的密集型迭代訓練。

第22圖例示了包含區域人工神經網路的邊緣裝置2200的示意圖，該區域人工神經網路可透過使用對應於源神經網路中的活動的拓撲結構的出現的表示來訓練。在所示的實施方式中，邊緣裝置2200被示意性地示為諸如智慧型電話或平板電腦的行動計算裝置。邊緣裝置2200包含光學成像系統（例如，在邊緣裝置2200的背面，未示出）、圖像處理電子裝置2215、表示分類器2225、通訊控制器與介面2230以及資料端口2235。這些元件可具有特徵並且執行與第21圖中的光學成像系統2110、圖像處理電子裝置2115、表示分類器2125、通訊控制器與介面2130以及終端裝置2100中的資料端口2135相應的動作。

邊緣裝置2200的所示實施方式另外包含一或多個附加感測器2240以及多輸入（multi-input）源近似器2245。一或多個感測器2240可以感測邊緣裝置2200自身或邊緣裝置2200周圍環境的一或多個特徵。舉例而言，在某些實施方式中，感測器2240可以是加速度計，其感測邊緣裝置2200所受的加速度。作為另一示例，在某些實施方式中，感測器2240可以是聲學感測器，例如感測邊緣裝置2200的環境中的噪聲的麥克風。感測器2240的其他示例包含化學感測器（例如：「人造鼻子」等）、濕度感測器、輻射感測器等。在某些情況下，感測器2240耦合到處理電子裝置，該處理電子裝置可讀取感測器2240的輸出（或其他資訊，例如：聯繫人列表或地圖）並且執行基本的處理功能。因此，由於各種感測器所實際感測的實體參數不相同，故感測器2240的不同實作方式可具有不同的「模態（modalities）」。

多輸入源近似器2245是相對簡單的神經網路，其被訓練以輸出近似於在相對更複雜的神經網路中的活動模式中出現的拓撲結構的表示的向量。舉例而言，可訓練多輸入源近似器2245以近似遞迴源神經網路，例如，在生物系統上建模並包含一定程度的形態特徵、化學特徵以及生物系統的其他特徵的遞迴神經網路。

不同於源近似器2120，多輸入源近似器2245被耦合以從多個感測器接收原始或處理過的感測器資料，並基於該資料回傳在相對更複雜的神經網路中的活動模式中出現的拓撲結構的表示的近似。舉例而言，多輸入源近似器2245可從圖像處理電子裝置2215接收處理過的圖像資料以及例如來自一或多個感測器2240的聲學資料、加速度資料、化學資料或其他資料。多輸入源近似器2245可以是諸如卷積神經網路的深度神經網路，卷積神經網路包含卷積層、池化層以及完全連接層。由多輸入源近似器2245中的不同層所執行的計算可專用於單一類型的感測器資料或多種模態的感測器資料。

無論多輸入源近似器2245的特定組織如何，多輸入源近似器2245將基於來自多個感測器的原始或處理過的感測器資料以回傳近似。舉例而言，來自圖像處理電子裝置2215的處理過的圖像資料與來自麥克風感測器2240的聲學資料可以被多輸入源近似器2245使用，以近似在相對更複雜且收到相同資料的神經網路中的活動模式中出現的拓撲結構的表示。

在某些時候可能需要改變分類的過程。在這些情況下，通訊控制器與介面2230可接收訓練集。在某些實施方式中，訓練集可包含原始或處理過的圖像資料以及在相對更複雜的神經網路中的活動模式中出現的拓撲結構的表示。這樣的訓練集可用於例如透過使用監督學習或強化學習技術來重新訓練多輸入源近似器2245。具體而言，該等表示被用作目標答案向量，以及表示多輸入源近似器2245處理原始或處理過的圖像資料的期望結果。

在其他實施方式中，訓練集可包含在相對更複雜的神經網路中的活動模式中出現的拓撲結構的表示以及拓撲結構的那些表示的期望分類。這樣的訓練集可例如透過使用監督學習或強化學習技術來重新訓練神經網路表示分類器2225。具體而言，期望的分類被用作目標答案向量，以及表示了表示分類器2225處理拓撲結構的表示的期望結果。

無論多輸入源近似器2245或表示分類器2225是否被重新訓練，邊緣裝置2200的推斷操作可容易地適應於會改變的環境以及目標，而無需大量的訓練資料以及耗時且耗費計算能量的密集型迭代訓練。

第23圖例示了一種系統2300的示意圖，且於系統2300中可透過使用對應於源神經網路中的活動的拓撲結構的出現的表示來訓練該區域神經網路。目標神經網路可實作在相對簡單且較便宜的資料處理系統上，而源神經網路可實作在相對複雜且更昂貴的資料處理系統上。

系統2300包含具有區域神經網路的各種區域神經網路裝置2305、電話基地台2310、無線存取點2315、伺服器系統2320以及一或多個資料通訊網路2325。

區域神經網路裝置2305是被配置為使用計算量較小的目標神經網路來處理資料的裝置。如圖所示，區域神經網路裝置2305可實作為行動計算裝置、相機、汽車或其他任何裝置、固定裝置與移動式元件中的任何一個，以及每個類別內的不同品牌和型號的裝置。不同的區域神經網路裝置2305可屬於不同的所有者。在某些實施方式中，對區域神經網路裝置2305的資料處理功能的存取通常將限於這些所有者及／或所有者的指定對象。

每個區域神經網路裝置2305可包含一或多個源近似器，其被訓練以輸出近似於在相對更複雜的神經網路中的活動模式中出現的拓撲結構的表示的向量。舉例而言，相對更複雜的神經網路可以是遞迴源神經網路，例如，在生物系統上建模並包含生物系統的一定程度的形態特徵、化學特徵以及其他特徵的遞迴神經網路。

在某些實施方式中，除了使用源近似器處理資料之外，還可編程區域神經網路裝置2305以使用在相對更複雜的神經元中的活動模式中出現的拓撲結構的表示作為目標答案向量來重新訓練源近似器。舉例而言，區域神經網路裝置2305可被編程為執行一或多種迭代訓練技術（例如：梯度下降或隨機梯度下降）。在其他實施方式中，區域神經網路裝置2305中的源近似器可由例如專用訓練系統或安裝在個人計算機上的訓練系統來訓練，其中該個人計算機可與區域神經網路裝置2305互動以訓練源近似器。

每個本地神經網路裝置2305包含一或多個無線或有線資料通訊元件。在所示的實施方式中，每個區域神經網路裝置2305包含至少一個無線資料通訊元件，例如行動電話收發器、無線收發器、或兩者兼具。行動電話收發器能夠與電話基地台2310交換資料。無線收發器能夠與無線存取點2315交換資料。每個區域神經網路裝置2305還能夠與對等（peer）的行動計算裝置交換資料。

電話基地台2310與無線存取點2315連接以和一或多個資料通訊網路2325進行資料通訊，並且可透過網路而與伺服器系統2320交換資訊。因此，區域神經網路裝置2305通常也與伺服器系統2320進行資料通訊。然而，此情況並非限制。舉例而言，在區域神經網路裝置2305由其他資料處理裝置訓練的實施方式中，區域神經網路裝置2305僅需要與這些其他的資料處理裝置進行至少一次的資料通訊。

伺服器系統2320是一或多個資料處理裝置的系統，其被編程為根據一或多組機器可讀指令執行資料處理活動。資料處理活動可包含向區域神經網路裝置2305的訓練系統提供訓練集。如上所述，訓練系統可在行動的區域神經網路裝置2305本身內部或在一或多個其他的資料處理裝置上。訓練集可包含與源神經網路中的活動相對應的拓撲結構的出現的表示以及相應的輸入資料。

在某些實施方式中，伺服器系統2320還包含源神經網路。然而，此情況並非限制，且伺服器系統2320可從實作源神經網路的另一個資料處理裝置系統接收訓練集。

於操作中，在伺服器系統2320接收訓練集（來自在伺服器系統2320本身中或在其他地方的源神經網路）之後，伺服器系統2320可將訓練集提供給訓練行動計算裝置2305的訓練者。可使用訓練集來訓練目標的區域神經網路裝置2305中的源近似器，使得目標神經網路近似於源神經網路的操作。

第24圖、第25圖、第26圖及第27圖例示了使用四種不同系統（即，系統2400、2500、2600及2700）中的神經網路中的活動中的拓撲結構的出現的表示的示意圖。系統2400、2500、2600及2700可以是配置為執行許多不同運算中的任何一者。舉例而言，系統2400、2500、2600及2700可執行物件定位運算、物件偵測運算、物件分割運算、物件偵測運算、預測運算、動作選擇運算等。

物件定位運算定位圖像內的物件。舉例而言，可圍繞物件建構一邊界框（bounding box）。在某些情況下，物件定位可與物件辨識相結合，在物件辨識時會使用適當的名稱標記本地化物件。

物件偵測運算將圖像像素分類為屬於特定類別（例如，屬於物件感興趣）或不屬於特定類。一般而言，透過對像素進行分組並在像素組周圍形成邊界框來執行物件偵測。邊界框應該緊緊圍繞著物件。

一般而言，物件分割將類別標籤分配給每個圖像像素。因此，除了邊界框之外，物件分割在逐一像素的基礎上進行，且通常僅為每個像素分配單一個標籤。

預測運算試圖得到超出觀察資料範圍的結論。儘管預測運算試圖預測未來的事件發生（例如，基於關於過去和當前狀態的資訊），但預測運算還可基於關於那些狀態的不完整資訊來尋求關於過去及當前狀態的結論。

動作選擇運算試圖基於一組條件來選擇動作。傳統上，動作選擇運算被分解為不同的方法，例如基於符號（symbol-based）的系統（經典規劃（classical planning））、分散式解決方案以及被動或動態規劃。

分類系統2400及2500各自對神經網路中的活動模式的表示執行期望的運算。系統2600及2700各自對神經網路中的活動模式的表示的近似執行期望的運算。在系統2400及2500中，被表示的活動模式發生在屬於系統2400及2500的一部分的源神經網路裝置1705中，並且從該源神經網路中讀取被表示的活動。相反地，在系統2400及2500中，被近似地表示的活動模式出現在非屬於系統2400及2500的一部分的源神經網路裝置中。然而，這些活動模式的表示的近似是從屬於系統2400及2500的一部分的近似器1905所讀取。

除此之外，如第24圖所示，系統2400包含源神經網路1705以及線性處理器2410。線性處理器2410是基於神經網路中的活動模式的表示的特徵的線性組合來執行運算的裝置（或這些表示的近似）。該運算可以是例如物件定位運算、物件偵測運算、物件分割運算、預測運算、動作選擇運算等。

線性處理器2410包含輸入2420以及輸出2425。輸入2420被耦合以接收源神經網路1705中的活動模式的表示。線性處理器2410可透過各種方式接收源神經網路1705中的活動模式的表示。舉例而言，活動模式的表示可作為離散事件或者作為實時或非實時通訊信道上的連續串流來接收。輸出2425被耦合以從線性處理器2410輸出處理結果。在某些實施方式中，線性處理器2410可實作在具有相對有限的計算性能的一或多個計算裝置上。例如，線性處理器2410可實作在個人計算機或諸如智慧型電話或平板電腦的行動計算裝置上。

參照第24圖，系統2400包含源神經網路1705以及線性處理器2410。線性處理器2410是基於神經網路中的活動模式的表示的特徵的線性組合來執行運算的裝置（或這些表示的近似）。運算可以是例如物件定位運算、物件偵測運算、物件分割運算、預測運算、動作選擇運算等。

線性處理器2410包含輸入2420以及輸出2425。輸入2420被耦合以接收源神經網路1705中的活動模式的表示。線性處理器2410可透過各種方式接收源神經網路1705中的活動模式的表示。舉例而言，活動模式的表示可作為離散事件或者作為實時或非實時通訊信道上的連續串流來接收。輸出2525被耦合以從線性處理器2410輸出處理結果。在某些實施方式中，線性處理器2410可實作在具有相對有限的計算性能的一或多個計算裝置上。例如，線性處理器2410可實作在個人計算機或諸如智慧型電話或平板電腦的行動計算裝置上。

參照第25圖，分類系統2500包含源神經網路1705以及神經網路2510。神經網路2510是神經網路裝置，其被配置為基於神經網路中的活動模式的表示的特徵的非線性組合來執行運算（或這些表示的近似）。運算可以是例如物件定位運算、物件偵測運算、物件分割運算、預測運算、動作選擇運算等。在所示的實施方式中，神經網路2510是包含輸入層2520以及輸出層2525的前饋網路。相同於線性處理器2410，神經網路2510可透過各種方式在源神經網路1705中接收活動模式的表示。

在某些實施方式中，神經網路2510可在具有相對有限的計算性能的一或多個計算裝置上執行推斷。例如，神經網路2510可實作在個人計算機或諸如智慧型電話或平板電腦的行動計算裝置上實現，例如在此種裝置的神經處理單元中。與系統2400類似，系統2500通常是分散式系統，且在系統2500中遠端神經網路2510可例如經由資料通訊網路來與源神經網路1705進行通訊。在某些實施方式中，舉例而言，神經網路2510可以是一深度神經網路，例如一卷積神經網路。

參照第26圖，系統2600包含源近似器1905以及線性處理器2410。儘管近似1200’與表示1200之間存在任何差異，處理器2410仍可在近似1200’上執行運算。

參照第27圖，系統2700包含源近似器1905以及神經網路2510。儘管近似1200’與表示1200之間存在任何差異，神經網路2510仍可在近似1200’上執行運算。

在某些實施方式中，系統2600及2700可實作在邊緣裝置上，例如第21圖及第22圖中的邊緣裝置2100及2200。在某些實施方式中，系統2600及2700可被實作為系統的一部分，且在該系統（例如：第23圖中的系統2300）中可使用與源神經網路中的活動相對應的拓撲結構的表示來訓練區域神經網路。

第28圖例示了一種包含人工神經網路的增強學習系統2800的示意圖，該人工神經網路可透過使用對應於源神經網路中的活動的拓撲結構的出現的表示來訓練。強化學習是一種機器學習，在強化學習中，人工神經網路從回饋（feedback）中學習，且該回饋是關於響應人工神經網路決策所採取的動作的後果。強化學習系統透過執行動作以及接收特徵化另一個新的狀態的資訊以及象徵動作成功（或不成功）的獎勵及／或遺憾，以從環境中的一個狀態移動到該另一個新的狀態。強化學習旨在透過學習過程以將總獎勵最大化（或將遺憾最小化）。

在所示的實施方式中，強化學習系統2800中的人工神經網路是使用強化學習方法所訓練的一深度神經網路2805（或其他的深度學習架構）。在某些實施方式中，深度神經網路2805可以是區域人工神經網路（例如：第25圖及第27圖中的神經網路2510），並且實作在如汽車、飛機、機器人或其他裝置上。此情況並非限制，且在其他實作方式中，深度神經網路2805可實作在連網裝置的系統上。

除了源近似器1905與深度神經網路2805之外，強化學習系統2800還包含致動器（actuator）2810、一或多個感測器2815以及教師模組2820。在某些實施方式中，強化學習系統2800還包含額外資料的一或多個資料來源2825。

致動器2810是用於控制與環境2830相互作用的機制或系統的裝置。在某些實施方式中，致動器2810控制實體的機制或系統（例如：汽車的轉向或機器人的定位）。在其他實施方式中，致動器2810可控制虛擬的機制或系統（例如：虛擬遊戲板或投資組合）。有鑑於此，環境2830也可是實體的或虛擬的。

感測器2815是測量環境2830的特性的裝置。感測器所做的至少一部分的測量可特徵化受控制的機制或系統與環境2830的其他方面之間的互動。舉例而言，當致動器2810操縱汽車時，一或多個感測器2815可測量汽車的速度、汽車的方向、汽車的加速度、汽車與其他特徵的接近度、以及其他特徵對汽車的響應中的一或多個。再舉例而言，當致動器2810控制投資組合時，感測器2815可測量與投資組合相關聯的價值以及風險。

一般而言，源近似器1905以及教師模組2820被耦合以接收由感測器2815進行的至少一些測量。舉例而言，源近似器1905可在輸入層1915處接收測量資料並輸出在源神經網路中的活動模式中出現的拓撲結構的表示的近似1200’。

教師模組2820是一種被配置為解釋從感測器2815接收的測量，並且向深度神經網路2805提供獎勵及／或遺憾的裝置。獎勵是正面的，其表示對機制或系統的成功控制。遺憾則是負面的，其表示不成功或非最佳的控制。一般而言，教師模組2820還提供測量的特徵化以及用於強化學習的獎勵／遺憾。一般而言，測量的特徵化是源神經網路中的活動模式中出現的拓撲結構的表示的近似（例如：近似1200’）。舉例而言，教師模組2820可讀取從源近似器1905輸出的近似1200’，並將所讀取的近似1200’與相應的獎勵／後悔進行配對。

在許多實施方式中，強化學習在系統2800中不會即時地發生，或者於深度神經網路2805的致動器2810的主動控制期間發生。相反地，訓練回饋可由教師模組2820收集，且在深度神經網路2805未主動指示致動器2810時，用於來強化訓練。舉例而言，在某些實施方式中，教師模組2820可遠離深度神經網路2805並且僅與深度神經網路2805進行間歇性的資料通訊。無論強化學習是間歇的還是連續的，可演化深度神經網路2805以例如使用從教師模組2820接收的資訊來優化獎勵及／或減少遺憾。

在某些實施方式中，系統2800還包含額外資料的一或多個資料來源2825。源近似器1905還可在輸入層1915處從資料源2825接收資料。在這些情況下，將藉由處理感測器資料以及來自資料來源2825的資料來產生近似1200’。

在某些實施方式中，由一強化學習系統2800所收集的資料可用於其他系統的訓練或強化學習，包含其他強化學習系統。舉例而言，測量的特徵化連同獎勵／遺憾值可由教師模組2820提供給資料交換系統，該資料交換系統從各種強化學習系統收集這些資料並在其中重新分配。除此之外，如上所述，測量的特徵化可以是在源神經網路中的活動模式中出現的拓撲結構的表示的近似，例如近似1200’。

由強化學習系統2800所執行的特定運算將取決於特定的運算情境。舉例而言，在源近似器1905、深度神經網路2805、致動器2810以及感測器2815是汽車的一部分的情況下，深度神經網路2805可在操縱汽車時執行物件定位運算及／或物件偵測運算。

在由強化學習系統2800所收集的資料用於其他系統的訓練或強化學習的實施方式中，當執行物件定位運算及／或物件偵測運算時特徵化環境狀態的獎勵／遺憾值以及近似1200’可提供給資料交換系統。然後，資料交換系統可將獎勵／遺憾值以及近似1200’分配給與其他車輛相關聯的其他強化學習系統2800，以便在那些其他車輛上進行強化學習。舉例而言，強化學習可用於使用獎勵／遺憾值以及近似1200’來改善第二車輛處的物件定位運算及／或物件偵測運算。

然而，在其他車輛處學習的運算不需要與由深度神經網路2805執行的運算相同。舉例而言，基於旅行時間的獎勵／遺憾值以及由感測器資料的輸入的特徵化（例如：由全球定位系統（Global Positioning System，GPS）的資料來源2825所識別的位置中的意外地潮濕的道路）所造成的近似1200’可用於另一車輛的路線規劃操作。

本揭露中敘述之標的以及運算的實施例可實作於數位電子電路中，或者實作於計算機的軟體、韌體或硬體中，包含本文所揭露的結構及其結構等同物，或者當中的一或多個的組合。本揭露中敘述之標的之實施例可實現為一或多個計算機程式，亦即由計算機程式指令組成的一或多個模組，該計算機程式指令被編碼於計算機儲存介質上，用於被資料處理裝置執行或用於控制資料處理裝置的運算。可選地或此外，程式指令可在人工生成的傳播訊號上編碼，例如，機器生成的電、光或電磁訊號，其被生成以編碼資訊以便傳輸到合適的接收器設備以供資料處理設備執行。計算機儲存介質可以是或可包含在計算機可讀儲存設備、計算機可讀儲存基板、隨機或串行存取儲存器陣列或設備、或前述物件的一或多個的組合當中。除此之外，雖然計算機儲存介質不是一種傳播訊號，但是計算機儲存介質可以是被編碼於人工生成的傳播訊號編碼中的計算機程式指令的來源或目的地。計算機儲存介質也可以是或包含在一或多個單獨的實體元件或介質（例如，多個光碟、磁碟或其他儲存裝置）當中。

本揭露中所敘述的運算可實作為由資料處理裝置對儲存在一或多個計算機可讀儲存裝置上或從其他來源接收的資料所執行的運算。

用語「資料處理裝置」包含用於處理資料的所有類型的裝置、設備以及機器，包含例如可編程處理器、計算機、系統單晶片（System-on-a-Chip，SoC）、或者前述物件的多個或其組合。前述裝置可包含專用邏輯電路，例如現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或專用積體電路（application-specific integrated circuit，ASIC）。除了硬體之外，該裝置還可包含可為所討論的計算機程式創建執行環境的程式碼，例如，構成處理器韌體的程式碼、協議堆疊（protocol stack）、資料庫管理系統、作業系統、跨平台執行時系統（cross-platform runtime environment）、虛擬機、或其中的一或多個的組合。裝置和執行環境可實現各種不同的計算模型基礎架構，例如網頁服務、分散式計算以及網格計算的基礎架構。

計算機程式（也稱為程式、軟體、軟體應用程式、腳本或程式碼）可用任何形式的程式語言編寫，包含編譯或直譯語言、宣告式或程序式語言，並且可部署於任何形式，包含作為獨立程式或作為模組、元件、子程式、物件或適用於計算環境的其他單元。計算機程式可以但不必對應於檔案系統中的檔案。程式可儲存在檔案的一部分中，該檔案保存其他程式或資料（例如：儲存在標記式語言檔案中的一或多個腳本）、儲存在專用於所討論的程式的單個檔案中、或儲存在多個協調文件中（例如：儲存一或多個模組、子程式或部分程式碼的檔案）。可部署計算機程式以在一個計算機上執行，或在位於一站點上或分佈在多個站點上並且透過通訊網路互連的多個計算機上執行。

本揭露中敘述的程序和邏輯流程可由執行一或多個計算機程式的一或多個可程式化處理器所執行，以透過對輸入資料進行運算並生成輸出來執行動作。程序以及邏輯流程也可由專用邏輯電路執行，並且裝置也可被實作為專用邏輯電路，例如現場可程式化邏輯閘陣列或專用積體電路。

舉例而言，適合於執行計算機程式的處理器包含通用及專用的微處理器，以及任何類型的數位計算機的任何一或多個處理器。一般而言，處理器將從唯讀記憶體或隨機存取儲存器或兩者接收指令和資料。計算機的基本元件是用於根據指令執行動作的處理器和用於儲存指令和資料的一或多個儲存器裝置。一般而言，計算機還將包含或可操作地耦合至用於儲存資料的一或多個大容量儲存裝置以與其收發資料，例如磁碟、磁光碟或光碟。然而，計算機並不需要具備這樣的裝置。除此之外，計算機可嵌入於另一個裝置中，例如行動電話、個人數位助理（Personal Digital Assistant，PDA）、行動音樂或影片播放器、遊戲主機、全球定位系統的接收器、或可攜式儲存裝置（例如：通用串列匯流排（Universal Serial Bus，USB）隨身碟）等裝置。適用於儲存計算機程式指令及資料的裝置包含所有形式的非揮發性儲存器、介質及儲存器裝置，包含例如半導體儲存器裝置（例如：抹除式可複寫唯讀記憶體（Erasable Programmable Read-Only Memory，EPROM）、電子抹除式可複寫唯讀記憶體（Electrically-Erasable Programmable Read-Only Memory，EEPROM）以及快閃記憶體）、磁碟（例如：內部硬盤或可移動磁盤）、磁光碟以及唯讀記憶光碟（CD-ROM）和數位多功能影音光碟（DVD-ROM）。處理器以及儲存器可由專用邏輯電路補充或併入專用邏輯電路中。

為了提供與使用者的互動，本揭露中敘述之標的之實施例可實作在具有顯示裝置（例如：陰極射線管（cathode ray tube，CRT）顯示器或液晶顯示器（liquid crystal display，LCD））的計算機上，以向使用者、鍵盤以及指示裝置（例如：滑鼠或軌跡球）顯示資訊，使用者可透過該等裝置向計算機提供輸入。其他類型的裝置也可用於提供與使用者的互動，舉例而言，提供使用者的回饋可以是任何形式的感覺回饋，例如視覺回饋、聽覺回饋或觸覺回饋，並且可以任何形式接收來自使用者的輸入，包含聲學、語音或觸覺輸入。除此之外，計算機可透過向使用者所使用的裝置發送檔案與從使用者所使用的裝置接收檔案來與使用者互動，例如透過響應於從網頁瀏覽器所接收的請求而將網頁發送到使用者的客戶端裝置上的網頁瀏覽器。

雖然本揭露包含許多具體實施細節，但這些實施細節不應被解釋為任何對發明或請求保護範圍的限制，而是作為針對特定發明的特定實施例的特徵的描述。本揭露中的各單獨實施例的上下文中所敘述的某些特徵也可在單一個實施例中組合實現。相對地，在單一個實施例的上下文中所敘述的各種特徵也可單獨地或以任何合適的子組合而在多個實施例中實現。除此之外，儘管上述特徵可被敘述為以某些組合的形式運作，且甚至本即以此形式請求保護，但是在某些情況下可從組合中切除來自所請求保護的組合的一或多個特徵，且因此所請求保護的組合可以是子組合或子組合的變化。

類似地，儘管在圖式中以特定的順序描繪了操作，但是不應被理解為必須以所示的特定順序或按順序執行該等操作，或者必須執行所示的所有操作才能實現理想的結果。在某些情況下，可採用多工處理以及平行處理。除此之外，上述實施例中的各種系統元件的各自分離不應被理解為在所有實施例中都需要如此，且應理解，所敘述的程式元件以及系統通常可整合於單一個軟體產品中或整合成多種軟體產品。

因此，已描述了標的之特定實施方式。其他實施方式也涵蓋在以下的申請專利範圍中。在一些情況下，權利要求中記載的動作可以以不同的順序執行並且仍然實現期望的結果。除此之外，圖式中描繪的程序不一定需要所示的特定順序或者依序才能實現理想的結果。在某些實施方式中，可採用多工處理以及平行處理。

本揭露已敘述了諸多實施例。然而，應理解，可針對本揭露的諸多實施例進行各種修改。舉例而言，儘管表示1200為二元表示，其中每個位元單獨表示圖中特徵的存在與否，但其他種類的資訊表示也是可能的。例如，可使用多值且非二元數字的向量或矩陣來表示例如特徵的存在與否以及這些特徵的可能的其他特性。這種特性的一個例子是構成該特徵的活動的邊的權重。

綜上所述，其他實施例也涵蓋在以下申請專利範圍的範圍內。

如下所示： 100‧‧‧遞迴人工神經網路裝置 101、102、103、104、105、106、107‧‧‧節點 110‧‧‧連結 400‧‧‧流程 405、410、415、420、425、430‧‧‧步驟 500‧‧‧模式／模式集合 505、510、515、520、525、530‧‧‧模式 600‧‧‧模式／模式集合 605、610‧‧‧模式 700‧‧‧模式／模式集合 705、710‧‧‧模式 800‧‧‧資料表 805、810‧‧‧列 905‧‧‧圖表 906、907、908、909‧‧‧垂直線 910‧‧‧圖表 915、920、925‧‧‧虛線矩形 930‧‧‧峰值／第一峰值 935‧‧‧峰值／第二峰值 940‧‧‧底線 1000‧‧‧流程 1005、1010、1015、1020‧‧‧步驟 1100‧‧‧流程 1105、1110‧‧‧步驟 1200‧‧‧表示 1200’‧‧‧近似 1205、1207、1211、1293、1294、1297‧‧‧位元 1500‧‧‧子圖 1505、1510、1515、1520‧‧‧節點 1525、1530、1535、1540、1545、1550‧‧‧邊 1600‧‧‧子圖 1605、1610、1615、1620‧‧‧節點 1625、1630、1635、1640、1645‧‧‧邊 1700‧‧‧分類系統 1705‧‧‧源神經網路裝置 1710‧‧‧線性分類器 1715‧‧‧輸入層 1720‧‧‧輸入 1725‧‧‧輸出 1800‧‧‧分類系統 1810‧‧‧神經網路分類器 1820‧‧‧輸入層 1825‧‧‧輸出層 1900‧‧‧分類系統 1905‧‧‧近似器／源近似器 1915‧‧‧輸入層 1920‧‧‧輸出層 2000‧‧‧分類系統 2100‧‧‧邊緣裝置 2110‧‧‧光學成像系統 2115‧‧‧圖像處理電子裝置 2120‧‧‧源近似器 2125‧‧‧表示分類器 2130‧‧‧通訊控制器與介面 2135‧‧‧資料端口 2200‧‧‧邊緣裝置 2215‧‧‧圖像處理電子裝置 2225‧‧‧表示分類器 2230‧‧‧通訊控制器與介面 2235‧‧‧資料端口 2240‧‧‧感測器 2245‧‧‧多輸入源近似器 2300‧‧‧系統 2305‧‧‧區域神經網路裝置／行動計算裝置 2310‧‧‧電話基地台 2315‧‧‧無線存取點 2320‧‧‧伺服器系統 2325‧‧‧資料通訊網路 2400‧‧‧系統 2410‧‧‧線性處理器 2420‧‧‧輸入 2425‧‧‧輸出 2500‧‧‧系統 2510‧‧‧神經網路 2520‧‧‧輸入層 2525‧‧‧輸出層 2600‧‧‧系統 2700‧‧‧系統 2800‧‧‧強化學習系統 2805‧‧‧深度神經網路 2810‧‧‧致動器 2815‧‧‧感測器 2820‧‧‧教師模組 2825‧‧‧資料來源 2830‧‧‧環境

第1圖例示了一種遞迴人工神經網路裝置的結構的示意圖。

第2圖及第3圖例示了遞迴人工神經網路裝置在不同時間窗中的功能的示意圖。

第4圖例示了一種基於網路中的活動的特徵化來識別遞迴人工神經網路中的決策時刻的流程的流程圖。

第5圖例示了一種可被識別且可用於識別遞迴人工神經網路中的決策時刻的活動模式的示意圖。

第6圖例示了一種可被識別且可用於識別遞迴人工神經網路中的決策時刻的活動模式的示意圖。

第7圖例示了一種可被識別且可用於識別遞迴人工神經網路中的決策時刻的活動模式的示意圖。

第8圖例示了一種可用於確認遞迴人工神經網路裝置中的活動模式的複雜度或活動模式中的排序程度的資料表的示意圖。

第9圖例示了一種確認具有可區分複雜度的活動模式的時間點的示意圖。

第10圖例示了一種基於網路中的活動的特徵化而使用遞迴人工神經網路對訊號進行編碼的流程的流程圖。

第11圖例示了一種基於網路中的活動的特徵化而使用遞迴人工神經網路對訊號進行解碼的流程的流程圖。

第12圖、第13圖及第14圖例示了拓撲結構的二元形式或表示的示意圖。

第15圖及第16圖例示了對應於不同位元的特徵的存在（presence）或不存在（absence）彼此間如何不互相獨立的示意圖。

第17圖、第18圖、第19圖及第20圖例示了在四種不同分類系統中使用神經網路中的活動中的拓撲結構的出現的表示的示意圖。

第21圖及第22圖例示了包含區域人工神經網路的邊緣裝置（edge devices）的示意圖，其中該區域人工神經網路可透過使用對應於源神經網路中的活動的拓撲結構的出現的表示來訓練。

第23圖例示了一種系統的示意圖，於該系統中可透過使用對應於源神經網路中的活動的拓撲結構的出現的表示來訓練該區域神經網路。

第24圖、第25圖、第26圖及第27圖例示了使用四種不同系統中的神經網路中的活動中的拓撲結構的出現的表示的示意圖。

第28圖例示了一種包含人工神經網路的系統的示意圖，該人工神經網路可透過使用對應於源神經網路中的活動的拓撲結構的出現的表示來訓練。

在圖示中相同元件符號表示相同的元件。

100‧‧‧遞迴人工神經網路裝置

101、102、103、104、105、106、107‧‧‧節點

110‧‧‧連結

Claims (20)

1. 一種將一人工神經網路中之活動特徵化之方法，該方法由一資料處理裝置所執行，且該方法包含： 將該人工神經網路中之活動特徵化，並且識別該人工神經網路中活動之多個團模式（clique patterns），其中活動之該等團模式包圍多個空腔（cavity）。
2. 如請求項1所述之方法，其中該方法還包含定義多個時間窗（window of time），且該人工神經網路之該活動於該等時間窗期間響應於該人工神經網路之一輸入，其中活動之該等團模式於該等時間窗的各個中被識別。
3. 如請求項2所述之方法，其中該方法還包含基於發生於該等時間窗中之一第一時間窗期間之活動之該等團模式之一可區分機率（distinguishable likelihood）識別該第一時間窗。
4. 如請求項1所述之方法，其中識別該等團模式是包含識別活動之多個有向團（directed clique）。
5. 如請求項4所述之方法，其中識別該等有向團是包含捨棄或忽略存在於更高維度之有向團中之低維度之有向團。
6. 如請求項1所述之方法，還包含： 區分該等團模式為多個類別；以及 根據該等團模式於各該類別之出現次數將該活動特徵化。
7. 如請求項6所述之方法，其中區分該等團模式是包含根據各該團模式中之一點數量（a number of points）來區分該等團模式。
8. 如請求項1所述之方法，還包含從該遞迴人工神經網路輸出由數字零與數字一所組成之一二元序列，其中該二元序列中之每一數字表示該人工神經網路中是否存在相應之一活動模式。
9. 如請求項1所述之方法，還包含： 建構該人工神經網路，包含： 讀取該人工神經網路所輸出之數字；以及 演化（evolving）該人工神經網路之一結構，其中演化該人工神經網路之該結構包含： 迭代地更改該結構； 將更改之該結構中活動之模式之複雜度特徵化 使用該模式之該複雜度之該特徵化來作為更改之該架構是否理想之一指標。
10. 如請求項1所述之方法，其中： 該人工神經網路為一遞迴人工神經網路（recurrent artificial neural network）；以及 該方法還包含： 基於確認在該遞迴人工神經網路中活動之模式之複雜度來識別在該遞迴人工神經網路中之多個決策時刻（decision moment），且識別該等決策時刻包含： 確認活動之一時間點，該活動相較於響應於該輸入之其他活動具有可區分之一複雜度；以及 基於具有可區分之該複雜度之該活動之該時間點來識別該等決策時刻。
11. 如請求項10所述之方法，還包含將一資料流（data stream）輸入至該遞迴人工神經網路；以及於輸入該資料流時識別活動之該等團模式。
12. 如請求項1所述之方法，還包含評估該活動是否響應於該人工神經網路之該輸入，且評估該活動是否響應於該人工神經網路之該輸入包含： 評估在該輸入事件後相對較早且相對較簡單之活動模式響應於該輸入，而在該輸入事件後相對較早且相對較複雜之活動模式不響應於該輸入；以及 評估在該輸入事件後相對較晚且相對較複雜之活動模式響應於該輸入，而在該輸入事件後相對較早且相對較複雜之活動模式不響應於該輸入。
13. 一種包含一或多個計算機之系統，該一或多個計算機執行以下運算： 將該人工神經網路中之活動特徵化，並且識別該人工神經網路中活動之多個團模式（clique patterns），其中活動之該等團模式包圍多個空腔（cavity）。
14. 如請求項13所述之系統，其中該等運算還包含定義多個時間窗（window of time），該人工神經網路之活動於該等時間窗期間響應於該人工神經網路之一輸入，其中活動之該等團模式於該等時間窗中被識別。
15. 如請求項14所述之系統，其中該等運算還包含基於活動之該等團模式之一可區分機率（distinguishable likelihood）識別該等時間窗中之一第一時間窗，且活動之該等團模式是發生於該第一時間窗。
16. 如請求項14所述之系統，其中識別該等團模式是包含捨棄或忽略存在於更高維度之有向團中之低維度之有向團。
17. 如請求項13所述之系統，其中該等運算還包含： 建構該人工神經網路，包含： 讀取該人工神經網路所輸出之數字；以及 演化（evolving）該人工神經網路之一結構，其中演化該人工神經網路之該結構包含： 迭代地更改該結構； 將該結構中之該等活動模式之複雜度特徵化 將針對該模式之複雜度之該特徵化用以指示所更改之該架構是否理想。
18. 如請求項13所述之系統，其中： 該人工神經網路為一遞迴人工神經網路（recurrent artificial neural network）；以及 該方法還包含： 基於確認該遞迴人工神經網路中之活動模式之複雜度來識別該遞迴人工神經網路中之多個決策時刻（decision moment），且識別該等決策時刻包含： 確認一活動之一時間點，該活動具有相較於其他響應於輸入之活動為可區分之一複雜度；以及 基於具有可區分之該複雜度之該活動之該時間點來識別該等決策時刻。
19. 如請求項18所述之系統，其中該等運算還包含將一資料流（data stream）輸入至該遞迴人工至神經網路；以及於輸入該資料流時識別活動之該等團模式。
20. 如請求項13所述之系統，其中該等運算還包含評估該活動是否響應於該人工神經網路之該輸入，且評估該活動是否響應於該人工神經網路之該輸入包含： 評估在該輸入之時刻後相對較早且相對較簡單之活動模式響應於該輸入，而在該輸入之時刻後相對較早且相對較複雜之活動模式不響應於該輸入；以及 評估在該輸入之時刻後相對較晚且相對較複雜之活動模式響應於該輸入，而在該輸入之時刻後相對較早且相對較複雜之活動模式不響應於該輸入。

Images