TW202137071A - 解釋與改善循環神經網路的處理結果的方法 - Google Patents

Abstract

一種方法包含：在一循環人工神經網路中定義多個不同的時間窗，其中該多個不同的時間窗各自具有不同的持續時間、不同的開始時間、或不同的持續時間以及不同的開始時間；辨識該循環人工神經網路中的活動的多個拓撲圖型在該多個不同的時間窗中的出現；比較該多個拓撲圖型在該多個不同的時間窗中的出現；以及基於一比較結果，將一第一決策歸類為比一第二決策更不穩健，該第一決策由一第一時間窗中出現的一第一拓撲圖型所表示，該第二決策由一第二時間窗中出現的一第二拓撲圖型所表示。

Description

解釋與改善循環神經網路的處理結果

本發明是關於循環神經網路（recurrent neural network），且更具體而言，本發明是關於解釋（interpret）及／或改善在循環神經網路中的決策決定（decision making）的穩健性（robustness）。

人工神經網路是受生物神經元網路的結構及功能態樣啟發的裝置。具體而言，人工神經網路使用被稱為節點的一互連構建系統來模擬生物神經元網路的資訊編碼及其他處理能力。一人工神經網路中節點之間連接的排列及強度決定了由該人工神經網路進行資訊處理或資訊儲存的結果。

可訓練神經網路以在網路內產生一期望的訊號流，並達成期望的資訊處理或資訊儲存結果。一般而言，在一學習階段期間，訓練一神經網路將改變節點之間的連接的排列及／或強度。該訓練將被導向實現某些處理結果。該些處理結果應與一組實例一致，例如一訓練組（training set）。當一神經網路對於給定的幾組輸入達成足夠恰當的處理結果時，可將該神經網路視為經過訓練。

由於訓練是由神經網路執行的處理的基礎，因此神經網路一般不能對在形式或類型上偏離訓練集中的資料的資料進行處理。事實上，即使內容的相同類型存在，看似微不足道的干擾（至少以人類的角度來看的）可導致截然不同的處理結果。

一個實例是在影像分類（image classification）中所謂的「對抗例（adversarial examples）」。許多影像分類器對於輸入資料的微小的（再次地，以人類觀察者的角度來看的）、非隨機的干擾很敏感。雖然影像分類器可正確地將一影像進行分類，然而該相同影像的微小干擾可能導致影像分類器將干擾的影像分錯類別。換言之，在影像空間中，各類別看似相交於該些對抗例的區域中，即使他們已經在其他地方被明確定義。

本發明的方法及裝置解釋在循環神經網路中的決策決定以及改善在循環神經網路中的決策決定的穩健性。簡言之，循環神經網路固有地展現了時間動態行為（temporal dynamic behavior）。響應於輸入的循環神經網路中的活動隨時間而出現。舉例而言，資訊結果的處理可被反饋至已經執行其他處理運作的節點。作為另一實例，透過網路的正向傳導（forward propagation）可包含用於協調資訊到達的延遲。

因為這樣的時間動態行為，循環神經網路對於一給定的輸入的響應可反映出該網路的前一個輸入。舉例而言，處於靜態的（quiescent）一循環神經網路對於一給定的輸入的響應可能與當其仍在對前一個輸入做響應時所做的響應不同。

本發明的方法及裝置開發了循環神經網路的時間動態行為以提供改善的資訊處理並提供更穩健的輸出（以及該輸出的解釋）。循環神經網路的時間動態行為被解釋為一種處理，透過該處理，相關的處理結果被逐步增強或甚至被放大，且不相關的處理結果被逐漸減弱或甚至被消除。該增強及／或減弱可反映基於以下的決策： -隨著時間變化的輸入的更大的樣本（例如，視訊或音訊流的更長的樣本）； -無變化輸入的重複的輸入； -輸入資料的不同類別（例如，音訊、視訊、影像、物理參數）；及 -循環神經網路中非專門或甚至為通用處理活動所產生結果的集合。

循環神經網路中的這些特徵的實施方式可有助於改善在循環神經網路中的決策決定的穩健性，亦改善循環神經網路輸出的解釋。循環神經網路中的資訊處理可隨著時間逐步增強。依靠不同類別的輸入資料和更長的輸入資料持續時間可防止雜訊、故障、或甚至來自網路的過度干擾資訊處理的一個類別的對抗式干擾（adversarial perturbation）。非專門處理活動允許決定決策時使用上下文（context）。

在一種態樣中，包含編碼於電腦儲存媒體的電腦程式的方法、系統以及裝置被描述。舉例而言，一方法包含：在一循環人工神經網路中定義多個不同的時間窗，其中該多個不同的時間窗各自具有不同的持續時間、不同的開始時間、或不同的持續時間以及不同的開始時間；辨識該循環人工神經網路中的活動的多個拓撲圖型在該多個不同的時間窗中的出現；比較該多個拓撲圖型在該多個不同的時間窗中的出現；以及基於一比較結果，將一第一決策歸類為比一第二決策更不穩健，該第一決策由一第一時間窗中出現的一第一拓撲圖型所表示，該第二決策由一第二時間窗中出現的一第二拓撲圖型所表示。

在另一態樣中，包含編碼於電腦儲存媒體的電腦程式的方法、系統以及裝置被描述。舉例而言，在一循環人工神經網路中定義一第一時間窗及一第二時間窗，其中該第一時間窗在該第二時間窗之前開始；辨識該循環人工神經網路中的活動的一拓撲圖型，該拓撲圖型出現在該第一時間窗中但不在該第二時間窗中；以及調整該循環人工神經網路的一或多個特性，以減弱或消除該拓撲圖型在該第一時間窗中的出現。

這些以及其他態樣可包含一或多個以下特徵。該第一時間窗可在該第二時間窗之前開始。可將多筆資料陸續輸入至該循環人工神經網路，並且可陸續辨識該多個拓撲圖型在該多個不同時間窗中的出現，該多個不同時間窗是相對於被陸續輸入的該多筆資料而被定義。該多個不同時間窗可各自為了辨識該多個拓撲圖型而定義多個開始時間、多個持續時間、或多個開始時間以及多個持續時間。該多個不同時間窗可各自定義至少二個持續時間，其中較長的一持續時間被定義以辨識較複雜的一拓撲圖型，而較短的一持續時間被定義以辨識較不複雜的一拓撲圖型。該多個不同時間窗可各自定義至少二個開始時間，其中較早的一開始時間被定義以辨識該循環人工神經網路的一區域中主要受到一單一類別的輸入資料干擾的一拓撲圖型，而較晚的一開始時間被定義以辨識該循環人工神經網路的一區域中融合多個類別的輸入資料的一拓撲圖型。可調整該循環人工神經網路的一或多個特性，以減弱或消除由一第一時間窗中出現的一第一拓撲圖型所表示的該第一決策。該多個拓撲圖型的出現可透過以下方式進行比較：將多個二進位數字的一第一集合減去多個二進位數字的一第二集合，其中各個二進位數字指示各自的一拓撲圖型是否出現。該多個拓撲圖型的出現可透過以下方式而被辨識：辨識多個單形圖型的出現。舉例而言，該多個單形圖型可封閉空腔。可透過以下方式辨識該拓撲圖型的出現：比較出現在該第一時間窗中的多個拓撲圖型的一集合以及出現在該第二時間窗中的多個拓撲圖型的一集合。可透過以下方式比較多個拓撲圖型的集合：將多個二進位數字的一第一集合減去多個二進位數字的一第二集合，其中各個二進位數字指示各自的一拓撲圖型是否出現。可在一時間點將一第一資料輸入至該循環人工神經網路，使得該循環人工神經網路在該第一時間窗的期間受到該第一資料干擾。可在一時間點將一第二資料輸入至該循環人工神經網路，使得該循環人工神經網路在該第二時間窗的期間受到該第二資料干擾。該第一資料及該第二資料可以不是具有一相同主題的第一圖像和第二圖像，就是共享一文本特徵的第一文本片段和第二文本片段。該第一時間窗及該第二時間窗可各自定義較長的一持續時間以辨識較複雜的一拓撲圖型，以及定義較短的一持續時間以辨識較不複雜的一拓撲圖型。該第一時間窗可被定義以辨識該循環人工神經網路的一區域中主要受到一單一類別的輸入資料干擾的一拓撲圖型。該第二時間窗可被定義以辨識該循環人工神經網路的一區域中融合多個類別的輸入資料的一拓撲圖型。可透過以下方式辨識多個拓撲圖型的出現：辨識多個單形圖型的出現。該多個單形圖型可封閉空腔。

在圖式及以下說明中闡述了一或多個本發明的實施例的細節。根據以下說明及圖式、以及申請專利範圍，本發明的其他特徵、目的及優點將變得顯而易見。

可將循環人工神經網路構建成實施各種不同的連接，該些連接隨著時間在整個網路中傳遞資訊。該些連接可在網路中向前或向後提供資訊，並且可以在各種不同層級以及時間尺度上實施。舉例而言，連接可被實施在主要被一類型的輸入資料所干擾的一區域或其他集合或節點的層級上。作為另一實例，連接可被實施在主要被不同類型的輸入資料所干擾的不同區域之間。在不同情況下，資訊傳輸的時間尺度也可能有所不同。

考慮到這一點，在一些實施方式中，可將循環神經網路對輸入的響應視為漸進式的確定的過程。響應於一類型的輸入資料的瞬間的干擾不僅與響應於其他類型的輸入資料的干擾互相融合或合成，該瞬間的干擾還與響應於相同類型在不同時間點出現的輸入資料互相融合或合成。該融合或合成可逐步地放大相關的干擾及／或逐步地減緩不相關的干擾。在循環神經網路中相關的子網路可為在運作的。若接收到足夠的輸入，甚至可得出低可能性的結論。此外，這些結論是穩健的，並且對雜訊、故障、甚至對抗式攻擊均不敏感。

第1圖是對來自多個不同感測器的資料50進行抽取及聚類的一人工神經網路系統100的一實施方式的示意性表示圖。人工神經網路系統100包含輸入105的一集合、一循環神經網路110、輸出115的一集合、以及一時間窗定義單元125。時間窗定義單元130可被用於確定某些決策不如其他的一樣穩健以及例如可能為雜訊、故障、或甚至對抗式攻擊。在一些實施方式中，如下所述，時間窗定義單元130可被用於改善循環神經網路110的穩健性。

資料 50

在一些實施方式中，循環神經網路110可被耦合以接收來自多個不同感測器的資料50。感測器可以是例如將不同物理性質轉換成資料的換能器或僅感測資料的裝置，例如感測一文件或資料流的內容的裝置。資料50可具有不同格式或其他特徵。舉例而言，某些類別的資料50（例如，視訊或音訊資料）可在時間上相對快速地改變，而其他類別的資料50（例如，靜止影像或溫度）可能相對緩慢地改變或完全不改變。

在所示的實施方式中，資料50包含來自例如一麥克風的聲音資料60、來自例如一靜態照相機的靜止影像資料62、來自例如一攝影機的視訊資料64、以及來自例如一溫度感測器的溫度資料66其中之一或多者。此僅用於說明目的。資料50不需要包含聲音資料60、靜止影像資料62、視訊資料64、溫度資料66其中之一或多者。此外，資料50可包含多種其他不同類型的資料（包含例如壓力資料、化學成分資料、加速度資料、電資料、位置資料等）其中之一或多者。來自一感測器的資料50在輸入至循環神經網路110中之前可經歷一或多個處理動作。此類處理動作的實例包含例如在一人工神經網路裝置中的振幅縮放、時間編碼、時間或相位偏移、非線性處理。

在其他實施方式中，只接收了單一類型的輸入資料。

網路輸入 105

在所示的實施方式中，輸入105被示意性地表示為多個節點的一明確定義的輸入層，每個節點被動地將輸入傳達至循環神經網路110中的一或多個位置。然而，情況未必如此。舉例而言，在某些實施方式中，一或多個輸入105可在資料被傳送至循環神經網路110之前對輸入資料的某些部分或全部的輸入資料進行縮放、相位偏移、或其他處理。作為另一實例，資料可被投入整個循環神經網路110的不同層及／或邊緣或節點中，即，無此種正式的輸入層。舉例而言，一使用者可指定將資料投入分佈在整個循環神經網路110中的具體節點或連結中。作為另一實例，循環神經網路110不需要被限制為以一已知的、先前定義的方式接收輸入（例如，總是將一第一位元投入一第一節點，將第二位元投入一第二節點……以此類推）。相反，一使用者可指定將資料中的某些位元投入邊緣而非節點中、投入的順序不必遵循位元出現的順序、或者該等及其他參數的組合。然而，為方便起見，在本文中將保持作為一輸入層的輸入105的表示。

循環神經網路 110

在循環神經網路中，節點之間的連接沿著一時間序列形成一定向圖，並且網路表現出時間動態行為。在某些實施方式中，循環神經網路110為在一生物系統上建模的一相對複雜的神經網路。換言之，循環神經網路110自身可對一生物系統的形態、化學及其他特徵的程度進行建模。一般而言，在生物系統上建模的循環神經網路110是在一或多個具有相對高水準的計算效能的計算裝置上實施。

與例如傳統的前饋神經網路相反，在生物系統上建模的循環神經網路110可顯示背景（context）或其他不響應輸入的資料的活動。事實上，即使在不存在輸入的資料的情況下，此種循環神經網路110中亦可能存在活動。然而，在輸入資料時，循環神經網路110將受到干擾。由於此循環神經網路110對干擾的響應可能部分取決於輸入資料時循環神經網路110的狀態，因此循環神經網路110對輸入的資料的響應亦可能取決於背景或循環神經網路110中已經存在的其他活動。然而，即使一神經網路中的此種活動不僅對資料的輸入作出響應，但其對輸入的資料作出響應。

循環神經網路110對輸入資料的響應可被讀取為多個拓撲圖型的一集合。具體來說，在輸入資料時，循環神經網路110將以某種活動作出響應。該活動將包含： -與所定義的拓撲圖型不相符的活動，以及 -與所定義的拓撲圖型相符的活動。

循環神經網路110中與所定義的拓撲圖型不相符的活動在某些情況下可能是輸入的資料的特徵的不正確或不完整的抽取，或是對輸入資料的其他操作。循環神經網路110中與拓撲圖型相符的活動可抽取輸入的資料的不同特徵。依據應用，每個抽取的特徵可能或多或少有用。藉由將表示120限制為某些拓撲圖型的表示，不正確或不完整的抽取以及與一特定應用無關的特徵的抽取二者皆可被「過濾掉」並自表示120中排除。

有時，循環神經網路110將用一或多個相同的拓撲圖型對來自不同感測器的資料的輸入作出響應，即使其他拓撲圖型不同。舉例而言，循環神經網路110可用表示「熱」的一定性評估的一拓撲圖型來對一溫度讀數或一沙漠的一靜止影像作出響應，即使其他拓撲圖型亦為對每個輸入的響應的一部分。類似地，循環神經網路110可用表示「完成」的一定性評估的一拓撲圖型對一音樂作品的結束或帶有碎屑的一碟子的一靜止影像作出響應，即使其他拓撲圖型亦為對每個輸入的響應的一部分。因此，有時，可自具有不同來源及不同格式的資料中抽取出相同的特徵。

有時，循環神經網路110用表示來自不同感測器的資料的特徵的合成或融合的一或多個拓撲圖型來對來自不同感測器的資料的輸入作出響應。換言之，單個此種圖型可表示對存在於不同類型的資料中的相同特徵的抽取。一般而言，來自不同感測器的資料的融合或合成將發揮作用以使得此種圖型出現或具有此種圖型的活動的強度增加。換言之，來自不同感測器的資料可充當在不同輸入資料中存在相同特徵的「確證」。

在某些情況下，僅在來自不同感測器的資料中存在某些特徵時，才會出現代表來自不同感測器的資料的特徵的合成或融合的拓撲圖型。循環神經網路110可實際上充當「及閘（AND gate）」，並且需要來自不同感測器的資料中存在某些特徵，以便使活動的某些圖型出現。然而，情況未必如此。相反，響應於來自不同感測器的資料，形成一圖型的活動的幅度可增加，或者活動的定時（timing）可縮短。實際上，活動的拓撲圖型（以及其在表示120中的表示）表示在一非常豐富的狀態空間中對輸入資料的特徵的抽取。換言之，活動的拓撲圖型及其表示未必是處理輸入資料的預定義「結果」，乃因舉例而言，一是/否（yes/no）分類是由一分類器產生的預定義結果，一組相關輸入是由一聚類裝置產生的預定義結果，或者一預測是由一預測模型產生的預定義結果。確切而言，拓撲圖型是對輸入資料的特徵的抽取。儘管該狀態空間有時可能包含例如一是/否分類等抽取，但該狀態空間並非僅限於該等預定義結果。

此外，拓撲圖型可僅抽取輸入資料的一部分（例如，一影像的一特定區域、或一視訊或音訊流中的一特定時刻、或例如一畫素等輸入的一特定細節）的特徵，而非抽取整個輸入資料的特徵。因此，抽取的狀態空間既不限於任一預定義類型的結果（例如，分類、聚類或預測），亦不限於整個輸入資料的抽象形式。確切而言，拓撲圖型是一種工具，該工具允許讀取由一高維、非線性、循環動態系統（即，循環神經網路110）進行的處理。拓撲圖型提取循環神經網路110中出現的來自不同感測器的資料的相關性，包含將資料融合成一更完整的「整體」的相關性。此外，由於神經網路的循環性質，融合隨時間發生。當完成初始操作或抽取時，可以將這些初始操作或抽取的結果與同時或較晚完成的其他操作或抽取的結果融合。因此，融合發生的時間不同於、晚於初始操作或抽取發生的時間。

儘管來源以及格式不同，但循環神經網路110仍能從資料中抽取特徵。舉例而言，循環神經網路110可抽取出： -物理特性（例如，顏色、形狀、定向、速度）， -類別（例如，汽車、貓、狗），及／或 -抽象定性特性（abstract qualitative traits）（例如，「活」對「死」、「光滑」對「粗糙」、「有生命的」對「無生命的」、「熱」對「冷」、「開」對「關」）。

若要將資料限制為來自少量感測器，則循環神經網路110可能不太可能以某些方式自該感測器抽取資料。舉例而言，循環神經網路110可能不太可能將溫度資料自身抽取成與像形狀或定向等空間特性對應的活動的一圖型。然而，由於來自不同感測器的資料被輸入至循環神經網路110中，因此由不同的輸入資料引起的干擾彼此相遇，並且可共同影響循環神經網路110中的活動。因此，循環神經網路110可將輸入資料抽取成不同的或更確定的活動的圖型。

舉例而言，可能存在一定程度的與一圖型的存在與否相關的不確定性。若輸入資料包含來自不同範圍的感測器的資料，則隨著來自不同感測器的資料在循環神經網路110內被合成或融合，圖型的多樣性及圖型的確定性二者皆可增加。類比而言，在火車站坐在火車上的一乘客可向窗外望去，並看到一列相鄰的火車似乎在移動。該同一乘客亦可例如感受到來自座椅的向前壓力。此種資訊的融合或合成增加了乘客對乘客的列車而非相鄰的列車正在移動的確定程度。當神經網路接收到不同的輸入資料時，由該資料引起的干擾可被共同抽取成不同的或更確定的活動的圖型。

循環神經網路110處理來自不同感測器的輸入資料的能力亦為對該資料的抽取提供了一定程度的穩健性（robustness）。舉例而言，一群組中的一個感測器可能變得不準確或者甚至不起作用，但循環神經網路110仍可繼續自其他感測器抽取資料。循環神經網路110常常會將來自其他感測器的資料抽取成若所有的感測器都如所設計般發揮作用的話將會出現的該活動的相同圖型。然而，在某些情況下，該等抽取的確定性可能會降低。然而，即使將出現此種問題，抽取亦可繼續。

此外，形成循環神經網路110的該多個連結與節點的多個特徵可以提高循環神經網路的穩健性。一個示例性的特徵是連接到多個節點的多個連結的較大扇出（fan-out）及／或較大扇入（fan-in）。在這種情況下，扇出是從節點或連結的單個輸出接收的輸入的節點或連結的數量。扇入是節點或連結接收的輸入數量。巨大的扇入和扇出透過上述虛線連結而被示意性地繪示。

在一些實施方式中，單個節點可以將訊號輸出到10至10^6個其他節點（例如10^3至10^5個其他節點）。在一些實施方式中，單個節點可以從10到10^6個其他節點（例如10^3到10^5個其他節點）接收訊號。這種相對較大的扇出導致每個節點的處理結果非常顯著地分佈。此外，這種相對較大的扇入允許每個節點基於來自大量不同節點的輸入進行處理。任何特定的錯誤（在輸入資料中，或在循環神經網路本身內的節點和連結中）都不太可能導致災難性故障。

能夠提高循環神經網路的穩健性的另一個示例性的特徵是神經網路內資訊的非線性傳輸。舉例而言，循環神經網路110中的連結可以是例如基於給定時間內的尖峰（spike）數量而能夠攜帶資訊的尖峰狀傳輸。作為另一實例，循環神經網路110中的節點和連結可以具有非線性激活功能，包含類似於生物神經元的激活功能的激活功能。

能夠提高循環神經網路的穩健性的另一個示例性的特徵是各個節點之間的多連結（multi-link）連接。在某些情況下，這樣的多個連結可能純粹是多餘的，並且在連接的節點之間以完全相同的方式傳遞完全相同的資訊。然而，一般而言，多個連結不會以完全相同的方式傳遞完全相同的資訊。舉例而言，可以透過不同的連結來傳遞不同的處理結果。作為另一個實例，多個連結可以傳遞相同的結果，但使得該結果在不同的時間到達目的地節點及／或在接收節點處具有不同的結果。

在一些實施方式中，循環神經網路中的連結可以是抑制性的或激勵性的。抑制連結使接收節點輸出特定訊號的可能性降低，而激勵連結使接收節點輸出特定訊號的可能性更高。在一些實施方式中，節點可以透過多個激勵連結（例如，2至20個連結，或3至10個連結）連接。在一些實施方式中，節點可以透過多個抑制連結（例如，5至40個連結，或10至30個連結）連接。

多連結連接既在節點之間提供了穩健的連接，又有助於避免完全確定性的處理。如下所述，能夠有助於穩健性的另一個特徵是節點之間的資訊的非確定性的傳輸。任何特定的錯誤（在輸入資料中，或在循環神經網路本身內的節點和連結中）都不太可能導致災難性故障，因為非確定性的資訊是透過多連結連接進行分佈式傳輸的。

能夠提高循環神經網路的穩健性的另一個示例性的特徵是各個節點之間的非確定性的傳輸。確定性的系統是一種無隨機性地發展未來狀態的系統。對於給定的輸入，確定性系統將始終產生相同的輸出。在本文中，對於給定的一組輸入資料，節點之間的非確定性的傳輸允許傳輸到另一個節點（或甚至自循環神經網路輸出）的訊號中具有一定程度的隨機性。輸入資料不僅是從整體地被輸入至循環神經網路的資料，還包含循環神經網路內各個節點接收的訊號。

這種隨機性可以以各種方式被引入訊號的傳輸中。舉例而言，在一些實施方式中，節點的行為可以是非確定性的。決策門檻值、時間常數、和其他參數可以隨機變化，以確保給定節點在任何時候都不會對相同的輸入訊號做出相同的響應。作為另一個實例，連結本身可以是非確定性的。舉例而言，傳輸時間和幅度衰減（amplitude attenuations）可以隨機變化，以確保給定的連結不會始終都相同地傳遞相同的輸入訊號。

再舉例而言，循環神經網路的行為整體上可以是非確定性的，且這種行為可以影響節點之間的訊號傳輸。舉例而言，循環神經網路可以顯示背景或其他不依賴於輸入資料的活動，例如即使沒有輸入資料也呈現。即使節點和連結本身是確定性定義的，這種活動的背景水準也可能導致各個節點之間的非確定性傳輸。

透過在訊號傳輸中引入一定程度的可變性（variability），循環神經網路內的處理將固有地容許較小的偏差。具體而言，即使在輸入資料或節點中存在故障（不論在輸入資料中，或在循環神經網路本身內的節點和連結中），儘管循環神經網路內訊號傳輸存在一定程度的變化但仍可以產生有意義結果的循環神經網路，也將能夠產生有意義的結果。循環神經網路的效能將適度降低，而不是災難性的降低。

為了完整性，單個循環神經網路110不需要同時具有所有這些特徵，以具有改善的穩健性。相反地，這些特徵的組合，或甚至這些特徵中的單個特徵可以在某種程度上改善穩健性。

網路輸出 115 與表示 120

循環神經網路110對資料的抽取可以從輸出115讀取為例如（通常是二進位的）數字（digits）的集合，每個數字代表響應於輸入資料的循環神經網路110中的活動的相應拓撲圖型的存在或不存在。在某些情況下，表示120中的每個數字表示循環神經網路110中相應活動圖型的存在或不存在。表示120只是示意性地被繪示，且表示120可以是例如數字的一維向量，數字的二維矩陣、或其他數字的集合。一般而言，表示120中的數字將是二進位的，而且以是／否的方式指示活動的一圖型是否存在。然而，情況未必如此。相反地，在一些實施方式中，表示120中的數字將是多值的（multi-valued）。該等值可指示循環神經網路110中活動的一相應圖型的存在與否的特徵。舉例而言，該等值可指示活動的強度或活動的一具體圖型實際存在的一統計概率（statistical probability）。舉例而言，幅度相對較大或在相對較短的時間窗內發生的活動可被視為指示已經達成或有可能已經達成的一具體操作。相比之下，幅度相對較小或在相對較長的時間內發生的活動可被認為不太可能指示已經達成了一具體決策。

在任何情況下，活動的響應圖型表示由循環神經網路110對輸入資料執行的特定操作。操作可以是任意複雜的。單個數字可對一任意複雜的操作進行編碼，且一組數字可傳送一組操作，每個操作具有任意的複雜程度。

此外，活動的拓撲圖型（以及其在表示120中的表示）可以是「通用的（universal）」，乃因其不依賴於輸入至神經網路中的資料的來源，也不依賴於表示129所應用的應用程式。相反地，活動的拓撲圖型表示被輸入至循環神經網路110的資料的抽取特徵，而無論該資料的來源為何。

一般而言，活動的多個拓撲圖型將響應於單個輸入而出現，而無論該輸入是離散的（例如，靜態照片或來自量測一物理參數的一換能器的單個讀數）還是連續的（例如，視訊或音訊流）。輸出的表示120因此可表示響應於輸入資料在活動的圖型中出現的拓撲結構的存在與否，即使在生物系統上建模的一相對複雜的循環神經網路中亦為如此。

在所示的實施方式中，輸出115示意性地表示為一多節點輸出層。然而，輸出115不需為多節點輸出層。舉例而言，輸出節點115可以是個別「讀取器節點」，其辨識在循環神經網路110中的一特定節點集合處活動的一特定圖型的出現，並因此讀取循環神經網路110的輸出。當且僅當一特定節點集合處的活動滿足定時（以及可能的幅度或其他參數）標準時，讀取器節點才能觸發。舉例而言，輸出節點115可連接至循環神經網路110中的一節點集合，並基於例如以下來指示拓撲結構的存在與否：跨越一相應臨限值激活水準（threshold activation level）的每一個別節點的活動水準、跨越一臨限值激活水準的該等節點的活動水準的一加權和、或者跨越一臨限值激活水準的該等節點的活動水準的一非線性組合。

表示120中的資訊以全息方式表示（holographically represented），即關於單個數字的值的資訊分佈在表示120的集合中其他數字的值上。換言之，表示120中的數字的隨機子集亦含有關於由循環神經網路110對輸入而執行的操作的資訊，只是其解析度低於表示120中的所有數字皆存在時將存在的解析度。如下文進一步論述，不同的拓撲圖型具有不同的複雜程度。某些相對更複雜的圖型可包含相對不太複雜的圖型。此外，簡單的圖型可組裝成更複雜的圖型。此外，由某些數字表示的相對較高水準的抽取可能在某種程度上與由其他數字表示的其他抽取相關。舉例而言，表示像「活」等抽象定性性質的出現的一數字可與表示像「有生命的」等定性性質的一數字相關。關於某些拓撲圖型的出現的資訊因此固有地包含關於其他拓撲圖型的出現的某些資訊。

為方便起見，本申請案的其餘部分將表示120稱為二進位位元的集合（a collection of binary bits），且圖式將以同樣方式繪示。然而，應理解，在所有情況下，表示120的數字亦可以是多值的，以對由網路執行的操作的各種態樣進行編碼。

時間窗定義單元 125

如上述說明，可將循環神經網路對輸入的響應視為漸進式的確定的過程，其中響應於瞬間的輸入的干擾與響應於先前的輸入的干擾互相合成或融合。該些干擾使得由表示120中的數字表示活動的拓撲圖形出現。

時間窗定義單元125是一種裝置，其被配置以定義不同的時間窗，以偵測活動的拓撲圖型以及在表示120中對應的表示。一般來說，時間窗定義單元125可定義時間窗的持續時間以及時間窗的時間點。

另外，在人工循環神經網路裝置中，時間是人工的，且使用數學結構來表示。舉例而言，這些訊號不需要真實世界流動的時間以將訊號從節點傳輸至節點，反而可用人工的單位來表示，該些人工的單位通常與真實世界流動的時間無關，而以電腦時鐘週期或其他方式來測量。儘管如此，人工循環神經網路裝置的狀態可被描述為「動態的」，因為它會根據這些人工單位而改變。為了便於說明，這些人工的單位在此稱為「時間（time）」。然而，應理解，這些單位是人工的（即使他們在生物系統上緊密建模的循環神經網路中縮放到現實世界的時間），並且通常無法對應真實世界流動的時間。

此外，本文所述的用以偵測活動的拓撲圖型的「時間窗（window）」不必限於時間的單一持續時間。如下所述，有多種因素能夠影響循環神經網路中的活動的拓撲圖型的時間點。這些因素包含例如，拓撲圖型的複雜性以及辨識出活動的拓撲圖型的區域。考慮到這些因素，為了不同圖型的辨識，單個「時間窗」可被定義以具有不同的持續時間及／或不同的開始時間。舉例而言，為了相對簡單的活動的拓撲圖型的辨識，單個「時間窗」可被定義為具有相對較短的持續時間，但為了相對複雜的活動的拓撲圖型的辨識，則可被定義為具有相對較長的持續時間。上述持續時間可基於一些與循環神經網路中的各種參數相關聯的因素（例如，傳輸延遲、響應時間，以及減弱時間）而被定義。作為另一實例，為了神經網路的不同區域的活動的不同圖型的辨識，單個「時間窗」可被定義為具有多種不同的開始時間。舉例而言，主要只受到單一類別的輸入資料所干擾的區域的單個時間窗的開始時間可早於融合多個類別的輸入資料的區域的相同單個時間窗的開始時間。再次強調，上述開始時間可基於一些與循環神經網路中的各種參數相關聯的因素（例如，傳輸延遲、響應時間，以及減弱時間）而被定義。

回到時間窗定義單元125，不同的時間窗可被裁適（tailored）以達到多個不同目的。例如：

內部圖型的時間窗（Inter-pattern Window）的定義：如下所述，不同的活動的拓撲圖型可具有不同的複雜性。在一些實施方式中，時間窗定義單元125可定義不同持續時間的時間窗以容納不同複雜性的不同圖型。舉例而言，相較於辨識與相對簡單的拓撲圖型相符的活動，當要辨識與相對複雜的拓撲圖型相符的活動時，時間窗定義單元125可定義更長的持續時間的時間窗。

用於響應於輸入持續時間的時間窗的定義：某些類型的輸入固有地以相對較長的持續時間出現（例如，視訊或是音訊流），而其他類型的輸入固有地以相對較短的持續時間出現（例如，靜態影像或是單一資料點）。根據輸入的持續時間以及輸入的出現時間，響應於不同輸入而出現的拓撲圖型的時間可以被縮放且偏移。在一些實施方式中，相較於辨識響應於相對較短持續時間的輸入的活動，當要辨識響應於相對較長持續時間的輸入的活動時，時間窗定義單元125可定義較長的持續時間窗及／或時間上較晚出現的時間窗。

擷取融合輸入的抽取的時間窗的定義：在一些實施方式中，來自不同感測器的輸入資料的抽取可以在時間上晚於來自不同感測器的輸入資料的抽取，並且需要相對更長的持續時間。舉例而言，如第5圖所示，循環神經網路的不同區域可能主要受到單一類別的輸入資料所干擾。相較於基於單一類別的輸入資料的決策及抽取，融合不同類別的輸入資料的決策及抽取可在時間上較晚出現且需要相對較長的持續時間。相較於辨識響應於來自單一感測器的資料的活動，當要辨識響應於來自不同感測器的資料的活動時，時間窗定義單元125可定義較長的持續時間窗及／或在時間上較晚出現的時間窗。

用於測量確定性的時間窗的定義：在一些實施方式中，可定義時間窗以監視決策的確定的變化。具體而言，輸入資料的初始抽取可能是不完整及／或不精確的。由於循環神經網路隨著時間處理資訊，並具有反饋迴路以及節點及／或連結的狀態的長期變化，相關的處理結果可被逐步增強或甚至被放大，且不相關的處理結果可被逐漸減弱或甚至被消除。相較於辨識比較不確定的活動，當要辨識代表更高確定性的結果的活動時，時間窗定義單元125可定義更長的持續時間窗及／或在時間上較晚出現的時間窗。

用於辨識對抗式攻擊的時間窗的定義：在一些實施方式中，可定義時間窗以辨識在網路上的對抗式攻擊。影像分類器及其他神經網路能夠對於輸入資料的微小、非隨機的干擾很敏感。這種微小、非隨機的干擾在短時間尺度（即，在相關處理結果逐步被增強之前、在不相關的處理結果逐步被減弱之前、在出現在相對長的持續時間的輸入已經全部被輸入之前，及／或在來自不同感測器的輸入資料被融合之前）上的影響最大。當辨識出在輸入不久之後或在短持續時間的時間尺度下出現的活動時，時間窗定義單元125可利於辨識循環神經網路上的（企圖的）對抗式攻擊。

第2圖是可被辨識並「讀取」以自循環神經網路110（第1圖）產生數字的集合（表示）120的活動的圖型400的表示圖。

圖型400是在一循環人工神經網路內的活動的表示。為讀取圖型400，一功能圖被視為以節點為點的一拓撲空間。與圖型400相符的節點及連結中的活動可被辨識為有序的，而無論參與該活動的特定節點及／或連結的身份如何。在所示的實施方式中，圖型400皆為定向集團（directed cliques）或定向單形（directed simplices）。在此類圖型中，活動來自於一源節點，該源節點將訊號傳輸至圖型中的每一其他節點。在圖型400中，此類源節點被指定為「點0」，而其他節點被指定為「點1」、「點2」…等等。此外，在定向集團或定向單形中，該等節點其中之一充當一接收裝置（sink），且接收自圖型中的每個其他節點傳輸的訊號。在圖型400中，此類接收裝置節點被指定為圖型中編號最高的點。舉例而言，在圖型405中，接收裝置節點被指定為「點2」。在圖型410中，接收裝置節點被指定為「點3」。在圖型415中，接收裝置節點被指定為「點3」，以此類推。由圖型400表示的活動因此以可區分的方式排序。

每個圖型400具有不同數量的點，並且反映不同數量的節點中的有序活動。舉例而言，圖型405是二維單形並反映三個節點中的活動，圖型410是三維單形並反映四個節點中的活動，以此類推。隨著圖型中點數的增加，活動的有序程度及複雜程度亦增加。舉例而言，對於在一窗內具有一定水準的隨機活動的節點的一大的集合，該活動中的某些活動可能偶爾與圖型405相符。然而，隨機活動越來越不可能與圖型410、415、420…等等中的相應圖型相符。因此，相較於與圖型405相符的活動，與圖型430相符的活動具有相對較高的有序程度及複雜程度。

針對不同的活動複雜性的確定，可定義不同的持續時間窗。舉例而言，當要辨識與圖型430相符的活動時，可使用比要辨識與圖型405相符的活動時更長的持續時間窗。

第3圖是可被辨識及「讀取」以自循環神經網路110（第1圖）產生二進位數字的集合（表示）120的活動的圖型300的表示圖。

圖型300是多組具有相同維度（即，具有相同數量的點）的定向集團或定向單形，其定義了比個別集團或個別單形涉及更多點的圖型，並且在成組的定向單形內封閉空腔。

舉例而言，圖型305包含六個不同的三點二維圖型405，且這六個三點二維圖型405一起定義了一二級同調類（homology class of degree two），而圖型310包含八個不同的三點二維圖型405，而這八個三點二維圖型405一起定義了一第二二級同調類。圖型305、310中的每個三點二維圖型405可被認為封閉了相應的空腔。與一定向圖相關聯的第n個貝蒂（Betti）數提供了在一拓撲表示內此種同調類的計數。

由例如圖型300等圖型所表示的活動表示一網路內活動的有序程度相對較高，此不太可能由隨機偶然事件引起。圖型300可用於表徵該活動的複雜性。

在某些實施方式中，僅辨識出活動的某些圖型，及／或丟棄或以其他方式忽略活動的圖型中被辨識出來的某些部分。舉例而言，參照第2圖，與五點四維單形圖型415相符的活動固有地包含與四點三維及三點二維單形圖型410、405相符的活動。舉例而言，第2圖的四維單形圖型415中的「點0」、「點2」、「點3」、「點4」及「點1」、「點2」、「點3」、「點4」二者皆與三維單形圖型410相符。在某些實施方式中，包含較少點（且因此具有較低的維度）的圖型可被丟棄或以其他方式忽略。作為另一實例，僅需要辨識活動的某些圖型。舉例而言，在某些實施方式中，僅辨識有奇數個點（3、5、7…）或者偶數個維度（2、4、6…）的圖案。儘管僅辨識了某些圖型，但關於神經網路中的活動的資訊仍然可被以全息方式表示，即，以較在一輸出中所有圖型皆被辨識及／或表示時低的解析度表示。

如上所述，響應於輸入的資料50的活動的圖型表示由循環神經網路110對該輸入的資料50執行的具有任意複雜性的一具體操作。在某些實施方式中，操作的複雜性將反映在拓撲圖型的複雜性中。舉例而言，由五點四維單形圖型415表示的操作或抽取可能較由四點三維及三點二維單形圖型410、405表示的操作或抽取更複雜。在此種情況下，表示活動存在的數字表達出在循環神經網路110中執行一組操作或抽取，其中該等操作或抽取其中之每一者具有任意的複雜水準。

第4圖是確定具有一可區分複雜性的活動圖型的定時的示意性表示圖。第4圖中表示的確定可作為活動的圖型的辨識或「讀取」的一部分來執行，以自循環神經網路110（第1圖）產生二進位數字的集合（表示）120。

第4圖包含一圖605及一圖610。圖605表示隨著沿x軸的時間而變化的圖型的出現。具體而言，個別出現被示意性地表示為垂直線606、607、608、609。每一列的出現可以是活動與一相應圖型或圖型類別相匹配的例子。舉例而言，頂列的出現可以是活動與圖型405（第2圖）相匹配的例子，第二列的出現可以是活動與圖型410（第2圖）相匹配的例子，第三列的出現可以是活動與圖型415（第2圖）相匹配的例子，以此類推。

圖605還包含虛線矩形615、620、625，當活動圖型具有一可區分的複雜性時，虛線矩形615、620、625示意性地描繪不同的時間窗。如圖所示，在由虛線矩形615、620、625描繪的窗期間，循環人工神經網路中的活動與指示複雜性的一圖型相匹配的可能性高於該等窗之外的可能性。

圖610表示與隨著沿x軸的時間而變化的該等出現相關聯的複雜性。圖610包含複雜性與由虛線矩形615描繪的窗一致的一第一峰值630、以及複雜性與由虛線矩形620、625描繪的窗一致的一第二峰值635。如圖所示，由峰值630、635表示的複雜性可與可被視為複雜性的一基線水準640的複雜性區分開來。

在某些實施方式中，讀取一循環人工神經網路的輸出的時間與具有一可區分的複雜性的活動圖型的出現是一致的。舉例而言，在第4圖的說明性環境中，一循環人工神經網路的輸出可在峰值630、635處、即在由虛線矩形615、620、625描繪的窗期間被讀取。

在某些實施方式中，自循環人工神經網路不僅可輸出具有一可區分的複雜性的活動圖型的內容，而且可輸出該活動圖型的定時。具體而言，不僅參與了與活動圖型相符的活動的節點的身份及活動，活動圖型的定時亦可被視為循環人工神經網路的輸出。因此，所辨識的活動圖型以及將讀取此決定的定時可表示神經網路的處理結果。

第5圖是將來自不同感測器的資料50輸入至循環神經網路110的方法以及處理該輸入資料的示意性表示圖。在所示的實施方式中，網路的輸入105的不同子集105’、105’’、105’’’專用於接收不同類型的輸入資料。舉例而言，第一子集105’可專用於接收一第一類別的輸入資料（例如，來自一第一感測器的資料），而第二子集105’’可專用於接收一第二類別的輸入資料（例如，來自一第二感測器的資料）。

在某些實施方式中，循環神經網路110的對應「區域」505、510自網路輸入105的不同子集105’、105’’、105’’’接收不同類別的輸入資料。舉例而言，在示意圖中，區域505、510被示為節點及邊緣的空間離散集合（spatially discrete collections），每個區域之間具有相對較少的節點對節點連接。情況未必如此。確切而言，每個區域505、510的節點及邊緣可在循環神經網路110內空間分佈，但仍接收一特定類別的輸入資料。

無論在每個區域505、510中節點的分佈如何，每個區域505、510中的處理主要（但未必是唯一）受到分別接收的類別的輸入資料的干擾。干擾的程度可基於在存在及不存在相應類別的輸入資料的情況下在一區域中發生的活動來量測。舉例而言，主要受一第一類別的輸入資料干擾的一區域可以大致相同的方式對第一類別的輸入資料作出響應，而無論其他類別的輸入資料是否同時干擾循環神經網路110。由每個區域505、510執行的處理及抽取主要受到所接收的類別的輸入資料的影響。然而，在每個區域505、510中出現的活動的拓撲圖型可被讀取為數字的集合（表示）120。對於循環神經網路110的其他區域亦為如此。

這可藉由分別指定網路輸出115的不同子集115’、115’’、115’’’而在神經網路系統500中示意性地表示。具體而言，子集115’可專用於輸出代表在循環神經網路110的區域505中出現的活動的拓撲圖型的數字，而子集115’’’可專用於輸出代表在循環神經網路110的區域5100中出現的活動的拓撲圖型的數字。然而，子集115’’輸出在區域505、510其中之任一者中皆未發現的數字。實際上，在子集115’’中輸出的數字可表示在區域505、510中出現的抽取表示及處理結果的融合或進一步抽取至更高的複雜性水準。

舉例而言，當且僅當子集115’中的一或多個數字及子集115’’’中的一或多個數字二者皆具有特定值時，子集115’’中的一給定數字才可能出現。子集115’’中的數字因此可表示任意更高水準的抽取（在區域505、510中產生的抽取還有輸入資料本身）。

當不同的區域主要受到單一類別的輸入資料的干擾時，該等區域中的處理可根據輸入資料的性質進行裁適。舉例而言，可對輸入資料進行連接深度及網路迴路的拓撲的裁適。在於生物系統上建模的循環神經網路中，亦可對輸入資料進行神經元動力學及突觸可塑性的裁適。該裁適例如捕捉不同的時間標度。舉例而言，在為處理相對快速變化的輸入資料類別（例如，視訊或音訊資料）而裁適的一區域中的處理可比在為處理相對較慢變化或根本不變化的輸入資料類別而裁適的一區域中的處理更快。

此外，當一循環神經網路的不同區域主要受到單一類別的輸入資料的干擾時，人類更容易將一循環神經網路中出現的表示歸因（attributed）於特定的輸入資料。在一特定區域中出現的表示可歸因於主要干擾該區域的輸入資料的類別。一旦在一特定區域中出現的表示被歸因，響應於一特定區域中的表示而出現的更高水準及更複雜的抽取便亦可更容易理解。

此外，可針對一循環神經網路的並非主要受單一類別的輸入資料的干擾的某些部分進行訓練，即針對一循環神經網路的融合主要受單一類別的輸入資料的干擾的區域的處理結果的某些部分進行訓練。實際上，主要受單一類別的輸入資料干擾的區域將產生通用的輸入資料表示（不僅用於自循環神經網路的輸出，還用於循環神經網路的進一步抽取及其他操作）。

第6圖是由時間窗定義單元125所定義的時間窗如何能夠被用於多種情況中的示意性表示圖。該多種情況例如辨識響應於不同持續時間的輸入的活動、擷取融合的輸入的抽取、測量確定性，以及辨識對抗式攻擊。被繪示的人工神經網路系統100的實施方式包含多個資料緩衝器（Data buffer）605、610以及一比較器615。資料緩衝器605、610可以透過任意數量的不同資料儲存裝置來實現。比較器615是一種裝置，其被配置以比較二進位的或其他的數字的集合，及／或確認他們之間的不同。比較器615可以透過硬體或軟體的方式來實現。雖然圖中只繪示二個資料緩衝器605、610，但在一些情況下可使用超過二個資料緩衝器。

在操作中，時間窗定義單元125針對拓撲圖型的不同表示120的輸出而定義不同時間窗的持續時間及／或時間點。不同的表示120可表示多個拓撲圖型出現在例如具有相同持續時間但出現在不同時間點的時間窗內、出現在重疊的時間點但具有不同的持續時間的時間窗內。資料緩衝器605被耦合以儲存拓撲圖型的表示120的一第一集合。資料緩衝器610被耦合以儲存拓撲圖型的表示120的一第二集合。在所示的實施方式中，被儲存的表示120被示意性地繪示為二進位數字的二維矩陣。在其他實施方式中，表示120可以例如以一維向量及／或以多值數字的方式來儲存。

比較器615被耦合以接收被儲存在資料緩衝器605、610中的表示120的集合、將他們進行比較，並輸出比較結果。可根據所應用的情況而採用多種不同的形式來進行上述比較。比較結果也可採用多種形式，但通常採用的是表示滿足某些條件的拓撲圖型的數字的集合。因此，雖然比較器615被繪示成具有單一輸出620，比較器615也可以具有多個輸出以並聯方式輸出多個數字。

舉例而言，在要辨識響應於相對較長持續時間的輸入的活動的實施方式中，比較器615可辨識出在輸入的持續期間的不同時間點出現的表示120中的數字。舉例而言，常見於不同特徵矩陣或向量的數字可以被比較器615所辨識。常見的數字可以例如以串聯方式或以並聯方式被輸出。

作為另一實例，在要辨識響應於相對較短持續時間的輸入的活動的實施方式中，比較器615可辨識出在短持續時間的輸入被輸入後立刻出現，但沒有存在於在其他時間點出現的其他表示120中的表示120中的數字。舉例而言，比較器可將包含短持續時間輸入被輸入後短時間內出現的表示的一特徵矩陣或向量，減去包含在短持續時間輸入被輸入前出現的表示的一特徵矩陣或向量。

作為另一實例，在要辨識被融合的輸入的抽取的實施方式中，比較器615可用以辨識資料被輸入後的某個時間點出現的表示120的數字。舉例而言，其餘數字（即，將輸入之後相對較長時間出現的數字減去輸入之後相對較短時間出現的數字後的其餘數字）的集合可被辨識為融合來自不同感測器的輸入的結果的抽取。

作為另一實例，在要測量決策或抽取的確定性的實施方式中，比較器615可被用於辨識再次出現的（reoccur）或甚至在不同表示120中被增強的數字。再次出現的或被增強的數字可以在例如變化相對較慢的資料（例如，特徵在於相同主體的一系列影像、共享相同例如主體、主題、時態的文字特徵的一系列文字片段）被陸續輸入後被辨識。在一些實施方式中，可基於非二進位數字的值而辨識出數字的增強，其中該值反映了例如形成拓撲圖型的活動的水平及／或拓撲圖型的持續時間。

作為另一實例，在要辨識對抗式攻擊的實施方式中，比較器615可被用於辨識出在輸入不久後出現且隨後的表示120中逐步地被減弱的數字。被減弱的數字可以例如在變化相對較慢的資料（例如，特徵可以在於或可以不在於相同主體的一系列影像、一系列文字片段、或其他資料）被陸續輸入後被辨識。在一些實施方式中，可基於非二進位數字的值而辨識出數字的減弱，其中該值反映了例如形成拓撲圖型的活動的水平及／或拓撲圖型的持續時間。

第7圖是由時間窗定義單元125所定義以辨識對抗式攻擊的時間窗如何能夠被用於提高循環神經網路110對於對抗式攻擊的抵禦性的示意性表示圖。除了資料緩衝器605、610以及比較器615之外，所繪示的人工神經網路系統100的實施方式還包含訓練單元705。

訓練單元705是一種裝置，其被配置以基於多個數字反覆修改循環神經網路110一或多個特性，該多個數字是被決定以表示循環神經網路110中較不穩健的決策或抽取。舉例而言，在輸入不久後出現的拓撲圖型可逐步被減弱或甚至從隨後的表示120中被消除。作為另一實例，在例如特徵在於相同主體的一系列影像、共享相同文字特徵的一系列文字片段等資料被陸續輸入之後不再次出現的拓撲圖型可逐步被減弱或甚至從隨後的表示120中被消除。

為了減弱或消除決策或抽取，訓練單元705可在循環神經網路110中增加或從循環神經網路110中移除節點或連結、改變連結的權重、改變在數字集合120中被表示的拓撲圖型，或以其他方式修改循環神經網路110。在循環神經網路110為在一生物系統上建模的一相對複雜的神經網路的實施方式中，訓練單元705可改變例如模型的形態、化學或其他特徵。

訓練循環神經網路110以產生能夠例如抵禦對抗式攻擊得更穩健的數字的集合（表示）120，可以超出單純辨識（企圖的）對抗式攻擊的方式而有所助益。舉例而言，如上述說明，在用於影像分類的循環神經網路中，對抗式攻擊的敏感性（susceptibility）可被視為類別在對抗例的區域內相交的標記。透過訓練循環神經網路110以抵禦對抗例，各類別將被定義得更完善。

即使在沒有對抗式攻擊的情況，訓練仍是有用的，舉例而言，其可以確保循環神經網路110對於雜訊足夠敏感及／或對於輸入資料的內容足夠敏感或不敏感。

在本說明書中闡述的標的物及操作的實施例可在數位電子電路系統中實施，或者在電腦軟體、韌體或硬體（包含在本說明書中揭露的結構及其結構等效物）中或者以其一或多者的組合實施。在本說明書中闡述的標的物的實施例可被實施為一或多個電腦程式（即，電腦程式指令的一或多個模組），該一或多個電腦程式編碼於電腦儲存媒體上以便由資料處理設備執行或控制資料處理設備的操作。作為另一選擇或另外，程式指令可編碼於一人工產生的傳播訊號上，該人工產生的傳播訊號為例如被產生以對用於傳輸至適合的接收器設備的資訊進行編碼以便由一資料處理設備執行的一由機器產生的電性訊號、光學訊號或電磁訊號。一電腦儲存媒體可以是一電腦可讀取儲存裝置、一電腦可讀取儲存基板、一隨機或串列存取記憶體陣列或裝置或其一或多者的組合，或者可包含於一電腦可讀取儲存裝置、一電腦可讀取儲存基板、一隨機或串列存取記憶體陣列或裝置或其一或多者的組合中。此外，儘管一電腦儲存媒體並非一傳播訊號，然而一電腦儲存媒體可以是編碼於一人工產生的傳播訊號中的電腦程式指令的一來源（source）或目的地（destination）。電腦儲存媒體亦可以是一或多個單獨的物理組件或媒體（例如，多個光碟（compact disc，CD）、碟片（disk）或其他儲存裝置），或者可包含於該一或多個單獨的物理組件或媒體（例如，多個CD、碟片或其他儲存裝置）中。

在本說明書中闡述的操作可被實施為由一資料處理設備對儲存於一或多個電腦可讀取儲存裝置上的資料或自其他來源接收的資料實行的操作。

用語「資料處理設備」囊括用於處理資料的所有種類的設備、裝置及機器，包含例如一可程式化處理器、一電腦、一系統晶片或者前述中的多者或組合。該設備可包含專用邏輯電路系統，例如一現場可程式化閘陣列（field programmable gate array，FPGA）或一應用專用積體電路（application specific integrated circuit，ASIC）。該設備可除硬體之外亦包含為所論述的電腦程式創建一執行環境的碼，例如構成處理器韌體、一協定堆疊、一資料庫管理系統、一作業系統、一跨平臺運行時間環境、一虛擬機或其一或多者的組合的碼。該設備及執行環境可達成各種不同的計算模型基礎架構，例如網路服務、分佈式計算及網格式計算基礎架構。

一電腦程式（亦稱為一程式、軟體、軟體應用、腳本或碼）可以包含編譯或解譯語言、宣告性語言或程序性語言在內的任何形式的程式化語言來編寫，且該電腦程式可以任何形式來部署，包含作為一獨立程式或作為一模組、組件、次常式、對象或適合於在一計算環境中使用的其他單元。一電腦程式可（但無需）對應於一檔案系統中的一檔案。一程式可儲存於一檔案的保持其他程式或資料（例如，儲存於一標示語言文件中的一或多個腳本）的一部分中、專用於所論述的該程式的單一檔案中或者多個協調的檔案（例如，儲存一或多個模組、子程式或碼部分的檔案）中。一電腦程式可被部署成在位於一個站點（site）處的一個電腦上或在分佈於多個站點上並藉由一通訊網路互連的多個電腦上執行。

在本說明書中闡述的過程及邏輯流程可由一或多個可程式化處理器來實行，該一或多個可程式化處理器執行一或多個電腦程式，以藉由對輸入資料進行操作並產生輸出來實行動作。過程及邏輯流程亦可由專用邏輯電路系統來實行，且設備亦可被實施為專用邏輯電路系統，例如一現場可程式化閘陣列（FPGA）或一應用專用積體電路（ASIC）。

舉例而言，適合於執行一電腦程式的處理器包含通用微處理器與專用微處理器二者以及任何種類的數位電腦其中之任何一或多個處理器。一般而言，一處理器將自一唯讀記憶體或一隨機存取記憶體或二者接收指令及資料。一電腦的基本元件是用於根據指令實行動作的一處理器以及用於儲存指令及資料的一或多個記憶體裝置。一般而言，一電腦亦將包含用於儲存資料的一或多個巨量儲存裝置（例如磁碟、磁光碟或光碟），或者被操作地耦合以自該一或多個巨量儲存裝置接收資料或向該一或多個巨量儲存裝置轉移資料或者進行二者。然而，一電腦不必具有此種裝置。此外，一電腦可嵌置於例如（舉幾個例子）一行動電話、一個人數位助理（personal digital assistant，PDA）、一行動音訊或視訊播放機、一遊戲主控台（game console）、一全球定位系統（Global Positioning System，GPS）接收器或一可攜式儲存裝置（例如，一通用串列匯流排（universal serial bus，USB）快閃驅動器）等另一裝置中。適合於儲存電腦程式指令及資料的裝置包含所有形式的非揮發性記憶體、媒體及記憶體裝置，包含例如：半導體記憶體裝置，例如可抹除可程式化唯讀記憶體（erasable programmable read only memory，EPROM）、電子可抹除可程式化唯讀記憶體（electrically erasable programmable read only memory，EEPROM）及快閃記憶體裝置；磁碟，例如內部硬碟或可移除式碟片（removable disk）；磁光碟；以及光碟唯讀記憶體（compact disc-read only memory，CD ROM）及數位多功能光碟唯讀記憶體（digital versatile disc-read only memory，DVD ROM）碟片。處理器及記憶體可藉由專用邏輯電路系統來補充或包含於專用邏輯電路系統中。

為提供與一使用者的交互，在本說明書中闡述的標的物的實施例可在一電腦上實施，該電腦具有例如陰極射線管（cathode ray tube，CRT）或液晶顯示器（liquid crystal display，LCD）監視器等用於向使用者顯示資訊的顯示裝置以及可供使用者向電腦提供輸入的鍵盤及指針裝置（例如，一滑鼠或一軌跡球）。亦可使用其他種類的裝置來提供與一使用者的交互；舉例而言，提供至使用者的回饋可以是任何形式的感覺回饋，例如視覺回饋、聽覺回饋或觸覺回饋；且來自使用者的輸入可以包含聲響、語音或觸覺輸入在內的任何形式接收。此外，一電腦可藉由向使用者使用的一裝置發送文件及自使用者使用的一裝置接收文件來與一使用者交互；例如，藉由響應於自網路瀏覽器接收的請求，將網頁發送至一使用者客戶端裝置上的一網路瀏覽器。

儘管本說明書包含諸多具體的實施細節，然而該等實施細節不應被視為對任何發明的範圍或可主張的範圍的限制，而應被視為對特定發明的特定實施例的專有特徵的說明。本說明書中在單獨的實施例的上下文中闡述的某些特徵亦可在單一實施例中以組合方式實施。相反地，在單一實施例的上下文中闡述的各種特徵亦可在多個實施例中單獨地實施或以任何適合的子組合來實施。此外，儘管上文可將特徵闡述為在某些組合中起作用且甚至最初如此主張，然而在某些情形中，可自一所主張的組合中去除來自該組合的一或多個特徵，且所主張的組合可指向一子組合或一子組合的變型。

相似地，儘管在圖式中以一特定次序繪示操作，然而此不應被理解為要求以所示的特定次序或以順序次序實行此種操作或者要求實行所有所示操作以達成所期望的結果。在某些情況中，多任務及平行處理可以是有利的。此外，上述實施例中的各種系統組件的分離不應被理解為在所有實施例中均需要此種分離，且應理解，所闡述的程式組件及系統一般可一起整合於單一軟體產品中或者被封裝至多個軟體產品中。

因此，已闡述標的物的特定實施方式。其他實施方式處於以下申請專利範圍的範圍內。在某些情形中，申請專利範圍中陳述的動作可以一不同的次序實行，且仍然會達成所期望的結果。另外，圖式中繪示的過程未必需要所示的特定次序或順序次序來達成所期望的結果。在某些實施方式中，多任務及平行處理可以是有利的。

已描述了多個實施方式。然而，應理解，可進行各種修改。因此，其他實施方式在以下申請專利範圍的範圍內。

如下所示: 50:資料 60:聲音資料 62:靜止影像資料 64:視訊資料 66:溫度資料 100:神經網路系統 105:輸入 110:循環神經網路 115:輸出 120:表示 125:時間窗定義單元 400、405、410、415、420、425、430:圖型 300、305、310:圖型 605:圖 606、607、608、609:垂直線 610:圖 615、620、625:虛線矩形 630、635:峰值 640:基線水準 500:神經網路系統 505、510:區域 105’、105’’、105’’’:輸入的子集 115’、115’’、115’’’:輸出的子集 605、610:資料緩衝器 615:比較器 620:輸出 705:訓練單元

第1圖是對來自多個不同感測器的資料進行抽取及聚類（cluster）的一人工神經網路系統的一實施方式的示意性表示圖。

第2圖及第3圖是可被辨識及「讀取」以自神經網路產生數字的一集合的活動圖型的表示圖。

第4圖是表示圖型隨時間的變化而出現的圖。

第5圖是將來自不同感測器的資料輸入至神經網路的方法的示意性表示圖。

第6圖是由時間窗定義單元（window definition unit）所定義的時間窗如何能夠被用於多種情況中的示意性表示圖。

第7圖是由時間窗定義單元所定義以辨識對抗式攻擊（adversarial attack）的時間窗如何能夠被用於提高網路對於對抗式攻擊的抵禦性的示意性表示圖。

不同圖示中相同的參考符號指示相同的元件。

無。

50:資料

60:聲音資料

62:靜止影像資料

64:視訊資料

66:溫度資料

100:神經網路系統

105:輸入

110:神經網路

115:輸出

120:表示

125:時間窗定義單元

Claims (19)

1. 一種方法，包含： 在一循環人工神經網路中定義多個不同的時間窗，其中該多個不同的時間窗各自具有不同的持續時間、不同的開始時間、或不同的持續時間以及不同的開始時間； 辨識該循環人工神經網路中的活動的多個拓撲圖型在該多個不同的時間窗中的出現； 比較該多個拓撲圖型在該多個不同的時間窗中的出現；以及 基於一比較結果，將一第一決策歸類為比一第二決策更不穩健，該第一決策由一第一時間窗中出現的一第一拓撲圖型所表示，該第二決策由一第二時間窗中出現的一第二拓撲圖型所表示。
2. 如請求項1所述的方法，其中該第一時間窗在該第二時間窗之前開始。
3. 如請求項1所述的方法，還包含：將多筆資料陸續輸入至該循環人工神經網路，並且陸續辨識該多個拓撲圖型在該多個不同時間窗中的出現，該多個不同時間窗是相對於被陸續輸入的該多筆資料而被定義。
4. 如請求項1所述的方法，其中該多個不同時間窗各自為了辨識該多個拓撲圖型而定義多個開始時間、多個持續時間、或多個開始時間以及多個持續時間。
5. 如請求項4所述的方法，其中該多個不同時間窗各自定義至少二個持續時間，其中較長的一持續時間被定義以辨識較複雜的一拓撲圖型，而較短的一持續時間被定義以辨識較不複雜的一拓撲圖型。
6. 如請求項4所述的方法，其中該多個不同時間窗各自定義至少二個開始時間，其中較早的一開始時間被定義以辨識該循環人工神經網路的一區域中主要受到一單一類別的輸入資料干擾的一拓撲圖型，而較晚的一開始時間被定義以辨識該循環人工神經網路的一區域中融合多個類別的輸入資料的一拓撲圖型。
7. 如請求項1所述的方法，還包含： 調整該循環人工神經網路的一或多個特性，以減弱或消除由一第一時間窗中出現的一第一拓撲圖型所表示的該第一決策。
8. 如請求項1所述的方法，其中比較該多個拓撲圖型的出現包含： 將多個二進位數字的一第一集合減去多個二進位數字的一第二集合，其中各個二進位數字指示各自的一拓撲圖型是否出現。
9. 如請求項1所述的方法，其中辨識該多個拓撲圖型的出現包含：辨識多個單形圖型的出現。
10. 如請求項9所述的方法，其中該多個單形圖型封閉空腔。
11. 一方法，包含： 在一循環人工神經網路中定義一第一時間窗及一第二時間窗，其中該第一時間窗在該第二時間窗之前開始； 辨識該循環人工神經網路中的活動的一拓撲圖型，該拓撲圖型出現在該第一時間窗中但不在該第二時間窗中；以及 調整該循環人工神經網路的一或多個特性，以減弱或消除該拓撲圖型在該第一時間窗中的出現。
12. 如請求項11所述的方法，其中辨識該拓撲圖型包含：比較出現在該第一時間窗中的多個拓撲圖型的一集合以及出現在該第二時間窗中的多個拓撲圖型的一集合。
13. 如請求項12所述的方法，其中比較多個拓撲圖型的集合包含：將多個二進位數字的一第一集合減去多個二進位數字的一第二集合，其中各個二進位數字指示各自的一拓撲圖型是否出現。
14. 如請求項11所述的方法，還包含： 在一時間點將一第一資料輸入至該循環人工神經網路，使得該循環人工神經網路在該第一時間窗的期間受到該第一資料干擾；以及 在一時間點將一第二資料輸入至該循環人工神經網路，使得該循環人工神經網路在該第二時間窗的期間受到該第二資料干擾。
15. 如請求項13所述的方法，其中該第一資料及該第二資料不是具有一相同主題的第一圖像和第二圖像，就是共享一文本特徵的第一文本片段和第二文本片段。
16. 如請求項11所述的方法，其中該第一時間窗及該第二時間窗各自定義較長的一持續時間以辨識較複雜的一拓撲圖型，以及定義較短的一持續時間以辨識較不複雜的一拓撲圖型。
17. 如請求項11所述的方法，其中該第一時間窗被定義以辨識該循環人工神經網路的一區域中主要受到一單一類別的輸入資料干擾的一拓撲圖型，且該第二時間窗被定義以辨識該循環人工神經網路的一區域中融合多個類別的輸入資料的一拓撲圖型。
18. 如請求項11所述的方法，其中辨識該多個拓撲圖型的出現包含：辨識多個單形圖型的出現。
19. 如請求項18所述的方法，其中該多個單形圖型封閉空腔。

Images