TWI776310B - 定義距離量度的方法以及訓練一循環人工神經網路的方法 - Google Patents

定義距離量度的方法以及訓練一循環人工神經網路的方法 Download PDF

Info

Publication number
TWI776310B
TWI776310B TW109143241A TW109143241A TWI776310B TW I776310 B TWI776310 B TW I776310B TW 109143241 A TW109143241 A TW 109143241A TW 109143241 A TW109143241 A TW 109143241A TW I776310 B TWI776310 B TW I776310B
Authority
TW
Taiwan
Prior art keywords
data
neural network
patterns
artificial neural
distance
Prior art date
Application number
TW109143241A
Other languages
English (en)
Other versions
TW202137068A (zh
Inventor
亨利 馬克瑞
菲力克斯 舒爾曼
法比恩 喬納森 德拉隆德
瑞 李維
貝爾沃爾德 凱瑟琳 帕梅拉 赫斯
約翰 拉蒙
Original Assignee
瑞士商Ｉｎａｉｔ公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞士商Ｉｎａｉｔ公司 filed Critical 瑞士商Ｉｎａｉｔ公司
Publication of TW202137068A publication Critical patent/TW202137068A/zh
Application granted granted Critical
Publication of TWI776310B publication Critical patent/TWI776310B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Rehabilitation Tools (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

循環神經網路中的距離度量及分群的方法被揭露於此。例如，一種方法包含確認在由多個拓撲圖型形成的一集合中的多個活動拓撲圖型是否響應於第一資料被輸入一循環人工神經網路而出現於該循環人工神經網路中；以及基於被確認響應於該第一資料被輸入而出現的該多個活動拓撲圖型，確認該第一資料與第二資料之間或該第一資料與一參考之間的一距離。

Description

定義距離量度的方法以及訓練一循環人工神經網路的方法
本發明係關於在循環神經網路中的距離度量(Distance metrics)以及分群(Clustering)，且更具體而言，係關於定義與循環神經網路的處理結果有關的距離度量以及將該距離度量用於分群。
人工神經網路是受生物神經元網路的結構及功能態樣啟發的裝置。具體而言，人工神經網路使用被稱為節點的一互連構建系統來模擬生物神經元網路的資訊編碼及其他處理能力。一人工神經網路中節點之間連接的排列及強度決定了由該人工神經網路進行資訊處理或資訊儲存的結果。
可訓練神經網路以在網路內出現一期望的訊號流，並達成期望的資訊處理或資訊儲存結果。一般而言，在學習階段期間，訓練神經網路將改變節點之間的連接的配置及/或強度。所述訓練是為了達成特定之處理結果。該處理結果應與一組範例(即，一訓練集)是一致的。當一神經網路對於給定的幾組輸入達成足夠恰當的處理結果時，可將該神經網路視為已經過訓練。
訓練神經網路的目的為分群。透過將物件的群組分群，使得相較於其他群組或叢集中的物件，在一群組或一叢集中的物件能互相在某些度量上更為相似。分群是許多資料處理管道(包含例如：生物資訊學、資料探勘、資料 壓縮、統計資料分析以及機器分析)的一部分。由於分群的重要性，如今已開發出各種分群演算法，且神經網路也被訓練以用於將多個輸入分群。這些演算法和神經網路在各種不同情況多少都是有用的。然而應注意的是，於客觀上「正確」的分群結果並不存在。相反地，理想的分群結果取決於使用者想要獲得的結果。
有關經訓練以執行分群的神經網路的一經典示例為自我組織映射圖(self-organizing map)。自我組織映射圖使用競爭性的學習進行訓練，以生成輸入訓練樣本的一種低維離散表示法。這種表示法也稱作「映射圖」。由於訓練是神經網路執行處理的基礎，故這些神經網路通常無法處理於形式或類型上與訓練集的資料有出入的資料。
本揭露中之方法及裝置使用即便在未經訓練的循環人工神經網路中依然能出現的活動拓撲圖型(Topological patterns of activity)來定義距離度量。該距離度量相當實用，例如於分群不同的輸入時。所述之活動拓撲圖型通常在一段時間後出現，並且能以數字的集合來表示。由於至少一些活動拓撲圖型會因循環人工神經網路的結構而先天地出現，故即便是未經訓練的循環人工神經網路亦能用來分群不同的輸入。
此外，儘管有些活動拓撲圖型可在未針對循環人工神經網路進行訓練的情況下出現，但也不必讓循環人工神經網路保持完全未經訓練的狀態。相反地，循環人工神經網路能自行訓練以合成在未經過訓練的情況下出現的圖型。在未經訓練的情況下出現的多個圖型不必成為循環人工神經網路的輸出，且也不必被輸入至分開的分類器中。相對地，所述之同一個循環人工神經網路(即便未經訓練，活動拓撲圖型便已出現於其中)可被訓練以執行分群活動。
在本揭露的一種態樣中敘述了用於分群多個輸入的方法、系統及裝置，其中包含被編寫於電腦儲存媒體的電腦程式。舉例而言，一方法可包含確認在由多個拓撲圖型形成的一集合中的多個活動拓撲圖型是否響應於第一資料被輸入至一循環人工神經網路而出現於該循環人工神經網路中，以及基於被確認響應於該第一資料被輸入而出現的該多個活動拓撲圖型，確認該第一資料與第二資料之間或該第一資料與一參考之間的一距離。相應的系統及裝置，包含被編寫於電腦儲存媒體中的電腦程式也都是可行的。
在本揭露的另一種態樣中，一方法可包含接收資訊，該資訊係辨識多個活動拓撲圖型響應於多個不同元素被輸入至該循環人工神經網路而出現於一循環人工神經網路中；基於該多個活動拓撲圖型的出現，計算該多個不同元素之間的距離；以及調整該循環人工神經網路的一或多個特徵以增加或減少該多個距離。相應的系統及裝置，包含被編寫於電腦儲存媒體中的電腦程式也都是可行的。
上述態樣及其他態樣可包含一或多個下述特徵。在該集合中的該多個活動拓撲圖型是否響應於該第二資料被輸入至該循環人工神經網路而出現於該循環人工神經網路中也可被確認。該第一資料與該第二資料之間的該距離是藉由以下方式而被確認：將被確認響應於該第一資料被輸入而出現的該多個活動拓撲圖型以及被確認響應於該第二資料被輸入而出現的該多個活動拓撲圖型進行比較。該距離可於該第一資料與一叢集的一重心(centroid)之間或於該第一資料與一叢集邊界之間被確認。
該多個活動拓撲圖型的出現可以多個二進位數字或多數值的多個數字的一集合來表示，該多個數字各自表示相應的一活動拓撲圖型是否出現。 該距離可使用一距離度量而被確認，且該距離度量是以不同的尺度處理該集合中的該多個活動拓撲圖型的一第一子集合與該集合中的該多個活動拓撲圖型的一第二子集合。例如，於該距離度量中，該多個活動拓撲圖型的該第一子集合表示距離的能力可高於該多個活動拓撲圖型的該第二子集合。該第一資料與該第二資料可包含輸入資料的多個類別。該多個活動拓撲圖型的該第一子集合只需包含出現於該循環人工神經網路中主要被該輸入資料的一單一類別所干擾的一區域的多個活動拓撲圖型。輸入資料的該多個類別中之每一者可源自不同的感測器。輸入資料的該單一類別可只源自該多個感測器中的第一者。該循環人工神經網路可為經訓練過的，以及該多個活動拓撲圖型的該第二子集合只需包含出現於該循環人工神經網路中反映該循環人工神經網路的一訓練的一區域的多個活動活動拓撲圖型。該循環人工神經網路可為未經訓練過的。該多個活動拓撲圖型的第二子集合中的該多個活動拓撲圖型的一複雜度可高於該第一子集合中的該多個活動拓撲圖型的一複雜度。該第一子集合中的該多個活動拓撲圖型中的至少一些可被包含於該第二子集合中的該多個活動活動拓撲圖型中。可重覆地確認該集合中的該多個活動拓撲圖型是否響應於資料被輸入至該循環人工神經網路而出現於該循環人工神經網路中，以及基於在被輸入的該資料之間的一距離而分群該資料(包含該第一資料和該第二資料)。該距離是藉由以下方式而被確認：將被確認響應於該資料被輸入而出現的該多個活動拓撲圖型各自進行比較。該多個活動拓撲圖型可包含多個活動單體圖型(simplex pattern of activity)。例如，該多個活動單體圖型可包圍多個空腔。可確認具有一複雜度的一活動時間點，該複雜度相較於響應於該輸入的其他活動是可區別的，以及可基於具有可區別的該複雜度的該活動的該時間點，辨識該多個拓撲結構。
可確認多個元素中的一第一元素與一第二元素之間的一距離，其中該距離是以以下方式進行確認：將被確認響應於該第一元素被輸入而出現的該多個活動拓撲圖型與被確認響應於該第二元素被輸入而出現的該多個活動拓撲圖型進行比較。可使用一距離度量計算該距離，該距離度量是以不同的尺度處理該集合中的該多個活動拓撲圖型的一第一子集合與該集合中的該多個活動拓撲圖型的一第二子集合。其中於該距離計算中，該多個活動拓撲圖型的該第一子集合表示距離的能力可高於該多個活動拓撲圖型的該第二子集合。該多個活動拓撲圖型的該第二子集合中的該多個活動拓撲圖型的一複雜度可比在該第一子集合中的該多個活動拓撲圖型的一複雜度更低。辨識多個活動拓撲圖型的出現的該資訊可包含一第一元素的一第一二進位向量和一第二元素的一第二二進位向量。可透過計算該多個二進位向量之間的該多個距離而計算該多個距離。該循環人工神經網路是未經訓練過的。
在圖式和以下描述中闡述了本發明的一或多個實施例的細節。根據說明書、圖式以及申請專利範圍，本發明的其他特徵、目的及優點將變得顯而易見。
如下所示：
50:資料
60:音訊資料
62:靜止影像資料
64:視訊資料
66:溫度資料
100:人工神經網路系統
105:輸入
105’、105”、105''':輸入的子集合
110:循環神經網路
115:輸出
115’、115”、115''':輸出的子集合
120:數字/數字集合
125:距離計算器
135:輸入
140:輸出/距離度量輸出
300、305、310、400、405、410、415、420、425、430:圖型
500:神經網路系統
505、510:區域
605:曲線圖
606、607、608、609:線
610:曲線圖
615、620、625:虛線矩形
630:峰值
640:基線水準
710:比較器
715:訓練單元
730:理想的輸出
如下所示：
[第1圖]是對來自多個不同感測器的資料進行抽取以及分群的人工神經網路系統的一實施方式的示意性表示圖。
[第2圖]及[第3圖]是可被辨識及「讀取」以自神經網路產生數字的一集合的活動圖型的表示圖。
[第4圖]是表示圖型隨時間的變化而出現的曲線圖。
[第5圖]是將來自不同感測器的資料輸入至神經網路並且處理該輸入資料的方法的示意性表示圖。
[第6圖]是循環神經網路如何被訓練以產生數字的集合的示意性表示圖，數字的該集合被特製以在特定情況下實現理想的距離度量。
[第7圖]是使用多個數字的集合距離度量的計算的示意性表示圖，該多個數字各自表示一相應的拓撲圖型是否出現於循環神經網路中。
不同圖示中相同的元件符號指代相同的元件。
生物之腦部處理不同類型的輸入包含例如視覺、聽覺及本體感覺(proprioception)。即便該輸入相當多元，生物之腦部可從該輸入中提取不同的屬性，並以例如響應於該輸入而做出的適當動作或概念抽取(conceptual abstraction)來做出回應。神經學家在參與這些步驟中的腦部中已發現豐富且多樣的子系統。該子系統可包含例如：於視覺系統內編碼具有特定方向的邊緣的多個特定細胞、在海馬迴中的位置細胞(place cells)，當一動物在精確的空間位置時，其「位置細胞」將變得活躍、甚至是用於編碼抽象但選擇性的概念的細胞(又稱「祖母細胞」(grandmother cells))。這些子系統還可編碼時間上、空間上、概念性的、及/或層級的關係。簡單來說，生物腦部天生的部分功能可被視為特定與非特定的分群的組合，這當中有些是天生的，有些則是透過後天學習而得的。
在某些情況下，可建構一循環人工神經網路以實現生物腦部的至少一些特性。此種循環人工神經網路可與真實腦部天生的特定結構結合，並且將對於不同類型的計算及分群而言相當有用的非線性投影(non-linear projections) 進行編碼。該特定結構可包含例如：執行預分群，將多個輸入大略地分群，並減少輸入資料之維數(dimensionality)的結構。該特定結構也可包含例如：在未事先學習特定概念之前提下，針對該特定概念進行直接且特定之分群的結構。如前所述，循環人工神經網路可自行訓練以合成在這些結構中的圖型，且該圖型是在未針對後續所學習之分群而進行訓練的情況下出現。
因此，不像數學分群演算法般需定義明確的距離函數(distance function)，此種循環人工神經網路的距離函數不需要預先定義，而是由節點的佈線(wiring)及其功能屬性所隱含地編碼而成。循環人工神經網路的不同節點和不同結構確實可編碼出不同的距離函數。因此，循環人工神經網路的某些結構或狀態可透過類似於層級式(hierarchical)的分群方式來將輸入分群，而其他結構或狀態同時可透過類似於基於密度(density-based)的分群方式來將輸入分群。
因此，出現於甚至是未經訓練的循環人工神經網路中的活動拓撲圖型代表了多個不同輸入的一叢集。拓撲圖型表示循環人工神經網路響應於輸入擾動而出現的狀態。拓撲圖型過濾掉回應中不必要或多餘的特徵，並製作對於叢集存取而言有用的抽象表示。如下方所進一步探討，在一些情況中，可透過辨識決定時刻(decision moment)以更加地確保回應中不必要或多餘的特徵被過濾掉且不被用於分群。
拓撲圖型可自循環人工神經網路中被讀取為例如多個數字(通常為二進位)的一集合，各個數字表示各活動拓撲圖型於網路中存在與否。各個數字代表由網路對輸入資料所執行的特定的抽象表示。如下方所進一步探討，各抽象表示可為任意複雜(arbitrary complex)。因此，單一個數字可編碼任意複雜的 一抽象表示，且一組數字可表達一組抽象表示，其中各抽象表示具有任意程度的複雜度。
數字的集合還使得距離度量能夠被定義。換言之，在響應於不同輸入而出現的兩個不同的數字集合之間的距離可用於定義所述不同輸入之間的距離。舉例而言，一距離度量可以如計算特定類型的單體(simplex)的數量以及計算例如漢明距離(Hamming distance)般簡單。再舉例而言，距離度量可相對地更為複雜，例如：在不同的單體階數及其拓撲外觀上計算推土機距離(Earth Mover’s Distance)。
第1圖是對資料50進行抽取及分群的一人工神經網路系統100的一實施方式的示意性表示圖。人工神經網路系統100包含輸入105的一集合、循環神經網路110本身、輸出115的一集合以及一距離計算器125，該距離計算器125用於計算透過輸出115而輸出的資料50的多個抽取之間的距離或其相似度/不相似度。
在所示的實施方式中，循環神經網路110藉由輸入105接收來自多個不同感測器的資料50。感測器可為例如將不同物理性質轉換為資料的換能器或僅感測資料的裝置，例如：感測檔案的內容或資料流的裝置)。在其他的實施方式中，循環神經網路110接收來自一單一感測器的資料50。在任何情況下，循環神經網路110對資料50的抽取可自輸出端115中讀取以作為例如(通常為二進位)數字120的一集合，數字120各自表示響應於輸入的資料50的相應的活動拓撲圖型存在或不存在於循環神經網路110中。如下方所進一步探討，該抽象表示可為任意複雜。因此，單一數字可對一任意複雜的抽取進行編碼，且一組數字可表達一組抽取，每個抽取具有任意的複雜程度。
此外，活動拓撲圖型(以及其在數字120中的表示)可以是「通用的(universal)」，乃因其不依賴於輸入至神經網路中的資料的來源。確切而言，活動拓撲圖型表達被輸入至循環神經網路110中的資料50的抽取特徵，而無論該資料的來源為何。
更詳細而言，資料50可來自不同的感測器，並且具有不同的格式。舉例而言，某些類別的資料50(例如，視訊或音訊資料)可在時間上相對快速地改變，而其他類別的資料50(例如，靜止影像或溫度)可能相對緩慢地改變或者根本不改變。儘管來源及格式不同，但循環神經網路110仍可自資料中抽取特徵。舉例而言，循環神經網路110可抽取出：-物理特性(例如，顏色、形狀、定向、速度)，-類別(例如，汽車、貓、狗)及/或-抽象定性特性(abstract qualitative traits)(例如，「活」對「死」、「光滑」對「粗糙」、「有生命的」對「無生命的」、「熱」對「冷」、「開」對「關」)。
活動拓撲圖型(及其在數字120中的表示)是循環神經網路110對不同資料50的響應。通常而言，多個活動拓撲圖型將響應於單個輸入而出現，而無論該輸入是離散的(例如，靜態照片或來自量測一物理參數的一換能器的單個讀數)還是連續的(例如，視訊或音訊流)。
有時，循環神經網路110將用一或多個相同的拓撲圖型對來自不同感測器的資料50的輸入作出響應，即使其他拓撲圖型不同。舉例而言，神經網路110可用表示「熱」的一定性評估的一拓撲圖型來對一溫度讀數或一沙漠的一靜止影像作出響應，即使其他拓撲圖型亦為對每個輸入的響應的一部分。類似地，神經網路110可用表示「完成」的一定性評估的一拓撲圖型對一音樂作品的 結束或帶有碎屑的一碟子的一靜止影像作出響應，即使其他拓撲圖型亦為對每個輸入的響應的一部分。因此，有時，可自具有不同來源及不同格式的資料中抽取出相同的特徵。
有時，循環神經網路110用表示來自不同感測器的資料的特徵的合成或融合的一或多個拓撲圖型來對來自不同感測器的資料50的輸入作出響應。換言之，單個此種圖型可表示對存在於不同類型的資料中的相同特徵的抽取。一般而言，來自不同感測器的資料的融合或合成將發揮作用以使得此種圖型出現或具有此種圖型的活動的強度增加。換言之，來自不同感測器的資料可充當在不同輸入資料中存在相同特徵的「確證」。
在某些情況下，僅在來自不同感測器的資料中存在某些特徵時，才會出現代表來自不同感測器的資料的特徵的合成或融合的拓撲圖型。循環神經網路110可實際上充當「及閘(AND gate)」，並且需要來自不同感測器的資料中存在某些特徵，以便使某些活動圖型出現。然而，情況未必如此。相反，響應於來自不同感測器的資料，形成一圖型的活動的幅度可增加，或者活動的定時(timing)可縮短。實際上，活動拓撲圖型(以及其在數字120中的表示)表示在一非常豐富的狀態空間中對資料50的特徵的抽取。換言之，活動拓撲圖型及其表示未必是處理輸入資料的預定義「結果」，乃因舉例而言，一是/否(yes/no)分類是由一分類器產生的預定義結果，一組相關輸入是由一分群裝置產生的預定義結果，或者一預測是由一預測模型產生的預定義結果。確切而言，拓撲圖型是對輸入資料的特徵的抽取。儘管該狀態空間有時可能包含例如一是/否分類等抽取，但該狀態空間並非僅限於該等預定義結果。
此外，拓撲圖型可僅抽取輸入資料的一部分(例如，一影像的一特定區域、或一視訊或音訊流中的一特定時刻、或例如一畫素等輸入的一特定細節)的特徵，而非抽取整個輸入資料的特徵。因此，抽取的狀態空間既不限於任一預定義類型的結果(例如，分類、分群或預測)，亦不限於整個輸入資料的抽象形式。確切而言，拓撲圖型是一種工具，該工具允許讀取由一高維、非線性、循環動態系統(即，循環神經網路110)進行的處理。拓撲圖型提取循環神經網路110中出現的來自不同感測器的資料的相關性，包含將資料融合成一更完整的「整體」的相關性。
在輸入資料50時，循環神經網路110將以某種活動作出響應。該活動將包含：-與所定義的拓撲圖型不相符的活動，以及-與所定義的拓撲圖型相符的活動。
循環神經網路110中與所定義的拓撲圖型不相符的活動在某些情況下可能是輸入的資料50的特徵的不正確或不完整的抽取。此外，循環神經網路110中與所定義的拓撲圖型相符的活動可抽取輸入的資料50的不同特徵。依據應用，每個抽取的特徵可能或多或少有用。藉由將數字120限制為某些拓撲圖型的表示，不正確或不完整的抽取以及與一特定應用無關的特徵的抽取二者皆可被「過濾掉」並自數字120中排除。
在所示的實施方式中，資料50包含來自例如一麥克風的音訊資料60、來自例如一靜態照相機的靜止影像資料62、來自例如一攝影機的視訊資料64、以及來自例如一溫度感測器的溫度資料66其中之一或多者。此僅用於說明目的。資料50不需要包含音訊資料60、靜止影像資料62、視訊資料64、溫度資料66 其中之一或多者。此外，資料50可包含多種其他不同類型的資料(包含例如壓力資料、化學成分資料、加速度資料、電資料、位置資料等)其中之一或多者。如下文進一步論述，來自一感測器的資料50在輸入至循環神經網路110中之前可經歷一或多個處理動作。此類處理動作的實例包含例如在一人工神經網路裝置中的非線性處理。
如上所述，在循環神經網路110中出現的拓撲圖型是在一豐富的狀態空間中對輸入的資料50的特徵的提取。若要將資料50限制為來自少量感測器，則循環神經網路110可能不太可能以某些方式自該感測器抽取資料。舉例而言，循環神經網路110可能不太可能將溫度資料66自身抽取成與像形狀或定向等空間特性對應的活動圖型。然而，由於來自不同感測器的資料被輸入至循環神經網路110中，因此由不同的輸入的資料50引起的干擾彼此相遇，並且可共同影響循環神經網路110中的活動。因此，循環神經網路110可將輸入的資料50抽取成不同的或更確定的活動圖型。
舉例而言，可能存在一定程度的與一圖型的存在與否相關的不確定性。若資料50包含來自不同範圍的感測器的資料，則隨著來自不同感測器的資料50在循環神經網路110內被合成或融合，圖型的多樣性及圖型的確定性二者皆可增加。類比而言，在火車站坐在火車上的一乘客可向窗外望去，並看到一列相鄰的火車似乎在移動。該同一乘客亦可例如感受到來自座椅的向前壓力。此種資訊的融合或合成增加了乘客對乘客的列車而非相鄰的列車正在移動的確定程度。當循環神經網路110接收到不同的輸入的資料50時，由該資料引起的干擾可被共同抽取成不同的或更確定的活動圖型。
循環神經網路110處理來自不同感測器所輸入的資料50的能力亦為對該資料的抽取提供了一定程度的強健性(robustness)。舉例而言，一群組中的一個感測器可能變得不準確或者甚至不起作用，但循環神經網路110仍可繼續自其他感測器抽取資料50。循環神經網路110常常會將來自其他感測器的資料50抽取成若所有的感測器都如所設計般發揮作用的話將會出現的該相同活動圖型。然而，在某些情況下，該等抽取的確定性可能會降低。然而，即使將出現此種問題，抽取亦可繼續。
在所示的實施方式中，輸入端105被示意性地表示為多個節點的一明確定義的輸入層，每個節點被動地將輸入傳達至循環神經網路110中的一或多個位置。然而，情況未必如此。舉例而言，在某些實施方式中，一或多個輸入端105可在資料被傳送至循環神經網路110之前對輸入資料的某些部分或全部的輸入資料進行縮放，或者執行其他初步處理。另一例子，資料50可被投入整個循環神經網路110的不同層及/或邊緣或節點中，即，無此種正式的輸入層。舉例而言，一使用者可指定將資料投入分佈在整個循環神經網路110中的具體節點或連結中。作為另一實例，循環神經網路110不需要被限制為以一已知的、先前定義的方式接收輸入(例如，總是將一第一位元投入一第一節點，將第二位元投入一第二節點......以此類推)。相反，一使用者可指定將資料中的某些位元投入邊緣而非節點中、投入的順序不必遵循位元出現的順序、或者該等及其他參數的組合。然而，為方便起見，在本文中將保持作為一輸入層的輸入端105的表示。
循環神經網路110被示意性地示為一循環神經網路。在循環神經網路中，節點之間的連接沿著一時間序列形成一定向曲線圖，並且網路表現出時間動態行為。一般來說，循環神經網路110為在一生物系統上建模的一相對複雜 的神經網路。換言之，循環神經網路110自身可對一生物系統的形態、化學及其他特徵的程度進行建模。一般而言，在生物系統上建模的循環神經網路110是在一或多個具有相對高水準的計算效能的計算裝置上實施。
與例如傳統的前饋神經網路相反，在生物系統上建模的循環神經網路110可顯示背景(context)或其他不響應輸入的資料50的活動。事實上，即使在不存在輸入的資料50的情況下，此種循環神經網路110中亦可能存在活動。
然而，在輸入資料50時，循環神經網路110將受到干擾。由於此循環神經網路110對干擾的響應可能部分取決於輸入的資料50時循環神經網路110的狀態，因此循環神經網路110對輸入的資料50的響應亦可能取決於背景或循環神經網路110中已經存在的其他活動。
然而，即使一神經網路中的此種活動不僅對資料50的輸入作出響應，但其對輸入的資料50作出響應。數字120因此可表示響應於輸入資料在活動圖型中出現的拓撲結構的存在與否，即使在生物系統上建模的一相對複雜的神經網路中亦為如此。
在所示的實施方式中，輸出端115示意性地表示為一多節點輸出層。然而，輸出端115不需為一多節點輸出層。舉例而言，輸出節點115可以是個別「讀取器節點」，其辨識在循環神經網路110中的一特定節點集合處特定的活動圖型的出現，並因此讀取循環神經網路110的輸出。當且僅當一特定節點集合處的活動滿足定時(以及可能的幅度或其他參數)標準時，讀取器節點才能觸發。舉例而言，輸出節點115可連接至循環神經網路110中的一節點集合，並基於例如以下來指示拓撲結構的存在與否：跨越一相應臨限值激活水準的每一個別節點 的活動水準、跨越一臨限值激活水準的該等節點的活動水準的一加權和、或者跨越一臨限值激活水準的該等節點的活動水準的一非線性組合。
藉由輸出端115接收的輸出是數字120的集合，每個數字表示在神經網路110中一相應的活動圖型存在與否，神經網路110可被實施為對一生物系統的特徵進行建模的一相對複雜的神經網路。數字集合120僅被示意性地示出，並且數字集合120可以是例如一維數字向量、二維數字矩陣或其他數字集合。一般而言，數字集合120中的數字將為二進位的，並且以是/否的方式指示活動圖型存在與否。然而，情況未必如此。相反，在某些實施方式中，數字集合120中的數字將是多數值的。該等值可指示循環神經網路110中相應的活動圖型的存在與否的特徵。舉例而言，該等值可指示活動的強度或具體的活動圖型實際存在的一統計概率。舉例而言，幅度相對較大或在相對較短的時間窗內發生的活動可被視為指示已經執行或有可能已經執行了一具體操作。相比之下，幅度相對較小或在相對較長的時間內發生的活動可被認為不太可能指示已經執行了一具體操作。
數字集合120中的資訊以全息方式表示，即關於單個數字的值的資訊分佈在數字集合120中其他數字的值上。換言之，數字120集合中數字的隨機子集合亦含有關於由循環神經網路110對輸入50執行的抽取的資訊，只是其解析度低於數字集合120中的所有數字皆存在時將存在的解析度。如下文進一步論述，不同的拓撲圖型具有不同的複雜程度。某些相對更複雜的圖型可包含相對不太複雜的圖型，並且簡單的圖型可組裝成更複雜的圖型。此外，由某些數字表示的相對較高水準的抽取可能在某種程度上與由其他數字表示的其他抽取相關。舉例而言，表示像「活」等抽象定性性質的出現的一數字可與表示像「有生命的」 等定性性質的一數字相關。關於某些拓撲圖型的出現的資訊因此固有地包含關於其他拓撲圖型的出現的某些資訊。
為方便起見，本申請案的其餘部分將數字集合120的數字稱為二進位位元，且圖式以同樣方式示出所述數字。然而應理解，在所有情況下，數字集合120的數字亦可以是多數值的，以對由網路執行的抽取的各種態樣進行編碼。
距離計算器125是一種用於計算於輸出115上輸出的資料50的不同抽取之間的距離或相似度/不相似度的裝置。距離計算器125可計算漢明距離、推土機距離、雅卡爾相似度量(Jaccard similarity measure)或其他距離度量。在Sung-seok Choi等人題為「A survey of Binary similarity and distance measures」的出版著作(Journal of Systemis,Cybernetics and Informatics，第43-48頁(2010))中可找到適用於二進位特徵向量的距離度量的調查。在Wijaya等人的文章(BMC Bioinformatics 17：520(2016))中可找到有關適當的距離測量的示例選集。上述二者的內容均透過引用的方式併入本文。
距離計算器125包含輸入135和輸出140。輸入135被耦合以接收在循環神經網路110中活動圖型的表示，亦即，數字集合120。距離計算器125可用各種方式接收數字集合120。例如，數字集合120當中的數字可作為離散事件的集合或作為實時或非實時通訊通道上的連續串流而被接收。
輸出140被耦合以輸出距離的測量，該距離的測量是關於從循環神經網路110接收的數字集合120。例如，輸出140可輸出已從循環神經網路110中輸出的兩個數字集合120之間的距離測量、已從循環神經網路110中輸出的一數字集合120和已從另一循環神經網路110中輸出的一數字集合之間的距離測量， 及/或已從循環神經網路110中輸出的一數字集合120和一參考(例如，叢集或叢集邊界的重心)之間的距離測量。
在某些實施方式中，距離計算器125被整合至循環神經網路110中。換言之，循環神經網路110可直接輸出距離測量。距離測量可測量例如，不同的兩組至循環神經網路110的輸入之間的距離、單組輸入被輸入到循環神經網路110前/後的演變間的距離、或輸入資料和一參考之間的距離。在某些實施方式中，從循環神經網路110中輸出的距離測量可傳遞至另一應用程式及/或用於訓練循環神經網路110。從距離計算器125輸出的距離測量可被用在各種不同的情況。舉例而言，距離測量可被用於評估結果叢集(resultant cluster)、確認叢集的最佳數目、識別叢集之間各屬性的相關性、以及估計一資料集的分群程度。例如，可用距離測量來計算Davies-Bouldin索引、Dunn索引、輪廓係數(silhouette coefficients)和Hopkins統計。
在這些和其他情況下，自距離計算器125所獲得的距離測量輸出可為有益的。對於高維度的資料，距離對於分解元素和分群較無幫助。尤其隨著維度的增加，空間中的所有元素看起來都更為相似/不相似。換言之，當維度接近無限時，最近的相臨點之間的距離與最遠的相臨點之間的距離，二者間的差值趨近於零。
然而，用於表示的相應的活動拓撲圖型是否響應於輸入資料50被輸入而出現的數字120對於計算高維度資料的距離度量而言是有價值的。由於臨界值問題，即便是用數字120表示的最簡單的抽取也將固有地降低了輸入資料的維度。數字120因此基於多個活動拓撲圖型而固有地定義了即便是高維度的輸入 資料之間的距離，該多個活動拓撲圖型響應輸入資料50而出現在循環神經網路110中。
此外，如上所述，一活動拓撲圖型可體現不同層次的抽取。舉例而言，由一第一拓撲圖型的出現來表示的一抽取可能需要用以表示其他「較低層級」的抽取的兩個其他拓撲圖型的共同出現。因此，一組數字可傳遞一組抽象特徵，該多個抽象特徵對於根據不同層級的抽取來計算距離度量而言是有幫助的。
不同層級的抽取亦允許定義全新的距離度量。舉例而言，用以表示不同元素被抽取為同一相對高層級抽取的單個數字120，其表示相似度的能力強於用以表示輸入資料被抽取為各種相對低層級抽取的大量數字120。此與例如漢明距離以及固有地以類似方式處理特徵向量中的所有資訊的其他方法形成對比。
在某些實施方式中，循環神經網路110可被訓練以達成特定的處理結果。一般來說，該訓練會教育循環神經網路基於多個較低層級抽取的組合而達到較高層級的抽取。透過訓練以及專用於訓練的距離度量而被量身訂製的兩元素之間的距離測量可被定義。對於與處理結果或所獲得的距離度量相關的輸入資料維度，使用者不必具有相關的背景知識或理解。反之，訓練過程本身可訂製循環神經網路110以實現所需的處理結果，並提供與計算距離有關的抽取。
第2圖是可被辨識並「讀取」以自循環神經網路110(第1圖)產生數字120的集合的活動的圖型400的表示圖。
圖型400是在一循環人工神經網路內的活動的表示。為讀取圖型400，一功能圖被視為以節點為點的一拓撲空間。與圖型400相符的節點及連結中的活動可被識別為有序的，而無論參與該活動的特定節點及/或連結的身份如何。 在所示的實施方式中，圖型400皆為定向集團(directed cliques)或定向單形(directed simplices)。在此類圖型中，活動來自於一源節點，該源節點將訊號傳輸至圖型中的每一其他節點。在圖型400中，此類源節點被指定為「點0」，而其他節點被指定為「點1」、「點2」...等等。此外，在定向集團或定向單形中，該等節點其中之一充當一接收裝置(sink)，且接收自圖型中的每個其他節點傳輸的訊號。在圖型400中，此類接收裝置節點被指定為圖型中編號最高的點。舉例而言，在圖型405中，接收裝置節點被指定為「點2」。在圖型410中，接收裝置節點被指定為「點3」。在圖型415中，接收裝置節點被指定為「點4」，以此類推。由圖型400表示的活動因此以可區分的方式排序。
每個圖型400具有不同數量的點，並且反映不同數量的節點中的有序活動。舉例而言，圖型405是二維單形並反映三個節點中的活動，圖型410是三維單形並反映四個節點中的活動，以此類推。隨著圖型中點數的增加，活動的有序程度及複雜程度亦增加。舉例而言，對於在一窗內具有一定水準的隨機活動的節點的一大的集合，該活動中的某些活動可能偶爾與圖型405相符。然而，隨機活動越來越不可能與圖型410、415、420、425、430等等中的相應圖型相符。因此，相較於與圖型405相符的活動，與圖型430相符的活動具有相對較高的有序程度及複雜程度。
針對不同的活動複雜性的確定，可定義不同的持續時間窗。舉例而言，當要辨識與圖型430相符的活動時，可使用比要辨識與圖型405相符的活動時更長的持續時間窗。
第3圖是可被辨識及「讀取」以自循環神經網路110(第1圖)產生二進位數字120的集合的活動的圖型300的表示圖。
圖型300是多組具有相同維度(即，具有相同數量的點)的定向集團或定向單形，其定義了比個別集團或個別單形涉及更多點的圖型，並且在成組的定向單形內封閉空腔。
舉例而言，圖型305包含六個不同的三點二維圖型405，且這六個三點二維圖型405一起定義了一二級同調類(homology class of degree two)，而圖型310包含八個不同的三點二維圖型405，而這八個三點二維圖型405一起定義了一第二二級第二同調類。圖型305、310中的每個三點二維圖型405可被認為封閉了相應的空腔。與一定向圖相關聯的第n個貝蒂(Betti)數提供了在一拓撲表示內此種同調類的計數。
由例如圖型300等圖型所表示的活動表示一網路內活動的有序程度相對較高，此不太可能由隨機偶然事件引起。圖型300可用於表徵該活動的複雜性。
在某些實施方式中，僅辨識出某些活動圖型，及/或丟棄或以其他方式忽略活動圖型中被辨識出來的某些部分。舉例而言，參照第2圖，與五點四維單形圖型415相符的活動固有地包含與四點三維及三點二維單形圖型410、405相符的活動。舉例而言，第2圖的四維單形圖型415中的「點0」、「點2」、「點3」、「點4」及「點1」、「點2」、「點3」、「點4」二者皆與三維單形圖型410相符。在某些實施方式中，包含較少點(且因此具有較低的維度)的圖型可被丟棄或以其他方式忽略。作為另一實例，僅需要辨識某些活動圖型。舉例而言，在某些實施方式中，僅辨識有奇數個點(3、5、7...)或者偶數個維度(2、4、6...)的圖案。儘管僅辨識了某些圖型，但關於神經網路中的活動的資訊仍然可被以全 息方式表示，即，以較在一輸出中所有圖型皆被辨識及/或表示時低的解析度表示。
如上所述，響應於輸入的資料50的活動圖型表示由循環神經網路110對該輸入的資料50執行的具有任意複雜性的一具體操作。在某些實施方式中，操作的複雜性將反映在拓撲圖型的複雜性中。舉例而言，由五點四維單形圖型415表示的操作或抽取可能較由四點三維及三點二維單形圖型410、405表示的操作或抽取更複雜。在此種情況下，表示活動存在的數字表達出在循環神經網路110中執行一組操作或抽取，其中該等操作或抽取其中之每一者具有任意的複雜水準。
第4圖是確定具有一可區分複雜性的活動圖型的定時的示意性表示圖。第4圖中表示的確定可作為活動圖型的辨識或「讀取」的一部分來執行，以自循環神經網路110(第1圖)產生二進位數字120的集合。
第4圖包含一曲線圖605及一曲線圖610。曲線圖605表示隨著沿x軸的時間而變化的圖型的出現。具體而言，個別出現被示意性地表示為垂直線606、607、608、609。每一列的出現可以是活動與一相應圖型或圖型類別相匹配的例子。舉例而言，頂列的出現可以是活動與圖型405(第2圖)相匹配的例子，第二列的出現可以是活動與圖型410(第2圖)相匹配的例子，第三列的出現可以是活動與圖型415(第2圖)相匹配的例子，以此類推。
曲線圖605還包含虛線矩形615、620、625，當活動圖型具有一可區分的複雜性時，虛線矩形615、620、625示意性地描繪不同的時間窗。如圖所示，在由虛線矩形615、620、625描繪的窗期間，循環人工神經網路中的活動與指示複雜性的一圖型相匹配的可能性高於該等窗之外的可能性。
曲線圖610表示與隨著沿x軸的時間而變化的該等出現相關聯的複雜性。曲線圖610包含複雜性與由虛線矩形615描繪的窗一致的一第一峰值630、以及複雜性與由虛線矩形620、625描繪的窗一致的一第二峰值635。如圖所示，由峰值630、635表示的複雜性可與可被視為複雜性的一基線水準640的複雜性區分開來。
在某些實施方式中，讀取一循環人工神經網路的輸出的時間與具有一可區分的複雜性的活動圖型的出現是一致的。舉例而言，在第4圖的說明性環境中，一循環人工神經網路的輸出可在峰值630、635處、即在由虛線矩形615、620、625描繪的窗期間被讀取。
在某些實施方式中，自循環人工神經網路不僅可輸出具有一可區分的複雜性的活動圖型的內容，而且可輸出該活動圖型的定時。具體而言，不僅參與了與活動圖型相符的活動的節點的身份及活動，活動圖型的定時亦可被視為循環人工神經網路的輸出。因此，所辨識的活動圖型以及將讀取此決定的定時可表示神經網路的處理結果。
第5圖是將源自不同感測器的資料50輸入至循環神經網路110的方法以及處理該輸入資料的示意性表示圖。在所示的實施方式中，網路的輸入105的不同子集合105’、105”、105'''專用於接收不同類型的輸入資料。舉例而言，第一子集合105’可專用於接收一第一類別的輸入資料(例如，來自一第一感測器的資料)，而第二子集合105”可專用於接收一第二類別的輸入資料(例如，來自一第二感測器的資料)。
在某些實施方式中，神經網路110的對應「區域」505、510自網路輸入105的不同子集合105’、105”、105'''接收不同類別的輸入資料。舉例而言， 在示意圖中，區域505、510被示為節點及邊緣的空間離散集合(spatially discrete collections)，每個區域之間具有相對較少的節點對節點連接。情況未必如此。確切而言，每個區域505、510的節點及邊緣可在神經網路110內空間分佈，但仍接收一特定類別的輸入資料。
無論在每個區域505、510中節點的分佈如何，每個區域505、510中的處理主要(但未必是唯一)受到分別接收的類別的輸入資料的干擾。干擾的程度可基於在存在及不存在相應類別的輸入資料的情況下在一區域中發生的活動來量測。舉例而言，主要受一第一類別的輸入資料干擾的一區域可以大致相同的方式對第一類別的輸入資料作出響應，而無論其他類別的輸入資料是否同時干擾循環神經網路110。由每個區域505、510執行的處理及抽取主要受到所接收的類別的輸入資料的影響。然而，在每個區域505、510中出現的活動拓撲圖型可被讀取為數字120的一集合。對於循環神經網路110的其他區域亦為如此。
這可藉由分別指定網路輸出115的不同子集合115’、115”、115'''而在神經網路系統500中示意性地表示。具體而言，子集合115’可專用於輸出代表在循環神經網路110的區域505中出現的活動拓撲圖型的數字，而子集合115'''可專用於輸出代表在循環神經網路110的區域510中出現的活動拓撲圖型的數字。然而，子集合115”輸出在區域505、510其中之任一者中皆未發現的數字。實際上，在子集合115”中輸出的數字可表示在區域505、510中出現的抽取表示及處理結果的融合或進一步抽取至更高的複雜性水準。
舉例而言，當且僅當子集合115’中的一或多個數字及子集合115'''中的一或多個數字兩者皆具有特定值時，子集合115”中的一給定數字才可能出 現。子集合115”中的數字因此可表示任意更高水準的抽取(在區域655、660中產生的抽取還有輸入資料本身)。
當不同的區域主要受到單一類別的輸入資料的干擾時，該等區域中的處理可根據輸入資料的性質進行裁適(tailored)。舉例而言，可對輸入資料進行連接深度及網路迴路的拓撲的裁適。在於生物系統上建模的循環神經網路中，亦可對輸入資料進行神經元動力學及突觸可塑性的裁適。該裁適例如捕捉不同的時間標度。舉例而言，在為處理相對快速變化的輸入資料類別(例如，視訊或音訊資料)而裁適的一區域中的處理可比在為處理相對較慢變化或根本不變化的輸入資料類別而裁適的一區域中的處理更快。
此外，當一循環神經網路的不同區域主要受到單一類別的輸入資料的干擾時，人類更容易將一循環神經網路中出現的表示歸因(attributed)於特定的輸入資料。在一特定區域中出現的表示可歸因於主要干擾該區域的輸入資料的類別。一旦在一特定區域中出現的表示被歸因，響應於一特定區域中的表示而出現的更高水準及更複雜的抽取便亦可更容易理解。
此外，可針對一循環神經網路的並非主要受單一類別的輸入資料的干擾的某些部分進行訓練，即針對一循環神經網路的融合主要受單一類別的輸入資料的干擾的區域的處理結果的某些部分進行訓練。實際上，主要受單一類別的輸入資料干擾的區域將產生通用的輸入資料表示(不僅用於自循環神經網路的輸出，還用於循環神經網路的進一步抽取及其他操作)。
第6圖是循環神經網路110如何被訓練以產生數字120的集合的示意性表示圖，數字120被特製以在特定情況中實現理想的距離度量。
舉例而言，可基於將被神經網路110接收的輸入的類型來特製數字。特製內容可為例如確保循環神經網路110對於在不同輸入資料中的特定不同之處有充分的敏感度及/或對於在輸入資料中其他的不同之處有充分的敏感度。實際上，數字可被特製以確保數字120的不同集合兩兩之間的距離足夠接近或足夠遠離(例如，確保在數字120的不同集合之間的「擁擠距離(crowding distance)」是理想的)。
除了循環神經網路110以及距離計算器125外，所示的人工神經網路系統100的實施方式也可包含一比較器710以及一訓練單元715。
比較器710是一種被配置以比較將距離計算器125的一距離度量輸出140與一理想的輸出730進行比較的裝置。該比較可得出一代價函數(cost function)或關於距離度量輸出140與理想的輸出730有多近的其他測量。
訓練單元715是一種裝置，其被配置以基於關於距離度量輸出140與理想的輸出730之間有多近的一測量而改變循環神經網路110的一或多個屬性。舉例而言，訓練單元715可在循環神經網路110中增加或移除節點或連結、改變連結的比重、改變被表示於數字集合120的拓撲圖型、或是對循環神經網路110進行其他修改。在循環神經網路110屬於在生物系統上建模且相對複雜的神經網路的實施方式中，訓練單元715可改變例如模型的形態特徵、化學特徵或其他特徵。
訓練循環神經網路110以產生數字120的集合，且該集合可產生理想的距離度量，所述訓練在各種不同的情況下都是有益的。舉例而言，如上所述，可訓練循環神經網路110以實現對於輸入資料的特定特徵的理想的敏感度。這種特製方式可用以例如：透過使循環神經網路110對於對抗攻擊不敏感來提高循環 神經網路110的對抗性(adversarial resistance)。再舉例而言，這種特製方式可用以確保循環神經網路110將輸入資料分群為理想數量的叢集。又舉例而言，這種特製方式還可用以確保數字集合120包含與特定下游處理(例如：分類或其他監督式學習應用程式)有關的數字。再舉例而言，這種特製方式還可用以調整循環神經網路110的臨界值。例如，可基於環境中「雜訊」的數量來調整臨界值，其中雜訊是潛在地有助於循環神經網路110的活動層級的輸入資料。
第7圖是使用數字120的集合計算距離度量的示意性表示圖，數字120各自表示一相應的活動拓撲圖型是否出現於循環神經網路110中。如圖所示，數字集合120包含源自循環神經網路110的多個網路輸出115的不同子集合115’、115”、115'''的數字，網路輸出115用於輸出出現在不同區域(例如：區域505、510、515(第5圖))的表示。如第5圖所示，子集合115’以及子集合115'''可被用於輸出相對「低層級」的抽取的表示，而子集合115”可被用於輸出相對「高層級」的抽取的表示。
如由虛線所示意性地表示，距離計算器125針對低層級的抽取以及高層級的抽取使用不同的尺度來計算距離度量。所述使用不同尺度的計算具有多種方式。舉例而言，相較於較低層級的抽取，可給予較高層級的抽取較高的權重。再舉例而言，一第一距離計算可用於低層級抽取，而一第二距離計算可用於高層級的抽取。又舉例而言，距離度量的計算可分為多個步驟進行。例如，在第一步驟，高層級的抽取可被用於第一步驟，而低層級的抽取可被用於第二步驟。實際上，可基於在第一步驟中針對高層級的抽取所計算的距離，調整用於計算低層級的抽取的距離度量的權重或其他參數。
如此一來，不僅單一循環神經網路能產生不同層級的抽取，距離度量的計算也能透過針對不同層級的抽取使用不同的尺度進行處理，進而容納那些不同的層級。據此，可得到一種能處理更高維度資料的距離度量的新的計算方式。
在一些情況下，對不同層級的抽取使用不同尺度是有益的。舉例而言，不同層級的抽取可用於預先分群大量的資料或遞增式(incremental)/漸進式(progressive)的分群，所述分群方式是從粗略且未精煉的叢集開始進行分群，並在後續操作中逐漸改善。
在本說明書中闡述的標的物及操作的實施例可在數位電子電路系統中實施，或者在電腦軟體、韌體或硬體(包含在本說明書中揭露的結構及其結構等效物)中或者以其一或多者的組合實施。在本說明書中闡述的標的物的實施例可被實施為一或多個電腦程式(即，電腦程式指令的一或多個模組)，該一或多個電腦程式編碼於電腦儲存媒體上以便由資料處理設備執行或控制資料處理設備的操作。作為另一選擇或另外，程式指令可編碼於一人工產生的傳播訊號上，該人工產生的傳播訊號為例如被產生以對用於傳輸至適合的接收器設備的資訊進行編碼以便由一資料處理設備執行的一由機器產生的電性訊號、光學訊號或電磁訊號。一電腦儲存媒體可以是一電腦可讀取儲存裝置、一電腦可讀取儲存基板、一隨機或串列存取記憶體陣列或裝置或其一或多者的組合，或者可包含於一電腦可讀取儲存裝置、一電腦可讀取儲存基板、一隨機或串列存取記憶體陣列或裝置或其一或多者的組合中。此外，儘管一電腦儲存媒體並非一傳播訊號，然而一電腦儲存媒體可以是編碼於一人工產生的傳播訊號中的電腦程式指令的一來源(source)或目的地(destination)。電腦儲存媒體亦可以是一或多個單獨 的物理組件或媒體(例如，多個光碟(compact disc，CD)、碟片(disk)或其他儲存裝置)，或者可包含於該一或多個單獨的物理組件或媒體(例如，多個CD、碟片或其他儲存裝置)中。
在本說明書中闡述的操作可被實施為由一資料處理設備對儲存於一或多個電腦可讀取儲存裝置上的資料或自其他來源接收的資料實行的操作。
用語「資料處理設備」囊括用於處理資料的所有種類的設備、裝置及機器，包含例如一可程式化處理器、一電腦、一系統晶片或者前述中的多者或組合。該設備可包含專用邏輯電路系統，例如一現場可程式化閘陣列(field programmable gate array，FPGA)或一應用專用積體電路(application specific integrated circuit，ASIC)。該設備可除硬體之外亦包含為所論述的電腦程式創建一執行環境的碼，例如構成處理器韌體、一協定堆疊、一資料庫管理系統、一作業系統、一跨平臺運行時間環境、一虛擬機或其一或多者的組合的碼。該設備及執行環境可達成各種不同的計算模型基礎架構，例如網路服務、分佈式計算及網格式計算基礎架構。
一電腦程式(亦稱為一程式、軟體、軟體應用、腳本或碼)可以包含編譯或解譯語言、宣告性語言或程序性語言在內的任何形式的程式化語言來編寫，且該電腦程式可以任何形式來部署，包含作為一獨立程式或作為一模組、組件、次常式、對象或適合於在一計算環境中使用的其他單元。一電腦程式可(但無需)對應於一檔案系統中的一檔案。一程式可儲存於一檔案的保持其他程式或資料(例如，儲存於一標示語言文件中的一或多個腳本)的一部分中、專用於所論述的該程式的單一檔案中或者多個協調的檔案(例如，儲存一或多個模 組、子程式或碼部分的檔案)中。一電腦程式可被部署成在位於一個站點(site)處的一個電腦上或在分佈於多個站點上並藉由一通訊網路互連的多個電腦上執行。
在本說明書中闡述的過程及邏輯流程可由一或多個可程式化處理器來實行，該一或多個可程式化處理器執行一或多個電腦程式，以藉由對輸入資料進行操作並產生輸出來實行動作。過程及邏輯流程亦可由專用邏輯電路系統來實行，且設備亦可被實施為專用邏輯電路系統，例如一現場可程式化閘陣列(FPGA)或一應用專用積體電路(ASIC)。
舉例而言，適合於執行一電腦程式的處理器包含通用微處理器與專用微處理器二者以及任何種類的數位電腦其中之任何一或多個處理器。一般而言，一處理器將自一唯讀記憶體或一隨機存取記憶體或兩者接收指令及資料。一電腦的基本元件是用於根據指令實行動作的一處理器以及用於儲存指令及資料的一或多個記憶體裝置。一般而言，一電腦亦將包含用於儲存資料的一或多個巨量儲存裝置(例如磁碟、磁光碟或光碟)，或者被操作地耦合以自該一或多個巨量儲存裝置接收資料或向該一或多個巨量儲存裝置轉移資料或者進行兩者。然而，一電腦不必具有此種裝置。此外，一電腦可嵌置於例如(舉幾個例子)一行動電話、一個人數位助理(personal digital assistant，PDA)、一行動音訊或視訊播放機、一遊戲主控台(game console)、一全球定位系統(Global Positioning System，GPS)接收器或一可攜式儲存裝置(例如，一通用串列匯流排(universal serial bus，USB)快閃驅動器)等另一裝置中。適合於儲存電腦程式指令及資料的裝置包含所有形式的非揮發性記憶體、媒體及記憶體裝置，包含例如：半導體記憶體裝置，例如可抹除可程式化唯讀記憶體(erasable programmable read only memory，EPROM)、電子可抹除可程式化唯讀記憶體(electrically erasable programmable read only memory，EEPROM)及快閃記憶體裝置；磁碟，例如內部硬碟或可移除式碟片(removable disk)；磁光碟；以及光碟唯讀記憶體(compact disc-read only memory，CD ROM)及數位多功能光碟唯讀記憶體(digital versatile disc-read only memory，DVD ROM)碟片。處理器及記憶體可藉由專用邏輯電路系統來補充或包含於專用邏輯電路系統中。
為提供與一使用者的交互，在本說明書中闡述的標的物的實施例可在一電腦上實施，該電腦具有例如陰極射線管(cathode ray tube，CRT)或液晶顯示器(liquid crystal display，LCD)監視器等用於向使用者顯示資訊的顯示裝置以及可供使用者向電腦提供輸入的鍵盤及指針裝置(例如，一滑鼠或一軌跡球)。亦可使用其他種類的裝置來提供與一使用者的交互；舉例而言，提供至使用者的回饋可以是任何形式的感覺回饋，例如視覺回饋、聽覺回饋或觸覺回饋；且來自使用者的輸入可以包含聲響、語音或觸覺輸入在內的任何形式接收。此外，一電腦可藉由向使用者使用的一裝置發送文件及自使用者使用的一裝置接收文件來與一使用者交互；例如，藉由響應於自網路瀏覽器接收的請求，將網頁發送至一使用者客戶端裝置上的一網路瀏覽器。
儘管本說明書包含諸多具體的實施細節，然而該等實施細節不應被視為對任何發明的範圍或可主張的範圍的限制，而應被視為對特定發明的特定實施例的專有特徵的說明。本說明書中在單獨的實施例的上下文中闡述的某些特徵亦可在單一實施例中以組合方式實施。相反，在單一實施例的上下文中闡述的各種特徵亦可在多個實施例中單獨地實施或以任何適合的子組合來實施。此外，儘管上文可將特徵闡述為在某些組合中起作用且甚至最初如此主張，然而 在某些情形中，可自一所主張的組合中去除來自該組合的一或多個特徵，且所主張的組合可指向一子組合或一子組合的變型。
相似地，儘管在圖式中以一特定次序繪示操作，然而此不應被理解為要求以所示的特定次序或以順序次序實行此種操作或者要求實行所有所示操作以達成所期望的結果。在某些情況中，多任務及平行處理可以是有利的。此外，上述實施例中的各種系統組件的分離不應被理解為在所有實施例中均需要此種分離，且應理解，所闡述的程式組件及系統一般可一起整合於單一軟體產品中或者被封裝至多個軟體產品中。
因此，已闡述標的物的特定實施方式。其他實施方式處於以下申請專利範圍的範圍內。在某些情形中，申請專利範圍中陳述的動作可以一不同的次序實行，且仍然會達成所期望的結果。另外，圖式中繪示的過程未必需要所示的特定次序或順序次序來達成所期望的結果。在某些實施方式中，多任務及平行處理可以是有利的。
已描述了多個實施方式。然而，應理解，可進行各種修改。因此，其他實施方式在以下申請專利範圍的範圍內。
50:資料
60:音訊資料
62:靜止影像資料
64:視訊資料
66:溫度資料
100:人工神經網路系統
105:輸入
110:循環神經網路
115:輸出
120:數字/數字集合
125:距離計算器
135:輸入
140:輸出

Claims (23)

  1. 一種定義距離量度的方法，包含：確認在一循環人工神經網路中的訊號傳輸活動是否與由多個拓撲圖型形成的一集合中的多個特定拓撲圖型相符，其中該多個拓撲圖型定義在該循環人工神經網路中的三個或多個節點之間出現的訊號傳輸活動，其中該訊號傳輸活動響應於一第一資料被輸入至該循環人工神經網路而出現；以及基於與該多個拓撲圖型相符且被確認為響應於該第一資料被輸入而出現的訊號傳輸活動，確認該第一資料與一第二資料之間或該第一資料與一參考之間的一距離。
  2. 如請求項1所述的方法，還包含：確認在該循環人工神經網路中的訊號傳輸活動是否與該集合中的該多個特定拓撲圖型相符且響應於該第二資料被輸入至該循環人工神經網路而出現於該循環人工神經網路中；其中，該第一資料與該第二資料之間的該距離是藉由以下方式而被確認：將被確認響應於該第一資料被輸入而出現的訊號傳輸活動的該多個拓撲圖型以及被確認響應於該第二資料被輸入而出現的訊號傳輸活動的該多個活動拓撲圖型進行比較。
  3. 如請求項1所述的方法，其中該距離是於該第一資料與一叢集的一重心之間或於該第一資料與一叢集邊界之間被確認。
  4. 如請求項1所述的方法，其中該訊號傳輸活動的出現是以多個二進位數字或多數值的多個數字的一集合來表示，該多個數字各自表示一相應的拓撲圖型是否出現。
  5. 如請求項1所述的方法，其中該距離是使用一距離度量而被確認，且該距離度量是以不同的尺度處理該集合中的訊號傳輸活動的該多個拓撲圖型的一第一子集合與該集合中的訊號傳輸活動的該多個拓撲圖型的一第二子集合。
  6. 如請求項5所述的方法，其中於該距離度量中，該多個活動拓撲圖型的該第一子集合表示距離的能力高於該多個活動拓撲圖型的該第二子集合。
  7. 如請求項2所述的方法，其中該第一資料與該第二資料包含輸入資料的多個類別；以及該多個活動拓撲圖型的該第一子集合只包含出現於該循環人工神經網路中主要被該輸入資料的一單一類別所干擾的一區域的多個活動拓撲圖型。
  8. 如請求項7所述的方法，其中：輸入資料的該多個類別中之每一者源自不同的感測器；以及輸入資料的該單一類別只源自該多個感測器中的第一者。
  9. 如請求項5所述的方法，其中：該循環人工神經網路是經訓練過的；以及該多個活動拓撲圖型的該第二子集合只包含出現於該循環人工神經網路中反映該循環人工神經網路的一訓練的一區域的多個活動拓撲圖型。
  10. 如請求項1所述的方法，其中該循環人工神經網路是未經訓練過的。
  11. 如請求項5所述的方法，其中該第二子集合中的該多個活動拓撲圖型的一複雜度高於該第一子集合中的該多個活動拓撲圖型的一複雜度。
  12. 如請求項5所述的方法，其中該第一子集合中的該多個活動拓撲圖型中的至少一部份被包含於該第二子集合中的該多個活動拓撲圖型中。
  13. 如請求項1所述的方法，還包含：響應於資料被輸入至該循環人工神經網路，重複地確認在該循環人工神經網路中的訊號傳輸活動是否與該集合中的該多個特定活動拓撲圖型相符；以及基於在被輸入的該資料之間的一距離而分群該資料，其中該距離是藉由以下方式而被確認：將響應於該資料被輸入而出現的訊號傳輸活動的該多個活動拓撲圖型各自進行比較。
  14. 如請求項1所述的方法，其中確認在該循環人工神經網路中的該訊號傳輸活動是否與該多個特定拓撲圖型相符包含：確認該訊號傳輸活動是否與多個單體圖型相符。
  15. 如請求項14所述的方法，其中該多個單體圖型包圍多個空腔。
  16. 如請求項1所述的方法，其中確認該訊號傳輸活動是否與該多個特定拓撲圖型相符係包含：確認具有一複雜度的訊號傳輸活動的一時間點，該複雜度相較於響應於該第一資料被輸入至該循環人工神經網路的其他訊號傳輸活動是可區別的，以及基於具有可區別的該複雜度的該活動的該時間點，辨識該符合的訊號傳輸活動。
  17. 一種訓練一循環人工神經網路的方法，包含： 接收資訊，該資訊係辨識在該循環人工神經網路中與多個特定拓撲圖型相符的訊號傳輸活動的出現，其中，響應於多個不同元素被輸入至該循環人工神經網路，該訊號傳輸活動出現於該循環人工神經網路中的三個或多個節點之間；基於符合該多個拓撲圖型的訊號傳輸活動的出現，計算該多個不同元素之間的距離；以及調整該循環人工神經網路的一或多個特徵以增加或減少該多個距離。
  18. 如請求項17所述的方法，包含確認多個元素中的一第一元素與一第二元素之間的一距離，其中該距離是以以下方式進行確認：將被確認響應於該第一元素被輸入而出現的該符合的訊號傳輸活動與被確認響應於該第二元素被輸入而出現的該符合的訊號傳輸活動進行比較。
  19. 如請求項17所述的方法，其中該等距離是使用一距離度量而被計算，且該距離度量是以不同的尺度處理該集合中的該多個拓撲圖型的一第一子集合與該集合中的該多個拓撲圖型的一第二子集合。
  20. 如請求項19所述的方法，其中於該距離計算中，該多個活動拓撲圖型的該第一子集合表示距離的能力高於該多個活動拓撲圖型的該第二子集合。
  21. 如請求項19所述的方法，其中在該多個活動拓撲圖型的該第二子集合中的該多個拓撲圖型的一複雜度比在該多個拓撲圖型的該第一子集合中的該多個拓撲圖型的一複雜度更低。
  22. 如請求項17所述的方法，其中：辨識該符合的訊號傳輸活動的出現的該資訊包含一第一元素的一第一二進位向量和一第二元素的一第二二進位向量；且 計算該等距離包含計算在該等二進位向量之間的距離。
  23. 如請求項17所述的方法，其中該循環人工神經網路是未經訓練過的。
TW109143241A 2019-12-11 2020-12-08 定義距離量度的方法以及訓練一循環人工神經網路的方法 TWI776310B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/710,176 US11580401B2 (en) 2019-12-11 2019-12-11 Distance metrics and clustering in recurrent neural networks
US16/710,176 2019-12-11

Publications (2)

Publication Number Publication Date
TW202137068A TW202137068A (zh) 2021-10-01
TWI776310B true TWI776310B (zh) 2022-09-01

Family

ID=73839030

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109143241A TWI776310B (zh) 2019-12-11 2020-12-08 定義距離量度的方法以及訓練一循環人工神經網路的方法

Country Status (6)

Country Link
US (2) US11580401B2 (zh)
EP (1) EP4073711A1 (zh)
KR (1) KR20220107302A (zh)
CN (1) CN115087989A (zh)
TW (1) TWI776310B (zh)
WO (1) WO2021116250A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11615285B2 (en) 2017-01-06 2023-03-28 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US11893471B2 (en) 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
US11972343B2 (en) 2018-06-11 2024-04-30 Inait Sa Encoding and decoding information
US11569978B2 (en) 2019-03-18 2023-01-31 Inait Sa Encrypting and decrypting information
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
US11816553B2 (en) 2019-12-11 2023-11-14 Inait Sa Output from a recurrent neural network
US11797827B2 (en) 2019-12-11 2023-10-24 Inait Sa Input into a neural network
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
US20220388162A1 (en) * 2021-06-08 2022-12-08 Fanuc Corporation Grasp learning using modularized neural networks
US11809521B2 (en) * 2021-06-08 2023-11-07 Fanuc Corporation Network modularization to learn high dimensional robot tasks
CN116467610B (zh) * 2023-03-13 2023-10-10 深圳市壹通道科技有限公司 基于5g消息的数据拓扑分析方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170213131A1 (en) * 2016-01-27 2017-07-27 Bonsai AI, Inc. Graphical user interface to an artificial intelligence engine utilized to generate one or more trained artificial intelligence models
WO2017197375A1 (en) * 2016-05-13 2017-11-16 Princeton University System and methods for facilitating pattern recognition
US20180197069A1 (en) * 2017-01-06 2018-07-12 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US20190312898A1 (en) * 2018-04-10 2019-10-10 Cisco Technology, Inc. SPATIO-TEMPORAL ANOMALY DETECTION IN COMPUTER NETWORKS USING GRAPH CONVOLUTIONAL RECURRENT NEURAL NETWORKS (GCRNNs)

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822742A (en) 1989-05-17 1998-10-13 The United States Of America As Represented By The Secretary Of Health & Human Services Dynamically stable associative learning neural network system
AU2001295591A1 (en) 2000-10-13 2002-04-22 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. A method for supervised teaching of a recurrent artificial neural network
DE10139682B4 (de) 2001-08-11 2004-08-05 Deneg Gmbh Verfahren zum Generieren von neuronalen Netzen
MY138544A (en) 2003-06-26 2009-06-30 Neuramatix Sdn Bhd Neural networks with learning and expression capability
US20060112028A1 (en) 2004-11-24 2006-05-25 Weimin Xiao Neural Network and Method of Training
JP4639784B2 (ja) 2004-12-06 2011-02-23 ソニー株式会社 学習装置および学習方法、並びにプログラム
EP1949311B1 (en) 2005-10-26 2014-01-15 Cortica Ltd. A computing device, a system and a method for parallel processing of data streams
US20140156901A1 (en) 2005-10-26 2014-06-05 Cortica Ltd. Computing device, a system and a method for parallel processing of data streams
GB2453263A (en) 2006-05-16 2009-04-01 Douglas S Greer System and method for modeling the neocortex and uses therefor
US20090012581A1 (en) 2007-05-01 2009-01-08 Evolved Machines, Inc. Sensory event recoding and decoding
US8818923B1 (en) 2011-06-27 2014-08-26 Hrl Laboratories, Llc Neural network device with engineered delays for pattern storage and matching
WO2011095342A1 (en) 2010-02-05 2011-08-11 Ecole Polytechnique Federale De Lausanne Epfl-Sri Organizing neural networks
US8775341B1 (en) 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US9015093B1 (en) 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
CN104335218B (zh) 2012-03-30 2017-08-11 爱迪德技术有限公司 使用基函数编码来保护可访问的系统
TWI546759B (zh) 2013-03-28 2016-08-21 國立臺灣大學 遠距環境資料分類系統及其方法
US9292554B2 (en) 2013-08-20 2016-03-22 Pivotal Software, Inc. Thin database indexing
AR097974A1 (es) 2013-10-11 2016-04-20 Element Inc Sistema y método para autenticación biométrica en conexión con dispositivos equipados con cámara
US9558442B2 (en) 2014-01-23 2017-01-31 Qualcomm Incorporated Monitoring neural networks with shadow networks
US9202178B2 (en) 2014-03-11 2015-12-01 Sas Institute Inc. Computerized cluster analysis framework for decorrelated cluster identification in datasets
US9425952B2 (en) 2014-03-27 2016-08-23 Samsung Israel Research Corporation Algebraic manipulation detection codes from algebraic curves
US9195903B2 (en) 2014-04-29 2015-11-24 International Business Machines Corporation Extracting salient features from video using a neurosynaptic system
US9373058B2 (en) 2014-05-29 2016-06-21 International Business Machines Corporation Scene understanding using a neurosynaptic system
US10019506B1 (en) 2014-06-26 2018-07-10 Google Llc Identifying objects in images
CN104318304A (zh) 2014-10-20 2015-01-28 上海电机学院 一种用于模式识别的基于样本学习的bp网络结构设计方法
US9946970B2 (en) 2014-11-07 2018-04-17 Microsoft Technology Licensing, Llc Neural networks for encrypted data
US10333696B2 (en) 2015-01-12 2019-06-25 X-Prime, Inc. Systems and methods for implementing an efficient, scalable homomorphic transformation of encrypted data with minimal data expansion and improved processing efficiency
US10650047B2 (en) 2015-03-12 2020-05-12 International Business Machines Corporation Dense subgraph identification
JP6725547B2 (ja) 2015-03-20 2020-07-22 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ 人工ニューラルネットワークの関連性スコア割当て
WO2016206765A1 (en) 2015-06-26 2016-12-29 Sentiance Nv Deriving movement behaviour from sensor data
US11094058B2 (en) 2015-08-14 2021-08-17 Elucid Bioimaging Inc. Systems and method for computer-aided phenotyping (CAP) using radiologic images
CN106599989B (zh) 2015-10-08 2019-04-09 上海兆芯集成电路有限公司 神经网络单元和神经处理单元阵列
JP6983154B2 (ja) 2015-10-28 2021-12-17 グーグル エルエルシーGoogle LLC 計算グラフの処理
WO2017075346A1 (en) 2015-10-28 2017-05-04 Google Inc. Modifying computational graphs
US10970628B2 (en) 2015-11-09 2021-04-06 Google Llc Training neural networks represented as computational graphs
US20170139759A1 (en) 2015-11-13 2017-05-18 Ca, Inc. Pattern analytics for real-time detection of known significant pattern signatures
TWI745321B (zh) 2016-01-08 2021-11-11 馬來西亞商雲頂圖爾斯診斷中心有限公司 決定網路連結之方法及系統
US10157629B2 (en) 2016-02-05 2018-12-18 Brainchip Inc. Low power neuromorphic voice activation system and method
US10204286B2 (en) 2016-02-29 2019-02-12 Emersys, Inc. Self-organizing discrete recurrent network digital image codec
US11774944B2 (en) 2016-05-09 2023-10-03 Strong Force Iot Portfolio 2016, Llc Methods and systems for the industrial internet of things
US20220269346A1 (en) 2016-07-25 2022-08-25 Facebook Technologies, Llc Methods and apparatuses for low latency body state prediction based on neuromuscular data
CN109804383B (zh) 2016-08-04 2024-03-26 谷歌有限责任公司 使用神经网络编码和重构输入
US11120353B2 (en) 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10565493B2 (en) 2016-09-22 2020-02-18 Salesforce.Com, Inc. Pointer sentinel mixture architecture
US10157045B2 (en) 2016-11-17 2018-12-18 The Mathworks, Inc. Systems and methods for automatically generating code for deep learning systems
KR101997975B1 (ko) 2016-12-01 2019-07-08 한국과학기술원 신경망 시스템을 이용한 정보의 장기, 단기, 및 하이브리드 기억을 위한 방법
US11429854B2 (en) 2016-12-04 2022-08-30 Technion Research & Development Foundation Limited Method and device for a computerized mechanical device
CN106778856A (zh) 2016-12-08 2017-05-31 深圳大学 一种物体识别方法及装置
US10515302B2 (en) 2016-12-08 2019-12-24 Via Alliance Semiconductor Co., Ltd. Neural network unit with mixed data and weight size computation capability
US10885425B2 (en) 2016-12-20 2021-01-05 Intel Corporation Network traversal using neuromorphic instantiations of spike-time-dependent plasticity
US11625569B2 (en) 2017-03-23 2023-04-11 Chicago Mercantile Exchange Inc. Deep learning for credit controls
US9785886B1 (en) 2017-04-17 2017-10-10 SparkCognition, Inc. Cooperative execution of a genetic algorithm with an efficient training algorithm for data-driven model creation
US11501139B2 (en) 2017-05-03 2022-11-15 Intel Corporation Scaling half-precision floating point tensors for training deep neural networks
US20180336453A1 (en) 2017-05-19 2018-11-22 Salesforce.Com, Inc. Domain specific language for generation of recurrent neural network architectures
EP3602409B1 (en) 2017-06-05 2023-11-01 Deepmind Technologies Limited Selecting actions using multi-modal inputs
US11049018B2 (en) 2017-06-23 2021-06-29 Nvidia Corporation Transforming convolutional neural networks for visual sequence learning
US10402687B2 (en) 2017-07-05 2019-09-03 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US11987272B2 (en) 2017-07-05 2024-05-21 Perceptive Automata, Inc. System and method of predicting human interaction with vehicles
US11775891B2 (en) 2017-08-03 2023-10-03 Telepathy Labs, Inc. Omnichannel, intelligent, proactive virtual agent
US20190050725A1 (en) 2017-08-14 2019-02-14 Sisense Ltd. System and method for approximating query results using local and remote neural networks
US20190122140A1 (en) 2017-10-20 2019-04-25 STATGRAF Research LLP. Data analysis and rendering
US10410111B2 (en) 2017-10-25 2019-09-10 SparkCognition, Inc. Automated evaluation of neural networks using trained classifier
US10628486B2 (en) 2017-11-15 2020-04-21 Google Llc Partitioning videos
KR20240053667A (ko) 2017-12-22 2024-04-24 레스메드 센서 테크놀로지스 리미티드 건강 및 의료 감지를 위한 장치, 시스템, 및 방법
TWI640933B (zh) 2017-12-26 2018-11-11 中華電信股份有限公司 基於類神經網路之兩段式特徵抽取系統及其方法
WO2019147329A1 (en) 2018-01-23 2019-08-01 Hrl Laboratories, Llc A method and system for distributed coding and learning in neuromorphic networks for pattern recognition
US11278413B1 (en) 2018-02-06 2022-03-22 Philipp K. Lang Devices, systems, techniques and methods for determining the fit, size and/or shape of orthopedic implants using computer systems, artificial neural networks and artificial intelligence
US20190251447A1 (en) 2018-02-09 2019-08-15 Htc Corporation Device and Method of Training a Fully-Connected Neural Network
WO2019177907A1 (en) 2018-03-13 2019-09-19 Hrl Laboratories, Llc Sparse associative memory for identification of objects
US20190354832A1 (en) 2018-05-17 2019-11-21 Università della Svizzera italiana Method and system for learning on geometric domains using local operators
US20210027862A1 (en) 2018-03-30 2021-01-28 Board Of Trustees Of Michigan State University Systems and methods for drug design and discovery comprising applications of machine learning with differential geometric modeling
DE102018109392A1 (de) 2018-04-19 2019-10-24 Beckhoff Automation Gmbh Verfahren zum erfassen optischer codes, automatisierungssystem und computerprogrammprodukt zum durchführen des verfahrens
US11341397B1 (en) 2018-04-20 2022-05-24 Perceive Corporation Computation of neural network node
EP3561727A1 (en) 2018-04-23 2019-10-30 Aptiv Technologies Limited A device and a method for extracting dynamic information on a scene using a convolutional neural network
US20190335192A1 (en) 2018-04-27 2019-10-31 Neulion, Inc. Systems and Methods for Learning Video Encoders
US20190378007A1 (en) 2018-06-11 2019-12-12 Inait Sa Characterizing activity in a recurrent artificial neural network
US11663478B2 (en) 2018-06-11 2023-05-30 Inait Sa Characterizing activity in a recurrent artificial neural network
WO2019238483A1 (en) 2018-06-11 2019-12-19 Inait Sa Characterizing activity in a recurrent artificial neural network and encoding and decoding information
US11893471B2 (en) 2018-06-11 2024-02-06 Inait Sa Encoding and decoding information and artificial neural networks
US20190378000A1 (en) 2018-06-11 2019-12-12 Inait Sa Characterizing activity in a recurrent artificial neural network
US11972343B2 (en) 2018-06-11 2024-04-30 Inait Sa Encoding and decoding information
US10417558B1 (en) 2018-09-28 2019-09-17 Deep Insight Solutions, Inc. Methods and systems for artificial neural network optimistic event processing
US11823038B2 (en) 2018-06-22 2023-11-21 International Business Machines Corporation Managing datasets of a cognitive storage system with a spiking neural network
US11218498B2 (en) 2018-09-05 2022-01-04 Oracle International Corporation Context-aware feature embedding and anomaly detection of sequential log data using deep recurrent neural networks
US11068942B2 (en) 2018-10-19 2021-07-20 Cerebri AI Inc. Customer journey management engine
EP3989194A1 (en) 2018-10-29 2022-04-27 Hexagon Technology Center GmbH Facility surveillance systems and methods
US11270072B2 (en) 2018-10-31 2022-03-08 Royal Bank Of Canada System and method for cross-domain transferable neural coherence model
WO2020095051A2 (en) 2018-11-07 2020-05-14 Gtn Ltd A quantum circuit based system configured to model physical or chemical systems
US11120111B2 (en) 2018-12-11 2021-09-14 Advanced New Technologies Co., Ltd. Authentication based on correlation of multiple pulse signals
US20190370647A1 (en) 2019-01-24 2019-12-05 Intel Corporation Artificial intelligence analysis and explanation utilizing hardware measures of attention
US20220148739A1 (en) 2019-02-05 2022-05-12 Smith & Nephew, Inc. Use of robotic surgical data for long term episode of care
US11544535B2 (en) 2019-03-08 2023-01-03 Adobe Inc. Graph convolutional networks with motif-based attention
US11652603B2 (en) 2019-03-18 2023-05-16 Inait Sa Homomorphic encryption
US11569978B2 (en) 2019-03-18 2023-01-31 Inait Sa Encrypting and decrypting information
US11676685B2 (en) 2019-03-21 2023-06-13 Illumina, Inc. Artificial intelligence-based quality scoring
US11210554B2 (en) 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
US10996664B2 (en) 2019-03-29 2021-05-04 Mitsubishi Electric Research Laboratories, Inc. Predictive classification of future operations
WO2020201999A2 (en) 2019-04-01 2020-10-08 Evolution Optiks Limited Pupil tracking system and method, and digital display device and digital image rendering system and method using same
US20200380335A1 (en) 2019-05-30 2020-12-03 AVAST Software s.r.o. Anomaly detection in business intelligence time series
US20200402497A1 (en) 2019-06-24 2020-12-24 Replicant Solutions, Inc. Systems and Methods for Speech Generation
US11583134B2 (en) 2019-07-15 2023-02-21 Lg Electronics Inc. Artificial intelligence cooking device
US11763155B2 (en) 2019-08-12 2023-09-19 Advanced Micro Devices, Inc. Using sub-networks created from neural networks for processing color images
US11064108B2 (en) 2019-08-21 2021-07-13 Sony Corporation Frame rate control for media capture based on rendered object speed
US20210097578A1 (en) 2019-10-01 2021-04-01 JJG Development, LLC, DBA Smart Pickle Marketing automation platform
US20220187847A1 (en) 2019-11-05 2022-06-16 Strong Force Vcn Portfolio 2019, Llc Robot Fleet Management for Value Chain Networks
US11651210B2 (en) 2019-12-11 2023-05-16 Inait Sa Interpreting and improving the processing results of recurrent neural networks
US11797827B2 (en) 2019-12-11 2023-10-24 Inait Sa Input into a neural network
US20230019839A1 (en) 2019-12-11 2023-01-19 Inait Sa Constructing and operating an artificial recurrent neural network
US11816553B2 (en) 2019-12-11 2023-11-14 Inait Sa Output from a recurrent neural network
US20210182655A1 (en) 2019-12-11 2021-06-17 Inait Sa Robust recurrent artificial neural networks
US10885020B1 (en) 2020-01-03 2021-01-05 Sas Institute Inc. Splitting incorrectly resolved entities using minimum cut
US20220157436A1 (en) 2020-08-10 2022-05-19 Zeriscope, Inc. Method and system for distributed management of transdiagnostic behavior therapy
JP2024500818A (ja) 2020-12-18 2024-01-10 ストロング フォース ヴィーシーエヌ ポートフォリオ ２０１９，エルエルシー バリューチェーンネットワークのためのロボットフリート管理及び付加製造
US20220261593A1 (en) 2021-02-16 2022-08-18 Nvidia Corporation Using neural networks to perform object detection, instance segmentation, and semantic correspondence from bounding box supervision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170213131A1 (en) * 2016-01-27 2017-07-27 Bonsai AI, Inc. Graphical user interface to an artificial intelligence engine utilized to generate one or more trained artificial intelligence models
WO2017197375A1 (en) * 2016-05-13 2017-11-16 Princeton University System and methods for facilitating pattern recognition
US20180197069A1 (en) * 2017-01-06 2018-07-12 Ecole Polytechnique Federale De Lausanne (Epfl) Generating and identifying functional subnetworks within structural networks
US20190312898A1 (en) * 2018-04-10 2019-10-10 Cisco Technology, Inc. SPATIO-TEMPORAL ANOMALY DETECTION IN COMPUTER NETWORKS USING GRAPH CONVOLUTIONAL RECURRENT NEURAL NETWORKS (GCRNNs)

Also Published As

Publication number Publication date
US11580401B2 (en) 2023-02-14
WO2021116250A1 (en) 2021-06-17
TW202137068A (zh) 2021-10-01
US20210182681A1 (en) 2021-06-17
KR20220107302A (ko) 2022-08-02
US20230351196A1 (en) 2023-11-02
EP4073711A1 (en) 2022-10-19
CN115087989A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
TWI776310B (zh) 定義距離量度的方法以及訓練一循環人工神經網路的方法
TWI776309B (zh) 循環人工神經網路、由一循環人工神經網路系統執行的方法及神經網路裝置
TWI768584B (zh) 解釋在循環神經網路的決策決定的方法及提高循環神經網路對於對抗式攻擊的抵禦性的方法
TWI786483B (zh) 處理感測資料的方法、神經網路系統及建構循環神經網路系統的方法
TWI789654B (zh) 循環人工神經網路系統
Cai et al. Fast mining of a network of coevolving time series
Yu et al. Control chart recognition based on the parallel model of CNN and LSTM with GA optimization
Bamaqa et al. Anomaly detection using hierarchical temporal memory (HTM) in crowd management
Thirumalai et al. Bike sharing prediction using deep neural networks
Tao et al. An iterative multilayer unsupervised learning approach for sensory data reliability evaluation
WO2022077345A1 (en) Method and apparatus for neural network based on energy-based latent variable models
US20230342948A1 (en) Pedestrian trajectory prediction method
Sharma et al. Neural Network Classification for user Profile Learning over Digital Library Recommendation Engine
Hlöðver Friðriksson et al. Neural Ordinary Differential Equations for Anomaly Detection
Gutiérrez et al. Climate tipping points: Detection and analysis of patterns using an ordinal regression approach

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent