TW200912905A - Non-linear stochastic processing storage device - Google Patents

Description

200912905 九、發明說明 【發明所屬之技術領域】 本發明有關於非線性隨機處理儲存裝置。 【先前技術】 傳統的資料儲存裝置高度適用於數位運算所要求之精 確的儲存及回復的需求，並且具有儲存及回復資料位元幾 近完美的特性。資料是以一種能夠被檔案系統、表格系統 或物件相關聯位元組傳導來運作的形式來儲存。智慧型的 驅動裝置試圖把電腦運算系統的特性移轉至儲存裝置中， 但基本上並不會改變目前最常見的光碟驅動裝置及快閃記 憶裝置那種永久儲存、非揮發的特性。 很顯然的’近年來許多硏究者希望能有一種具有大量 非線性隨機處理計算能力之實用的歸納型推論裝置。而這 種裝置對於儲存在大量的資料單元中之參數，需要大量的 記憶體或是非揮發性的儲存空間。迄今有許多成功的案例 已將其擴充至百萬個資料單兀等級之大型的參數隨機處理 網路中。另外有的則是利用超級電腦來輔助。但是真正要 能夠擴充到百萬或上億、甚至到十億個資料單元的規模的 裝置，實際上並還沒有出現。 因此有必要提出一種能夠執行非線性隨機處理運算的 儲存裝置，而且這個裝置如果將來在單一的裝置以外想要 能夠擴充的話，也能夠跟其他的儲存裝置做連接。 200912905 【發明內容】 一方面，本發明提供一種儲存裝置，包含：一介面， 用於接收及輸出用以處理資料單元的訊息’其中每個資料 單元包含訊息輸入欄位參數、訊息輸出欄位參數、以及內 容欄位參數；一非揮發性記憶體，用於儲存資料單元；一 揮發性記憶體；以及一處理器，其與該介面、該非揮發性 記憶體、以及該揮發性記憶體耦合，用於操控在該等資料 單元中的參數値，以及將該等資料單元儲存在該非揮發性 記憶體及該揮發性記憶體的至少之一。 另一方面，本發明提供一種儲存裝置，包含：一介面 ，用於接收及輸出用以處理資料單元的訊息，其中每個資 料單元包含訊息輸入欄位參數、訊息輸出欄位參數、以及 內容欄位參數；多個非揮發性記憶體，用於儲存資料單元； ;多個揮發性記憶體；多個處理器，其中該等處理器之各 個與該等非揮發性記憶體中至少之一、以及與該等揮發十生 記憶體中至少之一耦合，用於操控在該等資料單元中的參 數値，以及用於將該等資料單元儲存在該非揮發性記彳意II 及該揮發性記憶體的至少之一；以及一排程與訊肩、傳送，組 構，用於耦合至該等處理器。 另一方面，本發明提供一系統，包含：多個儲存裝置 ，每個儲存裝置包含一介面，用於接收及輸出用以處理資 料單元的訊息’其中每個資料單元包含訊息輸入欄位參數 、訊息輸出欄位參數、以及內容欄位參數；一非揮胃丨生言己 憶體，用於儲存資料單元；一揮發性記憶體；以及_ m s 200912905 器，其與該介面、該非揮發性記憶體、以及該揮發性記憶 體耦合，用於操控在該等資料單元中的參數値’以及用於 將該等資料單元儲存在該非揮發性記憶體及該揮發性記憶 體的至少之一；以及其中該等儲存裝置以階層式訊息路由 結構而彼此耦合。 該所提以及其他的特性及優點在詳讀下列的詳細說明 後將更爲清楚。 【實施方式】 一方面，本發明提供一種能夠辦識出哪些物件是跟它 以前所曾經見過的物件相類似之儲存裝置，或是一種能夠 讓其輸出端適應其輸入端的儲存裝置，儘管之前這些輸入 端或是輸出端從未留·下過記錄。該儲存裝置儲存源自於輸 入端的參數，並會產生源自於輸入端的參數。在其中的一 個範例中，該儲存裝置是在非線性隨機處理中導入一般的 平台，並且處理跟目前儲存裝置的寫入/讀取指令特性上 截然不同的輸入/輸出。 非線性隨機處理的計算模式在機器學習及圖形辨識的 問題上是一種日益重要的類別。這些計算模式的特徵爲大 多爲局部性的，潛在機率性的，在非揮發性儲存的資料單 元之間交互作用。應用的範圍包括貝氏網路的訓練及推論 ，以及其他機率的圖形模式，人工類神經網路的訓練及模 擬’大型的資料集中的社會網路分析，分散式系統的隨機 模擬’以及以複雜的回授系統爲基礎的高度適性化控制系 -6- 200912905 統。眾所皆知的是，這些演算法必須不斷的擴充來有 處理大量被用在彈性化、及適性化的辨識系統及控制 資料。 不斷的擴充非線性隨機處理模式需要一種新的電 構。一方面，本發明藉由緊密的將非線性隨機處理資 元之間的簡單運算跟非揮發性的儲存裝置相耦合，來 擴充非線性隨機處理模式所需之規模的目的。在其中 個範例中，假設在圖1中所示的一個簡單的Hebbian 經網路非線性隨機處理的圖形。在圖1中，丨〇 , 1 2， 1 6，1 8，20 ’及22等資料單元經由處理後產生如箭 向的訊息’準備要傳送到其他資料單元。24，及26 入端’以及28，及30等輸出端都是訊息。14，16， 等資料單元是隱藏的資料單元，並不會直接跟輸入端 出端相耦合。 於資料單元中所執行的過程如圖2所示。在本範 ，一啓動値（activation ) 的數字將被計算出來，並 出到其他資料單元。40，42，及44等幾個訊息受到 48’及50等權重的控制。52，54，及56等輸出端的 經由計算方塊輸入訊息之權重的加總5 8，並經由利用 塊所示之S形函數（sigm〇id functi〇n) 60的限制函 求得。輸出的訊息，包含所計算出來的値，之後被傳 其他連接的資料單元。 圖3是依照本發明的一個觀點所建立之資訊處理 70的方塊圖。該裝置包含一輸入/輸出介面72，用於 效地 上的 腦架 料單 達到 的一 類神 14， 頭方 等輸 及18 或輸 例中 且輸 4 6， 値是 如方 數所 送到 裝置 接收 -7- 200912905 及輸出藉由處理資料單元及控制指令的過程所產生的訊息 。該介面可以是ΑΤΑ ’ SCSI’或是其他週邊的介面，抑或 是電腦介面。控制指令允許裝置被初始化、測試、並且程 式化。控制指令同時也能夠允許如同在傳統儲存裝置中般 精確的資料複製。在本範例中，訊息及控制指令是經由在 匯流排76上的輸入裝置74所提供的，而且訊息及控制指 令經由匯流排傳送至輸出裝置78。輸入裝置將資料單元資 訊壓縮成訊息，並將該訊息傳送到介面。在另一個範例中 ’輸入及輸出裝置有可能是同一裝置，而且一條單一的匯 流排可能可以被用來傳送訊息並控制資料。資訊處理裝置 70包含一類型爲非揮發性記憶體82的第一記憶構件。該 非揮發性記憶體提供資料單元的參數及程式永久性的儲存 。例如’其記憶體可能是磁性的記憶媒體、光儲存裝置、 磁-光儲存裝置、或是鐵電的記憶媒體。在這些情況下， 好幾個讀取/寫入形式的轉換器可能必須被包含在內，以 便將訊息寫入到儲存裝置中。或者是，該非揮發性記憶體 8 2可以是一固態的記億裝置’或者是任何能夠提供資料單 元永久性儲存的記憶裝置。 資訊處理裝置70進一步包含一類型爲揮發性高速記 憶體8 4的第二記憶構件’例如高速的隨機存取記憶體。 爲符合所需的功能’處理器86被提供來處理資料單元。 由於非線性隨機處理的流程相當簡單，該處理器能夠被導 入虽作欄位可程式化閘陣列（FPGA, Field Programmable

Gate Array) ’其能夠被程式化來執行資料單元中的功能 200912905 。該處理器能夠從非揮發記憶體或是高速記憶體讀取資料 單元，也可以藉由利用將權重加入到資料單元的某些部份 ’來操控在這些資料單元中的參數，並且如特定的非線性 隨機處理資的計算所需的，適當的將正在處理中之資料單 元內改變的値，寫入到非揮發記億體或是高速記憶體中。 在本範例中’該處理器也能夠排定該流程來達到所要的非 線性隨機處理功能。 資訊是以揮發性訊息的形式，由資訊儲存裝置所接收 及輸出。該訊息被儲存在第二儲存構件並由處理器來處理 。然而’如果跟其他資料單元相互影響的資料單元被儲存 在第一儲存構件或第二儲存構件中，則該處理器可能不必 在這些資料單元間產生訊息，以傳遞非線性隨機處理的運 算。直到必須經由裝置介面輸入或輸出訊息時，才會經由 全部都包含在揮發性隨機存取記億體中的資料單元來完成 一種高效率的傳輸。 圖4a是資料單元90的槪要圖。資料單元包含一位址 欄位9 2，一輸入欄位9 4，一狀態或內容欄位9 6，以及一 輸出欄位9 8。位址欄位9 2能夠同時獨特地辨識出在資訊 處理裝置的資料單元，以及連接在網路上的多個資訊處理 裝置中的資料單元。該輸入欄位包含訊息參數，並且辨識 其他的資料單元，這些資料單元能夠跟其他的資料單元相 互影響，並且能夠辨識出所連接的資料單元的位址i 00， 時間標籤1 ’以及其他參數1 〇4，例如，與連結相關的 權重及常數値。該輸入欄位同時也可能包含先前的輸入狀 -9- 200912905 態資料，或是預測的輸入狀態資料。該先前 時也可能包含重新設定的資料，以便能將非 系統重新設定爲先前的狀態。狀態或內容欄 料中的一個或多個功能的資料，同時也可能 資料、重新設定的資料、或是預測的狀態資 包含一些參數値，包括時間標籤1 06、經由 輸出値1 〇 8、以及其他參數1 1 0，例如，對 產生的向量値或圖形値、以及對於不同輸出 値或圖形値。這個在內容欄位中明確的非揮 視非線性隨機處理演算法而定。 非線性隨機處理功能在其完成之前，通 資料單元先更新爲一時間標籤値。之後，內 時間標籤値，而在此同時輸出値也就完成。 且標示出被連接的輸出資料單元的位址1 1 2 位將包含訊息參數，並且辨識出能夠從資料 之其他的資料單元。另外，雖然在非線性隨 並不常見，但也可以將其他的功能運用到其 過不能是輸入功能或內容功能。此可能需要 、常數値、先前或預測的値、向量或圖形値 爲每一個輸出單元儲存在輸出欄位中的時間 該位址可以是一辨識器’其允許訊息依 某一裝置中、在好幾個裝置之中、或者是好 的資料單元。該辨識器同時也可以直接包含 例如，關於資料單元的連接’或者包含關於 的輸入資料同 線性隨機處理 位包含輸入資 是先前的狀態 料。內容欄位 輸出端傳遞的 於不同輸入所 所產生的向量 發性數値，將 常需要將輸入 容欄位獲取該 在功能完成並 之後，輸出欄 單元接收資訊 機處理模型中 輸出端，只不 啓動値、權重 ，.也有可能是 標籤値。 路線來區分在 幾個裝置之間 額外的資訊， 如何路由到資 -10- 200912905 料單兀的額外資訊之表格的標不器（p〇inter)。處理器能 夠間接地來存取（或引用）該資訊。利用此在辨識器中的 標不益來從表格中衍生出連接的資訊被稱之爲，，解參考，，（ dereferencing) 〇 資料單元的元件可以藉由被導入的非線性隨機處理的 數學來定義。隨機處理可以是，例如，—種連接者系統（ connectionist system)。在一個範例中，內容欄位包含資 料少’以函數j = /(w(x + 6,)表示，其中％是一權重，X是輸 入値，則是常數。如果這些元件代表神經元的資料，則 其元件可以是接收資訊，並且提供輸出資料給其他元件的 活化元件（activation units )。雖然在資料單元中的資料 能夠以線性函數來表示，但是當大量的資料單元組合起來 處理時，則可導入非線性的處理。 資料單元的構件不必連續地儲存。輸入端、內容、以 及輸出端的構件能夠被放置在儲存裝置中不同的位置。例 如’由於在一些非線性隨機處理的導入例中，輸入及輸出 位址在剛開始建立之後並不會改變，這些構件能夠被儲存 在跟那些被用來儲存時變構件做區隔的儲存媒體的某個區 域中。 該裝置利用一種介於元件之間的訊息傳送架構。元件 會接收輸入値並更新。之後訊息被傳送到其他的元件。處 理器會產生訊息或將新的內容値直接地傳送到具有位址的 輸出資料單元中。圖4b顯示訊息1 20的槪要圖，其包含 一個或多個輸出資料單元位址1 2 2、像是時間標籤的選用 -11 - 200912905 更新控制元件1 24、以及資料單元操控參數，例如 夠在資料單元的函數計算出來的一個或多個資料値 該選用更新控制元件是在導入非線性隨機處理過程 模式的類型時所產生的時間標籤，或者是在導入非 機處理過程的閃爍模式（spiking model )時，所產 數値或者是位址。 在圖3的裝置中，訊息的傳送是被導入到處理 其與高速隨機存取記憶體相互作用。該隨機存取記 用來當作快速緩衝貯存區（caching)使用。因此， 料單元能夠從隨機存取記憶體擷取出來，在經由一 個時間步驟處理後，放置在隨機存取記憶體中協助 的處理。對於跨裝置間的訊息傳送’則可以藉由一 式路由結構來完成。 圖5是依照本發明的另一個觀點所建立的另一 處理裝置130的方塊圖。該裝置包含一輸入/輸出介 ，用於接收、輸出訊息及控制指令。在本範例中’ 是由在匯流排136上的輸入裝置134所提供，而且 被傳送至匯流排140上的輸出裝置138。在另一個 ，輸入及輸出訊息可能是用於同一裝置，而且一單 流排可以被用來轉移資料單元。資訊處理裝置130 個類型爲非揮發性記憶體142、144、及146的第— 件。每個處理器是藉由一單獨的讀取/寫入頻道與 性記憶體相連結，但是一個或一個以上的處理器可 在1 4 6上之相同的記憶體。 ，其能 126 ° 的標示 線性隨 生的計 器中， 憶體被 許多資 個或多 進一步 種階層 個資訊 面132 該訊息 該訊息 範例中 一的匯 包含多 記億構 非揮發 能共用 -12- 200912905 非揮發性記憶體提供資料單元永久性的儲存。其可能 包含’例如，磁性的記憶媒體、光儲存裝置、磁-光儲存 裝置、或是鐵電的記憶媒體。在這些情況下，好幾個讀取 /寫入形式的轉換器必須被包含在內，以便將訊息寫入到 儲存裝置中。或者，該非揮發性記憶體82可以是一固態 的記憶裝置，或者任何能夠提供資料單元永久性儲存的記 憶裝置。 資訊處理裝置13〇進一步包含多個類型爲高速記憶體 1 5 0、1 5 4、及丨5 6的第二記憶構件，例如，高速的隨機存 取記憶體。兩個或兩個以上的處理器可能共用在高速記憶 體1 5 0上同一個隨機存取記憶體。爲符合所需的功能， 1 58、160、162、及164等處理器被提供來處理資料單元 。這些處理器能夠被導入當作欄位可程式化閘陣列（ FPGA ) ’其能夠被程式化來執行資料單元中非線性隨機 處理的功能。在有一些導入的案例中，其中被應用到元件 中的功能是固定的，其處理器可能由非欄位可程式化閘陣 列電子（non-field-programmable electronics)所組成。該 處理器能夠從非揮發記憶體或是高速記憶體讀取資料單元 ’處理這些資料單元，也可以藉由將權重加入到資料單元 中’並且將正在處理中之資料單元寫入到非揮發記憶體中 。在本範例包含一排程與發訊處理器1 6 6，用於排定該流 程來達到所要的非線性隨機處理功能，例如，統籌處理器 P邊的流程。該排程與發訊處理器的形式可以是欄位可程式 化閘陣列（FPGA )排程與發訊組構。 -13- 200912905 當相互作用的元件由相同的處理器、或由兩個共用在 1 5 0上的同一隨機存取記憶體的處理器來管理時，訊息建 立與否就並不是那麼重要了，因爲資料單元將直接被更新 。但是，如果這些資料單元並沒有共同的儲存裝置，訊息 就會被形成，並且在發訊架構166間傳遞。 圖6是依照本發明的另一個觀點所建立的另一個資訊 處理裝置170的方塊圖。該裝置包含一輸入/輸出介面172 ，用於接受及輸出資料單元。在本範例中，該資料單元是 由在匯流排176上的輸入裝置174所提供，而且該資料單 元被傳送至匯流排1 8 0上的輸出裝置1 7 8。在另一個範例 中，輸入及輸出裝置是用於同一裝置，而且一單一的匯流 排可以被用來轉移資料單元。資訊處理裝置17〇包含多個 類型爲非揮發性記憶體1 8 2、1 8 4、及1 8 6的第一記憶構件 。該非揮發性記憶體構件提供資料單元永久性的儲存。例 如，其可能是磁性的記憶媒體、光儲存裝置、磁-光儲存 裝置、或是鐵電的記憶媒體。在這些情況下，好幾個讀取 /寫入形式的轉換器必須被包含在內’以便將訊息寫入到 儲存裝置中。或者，該非揮發性記憶體可以是固態的記憶 裝置’或者是任何能夠提供資料單元永久性儲存的記憶裝 置。 資訊處理裝置170進一步包含多個類型爲揮發性高速 記憶體188、190、及192的第二記憶構件，例如高速的隨 機存取記億體。爲符合所需的功能，194、196、198、及 200等處理器被提供來處理資料單元。在一些範例中’多 -14- 200912905 個處理器能夠存取一單一的高速記憶體及/或多個處理器 能夠存取一單一的非揮發性記憶體。該處理器能夠被導入 當作一個欄位可程式化閘陣列（FPGA )，其能夠被程式 化來執行資料單元中的非線性隨機處理功能。這些處理器 能夠從非揮發記憶體以及高速記憶體讀取資料單元，也可 以藉由將權重加入到資料單元的某些部份來處理這些資料 單元，並且將處理之資料單元寫入到非揮發記憶體中。在 本範例中’該處理器也能夠排定該流程來達到所要的非線 性隨機處理功能。排程與發訊處理器202可以是欄位可程 式化閘陣列（FPGA )排程與發訊組構，來負責統籌處理 器間的流程。 圖3、5、及圖6中的資訊處理裝置是引申爲辨識驅動 器。辨識驅動器包含資料儲存構件，以及跟資料儲存構件 相連接的構件。跟傳統的資料儲存裝置，例如磁盤驅動器 、或是其他的位元組、方塊、或是以儲存裝置爲導向的物 件所不同的是，辨識驅動器是以一種截然不同的方式來運 作的。 在其他方面，辨識驅動器能夠被導入成爲一種新型的 計算裝置、裝置控制器、數位相機、數位影像處理器、數 位聲音處理器、或是任何其他好幾種跟資訊處理相關類型 的裝置，譬如電腦或是電腦相關的電路系統。例如，相機 能夠被設計成能夠產生儲存在裝置中的輸入訊息位址的資 料單.元，而輸出則可能是能夠將相機影像分類成爲在這些 影像中被計算的物件的訊息。傳統的電腦可以取得這些輸 -15- 200912905 出訊息，並且標示圖片來做資料庫的應用。 辨識驅動器若不是以一種快速的平行處理來執行資料 處理，就是以模擬平行處理的方法來執行資料處理。如果 平行處理並無法去除資料被註記時間的可能性’則從多個 資料源而來的資料在輸入及輸出時可能是多路傳輸的，而 資料本身可能是被註記時間的。在這些所描述的範例中， 假設儘管電子電路的速度比週遭任何事件發生的速度都來 的快，但若在辨識的過程、採取的行動、以及在設備中所 執行的運算並無法全面的平行處理，則清楚地標示出時間 標記將是必須的。 每個單獨的資訊處理裝置都包含記憶體，用於協助處 理經由介面所接收到的一連串訊息。這些訊息可能是由像 是多個感應器的信號來源、或是其他的資訊處理裝置所產 生的。這些記憶體能夠儲存先前所遇到過的，具有結構的 資料單元序列形式的訊息。如果該資料單元序列出現的次 數超過一次以上，則資料單元輸入序列的變化可被視爲具 有結構性。一單一的資訊處理裝置能夠利用這個被儲存起 來、具有結構的資料單元序列，以便於之後能夠在輸入的 資訊流中辨識出像是這種具有結構的序列。 在許多常見的非線性隨機處理模式中，輸入訊息至少 包含兩個維度：空間維度及時間維度。空間維度構成一組 相關的信號，用來在相同的註記時間中到不同的資訊處理 裝置做處理。在空間維度中，這些信號被當作形成資訊的 單元。在註記的時間中，不同的資料單元從不同的來源處 -16 - 200912905 被接收。連續的訊息隨著時間更緊密的相關’並組成一序 列不同的資料單元。 空間維度以及序列的資料單元在時間維度中能夠代表 從好幾個不同來源的資訊。在序列資料單元中的資訊一般 有可能會隨著時間而相關的。資訊的相關聯性在學習上是 非常重要的。因此，接收一組連續序列資料單元在學習上 將會提供相當多的有用資訊。因此’在許多非線性隨機處 理的範例中，本發明的設備將利用隨著時間而產生的序列 資料單元，當作所要學習的資訊流的來源。 辨識驅動器接收一組序列訊息爲輸入。處理器處理所 接收的序列訊息，並且利用這些訊息來更新在一個或一個 以上的資料單元中的訊息。在好幾個輸入序列被處理完之 後，辨識驅動器將產生序列訊息到輸出端。輸出的訊息序 列可以當作輸入般，以階層式的架構作安排，傳送到一個 或一個以上其它的辨識驅動器。辨識驅動器的其中一層可 以從外部接收感知的輸入。該感知的輸入同時可能包含序 列的訊息。 從D (亦即資料單元，a data unit)開始，該資料真 正或模擬發生的時間以T表示。在時間T時，當所有傳送 到資訊處理裝置的輸入被加總、結果被求出、結果被送出 、並經接收資訊處理裝置處理過後，該時間參數T有可能 會增加。該加總計算可以在任何導入在可程式化閘陣列（ FPG A )的運算邏輯單元陣列中出現，其中每一資料單元 表示以非線性活化函數爲基礎，具有表列的乘法/累進節 -17- 200912905 點° T是總體的時間註記參數，用來標記輸入及輸出資料 單元’以便於以非同步的多單元處理方式保存資料單元暫 時的順序。 在一個範例中，Τ是一離散的整數値。其有可能是很 大的數値，例如2 4 8，但實際上它本身並不太可能會發生 。辨識驅動器歷史的紀錄將可提供這麼一個大的Τ値。在 另一個範例中，Τ也可能小到只有個位數，因爲第Τ- 1個 運算必須在移動到下個運算之前的時間Τ時執行完畢。Τ 的値通常會比較傾向是較大的値，如此一來對一新的Τ狀 態’才不會因爲先前經過好一段期間尙未啓動的資料單元 ’不斷地被調整。 資料單元可以包含巨集資料（metadata )，用於詳細 說明原始活化値（s 〇 u r c e a c t i V a t i ο η )如何跟現有活化値 (current activation)結合在一起，並且是如何分配目標 活化値（target activation )的。活化値（activation )是 資料單兀的輸出，並且基本上是一個非線性的正規化函數 (normalizing function)或是輸入程度總和的一種轉換。 邏輯上而言，只有輸出資料單元必須被辨識出來，但 是在已知的T中，一表列的輸入資料單元可以用來決定訊 息是否是從所有的資料單元所接收的。或者，該功能可以 由計數器來完成。資料單元從其他的資料單元接收輸入値 或活化値，然後做加總，直到達到活化値的標準，而且資 訊處理裝置必須送出輸出値。爲了要送出輸出値，資訊處 理裝置必須要知道表列的輸出資料單元或是目標資料單元 -18- 200912905 。因此，網路必須在沒有表列的輸入資料單元的情形下仍 能運作。然而，如果特定的資訊處理裝置想要知道它哪一 部分的輸入資料單元被啓動了，則它可以利用計數器計算 有多少個輸入被用來達成起始的標準來得知--假設它知道 總共有多少個輸入連接。 非線性隨機處理運算可利用的最佳化模式包含，但並 不受限制，資料單元在資料集中的格式化或配置化。一種 以子網路階層（h i e r a r c h y 〇 f s u b - n e t s )方式的非線性隨機 處理運算，可以在非揮發性的儲存裝置中，將高度相連結 的資料單元緊密的放置在一起，來使得一個或多個緊密相 耦合共用的隨機存取記憶體的處理器，能夠用來將效能最 佳化。 也可以將其他內部管理以及標示器的資訊包含在內。 爲了將辨識驅動器跟傳統的儲存系統接合在一起，外部的 標示器可以被用來辨識傳統儲存的資料。辨識驅動器可以 具有一隔間（p a r t i t i ο η )，利用傳統的儲存指令像是A T A 或SCSI來讀寫資料。在範例中，被辨識出的物件可以對 資料庫的入口，針對該物件來存取傳統的儲存値。同時， 歷史的資訊可以以傳統的方式記錄下來做除錯的使用。傳 統的AT A或S C SI指令同時可以被用來設定、初始化、讀 取、或複製資料單元網路，以及在非線性隨機處理驅動裝 置隔間中的欄位可程式化閘陣列（FPGA )程式。 平行處理的一個範例是將緩衝器載入訊息，並且只有 在對於某個已知的時間T中，當所有的訊息都被傳送出去 -19- 200912905 之後，才移到下個時間T。在每個時間T中，當通訊量很 小的情形下，所需做的就是將資料單元忽略一次。但在通 訊量超過緩衝器的容量時，可能就必須將資料單元忽略好 幾次。在某些非線性隨機處理模式中有可能有兩個時間標 記（time stamps )，用於區別到底是在整個子網路或是在 子網路中所處理的。 假設在求出交換速率的過程中，像是低階統計圖形辨 識的方法就不建議使用。而建議以另一種非線性的形式， 更接近於人腦結構的方法。然而，也有可能可以建立一種 跨連結（cross-connected )資料單元的子網路，並且將之 視爲組件（units )，因而潛在地增加快速運算的可能性。 一種已知用於非線性隨機處理導入的設計，是被用來 區別在作業流程中正在訓練的階段與訓練過的階段。這是 因爲由於輸入及想要的輸出組成一個非常大的集合，某些 非線性隨機處理的導入需要較長的時間來訓練，或者是因 爲過度訓練而因此失敗。過度訓練所隱藏的危機通常是可 &避免的，可藉由增加網路的量來針對過度訓練做補償， 但是這同樣的將導致實行上的限制。然而，本發明同時具 備訓練時與訓練後模式的優點。在訓練時的模式中，權重 通常會改變，而此需要資料單元値，特別是在資料單元上 %權重，於非揮發性的記億體中被更新。在訓練後的模式 Φ ’像這樣的資料單元値並不會永久改變，因此，資料單 %値只能夠從非揮發性的記憶體中讀取。然而，即使是在 _練後的模式中，某些在資料單元的値必須被儲存起來。 -20 - 200912905 例如’在一個非常大的網路中，時間標籤將在 憶體中更新。在訓練模式中，其優點是所需要 能夠非常迅速地被載入到高速記憶體中用來做 ’只有少部分的資料單元必須回寫。在訓練後 其優點是所需要的資料單元能夠非常迅速的載 記憶體中用來做快速的執行，而且並不需要寫 性的記憶體中。 在一個實施例中，資料單元可以表示成神 本說明中所使用的一般，神經兀並不一定等同 資料單元。例如，已知有一些在生理學中神經 置（firing pattern )是資料單元的一部份。像 能也許可能也或許不可能由資料單元的資料集 對每個資料單元來說，資料單元辨識器可 ，並且包含一部分用來將訊息從資料單元引入 識路由的資訊。另一個範例則是可以在辨識器 ，使得路由資訊能夠很容易的改變。在圖3的 假設在沒有涉及中央解參考機置（central m e c h a n i s m )的情況下，由於局部性地完成切 因此辨識器並不是非直接性的被引用。 圖7是一個組成辨識驅動器系統210的連 理裝置的階層的槪要圖’該辨識驅動器系統包 的多個辨識驅動器2 1 2 ’其能夠依照本發明的 導入。該網路包含多個辨識驅動器2 1 2，以及 置2 1 4。辨識驅動器經由切換裝置來彼此相耦 揮發性的記 的資料單元 快速的執行 的模式中， 入到高速的 入到非揮發 經元。如在 於生理上的 元的炮孔佈 這麼樣的功 辨識出來。 能是唯一的 及引出的辨 上附上把手 實施例中， dereference 換的功能， 接，資訊處 含在網路中 其他觀點來 多個切換裝 合。切換裝 -21 - 200912905 置也可以彼此間相耦合。該網路具有一種分層的功能結構 。資料能夠在輸入線2 1 6上被提供到網路。該資料能夠從 感應器2 1 8所提供。切換裝置是由訊息中的位址所控制的 。資料單元簡單的位址包含在層級中之節點裝置的路由資 訊，其包含資料單元以及在儲存裝置中資料單元特定之非 揮發的位址。從驅動裝置中所得到的輸出訊息，能夠在其 他的驅動p置上寫上資料單元的位址。 注意圖7的用途僅提供作爲觀念性的說明。在一個實 際的系統中，可能會有更多層，而且在每一層也會有更多 的辨識驅動器。若能夠適當的找出能夠驅動每個辨識驅動 器的單一演算法，可以利用圖7所示的階層式架構來建構 智慧型的機器。 這些驅動裝置能夠在時間T時同步化。這將會產生一 雙元素的集合{T,D}，使得不同的資料將能夠在相同時間 或是相同的模擬時間下發生，及/或相同的資料將能夠在 不同時間或是不同的模擬時間下發生。在該方式下，每個 驅動裝置將被告知其內部的計算需跟時間T相關，並且須 等到在T時間完成產生輸出訊息之後，才能夠在T+ 1時處 理訊息。 資料單元跟驅動裝置相互間的連結並不是隨機分佈的 。而是以短距離的方式來連結，一小部分的相互連結可能 連接到各層級，而只有另一相對少數的相互連結可能會是 距離較遠的連結。如果辨識驅動器是以圖7中的階層式架 構來做安排，以終端的資料輸入或輸出當作終端階層式驅 -22- 200912905 動裝置的輸入及輸出的話，則辨識狀態可以分成好幾個階 段來橫跨許多的儲存裝置，雖然在驅動裝置間傳遞訊息的 切換方式可能是在驅動裝置之外進行。如圖7所示，辨識 驅動器的安排可以被用來建立一種多元的感知的（或輸入 )一具有動作的（或輸出）系統’其中第一層包含原始的 感知或動作資料單元。値得注意的是’在實際的系統中並 沒有對層級數做任何的假設。圖7的範例僅提供參考。其 亦適用於任何數量的階層、辨識驅動器、以及切換裝置的 其他範例。 已連接的辨識驅動器的階層能夠被用來將辨識功能模 式化。沒有人知道在人腦中到底有多少個資料單元，但取 一般的估算，人腦中將近有大槪上百億的資料單元，其中 每一個資料單元又跟介於一個至上萬個的資料單元相連接 。相對於百億，一萬個只是其中的一小部份，使得我們也 可以假設大約有百億的資料單元並沒有直接跟大腦連接。 一個將辨識功能模式化的辨識驅動器能夠被當作一種稀少 的訊息切換網路（sparse message switching network)。 在此觀點下，可以預估辨識驅動器在每一資料單元每 個時間T之下，將必須切換 '移動、以及儲存大約一萬個 訊息。此外，該辨識驅動器在每一個時間T將必須處理大 約一萬個訊息。該切換的基礎建設（infrastructure) 在 每一個時間T將必須能夠處理百億乘上一萬個訊息，也就 是在每個時間T有一億萬兆的切換作業。而T時間的長短 則約在5 0毫秒。用簡單的二元切換系統來估算的話，來 -23- 200912905 回大槪需要切換45乘2次，大約在每個時間T切換90次 〇 每個在網路中的切換電路將可能連接超過一個電路。 假設以一 1 6道的開關，每個時間Τ的切換次數將可顯著 的從90次降至20次。假設對這些所有的資料單元，我們 有足夠快的讀取/寫入儲存裝置’而這些次數是在即時處 理的範疇中所進行的。 這些槪念可以藉由利用辨識驅動器的階層來應付。每 個資訊處理裝置接收必須被處理之序列的單元。階層裡的 每個層級包含辨識驅動器’用於接收以序列形式的資料單 元的輸入，並輸出序列的資料單元，因爲這些輸出單元將 成爲在下一個更筒階層之其他辨識驅動器的輸入。該網路 在往上的階層中並不一定會包含較少的辨識驅動器。 當先前所遭遇過之序列資料單元被辨識驅動器所辨認 出來時，辨識驅動器便可回報這個認知狀態給其他階層的 辨識驅動器。傳送給其他辨識驅動器的輸出可能包含一被 辨識的序列資料單元的辨識器（identifier )。在該時間下 ，包含被辨識的序列資料單元的輸出流本身將會組成序列 的資料單元。該資料單元的輸出流可能包含一將由在其他 階層的辨識驅動器，被以同樣的方式處理的輸入。超過一 個以上低階層級的輸出可能會結合在一起’來使得結合的 輸出形成一個能夠在上一個階層中被處理的序列資料單元 〇 辨識驅動器同時能夠利用被記憶下來的序列資料單元 -24- 200912905 ，來預測即將到來的序列資料單元，以解決模糊不明的資 訊。明白的說，當辨識驅動器確定目前正在接收一組已知 的序列時，辨識驅動器將能夠預測在該序列中的下一個資 料單元。辨識驅動器可以利用該預測來詮釋下一個接收的 資料單元。例如，如果進入到辨識驅動器的輸入流是模糊 不清的’則該辨識驅動器可以利用所預測的資料單元來幫 助辨識下一筆輸入的資料單元。 辨識驅動器可以更進一步提供所預測的下一筆資料單 元給其他的辨識驅動器。這些接受了預測資訊的辨識驅動 器，可以將其詮釋成他們即將遭遇的下個序列的預測，並 輸出給其他的辨識驅動器。像這樣的預測資訊，可能包含 能夠幫助其他層級的辨識驅動器正確地辨識出下個序列的 資訊。 在與驅動裝置交互作用的環境下，該系統可以被用來 建立物體的非變表徵（invariant representation)。非變表 徵是指一個物體內部的表徵（例如，一實體的物體、一字 串、一首歌曲等等），其能夠允許該同樣的物體在不同的 外部條件下，還能夠被辨識出來。 該系統假設一表徵非變的物體，能夠藉由利用辨識驅 動器的階層來建立出來。該非變的表徵是藉由辨識出在經 常變化的序列資料單兀中的非變結構（invariant structure )來形成的，並將這個非變結構儲存起來，以便於之後能 夠被辨識出來。每一個辨識驅動器執行這種辨識、儲存的 程序，並且在之後辨識出在這整個階層結構中其他層級之 -25- 200912905 非變結構。因此這整個物體的非變性包含了跟已經被儲存 在以層級安排的辨識驅動器中的物體相關的非變結構。非 變的表徵包含在許多不同層級之非變表徵。這些不同層級 之非變結構（包含這整個非變狀態結構）可以被用在其他 狀態不會改變的物體之中。 在每一個辨識驅動器中的記憶體，能夠被用來儲存被 放置在下一個序列資料單元中的非變結構。在該方法下， 被儲存的非變結構便能夠在下一個序列資料單元中被辨識 出來，以便於辨識包含非變結構的物體。 重複的資料單元以及重複的序列資料單元很有可能是 非變結構的一部分。在一範例中，每個辨識驅動器將於輸 入流中尋找重複的資料單元或重複的序列資料單元，以便 於辨識出包含在輸入流之中的非變結構。該辨識驅動器之 後能夠將這些重複的序列資料單元儲存在記憶體中來做下 一次的辨識。 一旦辨識出來之後，辨識驅動器便會傳送一組辨識碼 ，或者名稱，給辨識出來的序列資料單元，以便於再傳送 到階層架構中下一個更高的層級。只要傳進來的序列資料 單元一直跟記憶的序列資料單元相符合，辨識驅動器將持 續輸出相同序列的辨識碼給辨識出來的序列資料單元。由 於相同的序列辨識碼在整個序列資料單元中被輸出，上一 個層級的辨識驅動器切換的次數將會比下一個層級的辨識 驅動器切換的次數還要少。 每個辨識驅動器將序列的資料單元儲存在記憶體中以 -26- 200912905 便之後再作辨識。如果下一組資料單元跟某一特定的記億 的序列相吻合，則資訊處理裝置將會辨識出該特定的序列 ’並通知上一個層級與其相耦合的辨識驅動器，有一個已 知的序列已經被觀測到了。 該被辨識出的序列資料單元同時也能夠被用來做預測 。特別是，如果辨識驅動器辨識出它目前包含一組已知的 序列資料單元，則該辨識驅動器將可以藉由在已辨識出的 序列的資料單元中來辨識下一個資料單元，決定出它所預 期接收的下一筆資料單元。該下一個預期的資料單元便包 含了 一個由辨識驅動器得到的預測値。 下一個預測的資料單元同時可以在不同的辨識驅動器 間傳送。圖7顯示不同層級間資訊往上傳遞及往下傳遞的 情形。每個單一的辨識驅動器試圖在它的輸入流中辨識出 非變結構。當辨識驅動器辨識出記憶的序列資料單元’關 於該辨識結果的資訊（例如，該已辨識序列的辨識碼）將 被往上傳送到上一級的辨識驅動器層。預測失敗的資訊也 會被送往上傳送。往下傳送的資訊流可以包含由上一層的 辨識驅動器而來，即將被傳到下一層級的辨識驅動器的下 一個資料單元的預測値。 由辨識驅動器的層級結構所學習到的非變結構集合而 成的記憶，包含一種週遭環境中的非變表徵的模式（ invariant representative model)。資訊的回授或是資訊在 層級間傳送提供了一些功能。資訊的回授能夠被用來解決 輸入資料模糊不清的問題。資訊的回授在學習的過程中也 -27- 200912905 是需要的。當辨識驅動器在學習序列資料單元的過程中， 該辨識驅動器會得知在某個特定內容中的序列資料單元， 是由上一層的辨識驅動器所提供的。該內容明白的指出上 一層的辨識驅動器的表徵。該內容可能將該上一層的辨識 驅動器所處理過，在該序列中現有的成份明白的標示出來 。該種內容回授的資訊爲辨識驅動器提供了一種工具，使 其能夠將它的輸入資料單元適當的群集在一起。 由於資料單元的處理在辨識驅動器間以及辨識驅動器 之中都是同形的（isomorphic ) ，因此辨識驅動器系統 的行爲模式能夠在很少的抑或是很多的辨識驅動器的情況 下被組織起來。儘管對於輸入及輸出的資料單元中訊息的 格式、上面的標示、以及裡面的內容都必須是正確的，但 是在資料單元的子網路上的處理過程並不一定會跟在其他 的子網路上的功能一樣，而且能夠被子網路所詮釋出的訊 息並不一定會跟能夠被其他的子網路所詮釋出的訊息相同 〇 假設整個資料單元的網路是存放於高效能的辨識驅動 器中，我們能夠看到該驅動裝置如何在已知的領域下運作 ，如何在辨識驅動器以及外部媒體的影響，其目標在面對 領域的脅迫的改變下’如何能夠將其行爲模式最佳化。雖 然外部媒體會影響到並不受辨識驅動器直接控制的領域中 的變化，但是要顧及到不斷地在非變領域中運作所產生的 影響。辨識驅動器試圖要改變環境或者試圖要引起外部媒 體來影響環境’使得感知形式的輸入能夠以高階非變的表 -28- 200912905 徵來詮釋。實際上，辨識驅動器是要來找出一種完美的方 式來說明、修改它所察覺的環境。 一個從辨識驅動器而來的輸出能夠改變它所接收到的 輸入。例如，如果其輸出控制馬達，而該馬達正在移動一 具有相機的機器人，則該輸出能夠使得此機器人移向某個 人。而在此機器人移向某個人發生的同時，這個人可能會 移動。辨識驅動器的一種特殊的輸出模式可以來提出瞬間 的移動對瞬間的移動（moment-to moment)的辨識非變量 至傳統的推論程序，來使得辨識驅動器的目標將隨著時間 的改變而改變。在該情形下，可能或有一組額外連接到辨 識驅動器的輸入/輸出介面，能夠提供連結到電腦。然而 ’如果其中的一項功能是要來連結外部的媒體來知道辨識 驅動器到底看到了什麼、或是到底要做些什麼，則這個額 外的介面就不見得一定是必須的。 辨識驅動器到底試著要去解決什麼事情的問題，可以 約略地決定出全部需要多少的儲存容量。然而，假設對i 〇 億個在辨識驅動器中的資料單元所需要的儲存容量爲100 兆個位元組’而儘管實際上有部分的記億體將會不斷地重 複的寫入’每一個驅動裝置將允許一個資料單元擁有大約 十萬個永久性記憶體的位元組。假設一資料單元的標示器 控制了其路由而且其位元數爲64，則一萬個標示器可以被 儲存成80KB。假設合理的預計一個資料單元約佔了 1 00ΚΒ或甚至是200KB。若是以每—個驅動裝置一兆個位 元組來計算’ 1 00ΚΒ的資料單元需要1 〇〇個辨識驅動器。 -29- 200912905 在圖7的範例中，第一層的驅 劃分。例如，某些驅動裝置可以被 資料，某些驅動裝置只能夠接收聽 置只能夠接受具有物體的動作感知 態將被分成不同感知形式的動作功 在任何已知的時間中，類神經 的神經元是活躍的觀念，已經廣泛 述的範例中，假設有百分之一的神 下表顯示一些範例的設計參數 器系統的儲存容量以及效能的範例 裝置配置來完成相同的運算做比較 得知，其最基本的不同之處是，這 資料單元以及每個資料單元大約是 位元的儲存容量）。在這個範例中 約是一 25G個位元組（petabyte) 磁碟驅動裝置的技術來做資料單元 爲這將需要好幾百萬個磁碟驅動裝 器所能夠完成的任務。 傳統的磁碟驅動裝置是混合了 此，數位跟類比之間的差異在這裡 ’然而爲了工程上的方便起見，在 置或者包含磁碟驅動裝置的系統並 實際上具有任何的數位元件的裝置 部都是數位的，也有可能是混合了 動裝置能夠以總功能來 限制只能夠接受視覺的 覺的資料，某些驅動裝 資料等等。則學習的狀 能領域。 網路中只有極少百分比 的被接受。在下面所描 經元是活躍的。 ，並且將幾個辨識驅動 ，來跟傳統的磁碟驅動 。從剛剛的範例中可以 個表格假設有一百億的 125KB (亦即，一百萬 所需要的總儲存容量大 。很顯然的利用傳統的 的計算是不可行的，因 置來做一千個辨識驅動 數位跟類比的元件，因 基本上跟本文並不相關 此說明。該磁碟驅動裝 不一定是數位的，或者 或系統，儘管有可能全 數位跟類比的元件。 -30 - 200912905 辨識驅動器以及像這些驅動裝置的網路，能 許多的應用上來處理資料。一候選推薦的應用是 覺移動及對焦控制之多眼的（multi_eyed)裝置 個麥克風的監視系統，來描述在房間中所發生的 裝置必須要有幾個功能，例如，移動眼睛，也許 麥克風，並且能夠以簡單的英文交談。外部的媒 來對於發生在這個房間中的事件，描述的正確與 勵或處罰。交談的功能能夠以簡單、不受回授控 制式英文來實施（例如，這個部份的功能輸出並 成爲辨識驅動器的一部分）。 然而，辨識驅動器並不需要以人的尺度來執 要能夠完成像動物般的行爲才算有用的。例如， 尋的作業程序中，對於最剛開始提到的傳統的磁 置的問題般，輸入到辨識驅動器的將會是在檔案 檔案。例如，影像檔。在這種情況下，辨識驅動 確認這些動作。之後，在資料單元中的巨集資料 會把這些動作索引回在傳統的磁碟驅動裝置中的 。在此範例中，系統將利用機器感應（machine )來找出正確的資料。 最後，所學習的領域並不一定是以人的尺度 非常小或非常大的領域都能夠被儲存起來做認知 他的應用。感知形式的輸入可能是人類無法感受 ，例如在可視覺光的頻率外之電磁場的輻射，而 會是人類無法直接完成的行動。許多其他的應用 夠被用在 將具有視 ，以及多 事件。該 還要調整 體可以用 否提供獎 制限制的 不會整合 行，或者 在資料搜 碟驅動裝 系統中的 器將可以 空間，將 原始檔中 induction 或類型。 學習或其 到的輸入 輸出可能 都是可能 -31 - 200912905 並顯著的。 另一項介於傳統的資料儲存裝置跟辨識驅動器之間差 異，可以就輸入及輸出的形式來表示。雖然有許多複雜的 傳統的資料儲存裝置能夠接收訊息並對訊息做出回應，但 是傳統的資料儲存裝置基本上仍是一種讀寫資料的從動裝 置（slave )。而辨識驅動器是要用來直接的接收感知形式 的輸入，像是相機的輸入、麥克風的輸入、溫度的輸入、 迴轉儀的輸入、或者是任何類型的非變來源的數位或類比 輸入，並且利用其先前所儲存的記憶來將該輸入整合組織 起來。根據它所辨識出來的結果，產生能夠控制行爲的數 位或類比輸出，例如能夠命名或做描述、或是能夠控制擴 音機、顯示器以及馬達。 在此感知下，辨識驅動器的行爲舉止就像是有智慧的 大腦，而不是電腦裡的儲存裝置。更具體的說，感知形式 的資料以及具有行動的資料能夠被想像成被標記的位元組 資料，而這個標記是跟有組織的輸入及輸出的維度相關的 ，其中資料可以被組織來用於記憶的認知以及推論的行爲 上使用。 在輸入及輸出之間，辨識驅動器將能夠在學習之後在 探索方面便得非常強，並且能夠使用其環境的非變量。我 們可以預期它先能夠認知這種非變量，並且之後能夠認知 現在要做什麼，或者能夠辨識出它們所顯示的序列。所採 取的行動本身是由非變量所組成的，該非變量能夠依據一 般性的目標改變事件中被意識到的狀態。輸出應該要能夠 -32- 200912905 依辨識裝置所預測方式來改變輸入，並採取行動。其目標 可能包含在監視系統上移動鏡頭來跟蹤行人，指揮可移動 的機器人，或是像是做出更可口的啤酒、或者是能夠讓敘 述變得更優雅的系統。 這種辨識驅動器並非那種傳統的統計圖形辨識裝置。 像這種裝置，至少就像我們目前所知的統計圖形辨識裝置 一樣，是更有效率的導入在傳統的運算架構中。辨識驅動 器利用了非線性隨機處理，實際上更能夠比傳統的統計圖 形辨識裝置察覺更高維度的非變量，實際上也比傳統的反 應系統能以更高的維度來作用（例如，印表機、馬達、圖 形顯示器）。 在一範例中，辨識驅動器能夠藉由修改對於傳統的辨 識及機動性功能的驅動技術來產生。辨識驅動器基本的機 制需要大量的學習並寫入到儲存裝置中。但爲了強調這個 問題，儲存裝置具有短程及長程的構件，並具有一個區域 性及末端的實體網路架構的型態。其介面可以是傳統的也 可以是客製化的，視辨識驅動器將會是在哪個領域中操作

Mj * > 疋。 在辨識驅動器中一種有用的策略是，傳送到辨識驅動 器的感知資料是原始未經處理的，而且由辨識驅動器所傳 出之動作資料也是原始未經處理的。這表示即使是最低階 的非變偵測及攝製，辨識驅動器將有能力能夠修改。舉一 個在攝影系統中的邊緣的偵測爲例。像這樣的偵測系統將 物體的邊緣當作輸入未經處理的圖素資料，並且辨識出物 -33- 200912905 體邊緣在強度、色彩、及飽和度之梯 處理的資料可能包含原始的影像以及 果是這樣的話則辨識驅動器將沒有機 緣的運算方式。也就是，它將不會感 爲物體的邊緣可能會因爲不同的目的 像這種相對於在驅動裝置中被處理的 被處理的方法，對於動作資料同樣的 辨識驅動器可以利用各種不同的 含平面以及圓柱狀的配置。各種不ί! 構、以及各種不同跟電子相關及韌體 內。 在其中的一個範例中，本發明可 裝置的形式的資料儲存裝置中，其中 轉的非揮發性儲存媒體，其在一個或 具有一個或一個以上的讀取/寫入磁 構能夠充分利用包含好幾個磁碟或轉 技術，在每個轉盤的側緣有一讀取/ 器。在圖8中的一個範例中，磁碟驅 個轉盤以及24個讀取/寫入磁頭。多 控制磁碟旋轉的驅動軸234。每一磁 存媒體。多個轉換器2 3 6被放置在致 儲存媒體的位置。每個轉換器可以是 實際上可能包含好幾個跟以磁性儲存 入各分開的磁頭。致動臂將轉換器放 度的改變。原始未經 物體邊緣的影像，如 會來改變找出物體邊 測到物體的邊緣，因 會產生不同的相貌。 ，以及在驅動裝置外 也會受到限制的。 機械架構來導入：包 0讀取/寫入磁頭的架 的架構都能夠包含在 以導入於以磁碟驅動 磁碟驅動裝置有一旋 一個以上的電樞上面 頭。一種多轉盤的架 盤的磁碟驅動裝置的 寫入磁頭形狀的轉換 i動裝置23 0包含12 個磁碟23 2被連接到 碟都含有非揮發性儲 動臂23 8上，鄰近於 I讀取/寫入磁頭，其 技術相似，讀取及寫 置在磁碟的滑軌鄰近 -34- 200912905 的位置上’並且受到致動器2 4 0的控制。即將被寫入到儲 存媒體的資料，或是由儲存媒體讀取的資料，由多個處理 器244在傳輸線242上傳送出去。這些處理器包含控制資 料讀寫到儲存媒體的硬體及韌體，並且利用非線性隨機處 理的方式來處理資料單元。介面246是被用於提供資訊到 匯流排248上的磁碟驅動裝置，以及從匯流排24 8上的磁 碟驅動裝置輸出資訊。高速的揮發性儲存構件2 5 0是被用 來提供暫時的資料儲存。排程與發訊處理器25 2被納入來 監督處理器的流程。爲了要以辨識驅動器的方式來執行， 處理器的電子電路及韌體要能夠以文中所描述的方法來建 立及安排，來完成這些功能。 基本上可以允許每個驅動裝置有多個磁頭的架構，來 取代傳統的旋轉式的磁碟架構，並且反映出對於任何已知 的資料單元其資料可能的大小會是固定的事實。因此，爲 了要能夠容納整數値的資料單元所調整的讀取/寫入軌的 數量，將可有機會用來改善在運算的效率。 圖9是一個能夠被導入來作爲一種探針型的儲存裝置 的平面配置。好幾個讀取/寫入磁頭可以利用在晶片上的 MEM s流程來建立，而且藉由磁頭的移動或是媒體在平面 上以XY的方向移動的方式，這些磁頭能夠在具有平坦表 面的非揮發性的儲存媒體中讀取/寫入資料。圖9是一探 針型儲存裝置260橫切面的圖形。該儲存裝置包含一外殼 262，又稱爲殼體、基底、或外框，其包含基板264。探針 陣列266是被放置在基板上。探針是向上延伸來跟儲存媒 -35- 200912905 體268做接觸。儲存媒體268被放在一移動的構件’或滑 台2 7 0上面。儲存媒體可以是，例如’磁性的記憶媒體、 光儲存裝置、或是鐵電的記憶媒體。鐵電記憶媒體的那種 破壞性的讀取特性，在辨識驅動器中將不會有害的。某些 類型的記憶裝置因爲某種原因而採用一種破壞性的讀回機 制，例如，在DRAM上成本/簡易性的考量’以及導入於 鐵電記憶媒體時的信號雜訊比的問題等。對於辨識驅動器 的結構而言，這些都不成問題’而其中媒體的讀取是在修 改及重新寫入的過程之後’因此並不需要具有隨機多重讀 耳又白勺存耳又功肯t ( random multi-read access) ° 在圖9的範例中，介於儲存媒體及探針之間的相對移 動是由包含線圏及磁鐵的電磁致動器所提供的。線圈272 及274放置在可移動的構件上。磁鐵276及278放置在靠 近線圈的外殼上。彈簧280及282建構成支撐住可移動構 件的懸吊配件（suspension assembly)的一部分。外殼 262，例如，可以用注射鑄模的塑膠來做成。 一個或一個以上的處理器284，排程與發訊處理器 2 8 6，高速揮發性記憶體2 8 8，以及介面2 9 0可以被放置在 外殻上面。在圖9的範例中，這些項目被放置在基板上。 雖然圖9顯示一探針的儲存裝置的範例，但是也可以 知道其他知名的懸吊系統及致動器也可以被用來放置構件 ，並且可以提供介於儲存媒體及探針之間的相對移動。本 發明並不侷限於使用在任何特定形式之探針及媒體放置的 裝置，及/或任何的制動裝置。 -36- 200912905 即將被寫入到儲存媒體，或是被從儲存媒體所讀取的 資料，是經匯流排292傳送到處理器284。處理器284可 以包含控制讀寫到儲存媒體、以及控制交換矩陣的硬體及 韌體。介面290是被提供來輸入資訊至匯流排292上的儲 存裝置，以及從匯流排292上的儲存裝置來輸出資訊的。 揮發性的儲存構件288是用來做暫時性的資料儲存使用。 爲了要以辨識驅動器的方式來執行，處理器的電子電路及 韌體能夠以文中所描述的方法來建立及安排來完成這些功 能。 資料儲存裝置的其他範例則是利用旋轉式磁柱架構 3 00，如圖1 0所示。本範例利用一建立及安置來環繞在轉 軸3 04旁旋轉之磁柱型的儲存媒體3 02。好幾個轉換器陣 列3 06、3 08、及3 1 0是被放置在鄰近於儲存媒體的位置上 。每個轉換器陣列都包含有多個架設在由致動器316所控 制之臂3 1 4上的轉換器3 1 2。致動器會移動軸臂，使得轉 換器的位置會臨近於在儲存媒體上的軌道3 1 8上。轉換器 被連接至好幾個處理器3 20。發訊與排程處理器3 22將控 制轉換器的讀寫作業程序，並且同時會控制在切換矩陣中 切換的作業程序。介面3 24被用來將資訊經由資料匯流排 326輸入到驅動裝置中，並且從驅動裝置將資訊傳送出去 。揮發性儲存構件3 2 8是被用來提供作爲暫時的資料儲存 使用。 圖1〇的架構包含多個讀取/寫入磁頭，其又包含好幾 個沿著磁柱型的儲存媒體表面放置的磁頭陣列。以這種方 -37- 200912905 式安置的磁頭能夠在圓柱旋轉一週時讀取及/或寫入資料 好幾次。該磁柱或磁頭同時也能夠被移動來讀取/寫入不 同的軌道。單筆的資料可能只存放在一軌道上，而單—的 軌道可能包含多筆資料單元。 在一範例中’放置在磁柱旁之四個陣列的磁頭將可允 許讀取/寫入作業程序依序進行。該裝置並不不一定要是 四個陣列的磁頭；也可以只有一個、六個、或任何視情況 所需的數量。然而’應該將資料單元資料的分布最佳化以 至於磁頭儘可能可以頻繁地讀取或寫入。 一旋轉磁柱型的辨識驅動器可以包含非常大量的讀取 /寫入磁頭。該磁柱可以相對的短小，因而該磁柱旋轉的 動作以及將磁頭移到不同的軌道上相對的就比較容易控制 。該磁柱的外部可以用儲存媒體所包覆，例如，可以用磁 性的、光儲存方式、或是鐵電的材料。該圓柱體可以是任 何直徑的，形狀也可以像一根棍子一樣。一個兩英吋直徑 、三英吋長的磁柱，以目前示範的磁紀錄密度來說，大約 可以儲存好幾兆位元組的資料。 範例中的每個辨識驅動器可以以平行處理的方式讀取 及寫入資料，並且能夠在資料單元之間移動資料。處理器 將允許在資料單元之間的資料切換。資料單元的子集合也 可以是高度相互連結的。因此’處理器應該就能夠將資料 單元做交互連結。其它介於資料單元中交互連結的子集合 間的連結，將可以提供資料單元的階層的連結。除此之外 的連結，包括檢修的連結或是學習的連結’都能夠被提供 -38- 200912905 來連接到遠端交互連結的資料單元以及遠端階層的資料單 元。檢修及學習的連結單純的是要能夠提供檢修及學習的 控制資料單元的啓動。此外’非線性隨機處理系統能夠被 設計來包含新增或刪除連結的能力。任意的新增或刪除連 結的能力將會產生在執行上的效率。 可能可以在沒有任損失之下同時將好幾個辨識驅動器 串在一起，如圖11所示。辨識驅動器340的輸出當作是 辨識驅動器的輸入342。感知資料344是由辨識驅動器 3 4 〇所接收，並被處理來產生動作資料3 4 6。對於辨識驅 動器342，該動作資料變成感知資料348，辨識驅動器342 利用它來產生動作資料3 50。箭頭3 52標示出辨識驅動器 3 42的輸出是被回授到辨識驅動器34〇。在此狀況下，每 一個辨識驅動器的感知的輸入部分是由其他的辨識驅動器 的具有動作的輸出所組成的。以這種方式結合許多實體的 辨識驅動器’只要回授的行徑是聯結在一起的，將不會違 反單一的驅動裝置的運算需求。如果個別的感知形式是被 控制的’例如個別的動作/行爲（motor/action )的子系統 ’驅動裝置的等級制度將是可行的。例如，第一個驅動裝 置可以被用於下面層級的視覺的非變認知功能上’而第二 個驅動裝置被用於下面層級的聽覺的非變認知功能上。這 種串聯式的優點是驅動裝置可以專門用在不同的功能上。 第一個驅動裝置專門是用於相機的輸入並標示出景象。第 二個驅動裝置則將接收該標示並建立英文或是其他的語言 的描述。 -39- 200912905 同時也有可能，以更複雜的切換排列，來將驅動裝置 以更符合實際需求的階層結構來組合，能夠更無誤的預估 發現在動物新腦皮層中處理的自然的分隔（例如，環境非 變的保存）。像這樣的辨識驅動器的切換組合便形成辨識 驅動器系統。 前述的內容已經描述出關於導入機械智慧來當作一個 或多個儲存裝置的方法、架構、以及裝置。可以預期的是 ，在不違反本發明的範疇之下，可以對構件以及構件的安 排做一些改變及修改。例如，辨識驅動器可以包含，，跑道” 的記憶體’這是一種固態的技術，其中磁域是隨著奈米線 而建立的’而奈米規模的磁脈衝是被用來移動磁域牆的邊 界來芽過感應器。不管在磁域牆的存在或不存在，資料都 會被編碼，而這些牆是被建立來以一種完整無缺的空間模 式，環繞著導線連續地傳遞。 前述的實施方法以及其他的實施方法都涵蓋在下列專 利申請的範圍之中。 【圖式簡單說明】 圖1爲Hebbian類神經網路的槪要圖。 圖2是示範資料單元流程的槪要方塊圖。 圖3是依照本發明的一個觀點所建立之資訊處理裝置 的方塊圖。 圖4a是資料單元的槪要圖。 圖4b是訊息的槪要圖。 -40- 200912905 圖5是依照本發明的一個觀點所建立的另一個資訊處 理裝置的方塊圖。 圖ό是依照本發明的一個觀點所建立的另一個資訊處 理裝置的方塊圖。 圖7是連接後的資訊處理裝置之階層式的槪要圖。 圖8是依照本發明的一個觀點所建立的另一個資訊處 理裝置的槪要圖。 圖9是依照本發明的一個觀點所建立的另一個資訊處 理裝置的槪要圖。 圖10是依照本發明的一個觀點所建立的另一個資訊 處理裝置的槪要圖。 圖11是資訊處理裝置串連連接的槪要圖。 【主要元件符號說明】 1 〇 :資料單元 1 2 :資料單元 1 4 :資料單元 1 6 :資料單元 1 8 :資料單元 20 :資料單元 22 :資料單元 24 :輸入端 26 :輸入端 2 8 :輸出端 -41 - 200912905 3 0 :輸出端 4 0 :訊息 4 2 .訊息 4 4 ·訊息 46 :權重 4 8 :權重 50 :權重 52 :輸出端 5 4 :輸出端 56 :輸出端 5 8 :權重的加總 60 : S形函數 70 :資訊處理裝置 72 :輸入/輸出介面 74 :輸入裝置 7 6 :匯流排 78 :輸出裝置 8 0 :匯流排 82 :非揮發性記憶體 84 :高速隨機存取記憶體 8 6 :處理器 9 0 :資料單元 9 2 :位址 94 :輸入欄位 -42 200912905 9 6 :內容欄位 9 8 :輸出欄位 1 0 0 :位址表列 102 :時間標籤 1 0 4 :其他參數 1〇6 :時間標籤 1 0 8 :輸出値 1 1 〇 :其他參數 1 1 2 :位址表列 1 2 0 :訊息 1 2 2 :位址表列 124 :時間標籤 1 2 6 :訊息內容 130 :資訊處理裝置 132:輸入/輸出介面 1 3 4 :輸入裝置 1 3 6 :匯流排 1 3 8 :輸出裝置 1 4 0 :匯流排 142 :非揮發性記憶體 144 :非揮發性記憶體 146 :非揮發性記憶體 1 5 0 :高速隨機存取記憶體 1 5 4 :高速隨機存取記憶體 -43- 200912905 1 5 6 :高速隨機存取記憶體 1 5 8 :處理器 160 :處理器 1 6 2 :處理器 164 :處理器 166 :排程與發訊組構 170 :資訊處理裝置 172:輸入/輸出介面 1 74 :輸入裝置 1 7 6 :匯流排 1 7 8 :輸出裝置 1 8 0 :匯流排 182 :非揮發性記憶體 184 :非揮發性記憶體 186 :非揮發性記憶體 1 8 8 :高速隨機存取記憶體 190 :高速隨機存取記憶體 192 :高速隨機存取記憶體 194 :處理器 196 :處理器 1 9 8 :處理器 200 :處理器 202 :排程與發訊組構 2 1 0 :辨識驅動器系統 -44 - 200912905 2 1 2 :辨識驅動器 214 :切換裝置 2 1 6 :輸入線 21 8 :感應器 2 3 0 :磁碟驅動裝置 2 3 2 :磁碟 2 3 4 :驅動軸 2 3 6 :轉換器 23 8 :致動臂 2 4 0 :致動器 242 :傳輸線 244 :處理器 246 :介面 2 4 8 :匯流排 2 5 0 :揮發性儲存構件 25 2 :排程與發訊處理器 260 :探針型儲存裝置 262 :外殼 264 :基板 266 :探針陣列 26 8 :儲存媒體 2 7 0 :滑台 2 7 2 :線圈 2 7 4 :線圈 -45 200912905 276 :磁鐵 2 7 8 :磁鐵 2 8 0 :彈簧 2 8 2 :彈簧 2 8 4 :處理器 2 86 :排程與發訊處理器 2 8 8 :高速揮發性記憶體 290 :介面 2 9 2 :匯流排 3 0 0 :旋轉式磁柱架構 3 02 :磁柱型儲存媒體 3 0 4 :轉軸 3 06 :轉換器陣列 3 08 :轉換器陣列 3 1 0 :轉換器陣列 3 1 2 :轉換器 314 :臂 3 1 6 :致動器 3 1 8 :軌道 3 20 :處理器 3 22 :發訊與排程處理器 3 2 4 :介面 3 2 6 :資料匯流排 3 28 :揮發性儲存構件 -46 200912905 3 4 0 :辨識驅動器 3 42 :辨識驅動器 3 4 4 :感知資料 346 :動作資料 3 4 8 :感知資料 3 5 0 :動作資料

Claims (1)

1. 200912905 十、申請專利範圍 1· 一種儲存裝置，包含： 一介面’用於接收及輸出用以處理資料單元的訊息， 其中每個資料單元包含訊息輸入欄位參數、訊息輸出欄位 參數、以及內容欄位參數： 一非揮發性記憶體，用於儲存資料單元； 一揮發性記憶體；以及 一處理器’其與該介面、該非揮發性記憶體、以及該 揮發性記憶體耦合，用於操控在該等資料單元中的參數値 ，以及用於將該等資料單元儲存在該非揮發性記憶體及該 揮發性記憶體的至少之一。 2 ·如申請專利範圍第1項之儲存裝置，其中該等訊 息包含一資料單元位址構件、一選用更新控制元件、以及 一資料單元參數操控構件。 3. 如申請專利範圍第1項之儲存裝置，其中該處理 器根據從其他資料單元所接收的輸入訊息來更新該等資料 單元，並將訊息傳送到該等其他資料單元。 4. 如申請專利範圍第1項之儲存裝置，其中該處理 器根據從其他處理器所接收的輸入訊息來更新該等資料單 元，並將訊息傳送到該等其他處理器。 5. 如申請專利範圍第4項之儲存裝置，其中該等資 料單元在第一時間區間中被更新，而被更新的單元在移到 第二時間區間前被儲存。 6. 如申請專利範圍第1項之儲存裝置，其中該等接 -48- 200912905 收的訊息至少包含一位址及一更新控制元件。 7. 如申請專利範圍第1項之儲存裝置，其中該處理 器包括：一欄位可程式化閘陣列。 8. 如申請專利範圍第1項之儲存裝置，其中該等資 料單元被初始化爲固定値。 9. 如申請專利範圍第1項之儲存裝置，其中該等資 料單元的構件被非連續性地儲存在該非揮發性記憶體中。 10. —種儲存裝置，包含： 一介面，用於接收及輸出用以處理資料單元的訊息， 其中每個資料單元包含訊息輸入欄位參數、訊息輸出欄位 參數、以及內容欄位參數； 多個非揮發性記憶體，用於儲存資料單元； 多個揮發性記憶體； 多個處理器，其中該等處理器之各個與該等非揮發性 記憶體中至少之一、以及與該等揮發性記憶體中至少之一 耦合，用於操控在該等資料單元中的參數値，以及用於將 該等資料單元儲存在該非揮發性記憶體及該揮發性記憶體 的至少之一；以及 一排程與發訊架構，其耦合至該等處理器。 11. 如申請專利範圍第1 〇項之儲存裝置，其中該等 訊息包含一資料單元位址構件、一選用更新控制元件、以 及一資料單元參數操控構件。 12. 如申請專利範圍第10項之儲存裝置，其中該等 處理器根據從其他資料單元所接收的輸入訊息來更新該等 -49- 200912905 資料單元，並將訊息傳送到該等其他資料單元。 1 3 .如申請專利範圍第1 〇項之儲存裝置，其中該等 處理器根據從其他處理器所接收的輸入訊息來更新該等資 料單元，並將訊息傳送到該等其他處理器。 1 4 ·如申請專利範圍第1 3項之儲存裝置，其中該等 資料單元在第一時間區間中被更新，而被更新的單元在移 到第二時間區間前被儲存。 1 5 ·如申請專利範圍第1 0項之儲存裝置，其中該等 輸入訊息至少包含一位址及一更新控制元件。 16.如申請專利範圍第10項之儲存裝置，其中該等 處理器的各個包括：一欄位可程式化閘陣列。 1 7 ·如申請專利範圍第1 0項之儲存裝置，其中該等 資料單元被初始化爲固定値。 1 8 .如申請專利範圍第1 0項之儲存裝置，其中該等 資料單元的構件被非連續性地儲存在該非揮發性記憶體中 〇 1 9 .如申請專利範圍第1 〇項之儲存裝置，其中該等 處理器在未將該資料單元格式化成訊息的情況下，在該等 資料單元中執行運算。 20.如申請專利範圍第10項之儲存裝置，其中該非 揮發性記憶體包含一圓柱形儲存媒體。 2 1 . —種系統，包含： 多個儲存裝置，每個儲存裝置包含一介面，用於接收 及輸出用以處理資料單元的訊息，其中每個資料單元包含 -50- 200912905 訊息輸入欄位參數、訊息輸出欄位參數、以及內容欄位參 數；一非揮發性記憶體，用於儲存資料單元；一揮發性記 憶體；以及一處理器，其與該介面、該非揮發性記憶體、 以及該揮發性記憶體耦合，用於操控在該等資料單元中的 參數値，以及用於將該等資料單元儲存在該非揮發性記憶 體及該揮發性記憶體的至少之一；以及 其中該等儲存裝置以階層式訊息路由結構而彼此耦合 -51 -