JPH04505824A

JPH04505824A - ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュア

Info

Publication number: JPH04505824A
Application number: JP3517778A
Authority: JP
Inventors: ピチャネック、ジェラルド、ジョージ; ヴァシリデイス、スタマテイス; デルガドーフライアズ、ホセ、グアダルーペ
Original assignee: インターナショナル・ビジネス・マシーンズ・コーポレーション
Priority date: 1990-05-22
Filing date: 1991-05-17
Publication date: 1992-10-08
Anticipated expiration: 2012-10-15
Also published as: EP0484506A1; EP0486635A1; EP0486684A1; JPH04507027A; JP2502867B2; JP2746350B2; JP2663996B2; EP0484522A1; EP0484522A4; WO1991018349A1; EP0486684A4; EP0484506A4; WO1991018351A1; EP0486635A4; JPH05500429A; WO1992001257A1; US5542026A; WO1991018350A1; US5509106A; US5617512A

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュア［発明の分野］本発明は、コンピュータ及びコンピュータ・システムに関し、より詳しくは、ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュアに関する。

［関連出願に対する相互参照］本出願は優先権を主張し、以下の関連同時係属特許出願の一部継続出願である。

１９９０年５月２２日出願の”ＡＰＰＡＲＡＴＵＳ　ＡＮＤ　ＭＥＴＨＯＤ　ＦＯＲＮＥＵＲＡＬ　ＰＲＯＣＥＳＳＯＲ”と題するＳ、ヴアッシリアディス（Ｖａｓｓｉｌｉａｄｉｓ）及びＧ、Ｇ、ペチャネク（Ｐｅｃｈａｎｅｋ）の米国特許出願第０７１５２６８６６号（Ｉ　ＢＭドケット番号ＥＮ９−９０−０４５）　、”５ＮＡＰ”と呼ぶことがある。

１９９１年４月８日出願の”Ａ　ＴＲＩＡＮＧＵＬＡＲ５ＣＡＬＡＢＬＥＮＥＵＲＡＬ　ＡＲＲＡＹ　ＰＲＯＣＥＳＳＯＲ”と題するＧ、Ｇ、ペチャネク及びＳ。

ヴアッシリアディスの米国特許出願第０７／６８２７８５号（ＩＢＭドケット番号ＥＮ９−９１−０１８）　、”Ｔ−８ＮＡＰ　Ｉ＋と呼ぶことがある。

１９９１年４月８日出願の”５ＰＩＮ：Ａ　５ＥＱＵＥＮＴＩＡＬＰＩＰＥＬＩＮＥＤ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＳ、ヴアッシリアディス、Ｇ、　Ｇ、ペチャネク及びＪ、　Ｇ、デルガード；フリアス（Ｄｅｌｇａｄｏ−Ｆｒｉａｓ）の米国特許出願第０７／６８１８４２号（ＩＢＭドケット番号ＥＮ９− ９１−０２６）　、”５ＰＩＮ”と呼ぶことがある。

さらに、以下の関連出願が同時に出願されている。

１９９１年５月１７日出願の”Ａ　ＬＥＡＲＮＩＮＧ　ＭＡＣＨＩＮＥＳＹＮＡＰＳＥ　ＰＲＯＣＥＳＳＯＲＳＹＳＴＥＭ　ＡＰＰＡＲＡＴＵＳ”と題するＧ、Ｇ、ペチャネク、Ｓ、ヴアッシリアディス及びＪ、　Ｇ、デルガードエフリアスの米国特許出願筒０７／７０２２６０号（Ｉ　ＢＭドケット番号ＥＮ９−９１− ０５３）、”ＬＥＡＲＮＩＮＧ　ＭＡＣＨＩＮＥ”と呼ぶことがある。

１９９１年５月１７日出願（７）　”５ＣＡＬＡＢＬＥ　ＦＬＯＷ　ＶＩＲＴＵＡＬＬＥＡＲＮＩＮＧ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＧ、Ｇ、ベチャネク、Ｓ、ヴアッシリアディス及びＪ、Ｇ、デルガードエフリアスの米国特許出願第０７／７０２２６２号（ＩＢＭドケット番号ＥＮ９−９１−０５４）　、” ＳＶＬＭ”と呼ぶコトカアル。

１９９１年５月１７日出願の”ＰＬＡＮ：ＰＹＲＡＭＩＤ　ＬＥＡＲＮＩＮＧＡＲＣＨＩＴＥＣＴＵＲＥ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＧ、Ｇ、ベチャネク、Ｓ、ヴアッシリアディス及びＪ、　Ｇ、デルガードエフリアスの米国特許出願第０７／７０２２６３号（ＩＢＭドケット番号ＥＮ９−９１−０５５）　、”ＰＬＡＮ”と呼ぶコトがある。

これらの同時係属出願及び本出願は同じ譲受人、すなわち、米国ニューヨーク州アーモンクのインターナショナル・ビジネス・マシーンズ・コーポレーションによって所有されている。

これらの同時係属出願に記載の記述は、この引用によって本明細書に合体される。

［本発明者等の発明の検討において使用される文献コ本発明者等の発明の詳細な検討においては、従来技術ではないが本発明者等の説明を理解する助けとなる我々自身の未発表研究を含む他の研究を引用する。このような追加の文献は以下のものである。

Ｒ，ヘヒト＝ニールセン（Ｈｅｃｈｔ−Ｎｅｉｌｓｅｎ）の著書”Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ”、　Ａｄｉｓｏｎ　Ｗｅｓｌｅｙ　Ｐｕｂｌｉｓｈｉｎｇ　Ｃｏｍｐａｎｙ。

１９９０年刊、ｐｐ、２９７〜３１５　（以下では＃Ｈｅｃｈｔ　９０”と呼ぶ）。

Ｒ，Ｔ、セイヴリ−（Ｓａｖｅｌｙ）編”Ｔｈｅ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｔｅｃｈｎｏｌｏｇｙ”ＩＥＥＥ第１回第１二Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ）、　ＩＶ．ｐｐ．４７７　〜４８８，　Ｉ　ＥＥＥ，１９８７年６月（以下では”５ａｖｅｌｙ，　ｂ　Ｔ　ＥＥＥ　１９８７”と呼ぶ）。

ｐ．　トレリーヴアン（Ｔｒｅｌｅａｖｉｎ）　、Ｍ．バケコ（Ｐａｃｈｅｃｏ）及びＭ６ヴエラスコ（Ｖｅｌｌａｓｃｏ）の論文”ＶＬＳＩＡｒｃｈｉｔｅｃｔｕｒｅｓ　ｆｏｒ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ”、Ｉ　Ｅ　Ｅ　Ｅ　Ｍ　ｉ　ｃ　ｒｏ　、　ｐｐ．８〜２７．　１９８９年１２月（以下では”Ｔｒｅｌｅａｖｉｎ　８９”と呼ぶ）。

Ｓ．スーチェク（Ｓｏｕｃ’　ｅｋ）及びＭ．スーチェク（Ｓｏｕｃ’　ｅｋ）の著書”Ｎｅｕｒａｌ　ａｎｄ　Ｍａｓｓｉｖｅｌｙ　Ｐａｒａｌｌｅｌ　Ｃｏｍｐｕｔｅｒｓ”、米国ニューヨーク州ニューヨーク、　Ｊｏｈｎ　Ｗｉｌｅｙ　＆　５ｏｎｓ，　１９８８年刊（以下では”５ｏｕｃ’　ｅｋ　８８”と呼ぶ）。

Ｄ．Ｅ．ルーメルハルト（Ｒｕｍｅｌｈａｒｔ）　、Ｊ．Ｌ．マツフレランド（ＭｃＣｌｅｌｌａｎｄ）及びＰＤＭリサーチ・グループ（ｔｈｅ　ＰＤＰＲｅｓｅａｒｃｈ　Ｇｒｏｕｐ）の著書”Ｐａｒａｌｌｅｌ　ＤｉｓｔｒｉｂｕｔｅｄＰｒｏｃｅｓｓｉｎｇ　Ｖｏｌ．１：　Ｆｏｕｎｄａｔｉｏｎｓ”、米国マサチューセッツ州ケンブリッジ、ＨＩＴ　Ｐｒｅｓｓ，　１９８６年刊。（以下では ”Ｒｕｍｅｌｈａｒｔ　８６”と呼ぶ。

Ｊ．Ｊ．ホップフィールド（Ｈｏｐｆ　１ｅｌｄ）の論文”ＮｅｕｒｏｎｓＷｉｔｈ　Ｇｒａｄｅｄ　Ｒｅ５ｐｏｎｓｅ　Ｈａｖｅ　Ｃｏ１１ｅｃｔｉｖｅ　Ｃ：ｏｍｐｕｔａｔｉｏｎａｌＰｒｏｐｅｒｔｉｅｓ　Ｌｉｋｅ　Ｔｈｏｓｅ　ｏｆ　Ｔｗｏ−５ｔａｔｅ　Ｎｅｕｒｏｎｓ”。

Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ａｃａｄｅｍｙ　ｏｆ　５ｃｉｅｎｃｅｓ　８１，　ｐｐ。

３０８８−３０９２．　１９８４年５月。（以下では”Ｈｏｐｆｉｅｌｄ　８４ ”と呼ぶ。）１９９０年５月１８日出願の”ＡＰＰＡＲＡＴＵＳ　ＡＮＤ　ＭＥＴＨＯＤ　ＦＯＲＮＥＵＲＡＬ　ＰＲＯＣＥＳＳＯＲ”と題するＳ．ヴアッシリアディス及びＧ．　Ｇ．ペチャネクの米国特許出願第０７１５２６８６６号（ＴＥ３Ｍドケット番号ＥＮ９−９　０−０４　５）　、以下では５ＮＡＰ　Ｔ′または”Ｖａｓｓｉｌｉａｄｉｓ　５ＮＡＰ　９０”と呼ぶことがある。

１９９１年４月８日出願の”Ａ　ＴＲＩＡＮＧＵＬＡＲ　５ＣＡＬＡＢＬＥＮＥＵＲＡＬ　ＡＲＲＡＹ　ＰＲＯＣＥＳＳＯＲ″と題するＧ．　Ｇ．ペチャネク及びＳ．ヴアッシリアディスの米国特許出願第０７／６８２７８５号（ＩＢＭドケット番号ＥＮ９−９　１−０　１　８）　、以下では”Ｔ−３ＮＡＰ”と呼ぶことがある。

以上の追加の参照文献を引用により本明細書に合体する。

［発明の背景］［序　論コニューラル・プロセッサ上でモデル化したニューロンを、「直接」または「仮想」実施態様でシミュレートする。直接的方法では、各ニューロンが、システム内で活動状態の他のニューロン処理要素（ＰＥ）と並列に同時に動作できる利用可能な物理的処理要素（ＰＥ）をもっことになる。「仮想」実施態様では、ＰＥ処理がその「仮想」ニューロンの間で共用されることを必要とする個々のハードウェア処理要素（ＰＥ）に複数のニューロンが割り当てられる。ネットワークの性能は「直接的」手法の方が高くなるが、多くのネットワーク・シミュレーションでは多数のニューロンが利用され、かつ技術的制約によって実施できる「直接」ニューロンＰＥの数が制限されるので、多くのニューロコンピュータ設計では、「仮想」ニューロンという概念を利用して、直接利用できるよりも多数のニューロンをシミュレートしている。

仮想ニューロコンピュータに関係する基本概念は、可能ならば、ある程度の並列性を与え、次いで、ネットワークで実施しようとするニューロンの合計数を利用可能な並列処理要素の間で分割し、物理的処理要素１個ごとの時分割多重化を用いることにある。こうすると、もちろん１時間単位が、単一の物理的ＰＥに割り当てられた仮想ニューラル・ノードの数に応じて必要な処理をカバーするように拡大される。仮想ニューラル・ノードは、シミュレートされているネットワーク中の１ニユーロンを表す。単一プロセッサも使用できるが、全ニューラル・ノードについてすべての処理を順次扱わなければならない。このため、多くの仮想ニューロコンピュータは、並列に配列したマイクロプロセッサを用いている。

”Ｈｅｃｈｔ−Ｎｉｅｌｓｅｎ　９０”、”５ａｖｅｌｙ　Ｉ　Ｅ　Ｅ　Ｅ　８７”及び”Ｔｒｅｌｅａｖｉｎ　８９”を参照されたい。通常用いられる構造では、各ニューラル・ノードの計算能率を改善するため、浮動小数点ハードウェア加速機構を追加することができる。性能を改善するには、並列処理要素間に物理的ＰＥ間の効率的な通信ネットワークも必要である。これらの仮想ニューロコンピュータが機能するには、ネットワーク相互接続構造、重みマトリックス、及び仮想ＰＥ活動化状態メモリを含む物理的プロセッサ用の局所メモリがなければならない。また、ネットワークを初期設定し、入カバターンまたは入力データを供給し、さらに出カバターンまたは出力データを検索して解析する必要に応じて、ホスト・コンピュータ（パーソナル・コンピュータと同程度に簡単なものでよい）へのインターフェースもなければならない。

［発明の要約コ一般に、本発明者等の仮想システムは、スケーラプルで、ネットワークに適用可能であり、他の出願で例示されている本発明者等の改良されたハードウェアを、物理的ハードウェアに所望の適用業務の結果を達成するのに充分なニューロンが設けられていない場合に、使用できるようにするものである。仮想スケーラプル・ニューラル・アレイ・プロセッサ装置として機能するこの新しい装置は、乗算器、重み記憶域及び７個のニューロン用のニューロン出力値記憶域を含む重み乗算ユニットを備えたＮニューロン構造を有する。ただし、Ｖ）Ｎであり、ＶはＮニューロン構造上でエミュレートされるニューラル・ネットワーク中のニューロンの数である。本発明者等はまた、通信加算器ツリー、ニューロン活動化関数ユニット、及び通信加算器ツリーを介してニューロン活動化関数ユニットの出力を入力重み乗算ユニットに通信する方法も提供する。

第１のアーキテクチュア上好ましい実施例は、以下で論じる手法である。これは、物理的シナプス処理要素が共用でき、その結果ニューロン入力がＮ個のシナプス・プロセッサからなる１つの行または列で表されるのではなく、シナプス・プロセッサの複数の行または列で表されるように、５ＮＡＰ構造を修正するものである。以下で論じる第２のアーキテクチュア上好ましい実施例は、Ｎ個の活動化関数生成機構（シグモイド生成機構）を保持しながら、モデル化しようとする７個のニューロンをカバーするのに充分なシナプス処理要素が利用可能となるまで、シナプス処理要素のグループを複製する、ＴＳＮＡＰ用の手法である。以下で論じる第３のアーキテクチュア上好ましい実施例は、部分和記憶要素付きの反復加算器をＮ個のシグモイド生成機構の各入力に追加し、重み記憶域を各シナプス・プロセッサで適切に増加させる、５ＮＡＰまたはＴＳＮＡＰ用の普通の手法に当たる、一般的手法である。

この３つのアーキテクチャ手法すべてを例示する上記及びその他の改良は、以下の詳細な説明に記載されている。これらの発明ならびにその利点と特徴をよく理解するには、本発明者等がこの分野で行った他の開発に関する同時係属の特許出願を参照しなければならないこともあろう。しかし、特に本明細書に記載する改良、利点及び特徴に関しては、添付の図面に沿った説明で参照を行う。

［図面の簡単な説明］第１図は、仮想ニューロコンピュータの説明図である。

第２図は、８個の仮想ニューロンを含む５ＮＡ−Ｖｌの構成図である。

第３図は、５ＮＡＰ−Ｖｌのバイパス加算器の配線図である。

第４図は、５ＮＡＰのタグ突合せ乗算器の配線図である。

第５図は、５ＮＡＰ−ショット１〜４の構成図である。

第６図は、５ＮＡＰ−ショット５の構成図である。

第７図は、５ＮＡＰ−ショット６〜９の構成図である。

第８図は、５ＮＡＰ−ショット１０の構成図である。

第９図は、８個の仮想ニューロンを含む５ＮＡＰ−Ｖ２の配線図である。

第１０図は、４ニユーロンのＴ−ＳＮＡＰの構成図である。

第１１図４！、ニューロンＹ値を含む９ニューロンＴ−３ＮＡＰの重みマトリックスを示す図である。

第１２図は、４個の物理ニューロンを含む８ニューロン仮想Ｔ−３ＮＡＰの構成図である。

第１３図は、ニューロンＹ値を含む１６ニユーロンＴ−８ＮＡＰの重みマトリックスを示す図である。

第１４図は、１６ニユーロン仮想Ｔ−３ＮＡＰ及びステップ１のＹｌ’　、Ｙ２ ’　、Ｙ３’　、Ｙ４’の計算の説明図である。

第１５図は、１６ニユーロン仮想Ｔ−３ＮＡＰ及びステップ２のＹ５’　、Ｙ６ ’　、Ｙ７’　、Ｙ８’の計算の説明図である。

第１６図は、１６ニユーロン仮想Ｔ−３ＮＡＰ及びステップ３のＹ９’　、ＹＡ ’　、ＹＢ’　、ＹＣ’の計算の説明図である。

第１７図は、４つの３角形区画を含む１６ニユーロン仮想Ｔ−３ＮＡＰ及びステップ４のＵＤ’　、ＹＥ’　、ＹＦ’　、ＹＧ′の計算の説明図である。

第１８図は、１６のニューロン重みを含む４ニューロンＴ−３ＮＡＰ−Ｖ２の構成図である。

第１９図は、仮想アーキテクチュア比較の要約図である。

（注：図示の便宜上、図を分割することがあるが、何枚もを使用する場合は、慣例に従って、図の上端を１枚目とし、以下上から順に並べることにする。）次に、例として本発明の好ましい実施例を説明する部分として、詳細な説明を行う。

［発明の詳細な説明コ好ましい実施例を詳しく考察する前に、ハードウェアを、そのハードウェア限界を超えて、利用できるよりも多くのニューロンを必要とする適用業務を扱えるように拡張することのできる、本発明者等が発明したニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチャの理解を深めるのに役立つと思われる仮想ニューロコンピュータを例示することは価値があろう。

仮想ニューロコンピュータの特性を、図１に示す。ここで、”Ｓｏｕ’　ｃｅｋ　８８”が例示しているヘヒト＝ニールセンの関連システムを参照することができよう。最大Ｒ個の物理的処理要素が、第１図に示されている。ＫＸＲニューロンのニューラル・ネットワークでは、各物理プロセッサににニューロン用のニューラル・ノード計算タスクを割り当てることになる。このタスクは、積（重みＸ結合されたニューロンの出力）の和、活動化関数、それに恐らく出力関数を計算することである。

並列同報通信バスを使って、ネットワーク相互接続情報、ニューロン活動化状態値などを物理プロセッサ間で通信する。

第１図の構造では、バス争奪が起こらないように、システム制御装置によって並列バスを制御する。仮想ニューロン活動化出力値を計算した後、各ニューラル処理要素で、これらの値に対する局所システム・コピーを更新しなければならない。

好ましい実施例及びそれらの実施例で例示されるアーキテクチュアを例示する際に、数Ｖは、ニューロコンピュータ上でモデル化しようとするネットワークに含まれるニューロンの数を示すために用いる。数Ｎは、物理的実施態様で利用可能な物理ニューロンの数を示す。仮想処理の場合は、Ｖ）Ｎである。別設の指示がない限り、ＮとＶは２の累乗とする。

本明細書に所載のニューロコンピュータ・アーキテクチュアによって実施される計算タスクは、完全並列分散処理モデルのサブセットに基づく方程式（１）及び（２）で与えられる。

”Ｒｕｍｅｌｈａｒｔ　８６”、ならびに”Ｈｏｐｆｉｅｌｄ　８４”で例示されるホップフィールド・ネットワークを参照されたい。

・Ｖは、ニューラル・ネットワーク中のニューロンの数である。

・Ｗ１３など、重みＷの下付き文字は、ニューロン３からニューロン１への結合の重みを指すものとする。

・Ｙｊは、Ｗ、ｊの結合重みを介して第ｉニューロンの入力に結合されている第ｊニューロンの出力値である。

・Ｆ（Ｚ）は、しばしばシグモイド活動化関数に等しく設定される、ニューロン活動化関数であり、たとえば次の形をとる。

ただし、・０≦Ｆ（ｚ）≦１・Ｔは、Ｚ値のある集合に対するシグモイド関数の勾配を修正するのに用いられる大域制御パラメータである。

’ｅ＝自然対数（２，７１８２８・）式１及び２は、完全に接続されたＶニューロン・ネットワークでは、次の４種の基本演算を含む。

１．７２回の乗算２、Ｖ回の積和３、Ｖ個の活動化関数４、ＶＸＶ回の通信望ましい実施例によれば、一般にホスト・コンピュータは、ネットワーク・アーキテクチュアを初期設定する責任を負う。

たとえば、ホスト・コンピュータは、アーキテクチュアによってシミュレートされるネットワーク中のニューロンの数、すべての結合重み、初期ニューロン値、走行すべきネットワーク更新サイクルの数をロードし、モデルの実行を開始する責任を負う。ホスト・コンピュータはまた、ネットワークの実行終了時にニューロン値を読み取る能力を備えている。様々なニューラル処理アーキテクチュアの性能を評価し比較する際、初期設定時間及びホスト処理時間を別々の問題と考え、実行中の性能のみを考察する。

第１のアーキテクチュア上好ましい実施例は、以下で論じる手法である。これは、物理的シナプス処理要素が共用でき、その結果ニューロン入力がＮ個のシナプス・プロセッサからなる１つの行または列で表されるのではなく、シナプス・プロセッサの複数の行または列で表されるように、５ＮＡＰ構造を修正するものである。（”Ｖａｓｓｉｌｉａｄｉｓ　Ｓ　ＮＡ　Ｐ　９０”参照）以下で論じる第２のアーキテクチュア上好ましい実施例は、Ｎ個の活動化関数生成機構（シグモイド生成機構）を保持しながら、モデル化しようとするＶ個のニューロンをカバーするのに充分なシナプス処理要素が利用可能となるまで、シナプス処理要素のグループを複製する、Ｔ’　Ｓ　Ｎ　Ａ　Ｐ用の手法であるじ’Ｐｅｃｈａｎｅｋ　Ｔ　−Ｓ　Ｎ　Ａ　Ｐ　”参照）。以下で論じる第３のアーキテクチュア上好ましい実施例は、部分和記憶要素付きの反復加算器をＮ個のシグモイド生成機構の各入力に追加し、重み記憶域を各シナプス・プロセッサで適切に増加させる、５ＮＡＰまたはＴＳＮＡＰ用の普通の手法に当たる、一般的手法である。各アーキテクチュア手法について検討した後で、各仮想ニューロコンピュータの性能について論じる。

要約として、各仮想アーキテクチュア手法を実施コスト及び性能の点で比較する。所与の適用業務に対する「最善の」アーキテクチュアは、これらのコストに応じて変わり、適用業務の種類に応じて選択される。

性能序論仮想アーキテクチュアの性能を評価するため、「名前付き」要素を使って遅延を表すδ。ａ工。で遅延変数を示すものとする。

以下の遅延変数が用いられる。

・δや２乗算器の遅延・δ６＝通信加算器の２−１加算段の遅延・δ６＝シグモイド生成機構の遅延・δ９＝通信加算器の通信バイパス段の遅延次のような一般的仮定及びその他の表記法にも注意されたい。

１、システム定義のクロック期間はＣであり、すべての遅延はＣの倍数として指定される。

２、通信加算器ツリー中の段数はｌｏｇ２　Ｎである。ただし、Ｎは物理ニューロンの合計数である。

アーキテクチュアの性能は、ニューロンの出力を生成する期間で表される。遅延を増加させずに安全性を実現するには、１、乗算２、加算器ツリー３、シグモイド生成機構４、通信ツリーのように、各動作が順次、前の動作終了に続いて行なわれなければならない。こうした事象のシーケンスには、カウンタの使用など簡単な制御機構が必要であり、その出力値を、リストされている事象を表す遅延、すなわ、ち乗算器の遅延、ｌｏｇ２Ｎ通信加算器ツリーの加算モードの遅延、シグモイド遅延及びｌｏｇ２Ｎ通信加算器ツリーの通信モードの遅延の値と比較する。

５ＮＡＰ−Ｖｌ　（ＳＮＡＰ仮想アーキテクチュア１）以下で述べる５ＮＡＰ− Ｖｌと呼ばれる第１の手法は、ＶをＮ２の最大値までに制限する。Ｎ２より多（のニューロンもこのアーキテクチュアでシミュレートできるが、より複雑な制御処理が必要となり、この拡張能力についてはこの説明では論じないことにする。

５ＮＡＰ−Ｖ１アーキテクチュアでは、５ＮＡＰのニューロン定義（”Ｖａｓｓｉｌｉａｄｉｓ　５ＮＡＰ９０”）を、１ニューロン当り必要な重み付き人力の数がより大きくなっても対処できるように変更する。

第２図は、４ニユーロン５ＮＡＰ上でモデル化した仮想８ニユーロン・ネットワークを示している。重み及びＹ値用の充分な内部記憶域が乗算器セル構造内で利用可能であると仮定する。

Ｖ＝２Ｈの５ＮＡＰ−Ｖｌ中ノニューロンハ、２列（７）物理ニューロンを用いて、モデル化したネットワーク中の７個のニューロンの一つを表す。２列構造の全域にわたる完全な加算を実施するには、加算器ツリー中で使用される通信加算器の変更が必要である。第３図の５ＮＡＰ−Ｖｌバイパス加算器に示されているこうした変更により、加算器を順方向ならびに逆方向通信モード方向にバイパスさせることが可能となる。第３図には様々なバイパス経路が矢印で示されている。

この表記法は、第２図でも、どこでバイパス加算器が使用されるかを示すのに利用する。

第１表は、Ｄ３、Ｄ２及びＤ１制制御帯からコード化された、中央の共通ツリー制御点から駆動される、駆動制御機構ＤＲＩ、ＤＲ２、ＤＲ３、ＤＲ４、ＤＲ５を表している。

［第１表コ共通ツリー制御機構の真理値表ニューロン値が適切なニューロン入力に逆方向通信されることを保証するため、シグモイド生成機構はまた生成された値にタグ付けしなければならない。このタグは、加算器ツリーを通るその戻り経路でニューロン値に付随する。次に、乗算器セルＹ値入力レジスタは、ニューロンＹ値タグ突合せ比較機能を必要とする。

これは、第４図に示されている。第４図では、Ｙ値しジスタのロードがタグ突合せ機能の制御を受ける。古い値と新しい値の２つのＹ値のレジスタが必要である。

初期設定で既に重み、タグ、第１ニユーロン値が乗数レジスタにロード済みであると仮定すると、５ＮＡＰ構造は次のように動作する。（番号付けした各関数は、第５図が５ＮＡＰ−ショット１〜４に、第６図が５ＮＡＰ−ショット５に、第７図が５ＮＡＰ−ショット６〜９に、第８図が５ＮＡＰ−ショット１０にというように図に対応している。）ごとに重み付きニューロン値の部分和を生成する。

３、　逆方向部分和及び最終合計−バイパス加算器を使って部分和が行加算器ツリーに逆方向通信される。また、加算関数が行ツリーのそのレベルで不要な場合には、加算器をバイパスするのでなく、入り部分和にゼロを加えればよい。

４、　ニューロン値Ｙｌ’及びＹ２’　を生成する一上端の２つのシグモイド生成機構がＹ１′及びＹ２′　を生成する。

置かれ、２個のニューロン値がそのタグと共に、逆方向通信で戻されて、一致するタグを含む乗算器入力レジスタ中で受け取られる。

６６　ニューロン値Ｙ、に重みＷｌｊを乗じる。

７、　順方向部分和−垂直列加算器ツリーを操作して、各列ごとに重み付きニューロン値の部分和を生成する。

８、　逆方向部分和及び最終合計−バイパス加算器を使って部分和が行加算器ツリーに逆方向通信される。また、加算関数が行ツリーのそのレベルで不要な場合には、加算器をバイパスするのでなく、入り部分和にゼロを加えればよい。

９、　ニューロン値Ｙ３’及びＹ４’　を生成する一下端の２行のシグモイド生成機構がＹ１″及びＹ２″　を生成する。

かれ、２個のニューロン値がそのタグと共に、逆方向通信で戻されて、一致するタグを含む乗算器入力レジスタ中で受け取られる。

１１、上端の２行のシグモイド生成機構から生成されたＹ５′及びＹ６′　と、下端の２つのシグモイド生成機構から生成されたＹ７″及びＹ８′　について、同様に続行する。

１２、ホストによって指定された反復回数が終了するまで、続行する。

複数列（行）の共用は、全乗算器が一時に１個のニューロンについて重みにニューロン値を乗じた関数を与える、ｖ＝Ｎ２まで拡張可能である。こうした状況で、１ニユーロン更新サイクルにつき、１つのシグモイド生成機構だけが使用される。逆方向通信経路は、各タグ付きニューロン値がすべての乗算器セルに到着して、そこでタグ突合せ操作が行なわれるように制御される。このようにして、１ネツトワーク更新サイクルは、１サイクル当り１ニユーロンのペースで７個の５ＮＡＰサイクルを要することになる。従って、各乗算器セルの重み記憶域は、ｖ＝Ｎ２ニューロンの仮想ネットワークでは、１セル当り最高Ｎ２個の重みまで増加することになる。Ｙ値記憶域は、１セル当り現在値と新しい値の同じ２つの値のままとなる。水平シグモイド生成機構は、直接シミュレーションで必要なだけなので、全仮想実施態様ではこれを除去することができる。

Ｖ＝に’Ｈの場合、１乗算器セル当りの重み記憶域は、（ＶＫ）１乗算器セル当りの重みの数＝　Ｎ（ＶＫ）ＳＮＡＰ−Ｖ１期間＝Ｎ　（３Ｍ　＋　４　（ｌｏｇ２Ｎ　）　Ｃ＋　６５）として与えられる。

５ＮＡＰ−Ｖ２　（ＳＮＡＰ仮想アーキテクチュア２）上記で論じた５ＮＡＰ上での仮想処理のもう一つの手法は、各シグモイド入力部に記憶要素付き加算器である反復加算器を設けるものである。Ｖ＝’２Ｎの場合は、シグモイド関数の前に完全求和を形成するために、各ニューロンの２サイクルが必要である。Ｖ　＝　Ｋ　”Ｈの場合には、完全求和を行うためににサイクルが必要となる。この構造は第９図、５ＮＡＰ−Ｖ２に示されており、代替実施例と見なすべきである。

Ｓ　Ｎ　Ａ　Ｐ　−Ｖ　２では、重み及びニューロン値レジスタの数を決定する関係式が成り立つ。（ただし、「は、（Ｖ／Ｎ）が分数の場合、次に大きな整数を生じるシーリング演算子である）。

Ｋで表した重みレジスタの総数は、重みレジスタの総数＝　（２Ｎ−１）ＮＫ２（対角線セルでに２個の重み、その他のセルでは２に２個の重みから構成される）対角線セルにに個のＹ値しジスタ、他のセルには２に個のＹ値しジスタが存在する。

５ＮＡＰ−Ｖ２期間＝Ｋ　（Ｋδ、＋（Ｋ＋　１　）（ｌｏｇ２Ｎ）Ｃ＋６１Ａ＋６１５）　（４）ＴＳＮＡＰ−Ｖｌ　（ＴＳＮＡＰ仮想アーキテクチュア１）ＴＳＮＡＰ上での仮想実施態様は、Ｔ−３ＮＡＰによって実現される諸機能を実施する、本発明者等の通常好ましい実施例である。これを、４ニユーロンＴＳＮＡＰ上でモデル化した４、８．１６ニユーロンのネットワークを用いて例示することにする。第１０図は、４ニユーロンＴＳＮＡＰを示している。たとえば、第１０図で、Ｙ３を生成するニューロン３は、ボールド体で強調表示されているＮ＝４の積項の輪郭線で表される。第１０図と共に参照しやすいように、ニューロン３についての式をここに示してお（。

Ｙ３：Ｆ（Ｗ３１Ｙ１＋Ｗ３２Ｙ２＋Ｗ３３Ｙ３＋Ｗ３４Ｙ４）第１０図、第１２図及び第１４〜１７図で、Ｓはシグモイド生成機構を表す。

第１１図は、８ニユーロンＴ　Ｓ　ＮＡ　Ｐ上でモデル化する時に必要な８個のニューロン重み及びＹ値を表している。第１２図は、対角線セル、Ｇセル及び加算器ツリーを複製し、構造の対角線上で部分和を生成することによって、第１０図のＴＳＮＡＰ構造を修正したものである請求和ツリー構造が必要に応じて配置できることを実証するため請求和か対角線上に示されている。複製された３角形の区画は、シグモイド生成機構を除外しているが、区画の大きさは、Ｔ　Ｓ　ＮＡ　Ｐ区画の物理ニューロンの数Ｎに等しいシグモイド生成機構の数に基づく。

ＴＳＮＡＰ−Ｖｌでは、システム上でモデル化される最大のネットワークを扱うのに充分な回数で３角形区画が複製されるものと仮定する。複製される３角形区画の数は、で与えられる。（ただし、「は（Ｖ／Ｎ）が分数値の場合、（Ｖ／Ｎ）の次に大きな整数を生じるシーリング演算子である）。

第１２図のステップ１の例では、わかりやすいように、ニューロン１〜４に対する重み及び出力値が最初に示されている。第１２図のステップ２は、ニューロン５〜８に必要な重み及び構造を示している。例えば、第１２図では、Ｙ３を生じるニューロン３及びＹ７を生じるニューロン７は、ステップ１及びステップ２にボールド体で強調表示されているＮ＝８の積項の輪郭線で表される。第１２図と共に参照しやすいように、ニューロン３及び７についての式をここに示しておく。

Ｙ３＝Ｆ（Ｗ３１Ｙ１＋Ｗ３２Ｙ２＋Ｗ３３Ｙ３＋Ｗ３４Ｙ４＋Ｗ３５Ｙ５＋Ｗ、６Ｙ、＋Ｗ、７Ｙ、＋Ｗ、８Ｙ、）　’Ｙ７＝Ｆ（Ｗ７１Ｙ　１＋Ｗ７２Ｙ２＋Ｗ７．Ｙ、＋ｗ、、ｙ、＋ｗ７５ｙ５＋Ｗ７゜Ｙ６＋Ｗ、□Ｙ、＋Ｗ、８Ｙ８）逆方向通信経路では、正しいニューロン値だけが適切な３角形区画にロードされるように、ニューロン値にタグ付けすることになる。ニューロン値を３角形区画にあるいは各Ｙ値記憶レジスタに送る前に、タグの比較を行うことができる。

本発明者等が好ましいとする上記に例示した実施例の利点の一つは、ニューロン活動化関数生成機構を同じ数に保持しながら、乗数器及び通信加算器ツリーの複製によって、第１２図に示した基本概念を反復してより大きなネットワーク用に拡張できることである。１６ニユーロンのネットワークに対するこの手法が、第１４図ないし第１７図に示されている。

参考のため、１６ニユーロンＴＳＮＡＰで使用される、１６ニユーロン用のすべての重みとニューロン値が第１３図に示されている。第１４図ないし第１７図は、４つの複製されたＴＳＮＡＰ区画を含んでいる。ニューロン１〜４用の重み及び出力値が、第１４図のステップ１に示されている。第１５図のステップ２は、ニューロン５〜８に必要な重み及び構造を示している。同様に、第１６図のステップ３は、ニューロン９〜１２を示し、第１７図のステップ４は、ニューロン１３〜１６を示している。わかりやすいように、Ａ＝１０、Ｂ＝１１、Ｃ＝１２、Ｄ＝１３、Ｅ＝１４、Ｆ＝１５、Ｇ＝１６とすると、たとえば、第１４図ないし第１７図で、Ｙ３を生じるニューロン３、Ｙ７を生じるニューロン７、Ｙ２２を生じるニューロン１２、Ｙ、４を生じるニューロン１４が、ステップ１ないしステップ４にボールド体で強調表示されている各ニューロンに対するＮ＝１６の積項の輪郭線で表される。第１４図ないし第１７図と共に参照しやすいように、ニューロン３．７．１２．１４についての式をここに示しておく。

Ｙ、＝　Ｆ（Ｗ３，１Ｙ□＋Ｗ３，２Ｙ　２＋Ｗ、、３Ｙ、＋Ｗ３．．Ｙ、＋Ｗ３．ｙ５＋ｗ３，６ｙ６＋ｗ３，７ｙ７＋ｗ３，８ｙ８）＋（Ｗ３，９Ｙ　９＋　Ｗ３，１０Ｙ　１０＋ｗ、　、、、　Ｙ　１．　＋Ｗ３，１２Ｙ　１２＋Ｗ３．．３Ｙ、、＋Ｗ、、、４Ｙ　１４＋Ｗ、・ｔｓｙ　１５＋ｗ、　、ｔ６ｙ　１６）Ｙ７＝　Ｆ（ＷＴ、ＩＹ工＋Ｗ７，２Ｙ２＋Ｗ７，３Ｙ、＋Ｗ、、、Ｙ、＋ｗ７．．ｙ５＋ｗ、、６ｙ６＋ｗ７，７ｙ７＋ｗ７，８ｙ、）＋（ｗ７．、ｙ、＋ｗ７，１゜’ｙ１ｏ＋ｗ７．．１ｙ１１＋ｗ７，１２ｙ、２＋Ｗ７，１３Ｙ　、３＋Ｗ、　、１４Ｙよ、＋ＷＴ、、５Ｙ　、、＋Ｗ７，１６Ｙ　１６）Ｙ　１２＝　Ｆ　（Ｗ１２，１Ｙ　、＋Ｗ、２．２Ｙ　２＋Ｗ１２．、Ｙ　３＋Ｗ、。

、４Ｙ４＋Ｗ１２，５Ｙ　５＋Ｗ、、６Ｙ　６＋Ｗ１２，７ｙ７＋ｗ１２，８ｙ、）＋（Ｗ１２・９Ｙ９＋Ｗ、２，１０Ｙ、０＋Ｗ１２．ＨＹ、１＋Ｗ１２，１２Ｙ　１２＋ｗ　１２．１３Ｙ　１３＋　Ｗ１２．１４Ｙ　’１４　＋ｗ、２，１５ｙ　１５＋Ｗ１２．１６Ｙ　１６）Ｙ　ｉ４＝　Ｆ　（Ｗ、、、　１Ｙ　１＋Ｗ１．．２Ｙ　２＋Ｗ１４，３Ｙ　３＋ｗ１４，４ｙ４＋ｗ１４．ｙ、＋ｗ、、６ｙ６＋ｗ１．、□ｙ７＋ｗ１４．！１Ｙ６）＋（ｗ１４，９ｙ　９＋ｗ１４，１０Ｙ　１０＋　ｗ１４．’１１　Ｙ　ｉ　ｉ　＋ｗ１４．１２Ｙ　１２＋Ｗ１４，１３Ｙ　１３＋Ｗ、４，１４Ｙ　ｔ４＋ｗ１４．ｔｓｙ　１５＋”１４　、ｔ６Ｙ　１ｓ）第１４図ないし第１７図で、Ｓはシグモイド生成機構を表す。

実施コストは、次の通りである。

・１乗算器セル当りに個の重みレジスタ・１乗算器セル当り１個のＹ値しジスタ・合計ＫＮ２個の乗算器・合計ＫＮ（Ｎ−１）個の加算器ＴＳＮＡＰ−Ｖｌの性能は、次の通りである。

ＴＳＮＡＰ−Ｖ１期間＝Ｋ（δや＋２　（ｌｏｇ２　Ｎ　＋　ｌｏｇ２　Ｋ　） δ６＋δ、）ＴＳＮＡＰ−Ｖ２　（ＴＳＮＡＰ仮想アーキテクチュア２）乗算器及び通信加算器区画を複製せずに、仮想ＴＳＮＡＰを開発するもう一つの手法は、重み及びニューロン値をセルに入れ、乗算器及び加算器ツリーを循環式に共用することによるものである。これを実施するには、活動化関数を入力する前に、各サイクルごとに部分和を記憶し、部分和を加算する反復加算器が必要となる。４物理ニユーロンのＴＳＮＡＰ上でのこの構造が、１６ニユーロン仮想ネツトワークに必要な重み及びニューロン値記憶域と共に、第１８図に示されている。

実施コストは、次の通りである。

・１乗算器セル当りに’に個の重みレジスタ・１乗算器セル当りに個のＹ値しジスタ・合計Ｎ２個の乗算器・合計Ｎ　（Ｎ−１）＋Ｎ　（ＩＡ）個の加算器ＴＳＮＡＰ−Ｖ２の性能は、次の通りである。

ＴＳＮＡＰ−Ｖ２期間＝Ｋ　（ＫδＭ＋　２　（ｌｏｇ２Ｎ　Ｂ　Ａ＋δＩＡ）＋６６）使用する実施例を選択するのに用いられる要約表第１９図は、異なる４種の５ＮＡＰ仮想プロセツサ設計のハードウェア・コスト及び性能の比較を示している。

ＶとＮは共に２の累乗であると仮定する。すべての仮想実施態様だけを考察し、Ｋ＝Ｖ／Ｎであると仮定する。したがって、本発明者等が好ましいとする様々な実施例が一般に異なる様々な場合に有用であり、どれを選択するかは、適用業務の種類、所望の適用業務でのコスト及び性能の比較に基づ（ことがわかるであろう。

以上、本発明者等の諸発明の好ましい実施例を記載したが、当業者なら、現在でも将来でも、これらの議論を理解すれば、下記の特許請求の範囲に含まれる様々な改良及び機能強化を行なえることが理解されよう。特許請求の範囲は、最初に開示された発明に対して適切な保護を維持するものと解釈すべきである。

仮想二ニー０コンピユー９　Ｔｏ／ＦＲＯＭ　ＨＯ３ＴＦＩＧ、１８儂の仮想ニューロンを備えＴ−５ＮＡＰ−ＶｊＬ　ＦＩＧ、３（Ｖに）ｌＮｍのエントリーを含む重みアレイＦＩＧ、４１／ｌ　噛　Ｎ　の＞　Σ　洲　洲４ニユーロン　Ｔ−ＳＮＡＰニューロンＹ［を含む８ニューロンＴＳＮＡＰ重みマトリックスＷＮ＊ＹｉＷ＋２＊Ｙ２Ｗ２１＊Ｙｉ　Ｗ２２ｍ２Ｗ１３＊Ｙ３　Ｗ２３＊Ｙ３Ｗ３＋＊Ｙｉ　Ｗ３２傘Ｙ２　Ｗ３３＊Ｙ３Ｗ１４＋ｋＹ４　Ｗ２４＊ｙ４　ｗ３４＊ＹａＷ４１＊Ｙｉ　Ｗ４２＊Ｙ２　Ｗ４３＊Ｙ３　Ｗ４４＊Ｙ４Ｗ１５＊Ｙ５　Ｗ２５＋ｋＹ５　Ｗ３Ｓ＊ＹＳ　Ｗ４５＊ＹＳＷ５ｊ＊ＹＩ　ＷＳ２＊Ｙ２　ＷＳ３＋ｋＹ３　Ｗ５４１ｋＹ４　Ｗ５５＊Ｙ５物理的ニューロン４ｍを備えた８ニューロン仮想ＴＳＮＡＰ−Ｖ１Ｙ４’ ＹＳ’ ＦＩＧ、１２二ニーロンＹ値を含む１６ニユーロンＴＳＮＡＰ重みマトリックスＷ１．１＊ＹｉＷ＋　、　２＋ｋＹ２ｗ２，１＊ＹＩ　Ｗ２，２＊Ｙ２Ｗ１・３＊Ｙ３　Ｗ２・３＊Ｙ３　ＦＩＧ、１３ＡＷ３，１＊ＹＩ　Ｗ５，２＊Ｙ２　Ｗ３．３＊Ｙ５ＦＩＧ、１３ＢＷ６．６＊Ｙ６Ｗ６，７＊Ｙ７Ｗ７．６＊Ｙ６　Ｗ７．７傘Ｙ７Ｗ６．８＊Ｙ８　Ｗ７．８＊Ｙ８Ｗ８．６＊Ｙ６　Ｗ８，７＊Ｙ７　Ｗ８．８＊Ｙ８ｗ６，９＊Ｙ９　Ｗ７，９＊Ｙ９　Ｗ８．９＊Ｙ９ｗ９．６ｍＹ６　Ｗ９．７＊ｙ７　Ｗ９，８＊Ｙ８　Ｗ９．９＊Ｙ９Ｗ６．＋ＩＮ＋ＹｊＯＷ７．ｊｏ＊ｖｉｏ　Ｗ８．ｊ１Ｍ＋Ｙｉｏ　Ｗ９，１０＊ＹｊＯＷ１０，６１１１Ｙ６　Ｗｌｏ、７＊Ｙ７　Ｗ＋０．８＊Ｙ８　Ｗｌｏ、９＊Ｙ９　Ｗｌｏ、ｉｃｎＹｊ０ＦＩＧ、１３Ｗｊｌ、ＩＳ傘Ｙ＋５　Ｗ＋２．１Ｓ傘Ｙ１Ｓ　Ｗｌｓ、ｊ５＋ｌ’Ｙ１５　Ｗ＋４．ＩＳ傘ｙｅｓ　ｗＷ＋５．ｊｌ傘Ｙ４ｊ　ｌ＃１５．Ｉ２＊Ｙ＋２　Ｗ１５．ＩＳ傘Ｙ１３　ＷＩＳ、Ｉ４本Ｙ１４　ＷＩＳｉＳ＊ＹＩＳ１６個のニューロン重みを含む４ニューロンＴＳＮＡＰ−Ｖ２Ｆ＋Ｇ、１８要約書ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュア［要約コスケ−ラブル・ニューラル・プロセッサ（ＳＮＡＰ）及び３角形のスケーラプル・ニューラル・アレイ・プロセッサ（Ｔ−３ＮＡＰ）が、モデル化しようとするニューロンの数が実施された物理ニューロンの数を越えている場合にネットワークのシミュレーションを扱えるように拡張される。こうした仮想ニューラル処理が、一つは５ＮＡＰに、もう一つはＴＳＮＡＰに、さらに一つは５ＮＡＰとＴＳＮＡＰの両方に適用される、仮想ニューロンを扱う３種の一般的な仮想アーキテクチュア手法について記載される。

国際調査報告

Claims

【特許請求の範囲】

１．仮想的スケーラプル・ニューラル・アレイ・プロセッサ装置において、Ｖ．＞Ｎであり、ＶがＮニューロン構造上でエミュレートされるニューラル・ネットワーク中のニューロンの数であるとして、乗算器、重み記憶域及びＶニューロン用ニューロン出力値記憶域を含む重み乗算器ユニットと、通信加算器ツリーと、ニューロン活動化関数ユニットと、通信加算器ツリーを使ってニューロン活動化関数ユニットの出力を通信して入力重み乗算器ユニットに戻す手段とを有するＮニューロン構造を備える装置。
２．それぞれ重み記憶ユニットと、ニューロン出力値記憶ユニットと、乗算器と、タグ突合せ機能とから構成されるＮ２個の重み乗算器ユニットを含み、さらに２Ｎ個の通信加算器ツリーと２Ｎ個のニューロン活動化関数ユニットとの直交セットを含む、請求項１の装置。
３．ニューロン活動化関数ユニットが非線形シグモイド生成機構である、請求項１の装置。
４．通信加算器ツリーがｌｏｇ２Ｎ個の２−１通信加算器段を含んでいる、請求項１の装置。
５．２−１通信加算器を含む通信加算器ツリーの各段が、２−１加算器と、加算から得られるものと逆方向に値を通信する目的用の加算器バイパス経路と、加算経路と同じ方向に値を通信する目的用の加算器バイパス経路と、加算機能経路と異なる通信経路の間で切り換える手段とから構成されている、請求項４の装置。
６．Ｋ＝Ｖ／Ｎであり、Ｖは２の累乗で、Ｎニューロン構造上でエミュレートされるニューラル・ネットワーク中のニューロンの数であるとして、各重み乗算器ユニットが、Ｋ２個の重み記憶ユニットと、２個のニューロン出力値記憶ユニットと乗算器とを含んでいる、請求項２の装置。
７．重み乗算器ユニットが、重み処理ユニットのタグと一致するタグの付いたニューロン出力値だけが重み乗算器ユニットに含まれるニューロン出力値記憶ユニットに記憶されるようにするタグ突合せ機能を含んでいる、請求項６の装置。
８．２個のニューロン出力値記憶ユニットが、旧ニューロン出力値記憶ユニット及び新出力値記憶ユニットから構成されている、請求項６の装置。
９．Ｎ＜Ｖ＜Ｎ２で、かつＶが２の累乗であり、Ｎも２の累乗であるとして、Ｖ個のニューロンを含むニューラル・ネットワークを、Ｎ個のニューロンを有し、２Ｎ個の通信加算器ツリーと２Ｎ個のニューロン活動化関数との直交セットから構成される装置上でエミュレートするために、（ａ）重み及びニューロン出力値を構造にロードするステップと、（ｂ）旧ニューロン出力値を重み値と乗算するステップと、（ｃ）第１組のＮ個の直交通信乗算器ツリーによって、値と重みの積の部分和をとるステップと、（ｄ）部分和値の最終求和を得る目的で、第２組のＮ個の直交通信加算器ツリーのうちの選択されたサブセットヘの加算器バイパス経路によって、部分和値を逆方向通信するステップと、（ｅ）最終和を選択されたニューロン活動化関数ユニットに入力するステップと、（ｆ）第２組のＮ個の直交ニューロン活動化関数ユニットに含まれる選択されたニューロン活動化関数ユニットによって、新しいタグ付きニューロン出力値を生成するステップと、（ｇ）新しいタグ付きニューロン出力値を一致するタグの付いたニューロン入力重み乗算器ユニットに通信するステップと、（ｈ）本明細書でＳＮＡＰサイクルと呼ぶ以上の諸ステップを、Ｖニューラル・ネットワーク中の他のニューロンについて続行するステップと、（ｉ）重み乗算器ユニット中の旧ニューロン値を新ニューロン値で置換して、新ニューロン値を今度は旧ニューロン値として扱うステップと、（ｊ）ホストによって指定される回数だけの反復が完了するまで、Ｖ個のニューロンについてＳＮＡＰサイクルの諸ステップを繰り返し、続いて重み乗算器ユニット中の旧ニューロン値を新ニューロン値で置換するステップとを順次実行する手段が設けられている、請求項２の装置。
１０．ニューロン数Ｖ＝Ｎ２であり、その場合に、Ｎ２個の重み乗算器ユニットの各組の乗算を用いて、Ｖニューラル・ネットワーク中の各ニューロンについてニューロン値と重みの積を生成する、請求項９の装置。
１１．ただ一つのニューロン活動化関数だけを順次使って、タグ付きニューロン値を生成し、各タグ付きニューロン値を逆方向通信にすべての重み乗算器ユニットに戻し、そのうち一致するタグの付いた入力重み処理ユニットだけが生成されたニューロン出力値を受け取る、請求項１０の装置。
１２．重み乗算器ユニットの重み記憶ユニットがＮ２個の値を含み、Ｎ２個のＳＮＡＰサイクルを利用してＶニューラル・ネットワークがエミュレートされる、請求項１０の装置。
１３．Ｖ＞Ｎで、Ｖが一般に２の累乗でなく、Ｎが２の累乗であるとして、Ｖ個のニューロンを含むニューラル・ネットワークを、Ｎ個のニューロンを有し、２Ｎ個の通信加算器ツリーと２Ｎ個のニューロン活動化関数との直交セットから構成される装置上でエミュレートするために、Ｋが、（Ｖ／Ｎ）が分数の場合にシーリング演算子が（Ｖ／Ｎ）の次に大きな整数を生成する、シーリング（Ｖ／Ｎ）に等しいとして、各重み乗算器ユニット中に、使用されないニューロン重み記憶ユニットをゼロの値で埋めた対象構造に対するＫ２個の重み記憶ユニットと、さらに２個のニューロン出力値記憶ユニットと１個の乗算器が存在する、請求項９の装置。
１４．さらに、それぞれが２Ｎ個の通信加算器ツリーの出力部に位置する部分和記憶ユニットを含む、２Ｎ個の累算器を含む、請求項２の装置。
１５．通信加算器ツリーが、ｌｏｇ２Ｎ個の２−１通信加算器段を含んでいる、請求項１４の装置。
１６．通信加算器ツリーの各段が、２−１加算器を含む２−１通信加算器と、加算から得られるのと逆方向に値を通信する目的用の加算器バイパス経路と、加算機能と逆方向通信経路の間で切り換える手段とを含んでいる、請求項１５の装置。
１７．ｋ＝Ｖ／Ｎで、ＶとＮが共に２の累乗であるとして、Ｎ２個の重み乗算ユニットが、１個の乗算器と、Ｎ個の対角線重み乗算器ユニット中のＫ２個の重み記憶ユニット及びＫ個のニューロン出力値記憶ユニットと、他のＮ２−Ｎ個の重み乗算器ユニット中の２Ｋ２個の重み記憶ユニット及び２＊Ｋ個のニューロン出力値記憶ユニットとを含んでいる、請求項１４の装置。
１８．Ｖ＞Ｎで、Ｖが２の累乗、Ｎも２の累乗であるとして、Ｖ個のニューロンを含むニューラル・ネットワークを、Ｎ個のニューロンを有し、２Ｎ個の通信加算器ツリーと２Ｎ個の累算器と２Ｎ個のニューロン活動化関数との直交セットから構成される装置上でエミュレートするために、（ａ）重み及びニューロン出力値を構造にロードするステップと、（ｂ）第１組のニューロン出力値を重み値とＮ２回乗算するステップと、（ｃ）第１組のＮ個の直交通信加算器ツリーによって値と重みの積の部分和をとり、第１組のＮ個の累算器の部分和記憶ユニットに記憶するステップと、（ｄ）第２組のニューロン出力値を重み値とＮ２回乗算するステップと、（ｅ）第１組のＮ個の直交通信加算器ツリーによって値と重みの第２組の積の部分和をとり、それを、前記第１組の乗算と部分求和で得られ累算器に記憶されている部分和値に加え、その結果得られる和をＮ個の累算器の部分和記憶ユニットに記憶するステップと、（ｆ）Ｖ／Ｎ回の部分求和がすべて完了し、その結果、累算器から各ニューロンに対するＶ個のニューロン入力のＮ個の最終和を得るまで、Ｎ２回乗算と部分求和を続行するステップと、（ｇ）最終和の値を第１組のＮ個の直交ニューロン活動化関数ユニットに入力するステップと、（ｈ）第１組のＮ個の直交ニューロン活動化関数ユニットによって、Ｎ個のニューロン出力値を生成するステップと、（ｉ）１重み乗算ユニット当り１個のニューロン出力値ずつ、Ｎ個のニューロン出力値をニューロン入力重み乗算ユニットに通信して、そこに記憶するステップと、（ｊ）Ｖニューラル・ネットワーク中の他のニューロンにつっいて、一度にＮ個のニューロン出力値ずつ、本明細書でＳＮＡＰ−Ａサイクルと呼ぶ以上のステップｂないしｉを続行し、その結果、Ｖ／Ｎ回のＳＮＡＰ−Ａサイクルを得るステップと、（ｋ）第１組の新たに生成されたニューロン出力値を重み値とＮ２回乗算するステップと、（ｌ）第２組のＮ個の直交通信加算器ツリーによって値と重みの積の部分和をとり、それを第２組のＮ個の累算器の部分和記憶ユニットに記憶するステップと、（ｍ）第２組の新たに生成されたニューロン出力値を重み値とＮ２回乗算するステップと、（ｎ）第２組のＮ個の直交加算器ツリーによって値と重みの積の部分和をとり、それを、第２組の直交加算器ツリーから生成された、前記第１組の乗算と部分求和で得られ累算器に記憶されている部分和の値に加え、その結果得られる和を第２組のＮ個の累算器の部分和記憶ユニットに記憶するステップと、（ｏ）各ニューロンに対するＶ／Ｎ回の部分求和がすべて完了し、その結果、第２組のＮ個の累算器からＶ個のニューロン入力のＮ個の最終和を得るまで、Ｎ２回乗算と部分求和を続行するステップと、（ｐ）最終和の値を第２組のＮ個の直交ニューロン活動化関数ユニットに入力するステップと、（ｑ）第２組のＮ個の直交ニューロン活動化関数ユニットによって、Ｎ個のニューロン出力値を生成するステップと、（ｒ）１重み乗算ユニット当り１個のニューロン出力値ずつ、Ｎ個のニユーロン出力値をニューロン入力重み乗算ユニツトに通信して、そこに記憶するステップと、（ｓ）Ｖニューラル・ネットワーク中の他のニューロンについて、一度にＮ個のニューロン出力値ずつ、本明細書でＳＮＡＰ−Ｂサイクルと呼ぶ以上のステップｋないしｒを続行し、その結果、Ｖ／Ｎ回のＳＮＡＰ−Ｂサイクルを得るステップと、（ｔ）ホストによって指定された回数だけ反復が完了するまで、ＳＮＡＰ−Ａサイクル、続いてＳＮＡＰ−Ｂサイクルを繰り返すステップとを順次実行する手段が設けられている、請求項１４の装置。
１９．Ｖ＞Ｎで、Ｖが一般に２の累乗でなく、Ｎが２の累乗であるとして、Ｖ個のニューロンを含むニューラル・ネットワークを、Ｎ個のニューロンを有し、２Ｎ個の通信加算器ツリーと２Ｎ個の累算器と２Ｎ個のニューロン活動化関数との直交セットから構成される装置上でエミュレートするために、Ｋが、（Ｖ／Ｎ）が分数の場合にシーリング演算子が（Ｖ／Ｎ）の次に大きな整数を生成する、シーリング（Ｖ／Ｎ）に等しいとして、及び出力値記憶ユニットを各重み乗算ユニット中に、使用されないニューロンの重み記憶ユニットをゼロの値で埋めた対称構造に対する、Ｎ個の対角線重み乗算ユニット中のＫ２個の重み記憶ユニット及びＫ個のニューロン出力値記憶ユニットと、他のＮ２−Ｎ個の重み乗算ユニット中の２Ｋ２個の重み記憶ユニット及び２＊Ｋ個のニューロン出力値記憶ユニットが存在し、Ｋ回のＳＮＡＰ−Ａサイクルとそれに続くＫ回のＳＮＡＰ−Ｂサイクルがある、請求項１８の装置。
２０．Ｎ２個の重み乗算ユニットが対角線に沿って折り畳まれたＮ×Ｎ重みマトリックスの形で含まれており、ＫがＶ／Ｎに等しいとして、各重み乗算ユニットが、Ｋ個の重み記憶ユニットと１個のニューロン出力値記憶ユニットと１個の乗算器と、さらに本明細書で３角形区画と名付けるタグ突合せ関数とを含んでいる、請求項１の装置。
２１．重み乗算ユニットが、そのタグと一致するタグの付いたニューロン出力値だけをその重み乗算ユニットに含まれるニューロン出力値記憶ユニットに記憶するようにするタグ突合せ機能を含んでいる、請求項２０の装置。
２２．Ｖニューロン構造が、それぞれｌｏｇ２Ｎ個の２−１通信加算器段を含むＮ個の通信加算器ツリーを備えるＶ／Ｎ個の３角形区画と、３角形区画の外部に、ｌｏｇ２（Ｖ／Ｎ）個の通信加算器段を含むＮ個の外部通信加算器ツリーと、Ｎ個のニューロン活動化関数ユニットを含んでいる、請求項２０の装置。
２３．通信加算器ツリーの各段が、２−１加算器を含む２−１通信加算器と、加算から得られるものと逆方向に値を通信する目的用の加算器バイパス経路と、加算機能と逆方向通信経路の間で切り換える手段とを含んでいる、請求項２２の装置。
２４．Ｖ＞Ｎで、Ｖが２の累乗であり、Ｎも２の累乗であるとして、Ｖ個のニューロンを含むニューラル・ネットワークを、Ｎ個のニューロンを有し、Ｖ／Ｎ個の反復された３角形区画とＮ個の外部通信加算器ツリーとＮ個の活動化関数ユニットとから構成される装置上でエミュレートするために、（ａ）重み及びニューロン出力値を構造にロードするステップと、（ｂ）各３角形区画中でニューロン出力値を重み値とＮ２回乗算し、それによって（Ｖ／Ｎ）ＸＮ２すなわちＶ＊２Ｎ回のニューロン乗算を行うステップと、（ｃ）各３角形区画によって、値と重みのＮ２個の積の部分和をとるステップと、（ｄ）上記Ｎ個の外部通信加算器ツリーによって、各３角形区画からの上記部分和のＮ個の最終和をとるステップと、（ｅ）Ｎ個の最終和をＮ個ニューロン活動化関数ユニットに入力するステップと、（ｆ）Ｎ個のニューロン活動化関数ユニットによって、Ｎ個のタグ付きニューロン出力値を生成するステップと、（ｇ）１重み乗算器ユニット当り１個のニューロン出力値ずつ、Ｎ個のタグ付きニューロン出力値を一致するタグの付いたニューロン入力重み乗算器ユニットに通信し、そこに記憶するステップと、（ｈ）Ｖニューラル・ネットワーク中の他のニューロンについて、本明細書でＴＳＮＡＰ−Ａサイクルと呼ぶ以上のステップｂないしｇを続行し、その結果、Ｖニューロン・ネットワークをエミュレートするＶ／Ｎ回のＴＳＮＡＰ−Ａサイクルを得るステップと、（ｉ）ホストによって指定される回数だけ反復が完了するまで、ＴＳＮＡＰ−Ａサイクルを繰り返すステップとを順次実行する手段が設けられている、請求項２０の装置。
２５．Ｖ＞Ｎで、Ｖが一般に２の累乗でなく、Ｎが２の累乗であるとして、Ｖ個のニューロンを含むニューラル・ネットワークを、Ｎ個のニューロンを有し、Ｖ／Ｎ個の複製された３角形区画とＮ個の外部通信加算器ツリーとＮ個のニューロン活動化関数ユニツトとから構成される装置上でエミュレートするために、Ｋが、（Ｖ／Ｎ）が分数の場合にシーリング演算子がその次に大きな整数を生成するシーリング（Ｖ／Ｎ）に等しいとして、ＫＮ２個の重み乗算ユニットが存在し、各重み乗算ユニットが、使用されないニューロン重み記憶ユニットを０の値で埋めた対称構造に対するＫ個の重み記憶ユニットと、さらに１個のニューロン出力値記憶ユニットを含み、Ｖニューラル・ネットワークをエミュレートするためにＫ回のＴＳＮＡＰ−Ａサイクルが実行される、請求項２４の装置。
２６．Ｎ２個の重み乗算ユニットが対角線に沿って折り畳まれたＮ×Ｎマトリックスの形で含まれ、ＫがＶ／Ｎに等しいとして、各重み乗算ユニットが、Ｋ２個の重み記憶ユニットとＫ個のニューロン出力値記憶ユニットと１個の乗算器とを含み、さらに、Ｎ個の通信加算器ツリーと、それぞれがＮ個の通信加算器ツリーの出力部に位置する部分和記憶ユニットを含んでいるＮ個の累算器と、Ｎ個のニューロン活動化関数ユニットを含んでいる、請求項１の装置。
２７．通信加算器ツリーの各段が、２−１加算器を含む２−１通信加算器ツリーと、加算から得られるものと逆方向に値を通信する目的用の加算器バイパス経路と、加算機能と逆方向通信経路の間で切り換える手段とを含んでいる、請求項２６の装置。
２８．Ｖ＞Ｎで、Ｖが２の累乗であり、Ｎも２の累乗であるとして、Ｖ個のニューロンを含むニューラル・ネットワークを、Ｎ個のニューロンを有し、それぞれがＫ２個の重み記憶ユニット、Ｋ個のニューロン出力値記憶ユニット及び１個の乗算器を含むＮ２個の重み乗算器ユニットと、Ｎ個の通信加算器ツリーと、Ｎ個の累算器と、Ｎ個のニューロン活動化関数ユニットとから構成される装置上でエミュレートするために、（ａ）重み及びニューロン出力値を構造にロードするステップと、（ｂ）第１組のニューロン出力値を重み値とＮ２回乗算するステップと、（ｃ）Ｎ個の通信加算器ツリーによって、値と重みの積の部分和をとり、これをＮ個の累算器の部分和記憶ユニットに記憶するステップと、（ｄ）第２組のニューロン出力値を重み値とＮ２回乗算するステップと、（ｅ）Ｎ個の通信加算器ツリーによって、第２組の値と重みの積の部分和をとり、それを、上記第１組の乗算及び部分求和で得られ累算器に記憶されている部分和値に加え、その結果得られた和をＮ個の累算器の部分和記憶ユニットに記憶するステップと、（ｆ）各ニューロンに対するＶ／Ｎ回の部分和がすべて完了するまで、累算器からＮ２回の乗算及び部分求和を続行し、それによって、Ｖ個のニューロン入力のＮ個の最終和を生成するステップと、（ｇ）最終和の値をＮ個のニューロン活動化関数ユニットに入力するステップと、（ｈ）Ｎ個のニューロン活動化関数ユニットによって、Ｎ個のニューロン出力値を生成するステップと、（ｉ）１重み乗算ユニット当り１個のニューロン出力値ずつ、Ｎ個のニューロン出力値をニューロン入力重み乗算ユニットに通信し、そこに記憶するステップと、（ｊ）Ｖニューラル・ネットワーク中の他のニューロンについて、一度にＮ個のニューロン出力値ずつ、本明細書でＴＳＮＡＰ−Ｂサイクルと呼ぶ上記のステップｂないしｉを続行して、その結果、Ｖニューラル・ネットワークをエミューレートするＶ／Ｎ回のＴＳＮＡＰ−Ｂサイクルを得るステップと、（ｋ）ホストによって指定された回数だけ反復が完了するまで、ＴＳＮＡＰ−Ｂサイクルを繰り返すステップとを順次実行する手段が設けられている、請求項２６の装置。
２９．Ｖ＞Ｎで、Ｖが一般に２の累乗でなく、Ｎが２の累乗であるとして、Ｖ個のニューロンを含むニューラル・ネットワークを、Ｎ個のニューロンを有し、Ｎ個の通信加算器ツリーとＮ個の累算器とＮ個のニューロン活動化関数ユニットとから構成される装置上でエミュレートするために、Ｋが、（Ｖ／Ｎ）が分数の場合にシーリング演算子が（Ｖ／Ｎ）の次に大きな整数を生成する、シーリング（Ｖ／Ｎ）に等しいとして、それぞれが、使用されていないニューロン重み記憶ユニット及び出力値記憶ユニットを０の値で埋めた対称構造に対するＫ２個の重み記憶ユニットとＫ個のニューロン出力値記憶ユニットと、さらに１個の乗算器を含んでいる、Ｎ２個の重み乗算ユニットが存在し、Ｖニューラル・ネットワークをエミュレートするためにＫ回のＴＳＮＡＰ−Ａサイクルが実行される、請求項２８の装置。