JPH06203005A - 高速区分化ニューラルネットワーク及びその構築方法 - Google Patents

Abstract

(57)【要約】 【目的】 高速動作で、フィードフォワード制御方式の
区分化された神経方式の回路網とその構築技術を提供す
る。 【構成】 本区分化回路網１０は、上向きのピラミッド
形に積み上げた複数の回路網層１〜５で構成される。こ
の各回路網層１〜５を複数の副回路網ＳＮ１２で構成
し、その各副回路網ＳＮ１２には複数のノードを配置
し、そのノードは完全に又は部分的に相互接続した層状
ニューラルネットワーク配列内に構成する。各副ネット
ワークＳＮ１２の入出力は、「０」又は「１」に限定さ
れた１ビットのデジタル値である。各副ネットワークＳ
Ｎ１２はある与えられたネットワーク層１〜５の中の他
の全ての副ネットワークＳＮ１２から独立しており、従
って、各ネットワーク層１〜５が区分化されている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はコンピュータ処理システ
ムに関し、特に、高速ニューラルネットワークとその構
築技術に関する。

【０００２】

【従来の技術】人工神経回路網（ニューラルネットワー
ク）は、特定方式で相互に接続している大規模な並行ニ
ューロンタイプの要素群であって、その方式は、以下に
限定されるものではないが、光学的な文字認識、パター
ン認識、機械学習、工程管理及び音声認識を行うもので
ある。このニューラルネットワークシステムにおける最
も一般的な構造は、非線形処理要素のネットワークであ
るが、その「ノード」は情報処理チャンネルまたは「重
み」を介して多数の入力と結び付いている。各ノードは
その多数の入力と重みを処理することができると共に、
夫々一つの信号を出力する。このネットワークは多くの
場合、多数の層を備えており、最初の層以外の各層はそ
の前の層の出力を入力として受信し、ネットワークの最
後の層は一般に出力刺激を与える。

【０００３】ニューラルネットワークは、極めて基本的
なレベルにおいて、生物学的神経組織の特徴をシミュレ
ートすることができる。この生物学的神経組織は多くの
利点を備えており、その利点には以下のものが含まれて
いる、即ち、広範な環境に適応し、それを統括し、処理
する能力、リアルタイムで有効に機能するように大規模
並行処理の形式で動作する能力、欠陥に対する許容能
力、或いは回路網自身の内部エラーを処理する能力、及
び例に倣って学習する能力である。ニューラルネットワ
ークにおいて、有益な結果を得るには、事前にトレーニ
ングする必要がある。但し多くの適用例においては、バ
ッチ・バックプロパゲーショントレーニングを一度して
おけば十分である。一旦トレーニングを済ませておけ
ば、その結果として得られた「重み」は保存され、トレ
ーニングではないテストモード或いは「フォワードモー
ド」動作中に、その後の使用のためその重みは修正され
る。

【０００４】最も高度に相互接続したネットワークで
は、ノード数と入力の個数が直線的に増加するにつれて
重みの個数は急速に非直線的に増加する。例えば、もし
完全に相互接続したネットワークの単一層内の入力数と
共にノード数が直線的に増加すれば、重みの個数は入力
数の二乗に比例して増加する。

【０００５】より詳述すれば、例えば、入力数１０個、
ノード数１０個の完全に相互接続した小さなネットワー
ク層内では、重み数は１００個が必要となろう。しか
し、入力数１，０００個、ノード数１，０００個に対し
ては、所要重み数は１，０００，０００個という途方も
ない大きさになる。これではシミュレートするために必
要なハードウェアが巨大化するだけでなく、極めて複雑
なものとなり、更に単一の処理システムで行おうとする
とフォワード制御方式の時遅くなる。

【０００６】

【発明が解決しようとする課題】フォワード制御方式
（例えば、ニューラルネットワークを用いたパターン認
識システム）におけるリアルタイム回路網の作用は、超
高速の単純なハードウェアを使用する場合の作用と同等
であるが、この達成はしばしば困難となる。なぜなら、
数多くのパターン認識を適用するには多数の入力数及び
／又はノード数を要するからである。今日までに開発さ
れた多くのパターン認識システムは、単純な高速ハード
ウェアシステムを用いたものである。更に、入力数が極
端に多い場合は、ニューラルネットワークの真の並行ハ
ードウェアの実現は現実には不可能である。多くのリア
ルタイムパターン認識の応用例では、ニューラルネット
ワークに対して、毎秒数十億回以上の相互接続速度が要
求される。しかし、この様な有効速度で動作するニュー
ラルネットワークは現在のところ入手可能ではない。更
に、これまでに開発されたパターン認識のニューラルネ
ットワークの多くは、高速のパターン認識をハードウェ
アで行える構造にはなっていない。

【０００７】従って、多数の入力数とノード数を用いた
実施方法にそれ自身を適合させると共に、莫大な個数の
重みと物理的な相互接続とを必要としないニューラルネ
ットワークシステム技術が必要とされる。更に、このネ
ットワークのトポロジーは現実的且つ限られた個数のハ
ードウェアで実現可能であるだけでなく、超高速で動作
可能でなければならない。ここに開示するニューラルネ
ットワークシステムは、これらの諸要求に応えるもので
ある。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の発明は、多数のネットワーク層と複
数の副ネットワークを備えたフィードフォワードの区分
化されたニューラルネットワークを提供する。各副ネッ
トワークは多数のネットワーク層の一つの中に配備さ
れ、少くともそのネットワーク層の一つは多数の副ネッ
トワークを含んでいる。多数の副ネットワークを備えた
ネットワーク層の中の全ての副ネットワークは、そのネ
ットワーク層の中で他の副ネットワークとは分離又は区
分されている。この多数のネットワーク層は、ある入力
ネットワーク層からある出力ネットワーク層まで、その
ネットワーク層内の副ネットワークの個数が入力ネット
ワーク層から出力ネットワーク層に向けて減少するよう
に、ピラミッド形に配置されている。実際のハードウェ
アでは、副ネットワークに記憶装置が含まれている。

【０００９】また、上記目的を達成するために、請求項
２記載の発明は、高速のフィードフォワードの区分化さ
れたニューラルネットワークの構築方法を提供する。こ
の方法は次の各ステップを含んでいる。即ち、副ネット
ワークモデルを選択するステップ及び区分化されたニュ
ーラルネットワークがその選択した副ネットワークモデ
ルを適用するステップ（区分化ニューラルネットワーク
が、多数の副ネットワークをその内部に配置した多数の
ネットワーク層を有するように）と、その選択された区
分化ニューラルネットワークをトレーニングするステッ
プと、その一方であるネットワーク層から隣接ネットワ
ーク層に与えられる値が二値信号を含むという制限を課
すステップと、各副ネットワークの入力と出力の値を区
分化されたニューラルネットワークモデル内にマップす
るステップと、そのマップされた副ネットワークの入出
力を記憶装置にプログラムするステップである。

【００１０】

【作用】本発明により、多数の入力とノードを用い、そ
の実施時には実現可能なハードウェアにそれ自身を適合
させ、高速パターン認識を可能にするニューラルネット
ワークシステムが提供される。このシステムは、ここで
は「区分化された」ニューラルネットワークシステムと
称し、上向きのピラミッド形に積み上げた複数のネット
ワーク層を含み、このネットワーク層は複数の「副ネッ
トワーク」で構成されている。各副ネットワーク内には
複数のノードが存在し、そのノードは完全に相互接続し
た層及び／又は部分的に相互接続した層状配列に構成さ
れている。各副ネットワークは複数の入力を含み、以下
に記述する実施例においては、入力数に対してその１／
２の個数の出力を有する。この副ネットワークの入力も
出力も０又は１に限られる１ビットのデジタル値であ
る。いかなる個数の層のいかなる個数のノードであって
も、各副ネットワーク内でモデル化することができる。
更に、副ネットワークの出力数は入力数の１／２以外と
することもできる。

【００１１】最初のネットワーク層は入力ネットワーク
層であり、最後のネットワーク層は出力ネットワーク層
である。その他の全ての中間ネットワーク層は、潜在ネ
ットワーク層である。その各ネットワーク層はいかなる
個数の副ネットワークに関してもモデル化することがで
き、そこでは各副ネットワークは該当するネットワーク
層の中の他の全ての副ネットワークから独立している。
この様にして各ネットワーク層は区分化される。

【００１２】一副ネットワーク当たり入力数Ｎとある与
えられたネットワーク内の副ネットワーク数Ｍに対し
て、このネットワーク層は入力数Ｎ×Ｍを有し、後述す
る実施例においては、出力数は（Ｎ×Ｍ）／２となる。
各ネットワーク層からの出力はその前のネットワーク層
の中の事前に選択しておいた副ネットワークの出力が次
の層の中の一つの副ネットワークに接続されるような形
で、次のネットワーク層の入力となる。後続の各ネット
ワーク層のサイズはその下のネットワーク層、即ちピラ
ミッドの次のネットワーク層に必要な入力数によって決
定される。後続の各ネットワーク層中における入力数、
副ネットワーク層の個数及び出力数はその前の層のもの
より減少（即ち１／２）する。ネットワーク層は、最上
部のネットワーク層内に（例えば）副ネットワークが唯
一個残るまで、その前のネットワーク層の上に積み上げ
られる。かくて、ピラミッド形の、区分化されたニュー
ラルネットワークが構築される。

【００１３】有限個で、技術的に可能な個数の入力と出
力をもって副ネットワークを形成することにより、副ネ
ットワークを例えばＲＡＭ又はＰＲＯＭのルックアップ
テーブルの様な単純な記憶装置で置き換えることができ
る。ネットワークをコンピュータシミュレーションでト
レーニングした後、各副ネットワークの入出力値を記憶
装置にマップし、格納することができる。更に各副ネッ
トワークをその対応する記憶装置で置き換えることがで
きる。一旦副ネットワークがハードウェアの記憶装置で
置き換えられると、これらはフォワードモードにおける
ニューラルネットワークに匹敵する程に使用することが
できる。本システムの速度は高速であるが、その速度
は、一般に、使用する記憶装置のアクセス時間とこのシ
ステムのネットワーク層の層数によって決まる。更に、
物理的な相互接続の個数は相対的に少なくなる。

【００１４】

【実施例】本発明の更に詳細な方法を図解を参照しなが
ら以下に説明するが、同一の参照符号は別の図において
も同一又は類似の構成要素を指示するために用いられて
いる。

【００１５】ニューラルネットワークシステムの一つの
実施例が一般に符号１０で示され、本発明に従って図１
に図示されている。ニューラルネットワークシステム１
０は「多層１」（即ち入力層）、「多層２」、「多層
３」、「多層４」及び「多層５」（即ち出力層）と称す
る五個のネットワーク層を備えたピラミッド形の区分化
ニューラルネットワークである。「多層５」を除いて、
ニューラルネットワーク１０の各層は、多数の副ネット
ワーク「ＳＮ」１２を含み、その各「副ネットワーク」
は入力１６個と出力８個から構成されていると仮定して
おく。各「副ネットワーク」はＰＲＯＭの様な記憶装置
から成り、各副ネットワークの出力数は入力数の１／２
である。例えば「多層１」内の一対の副ネットワークの
出力が「多層２」の同じ副ネットワークに与えられるの
に対し、「多層２」の一対の副ネットワークの出力は
「多層３」の同じ副ネットワークに与えられ、「多層
３」の一対の副ネットワークの出力は「多層４」の同じ
副ネットワークに与えられ、また「多層４」の副ネット
ワーク１２の出力は「多層５」の単一の副ネットワーク
の入力となる（後述するように、システム１０において
は副ネットワーク１２の出力のペアリングは予め決めら
れている）。

【００１６】ネットワーク１０はフォワードモードでの
み使用され、トレーニングは個々のコンピュータで行わ
れ、そのトレーニング結果は副ネットワーク、より詳細
には使用した記憶装置にプログラムされる。かくして、
実施に当たっては、ネットワーク全体は多数の副ネット
ワークで構成され、その各副ネットワークは例えば、入
力１６個と出力８個で構成されている。最初の層の各副
ネットワークの出力８個は一度に１６ビットずつまとめ
て第二の層の副ネットワークの入力となる。この構成が
最後の層まで繰り返され、そこでその出力８個が全ネッ
トワークの結果となる。

【００１７】ニューラルネットワークシステム１０は、
パターン認識システムの様なコンピュータ処理システム
内に配備され、コンピュータデータバス１６から直接デ
ータを受取る様に接続された複数の入力ラッチ１４を介
して、「多層１」への入力情報を受信する。例として
は、３２個の８ビットの入力ラッチ（タイプ７４ＡＬＳ
２７３）を入力２５６個のニューラルネットワークに採
用することができる。予め対にしておいたラッチからの
情報は「多層１」内の対応する副ネットワークに非同期
的に送り込まれる。適切な有効回線ＥＮ［０…３１］を
活性化することにより、入力ラッチ１４は共通データバ
スを介して同期的にロードされる。ピラミッド形のニュ
ーラルネットワーク構造の各副ネットワークは、ここで
も同様に入力１６個と出力８個を有するＡＭ２７５１２
６４ｋのＰＲＯＭとして実施可能である。ニューラル
ネットワーク（即ち「多層５」）の出力は出力バッファ
１８で緩衝され、最終的にコンピュータデータバス１６
に与えられる。バッファ１８は集積回路型の７４ＡＬＳ
２４４で構成することができる。

【００１８】更に別の例として、本発明に従って副ネッ
トワーク１２の一実施例を図２に示す。この実施例にお
いては、三個のノード層が示されている。入力ノード層
２０は複数のノード２２を含み、それらの各々は副ネッ
トワーク１２に対する１６個の入力を受取る。入力ノー
ド層２０の出力は中間ノード層２４に与えられ、その後
者の出力は出力ノード層２６に入力され、ノード層２６
の出力が副ネットワーク１２の出力になる。副ネットワ
ークに関する本実施例は完全に相互接続した副ネットワ
ークを構成しているが、これは、各層の各ノードが同一
の入力を受取り、更にその各ノードが次のノード層の各
ノードに出力するからである。

【００１９】図３に示すように、各内部ノード２２は一
つの非線形加算手段を成している。そのノードは各入力
（ｘ）に夫々の重み（ｗ１、ｗ２、…ｗｎ）を乗じて合
計し、次いでその合計値を用いて非線形変換を行う。こ
の非線形変換は正、負両無限遠位置で漸近的に有界であ
るという特性を有し、更に又単調増加という特性を有し
ている。上記の特性を持つ普通の関数は幾つか存在し、
その一つにＴａｎｈ（ｘ）関数がある。当該技術分野に
精通した者であれば、上述の特性を備えた関数が他にも
あり得ることが分かるであろう。

【００２０】図１に関して最初に言及したように、本ネ
ットワークは記憶装置の層で構成されており、その内部
の各記憶装置の入力数は１６、出力数は８である。例と
して、図４にＡＭ２７５１２型ＰＲＯＭ装置のピン接続
を示す。再述するが、これ以外の記憶装置も使用するこ
とができる。各記憶装置は一つの副ネットワークと見な
せるが、これは（ここで説明する実施例では）図２に示
す様に１６個の入力及び８個の出力のノードに相当す
る。

【００２１】次に図５を参照しながら、本発明に従って
ニューラルネットワークの構築について次に説明する。
ネットワークのトレーニング中に、そのネットワークは
区分化ネットワークとしてモデル化されるが、その入力
は例えば１６個が同時に受取られ、それらは対応する個
々の副ネットワークに渡される。即ち、符号３０の「区
分化ネットワークとしてのフィードフォワードネットワ
ークのモデル化」である。この副ネットワークは入力数
１６、出力数８の完全に相互接続した多層ネットワーク
としてモデル化される。市販のどの様なコンピュータシ
ミュレーション技術であっても、ネットワークトレーニ
ングに使用することができるが、唯ある一定の制限が課
せられる。即ち、符号３２の「コンピュータシミュレー
ションを使用し、制限を課しながらネットワークをトレ
ーニングする」ということである。明言すれば、あるネ
ットワーク層から次のネットワーク層に送られる値が二
進法の値、即ち０又は１であるように、トレーニングが
行われる。副ネットワークの内部ではこの条件は適用さ
れないので、トレーニング期間中、副ネットワークの内
部状態は連続した実数値を取り得る。

【００２２】ネットワークトレーニングの完了後は、各
副ネットワーク上に完全な入力／出力マッピングが行わ
れる。即ち、符号３４の「各副ネットワークの完全な入
力／出力マップの作成」である。副ネットワークの完全
な入力／出力マップが得られると、内部状態は最早不要
となり、入力／出力関係を選択した記憶装置内で直接プ
ログラム化することができるようになる。即ち、符号３
６の「記憶装置内における入力／出力の関係のプログラ
ム化」である。

【００２３】本明細書に示したネットワークの場合、２
５６個の二進法入力がある（図１参照）。この二進法入
力はコンピュータインタフェースから一度に１バイトづ
つラッチされる。これら２５６個の入力は、次に、図１
中で「多層１」とラベル付けされた１６入力層の副ネッ
トワークの記憶装置に送られる。各１６入力副ネットワ
ーク記憶装置は、８個の出力を生成して次のネットワー
ク層に送る。それらの出力は入力として次のネットワー
ク層に非同期的に送られる。それ故、次々に続く各ネッ
トワーク層は、その手前の層の半分に相当する個数の記
憶装置を内蔵するから、その結果、図１中で「多層２」
とラベル付けされた第二の層は８個の記憶装置を備えて
いなければならない。これと同様のことが、ピラミッド
構造の最後の層、つまり「多層５」が一個記憶装置を持
つことになるまで続けられる。その出力層は８個の出力
を有しており、それによって当該ネットワークは２５６
通りの決定又はクラス分けを行う事が可能になる。

【００２４】２５６個の入力全部が一旦ネットワークの
入力にラッチされると、そのネットワークの出力はある
層から次の層に至る記憶装置の伝達遅延時間分だけ遅れ
る。例えば図４に示す記憶装置の場合、入力／出力遅延
時間は３０ｎｓである。従って、５層の場合、全ネット
ワークの入力／出力遅延時間は約１５０ｎｓである。

【００２５】各副ネットワークは１１個の潜在的層内ノ
ードを有し、入力数１６、層数３、出力数８の完全に相
互接続したネットワークと見なしても妥当であるから、
各副ネットワークモデルの相互接続数は２６６である。
ネットワーク全体は３１個の副ネットワークで構成され
るから、副ネットワーク間の相互接続数の合計は２４０
になる。従って、等価相互接続数の合計は３１×２６４
＋２４０＝８，１８４になる。これは、毎秒当たり５４
０億相互接続数という驚異的な速度に相当し、従来のニ
ューラルネットワーク構成で達成可能な速度の少くも１
０倍に匹敵する。

【００２６】本発明はまた請求項１及び２で明確には列
挙しなかった次の実施例を含む。 （ａ）前記複数の副ネットワークの各々が記憶装置とし
てハードウェアの形で実施されるところの請求項１のフ
ィードフォワード区分化ニューラルネットワーク。

【００２７】（ｂ）前記記憶装置の各々がＲＡＭ装置又
はＰＲＯＭ装置であるところの（ａ）項のフィードフォ
ワードの区分化ニューラルネットワーク。 （ｃ）前記記憶装置の各々がＭ個の入力とＮ個の出力、
但しＭ＞Ｎ、を有するところの請求項１のフィードフォ
ワードの区分化ニューラルネットワーク。 （ｄ）（ｃ）項の特徴を持つフィードフォワード区分化
ニューラルネットワークであって、前記記憶装置の各々
の出力数Ｎが入力数Ｍの半分、すなわちＮ＝Ｍ／２であ
り、従って、各ニューラルネットワーク層の大きさがそ
の手前のニューラルネットワーク層の大きさの半分であ
る前記ニューラルネットワーク。 （ｅ）前記記憶装置が１６個の入力と８個の出力を有す
るところの（ｄ）項の特徴を持つフィードフォワードの
区分化ニューラルネットワーク。 （ｆ）前記副ネットワークの各々が完全に相互接続され
た又は部分的に接続されたニューラルネットワークであ
るところの請求項１のフィードフォワードの区分化ニュ
ーラルネットワーク。 （ｇ）（ｆ）項の特徴を持ち、フィードフォワードの区
分化ニューラルネットワークであって、前記副ネットワ
ークの各々が複数の副層を有し、その副層の各々が複数
の処理用ノードを有するネットワーク。 （ｈ）請求項２の構築方法であって、前記プログラム化
ステップ（ニ））が、各副ネットワークに対して、前記
ステップ（ハ）でマップされた副ネットワークの入力／
出力を記憶装置内でプログラム化することを含む方法。 （ｉ）（ｈ）項の特徴を持つ構築方法であって、ステッ
プ（イ）でモデル化された前記区分化ニューラルネット
ワークが、多数のネットワーク層を持つニューラルネッ
トワークモデルを含み、各ネットワーク層が偶数個の前
記副ネットワークを持つネットワーク。 （ｊ）（ｉ）項の特徴を持つ構築方法であって、前記選
択ステップ（イ）が更に区分化ニューラルネットワーク
モデルの選択、即ち、そのモデルの各ネットワーク層の
入力数、副ネットワーク数及び出力数夫々の総数がいず
れも、それに隣接するネットワーク層の入力数、副ネッ
トワーク数及び出力数夫々の総数の半分になるようなモ
デル選択を含む方法。 （ｋ）（ｇ）項の特徴を持つ構築方法であって、前記ト
レーニングステップ（ロ）が、ステップ（イ）で選択し
た区分化ニューラルネットワークをコンピュータシミュ
レーションを用いてトレーニングすることを含む方法。

【００２８】

【発明の効果】以上説明したように、本発明のニューラ
ルネットワーク及びその構築方法によれば、今日のニュ
ーラルネットワークに関する従来技術では対応すること
ができない速度にも対応可能になり、かつ、設計の簡易
さが失われることはない。これは、本明細書ではネット
ワークの「区分化」という用語を用いたが、ネットワー
クを完全には相互接続しないことによって実現される。
それに加え、ネットワークを完全には接続しないことに
より、完全に相互接続したニューラルネットワークとし
てのハードウェアでは実際上実現不可能な程、大きな入
力数のニューラルネットワークまでこの設計を拡張する
ことができる。このニューラルネットワークの速度は、
モデル化されたネットワーク層の層数と、使用する記憶
装置の速度によってのみ制限される。

【図面の簡単な説明】

【図１】本発明の実施例の区分化ニューラルネットワー
クの説明図である。

【図２】図１の区分化ニューラルネットワークで使用す
るための副ネットワークの説明図である。

【図３】図２の副ネットワーク内の一個のノードの説明
図である。

【図４】図１のニューラルネットワークのための本発明
に基づくＰＲＯＭ副ネットワークの説明図である。

【図５】本発明に基づくニューラルネットワークの構築
技術のフローチャートである。

【符号の説明】

１０ ニューラルネットワークシステム １２ 副ネットワーク １４ 入力ラッチ １６ コンピュータのデータバス １８ 出力バッファ ２０ 入力ノード層 ２２ ノード ２４ 中間ノード層 ２６ 出力ノード層

Claims (2)

【特許請求の範囲】
1. 【請求項１】 フィードフォワードの区分化ニューラル
   ネットワークであって、 多数のネットワーク層と複数の副ネットワークを含み、 前記各副ネットワークは前記多数のネットワーク層の一
   つに内在し、 前記多数のネットワーク層の少くとも一つが多数の副ネ
   ットワークを備え、更に前記ネットワーク層の全てが少
   くとも一つの副ネットワークを具備しており、 前記ネットワーク層の各々の内部の全ての副ネットワー
   クが前記ネットワーク層内の他の副ネットワークと区分
   された多数の副ネットワークを有し、 前記多数のネットワーク層が入力ネットワーク層から出
   力ネットワーク層に向けてピラミッド形式に構成され、 前記多数のネットワーク層内の副ネットワークの個数は
   前記入力ネットワーク層から前記出力ネットワーク層に
   向けて減少することを特徴とするニューラルネットワー
   ク。
2. 【請求項２】 フィードフォワードの区分化ニューラル
   ネットワークの構築方法であって、 （イ）副ネットワークのモデル及びこの副ネットワーク
   を用いた区分化ニューラルネットワークのモデルを選ぶ
   ステップであって、前記区分化ニューラルネットワーク
   のモデルは多数の副ネットワークが配置されている多数
   のネットワーク層を有するモデルであるステップと、 （ロ）前記（イ）ステップで選択した区分化ニューラル
   ネットワークをトレーニングすると共に、その一方で各
   ネットワーク層から隣接するネットワーク層に送る値が
   二値のバイナリー信号を含むことを要求するステップ
   と、 （ハ）前記（ロ）ステップを次々に完了させ、前記区分
   化ニューラルネットワークのモデルの内部に各副ネット
   ワークの入力値と出力値をマップするステップと、 （ニ）各副ネットワークに対して、前記（ハ）ステップ
   においてマップされた副ネットワークの入力／出力をバ
   イナリー装置内でプログラム化するステップと、を含む
   ことを特徴とする区分化ニューラルネットワークの構築
   方法。