JPH06266688A - 大規模情報認識回路 - Google Patents

Abstract

(57)【要約】 【構成】 ニューラルネットワークからなる複数の認識
処理ユニットＮＮを有し、その複数ユニットＮＮに対し
個別に教師信号と処理対象情報信号とを供給し、かつ出
力信号を得るようにすることで個別学習を行わせる。そ
の後、切替えスイッチＳＷにより複数ユニットＮＮを相
互接続し、大規模情報の認識機構を構築する。また、教
師なし学習型及び教師あり学習型の組合せにあたって
は、前者において複数段のクラスタリング処理によるカ
テゴリ分類を採用する構成とする。更に、多数ユニット
を限られた数のネットワークハードウエア資源に対する
必要データの入替えによって実現する。 【効果】 従来実現することができなかった、多数の学
習データにより多数の認識ルールを自動的に獲得する大
規模情報認識装置を実現できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データや音声デー
タなどの単体情報量が大きく、また冗長的な表現形式を
持つ大規模な情報を扱う大規模情報認識装置に関する。

【０００２】

【従来の技術】従来の大規模情報処理装置は、通常ノイ
マン型計算回路を基礎とするＣＰＵを有する計算機で構
成されていた。そして、大規模な情報処理に対応するた
めに、ＣＰＵ自体を高速化したり、複数のＣＰＵを並列
につなぎ同時に使用することにより高速化をはかってい
た。

【０００３】しかし、これらの装置は情報の認識基準を
自ら学習する手段がなく、すべて人間がプログラムとし
てあらかじめ与える必要があった。ところが、大規模な
データを認識するためには、数多くの認識ルールを相矛
盾することなく与えねばならず、大規模情報の認識処理
の実現は実質的に不可能であった。

【０００４】また、自動的に認識基準を学習する装置と
してニューラルネットワークが存在することが知られて
いる。このネットワークは、入出力の関係を例えばシグ
モイド関数のような形で与えた多くのニューロンから構
成され、これらのニューロンは適当な重み係数を介して
階層的に結合されている。そして、この回路全体の入出
力信号の関係が入力信号−教師信号の関係と近似的等し
くなるように、前期の重み係数を調節する。調整方法と
しては、例えば、バックプロパゲーション手法が知られ
ており、入力信号と教師信号を繰り返し与えることによ
り、自動的に認識基準を獲得していく。

【０００５】しかし、従来のニューラルネットワーク
は、それが、ソフトとして計算機上に実現されたもので
あれ、アナログまたはデジタル回路でハードとして実現
されたものであれ、回路全体の入出力信号間の関係を一
体として学習するものであった。したがって、大規模な
データを学習し数多くの認識ルールを得ようとすると、
飛躍的に学習に要する繰り返し回数が増大するため、ニ
ューラルネットワークによってもやはり大規模情報の認
識処理の実現は不可能であった。

【０００６】

【発明が解決しようとする課題】以上述べたように、従
来の大規模情報認識装置は、大規模なデータは扱えるも
のの認識ルールを設定することが困難なノイマン型の認
識装置、または、認識ルールは自動的に学習するものの
大規模なデータを取り扱うことが困難な一体型ニューラ
ルネットワークであった。

【０００７】本発明は上記実情に鑑みてなされたもの
で、その目的とするところは大規模情報に容易に対応す
ることができる大規模情報認識装置を提供することにあ
る。

【０００８】

【課題を解決するための手段】本発明の一態様に係る大
規模情報認識装置の基本的構成は、ニューラルネットワ
ークからなる複数の認識処理ユニットと、その複数の認
識処理ユニット各々に対し個別に教師信号を供給する複
数の教師信号伝送路と、上記複数の認識処理用ユニット
各々に対し個別に処理対象データを供給する複数の処理
対象データ伝送路と、上記複数の認識処理用ユニット各
々の出力信号を個別に伝送する複数の出力信号伝送路
と、上記複数の出力信号伝送路各々を上記複数の処理対
象データ伝送路のうちの少なくとも一つと複数の外部送
出伝送路のうちの少なくとも一つとに切替え接続する切
替え手段とを備えていることを特徴とする。

【０００９】また、本発明の別態様に係る大規模情報認
識装置の基本的構成は、処理対象データについて複数段
の教師なし学習型ニューラルネットワークによりその概
分類を行うカテゴリ分類装置と、そのカテゴリ分類装置
の最終段出力として決定されるカテゴリ分類毎に上記処
理対象データについて教師あり学習型ニューラルネット
ワークにより最終的な情報認識を行うカテゴリ別認識装
置とを備えていることを特徴とする。

【００１０】本発明の更に別の態様に係る大規模情報認
識装置の基本的構成は、少なくとも一つの教師なし学習
型ニューラルネットワークからなり、かつ所定の教師な
し学習型用のネットワーク構造情報が設定されることに
よりその機能が決定される第１の認識処理手段と、少な
くとも一つの教師あり学習型ニューラルネットワークか
らなり、かつ所定の教師あり学習型用のネットワーク構
造情報が設定されることによりその機能が決定される第
２の認識処理手段と、上記教師なし学習型用及び教師あ
り学習型用のネットワーク構造情報を記憶する第１の記
憶手段と、上記第１、第２の認識処理手段における処理
対象情報を記憶する第２の記憶手段と、上記第１、第２
の認識処理手段の切替えと上記第１、第２の記憶手段か
らの設定情報の切替えとを行うことにより、複数種の認
識処理の実行を実現させる制御手段とを備えていること
を特徴とする。

【００１１】

【作用】本発明によれば、それぞれ所定の機能を分担す
る複数のニューラルネットワークユニットを個別に学習
させることができ、それらの組合わせによって総合的な
認識処理を行うようになっていることから、従来実現す
ることができなかった、多数の学習データにより多数の
認識ルールを自動的に獲得する大規模情報認識装置を実
現することができる。また、このルール獲得に要する反
復計算回数も現実的回数である。さらに、各ニューラル
ネットワークユニットは通常数十程度のニューロンから
成るので、その結合回路の数は実現可能な数となり、さ
らに、ユニット間の結合回路に関しても、各々のユニッ
トの入力信号と出力信号ラインから構成されているの
で、容易に実現可能な回路数であり、従来大規模ニュー
ラルネットワーク回路で問題となっていた結合回路数の
爆発の問題も回避できる。

【００１２】そして、複数段のクラスタリング処理によ
るカテゴリ分類を採用した場合には、各最終分類カテゴ
リに属する学習データ数を十分絞っておけば、階層構造
型のニューラルネットワーク構成を有するカテゴリ別認
識装置による学習はほぼその収束が保証され、実用的な
エンジニアリング負荷で、認識システムを構成すること
が可能になると共に、大規模データ群の適切かつ高速な
認識・分類が実現されることとなる。

【００１３】また、限られた数のネットワークハードウ
エア資源をこれに対するデータの入替えによって多数の
ネットワークとして利用する思想によれば、多数ニュー
ラルネットワーク処理を最低限の数の実処理装置で実現
でき、大規模データ認識の各分野への実用的な応用を可
能とする。さらに、１チップ化を考えた場合、ニューラ
ルネットワークハードウエア素子数を増やすことなく大
規模ニューラルネットワークが構成できるのでニューラ
ルネットワーク装置に必要なスペースを削減することが
でき、結線数も少なくて済むのでニューラルネットワー
ク装置としての信頼性の向上が期待でき、ニューラルネ
ットワークハードウエア素子とニューラルネットワーク
データ保存用ＲＡＭ間のデータ転送も、同一チップ上に
構成された内部データバスを介して行うことができるの
で、データの高速転送が可能となり、ニューラルネット
ワーク装置の計算時間の短縮化が図れる。また、これら
の素子を同一のチップ上に構成するためにハードウエア
素子としての信頼性も向上することとなる。

【００１４】

【実施例】以下に本発明の実施例について図面を参照し
つつ説明する。

【００１５】図１は本発明の一実施例に係る大規模情報
認識装置であるニューラルネットワークボードの構成を
示すブロック図、図２は図１に示す装置を組込んだ画像
認識装置の構成を示すブロック図、図３はその動作の一
例を示す説明図である。

【００１６】図１に示す装置は、複数個のニューラルネ
ットワークユニットＮＮにより大規模情報用として構築
されたもので、それぞれが独立に学習データと教師信号
とを入力し、各自において個別に学習可能とされてい
る。

【００１７】各ユニットＮＮ間には切替えスイッチＳＷ
が接続されており、各ユニットＮＮの出力端はその一方
の入力端に接続され、他方の入力端には学習データが供
給されるようになっている。

【００１８】図１（ｂ）では各ユニットＮＮとスイッチ
ＳＷとを拡大して示しており、同図（ａ）では入出力ラ
インが１本、対応的にスイッチが１個として示されてい
る。しかし、実際には同図（ｂ）に示すように、各ユニ
ットＮＮは複数本の入出力ラインを備え、スイッチＳＷ
はその入出力側に位置するユニットＮＮの出力ラインあ
るいは入力ラインの数に対応する個数だけ設けられる。

【００１９】学習の際には、各切替えスイッチＳＷがａ
側に設定され、各ユニットＮＮに学習データならびに教
師データを与え、各個別の出力信号を見て各個で独自の
出力信号が生成される収束状態に至るまで学習を行う。
各ユニットＮＮが収束すると、全ての切替えスイッチＳ
Ｗをｂ側に設定し、各個の機能の組合わせからなる大規
模ニューラルネットワークボードとして構築する。

【００２０】なお、入出力ライン、切替えスイッチ等は
ハードウエア的表現であるが、実際には計算機上のソフ
トウエアで構成されるものである。

【００２１】このように構成されるニューラルネットワ
ークボードを画像認識制御装置に適用した場合に図２に
示すような構成とされる。

【００２２】この図において、まず、テレビカメラ１０
１により画像信号を得る。この画像信号はＮＴＳＣ信号
であるので、画像信号取り込みボード１０２によりデジ
タル信号に変換する。画像処理ボード１０３は、このデ
ジタル信号を用いて対象物の特徴抽出を行うもので、エ
ッジ検出や画面全体の明暗、重心の位置などを求めるこ
とができる。この結果を入力信号として大規模ニューラ
ルネットワークボード１０４は、学習した認識基準に応
じて対象物を認識・判断する。この結果を制御演算ボー
ド１０５に出力する。制御演算ボード１０５は、予め与
えられたロジックに従い制御信号を出力する。

【００２３】次に、画像処理ボード１０３の働き及び大
規模ニューラルネットワークボード１０４の働きについ
て、図３を用いて詳細に説明する。

【００２４】同図（ａ）はカメラ１０１に映った元の画
像である。デジタル化によって多少劣化はあるものの、
ほぼ同等の信号を画像処理ボード１０３は受け取る。こ
の信号に対し、エッジ検出を画像処理ボード１０３に命
令したときの画像処理ボード１０３の出力を同図（ｂ）
に示す。この信号に対し、例えば山の高さを判定するよ
うに学習した大規模ニューラルネットワークボード１０
４の出力は同図（ｃ）に示すように“高い山”である。
この判断結果は、学習時の学習データと教師データに依
存して任意に変えられる。

【００２５】このようなニューラルネットワークボード
１０４の判断機能によれば、人の表情を判断し、感情を
類推することも可能となる。この場合には例えば次のよ
うな学習を行わせる。例として顔全体の画像から目、
眉、口を抽出し、その表情判断を行う場合を考える。

【００２６】各ユニットＮＮの役割分担は、例えば、Ｎ
Ｎ11が顔全体から目の抽出、ＮＮ21が目の位置・大きさ
補正、ＮＮ31が目の緊張パターン検出、ＮＮ12が顔全体
からの眉の抽出、ＮＮ22が眉の位置・大きさ補正、ＮＮ
32が眉の緊張パターン検出、ＮＮ13が顔全体の画像から
の口の抽出、ＮＮ23が口の位置・大きさ補正、ＮＮ33が
口の緊張パターン検出、をそれぞれ担うものとする。

【００２７】このような場合、ユニットＮＮ11の学習デ
ータとしては顔全体の映った画像データ、教師データと
しては目を示唆するデータを与え、その出力が目を示す
ようになるまで、あらゆるパターンを与えて学習させ
る。これにより、ユニットＮＮ11は目の形、他の部分と
の位置的関係等を含む総合的特徴検出能力を内包したこ
ととなり、人間が見て判断するときのように顔全体の中
から目を特定するようになる。

【００２８】ユニットＮＮ21の学習データとしては各種
位置に存在する各種の大きさの目を示すパターン（つま
り、システム実使用時にユニットＮＮ11が出力すると予
想される各種のパターン）を与え、教師データとしては
対応するパターンの位置及び大きさ補正後のパターンを
与え、学習を繰返す。これにより、ユニットＮＮ21は、
やがて、あらゆる位置に存在するあらゆる大きさの目を
一定の位置・一定の大きさに補正した目のパターンを出
力するようになる。

【００２９】ユニットＮＮ31の学習データとしては位置
・大きさが定まっているが形状において様々の目のパタ
ーン（すなわち、ユニットＮＮ21から出力されると予想
される各種のパターン）を与え、教師データとして、対
応するパターンが緊張パターンか否か（「１」Possitiv
e or「０」Negative）のいずれであるかを示すデータを
与え、「１」、「０」の答えが一定の率で正解するよう
になるまで（例えば、人が見ても緊張しているのか否か
の判別が難しい場合を除いて正答するようになるまで）
学習を繰返させる。

【００３０】眉や口についても同様である。要約する
と、ユニットＮＮ12にはあらゆる顔全体の映った画像デ
ータ（学習データ）、その眉を示唆する画像データ（教
師データ）を与え、ユニットＮＮ22には各種位置に存在
する各種の大きさの眉を示すパターン（学習データ）、
その位置・大きさを定めた眉のパターン（教師デー
タ）、ユニットＮＮ32には位置・大きさが定まっている
が形状が様々の眉のパターン（学習データ）、対応する
パターンが緊張パターンか否か（「１」Possitive or
「０」Negative）のいずれであるかを示すデータを与
え、それぞれ学習させることとなる。

【００３１】また、ユニットＮＮ13にはあらゆる顔全体
の映った画像データ（学習データ）、その口を示唆する
画像データ（教師データ）を与え、ユニットＮＮ23には
各種位置に存在する各種の大きさの口を示すパターン
（学習データ）、その位置・大きさを定めた口のパター
ン（教師データ）を与え、ユニットＮＮ33には位置・大
きさが定まっているが形状が様々の口のパターン（学習
データ）、対応するパターンが緊張パターンか否か
（「１」Possitive or「０」Negative）のいずれである
かを示すデータを与え、それぞれ学習させることとな
る。

【００３２】そして、それぞれの学習が収束したら各切
替えスイッチＳＷ(i-1)jをｂ側に設定し、実際に使用す
ると、各ユニットＮＮijの連繋機能により最終的な判断
が得られるようになる。

【００３３】以上説明したように、従来実現することが
できなかった、多数の学習データにより多数の認識ルー
ルを自動的に獲得する大規模情報認識装置を実現するこ
とができる。また、このルール獲得に要する反復計算回
数も現実的回数である。さらに、各ニューラルネットワ
ークユニットは通常数十程度のニューロンから成るの
で、その結合回路の数は実現可能な数である。また、ユ
ニット間の結合回路に関しても、各々のユニットの入力
信号と出力信号のバスから構成されているので、容易に
実現可能な回路数であり、従来大規模ニューラルネット
ワーク回路で問題となっていた結合回路数の爆発の問題
も回避できる。

【００３４】次に、図４は本発明の大規模情報認識装置
の学習処理の構成を示すフローチャート、図５は同装置
の認識処理の構成を示すフローチャート、図６は本装置
の基本構成を示すブロック図、図７はカテゴリ分類装置
を構成する教師なし学習型ニューラルネットワークの構
成処理におけるポインティングデバイスを用いた各段の
クラスタ指定処理を示す説明図、図８はカテゴリ分類装
置を構成する教師なし学習型ニューラルネットワークの
分類処理を示す説明図、図９はカテゴリ別認識装置を構
成する教師あり学習型ニューラルネットワークの構成を
示す説明図、図１０は本実施例の比較対象となる従来の
大規模情報認識処理の基本思想を示すブロック図、図１
１は従来の大規模情報認識装置の一例としてニューラル
ネットワーク組合わせによる文字認識装置の構成を示す
ブロック図、図１２は従来の教師なし学習型ニューラル
ネットワークと教師あり学習型ニューラルネットワーク
との組合わせ構成を示す説明図である。

【００３５】本実施例のシステムは最終的には処理対象
データを、そのデータ自身がもつ何らかの特徴的性質に
基づいて認識・分類することが目的となるが、先にも述
べたように、その特徴的性質を効率的に圧縮表現できる
特徴量指標が明確に知られていない場合、その分類は、
分類するカテゴリ毎の代表的データによって特徴づけら
れることになる。すなわち、各カテゴリ毎に集められた
代表的データから、その背後に存在する分類法則を獲得
し、新たに得られたデータを適切にカテゴリ分類できる
ような機構を構成することが必要になる。

【００３６】そこで、図６を参照しつつ基本システム構
成について説明すると、まず、本実施例に係る大規模情
報認識装置はカテゴリ分類装置４０１とニューラルネッ
トワーク切替え装置４０２とカテゴリ別認識装置４０３
とから大略構成される。カテゴリ分類装置４０１は処理
対象データについて複数段の教師なし学習型ニューラル
ネットワークによりその概分類を行うものである。例え
ば、ひらがな・漢字・カタカナの手書き文字認識を考え
ると、カテゴリ分類装置４０１は、認識対象文字がそれ
らの文字属性のうちのいずれであるかを認識する。カテ
ゴリ別認識装置４０３はそれらの文字属性別に文字種
（つまり、ひらがなであれば五十音「あ」、「い」、
「う」、…のいずれであるか）の認識機能を持つ複数の
ニューラルネットワーク４０３１，４０３２，…，４０
３ｎを持ち、ニューラルネットワーク切替え装置４０２
はカテゴリ分類装置４０１の最終段出力であるカテゴリ
データに従って、動作させるニューラルネットワークを
選択し、その選択されたニューラルネットワークに処理
対象情報を供給する機能を有している。

【００３７】図４のフローチャートはカテゴリ分類装置
４０１及びカテゴリ別認識装置４０３の構成手順を記述
したものに相当する。

【００３８】まず、ステップ２０１において、ある段に
生じたクラスタに対応する学習データの教師なし学習型
ニューラルネットワークによる分類を行うもので、現在
の分類段をｉとしたとき、ステップ２０１ではｉ−１段
目に生じている複数クラスタの一つについて分類を行う
こととなる。次いで、ステップ２０２においては、全て
のクラスタに対応する分類が完了したかどうか、換言す
れば、未分類のクラスタがあるかどうかの判断を行う。
未分類のものが残っている場合にはステップＳＴ２０１
へ戻る。このようにして、一段分のクラスタ分類がステ
ップ２０１，２０２の繰返しによって行われる。そし
て、ステップ２０２の判断の結果、対象となっている段
のクラスタすべてについて分類が完了した場合には、ス
テップ２０３で新たなクラスタに対応する学習データ数
は適切か否かが判断される。つまり、クラスタ分類を換
言すれば後の教師あり学習型ニューラルネットワークの
学習すべきデータの生成処理に相当し、その学習データ
数として適切かどうか、更に言ってしまえばクラスタ数
が分類されるべきカテゴリ数以上となったかいなか、あ
るいは学習データ数が多すぎはしないか、ということを
判断する。この判断の結果、例えば、学習データ数が適
切な数でない場合にはステップ２０６へ移って更に下位
の段を設定する。その後、ステップ２０１へ戻る。

【００３９】このようにして教師あり学習型ニューラル
ネットワークの学習データ数として適当な数のクラスタ
分類がなされるまで、ステップ２０１〜２０３を繰返す
こととなり、各カテゴリごとの代表データとして与えら
れた多数の学習データは、カテゴリ分類装置４０１内の
各段において教師なし学習型ニューラルネットワークに
より、いくつかのクラスタに分類されることとなる。こ
の際の教師なし学習型ニューラルネットワークの学習則
としては、Kohonennなどにより提案されているＬＶＱ法
(T.Kohonen:Self-Organization and Associative Memor
y(3rd Ed.),pp199-209,Springer-Verlag(1989)）をはじ
めとする代表的な学習法やその改良法などが利用可能で
ある。

【００４０】クラスタの決定にあたっては、このような
従来提案型のアルゴリズムをそのまま流用しても良い
が、この決定自身をシステム構築者が受け持つことも可
能である。特に認識の対象となるプロセスが、人間が通
常行うようなものがある場合には、クラスタリング処理
にシステム構築者が積極的に係わることが、望ましいシ
ステムを構成するために必要となる。図７は、マウスや
タッチペンなどのポインティングデバイスを用いたクラ
スタ設定の様子を示した図である。同図（ａ）に示すよ
うにマウスポインタによりエリアを指定すると、同図
（ｂ）に示すようにそのエリア内が同一クラスタとして
登録される。このようなポインティングデバイスによる
柔軟なクラスタ設定により、全体的な認識処理にとって
効果的なカテゴリ分類が可能となる。

【００４１】カテゴリ分類装置４０１における最初の処
理段以外の各段では、前段で獲得されたクラスタ毎にそ
の各クラスタに属する学習データのみに対して、さらに
教師なし学習型ニューラルネットワークによりクラスタ
分類が行われる。この複数段にわたるクラスタ分類の様
子を示したのが図８である。前述したようなクラスタ分
類を繰返すことで、最終的には、学習データに対するク
ラスタ分類のツリー構造が、教師なし学習型ニューラル
ネットワークの処理を介して得られることになる。例え
ば、図８のデータαに対する分類アドレスは、（２，
４，…，ｌ）（第ｉ要素が、第ｉ段における所属クラス
タ番号を表す）で与えられる。よって、この複数段にわ
たる教師なし学習型ニューラルネットワークの分類機能
から構成されるカテゴリ分類装置ｌは、入力として与え
られたデータに対して、その分類カテゴリを所属クラス
タのディレクトリパス情報の形で最終段にて出力する。

【００４２】次に、最終段で得られた分類カテゴリ（デ
ィレクトリパスの数だけ存在）毎の学習データを、今度
は、カテゴリ別認識装置４０３により、最終的な認識結
果との詳細な対応関係が学習され、最終的な認識結果と
の詳細な対応関係が学習される。これはステップ２０
４，２０５の処理である。ステップ２０４では一つの学
習データについての詳細分類を行い、その収束後、ステ
ップ２０５で未処理学習データが残っているか否かが判
断される。その判断の結果、未処理学習データがある場
合にステップ２０４に移り、残っている学習データのう
ちの一つについて学習を行わせる。このようにして全て
の学習データについて詳細分類が完了するとシステムの
完成となる。

【００４３】カテゴリ別認識装置４０３の各ニューラル
ネットワークの構成イメージを示したものが図９であ
る。入出力形態は、通常の階層構造型ニューラルネット
ワークの学習形式そのままであり、入力は、画像データ
（全画素分入力ユニットを用意しても良いし、何らかの
入力情報の圧縮を行うことも可能）、出力は、その入力
データに対する認識結果（入力と同様、認識・分類項目
ごとに出力ユニットを用意しても良いし、何らかのコー
ド化を行っても良い）、という形になる。学習則として
は、Rumelhart らの文献(Nature,vol.323.pp.533-536,1
986)に示されたバックプロパゲーション法と呼ばれる方
法やその改良法などを用いることが可能である。

【００４４】前述したように、学習データが多くなる
と、階層構造型のニューラルネットワークによる教師あ
り学習は学習収束が著しく遅くなり、その収束性能を左
右するパラメータであるネットワーク層数や層ごとのユ
ニット数、結合重みの初期値などを適切に決定すること
は、それ自体が複雑な非線形最適化問題と等価になって
しまうため、実用的な負荷で実際的な収束性能を得るこ
とは難しくなってしまう。しかし、上記のように、複数
段のクラスタリング処理によるカテゴリ分類を採用する
ことで、各最終分類カテゴリに属する学習データ数を十
分絞っておけば、階層構造型のニューラルネットワーク
構成を有するカテゴリ別認識装置４０３による学習はほ
ぼその収束が保証され、実用的なエンジニアリング負荷
で、認識システムを構成することが可能になる。以下、
全カテゴリに対するカテゴリ別認識装置４０３の学習が
終了した段階で、認識システムの構成が完了する。

【００４５】次に、学習データ以外のデータに対する認
識処理（図５の認識処理フローチャート）は、上記のシ
ステム構成手順の学習を除いた手順とほぼ等価になる。
すなわち、ステップ３０１において、認識対象データを
カテゴリ分類装置４０１に提示することにより、カテゴ
リ分類装置４０１は、そのデータに対する最終分類カテ
ゴリ、および認識対象データを認識用ニューラルネット
ワーク切替え装置４０２に出力するか、あるいは整合性
のあるパスが存在しないことを示すデータを出力する。
続いて、ステップ３０２ではカテゴリ分類装置４０１に
おいて整合性のある分類パスが存在したか否かの判断が
なされ、その結果、存在していた場合にはステップ３０
３に移る。ここでは、ニューラルネットワーク切換装置
４０２が、受取った最終分類カテゴリに対応するカテゴ
リ別認識装置４０３に認識対象データを送り、ステップ
３０４において、カテゴリ別認識装置４０３が最終的な
認識結果を出力する。なお、ステップ３０２における判
断が整合性のある分類パスなしとなった場合には、ステ
ップ３０５で認識不能をモニタすることで処理を終了す
る。

【００４６】これらの一連の認識処理にかかる演算量は
小さいものであるため、認識処理の部分に限れば、パソ
コンクラスの処理性能しかもたない計算機でも十分に高
速な認識処理が実現できる。

【００４７】ここで比較のために、従来の大規模情報認
識システムについて紹介する。

【００４８】まず従来の大規模情報認識の基本思想が図
１０のように表現できる。大規模なデータを扱う際に
は、情報処理の負荷をできるだけ小さくするために、最
終的な分類認識の目的に沿った特徴量を選定し、その特
徴抽出という処理に代表される情報圧縮を行うことが基
本となっている。その情報圧縮処理を行うのが前処理部
分５０１である。この前処理部分５０１で抽出された特
徴量に基づいて認識システム５０２が最終的な認識処理
を行い、その結果を出力する。実際、適切な特徴量（多
くの場合はいくつかのスカラ量からなる）が選択できた
場合には総合的な処理負荷は非常に軽減される。

【００４９】しかし、プロセス制御の現場などで実際に
求められている認識システムにおいては、そのような最
終目的に必要十分な情報を有する特徴量を必ずしも適切
に選択できないばかりか、時にはそのような有効な特徴
量が実際の認識処理実施環境下では存在しない場合も有
り得る。

【００５０】そこで、近年、計算機能力の向上に支えら
れて各種の並列処理手法の現実適用性が注目されるよう
になってきている。その中でも特にニューラルネットワ
ークは、教師あり学習型・教師なし学習型、の両ネット
ワークとも、大規模データの分類・認識の有効な手法と
して期待されている。このニューラルネットワーク技術
は、文字認識、音声認識などの分野においてその応用例
が多く見られるが、そこでは従来からあった認識処理手
法などとニューラルネットワーク技術を組合せること
で、全体の認識率を向上させる例などが報告されてい
る。図１１は従来のノイマン型計算機からなる文字認識
装置６０１とニューラルネットワーク認識装置６０２と
の組合わせからなるものに相当する。この場合、従来技
術のみでも９５％以上の認識率が得られており、ニュー
ラルネットワークは、さらに２〜３％のレベルの認識率
向上のためにのみ使われている。

【００５１】しかしながら、より一般的な画像認識にお
いては、必ずしもこのように優れた既存技術を利用でき
る場合はむしろ少なく、ニューラルネットワーク側の認
識処理負荷がはるかに重くなることが多い。また、この
ような認識処理で通常よく使われる教師あり学習ネット
は、詳細な認識・分類システムを実現する上での重要な
プロセスである学習処理において、有効なネットワーク
構造の決定が非常に難しく、分類・認識すべきデータ数
が増加すると、学習そのものが急激に収束しにくくな
る、といった大きな欠点がある。

【００５２】これに対して、学習処理が簡便で、総合的
な学習処理の停滞も少ない教師なし学習型ネットを認識
処理の中心ネットワークアーキテクチュアとして用いる
ことも考えられるが、教師なし学習型ネットは、一般に
は、大まかな分類（粗いカテゴリ分類）には有効なもの
の、詳細なカテゴリ分類や認識を必要とする場合にはそ
れだけでは対応が困難であることが多い。

【００５３】このような背景から、最近は、上記の教師
なし学習型ネットと教師あり学習型ネットとを組合せ、
教師なし学習型ネットであらかじめ、ある程度特徴抽出
的な処理を行った上で、その出力を教師あり学習型ネッ
トに与え、データ分類能力を学習獲得させるなどの試み
が行われている。図１２はそのイメージを図解するもの
で、７０１は教師なし学習型ニューラルネットワーク、
７０２は教師あり学習型ニューラルネットワークであ
る。

【００５４】しかし、このシステムの場合でも、取扱う
データの量が膨大になってくると、現在の計算機技術か
ら計れる実用的な負荷で、十分な認識・分類を可能とす
るシステムを構築することが難しいという点が問題点と
して残っていた。

【００５５】上述した本実施例の装置は、このような問
題点を解決するものであり、複数段のカテゴリ分類を行
う教師なし学習型ニューラルネットワークと詳細な認識
・分類を行う教師あり学習型ニューラルネットワークと
を備えた認識・分類機構により、大規模データ群の適切
かつ高速な認識・分類が実現されることとなる。

【００５６】図１３は別態様に係る本発明大規模情報認
識装置の構成を示すブロック図、図１４はその装置を回
収ボイラプラントのチャーベット形状認識に適用した場
合のシステム構成を示すブロック図、図１５はその中核
をなす大規模情報認識装置の具体的構成例を示すブロッ
ク図、図１６は回収ボイラプラントの概要説明図、図１
７はチャーベットの各種形状例を示す説明図、図１８は
チャーベットの前処理結果イメージの説明図、図１９は
教師なし学習型ニューラルネットワークの認識動作時の
処理イメージ説明図、図２０は教師あり学習型ニューラ
ルネットワークの認識動作時の処理イメージ説明図、図
２１は教師あり学習型ニューラルネットワークの学習時
の処理イメージ図、図２２は大規模情報認識装置の参考
例の構成を示すブロック図である。

【００５７】まず、図１３において、教師なし学習型と
教師あり学習型との両アーキテクチュアを必要とする複
数のニューラルネットワーク処理に対して、実際の処理
を行う装置は、それぞれのネットワークアーキテクチュ
アに対応した専用処理装置（教師なし学習型ネットワー
ク処理装置８０１、教師あり学習型ネットワーク処理装
置８０２）がそれぞれ１つずつ用意される。個々のニュ
ーラルネットワーク処理は、ネットワーク管理装置８０
３がその処理に必要なネットワークアーキテクチュアを
もつ専用処理装置への切替えをネットワーク切替え装置
８０６に指示することで開始する。ネットワークの選択
後、該ネットワーク管理装置８０３は、さらに処理デー
タ記憶装置８０４及びネットワーク構造情報記憶装置８
０５に対して、それぞれ、処理対象であるデータと、そ
の処理上必要となるネットワークの構造情報（結合重み
データなど）との該ニューラルネットワーク処理装置
（教師なし学習型ネットワーク処理装置８０１ｏｒ教師
あり学習型ネットワーク処理装置８０２）への転送指示
を送る。この転送指示により処理データとネットワーク
の結合重みデータとがニューラルネットワーク処理装置
８０１，８０２と処理装置内部メモリ８０７，８０８へ
送られ、処理実行が可能になると、当該ニューラルネッ
トワーク処理装置はネットワーク管理装置８０３に対し
て準備が完了した旨を通知し、処理実行の返信を受ける
と、規定の処理を実行し、実行結果を処理データ記憶装
置８０４へ書出し、処理終了のシグナルをネットワーク
管理装置８０３へ送信することで、一つのニューラルネ
ットワーク処理が終了する。このプロセスを適宜繰り返
すことで、処理に必要となるネットワークアーキテクチ
ュア数に対応した最低数のネットワーク専用処理装置
で、多数のニューラルネットワーク処理を実現すること
ができる。

【００５８】以上は、確定したネットワークに対する処
理の説明であるが、ニューラルネットワーク処理装置８
０１，８０２が学習機能を持っている場合には、処理デ
ータ（この場合は学習データ）は上記の処理と同様に毎
回読み込まれる。が、ネットワーク構造情報（結合重み
データ）は処理開始時に１回だけ読込まれ、それ以降は
各処理専用装置上のメモリ（８０７，８０８）に保持さ
れた形で更新が行われ、処理終了時に、上記で処理結果
を処理データ記憶装置８０４に書出した代わりに、結合
重みデータをネットワーク構造情報記憶装置８０５に書
出す形になる。

【００５９】上記大規模データ認識装置を用いて、回収
ボイラの炉内チャーベット形状を認識するシステムを構
成した実施例を次に示す。

【００６０】まず、図１６を参照して回収ボイラシステ
ムの概要について簡単に説明する。回収ボイラというの
は製紙プロセスに見られるプラントで、チップの蒸解工
程で出た廃液（これを黒液と呼ぶ）に含まれる有機成分
をボイラ内で燃やしその燃焼熱で蒸気を生成し、かつボ
イラ内に構成される乾燥した黒液の堆積物（これをチャ
ーベットと呼ぶ）内で起こる化学反応を利用して廃液内
に含まれる蒸解工程で用いた高価な薬品を回収するもの
である。この回収ボイラの運転状況は、黒液の性状や化
学反応の進行具合によって大きく変化するため、その運
転は完全自動化はされておらず、熟練のオペレータが炉
内の様子などを監視しながら運転を行っている。その
際、オペレータは、図１７に示すようなチャーベットの
形状を参考にしながら炉内の状況を判断しており、シス
テム自動化のためには、このようなチャーベット形状の
自動認識システムの構築が不可欠である。しかしなが
ら、オペレータが見ているモニタ上に映し出されている
画像は実際には図１７（ａ）〜（ｅ）に示したようなき
れいなものではなく、図１７（ｆ）のように、山の輪郭
線がはっきりしなかったり、炉内を覗くカメラの縁にゴ
ミのようなものが付いたりするといった状況が大半であ
る。

【００６１】このような画像からチャーベットの輪郭線
情報を得るために、通常のエッジ検出処理や２値化処理
を行った画像処理結果のイメージ図を図１８に示す。こ
の図に示すように、カメラの視野の上隅についたゴミや
炉内背景ノイズの影響が処理画像中に現れるため、従来
の画像認識手法ではオペレータが無意識に行っているよ
うな大きな見誤りのない頑健な認識を実現することは非
常に難しい。

【００６２】そこで、ここ数年、この人間が行っている
ような頑健性の高い認識機能を実現するために、ニュー
ラルネットワーク処理を用いた認識手法が提案されてき
ている。しかし、この場合も、さまざまな動作点の変更
に伴う炉内燃焼状況の変化に対して安定した認識を実現
するためには、その学習の段階で大規模な画像データを
数百枚のオーダで学習することが必要であると考えら
れ、そのような認識システムの構築には、教師なし学習
型ネットワークと教師あり学習型ネットワークを多数用
いた分類処理を組込むことが要求される。

【００６３】図１４は、このようなチャーベット認識を
実現するシステム構成の一つを示したものである。

【００６４】回収ボイラ９０１の内部を覗いているカメ
ラ９０２を通して取込まれたチャーベット画像は、前処
理装置９０４にてノイズ低減などの処理を行った後、図
１３でその構成を説明した大規模データ認識装置９０５
に処理データ記憶装置８０４を介して送られる。大規模
データ認識装置９０５内では、既に説明した通り、教師
なし学習型及び教師あり学習型の両ニューラルネットワ
ーク用それぞれの高速処理ボードが切替え使用され、複
数のニューラルネットワーク処理の組合わせによるデー
タ認識が行われる。さらに、文字認識などの場合と同様
に、従来手法を組合わせて認識能力を高めることもあ
る。最終的な認識結果は、原画像や前処理済み画像と共
に、監視情報としてモニタ装置９０３に送られたり、下
位の制御システムへのフィードバック情報として用いら
れる。

【００６５】以下、大規模データ認識装置９０５の中の
構成についてさらに説明を行う。

【００６６】図１５に示したものは、大規模データ認識
装置９０５のいくつかの構成例である。

【００６７】図１５（ａ）は、まず、教師なし学習ネッ
トワークＢ０１による大まかなカテゴリ分類を行った
後、そのカテゴリ分類データを用いて教師あり学習型ニ
ューラルネットワークＢ０２が最終的な認識結果を出力
する場合の構成で、図６に示す思想を応用したものであ
る。

【００６８】図１９に教師なし学習型ネットワークＢ０
１の処理イメージを示す。教師なし学習型ニューラルネ
ットワークの場合、各ユニットは基本的には処理対象画
像の全ユニット出力を入力として受取り、各ユニット内
部処理の結果、最も大きな出力値を出しているユニット
を中心にその入力対象画像に対するカテゴリを形成する
ように学習が進行する（図中、影付きのユニットがカテ
ゴリの中心ユニットを意味する）。

【００６９】十分な処理対象画像を学習後の教師なし学
習型ニューラルネットワークＢ０１は、新たに提示され
た処理対象画像に対して、その分類カテゴリデータを出
力することが可能となる。このデータをシンボリックな
認識につなげるため、次段の処理として教師あり学習型
ニューラルネットワークＢ０２が用意される。教師あり
学習型ニューラルネットワークＢ０２の処理イメージを
図２０に示す。

【００７０】教師なし学習型ネットワークＢ０２による
カテゴリ分類は、ある意味で粗い予備分類を行っている
と言える。これよりさらに明確な情報圧縮を行うため
に、特徴抽出用の機能モジュールを付加したものが、図
１５（ｂ）に示す構成である。この場合、従来用いられ
ているような特徴抽出装置Ｂ０３が利用可能な場合に
は、それを合わせて組込み・利用できる。

【００７１】図２１に特徴抽出ネットワークＢ０４の構
成時の処理イメージを示す。このネットワークでは、入
力層と出力層とのユニット数は等しく、かつ、入力層の
ユニット数>>第２中間層のユニット数（一般的には、中
央の層のユニット数）の関係が成り立っている。ネット
ワークは、入力として提示された画像と同一のものを出
力するように学習が行われるので、通常の教師あり学習
型ネットワークとしてなんらかわりはない。学習終了後
の中央中間層（図の場合は、第２中間層）の出力パター
ンは、入力画像をネットワーク出力層で再生するのに十
分な情報を有しているという意味で、特徴量信号ベクト
ルとなっていると解釈できる。よって、このネットワー
ク中の前半３層（入力層と第１・２中間層）で構成され
るネットワークは、特徴抽出ネットワークＢ０４として
利用できる。従来特徴抽出手法が利用可能であるなら
ば、その特徴パラメータと合わせて、ユニットＢ０５に
より、適宜、選択・合成を行って得られた最終的な特徴
パラメータを用いて、最終の認識結果が教師あり学習型
ニューラルネットワークＢ０２を介して与えられること
となる。

【００７２】得られた特徴量がなお冗長なデータである
場合には、図１５（ｃ）に示すように、さらにそのカテ
ゴリ分類を行う教師なし学習型ネットワークＢ０１を機
能ブロックとして組込んだ図１５（ｃ）のような構成を
とることも可能である。この（ｂ）や（ｃ）の構成の発
展形として、さらに多数の教師なし学習型ニューラルネ
ットワークや教師あり学習型ニューラルネットワークを
組込み、分類・認識の細分化・高機能化を図ることが当
然考えられるが、その際にも、本大規模データ分類・認
識装置の構成をとることで、少数のハードウエア資源を
用いて大規模な認識システムを実用的なレベルで実現す
ることができる。

【００７３】ここで、図２２を比較参照すると、ここで
は、各機能実現ニューラルネットワークを個別ハードウ
エアユニットで構成しており、教師なし学習型ニューラ
ルネットワーク処理装置１１は、処理シーケンス管理装
置４１からの指示により処理データ記憶装置４からデー
タを読込み、ネットワーク処理装置１１内部に設置され
た結合重み保持メモリ３１に保持されている結合重みに
基づき処理を行い処理結果を該処理データ４に書き出
す。この教師なし学習型ニューラルネットワーク処理装
置１１からの処理終了通知信号を受け、シーケンス管理
装置４１に下位の教師あり学習型ニューラルネットワー
ク処理装置２１へ処理開始の指示を送る。処理開始の指
示を受けた該教師あり学習型ニューラルネットワーク処
理装置２１は、教師なし学習型ニューラルネットワーク
処理装置１１の場合と同様に、個々のネットワーク中の
設置された内部メモリ３２内に保持された結合重みのデ
ータに基づいて処理を行い最終結果が出力される。これ
らの処理では、教師なし学習型ニューラルネットワーク
処理装置１１はそのアーキテクチュアに対して求められ
る処理が１つであるため処理装置に無駄がないが、下位
の教師あり学習型ニューラルネットワーク処理装置２１
に関しては、同一のアーキテクチュアをもつネットワー
ク処理であるにもかかわらず、処理の数だけネットワー
ク処理装置が必要となり、無駄が多い。

【００７４】特に、ニューラルネットワーク処理装置が
専用の処理ボードであるような場合は、システム構成上
要求されるハードウエア資源が過大となり、他のシステ
ムとの共存が困難になるため著しく実用性を欠くことに
なる。

【００７５】前述した図１３に示す実施例は、この問題
点を解決するもので、多数ニューラルネットワーク処理
を最低限の数の実処理装置で実現でき、大規模データ認
識の各分野への実用的な応用を可能とする。

【００７６】ここにおいて、入出力数や中間層数の非常
に多い大規模ニューラルネットワークを構成するとき、
ニューラルネットワーク素子をそれぞれ一つのハードウ
エアで構成した場合には、ハードウエア素子数が膨大と
なり、それに伴う結線数も非常に多くなる。その結果、
ニューラルネットワークシステム回路の信頼性は低下し
て、実現のためのハードウエアの占める面積も非常に広
いスペースが必要となる。

【００７７】そこで、１つのニューラルネットワークハ
ードウエア素子の入力信号、出力信号を計算機のソフト
ウエアで制御し、見かけ上、複数のニューラルネットワ
ーク素子によって構成されるニューラルネットワークを
ソフトウエア的に構成することが考えられる。すなわ
ち、ニューラルネットワーク素子間の重み係数データや
各ニューラルネットワーク素子の入出力信号データを、
外部バスを用いて計算機ＲＡＭに読込み、計算機中のＣ
ＰＵで演算後に再度外部バスを通してニューラルネット
ワーク素子の結合重み係数や入出力信号データとして各
ニューラルネットワーク素子に転送すればニューラルネ
ットワークとしての実現は可能である。

【００７８】しかしながら、外部バスを用いてニューラ
ルネットワーク素子と計算機とのデータの転送には非常
に時間がかかること、計算機のＣＰＵは汎用であり、ニ
ューラルネットワーク素子としては最適時間で計算され
ているわけではないことのために、大規模ニューラルネ
ットワークの学習や順方向伝播には膨大な時間を要する
ことになる。

【００７９】このような観点から図１３に示す装置のよ
うに、一つのネットワークハードウエアに対する、必要
なネットワーク構造情報の入替えによって少数のハード
ウエア資源で、見かけ上、多機能大規模ニューラルネッ
トワークを構成することができ、１チップ化の実現が可
能となる。

【００８０】図２３はそのハードウエア構成例を示すブ
ロック図、図２４はその順方向伝播コントロールアルゴ
リズム、図２５は逆方向伝播コントロールアルゴリズム
の各フローチャートである。

【００８１】まず、図２３において、Ｄ０１はニューラ
ルネットワークハードウエア素子であり、算術演算回
路、ＲＡＭ、ＲＯＭなどが含まれており、ニューラルネ
ットワーク素子としての基本演算を行う。ニューラルネ
ットワークハードウエア素子Ｄ０１は、各ニューラルネ
ットワーク素子間の重み係数データ、各ニューラルネッ
トワーク素子の入出力信号データが内部データバスを介
して、それぞれ各ニューラルネットワーク素子間の結合
重み係数を保存するために用いるニューラルネットワー
ク結合係数メモリＤ０２、各ニューラルネットワーク素
子の入出力信号データを保存するために用いるニューラ
ルネットワーク素子入出力信号メモリＤ０３と結合され
ており、データの転送ができる。ニューラルネットワー
クハードウエア素子Ｄ０１とニューラルネットワーク結
合係数メモリＤ０２、ニューラルネットワーク素子入出
力信号メモリＤ０３とのデータ転送の制御は内部データ
バスコントローラＤ０７によって行われ、ニューラルネ
ットワーク素子装置と外部装置とのデータの転送につい
ては外部データバスコントローラＤ０４が行う。内部デ
ータバスコントローラＤ０７は主としては、ニューラル
ネットワークハードウエア素子Ｄ０１とメモリＤ０２，
Ｄ０３とのデータ転送を担当するためにデータ転送の高
速化が図れる。プログラムコントローラＤ０５は、一つ
のニューラルネットワークハードウエア素子Ｄ０１を複
数個のニューラルネットワーク素子として用いる場合の
ソフトウエアの設定、およびそのソフトウエアに従った
シーケンス制御を行う。また、アドレス発生部Ｄ０６
は、プログラムコントローラの命令に従って、ニューラ
ルネットワークハードウエア素子Ｄ０１に読込むデータ
やメモリＤ０２，Ｄ０３に書込むデータのアドレスを発
生する。

【００８２】このように構成されたニューラルネットワ
ークチップの学習処理は、図２４に示す順方向伝播アル
ゴリズム、図２５に示す逆方向伝播アルゴリズムにより
可能であり、これらのアルゴリズムはプログラムコント
ロールＤ０５により実行される。

【００８３】まず、順方向伝播コントロールアルゴリズ
ムを示す図２４を参照すると、まず、ステップＥ０１に
おいて、ニューラルネットワーク素子ｉの入力に結合さ
れているすべての結合係数ＷijをメモリＤ０２から読込
む。このｉというのは、一つのニューラルネットワーク
素子Ｄ０１をソフトウエア的に多数のニューラルネット
ワーク素子として使用することを考えたときのソフトウ
エアにより実現される各ニューラルネットワーク素子に
対して用いている符号である。このステップＥ０１では
一つのニューラルネットワーク素子ｉについての結合係
数ＷijをメモリＤ０２から読込むこととなる。続いて、
ステップＥ０２においては、ニューラルネットワーク素
子ｉに対して入力信号をメモリＤ０３から読込む。次い
で、ステップＥ０３で、ニューラルネットワーク素子ｉ
に対して必要なすべてのデータをメモリからニューラル
ネットワークハードウエア素子Ｄ０１に読込んだことを
確認後、ステップＥ０４において、ニューラルネットワ
ークハードウエア素子Ｄ０１を計算動作させ、その結果
を得る。その計算結果は、ステップＥ０５において、ニ
ューラルネットワーク素子ｉからソフトウエア的に捕ら
えたときの別のニューラルネットワーク素子ｋへの出力
値をメモリＤ０３に書込む。すべてのニューラルネット
ワーク素子ｉ，ｋ，…について計算すれば最終的なニュ
ーラルネットワークの出力値が得られることとなる。

【００８４】次に、誤差逆伝播学習は、学習データに対
して順方向伝播を行った後、ニューラルネットワークの
出力値と規範出力との誤差に基づいて各ニューラルネッ
トワーク素子間の結合重み係数が計算される。具体的な
計算アルゴリズムは、例えば、コンピュートロールＮ
ｏ．２４ｐｐ５３〜６０を参照されると良い。

【００８５】ここで、この逆方向伝播コントロールアル
ゴリズムを示す図２５を参照すると、まず、ステップＦ
０１として図２４に示すアルゴリズムが含まれており、
ここにおいて学習データを用いた順方向伝播によりニュ
ーラルネットワーク装置の出力を順方向伝播コントロー
ルアルゴリズムに従って計算する。その後、に逆方向伝
播学習の本体部に入る。まず、ステップＦ０２にてニュ
ーラルネットワーク装置の出力信号と規範出力との誤
差、メモリＤ０２に格納されている出力層との結合重み
係数に基づき、誤差逆伝播アルゴリズムを用いて出力層
と出力層から一つ前の中間層への伝播誤差、更新された
結合重み係数を計算する。次に、出力層から入力層方向
の順序で結合重み係数の更新を行うこととなり、まず、
ステップＦ０３において、ニューラルネットワーク素子
ｉとニューラルネットワーク素子ｉの出力が入力となっ
ているニューラルネットワーク素子ｊとの結合重み関数
ＷijをメモリＤ０２から読込み、続いてステップＦ０４
においてニューラルネットワーク素子ｉの学習データに
対する出力値をメモリＤ０３からニューラルネットワー
クハードウエア素子Ｄ０１に読込む。更に、ステップＦ
０５において出力層から順番に計算された伝播誤差をメ
モリＤ０３から読込む。その後、ステップＦ０６にて、
誤差逆伝播アルゴリズムを用いて次の中間層に伝播する
誤差、および更新後の結合重み係数Ｗijを計算し、ステ
ップＦ０７で、計算された伝播誤差、結合重み係数の更
新まで行われる。その後、ステップＦ０８において、ソ
フトウエア的に全てのニューラルネットワーク素子に対
しての計算が終了したか否かの判定がなされ、その結果
がＹＥＳになるまでステップＦ０３〜ステップＦ０７を
繰返すこととなる。

【００８６】以上のように１チップ型ニューラルネット
ワーク装置とすれば、ニューラルネットワークハードウ
エア素子数を増やすことなく大規模ニューラルネットワ
ークが構成できるのでニューラルネットワーク装置に必
要なスペースを削減することができ、結線数も少なくて
済むのでニューラルネットワーク装置としての信頼性の
向上が期待でき、ニューラルネットワークハードウエア
素子とニューラルネットワークデータ保存用ＲＡＭ間の
データ転送も、同一チップ上に構成された内部データバ
スを介して行うことができるので、データの高速転送が
可能となり、ニューラルネットワーク装置の計算時間の
短縮化が図れる。また、これらの素子を同一のチップ上
に構成するためにハードウエア素子としての信頼性も向
上することとなる。

【００８７】

【発明の効果】以上説明したように本発明によれば、従
来実現することができなかった、多数の学習データによ
り多数の認識ルールを自動的に獲得する大規模情報認識
装置を実現することができる。また、このルール獲得に
要する反復計算回数も現実的回数である。さらに、各ニ
ューラルネットワークユニットは通常数十程度のニュー
ロンから成るので、その結合回路の数は実現可能な数と
なり、さらに、ユニット間の結合回路に関しても、各々
のユニットの入力信号と出力信号ラインから構成されて
いるので、容易に実現可能な回路数であり、従来大規模
ニューラルネットワーク回路で問題となっていた結合回
路数の爆発の問題も回避できる。

【００８８】そして、複数段のクラスタリング処理によ
るカテゴリ分類を採用した場合には、各最終分類カテゴ
リに属する学習データ数を十分絞っておけば、階層構造
型のニューラルネットワーク構成を有するカテゴリ別認
識装置による学習はほぼその収束が保証され、実用的な
エンジニアリング負荷で、認識システムを構成すること
が可能になると共に、大規模データ群の適切かつ高速な
認識・分類が実現されることとなる。

【００８９】また、限られた数のネットワークハードウ
エア資源をこれに対するデータの入替えによって多数の
ネットワークとして利用する思想によれば、多数ニュー
ラルネットワーク処理を最低限の数の実処理装置で実現
でき、大規模データ認識の各分野への実用的な応用を可
能とする。さらに、１チップ化を考えた場合、ニューラ
ルネットワークハードウエア素子数を増やすことなく大
規模ニューラルネットワークが構成できるのでニューラ
ルネットワーク装置に必要なスペースを削減することが
でき、結線数も少なくて済むのでニューラルネットワー
ク装置としての信頼性の向上が期待でき、ニューラルネ
ットワークハードウエア素子とニューラルネットワーク
データ保存用ＲＡＭ間のデータ転送も、同一チップ上に
構成された内部データバスを介して行うことができるの
で、データの高速転送が可能となり、ニューラルネット
ワーク装置の計算時間の短縮化が図れる。また、これら
の素子を同一のチップ上に構成するためにハードウエア
素子としての信頼性も向上することとなる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る大規模情報認識装置で
あるニューラルネットワークボードの構成を示すブロッ
ク図。

【図２】図１に示す装置を組込んだ画像認識装置の構成
を示すブロック図。

【図３】その動作の一例を示す説明図。

【図４】本発明の大規模情報認識装置の学習処理の構成
を示すフローチャート。

【図５】同装置の認識処理の構成を示すフローチャー
ト。

【図６】本装置の基本構成を示すブロック図。

【図７】カテゴリ分類装置を構成する教師なし学習型ニ
ューラルネットワークの構成処理におけるポインティン
グデバイスを用いた各段のクラスタ指定処理を示す説明
図。

【図８】カテゴリ分類装置を構成する教師なし学習型ニ
ューラルネットワークの分類処理を示す説明図。

【図９】カテゴリ別認識装置を構成する教師あり学習型
ニューラルネットワークの構成を示す説明図。

【図１０】本実施例の比較対象となる従来の大規模情報
認識処理の基本思想を示すブロック図。

【図１１】従来の大規模情報認識装置の一例としてニュ
ーラルネットワーク組合わせによる文字認識装置の構成
を示すブロック図。

【図１２】従来の教師なし学習型ニューラルネットワー
クと教師あり学習型ニューラルネットワークとの組合わ
せ構成を示す説明図。

【図１３】別態様に係る本発明大規模情報認識装置の構
成を示すブロック図。

【図１４】その装置を回収ボイラプラントのチャーベッ
ト形状認識に適用した場合のシステム構成を示すブロッ
ク図。

【図１５】その中核をなす大規模情報認識装置の具体的
構成例を示すブロック図。

【図１６】回収ボイラプラントの概要説明図。

【図１７】チャーベットの各種形状例を示す説明図。

【図１８】チャーベットの前処理結果イメージの説明
図。

【図１９】教師なし学習型ニューラルネットワークの認
識動作時の処理イメージ説明図。

【図２０】教師あり学習型ニューラルネットワークの認
識動作時の処理イメージ説明図。

【図２１】教師あり学習型ニューラルネットワークの学
習時の処理イメージ図。

【図２２】大規模情報認識装置の参考例の構成を示すブ
ロック図。

【図２３】そのハードウエア構成例を示すブロック図。

【図２４】その順方向伝播コントロールアルゴリズム。

【図２５】逆方向伝播コントロールアルゴリズムの各フ
ローチャート。

【符号の説明】

ＮＮ ニューラルネットワーク素子 ＩＮt 教師データ伝送路 ＩＮ 処理対象データ伝送路 ＯＵＴ 出力信号伝送路 ＳＷ 切替えスイッチ １０４ ニューラルネットワークボード ４０１ カテゴリ分類装置 ４０３ カテゴリ別認識装置 ８０１ 第１の認識処理手段となる教師なし学習型ニュ
ーラルネットワーク ８０２ 第２の認識処理手段となる教師あり学習型ニュ
ーラルネットワーク ８０３ ネットワーク管理装置 ８０４ 処理対象情報記憶装置 ８０５ ネットワーク構造情報記憶装置 ８０６ ニューラルネットワーク切替え装置 ９０５ 大規模情報認識装置 Ｄ０１ ニューラルネットワークハードウエア素子 Ｄ０２ 結合係数メモリ Ｄ０３ 入出力信号メモリ Ｄ０４ 外部データバスコントローラ Ｄ０５ プログラムコントローラ Ｄ０６ アドレス発生部 Ｄ０７ 内部データバスコントローラ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 林 真 司 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内 (72)発明者 大 矢 純 子 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内 (72)発明者 千 田 有 一 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内 (72)発明者 村 井 雅 彦 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内

Claims (3)

【特許請求の範囲】
1. 【請求項１】ニューラルネットワークからなる複数の認
   識処理用ユニットと、 該複数の認識処理用ユニット各々に対し個別に教師信号
   を供給する複数の教師信号伝送路と、 前記複数の認識処理用ユニット各々に対し個別に処理対
   象データを供給する複数の処理対象データ伝送路と、 前記複数の認識処理用ユニット各々の出力信号を個別に
   伝送する複数の出力信号伝送路と、 前記複数の出力信号伝送路各々を前記複数の処理対象デ
   ータ伝送路のうちの少なくとも一つと複数の外部送出伝
   送路のうちの少なくとも一つとに切替え接続する切替え
   手段とを備えていることを特徴とする大規模情報認識回
   路。
2. 【請求項２】処理対象データについて複数段の教師なし
   学習型ニューラルネットワークによりその概分類を行う
   カテゴリ分類装置と、 該カテゴリ分類装置の最終段出力として決定されるカテ
   ゴリ分類毎に前記処理対象データについて教師あり学習
   型ニューラルネットワークにより最終的な情報認識を行
   うカテゴリ別認識装置とを備えていることを特徴とする
   大規模情報認識装置。
3. 【請求項３】少なくとも一つの教師なし学習型ニューラ
   ルネットワークからなり、かつ所定の教師なし学習型用
   のネットワーク構造情報が設定されることによりその機
   能が決定される第１の認識処理手段と、 少なくとも一つの教師あり学習型ニューラルネットワー
   クからなり、かつ所定の教師あり学習型用のネットワー
   ク構造情報が設定されることによりその機能が決定され
   る第２の認識処理手段と、 前記教師なし学習型用及び教師あり学習型用のネットワ
   ーク構造情報を記憶する第１の記憶手段と、 前記第１、第２の認識処理手段における処理対象情報を
   記憶する第２の記憶手段と、 前記第１、第２の認識処理手段の切替えと前記第１、第
   ２の記憶手段からの設定情報の切替えとを行うことによ
   り、複数種の認識処理の実行を実現させる制御手段とを
   備えていることを特徴とする大規模情報認識装置。