JP4494561B2

JP4494561B2 - パターン識別装置

Info

Publication number: JP4494561B2
Application number: JP26289499A
Authority: JP
Inventors: 徹中川; 一北川; 圭一堀川
Original assignee: Daicel Chemical Industries Ltd
Current assignee: Daicel Corp
Priority date: 1999-09-17
Filing date: 1999-09-17
Publication date: 2010-06-30
Anticipated expiration: 2019-09-17
Also published as: JP2001084236A

Description

【０００１】
【発明の属する技術分野】
本発明は、情報処理分野で用いられる人工ニューラルネットワーク（ＡＮＮ）型のパターン識別装置（パターン予測装置を含む）、及びその学習処理手順に関するものである。より具体的には、既に学習済みのパターンに類似したパターンが本装置に入力された場合には、ＡＮＮが持つ高い汎化能力と並列処理能力によって短時間の一定時間以内に自動識別し、一方、全くの未知パターンが入力された場合には、論理積演算によって一旦不明（該当なし）と判定後、その不明パターンをパイプライン状に配置された後段へと順次引き渡し、識別処理を継続して遂行することで、全体として高い識別能力と信頼性とを同時に実現するパターン識別装置、及び同装置における学習と識別処理を並列多段型の処理によって高速化するためのＡＮＮ構成方式とその学習処理手順に関するものである。
【０００２】
なお、本明細書の中でいう「パターン」とは、後述の実施例に示した手書文字のような２値化画像に限らず、紙幣または硬貨画像などのような多値のグレースケールやカラー画像はもとより、Ｘ線ＣＴ画像や各種音響信号などの各種スペクトラムからなる一般の信号を含んでいる。
【０００３】
【従来の技術】
近年、人工ニューラル・ネットワーク（ＡＮＮ）技術に基づく情報処理手法が普及し、産業界においてもその応用事例が数多く見られるようになった。その上、単なる試行的応用例から脱却し、本格的な量産型工業製品の制御部分へ組み込もうとする例も増えている。しかしながら、現状のＡＮＮ技術には、学習時点で関連情報を教えていなかった全くの未知の入力に対してはその出力が予測できないという致命的な欠陥があり、そのままではＰＬ法に代表される製造物の責任問題をクリアすることができない。
【０００４】
ＡＮＮ技術に基づく製品を安全なものとするためには、まず第一に、ＡＮＮの処理結果に対する信頼性を向上させる必要があり、これを達成しうる概念に、ソフトウェア工学における「複数版ソフトウェアにおける失敗の合致モデル：B. Littlewood and D. R. Miller, 1989, “Conceptual modeling of coincident failures in multiversion software,” IEEE trans. on Software Engineering, 15, 1596-1614」と呼ばれるものがある。実際に、この概念をＡＮＮ処理系へ適用したとみなせる技術も複数存在する（例えば、「東洋電機製造株式会社、小河敏幸、１９９２、“統合ニューラルネットワーク及びその学習方式”、特開平４−３２８６６９号公報」や「堀川圭一、中川徹、北川一、１９９８、“複数の乱数化ＡＮＮを用いたパターン識別における信頼性の向上”、電子情報通信学会総合大会、D-2-13」）。
【０００５】
以下、上記技術における共通部分を要約する。まず、異なる乱数系列でＡＮＮの結合係数やしきい値を初期化して複数版のＡＮＮを生成し、これらを既知の学習セット（すなわち、学習入力パターンと教師出力パターンからなる組）でＡＮＮ学習させる。またこの時の学習法には、最急降下法を基にした一般的なＢＰ学習法またはその修正学習法が用いられる。次いで、これら複数版の学習済みＡＮＮへ識別したいパターンを入力し、それらの出力間で論理積結合等を生成して統合判定を行い、ＡＮＮの処理結果に対する信頼性の向上を図っている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の従来技術においては、▲１▼高度な学習と統合処理における処理時間の増大問題、▲２▼処理結果おける信頼性と正答率の相反問題、▲３▼未知パターンに対する学習セットの生成問題が未解決のまま残されており、これらが信頼性の高いＡＮＮ応用製品を開発する際に大きな障害となっている。
【０００７】
▲１▼は、識別したいパターンの種類やその変形数あるいは総入力点数などが増加すると、学習すべき内容がより複雑・高度になって学習が収束しないという状況に陥ってしまい、その対策としてＡＮＮの規模を大きくすると、今度は学習にかかる時間が非常に長くなる、あるいは、学習に成功したとしても識別時の統合処理において時間がかかってしまうといった問題をさす。
【０００８】
▲２▼は、処理結果の信頼性を上げたい場合には、統合処理において論理積演算を行う必要があるが、反面、ＡＮＮの汎化能力を論理積で切り捨てることにもなってしまい、結果として正答率が実用に耐えないほどに低下してしまうという問題をさす。
【０００９】
▲３▼は、実際の応用場面では、学習を始める前に可能性のある全ての入力パターンを予測することができず、したがって、予め完全な学習セットを用意することはできないという現実の問題をさす。
【００１０】
本発明はこのような現状にかんがみてなされたものであり、上記のような問題を解決して、高速かつ高信頼なパターン識別処理とそのための学習処理を容易に行えるようにすることを目的とする。
【００１１】
【課題を解決するための手段】
本発明者らは、上記の目的を達成するため鋭意検討した結果、以下に述べる（ｉ）並列多段型のＡＮＮ構成法に基づく新規なパターン識別装置、及び（ii）このパターン識別装置における学習処理手順をそれぞれ見出し、上記問題を解決した。
【００１２】
すなわち、本発明は、入力されたパターンの自動識別結果を出力する、異なる乱数系列で初期化して並列に教師付き学習させた人工ニューラルネットワーク（以下、「乱数化ＡＮＮ」と称する）複数個と、各乱数化ＡＮＮの出力側でしきい値判定を並列して実行する前処理回路複数個と、各前処理回路からの一次判定出力を論理積演算によって統合処理する統合演算回路とからなる組を基本処理単位とし、該基本処理単位の複数組を多段に接続して並列多段型の人工ニューラルネットワーク処理を行うパイプライン状の処理系と、前記パイプライン状処理系を構成する各基本処理単位が備える統合演算回路で得られる各段の判定結果を論理和演算で総合することで最終的な識別判定を行う総合判定部とで構成されているパターン識別装置を提供する。
【００１３】
なお、本明細書では、上記のパターン識別装置を教師付き学習させる並列多段型の学習処理手順であって、前段までのすべての基本処理単位で行われる識別処理で不明（すなわち、該当なし）と判定された入力パターンの中から、前段における論理積演算時の投票数（すなわち、論理「１」の総数）に基づいて、新たに学習入力パターンと教師出力パターンの学習セットを外部に依頼して抽出、創生し、その学習セットを用いて、認識システムの最後尾に追加する乱数化ＡＮＮ複数個を並列学習させることを特徴とする並列多段型の人工ニューラルネットワーク学習処理手順についても説明する。
【００１４】
このＡＮＮ学習処理手順の基本的な考え方は、新たに学習すべき入力パターンと教師出力パターンの学習セットが生じた時点で、上記パターン識別装置におけるパイプライン状処理系の最終段の後尾に新しい段（基本処理単位）を追加し、この段のみを学習させるというものである。全学習過程の始めでは一段分の基本処理単位しか存在しないので、本発明では、この学習手順を並列多段型のＡＮＮ学習処理手順と呼ぶ。
【００１５】
なお、本明細書の中でいう「乱数化ＡＮＮ」とは、後述の実施例で用いた３層（学習層２層の）ＡＮＮを異なる乱数系列で初期化（乱数化）したものに限らず、より一般的な多層ＡＮＮはもとより、ＳＯＭ、Hopfield形ＡＮＮなどを乱数化したものを含んでいる。また、単に「学習」と記載されている場合、ＢＰ学習法に代表される教師付きの学習を意味している。
【００１６】
【作用】
本発明に記載した多段接続形の乱数化ＡＮＮ構成法により、装置内にパイプライン形式の処理系を構成し、各段（基本処理単位）内での乱数化ＡＮＮ複数個による並列処理と、各段間でのある種パイプライン的処理によって高速な学習・判定処理を達成することができる。なお、本発明におけるパイプライン形式の処理系は、通常のパイプライン処理とは、▲１▼前段の処理結果が総合判定部へ送られる点、▲２▼処理できなかった不明パターンが次段へそのままパスされて送られる点で、作用上大きく異なる。さらに、本発明では、論理和演算で多段にわたる処理結果の総合処理を行うため、一種の多段フィルタ的効果が得られ、高い正答率と信頼性とを同時に実現することができる。
【００１７】
以下、より具体的に本発明に基づく装置の作用として説明する。
本発明の請求項１の特徴を持つ装置においては、ある段（基本処理単位）への入力として既に学習済みのパターンに類似のものが入力された場合、ＡＮＮが本来持っている高い汎化能力と並列接続された乱数化ＡＮＮの並列処理能力によって短時間の一定時間以内に自動識別することができる。
【００１８】
また、その一方で、同段への入力として全く未知のパターンが入力された場合には、論理積演算によって一旦不明（該当なし）と判定後、その不明パターンをパイプライン状に配置された後段へ順次引き渡し、識別処理を継続して遂行することで、全体として高い識別能力と信頼性とを同時に実現することができる。この場合の処理時間は使用した基本処理単位の段数に比例し、本発明に基づく装置はリアルタイム処理に向いた良い性質を提供できる。
【００１９】
最終段に至っても識別できない不明のパターンが残った場合には、本発明の請求項２に示した並列多段型のＡＮＮ学習処理手順によって、新たな学習入力パターンと教師出力パターンからなる学習セットを不明パターン群の中から生成し、そのセットによって、最終段の後尾に追加した新しい段を学習させることができ、高度な学習と統合処理を最小限の処理時間で容易に実現できる。
【００２０】
【発明の実施の形態】
以下、本発明の実施例を図面に基づいて具体的に説明する。
図１は本発明のパターン識別装置における認識システムの一例を示す概略図であり、図中のＲＡＮＮ₁、ＲＡＮＮ₂、…、ＲＡＮＮ_nは１段目の基本処理単位内（Stage₁）に用意されたｎ個の乱数化ＡＮＮを、ＲＡＮＮ'₁、ＲＡＮＮ'₂、…、ＲＡＮＮ'_nは２段目（Stage₂）の乱数化ＡＮＮを、ＲＡＮＮ''₁、ＲＡＮＮ''₂、…、ＲＡＮＮ''₃は最終段であるｐ段目（Stage_p）の乱数化ＡＮＮをそれぞれ示している。また、図中のＴＨ₁、ＴＨ₂、…、ＴＨ_nは初段のStage₁内でしきい値処理を行うｎ個の前処理回路を、それらの後に接続された統合演算回路は論理積演算を行う回路をそれぞれ示し、これらが１段目の統合処理を実行する。以下、同様にして、ＴＨ'₁、ＴＨ'₂、…、ＴＨ'_n、ならびに統合演算回路'は、それぞれStage₂内でしきい値処理を行うｎ個の前処理回路、ならびに論理積演算を行う回路であり、これらが２段目の統合処理を実行する。最終段のＴＨ''₁、ＴＨ''₂、…、ＴＨ''_n、ならびに統合演算回路''は、それぞれStage_p内でしきい値処理を行うｎ個の前処理回路、ならびに論理積演算を行う回路であり、これらがｐ段目の統合処理を実行する。
【００２１】
そして、図中、各段（Stage₁、Stage₂、…、Stage_p）の左側にある（特に１段目のみ入力データと記載してある）端子へは、認識時には識別すべきパターンが入力され、一方、学習時には学習すべきパターンが入力される。もし、認識時において識別に失敗したパターンがあれば、そのパターンは図中上部のゲート（Ｇ₁、Ｇ₂、…、またはＧ_p）を介して次段へパスされ、別の学習セットで予め学習をさせておいた次段で次の識別処理が実行される。
【００２２】
最終的に、上記いずれかの段において識別に成功した場合、その判定結果は図中下部の総合判定部に送られ、そこで論理和演算が施されて、本認識システムの最終出力となる。一方、最終段に至っても識別できなかった場合、そのパターンは、新たな学習セットを作り出すためのデータとして、最終段の右側にある学習候補一時記憶部に蓄えられる。
【００２３】
ここでｎとｐの値が実用上問題となる。実験の結果、例えば、日本国硬貨６種と韓国硬貨４種の計１０種の識別を行う実験（事例１）においては、ｎ＝３、ｐ＝２で、識別試行１回当りの平均正答率を９１％以上、かつ、その時の誤答率を０％にすることができ、加えて、その場合における乱数化ＡＮＮ単体の規模としては、入力点数１５４、中間層のニューロン数３５、出力層のニューロン数２０程度でよいことも分かった。もう一つの事例である手書き文字認識の実験（事例２）では、ｎ＝３、ｐ＝７で、識別試行１回当たりの平均正答率を８２％以上、かつ、その時の誤答率を３％程度にすることができた。この事例２における乱数化ＡＮＮ単体の規模は、入力点数が４４１、中間層のニューロン数が３０、出力層のニューロン数が４６である。
【００２４】
事例１と事例２のいずれの場合でも、識別判定処理における総計算量は意外に少なく、仮に３０フレーム／毎秒の連続パターンを識別すると仮定したとしても、現在市販されている量産型マイクロプロセッサの性能値に換算して数十ＭＦＬＯＰＳのものが１個あればよく、そのＡＮＮ規模は実際に装置を実現することが可能な大きさに納まっている。もちろん、並列多段型の構成を生かした並列処理を複数の量産型マイクロプロセッサによって行えば、千フレーム／毎秒以上の高速処理も達成可能である。
【００２５】
次に、図２のフローチャートに従って、並列多段型の学習処理手順と統合化識別処理手順を説明する。
１０１：処理の開始を示す（ただし、この１０１以下のプログラムは、利用者からのブレーク指示が制御卓等を介して入力されるまで、無限に処理を繰返す）。
１０２：異なるシード（すなわち、乱数の種）をｎ個用いて、ＲＡＮＮ'''₁、ＲＡＮＮ'''₂、…、ＲＡＮＮ'''_n、をそれぞれ初期化し、複数の乱数化ＡＮＮを生成後、それらを本認識システム（以下、認識部）の最後尾に追加する。
１０３：利用者によって学習候補の一時記憶から創生された新たな学習セットを、ｎ個の追加されたＲＡＮＮ'''₁、ＲＡＮＮ'''₂、…、ＲＡＮＮ'''_nのそれぞれへ配布する。
１０４：ここからＲＡＮＮ'''₁、ＲＡＮＮ'''₂、…、ＲＡＮＮ'''_nが並列して学習処理を開始する。
１０５：ＲＡＮＮ'''₁におけるＢＰ学習処理を実行する。
１０６：ＲＡＮＮ'''₂におけるＢＰ学習処理を実行する。
１０７：ＲＡＮＮ'''₃におけるＢＰ学習処理を実行する。
１０８：ここで、ＲＡＮＮ'''₁、ＲＡＮＮ'''₂、…、ＲＡＮＮ'''_n間で実行完了の同期を取り、１０４からの並列化学習処理が終結する。
【００２６】
１０９：前段のゲートＧ（具体的には、このプロセスが１段目の時は入力データ端子、２段目の時はＧ₁、同様にして、ｐ段目の時はＧ_P-1）からデータを１つ受け取り、自己のＲＡＮＮ'''₁、ＲＡＮＮ'''₂、…、ＲＡＮＮ'''_nへ配布する。
１１０：ここから、ＲＡＮＮ'''₁、ＲＡＮＮ'''₂、…、ＲＡＮＮ'''_nが並列して識別処理を開始する。
１１１：ＲＡＮＮ'''₁の識別処理を実行し、出力端子ごとに各々のアナログ判定値を出力する。
１１２：１１１の各出力値を前処理回路ＴＨ'''₁でしきい値判定し、デジタル値に変換する。
１１３：ＲＡＮＮ'''₂の識別処理を実行し、出力端子ごとに各々のアナログ判定値を出力する。
１１４：１１３の各出力値を前処理回路ＴＨ'''₂でしきい値判定し、デジタル値に変換する。
１１５：ＲＡＮＮ'''_nの識別処理を実行し、出力端子ごとに各々のアナログ判定値を出力する。
１１６：１１５の各出力値を前処理回路ＴＨ'''_nでしきい値判定し、デジタル値（つまり、論理「１」又は「φ」）に変換する。
１１７：ここで、ＲＡＮＮ'''₁、ＲＡＮＮ'''₂、…、ＲＡＮＮ'''_n間で実行完了の同期を取り、１１０からの並列化識別処理が終結する。
【００２７】
１１８：統合演算回路'''の処理として、各前処理回路（ＴＨ'''₁、ＴＨ'''₂、…、ＴＨ'''_n）の出力端子ごとに論理「１」の総数、すなわち投票数を求める。
１１９：１１８で求めた投票数の中で最大のものがｎ（つまり乱数化ＡＮＮの総数）と等しくなければ、論理積が成立していないので、１２１へ飛ぶ。
１２０：論理積が成立したので、その結果を総合判定部へ送り出す。
１２１：自己のプロセスが認識部の最終段ならば１２３へ飛ぶ。
１２２：自己のゲートＧ（具体的には、このプロセスが１段目の時はＧ₁、２段目の時はＧ₂、同様にして、ｐ段目の時はＧ_p）を開き、該当なしと判定された不明パターンを次段へパスさせる。
１２３：ここまでの識別で該当なしとなった不明パターン及びその投票結果を認識部で共通の学習候補一時記憶部に格納する。
１２４：学習候補の総数が予め定めた上限値より少ないならば１０９へ飛ぶ。
１２５：学習候補の総数が上限値に達したので、新規の学習セットを創生することを外部（現在は人間）へ依頼し、自己のプロセス（つまりこのプログラム）をフォーク（分岐起動）後、１０９へ飛ぶ。
なお、以上の手順においては、第１段目の学習に用いる学習セットが人手によって予め用意されている。
【００２８】
【発明の効果】
本発明に基づくパターン識別装置では、多段接続された基本処理単位の各段における並列処理と、各段間でのある種パイプライン的処理と、最終段の後尾に動的に追加学習される新たな基本処理単位とによって、高速な学習処理と同識別処理を達成する機構を持ち、一般的に困難とされている「高度な学習と統合処理における処理時間の増大問題」を解決する一手段を提供している。この結果得られる能力、すなわち、短時間の一定時間以内に自動識別できる能力は特にリアルタイムな識別処理において効果を発揮する。
【００２９】
また、課題で述べた「処理結果における信頼性と正答率の相反問題」に対しては、提案した装置内における多段の統合処理によって、一種の多段フィルタ的性質を得、その段数を増加させることにより、高い正答率と信頼性とを同時に実現している。また、使用する段数を調整することで正答率と信頼性を実用域に留めつつ装置コストを押さえられる点も実用上有益である。
【００３０】
さらに、もう一つの問題である「未知パターンに対する学習セットの生成問題」に対しては、ある時点で既に分かっている範囲の学習入力パターンと教師出力パターンのセットのみで学習を開始できる点、及び、不明（該当なし）と判定されたパターンを再利用して新たな学習が容易に追加できる点において実用上の効果が大きい。
【００３１】
特に本発明は、全くの未知の入力パターンを含んだ実際の入力パターンを高速度にて自動分類するパターン識別装置に利用した場合の効果が高く、本発明の特徴である並列多段型の乱数化ＡＮＮに識別すべき入力パターンを順次通すことで、動画等の連続したパターン列も高速度にて識別処理できる。
【図面の簡単な説明】
【図１】本発明のパターン識別装置における認識システムの一例を示し、一段当りの乱数化ＡＮＮ数がｎ、総段数がｐの場合のシステム概略図である。
【図２】本発明における並列多段型のＡＮＮ学習処理手順と統合化識別処理手順を説明するフローチャートである。

Claims

入力されたパターンの自動識別結果を出力する、異なる乱数系列で初期化して並列に教師付き学習させた人工ニューラルネットワーク（以下、「乱数化ＡＮＮ」と称する）複数個と、各乱数化ＡＮＮの出力側でしきい値判定を並列して実行する前処理回路複数個と、各前処理回路からの一次判定出力を論理積演算によって統合処理する統合演算回路とからなる組を基本処理単位とし、該基本処理単位の複数組を多段に接続して並列多段型の人工ニューラルネットワーク処理を行うパイプライン状の処理系と、前記パイプライン状処理系を構成する各基本処理単位が備える統合演算回路で得られる各段の判定結果を論理和演算で総合することで最終的な識別判定を行う総合判定部とで構成されているパターン識別装置。