JPH05101187A - 画像認識装置及びその学習方法 - Google Patents

Abstract

(57)【要約】 【目的】 ニューラルネットのみによる認識が不可能又
は認識に厖大な時間を要する対象画像情報であっても、
画像処理部とニューラルネットを併用して画像認識を可
能とし、ニューラルネットに対する学習も高速にする。 【構成】 １フレーム画像データＡから切り出された１
ブロックデータＢに含まれる画素の数と、１フレーム画
像データＡの全体から抽象情報を抽出する画像処理部１
０の出力信号の数の和と同数のニューロンからなる入力
層と、入力層からの入力信号に対して信号処理を行うn
層の中間層と、第n 中間層からの入力信号に対して信号
処理を行い、認識信号を出力する出力層とを備えてい
る。画像処理部１０は、画像情報を数式演算により面
積、オイラー数等の抽象情報に変換する。抽象情報とブ
ロックデータＢの画像情報とを同時にニューラルネット
に入力して統合された画像認識を行う。この処理を１フ
レーム全体に亘って行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像認識装置、特に、
画像情報を認識する際に従来の画像処理では認識が不可
能又は困難な画像情報をも認識することができる、ニュ
ーラルネットを備えた画像認識装置に関する。

【０００２】

【従来の技術】画像認識に適用可能なニューラルネット
モデルとしては、図１２に示した、それぞれ複数のニュ
ーロン（黒丸で示す）からなる入力層、未知中間層及び
出力層で構成された３層構造のものが知られている（通
常、各層に含まれるニューロンの数は異なっている）。

【０００３】上記ニューラルネットモデルでは、入力層
に与えられた入力信号に対し出力層から所望の出力を得
るために、出力側に教師信号を与えて学習を行うことに
より、各層間のニューロンを結合している各シナプスの
重みを設定している。このモデルでは、中間層が、所望
の出力を得るために必要な中間的な情報認識を行う機能
を有しているが、この中間層に含まれる各ニューロンに
対してはユーザ定義ができないため、該中間層はブラッ
クボックスとして扱われてきた。

【０００４】従って、このモデルでは、学習を行っても
最終的に認識ができない場合には、対象とする画像情報
の認識が不可能となり、それ以上発展させることができ
ないという欠点がある。それ故、図１２に示したモデル
は自由度のないニューラルネットモデルである。

【０００５】上記ニューラルネットモデルの欠点を解決
したものとしては、図１３に示した多層ニューラルネッ
トモデルが知られている。

【０００６】この多層ニューラルネットモデルは、上記
図１２に示した３層ニューラルネットモデルで認識する
ことができない場合に、最終認識を可能とするために必
要なプリミティブな中間認識手段を設けることにより、
これを解決しようとしたものである。

【０００７】即ち、まずニューラルネットのパラダイム
である図１３の一点鎖線の枠内に示した３層ニューラル
ネット（図１２のものと同じ）を基にして、プリミティ
ブな、即ち基本的な画像情報を学習させる。各々のニュ
ーロンについて中間学習が終了した時点で、これらをマ
クロ的に１つの中間ニューロン（マクロニューロン）と
定義し、図１３のように新たにニューラルネットの入力
層及び出力層を付加して既知中間層を備えたニューラル
ネットを構成し、これを全体のニューラルネットモデル
と定義する（図中、黒い四角形がマクロニューロンを示
す）。

【０００８】この図１３に示した全体のニューラルネッ
トモデルの上で、目的とする認識を実現するための学習
を行うことにより、当初の目的を達成することが可能と
なる。なお、この手法によって構成されたニューラルネ
ットでも認識が不可能な対象に対しては、更に認識のた
めのセグメンテーションの細分化を行い、同様な手順に
従って多段の多層ニューラルネットを構成することによ
り、対象画像情報の認識を実現している。

【０００９】

【発明が解決しようとする課題】しかしながら、前記従
来のニューラルネットモデルを画像認識に適用する場合
は、画像認識を全てニューラルネットで処理しようとし
ているため、複雑な認識を行うためには、上述の手順を
深くネスティングすることが必要である。即ち、多数の
ニューロンからなる多段多層のニューラルネットモデル
を用いることが必要となる。

【００１０】従って、前記従来のニューラルネットモデ
ルで画像認識が実現できるとしても、非常に多くの演算
を必要とするため（ニューロン数が増えれば、その数に
比例した演算数が要求される）、画像認識に要する処理
時間が長くなる。

【００１１】その結果、ニューラルネットは、本来高速
認識を可能とする手段であることを考えれば、ニューラ
ルネットを用いる意味がなくなる。又、上記処理の長時
間化をハードウェアで解決しようとすると、その規模が
大きくなる等の実用上の問題が生じる。

【００１２】又、ニューロンの数が多くなると、学習の
回数もニューロンの数を乗じた数だけ行う必要があるこ
とから、ニューロンに対して行う学習の面でも問題が生
じる。例えば、前記図１３に示したような、３層ニュー
ラルネットを１ニューロンと見立てたマクロニューロン
１個につき、千回の学習が必要であるとすると、マクロ
ニューロンの数が１００個存在する場合には、学習回数
が１０万回となる。仮に、１回当たりの学習に１０秒必
要であるとしても（実際には数分を要する場合が多
い）、学習に要する時間は全体として２７７時間（１
１．５日）となり、実用的でない。

【００１３】従って、学習に要する時間を実用レベルに
するためには、ニューロンの数を削減することが極めて
重要となる。それ故、前記図１３に示したようなマクロ
ニューロンで中間層を構成した従来のニューラルネット
モデル（図１２のニューラルネットモデルの場合は、認
識できない対象にはそれ以上手を施すことができない）
の場合は、画像認識は理論上可能であるが、学習所要時
間を実用レベルにすることができるニューロン数を考え
ると、適用できるニューラルネットの規模は自ずと制限
され、結局認識することができない対象が存在するとい
う問題がある。

【００１４】本発明は、前記従来の問題点を解決するべ
くなされたもので、ニューラルネットだけでは認識が不
可能又は認識に厖大な時間を要する対象画像に対して
も、高速で且つ効率よく画像認識することができ、しか
もニューラルネットに対する学習も高速で行うことがで
きる画像認識装置を提供することを課題とする。

【００１５】

【課題を解決するための手段】本発明は、画像認識装置
において、対象画像から原画像情報を入力し、該原画像
情報から抽象情報を抽出する画像処理部と、該画像処理
部で抽出した抽象情報と共に、前記対象画像から原画像
情報を直接入力し、抽象情報と原画像情報とを統合して
画像認識結果を出力するニューラルネットと、を備えて
いることにより、前記課題を達成したものである。

【００１６】又、本発明は、前記画像認識装置におい
て、前記ニューラルネットと、該ニューラルネットに直
接入力する前記原画像情報の出力端との間に少なくとも
１つの他のニューラルネットが配設されていることによ
り、更に確実に前記課題を達成したものである。

【００１７】又、本発明は、前記画像認識装置におい
て、前記画像処理部に対し、原画像情報が対象画像１フ
レーム全体から入力され、前記ニューラルネットに対
し、原画像情報が対象画像１フレームから切り出された
ブロックを単位として入力されるようにしたことによ
り、同様に前記課題を達成したものである。

【００１８】又、本発明は、前記画像認識装置におい
て、前記画像処理部及び前記ニューラルネットのいずれ
に対しても、原画像情報が対象画像１フレームから切り
出されたブロックを単位として入力されるようにしたこ
とにより、同様に前記課題を達成したものである。

【００１９】又、本発明は、前記画像認識装置におい
て、前記画像処理部で抽出された抽象情報が、前記ニュ
ーラルネットの中間層に入力されるようにしたことによ
り、同様に前記課題を達成したものである。

【００２０】又、本発明は、対象画像から原画像情報を
入力し、該原画像情報から抽象情報を抽出する画像処理
部と、該画像処理部で抽出した抽象情報と共に、前記対
象画像から原画像情報を直接入力し、抽象情報と原画像
情報とを統合して画像認識結果を出力するニューラルネ
ットとを備えている画像認識装置の学習方法であって、
前記ニューラルネットの出力層に教師信号を与え、該ニ
ューラルネットの出力を該教師信号と一致させるための
学習をニューラルネット全体に対して行うことにより、
前記課題を達成したものである。

【００２１】又、本発明は、前記画像認識装置の学習方
法において、前記ニューラルネットと、該ニューラルネ
ットに直接入力する前記原画像情報の出力端との間に少
なくとも１つの他のニューラルネットを配設し、各ニュ
ーラルネットの出力層毎に各教師信号を与え、該ニュー
ラルネットの出力を該教師信号に一致させるための学習
を行い、全てのニューラルネットを統合することによ
り、同様に前記課題を達成したものである。

【００２２】

【作用】本発明においては、画像認識装置を画像処理部
とニューラルネットとを備えた構成とし、認識の対象で
ある対象画像からの原画像情報を上記画像処理部で処理
し、その処理結果をニューラルネットに入力すると共
に、上記原画像情報を直接ニューラルネットに入力する
ようにしたので、対象画像に含まれる原画像情報を、広
義の画像処理（数式演算処理）を行うことができる事象
（第１情報）と、画像の原情報をニューラルネットで直
接処理する必要のある事象（第２情報）とに分類し、第
１情報は画像処理部で数式演算により予め抽象情報に変
換した後に、第２情報は直接、それぞれニューラルネッ
トに入力し、これら両情報を統合して画像を認識するこ
とが可能となるため、第１情報を直接ニューラルネット
に入力する場合に比べて対象画像に対する画像認識を極
めて少ないニューロンで構成されたニューラルネットを
用いて行うことが可能となる。

【００２３】従って、本発明によれば、ニューラルネッ
トを少ないニューロンで構成できることから、ニューラ
ルネットによる画像認識のための信号処理を高速で行う
ことが可能となると共に、従来ニューラルネットのみで
は認識が不可能又は認識に厖大な時間を要した対象画像
にも対しても、画像認識を速やかに且つ効率よく行うこ
とが可能となり、しかもニューラルネットに対する学習
も速やかに行うことが可能となる。又、本発明によれ
ば、画像情報から得られる個別情報のうち、ニューラル
ネットによる直接処理に適さない抽象情報の原情報を除
いた部分のみを直接ニューラルネットに入力するように
したので、ニューラルネットでは必要な処理のみを行う
ことが可能となり、画像認識の効率化が図れる。

【００２４】又、全体を１つのニューラルネットとして
学習を行う方法を採用する場合は、学習収束に時間がか
かるが、開発者は認識のための詳細アルゴリズムを考慮
する必要がない。

【００２５】又、複数のニューラルネット（マクロニュ
ーロン）からなるニューラルネットについて、各ニュー
ラルネット毎に学習を行う方法を採用する場合は、開発
者が、認識のための詳細アルゴリズムを開発し、それに
対応するニューラルネットの構築が必要となるが、全体
を一つのニューラルネットとして学習する場合は収束す
る保証がないのに対し、収束は必ず保証され、学習収束
も早い。

【００２６】なお、前記の広義の画像処理を行うことが
できる事象（第１情報）とは、数式演算により抽象情報
に変換することができる対象画像に含まれる原情報であ
り、この抽象情報としては、画像情報以外の、例えば次
のものを挙げることができる。ヒストグラム、プロファ
イル、フーリエ変換、ラベリング、モーメント、複雑
度、フィレ径、オイラー数、図形最大長、図形最小長、
最大長方向占有率、微分ヒストグラム、最近接重心間距
離、円度、ピタゴラス最大長、フィレ径方向占有率。

【００２７】又、原情報をニューラルネットで直接処理
する必要のある事象（第２情報）とは、数式演算、即ち
従来のノイマン型コンピュータによっては分類が不可能
又は困難な複数の画像情報を意味し、具体例としては次
のものを挙げることができる。

【００２８】（１）同一形状であっても色が異なるた
め、同一のものとして扱う場合とそうでない場合がある
図形（例えば、色が異なる四角形）。

【００２９】（２）同一形状であっても大きさが異なる
ため、同一のものとして扱う場合とそうでない場合があ
る図形（例えば、大きさが異なる四角形）。

【００３０】（３）面積又は周囲長が同一であっても形
状が異なっているため、同一のものとして扱う場合とそ
うでない場合がある図形（例えば、面積の等しい三角形
と四角形）。

【００３１】上記（１）〜（３）それぞれに示した図形
に対しては２以上の分類の仕方がある。例えば、（１）
の色が異なる四角形の場合であれば、四角形であるから
同一であるという認識と、四角形でも色が異なるから同
一ではないという２通りの分類の仕方が可能であるが、
このような分類にはノイマン型コンピュータは適さな
い。

【００３２】以下、本発明の基本概念を示す図１を参照
して、本発明について詳述する。

【００３３】図１は、本発明の画像認識装置の一例を示
す概略構成図であり、該画像認識装置は、画像処理部１
０及びニューラルネット（以下、ＮＮと略記することも
ある）を備えている。上記画像処理部１０には、図中Ａ
で示す１フレーム画像データ（対象画像）全体から原画
像情報に含まれる第１情報が入力され、該画像処理部１
０において上記１フレーム画像データＡの全体について
所定の画像処理（数式演算）が施され、その処理結果で
ある抽象情報が前記ニューラルネットの入力層Ｉに入力
されるようになっている。

【００３４】又、上記入力層Ｉには、上記１フレーム画
像データＡを所定の大きさに分割して切出したブロック
データＢから、そこに含まれる原画像情報が直接入力さ
れるようになっている。

【００３５】従って、上記ニューラルネットの入力層Ｉ
は、上記画像処理部１０からの出力信号の数とブロック
データＢからの出力信号の数（ブロックデータＢに含ま
れる画素数）とを合わせた数のニューロン（黒丸で示
す）で構成されている。

【００３６】上記ニューラルネットは、その入力インタ
フェイスである上記入力層Ｉと、該入力層Ｉの後方に配
された、第１〜n のn 層の中間層Ｍ1 〜Ｍn と、最後段
の第n 中間層Ｍn からの入力信号に基づいて該ニューラ
ルネットで認識した結果である認識信号を統合する出力
層０とから構成されている。

【００３７】上記中間層Ｍ1 〜Ｍn 及び出力層０は、通
常、それぞれ異なる数からなる複数のニューロンで構成
されている。

【００３８】上記第１中間層Ｍ1 に含まれるニューロン
と、次の第２中間層Ｍ2 に含まれるニューロンとの間は
互いに結合されており、該第２中間層Ｍ2 に含まれるニ
ューロンと更にその次の第３中間層（図示せず）に含ま
れるニューロンとも同様に互いに結合されている。以
下、同様にして第n 中間層Ｍn までニューロン間の結合
がなされている。又、最後段の第n 中間層Ｍn のニュー
ロンは出力層０に含まれるニューロンと互いに結合され
ている。

【００３９】なお、各層に含まれるニューロンは、前段
の層に含まれるニューロン全てと結合されることを基本
とするが、実際の結合関係は必要な情報を認識する上で
必ずしも全てのニューロンに結合しなくてもよい場合も
ある。即ち、必要な情報のみが次段へ伝達できるように
結合されていればよい。

【００４０】前述の如く、上記ニューラルネットで認識
する対象は、１フレーム画像データＡであり、画像処理
部１０には、１フレーム全体の画像データＡから第１情
報が入力されるようになっており、その１フレーム全体
について必要な画像処理を施し、画像認識に必要な抽象
情報を抽出する。具体的には、例えば認識しようとする
対象が、ある一定面積のものである場合にはその面積
を、又、形状認識を行う場合にはオイラー数を求める画
像処理をそれぞれ施す。

【００４１】上記画像処理部１０で行った処理結果、即
ち面積やオイラー数等の抽象情報として抽出された個別
情報は、前記ブロックデータＢから直接得られる原画像
情報（第２情報）と共に入力層Ｉへ入力され、更に、隣
接する第１中間層に入力され、これら両情報が統合され
た状態で処理されるようになっている。

【００４２】以上詳述した図１の画像認識装置において
は、下記の手順に従って画像認識を行うことができる。
なお、ここでは中間層及び出力層に含まれる各ニューロ
ンが、前記図１３に示したようなマクロニューロンであ
り、最終的に必要とする認識情報を分析し、各々プリミ
ティブな認識を行うことにより全体のネットワーク機能
を実現している場合について説明する。

【００４３】まず、最終出力を行う出力層で画像認識す
るべき目的に対し、その認識を実現するために必要な各
要素（個別）情報（例えば、認識対象が四角形であれ
ば、角、線分等）に分類する。分類したこれら個別情報
を各中間層のニューロンに割り当てる。その際、中間層
は前段では最も単純化された情報の認識を行い、後段で
は前段において認識した個別の認識情報をもとにしてこ
れらを統合した上位の認識を行うようにする。

【００４４】ここでいう個別情報には、ブロックデータ
Ｂに含まれる、例えば各画素から入力されるＲ（赤）、
Ｇ（緑）及びＢ（青）と、画像処理部１０で抽出される
抽象情報とが含まれる。

【００４５】以上の考えのもとで以下の手順に従ってニ
ューラルネットに対する学習を行い、各ニューロンの結
合重みを収束させる（決定する）。

【００４６】上記個別情報が割り当てられたニューロン
について、１つの情報を認識する中間ニューロン（マク
ロニューロン）が定義された認識を行うようにするため
に、入力側に学習用の入力信号を与えると共に、定義さ
れた情報を出力するように出力側に教師出力を与え、逆
伝播により、例えば平均自乗誤差が最小となるように各
ニューロンの結合重み（ウェイト）を決定し、更にこの
操作を種々の入力に対して繰返し行う工程からなる学習
を行う。

【００４７】上記学習が終了した後、即ち１つのニュー
ロンに対して学習を行った結果、平均自乗誤差がある閾
値以下に収束した後、別のニューロンに対して上述と同
様の学習を行う。こうして、第１中間層に含まれる全て
のニューロンに対する学習が終了したら、同様の手順に
従って次の第２中間層について学習を行い、順次同様の
手順に従って最後段の第n 中間層まで学習を行う。

【００４８】更に、出力層に対しても同様に前記学習を
実行することにより、図１に示した多層ニューラルネッ
トを構築する。

【００４９】このようして多層ニューラルネットを構築
した後、認識対象である１フレームの未知の画像データ
Ａに含まれる情報を該ニューラルネットに入力し、且つ
１フレーム全体の画像を認識するために、ブロックデー
タＢについて１フレーム全体に亘ってスキャンニングを
行う。こうすることにより、並行移動に対する認識が可
能となるため、１フレーム画像データＡの全体について
画像認識を行うことが可能となる。

【００５０】なお、ニューラルネットによる画像認識に
必要な情報がブロックデータＢに限定される場合には、
該データＢに含まれる第１情報を前記画像処理部１０で
処理するようにすることもできる。

【００５１】以上詳述した画像認識装置によれば、従来
認識が不可能又は認識に膨大な時間を要した画像情報を
も正確にかつ迅速に認識することが可能となる。

【００５２】又、ニューラルネットによる処理に適さな
い第１情報を画像処理部１０で処理することにより、ニ
ューラルネットを構成するニューロンの数を大幅に削減
することが可能となるため、ニューラルネットに対する
学習を高速で実行することが可能となる。

【００５３】従って、複雑な画像認識も、ニューラルネ
ットに対する学習も、共に実用レベルの時間で実行する
ことが可能となる。

【００５４】又、ニューラルネットでは、ニューラルネ
ットによる処理に適した画像情報のみを処理するように
したので、学習の収束が保証されると共に収束迄に要す
る学習回数も少なくなり、ハードウェア規模を小さくす
ることも可能となる。

【００５５】又、多層ニューラルネットの構築が可能で
あり、ニューラルネット開発者が独自に定義した神経網
を設計でき、より複雑な認識も可能となる。

【００５６】次に、本発明について、簡単な例を用いて
更に説明する。

【００５７】図２は、種々の大きさの三角形、四角形、
丸等の中から特定の大きさの正方形を認識することがで
きる画像認識装置の概略を示すブロック図である。

【００５８】上記画像認識装置は、第１ニューラルネッ
トＮＮ・１（特定正方形認識ＮＮ）と、前記図１に示し
たブロックデータＢ（原画像情報の出力端）との間に、
角認識ＮＮ、線分認識ＮＮ及び正方形統合認識ＮＮの３
つのニューラルネットを更に配設したものであり、これ
ら４つの各ニューラルネットは、それぞれ、例えば図１
２に示したような３層構造であり、それぞれが個別情報
に対する認識機能を備えている。

【００５９】上記装置では、前記図１で示したと同様の
１フレーム画面データＡ全体から（必要な情報がブロッ
クデータＢに限定されている場合は、該ブロックデータ
Ｂからでもよい）、画像認識部１０へ原画像情報に含ま
れる第１情報が入力され、データＡに含まれる各図形の
面積（抽象情報）を算出し、その結果を第１ニューラル
ネットＮＮ・１へ出力するようになっている。

【００６０】一方、ブロックデータＢからは原画像情報
が直接に角認識ＮＮ及び線分認識ＮＮへ入力され、ブロ
ックデータＢに含まれる図形（画像）に角及び線分が存
在するか否かがそれぞれ認識される。角認識ＮＮ及び線
分認識ＮＮによる認識結果は、それぞれ正方形統合認識
ＮＮに入力され、そこで上記両ＮＮの認識結果が統合さ
れ、４つの角（直角）がそれぞれ同一長さの線分で結合
されているものが正方形と認識され、その認識結果が前
記第１ニューラルネットＮＮ・１に入力される。

【００６１】この第１ニューラルネットＮＮ・１では、
正方形統合認識ＮＮによる認識結果（正方形）と画像処
理部１０からの面積とが統合され、特定の面積の正方形
のみ（１つとは限らない）が認識される。

【００６２】従って、上記装置によれば、角認識ＮＮ及
び線分認識ＮＮに対するブロックデータＢからの画像情
報の入力を、１フレーム画像データＡ全体についてスキ
ャニングを行うことにより、該画像データＡに含まれる
特定の大きさの正方形が第１ニューラルネットＮＮ・１
から出力されるため、正方形の認識に行うことができ
る。その際、大きさの異なる正方形が複数存在している
場合で、又、回転している場合でも、その中から特定の
正方形のみを認識することができる。

【００６３】上記装置におけるニューラルネットの学習
は、画像情報の出力端、即ちフレーム画面に近い上流側
のものから順次行う。

【００６４】即ち、まず角認識ＮＮと線分認識ＮＮとに
ついて学習を行う。角認識ＮＮに対する学習は、その入
力側に角の画像（個別情報）に相当する学習用の信号を
入力し、その出力側に教師信号Ｔ₁ を入力し、出力が最
適化されるように、前述した逆伝播（バックプロパゲー
ション）により行う。同様に、線分認識ＮＮについて
も、入力側に線分の画像に相当する学習信号を入力し、
出力側に教師信号Ｔ₂ を入力して学習を行う。

【００６５】このように角及び線分の両認識ＮＮに対す
る学習が終了した後、これら両認識ＮＮを、後段の正方
形統合認識ＮＮに結合する。次いで、これら両認識ＮＮ
の入力側に同一の学習用信号を入力すると共に、正方形
統合認識ＮＮの出力側に教師信号Ｔ₃ を入力し、上記両
認識ＮＮからの入力信号に基づいて正方形を認識するよ
うに該統合認識ＮＮに対する学習を行う。

【００６６】正方形統合認識ＮＮに対する学習が終了し
た後、該統合認識ＮＮを、その後段の特定正方形認識Ｎ
Ｎに結合し、上記正方形統合認識ＮＮの場合と同様に学
習用信号を与えると共に、画像認識部１０からの出力信
号を特定正方形認識ＮＮに入力し、特定の大きさの正方
形を出力させるためにその出力側に教師信号Ｔ₄ を入力
して、該特定正方形認識ＮＮに対する学習を行う。こう
して、４つのニューラルネットが有機的に結合され、全
体として特定の正方形を認識することができるニューラ
ルネットを構築することができる。

【００６７】このように、複数のニューラルネットによ
り画像認識装置を構成する場合には、１つのニューラル
ネットを簡単な構成とすることができるため、学習によ
る各ニューラルネットの重み係数の収束を迅速に行うこ
とができ、ニューラルネット全体としても学習を速やか
に行うことが可能となる。

【００６８】なお、ニューラルネットは、上述したよう
にそれぞれが単純化された画像情報の認識機能を有する
ものである必要はなく、例えば、角、線分及び正方形統
合の各認識ＮＮを、１つにまとめて第２ニューラルネッ
トＮＮ・２としてもよく、更には第１ニューラルネット
ＮＮ・１をも含めて、全体を１つの全ニューラルネット
ＮＮ・Ｔとしてもよい。

【００６９】上記第２ニューラルネットＮＮ・２及び全
ニューラルネットＮＮ・Ｔは、いずれも内部がブラック
ボックスとなるため、それぞれのニューラルネット全体
に対する学習が行われることになる。即ち、第２ニュー
ラルネットＮＮ・２に対しては、所定の学習用信号の入
力に対して教師信号Ｔ₃ を与えることにより、破線で示
すように該第２ニューラルネットＮＮ・２の全体に対す
る学習を行なう。又、全ニューラルネットＮＮ・Ｔの場
合も同様に教師信号Ｔ₄ を与えることにより、その全体
の学習を行う。

【００７０】又、図２に示した４つのニューラルネット
を１つにまとめた全ニューラルネットＮＮ・Ｔとする場
合には、各認識ＮＮを、前記図１３に示したような、例
えば３層からなるマクロニューロンで構成することがで
きる。このように、各認識ＮＮをマクロニューロンとす
ると、角及び線分認識ＮＮは第１中間層で、正方形統合
認識ＮＮは第２中間層、特定正方形認識ＮＮは第３中間
層とすることができる。

【００７１】このように、全ニューラルネットＮＮ・Ｔ
を３層の中間層を備えた構造とする場合には、画像処理
部１０からの出力（抽象情報）は第３中間層に直接入力
されることになる。画像処理部１０の出力を中間層に直
接入力する場合には、適切なニューロンに抽象情報を入
力させることが可能となるため、目的とする画像認識を
一段と効率良く行なうことができる利点がある。

【００７２】図３は、特定の大きさの円を認識するため
の画像認識装置を示すブロック図である。

【００７３】この装置は、前記図２に示したものに曲線
認識ＮＮを付加し、且つ正方形統合認識ＮＮを円統合認
識ＮＮに変更した構成と実質的に同一のものである。

【００７４】ここでは、曲線認識ＮＮからは曲線がある
か否か、角認識ＮＮからは角が、又、線分認識ＮＮから
は線分が、それぞれあるか否かの認識結果が円統合認識
ＮＮに入力されるようになっている。曲線認識ＮＮから
曲線があるという認識結果が、角及び線分の各認識ＮＮ
から角がない、線分がないという否定の認識結果が、そ
れぞれ上記円統合認識ＮＮに入力されると、該円統合認
識ＮＮでは円があるという認識が行われる。その円認識
結果が次の特定円認識ＮＮに入力されると、該特定円認
識ＮＮは画像処理部１０から入力された面積に関する情
報を上記円認識結果と統合し、特定の大きさの円を認識
して出力することができる。

【００７５】なお、各認識ＮＮがマクロニューロンであ
るとすると、前述した図２のニューラルネットと図３の
ニューラルネットとを統合して、図４に概念的に示す３
層の中間層を備えた１つのニューラルネットとすること
ができる。図中、ニューロンＮ₁ 〜Ｎ₇ は、それぞれ
角、線分、曲線、正方形統合、円統合、特定正方形、特
定円の各認識ＮＮに相当している。

【００７６】本発明に適用するニューラルネット（単純
化された個別情報の認識機能を有する上述した各認識Ｎ
Ｎも含む）では、中間層の層数は特に制限されないが、
以下に説明する如く、一般に中間層の層数が多い程、分
離能力が高い特徴を有する。

【００７７】図５（Ａ）は、ＥＸＯＲ回路における入力
Ｘ、Ｙと出力Ｚとの関係を示したものであり、この関係
をＺ＝０の場合を黒丸で、Ｚ＝１の場合を白丸で、それ
ぞれＸＹ座標上に表わしたのが同図（Ｂ）である。

【００７８】今、図５（Ｂ）の中の黒丸同士又は白丸同
士をニューラルネットを使って分離することを考える。
ニューラルネットの中間層が１層の場合は、ハミング距
離を考えると、図６（Ａ）に示すように、分離不可能で
あり、２層にすると同図（Ｂ）に示すように分離するこ
とが可能となる（これは、ＥＸＯＲ回路における演算が
２段階であることに対応している）。

【００７９】

【実施例】以下、図面を参照して、本発明の実施例を詳
細に説明する。

【００８０】図７は、本発明に係る第１実施例の画像認
識装置を示す概略構成図である。

【００８１】本実施例の画像認識装置は、ニューラルネ
ット及び画像処理部を専用ハードウェアにて構成したも
のであり、画像入力手段としてのカメラ２０と、該カメ
ラ２０から入力された画像信号をアナログ→デジタル変
換するＡ／Ｄ変換器２２と、該Ａ／Ｄ変換器２２から入
力される画像データを格納するフレームメモリ（ＦＭ）
２４と、該フレームメモリ２４に格納されている広義の
画像処理を施すことができる画像データ（第１情報）を
入力し、該画像データに対して画像処理を行なって抽象
情報を抽出する画像処理部（ＩＰ）２６と、上記フレー
ムメモリ２４に格納されている、例えば統括処理する必
要のある画像データ（第２情報）を上記抽象情報と共に
入力し、該画像データ及び抽象情報に対して所定の信号
処理を行うニューラルネット処理部２８とを備えてい
る。

【００８２】又、上記画像認識装置は、Ａ／Ｄ変換器２
２、フレームメモリ２４、画像処理部２６及びニューラ
ルネット処理部２８をそれぞれ適切に制御するシステム
コントローラ３０と、該システムコントローラ３０やニ
ューラルネット処理部２８における学習機能を制御する
エンジニアリング・ワークステーション３２とを備えて
いる。

【００８３】前記ニューラルネット処理部２８は、前記
図１に示したものと同構成の多層ニューラルネットを備
えており、該ニューラルネットの各層は、図８にモデル
として概念的に示したニューロンＮで構成されている。
１つのニューロンＮは、図示するように、入力信号Ｉi
（i ＝１〜Ｎ）のそれぞれに対応するウェイト（結合重
み）Ｗi を掛け合わせた値を全て加算し、該加算値を非
線形関数Ｆ（）により変換し、その関数値を出力する機
能を有するものと定義される。この１ニューロンの出力
をＯとすると、この出力は次の（１）式で与えられる。

【００８４】

【数１】

【００８５】上記（１）式でθは閾値である。

【００８６】今、閾値をも取込んだニューロンモデルを
図９のように仮定すると、閾値θ＝Ｗ0 ×１であり、閾
値自体を学習により変更することが可能となる。即ち、
非線形関数Ｆ（）を下記（２）式で与えられるシグモイ
ド関数：f（x ）とすると、図１０のシグモイド特性に
示すように、入力に対する出力を平行点に移動すること
が可能となる。つまり、全ての入力に対して出力が１又
は０となる中心位置に閾値θを設定することが可能とな
る。

【００８７】 f（x ）＝１／（１＋ exp（−x ）） …（２） x ：入力

【００８８】上記ニューラルネット処理部２８には、上
述した機能を有するニューロンが複数存在し、これらニ
ューロンによって前記図１に示したような多層ニューラ
ルネットが構成されている。

【００８９】又、上記ニューラルネット処理部では、前
述した手順に従って学習が行われる。即ち、ニューラル
ネットを構成する１つのニューロンの出力値をＯ_I に対
する教師信号Ｔ_I との差分の平均自乗誤差を最小とする
ように、上記ウェイトＷi を更新する操作が行われる。
なお、平均自乗誤差Ｅは、次の（３）式で表わすことが
できる。

【００９０】

【数２】

【００９１】上記ニューラルネット処理部２８における
学習は、各層を構成する全てのニューロンについて、且
つ全ての層について前記図１に示したニューラルネット
の場合と同様に行うことができる。

【００９２】前述の方法に従って全てのニューロンに対
して学習が完了した後、本実施例の画像認識装置により
画像の認識を行うことが可能となる。

【００９３】次に、本実施例による画像認識を具体的に
説明する。ここでは、ＮＴＳＣ方式による映像信号から
のＲ、Ｇ、Ｂのコンポーネント信号を入力する場合につ
いて説明する。

【００９４】本実施例では、信号の同期を確立するため
に、ＨＤ、ＶＤのタイミング信号を用いた。このタイミ
ング信号に同期した画像信号がカメラ２０から出力さ
れ、その画像信号がＡ／Ｄ変換器２２へ入力される。こ
のＡ／Ｄ変換器２２では、Ｒ、Ｇ、Ｂ各々の画像信号が
デジタル化され、そのデジタル化された画像データはフ
レームメモリ２４に格納される。その際、システムコン
トローラ３０は、フレームメモリ２４への書込みが可能
な時点でＡ／Ｄ変換器２２でデジタル化された画像デー
タを書込む制御を行う。

【００９５】上記フレームメモリ２４は、ダブル・バッ
ファ構成を採り、Ａ／Ｄ変換器２２からの画像データの
書込みが終了した時点でバンクを切換え、既に書込みが
終了したバンクを、画像処理部２６及びニューラルネッ
ト処理部２８側からの読出側へ切換えると同時に、他方
のバンクをＡ／Ｄ変換器２２からの画像データの書込側
として機能させる。

【００９６】上記フレームメモリ２４に記憶されている
画像データを画像処理部２６に読出し、必要な画像処理
を施す。１フレーム分の処理が終了した時点で、上記画
像処理部２６から処理結果が出力され、ニューラルネッ
ト処理部２８に入力されると同時に、該ニューラルネッ
ト処理部２８においてニューラルネットによる処理が開
始される。

【００９７】上記ニューラルネット処理部２８で認識さ
れた１フレーム分の画像データについての認識結果は、
該ニューラルネット処理部２８から出力される。以上の
操作によって画像認識が完了する。

【００９８】なお、本実施例においては、フレームメモ
リ２４とニューラネット処理部２８との間に、他のニュ
ーラルネットを備えたニューラルネット処理部２８Ａを
配設し、該処理部２８Ａで前処理を行うようにしてもよ
く、更に、図示はしないが同位置に２以上の他のニュー
ラルネット処理部を配設してもよい。

【００９９】図１１は、本発明に係る第２実施例の画像
認識装置を示す概略構成図である。

【０１００】本実施例の画像認識装置は、前記第１実施
例における画像処理部２６、ニューラルネット処理部２
８、システムコントローラ３０及びワークステーション
３２の各機能をソフトウェアにより、ワークステーショ
ン３２Ａ上で実行するようにした以外は、前記第１実施
例の画像認識装置と実質的に同一である。

【０１０１】従って、本実施例によれば、第１実施例に
比べて処理速度が遅くなるために長時間を要するもの
の、ソフトウェアによりニューラルネットを構築できる
ため、適応的なニューラルネットによる画像認識を容易
に実現することができ、しかもニューラルネットに対す
る学習も同じソフトウェアにて行うことができる。

【０１０２】以上、本発明について具体的に説明した
が、本発明は、前記実施例に示したものに限られるもの
でなく、その要旨を逸脱しない範囲で種々変更可能であ
る。

【０１０３】例えば、入力層に直接入力される個別情報
は、画素毎のＲ、Ｇ、Ｂに限られるものでない。

【０１０４】又、画像認識装置の具体的な構成も、前記
実施例に示したものに限定されるものでなく、又、マク
ロニューロンも３層に限定されるものではない。

【０１０５】又、画像処理部では、ニューラルネットで
エッジ情報に基づいて画像認識するためのエッジ抽出、
認識し易い画像情報に変換するためのシェーディング補
正やノイズ除去、特定形状の物体の中から特定の数の粒
子が含まれている物体のみを抽出するためのラベリン
グ、エッジ抽出等の画像から画像への写像、等の種々の
処理を行うことができる。

【０１０６】

【発明の効果】以上説明した通り、本発明によれば、従
来、ニューラルネットでは認識が不可能又は認識に厖大
な時間がかかった対象画像情報であっても、画像認識を
高速で行うことができ、しかもニューラルネットに対す
る学習も高速で行うことができる。

【０１０７】又、ニューラルネットを構成するニューロ
ン数を減らすことができるため、ハードウェア規模を小
さくすることができる。

【０１０８】又、全体を１つのニューラルネットとして
学習を行う方法場合には、学習収束に時間がかかるが、
認識のための詳細アルゴリズムを考慮する必要がないと
いう利点がある。

【０１０９】又、複数のニューラルネット（マクロニュ
ーロン）からなるニューラルネットについて各ニューラ
ルネット毎に学習を行う場合には、認識のための詳細ア
ルゴリズムを開発し、それに対応するニューラルネット
の構築が必要となるが、全体を一つのニューラルネット
とする学習の場合は収束する保証がないのに対して、収
束は必ず保証され、学習収束も早いという利点がある。

【図面の簡単な説明】

【図１】図１は、本発明に係る画像認識装置の一例を概
念的に示す概略構成図である。

【図２】図２は、本発明に係る画像認識装置の他の一例
を示すブロック図である。

【図３】図３は、本発明に係る画像認識装置の更に他の
一例を示すブロック図である。

【図４】図４は、図２と図３のニューラルネットを統合
した概念図である。

【図５】図５は、ＥＸＯＲ回路を説明するための線図で
ある。

【図６】図６は、ニューラルネットの分離能力を説明す
るための線図である。

【図７】図７は、本発明に係る第１実施例の画像認識装
置を示す概略構成図である。

【図８】図８は、ニューロンモデルの一例を示す概略説
明図である。

【図９】図９は、閾値を取込んだニューロンモデルの一
例を示す概略説明図である。

【図１０】図１０は、シグモイド特性を示す線図であ
る。

【図１１】図１１は、本発明に係る第２実施例の画像認
識装置を示す概略構成図である。

【図１２】図１２は、従来のニューラルネットを示す概
略説明図である。

【図１３】図１３は、他の従来のニューラルネットを示
す概略説明図である。

【符号の説明】

１０、２６…画像処理部、 ２０…カメラ、 ２２…Ａ／Ｄ変換器、 ２４…フレームメモリ、 ２８…ニューラルネット処理部、 ３０…システムコントローラ、 ３２、３２Ａ…エンジニアリング・ワークステーショ
ン、 Ａ…フレーム画像データ、 Ｂ…ブロックデータ、 Ｎ…ニューロン。

Claims (7)

【特許請求の範囲】
1. 【請求項１】対象画像から原画像情報を入力し、該原画
   像情報から抽象情報を抽出する画像処理部と、 該画像処理部で抽出した抽象情報と共に、前記対象画像
   から原画像情報を直接入力し、抽象情報と原画像情報と
   を統合して画像認識結果を出力するニューラルネット
   と、 を備えていることを特徴とする画像認識装置。
2. 【請求項２】請求項１において、 前記ニューラルネットと、該ニューラルネットに直接入
   力する前記原画像情報の出力端との間に少なくとも１つ
   の他のニューラルネットが配設されていることを特徴と
   する画像認識装置。
3. 【請求項３】請求項１又は２において、 前記画像処理部に対し、原画像情報が対象画像１フレー
   ム全体から入力され、 前記ニューラルネットに対し、原画像情報が対象画像１
   フレームから切り出されたブロックを単位として入力さ
   れるようになされていることを特徴とする画像認識装
   置。
4. 【請求項４】請求項１又は２において、 前記画像処理部及び前記ニューラルネットのいずれに対
   しても、原画像情報が対象画像１フレームから切り出さ
   れたブロックを単位として入力されるようになされてい
   ることを特徴とする画像認識装置。
5. 【請求項５】請求項１において、 前記画像処理部で抽出された抽象情報が、前記ニューラ
   ルネットの中間層に入力されるようになされていること
   を特徴とする画像認識装置。
6. 【請求項６】対象画像から原画像情報を入力し、該原画
   像情報から抽象情報を抽出する画像処理部と、 該画像処理部で抽出した抽象情報と共に、前記対象画像
   から原画像情報を直接入力し、抽象情報と原画像情報と
   を統合して画像認識結果を出力するニューラルネットと
   を備えている画像認識装置の学習方法であって、 前記ニューラルネットの出力層に教師信号を与え、該ニ
   ューラルネットの出力を該教師信号と一致させるための
   学習をニューラルネット全体に対して行うことを特徴と
   する画像認識装置の学習方法。
7. 【請求項７】請求項６において、 前記ニューラルネットと、該ニューラルネットに直接入
   力する前記原画像情報の出力端との間に少なくとも１つ
   の他のニューラルネットを配設し、 各ニューラルネットの出力層毎に各教師信号を与え、該
   ニューラルネットの出力を該教師信号に一致させるため
   の学習を行い、全てのニューラルネットを統合すること
   を特徴とする画像認識装置の学習方法。