JP3008233B2

JP3008233B2 - 被写体認識装置

Info

Publication number: JP3008233B2
Application number: JP4242456A
Authority: JP
Inventors: 修司小野; 哲大沢
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1991-09-12
Filing date: 1992-09-11
Publication date: 2000-02-14
Anticipated expiration: 2015-02-14
Also published as: JPH05210739A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像の中に所定の被写
体があるかどうかを認識する装置、より具体的には、画
像情報処理の際に、画像から抽出された所定被写体の候
補が所定の被写体であるか否かを判定する被写体認識装
置に関するものである。

【０００２】

【従来の技術】人間が画像を見て、その中に何があるか
を認識する。この動作は２つのステップに分解できると
いわれる。視点を動かし、認識対象を視野の中心に捕ら
え、同時に物体の大きさを把握する「発見・抽出」の動
作を行なう第１のステップ、そして注視点に存在する物
体が何であるかを、記憶や知識と照らし合わせて「判
別」する第２のステップである。人間は通常、この２つ
のステップを繰り返しながら、外界の情報を獲得してい
る。

【０００３】これに対し、マッチングに代表される、従
来の画像処理によるパターン認識技術においては、第２
のステップに重きがおかれ、第１の「発見・抽出」の部
分については、人間が介在して対象の切り出しや大きさ
の正規化を行なってやる必要があったり、郵便番号の自
動読みとり機に代表されるように、あらかじめ位置決め
された位置に対象物体を置かなければならなかったりと
いった制限があるものがほとんどであった。また、大き
さや位置の変化に強いパターン認識手法としては、不変
量に基づいて判別を行なう各種の方法が提案されてい
る。たとえば、セントラルモーメントを用いる方法、フ
ーリエ記述子を用いる方法、平均２乗誤差を用いる方法
などがあるが、これらの方法は、認識のために複雑な積
分演算や座標変換を行なう必要があり、どこに対象物体
があるのかわからない場合や、扱う画像が大きい場合に
は、膨大な計算量が必要となってしまう。また、これら
の方法は、画像中に複数の物体が存在する場合には、互
いの存在がノイズとなって認識結果を誤らせてしまう可
能性もあり、実用上、十分な方法ではない。

【０００４】対象物体の大きさや位置のずれに強いその
他の認識モデルとして、ネオコグニトロンがある（福
島：位置ずれに影響されないパターン認識機構の神経回
路モデル−ネオコグニトロン、電子通信学会論文誌A,J6
2-A(10),pp658-665,Oct.1979）。ネオコグニトロンは、
パターンマッチングを対象物体の微小部分に対して行な
い、その位置ずれを階層構造に依って、何段かに分けて
吸収しながら行なうという原理によるものである。この
ため、正確な認識とずれの吸収を両立させるためには、
おのずと限界が生じる。通常、ネオコグニトロンでは、
大きさに対しては４倍程度の変動しか許容できないとい
われる（永野：大きさに不変な特徴抽出をするニューラ
ルネット、コンピュートロール，NO.29,pp26-31 ）。同
様に、位置ずれに対しても対象物体の大きさの２〜３倍
程度しか許容できない。最近になって提案された選択的
注意の機構を組み込んだネオコグニトロンにおいても、
この許容能力は同様である。

【０００５】一方で、人間の視覚機能が、どのようにし
てこの第１のステップを実行しているかは、未だに解明
されていないが、視点の動作の様子に関しては、かなり
解明されつつある（樋渡：生体系における視聴覚情報処
理、情報処理,Vol.23,No.5,pp451-459(1982)、あるいは
外山：視覚系の構造と機能、情報処理,Vol.26,No.2,pp1
08-116(1985)等）。眼球運動には、サッケード運動、追
従運動、固視微動などがある事が知られている。これら
の運動をシミュレートするようなモデルもいくつか提案
されているが、画像の微分値の大きい方へ移動する（中
野：パターン識別学習システム、映像情報(I) ，1987/
1,pp31-37、あるいは白鳥ら：擬似網膜マスクによるサ
ッケード運動のシミュレーション、テレビ学技報 ITEJ
Tec.Rep.Vol.14,No.36,pp25-30, ICS ’90-54,AIPS’90
-46,June,1990)、明度の高い方へ移動する（平原ら：注
視点特定のためのニューラルネット、テレビ学技報 ITE
J Tec.Rep.Vol.14,No.33,pp25-30, VAI ’90-28,June,1
990)、あるいは輪郭の曲率の大きな点に移動する（乾
ら：特開平2-138677号公報）等、余りに単純で、いずれ
も人間の視覚機能をうまく模倣しているとはとてもいい
がたいものであった。

【０００６】さらに、認識対象を捕らえ、その全体を含
む領域を抽出するためには、対象物体の部分的な特徴に
のみ捕らわれることなく、対象全体の中心において視点
の運動が安定（停止）することが必要であるが、前述し
た既存の各種モデルでは、いずれもこのような動作を行
なわせることはできていない。例えば前述した白鳥らの
擬似網膜マスクによる方法では、視点は物体の輪郭線の
回りを行ったり来たりするだけで安定せず、また乾らの
モデルでは、視点はいつまでたっても物体のごく一部分
の特徴点しか捕らえることができない。また、ほとんど
の手法は、物体の背景が単純であることを暗黙の前提条
件として必要としており、一般写真のような自然画像に
対してほとんど適用できないものである。

【０００７】以上のように、位置ずれや大きさの変化を
人間が介在して吸収したり、あらかじめ位置や大きさの
正規化されていることが前提条件となっている場合に
は、良好な認識が可能な様々な手法が存在するが、認識
のために画像から対象とする被写体全体を、そっくり抽
出する優れた手法は存在しない。

【０００８】

【発明が解決しようとする課題】上述したように、人間
は認識すべき対象をあらかじめ外界の画像から適当な大
きさで抽出してから、効率的に認識処理を行っている。
これに対し、従来提案されてきた方法は、１つの処理系
で、外界画像中の対象物を認識しようとするため、非常
に複雑な手順や、膨大な時間が必要だったり、あるい
は、抽出部分に人間が介在する必要があったり、画像の
背景が単純である必要があったり、という問題があり、
十分実用に耐えられるものではなかった。これらの問題
はいずれも、認識すべき対象物体を外界の画像中から抽
出する有効な方法が存在せず、認識システムの判別部に
大きな負担をかけるような構造になっていたためであ
る。

【０００９】本発明は上記事情に鑑み、パターン認識を
行う際に、適切に所定被写体候補を抽出するとともに、
この抽出した所定被写体候補が所定被写体であるか否か
の判定を行うことができ、さらには、演算時間も短縮す
ることのできる被写体認識装置、および与えられた画像
から適切に所定の被写体を抽出することができる被写体
認識装置、さらに、与えられた所定被写体候補が所定被
写体であるか否かの判定を精度良く行うことができる被
写体認識装置を提供することを目的とするものである。

【００１０】

【課題を解決するための手段】本発明による被写体認識
装置は、画像から所定被写体の候補を抽出する手段と、
該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えたことを前提とするものであ
る。

【００１１】また、上記抽出を行う第１の手段は、所定
の大きさの注目領域の中心点を前記所定被写体候補の位
置へ移動させる手段と、前記注目領域の中心点を基準と
して、前記所定被写体候補の大きさおよび／または形状
に応じて抽出領域を決定する手段とを備えたことを特徴
とするものである。

【００１２】さらに、上記抽出を行う第２の手段は、画
像から所定の大きさを有する注目領域の範囲の画像を切
り出す手段と、この切り出された画像もしくはこの画像
を複素対数座標変した画像の全体の動き、画像内に含ま
れる所定被写体候補の色および／または画像内に含まれ
る所定被写体候補の輪郭線の傾きに基づいて、所定被写
体候補の色、輪郭線などの成分の注目領域中心点に対す
る方位と強度とを方位ベクトルとして求める手段と、こ
の方位ベクトルを合成して注目領域を移動させるための
注目領域移動ベクトルを求める手段と、この注目領域移
動ベクトルに基づいて注目領域の中心点を移動させる手
段と、この移動された注目領域の中心点を基準として、
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とするもの
である。

【００１３】また、上記抽出を行う第３の手段は、上述
した第２の手段により求められる注目領域移動ベクトル
をポテンシャル場の傾斜ベクトルとして、このポテンシ
ャル場の傾斜ベクトルを画像全体に記録することにより
ポテンシャル場のマップを作成する手段と、このポテン
シャル場のマップの極小点を基準として、所定被写体候
補の大きさおよび／または形状に応じて抽出領域を決定
する手段とを備えたことを特徴とするものである。

【００１４】また、ここで「ポテンシャル場」について
説明する。人間が、画像を見る際には、画像を見まわし
て、その画像の中にある所定の被写体（例えば、空を背
景とした人間の顔の画像であれば、その顔）の中心に視
点を移動して、その部分が顔であるということを認識す
る。画像上においては、所定被写体から離れた位置で
は、視点を所定被写体に向けて大きく動かす必要があ
り、所定被写体の近傍では、わずかに視点を動かせば所
定被写体に到達し、その所定被写体において視点は安定
する。すなわち、視点を移動する方向と量を視点移動ベ
クトルとすると、この視点移動ベクトルは視点が現在あ
る位置からみた視点安定点の方向と、移動量を示すもの
であり、視点安定点、すなわち所定被写体の中心点にお
いては、視点移動ベクトルは０となる。ここで画像に視
点安定度の「場」というものがあると考えると、視点安
定点ではその「場」は平坦であり、視点移動の必要な不
安定点では「場」は傾いている。このように、視点移動
ベクトルは「場」の傾きを表現していると見なすことが
でき、視点の移動は「場」のポテンシャルの低い方へと
移動する動作に等しいと見なすことができる。この視点
安定度の「場」を「ポテンシャル場」として、以後用い
ることとする。

【００１５】また、画像全体について算出された各ポテ
ンシャル場の傾斜ベクトルに基づいて前記画像全体のポ
テンシャル場のマップを作成するということは、ポテン
シャル場の傾斜ベクトルを人間の視点移動ベクトルと対
応させて、このポテンシャル場の傾斜ベクトルの矢印の
向いている方向にポテンシャル場が傾いているものとみ
なし、所定被写体候補の中心点においてポテンシャル場
の傾斜ベクトルは０、すなわちポテンシャル場が極小点
となるように場の傾きを画像全体について記録すること
をいう。このようにして作成されたマップを見れば画像
のある場所の視点が、その後どのような軌跡を描いて、
極小点に落ち込んでいくかが一目瞭然に理解できる。こ
の極小点を基準として所定被写体の大きさおよび／また
は形状に応じて抽出領域を決定するのである。

【００１６】また、上記判定を行う手段として、前記所
定被写体の複数の特徴部分それぞれについての複数の特
徴パターンを学習手段に学習させる手段と、前記所定被
写体候補の特徴部分が、前記所定被写体の特徴部分それ
ぞれについての複数の特徴パターンに含まれるか否かを
判定する手段と、前記所定被写体候補の特徴部分の位置
関係が、前記所定被写体の特徴部分の位置関係と一致す
るか否かを判定することにより前記所定被写体候補が前
記所定被写体であるか否かの判定を行う手段とを備えた
ことを特徴とするものである。

【００１７】なお、本発明の被写体認識装置における所
定被写体候補の抽出する手段および判定を行う手段の各
種具体的な態様は、請求項１から33に記載した通りのも
のであり、課題を解決するための手段としてここにその
内容を繰返すのは冗長となるので、ここでは省略する。

【００１８】

【作用】本発明による被写体認識装置によれば、まず画
像から所定被写体候補を抽出し、次いでこの抽出された
所定被写体候補が所定被写体であるか否かの判定を行う
ようにしている。このため、本発明の被写体認識装置を
内包するシステムの判別部に負担をかけることなく適正
かつ容易に所定被写体候補が所定被写体であるか否かの
判定を行うことが可能となり、さらに抽出と判別の処理
を行う際に、抽出と判別の処理を同時に並列的に行うこ
とができ、この被写体認識を行うための専用ハードウェ
アにおいて、きわめて高速な動作が可能となる。また、
所定被写体候補が含まれる画像の全面を処理する必要が
無くなるため、演算時間を短縮することができる。

【００１９】なお、具体的な抽出の形態として、所定被
写体候補の抽出を、所定の大きさの注目領域の中心点を
画像中の所定被写体候補の位置へ移動させ、この中心点
を基準として、所定被写体候補の大きさおよび／または
形状に応じて抽出領域を決定することにより行うように
してもよい。

【００２０】また、画像から所定の大きさを有する注目
領域の範囲の画像を切り出し、切り出された画像から所
定被写体候補の輪郭線を検出して、この輪郭線が注目領
域の中心点を囲む同心円の円周方向に対して所定角度傾
いた成分から方位ベクトルを求め、この方位ベクトルを
合成して注目領域移動ベクトルを求めて注目領域の中心
点の移動方向を決定し、注目領域の中心点を基準として
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定するようにしてもよい。さらに、切り出し
た画像を複素対数座標変換しても、実空間座標における
場合と同様に所定被写体候補を抽出することが可能であ
る。

【００２１】さらに、画像から所定の大きさを有する注
目領域の範囲の画像を切り出して、この切り出された画
像から所定被写体候補の色と略一致する色の領域を検出
して、この領域の方位と距離から注目領域移動ベクトル
を求めて注目領域の中心点の移動方向を決定し、注目領
域の中心点を基準として所定被写体候補の大きさおよび
／または形状に応じて抽出領域を決定するようにしても
よい。

【００２２】ここで、所定被写体候補の色と略一致する
とは、図66に示すような色度図上において、所定被写体
候補の色度値と注目領域の大きさの範囲で切り出された
画像の任意の点における色度値との距離があるしきい値
よりも小さい場合のことをいう。すなわち、ある点にお
ける色度値が、所定被写体候補の色度値と色度図上にお
いて所定のしきい値を越えて離れている場合は、その点
からなる領域は抽出されず、所定のしきい値よりも小さ
い場合は、その点からなる領域を抽出するものである。

【００２３】また、切り出された画像を複素対数座標変
換しても、実空間座標における場合と同様に所定被写体
候補を抽出することが可能である。

【００２４】このように、所定被写体候補を抽出するよ
うにすれば、特定の被写体のみではなく、いかなる形状
の所定被写体候補をも抽出することが可能であり、ま
た、画像における所定被写体候補の背景が複雑であって
も所定被写体候補を抽出することができる。さらに、画
像の全面に対して処理を行う必要が無くなるため、演算
時間を短縮することができる。

【００２５】さらに、所定の時間差を有する複数の時刻
における注目領域の範囲の画像を切り出し、まずこれら
画像間の被写体の輪郭線の差分を算出し、この差分に基
づいて注目領域内での面内平行方向の画像の動きを検出
するようにし、これと同時に、注目領域の範囲の各画像
を複素対数座標変換し、この複素対数座標変換された画
像から、被写体の放射方向の輪郭線の差分を算出して画
像の面内回転方向の動きを、被写体の円環方向の輪郭線
の差分を算出して画像の放射方向の動きをそれぞれ検出
するようにし、さらに、検出された面内平行方向、面内
回転方向および／または放射方向の画像の動きに基づい
て、背景の動きを補償し、この背景の動きが補償された
画像から背景とは異なる動きをしている物体の輪郭線を
検出して、この輪郭線が複素対数座標の円環方向に対し
て所定角度傾いた成分から方位ベクトルを求め、この方
位ベクトルを合成して注目領域移動ベクトルを求めて注
目領域の中心点の移動方向を決定し、注目領域の中心点
を基準として物体の大きさおよび／または形状に応じて
所定被写体候補を抽出するための抽出領域を決定するよ
うにしてもよい。

【００２６】このように所定被写体候補を抽出すること
により、注目領域内において所定被写体候補だけが動い
ている場合だけでなく、画像全体が動いている場合でも
背景の動きを補償し、所定被写体候補だけを抽出するこ
とが可能である。また、時事刻々移動を続ける所定被写
体候補を追い続け、常に所定被写体候補を注目領域の中
心に捕らえ、抽出することができる。さらに、画像にお
ける所定被写体候補の背景が複雑であっても所定被写体
候補を抽出することができる。さらに、画像の全面に対
して処理を行う必要が無くなるため、演算時間を短縮す
ることができる。

【００２７】また、切り出された画像を複素対数座標変
換しても、実空間座標における場合と同様に所定被写体
候補を抽出することが可能である。

【００２８】また、上述したように、輪郭線に基づいた
所定被写体候補の抽出と、色に基づいた所定被写体候補
の抽出とを同時に行うようにすれば、所定被写体候補の
抽出をより正確に抽出することができる。

【００２９】また、上述したように、輪郭線に基づいた
所定被写体候補の抽出と、動きに基づいた所定被写体候
補の抽出とを同時に行うようにすれば、所定被写体候補
をより正確に抽出することができる。

【００３０】さらに、輪郭線に基づいた所定被写体候補
の抽出と、色に基づいた所定被写体候補の抽出と、動き
に基づいた所定被写体候補の抽出とを同時に行うように
すれば、所定被写体候補をより一層正確に抽出すること
が可能となるため好ましい。

【００３１】また、所定被写体候補の抽出を、所定被写
体候補の抽出を行う画像全体のポテンシャル場のマップ
を作成し、このマップ中のポテンシャルの極小点を基準
として、所定被写体候補の大きさおよび／または形状に
応じて抽出領域を決定するようにすれば、特定の被写体
のみでなく、いかなる形状の所定被写体をも抽出するこ
とが可能であり、また、画像における所定被写体候補の
背景が複雑であっても所定被写体候補を抽出することが
できる。

【００３２】具体的には、前述した輪郭線、色および／
または動きに基づいて求めた注目領域移動ベクトルをポ
テンシャル場の傾斜ベクトルとして、ポテンシャル場の
傾斜ベクトルに基づいて画像全体のポテンシャル場のマ
ップを作成して、このマップ中のポテンシャルの極小点
を基準として所定被写体候補の大きさおよび／または形
状に応じて抽出領域を決定するようにすれば、注目領域
はポテンシャル場の傾きにより、所定被写体候補の極小
点、すなわち、所定被写体候補の中心点を求めることが
でき、極めて精度良く、効率的に所定被写体候補の抽出
を行うことができる。

【００３３】また、上述した所定被写体候補を抽出する
方法は、特定の被写体のみではなく、いかなる形状の所
定被写体候補をも抽出することが可能であり、また、画
像における所定被写体候補の背景が複雑であっても所定
被写体候補を抽出することができる。

【００３４】また、切り出された画像を複素対数座標変
換しても、実空間座標における場合と同様にポテンシャ
ル場のマップを求め、所定被写体候補を抽出することが
可能である。

【００３５】また、所定被写体候補が所定被写体である
か否かの判定を、所定被写体の特徴部分と、この所定被
写体内における特徴部分の位置とに基づいて行うように
すれば、抽出した所定被写体候補が所定被写体であるか
否かを適切に判定することができ、本発明の被写体認識
装置を用いたシステムの能力を向上させることが可能と
なる。

【００３６】なお、具体的には、本発明による被写体認
識装置は、上述したように、所定被写体の複数の特徴部
分それぞれについての特徴パターンを学習手段に学習さ
せ、所定被写体候補の特徴部分がこの学習手段に学習さ
せた複数の特徴パターンに含まれるか否かを判定し、こ
の所定被写体候補の特徴部分の位置関係が所定被写体の
位置関係と一致するか否かを判定することにより、この
所定被写体候補が所定被写体であるか否かを判定するよ
うにすれば、判定を行おうとする所定被写体候補の特徴
部分が多様に変化しても、学習手段に学習させた複数の
特徴パターンにより、正確に所定被写体候補が所定被写
体であるか否かの判定を行うことができる。

【００３７】また、学習手段にニューラルネットワー
ク、とくにコホーネンの自己組織化を用いて、学習をさ
せれば、複数の特徴パターンがトポロジカルなマッピン
グにより自己組織化されるため、効率良く複数の特徴パ
ターンを学習でき、所定被写体の特徴部分が所定被写体
候補の特徴部分に含まれるか否かの判定を被写体の角度
の変化、個々の違いにかかわらずより効率良く行うこと
ができる。

【００３８】さらに、所定被写体候補の特徴部分が複数
の特徴パターンに含まれるか否かの判定および／または
所定被写体候補の特徴部分の位置関係が所定被写体の特
徴部分の位置関係と一致するか否かの判定をニューラル
ネットワーク、とくにネオコグニトロンを用いて行うよ
うにすれば、所定被写体候補の位置ずれに対応でき、本
発明による被写体認識装置用いたシステムの能力をさら
に向上させることが可能となる。

【００３９】さらに、所定被写体候補を顔として、また
学習に用いる複数の特徴部分を右目，左目および口とす
れば、顔の表情の変化や位置ずれ等に関係なく、顔の候
補が顔であるか否かの判定を行うことができ、さらに
は、学習に用いた顔とは異なる人の顔の候補も顔である
と判断することが可能となる。

【００４０】また、所定の大きさの注目領域の中心点を
所定被写体候補の中心位置へ移動させ、この注目領域の
中心点と所定被写体候補の輪郭線とを基準としてこの所
定被写体候補の大きさおよび／または形状を正規化し
て、所定被写体候補を抽出するようにすれば、大きさや
形状が異なる被写体を略同一の大きさおよび／または形
状にして抽出することができ、この抽出の次のステップ
である判別や学習等のシステムに対して、負担をかける
ことが無くなり、判別や学習等をより適切に行うことが
可能となる。

【００４１】

【実施例】以下、本発明の実施例について、図面を参照
して説明する。

【００４２】図１は、本発明による被写体認識方法の基
本的概念を示すブロック図である。まず、第１のステッ
プ１において、画像から所定被写体候補を抽出し、次い
で、第２のステップ２において、所定被写体候補が所定
被写体であるか否かを判定するものである。

【００４３】図２は、本発明による被写体認識方法の第
１のステップ１である所定被写体候補抽出の実施例の基
本的概念を示すブロック図である。なお、本実施例にお
いては、ニューラルネットワークを用いて所定の大きさ
の注目領域の中心点を所定被写体候補の輪郭線、色およ
び動きに基づいて所定被写体候補の位置へ移動させ、こ
の注目領域の中心点を基準として、所定被写体候補の大
きさおよび／または形状に応じて抽出領域を決定するこ
とにより所定被写体候補の抽出を行うものである。

【００４４】図２に示すように、本実施例はニューラル
ネットワークを用いて注目領域の移動を繰り返して所定
被写体候補の探索を行う探索ニューラルネット部３と、
注目領域の移動の状態を常にチェックし、注目領域が停
止した場合に、この停止が所定被写体候補の発見による
ものか否かを判断し、必要に応じて所定被写体候補の抽
出を行う注目領域停止処理部４とからなる。

【００４５】まず探索ニューラルネット部３において、
画像上に注目領域の中心点位置および注目領域のサイズ
を設定して、画像から注目領域の範囲の画像を取り込
み、次いで所定被写体候補の動き、輪郭線および色に基
づいて注目領域移動ベクトルを算出し、この注目領域移
動ベクトルを合成し、この合成した注目領域移動ベクト
ルに基づいて、画像上において注目領域を移動させるも
のである。注目領域停止処理部４においては、注目領域
の移動量がチェックされ、注目領域が移動中の場合はま
た新たに注目領域を移動させる旨の信号を探索ニューラ
ルネット部３に入力する。注目領域が停止した場合は注
目領域の停止状況の判断がなされる。この判断は、注目
領域の画像上における停止状況が所定被写体候補発見に
よるものか発見によるものでないかを判断するものであ
る。注目領域停止状況が所定被写体候補の発見によるも
のでない場合は、その位置に注目領域が停止している必
要が無いため、新たな注目領域の位置および注目領域の
サイズを設定する旨の信号を探索ニューラルネット部３
に入力する。探索ニューラルネット部３はこの信号を受
けて、注目領域を再び移動させる。注目領域停止位置が
所定被写体候補の発見によるものである場合は、その所
定被写体候補は切り出され、すなわち抽出され、図１に
示す判定を行う第２のステップ２に引き渡される。

【００４６】なお、上述した探索ニューラルネット部３
においては、人間が視点を移動するのと同様に注目領域
が移動するようにニューラルネットワークが構成され
る。人間の視点の移動は例えば、人間が図３に示すよう
な図形を眺める場合を考えると、過去の研究により注視
点は物体の輪郭や端点上に長時間留まるという報告がな
されており、注視点は図３(b) の点線で囲んだＳ部に留
まるものである。また、眺めた物体を一つの塊として認
識する瞬間には、注視点は輪郭線上にはなく、輪郭線で
囲まれた中心部分に留まることが経験上認識されてい
る。例えば図３(a)のような図形を眺めた場合は注視点
は点線で囲んだＳ部に留まる。すなわち、人間の視点
は、輪郭線に囲まれた物体の中心点、あるいは、線分の
交点や多角形の頂角において安定するということがいえ
る。よって、注目領域周辺にのみ被写体が存在するとき
には、まずその被写体に近づき、ある程度被写体に近づ
いた後は、その被写体の中心もしくは頂角等へと注目領
域の中心点を移動していき、そこで注目領域が安定す
る、というような機能を有するように、ニューラルネッ
トワークを構成すればよい。

【００４７】次に探索ニューラルネット部３における物
体の輪郭線に基づく注目領域移動ベクトルの算出につい
て説明する。

【００４８】図４は、この所定被写体候補の輪郭線に基
づいて注目領域移動ベクトルを求めるためのニューラル
ネットワークの構成を表す図である。このニューラルネ
ットワークの入力は時刻ｔにおける所定の大きさの注目
領域から入力される外界の静止画像である。また、出力
は、注目領域をどちらへどれだけ移動すべきかという注
目領域移動量と移動方向である。これを二次元のベクト
ルと考え、以下注目領域移動ベクトルと呼ぶ。この注目
領域移動ベクトルの長さは、その注目領域の中心点にお
ける不安定さを表わし、ベクトルの示す方向は、より注
目領域が安定な状態に向う方向を示す。

【００４９】本実施例におけるニューラルネットワーク
の基本構造は階層型であるが、一部の層内ｅ１，ｅ２層
では相互結合もしているため複合型ともいえる。また、
階層型として有名なバックプロパゲーションモデルで
は、各層間の各ニューロン同士はすべて互いに結合して
いる構造がとられるのに対し、このニューラルネットワ
ークでは、各層同士で位置が対応するニューロンと、そ
の近傍のニューロンとの間にのみ結合が限定されている
局所結合型になっている。このため、各層間のシナプス
数を相当低減でき、演算時間の短縮を実現できる。ま
た、相互結合層内の各ニューロン間の結合も同様に、位
置的に近いものどうしの間にのみ存在する。このような
局所的な結合構造は、人間の眼の網膜から脳の１次視覚
野にかけてみられる神経回路と同様の構造となってい
る。

【００５０】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は画像をニューラルネットワークに入力するａ層、入力
された画像の複素対数座標変換（対数極座標変換）を行
うｂ層、放射方向の各輪郭線を検出するｃ１，ｃ２層、
放射方向の輪郭線の端点を検出するｄ層、円環方向の輪
郭線を選択する相互結合回路網層であるｅ１層および、
放射方向の輪郭線を選択する相互結合回路網層であるｅ
２層、所定被写体候補の円環方向の輪郭線成分と注目領
域中心点との偏心度検出層であるｆ１層、所定被写体候
補の放射方向の輪郭線成分と注目領域中心点との偏心度
検出層であるｆ２層、所定被写体候補の円環方向の方位
ベクトル検出層であるｇ１層、所定被写体候補の放射方
向の方位ベクトル検出層であるｇ２層、検出された円環
方向の方位ベクトルを合成する方位ベクトル合成層であ
るｈ１層、検出された放射方向の方位ベクトルを合成す
る方位ベクトル合成層であるｈ２層、および注目領域の
移動ベクトルを出力するｉ層から構成されている。な
お、本実施例のニューラルネットワークにおいては、ｂ
層以降の各層間あるいは各層内のシナプス結合は、空間
不変（スペースインバリアント）とした。これは、モデ
ルシミュレーションや並列処理の実行容易性を考慮した
ためで、必ずしも空間不変である必要はない。しかし、
空間不変としておくことで、各ニューロンの出力は、シ
ナプス結合マトリックスと前段のニューロン層マトリッ
クスとのコンボリューション（シナプス結合パターンと
のマッチング）演算結果を、非線形関数に通したものに
相当するので、ニューラルネットワークのシミュレーシ
ョンを計算機上で行う場合、計算的な扱いが非常に楽に
なる。

【００５１】まず、このニューラルネットワークに入力
された画像は、ｂ層において注目領域の中心点を極とし
て複素対数座標変換される。このｂ層において画像を複
素対数座標変換することで、ｂ層以降のニューラルネッ
トワークの動作を画像データの配列と空間不変なシナプ
ス結合データ配列とのコンボリューションとして計算的
に扱うことができることになる。

【００５２】ここで、図５に、様々な図形が複素対数座
標変換された結果を示す。複素対数座標変換では、極す
なわち注目領域中心点が所定被写体候補の中心にあれ
ば、図５(a) に示すように同心円状の曲線が水平の直線
に、図５(b) に示すように放射状の線が垂直な直線に、
また三角形は図５(c) に示すような形に変換される。

【００５３】ここで、変換前の空間座標上の点Ｗ（ｘ，
ｙ）を、数学的に複素表現でｚ＝ｘ＋ｉｙ (1) とすれば、複素対数座標変換された点Ｗ′はＷ′＝ｌｎ（ｚ）＝ｌｎ（｜ｚ｜）＋ｊθ_Z (2) となる。ここでｚ＝（ｘ²＋ｙ²）^1/2 (3) θ_Z＝tan ^-1（ｙ／ｘ） (4) である。すなわち、複素対数座標変換は複素対数座標に
おける距離軸が注目領域中心点からの距離の対数値、方
位軸が注目領域中心点の周囲の角度となるように変換す
ることである。

【００５４】複素対数座標変換された画像42はｃ１，ｃ
２層において、複素対数座標上でそれぞれ円環方向、放
射方向の各輪郭線が抽出される。

【００５５】ここで、複素対数座標の円環方向とある
が、これは複素対数座標の方位軸方向を意味するもので
ある。すなわち、複素対数座標の方位軸は実空間座標の
原点（本発明においては注目領域の中心点）をとりまく
角度を表わしており、実空間座標において原点を中心と
する円は複素対数座標では方位軸に平行な直線となる。
したがって複素対数座標の方位軸を円環方向としたもの
である。また、複素対数座標の距離軸は実空間座標の原
点からの距離を表わしており、実空間座標において原点
を通る放射状の直線は複素対数座標では距離軸に平行な
直線となる。したがって、複素対数座標の距離軸を方位
軸に平行な円環方向に対して放射方向と呼ぶこととす
る。

【００５６】ｄ層においては、放射方向の輪郭線が抽出
されたｃ２層の画像から、ある所定被写体候補が手前に
存在する別の物体に遮ぎられた場合にその境界で発生す
る放射方向の輪郭線端点を抽出する。ｅ１，ｅ２層は、
それぞれ円環方向、放射方向の輪郭線が選択されるよう
な局所相互重み結合を有する相互結合層であり、ｅ１層
において、ｃ１層で検出された円環方向の輪郭線のうち
円環方向に連続性の高い線分、強度の大きな線分が強調
され、独立した線分や弱い輪郭線は消去される。また、
ｅ２層においては、ｃ２層で検出された放射方向の輪郭
線のうち放射方向に連続性の高い線分、強度の大きな輪
郭線が強調され、独立した線分や弱い輪郭線は消去され
る。

【００５７】次いで、ｆ１層において、ｅ１層の相互結
合層で選択された円環方向の輪郭線から円環方向に対し
てある一定角度傾いた成分が抽出される。すなわち、図
６に示すような円環方向の輪郭線51に対して右上がりの
傾き成分抽出用シナプス結合52および左上がりの傾き成
分抽出用シナプス結合53で重み付けられた信号として伝
達される。この傾き成分抽出用シナプス結合52，53は、
＋成分が並んでいる方向の輪郭線を強め合い、＋と−の
両成分に渡る輪郭線を打ち消し合ってしまうため、この
ようなシナプス結合で円環方向の輪郭線51を重み付けら
れた信号として伝達すると、輪郭線の右上がりの傾き成
分51a および左上がりの傾き成分51b が抽出される。な
お、本実施例においては、傾き成分抽出用シナプス結合
52，53により円環方向輪郭線が複数対数座標の円環方向
に対して20〜30度傾いた成分が抽出される。

【００５８】一方で、ｆ２層において、ｅ２層の相互結
合層で選択された放射方向の輪郭線から円環方向に対し
てある一定角度傾いた成分が抽出される。すなわち、図
７に示すような放射方向の輪郭線54に対して左上がりの
傾き成分抽出用シナプス結合55および右上がりの傾き成
分抽出用シナプス結合56で重み付けられた信号として伝
達され、輪郭線の左上がりの傾き成分54a および右上が
りの傾き成分54b が抽出される。なお、本実施例におい
ては、傾き成分抽出用シナプス結合55，56により放射方
向輪郭線が複数対数座標の円環方向に対して60〜70度傾
いた成分が抽出される。

【００５９】次に、以上のようにして求められた輪郭線
の成分からの注目領域移動ベクトルの求め方について説
明する。なお、ここでは簡単のため、ｅ１層以降におけ
る注目領域移動ベクトルの合成について、まず説明す
る。

【００６０】図８は本発明の第１実施例によるニューラ
ルネットワークの図４におけるｅ１層、ｆ１層、ｇ１
層、ｈ１層およびｉ層の部分を抽出し、より詳細に示し
た図である。

【００６１】図８に示すように、各層間はシナプス結合
によって結合されている。ｅ１層およびｆ１層は、ニュ
ーロンが２次元状に整列した構造になっている。ｅ１層
内で興奮しているニューロンの分布は、ｅ１層内のシナ
プス相互結合によって選択された、所定被写体候補の輪
郭線の円環方向の成分に相当している。

【００６２】ｅ１層からｆ１Ａ層へと興奮信号を伝達す
るシナプス結合62の重み係数は、ｅ１層内の興奮の分布
のうち、左上がりの傾き成分61のみを伝達しやすいよう
に設定されている。このため、図８においては、ｆ１Ａ
層では、傾き成分61の位置に相当するニューロン群63の
みが興奮する。次いで、ｆ１Ａ層から、方位ベクトルを
検出するために、ｇ１Ａ層へと興奮信号が伝達される。
ｇ１Ａ層は１次元に配列されたニューロン層で、ｆ１Ａ
層の同一方位にあるニューロン群からの信号を受けるよ
うにシナプス結合によって結合されている。この結果、
ニューロン群63の方位に対応する、ｇ１Ａ層のニューロ
ン64が興奮する。このニューロン64の方位と興奮の強さ
が方位ベクトルを表すものである。この際、より好まし
くは、ニューロン群63の方位とニューロン64の方位と
が、一定角度βだけずれる、すなわち位相シフトするよ
うにｆ１Ａ層とｇ１Ａ層との結合を設定するのがよい。
なお、位相シフトにかえて、図９に示すように、ｆ１Ａ
層とｇ１Ａ層との結合は、注目領域から離れた位置に相
当するｆ１Ａ層のニューロンからの結合重みほど、大き
くなるように重みＷを加えるようにしてもよい。また、
位相シフトと重みＷとを併用するようにすれば、より好
ましい。

【００６３】同様に、右上がりの傾き成分60の興奮もｆ
１Ｂ層からｇ１Ｂ層へと伝達され、方位ベクトルを表す
ニューロン66が興奮する。この場合も好ましくは、位相
シフトβおよび／または重みＷとを加えるとよい。

【００６４】次に、このようにしてｇ１Ａ層およびｇ１
Ｂ層において求められた方位ベクトルはｈ１層において
合成されてｉ層において注目領域移動ベクトルが決定さ
れる。この注目領域移動ベクトルの合成は極座標上で行
なっても実空間座標上で行なってもかまわないものであ
り、図８では実空間座標上で合成した場合を示す。ニュ
ーロン64，66からの興奮は、逆複素対数座標変換されな
がらｉ層に伝達される。ｉ層では各方位ベクトルの重心
が求められ、これが合成された注目領域移動ベクトルと
して出力される。なお、ここでｉ層への入力は、主要被
写体の中心へ向かう方位ベクトルの検出とその合成のみ
を説明してきたが、実際にはｉ層には、主要被写体の輪
郭の集中点に向かう方位ベクトルも入力され、後述する
ように適切に合成される。

【００６５】以下、上述した所定被写体候補の輪郭線に
基づいて求められた注目領域移動ベクトルがいかにして
注目領域を所定被写体候補の方向へと移動させるかにつ
いて説明する。

【００６６】図10は注目領域の中心点が所定被写体候補
の外側から、所定被写体候補の中心点に移動する状態を
複素対数座標と実空間座標とを対応させて表した図であ
る。なお、ここでは簡単のため所定被写体候補を円形と
して、この円に向かう注目領域中心点の移動について説
明する。

【００６７】まず、図10(a) に示すように、注目領域73
に所定被写体候補71の１部分が入っている場合、図10
(a) の複素対数座標において、複素対数座標変換された
所定被写体候補71′の輪郭線のうち一定角度αおよび−
α傾いた成分がｆ１層において検出される。この一定角
度αは、ｆ１層において抽出された円環方向の輪郭線が
円環方向に対してなす角度であり、円環方向に対して右
上がりを正、左上がりを負としたものである。この一定
角度αおよび−α傾いた成分がｇ１層において方位ベク
トル74，74（実空間座標においては方位ベクトル72，7
2）として検出される。ここで、注目領域中心点Ｑをよ
り一層所定被写体候補中心点Ｏに移動し易くするため一
定角度αの方位ベクトルに対しては＋βの、一定角度−
αの方位ベクトルに対しては−βの位相シフトを加える
とともに、注目領域中心点から一定角度α，−α傾いた
成分までの距離に応じた重みを加え、実空間座標におけ
る方位ベクトル74′，74′を得る。方位ベクトル74′，
74′が得られると、ｈ１層においてこれらの合成ベクト
ルが求められ、この合成ベクトルが注目領域移動ベクト
ル75となる。注目領域移動ベクトル75が求められると、
注目領域73は注目領域移動ベクトル75に従って移動し、
図10(b) に示す状態となる。

【００６８】図10(b) に示すように、所定被写体候補71
と注目領域中心点Ｑとがある程度近づき、注目領域73内
に所定被写体候補71が入ってくると、一定角度αおよび
−α傾いた点はそれぞれ２つずつ検出され、これに従い
方位ベクトル74も４種類検出される。この場合も、図10
(a) に示した場合と同様に、それぞれの方位ベクトル74
に対して位相シフト＋βおよび−βと、重み付けを加え
て注目領域移動ベクトル75が得られ、注目領域中心点Ｑ
はこの注目領域移動ベクトル75に従って移動し、図10
(c) に示す状態となる。

【００６９】以下、図10(c) に示す状態においても同様
に注目領域移動ベクトル75が得られ、注目領域中心点Ｑ
は図10(d) に示す状態に移動し、最終的に、注目領域中
心点Ｑと所定被写体候補71の中心点Ｏが一致した状態で
注目領域中心点Ｑは停止する。

【００７０】なお、上述した位相シフトβの値は、注目
領域移動ベクトル75が所定被写体候補71の方向に向かう
ように、０度以上90−α度未満に設定される（90−α度
を越えると注目領域移動ベクトル75が所定被写体候補71
とは反対方向に向いてしまうため）。

【００７１】また、上述した方位ベクトル74，72に加え
る重みは、前述した輪郭線の一定角度αおよび−α傾い
た成分から注目領域中心点までの距離に応じて設定さ
れ、注目領域移動ベクトル75が所定被写体候補の中心点
を向くように、距離が離れているほど大きな重みで結合
される。

【００７２】なお、上述した一定角度αの値であるが、
注目領域中心点Ｑが所定被写体候補の外側にある場合
は、αは０度以上90度以下であれば必ずα点が存在する
（αが90度のときは方位ベクトルは所定被写体候補に接
し、α点は１点のみとなる）。逆に、注目領域中心点Ｑ
が所定被写体候補の内側にあるときには、注目領域中心
点Ｑと所定被写体候補の中心点Ｏとの距離およびαの値
によってはα点が存在しない場合がある。実験から所定
被写体候補が円の場合はαが25度のとき、注目領域中心
点Ｑと所定被写体候補の中心点Ｏとの距離が所定被写体
候補の半径の60％程度になると、α点は存在しなくな
る。さらに、αが45度のときは、注目領域中心点Ｑと所
定被写体候補の中心点Ｏとの距離が所定被写体候補の半
径の80％程度で、α点は存在しなくなる。したがって、
αが小さいほど所定被写体候補の中心点Ｏにまで注目領
域中心点Ｑの移動が可能であるが、実際の所定被写体候
補は厳密な円ではなく種々多様な形状をしているため、
抽出する所定被写体候補に応じてαを設定するのが好ま
しく、経験的にいって自然画像に関してはαを20〜30度
前後に設定するのが好ましい。

【００７３】上述した円形の所定被写体候補の中心点と
注目領域中心点が一致した場合、注目領域の中心に含ま
れる所定被写体候補の輪郭線は複素対数座標上において
は図５(a) に示すように円環方向に対して平行な直線と
なる。すなわち、注目領域中心点を所定被写体候補の中
心に移動することは上述したｅ１層で検出した、円環方
向の輪郭線の成分を、できる限り円環方向に対して平行
な成分の多い状態にすることと等価である。

【００７４】次に、ｆ２層、ｇ２層およびｈ２層におけ
る注目領域移動ベクトルの決定と、その注目領域移動ベ
クトルにより注目領域が移動する状態について説明す
る。

【００７５】図11は注目領域が所定被写体候補の輪郭線
の交点へ移動する状態を複素対数座標と実空間座標とを
対応させて表した図である。

【００７６】まず、図11(a) に示すように、注目領域73
に所定被写体候補76の一部分が入ってくると、図11(a)
の複素対数座標において、複素対数座標変換された所定
被写体候補76′の輪郭線のうち一定角度α′および−
α′傾いた成分がｆ２層において検出される。この一定
角度α′は、ｆ２層において抽出された放射方向の輪郭
線が円環方向に対してなす角度であり、円環方向に対し
て右上がりを正、左上がりを負としたものである。この
一定角度α′および−α′傾いた成分がｇ２層において
方位ベクトル77として検出される。ここで、注目領域中
心点Ｑをより一層所定被写体候補76の輪郭線の交点Ｔに
移動し易くするため一定角度α′の方位ベクトルに対し
ては＋β′の、一定角度−α′の方位ベクトルに対して
は−β′の位相シフトを加えるとともに、重みを加え、
実空間座標における方位ベクトル77′を得る。方位ベク
トル77′が得られると、ｈ２層においてこれらの合成ベ
クトルが求められ、この合成ベクトルが注目領域移動ベ
クトル78となり、ｉ層において出力される。注目領域移
動ベクトル78が求められると、注目領域73は注目領域移
動ベクトル78に従って移動し、図11(b) に示す状態とな
る。

【００７７】以下、図11(b) に示す状態においても同様
に注目領域移動ベクトル78が得られ、注目領域中心点Ｑ
は図11(c) ，(d) に示す状態に移動し、最終的に、注目
領域中心点Ｑと所定被写体候補76の輪郭線の交点Ｔが一
致した状態で注目領域中心点Ｑは停止する。

【００７８】ここで、上述した一定角度α′の値である
が、頂角の角度が小さく、しかもα′の値が小さい値の
ときは、α′点は２つ、−α′点も２つ存在する。とこ
ろが、α′がある値より大きくなるとα′点は１つ（−
α′点も１つ）しか存在しなくなるがα′が90度未満で
あれば、少なくとも１つのα′点は存在する。α′点が
２つ存在するような条件下では、単に注目領域中心点か
らα′点に向かう方向ベクトルを合成したものが注目領
域を頂角へと移動させる注目領域移動ベクトルであるが
問題となるのはα′点が１つしか存在しないかまたは全
く存在できない場合である。実験により、一定角度α′
の値が小さいと被写体の頂角が大きくなる程α′点が存
在しなくなってしまう。したがって、どのような大きさ
の頂角に対しても注目領域が頂角に向って移動するため
には、まずα′点が存在しなければならない。そこで、
一定角度α′の値は、90度に近い値が好ましいといえ
る。

【００７９】また、位相シフトβ′の値であるが、図12
に示すように注目領域中心点Ｑと頂角とが同一水平線上
にあり、頂角は水平線を挟んで上下に対称に広がり、か
つα′点が１つしか存在しないような場合には、方位ベ
クトル77の合成ベクトルである注目領域移動ベクトル78
は、頂角とは反対の方向を向いてしまう。このため図13
に示すような位相シフトβ′を加えて、注目領域移動ベ
クトル78が頂角の方向を向くようにするには、少なくと
も方位ベクトル77が注目領域中心点Ｑを通る垂線79の右
側に達するまで位相シフトβ′を加えてやればよい。こ
のβ′の値は、 β′＞α′−Ｃ／２かつ０＜β′＜90° （但しＣは検出しようとしている頂角の値であり、０＜
Ｃ＜360 °）に設定される。

【００８０】このようにして、適当な位相シフトと重み
付けを加えることにより、所定被写体候補76の輪郭線が
いかなる角度で交わっている場合にもその交点へと注目
領域中心点Ｑを移動させることができる。

【００８１】上述した所定被写体候補の頂角と注目領域
中心点が一致した場合に注目領域によって切り出される
所定被写体候補は複素対数座標上においては図５(b) に
示すように放射方向に対して平行な直線となる。すなわ
ち、注目領域中心点を所定被写体候補の頂角に移動する
ことは上述したｅ２層で検出した放射方向の輪郭線の成
分を、できるかぎり放射方向に対して平行な成分の多い
状態にすることと等価である。

【００８２】以上のようにして求められたｈ１層におけ
る注目領域移動ベクトルおよびｈ２層における注目領域
移動ベクトルはｉ層により適切に合成されて出力され
る。以下、ｉ層の機能について説明する。

【００８３】上述したｈ１層において決定される注目領
域移動ベクトルおよびｈ２層において決定される注目領
域移動ベクトルは、情況によりそれぞれ異なる場合があ
る。例えば、注目領域中心点が所定被写体の外側にある
場合には、上述した２種類の注目領域移動ベクトルは同
方向のベクトルとなるが、所定被写体のごく近傍や所定
被写体の内部においては２種類の注目領域移動ベクトル
は異なるものとなってくる。このため、ｈ１層およびｈ
２層で決定されるそれぞれのニューラルネットワークの
出力をバランスよく利用すれば、目的とする所定被写体
に応じた注目領域の移動を行うことができる。例えば、
所定被写体の部分的な特徴形状をとらえて、学習等に利
用したい場合には、ｉ層においてｈ２層のニューラルネ
ットワークの出力を重視し、また、所定被写体の全体を
とらえたい場合には、ｉ層においてｈ１層のニューラル
ネットワークの出力を重視する等すればよい。

【００８４】上述した所定被写体候補の輪郭線に基づく
注目領域移動ベクトルの算出と並行して、所定被写体候
補の動きに基づく注目領域移動ベクトルの算出も行われ
る。

【００８５】動画の場合には、背景に対し、動いている
物体が所定被写体候補となり得る可能性が高い。そこ
で、背景をキャンセルし、動いている物体のみを抽出し
て注目領域を移動させることにより的確に所定被写体候
補の抽出を行うことができる。

【００８６】以下、探索ニューラルネット部３における
物体の動きに基づく注目領域移動ベクトルの算出につい
て説明する。

【００８７】図14は、物体の動きに基づいて注目領域移
動ベクトルの算出の基本的概念を表すブロック図であ
る。なお、本実施例にニューラルネットワークを用いて
画像から所定被写体候補であるヨットの候補を抽出する
ものとする。

【００８８】図14に示すように、本実施例はニューラル
ネットワークのステップＡにおいて、画像上に注目領域
の中心点位置を設定して画像から注目領域の範囲の画像
を取り込み、次いでステップＢにおいて画像の動き、す
なわち画像の面内平行方向、面内回転方向および／また
は放射方向の動きを検出し、ステップＣにおいて背景の
動きをキャンセル（補償）する。さらに、ステップＤに
おいて、背景と異なる動きをしている物体、すなわち所
定被写体候補を検出し、ステップＥにおいてこの異なる
動きをしている物体に注目領域を移動させるものであ
る。

【００８９】ここで、画像の動きについて説明する。画
像の動きは、以下の３種類の動きに相当するものであ
る。すなわち、 (1) 視線に垂直な面内での画像面に平行な動き（眼球運
動、または画像入力器（カメラ等）が視線方向と垂直に
移動するような動作に相当） (2) 注視点を中心に拡大または縮小する動き（画像入力
器が視線方向に沿って外界に近づくまたは遠ざかる動作
に相当） (3) 視線を軸に右または左に回転する動き（画像入力器
が視線方向を軸として回転する動作に相当）に相当するものである。逆に、どのような動きもこの３
種類の動きに分類できるものである。

【００９０】図15は、上述した画像の動きを検出するニ
ューラルネットワークの一構成を表す図である。

【００９１】このニューラルネットワークの入力は、所
定の大きさの注目領域から入力される外界の画像であ
る。また、出力は画像の背景の移動方向を表す信号であ
る。なお、上述した平行な動きは実空間においてスペー
スインバリアントであるため、動きの検出は実空間で行
うのが好ましい。一方、拡大または縮小する動き、回転
する動きについては、実空間ではスペースバリアントだ
が、複素対数座標空間に変換してやるとスペースインバ
リアントとして扱うことができるため、これらの動きの
検出は複素対数座標空間で行うのが好ましい。

【００９２】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は、画像の平行な動きを検出するニューラルネットワー
ク10と、拡大または縮小の動きおよび回転の動きを検出
するニューラルネットワーク20とに分けられる。また、
本実施例におけるニューラルネットワークの基本構造は
階層型である。背景の平行な動きを検出するニューラル
ネットワーク10は、所定の大きさの注目領域を有し、こ
の注目領域の大きさに画像を切り出してニューラルネッ
トワークに入力するＡ１層、切り出した画像に時間遅れ
を加えるＡ２層、Ａ１層において切り出された画像中に
存在する被写体の輪郭線を検出するＣ１層、Ａ２層にお
ける画像中に存在する被写体の輪郭線を検出するＣ２
層、Ｃ１層において輪郭線が検出された画像とＣ２層に
おいて輪郭線が検出された画像との差分を求めるＤ１
層、Ｄ１層において求められた差分から、所定の方向の
成分だけを抽出するＥ１，Ｅ２，Ｅ３，Ｅ４層およびＥ
１，Ｅ２，Ｅ３，Ｅ４層において抽出された輪郭線の成
分に基づいて、画像の動きを平行な動きの方位として出
力するＦ１層とから構成されている。

【００９３】一方、ニューラルネットワーク20は、所定
の大きさの注目領域を有し、この注目領域の大きさに画
像を切り出してニューラルネットワークに入力するＡ３
層、切り出した画像に時間遅れを加えるＡ４層、Ａ３層
において切り出された画像を複素対数座標変換するＢ１
層、Ａ４層における画像を複素対数座標変換するＢ２
層、Ｂ１層において複素対数座標変換された画像中に存
在する被写体の輪郭線を検出するＣ３層、Ｂ２層におい
て複素対数座標変換された画像中に存在する被写体の輪
郭線を検出するＣ４層、Ｃ３層において輪郭線が検出さ
れた画像とＣ２層において輪郭線が検出された画像との
差分を求めるＤ２層、Ｄ２層において求められた差分か
ら、放射方向の成分だけを抽出するＥ５，Ｅ６層、Ｄ２
層において求められた差分から円環方向の成分だけを抽
出するＥ７，Ｅ８層、Ｅ５，Ｅ６層において抽出された
輪郭線の成分に基づいて、画像の動きを拡大または縮小
の動き、すなわち放射方向の方位として出力するＦ２
層、Ｅ７，Ｅ８層において抽出された輪郭線の成分に基
づいて、画像の動きを回転の動きの方位として出力する
Ｆ３層とから構成されている。

【００９４】なお、本実施例のニューラルネットワーク
においては、Ｂ層以降の各層間あるいは各層内のシナプ
ス結合は、空間不変（スペースインバリアント）とし
た。これは、モデルシミュレーションや並列処理の実行
容易性を考慮したためで、必ずしも空間不変である必要
はない。しかし、空間不変としておくことで、各ニュー
ロンの出力は、シナプス結合マトリックスと前段のニュ
ーロン層マトリックスとのコンボリューション（シナプ
ス結合パターンとのマッチング）演算結果を、非線形関
数に通したものに相当するので、ニューラルネットワー
クのシミュレーションを計算機上で行う場合、計算的な
扱いが非常に楽になる。なお、本実施例のニューラルネ
ットワークでは正のニューロン信号と、正と負のシナプ
ス結合を使用する。すなわち、正の信号が正の結合を通
じて伝達されると、正の興奮信号として伝達され、負の
結合を通じて伝達されると、負の興奮信号として伝達さ
れるようなニューラルネットワークモデルであるが、ニ
ューロン信号は正に限定されるものではなく、ニューロ
ン信号として、正の興奮と負の興奮とがあり、シナプス
結合にも正と負の結合があり、負の信号が負の結合を通
じて伝達されると、正の興奮信号として伝達されるよう
なニューロンモデルを使用してもよいことはもちろんで
ある。

【００９５】まず、ニューラルネットワーク10の機能に
ついて説明する。最初に、Ａ１層において、図16(a) に
示す時刻ｔにおける所定の大きさの注目領域の範囲の画
像11Ａが切り出される。一方、Ａ２層において、図16
(b) に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像11Ｂが切り出される。ここで時刻ｔ＋αに
おける画像11Ｂは、カメラ等の画像入力器の動きとは逆
の画面に平行な動きが加わったものであり、画像11Ｂは
画像11Ａと比較して画像が下から上（画像入力器は上か
ら下）に動いている。なお、図16(a) ，(b) において
は、各画像の白部は信号強度が大きく、黒部は信号強度
が小さいことを表している。次いでＣ１層，Ｃ２層にお
いて、それぞれＡ１層，Ａ２層において切り出された画
像11Ａ，11Ｂ中に存在する被写体の輪郭線が検出され
る。すなわち、図17に示すような輪郭線抽出シナプス結
合12により画像11Ａ，11Ｂが重み付けられた信号として
伝達され、図18(a) ，(b) の画像13Ａ，13Ｂに示すよう
な画像11Ａ，11Ｂの輪郭線が検出される。

【００９６】次いでＤ１層においてＣ１層で輪郭線が検
出された画像13Ａと、Ｃ２層で輪郭線が検出された画像
13Ｂとの差分、すなわち（画像13Ａ−画像13Ｂ）が行わ
れ、図19に示す画像14が得られる。すなわち、Ｄ１層で
は、Ｃ１層におけるニューロン信号を正の重みで受け取
り、Ｃ２層におけるニューロン信号をすべて負の重みで
受けるようになっている。なお、図19における斜線部
は、信号値が０であることを表している。さらに、Ｅ
１，Ｅ２，Ｅ３，Ｅ４層において、画像面に平行な方向
の動き検出シナプス結合により重み付けられた信号とし
て伝達され、それぞれの方向を表す成分が抽出される。
なお、ここでは簡単のため、図20に示す下から上成分抽
出シナプス結合15と右から左成分抽出シナプス結合16と
により、下から上方向および右から左方向の動きの２成
分のみを抽出するものとする。この下から上成分抽出シ
ナプス結合15と右から左成分抽出シナプス結合16とによ
り画像14の重み付けられた信号として伝達された結果
を、それぞれ図21(a) の画像17Ａ、図21(b) の画像17Ｂ
に示す。Ｅ１，Ｅ２，Ｅ３，Ｅ４層において抽出された
輪郭線の動き成分はＦ１層に入力される。次いでＦ１層
からＦ１′，Ｆ″層へかけてのニューラルネットワーク
によってどの方向の動きがあったかが検出され、画像面
に平行な方向の動きの方位として出力される。すなわ
ち、本実施例においては、図21(a) の画像17Ａに示すよ
うに、下から上成分が最も信号強度が高くなることか
ら、下から上の動きがあったことを示すニューロンから
は大きな信号が出力され、右から左方向への動きがあっ
たことを示すニューロンからは信号が出力されない。

【００９７】次いで、ニューラルネットワーク20の機能
について説明する。

【００９８】まず、カメラ等の画像入力器が画像に接近
しながら、画像の切り出しを行った場合について説明す
る。

【００９９】まず、最初に、Ａ３層において、図22(a)
に示す時刻ｔにおける所定の大きさの注目領域の範囲の
画像21Ａが切り出される。一方、Ａ４層において、図22
(b)に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像21Ｂが切り出される。ここで時刻ｔ＋αに
おける画像21Ｂは、カメラ等の画像入力器の接近する動
きによって画像が拡大する動きが加わったものであり、
画像21Ｂは画像21Ａと比較して画像が拡大している。次
いでＢ１層，Ｂ２層おいてそれぞれＡ３層，Ａ４層にお
いて切り出された画像21Ａ，21Ｂの複素対数座標変換が
なされ、図23(a) ，(b) に示す画像22Ａ，22Ｂを得る。

【０１００】次いでＣ３層，Ｃ４層において、それぞれ
Ｂ１層，Ｂ２層において複素対数座標変換された画像22
Ａ，22Ｂ中に存在する被写体の輪郭線が検出される。す
なわち、図17に示した輪郭線抽出シナプス結合12により
画像22Ａ，22Ｂは重み付けられた信号として伝達され、
図24(a) ，(b) の画像23Ａ，23Ｂに示すような画像22
Ａ，22Ｂの輪郭線が検出される。

【０１０１】次いでＤ２層においてＣ３層で輪郭線が検
出された画像23Ａと、Ｃ４層で輪郭線が検出された画像
23Ｂとの差分、すなわち（画像23Ａ−画像23Ｂ）が行わ
れ、図25に示す画像24が得られる。さらに、Ｅ５，Ｅ６
層において、放射方向の動き検出シナプス結合により重
み付けられた信号として伝達され、それぞれの方向を表
す成分が抽出される。すなわち、図26に示す拡大方向成
分抽出シナプス結合25と縮小方向成分抽出シナプス結合
26とにより、拡大、縮小による画像の放射方向の動きの
成分を抽出するものである。この拡大方向成分抽出シナ
プス結合25と縮小方向成分抽出シナプス結合26とにより
画像24の重み付けられた信号として伝達された結果を、
それぞれ図27(a) の画像27Ａ、図27(b) の画像27Ｂに示
す。Ｅ５，Ｅ６層において抽出された輪郭線の動き成分
はＦ２層に入力される。次いでＦ２層からＦ２′，Ｆ
２″層にかけてのニューラルネットワークによってどの
方向の動き成分があったかが検出され、放射方向の動き
の方位として出力される。すなわち、本実施例において
は、図27(a) ，(b) の画像27Ａ，27Ｂに示すように拡大
方向成分の強度が高く縮小方向成分がほとんどないこと
から、拡大方向への動きがあったことを示すニューロン
からは大きな信号が出力され、縮小方向への動きがあっ
たことを示すニューロンからは信号が出力されない。

【０１０２】次いで画像入力器が、その注目領域の中心
点のまわりに回転をしながら画像取り込みを行った場合
について説明する。

【０１０３】まず、最初に、Ａ３層において、図28(a)
に示す時刻ｔにおける所定の大きさの注目領域の範囲の
画像31Ａが切り出される。一方、Ａ４層において、図28
(b)に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像31Ｂが切り出される。ここで時刻ｔ＋αに
おける画像31Ｂは、カメラ等の画像入力器の回転する動
きにより回転の動きが加わったものであり、画像31Ｂは
画像31Ａと比較して画像が注目領域の中心点のまわりを
右回転している。次いでＢ１層，Ｂ２層おいてそれぞれ
Ａ３層，Ａ４層において切り出された画像31Ａ，31Ｂの
複素対数座標変換がなされ、図29(a) ，(b) に示す画像
32Ａ，32Ｂを得る。次いでＣ３層，Ｃ４層において、そ
れぞれＢ１層，Ｂ２層において複素対数座標変換された
画像32Ａ，32Ｂ中に存在する被写体の輪郭線が検出され
る。すなわち、図17に示した輪郭線抽出シナプス結合12
により画像32Ａ，32Ｂは重み付けられた信号として伝達
され、図30(a) ，(b) の画像33Ａ，33Ｂに示すような画
像32Ａ，32Ｂの輪郭線が検出される。

【０１０４】次いでＤ２層においてＣ３層で輪郭線が検
出された画像33Ａと、Ｃ４層で輪郭線が検出された画像
33Ｂとの差分、すなわち（画像33Ａ−画像33Ｂ）が行わ
れ、図31に示す画像34が得られる。さらに、画像34はＥ
７，Ｅ８層において、回転方向の動き検出シナプス結合
により重み付けられた信号として伝達され、それぞれの
回転方向を表す成分が抽出される。すなわち、図32に示
す右回転方向成分抽出シナプス結合35と左回転方向成分
抽出シナプス結合36とにより、下から上方向および右か
ら左方向の動きの２成分のみを抽出するものとする。こ
の右回転方向成分抽出シナプス結合35と左回転方向成分
抽出シナプス結合36とにより画像34が重み付けられた信
号として伝達された結果を、それぞれ図33(a) の画像37
Ａ、図33(b) の画像37Ｂに示す。Ｅ７，Ｅ８層において
抽出された輪郭線の動き成分はＦ３層に入力される。次
いでＦ３層からＦ３′，Ｆ３″層にかけてのニューラル
ネットワークによってどちらの回転方向の動きがあった
かが検出され、面内回転方向の動きの方位として出力さ
れる。すなわち、本実施例においては、図33(a) ，(b)
の画像37Ａ，37Ｂに示すように右回転方向成分の強度が
高く左回転方向成分がほとんどないことから、右回転の
動きがあったことを示すニューロンからは大きな信号が
出力され、左回転の動きがあったことを示すニューロン
からは信号が出力されない。

【０１０５】なお、上述したＦ１〜Ｆ１″層，Ｆ２〜Ｆ
２″層およびＦ３〜Ｆ３″層における差分輪郭線成分か
らの画像の動きの検出は、差分輪郭線の情報を、パーセ
プトロン型のニューラルネットワークに繰り返し入力
し、同時に正しい判断を教師信号として与えて学習させ
ることにより達成できる。そしてこれにより画像の動き
の検出が可能なニューラルネットワークに成長させ、さ
まざまな画像からの差分輪郭線から、動きに関する正し
い検出結果を出力として得ることができる。

【０１０６】以上のようにして求められた画像全体の動
きから、ステップＣにおいて、時間差αをもつ２つの画
像間に存在する画像全体、すなわち背景の動きの差成分
をキャンセル（補償）することができる。すなわち、検
出された画像の動きの方向と量とに応じて、検出された
動きとは逆方向の動きを加えてやればよい。この背景の
動きをキャンセルするためのフローチャートを図37に示
す。例えば、図16(b)，図22(b) ，図28(b) の画像11
Ｂ，21Ｂ，31Ｂに示した画像に、それぞれの動きの検出
結果である信号Ｓ₁，Ｓ₂，Ｓ₃を、この動きとは逆の
方向に加えてやれば、いずれの画像からも、画像全体す
なわち背景の動きがキャンセルされた画像を得ることが
できる。

【０１０７】次いで、ステップＤにおいて、ステップＣ
において画像全体すなわち背景の動きをキャンセルした
時刻ｔ＋αの画像と時刻ｔにおける画像との差分がさら
に求められる。これによって背景の動きとは異なる動き
をしている物体のみが抽出される。すなわち、図35(a)
に示すように、背景の動きがキャンセルされた時刻ｔに
おける画像から輪郭線成分を抽出した画像41Ａ、図35
(b) に示す背景の動きがキャンセルされた時刻ｔ＋αに
おける画像から輪郭線成分を抽出した画像41Ｂとの差分
を求めれば、図36に示すような画像42を得ることができ
る。この画像42中に存在する物体すなわち、本実施例の
画像中におけるヨットが、背景とは異なる動きをしてい
る物体であり、この物体が所定被写体候補となる。

【０１０８】次いで、ステップＥにおいて、この背景と
は異なる動きをしている所定被写体候補に向けて注目領
域の移動が行われる。図37はステップＥにおける注目領
域の移動を行うためのフローチャートを表す図である。
ステップＥにおいては、ステップＤにおいて背景と異な
る物体、すなわち所定被写体候補が複数ある場合に、最
も所定被写体らしい所定被写体候補を絞り込み、次いで
この絞り込まれた所定被写体候補に向って注目領域を移
動させるものである。

【０１０９】図38は、所定被写体候補の輪郭線の傾きに
基づいて注目領域移動ベクトルを求めるためのニューラ
ルネットワークの一構成を表す図である。このニューラ
ルネットワークの構成は図４に示したニューラルネット
ワークと同一であるため、対応する記号に「′」を付
し、詳細な説明は省略する。なお、このニューラルネッ
トワークへの入力は、図36に示す画像42、すなわち背景
とは異なる動きをしている物体（所定被写体候補）の輪
郭線の画像である。また、出力は注目領域をどちらへど
れだけ移動すべきかという注目領域移動量と移動方向、
すなわち、注目領域移動ベクトルである。

【０１１０】このような所定被写体候補の輪郭線および
動きに基づく注目領域移動ベクトルの算出と並行して、
所定被写体候補の色に基づく注目領域移動ベクトルの算
出も行われる。

【０１１１】図39は所定被写体候補の色に基づいて注目
領域移動ベクトルを求めるニューラルネットワークの一
構成を表わす図である。

【０１１２】このニューラルネットワークの入力は、本
発明による輪郭線に基づいて注目領域移動ベクトルを算
出する実施例と同様に、時刻ｔにおける所定の大きさの
注目領域から入力される外界の画像である。また、出力
は、注目領域をどらへどれだけ移動すべきかという注目
領域移動量と移動方向である。

【０１１３】本実施例におけるニューラルネットワーク
の基本構造は、動きに基づいて注目領域移動ベクトルを
算出するニューラルネットワークおよび輪郭線に基づい
て注目領域移動ベクトルを算出するニューラルネットワ
ークと同様に階層型であるが、ｅ″層では相互結合もし
ているため複合型ともいえる。

【０１１４】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は上述した所定被写体候補の動きに基づく注目領域移動
ベクトルの算出および輪郭線に基づく注目領域移動ベク
トルの算出の実施例と同様に、大きく３つのステップに
分けられている。

【０１１５】画像上に注目領域中心点の位置を設定し、
この画像から注目領域の範囲の画像を取り込むステップ
は、所定の大きさの注目領域を有しこの注目領域の大き
さに画像を切り出してニューラルネットワークに入力す
るａ″層、および入力された画像の複素対数座標変換
（対数極座標変換）を行うｂ″層から構成される。

【０１１６】入力された画像から所定被写体候補を絞り
込むステップは、所定被写体候補の色と略一致する領域
のニューロンを検出し、各領域の所定被写体候補の色の
一致度を検出するｃ″，ｄ″，ｅ″層、色の一致度が高
く形状、大きさともに所定被写体により近い領域を選択
する相互結合回路網層であるｆ″層から構成される。

【０１１７】所定被写体候補と注目領域との位置ずれ検
出と、注目領域移動量の算出を行うステップは、所定被
写体候補の色と略一致する領域のニューロン群の領域の
方位と距離の検出層であるｇ″層、検出された方位と距
離とに基づいて、注目領域の移動ベクトルを出力する
ｉ″層から構成されている。なお、本実施例のニューラ
ルネットワークにおいては、上述した実施例と同様に
ｂ″層以降の各層間あるいは各層内のシナプス結合は、
空間不変（スペースインバリアント）とした。

【０１１８】まず、ａ″層において、所定の大きさの注
目領域の範囲の画像が切り出される。ａ″層において
は、注目領域の中心点ほどニューロンが高密度に存在す
る。ａ″層において取り込まれた画像はｂ″層におい
て、注目領域の中心点を極として複素対数座標変換され
る。このｂ″層において、画像を複素対数座標変換する
ことで、ｂ″層以降の処理を空間不変なシナプス結合と
のコンボリューションで実現できることになる。

【０１１９】図40に、図39に示すニューラルネットワー
クのｂ″層において様々な図形が複素対数座標変換され
た結果を示す。複素対数座標変換では、所定被写体候補
が極すなわち注目領域中心点の近くに存在する場合には
相対的に大きく、遠くに存在する場合には相対的に小さ
く変換される。ｂ″層のニューロンは変換された画像パ
ターンの強度に対応して興奮する。

【０１２０】複素対数座標変換された画像に対応するニ
ューロンの興奮パターンを表すｃ″層からｄ″層，ｅ″
層にかけてのニューラルネットワークによって、所定被
写体候補の色と略一致する領域が抽出され、この領域と
所定被写体の色との一致度が検出され、一致度に応じて
ｅ″層のニューロンが興奮する。ここで所定被写体候補
の色と略一致する領域のニューロンを抽出するようなシ
ナプス結合は、あらかじめバックプロパゲーション法な
どによって学習されたものを使用する。

【０１２１】本実施例では、所定被写体候補色との一致
度を検出するニューラルネットワークとして、３層構造
のニューラルネットワークを使用した一例について詳細
に説明する。

【０１２２】図41は本発明の実施例によるニューラルネ
ットワークの図39におけるｃ″層、ｄ″層およびｅ″層
という部分だけを抽出し、より詳細に示した図である。

【０１２３】ｃ″層からｅ″層をこの部分だけのものと
して見るとこれは、ｃ″層を入力層、ｄ″層を中間層、
ｅ″層を出力層とする３層のニューラルネットワークに
ほかならない。

【０１２４】ここでｃ″層への入力信号は前段のニュー
ロン層の各ニューロンからの色情報である。ｃ″層では
まず、前段のニューロン層からの色情報を光の３原色
（赤、緑、青）に分解し、それぞれの色情報を各１個の
ニューロンが受け取りそれぞれの入力とする。したがっ
てｃ″層では一画素につき３個のニューロンが割り当て
られているのである。ｃ″層に入力された信号は、シナ
プス結合によって重み付けされて次段のｄ″層へと伝達
される。なおｃ″層からｄ″層へのシナプス結合の重み
をＷ_1ij（ｉはｃ″層のニューロン、ｊはｄ″層のニュ
ーロン）で表す。

【０１２５】ｄ″層は中間層と呼ばれるニューロン層
で、一般に素子数は実行させる処理の複雑度に応て適宜
選択されるが、ここでは１画素につき５個のニューロン
を割り当てるものとする。したがって一画素につき３個
のニューロンから５個のニューロンへの信号伝達が１５
個のシナプス結合によって実行される。

【０１２６】続いて、ｄ″層からｅ″層へと信号伝達が
行なわれる。ｅ″層は３層のニューラルネットワークの
出力層に相当する。このニューラルネットワークは、所
定被写体候補色との一致度を検出するものであり、ある
１画素の所定被写体候補色との一致度は１個のニューロ
ンの興奮度として表現できるので、１画素について１個
のニューロンが割り当てられる。したがってｄ″層から
ｅ″層への信号伝達は１画素あたり５個のシナプス結合
によって実行される。なおｄ″層からｅ″層へのシナプ
ス結合の重みをＷ_2ij（ｉはｄ層のニューロン、ｊはｅ
層のニューロン）で表す。

【０１２７】実際には上記の様なニューロンやシナプス
の結合は画素の数だけ存在しており、このようなｃ″層
からｅ″層へのニューラルネットワークの信号伝達を、
各画素ごとに同時に並列に実行することが可能である。
なおこのニューラルネットワークでは、実行する処理が
各画素で同一であるため、各画素ごとのニューロンの特
性はもちろんシナプス結合の重みも同一のものを使用す
る。

【０１２８】上記のような、所定被写体候補色との一致
度を検出する動作を実行させるためのシナプス結合は、
ニューラルネットワークの学習によって得ることが可能
である。例として、人間の顔の肌色を所定被写体候補の
色とし、ある母集団から抽出した肌色の度数分布が色の
一致度に比例すると定義した場合の、シナプス重みの値
を表１に示す。

【０１２９】

【表１】

【０１３０】学習はバックプロパゲーション法と呼ばれ
る方法を用いて行なうことが可能である。まず、肌色を
始めとする各種の色の３原色値を入力データとし、肌色
の度数分布から決めた色の一致度を教師データとして、
ニューラルネットワークに繰り返し呈示し、実際にニュ
ーラルネットワークが出力してきた値と教師データとの
差に応じて、差が小さくなる方向に徐々にシナプス結合
の重みを書き換えることで学習させ、最終的に与えられ
た入力に対し教師データどおりの値を出力するようにさ
せるのである。

【０１３１】この、ニューラルネットワークの出力に基
づいて求められた肌色との一致度を図66に示した色度図
に色の等高線として表す。ここで最も肌色に近い色の場
合は、一致度は1.0 となり、以下、肌色から離れるにつ
れて一致度は小さくなる。ここで、色の３原色値のデー
タを色度図上ｘ，ｙ座標として表す演算は以下の式によ
って行われる。

【０１３２】ｘ＝（1.1302+1.6387r/(r+g+b)+0.6215g/(r+g+b)/ (6.7846-3.0157r/(r+g+b)-0.3857g/(r+g+b) (6) ｙ＝（0.0601+0.9399r/(r+g+b)+4.5306g/(r+g+b)/ (6.7846-3.0157r/(r+g+b)-0.3857g/(r+g+b) (7) 但し、ｒ：赤の色値ｇ：緑の色値ｂ：青の色値このようにして学習されたシナプス結合の重みを用い
て、ｃ″層からｅ″層のニューラルネットワークで、所
定被写体候補の色と抽出された領域との一致度を検出
し、一致度をｅ″層のニューロンの興奮として出力する
ことができる。

【０１３３】さらに続くｆ″層は、所定被写体候補と色
の一致度が高く、しかも形状・大きさともに所定被写体
候補として最も適当である領域が選択されるような競合
協調のともに所定被写体候補として最も適当である領域
が選択されるような競合協調の局所相互重み結合を有す
る相互結合層である。ｆ″層内で各ニューロンは図42の
シナプス結合パターン80に示すように、自分の近くのニ
ューロンとは正の重みで、少し離れたニューロンとは負
の重みでシナプス結合されている。このような内部相互
結合によって興奮信号がやりとりされた結果、ｆ層では
ｄ層で興奮している所定被写体候補の色との一致度が高
いニューロンからの信号を受けたニューロンのうち、所
定の形状・大きさを持ち、しかも高い興奮強度すなわ
ち、色の一致度を有するニューロン群の領域が選択され
発火し、孤立した領域や色の一致度の低い領域のニュー
ロンは発火しない。すなわち、図42に示すｅ層において
抽出された領域81，82，83のうち、領域81の肌色との一
致度が前述した色度図において1.0 、領域82の一致度が
0.9 、領域83の一致度が0.2 であったとすると、領域83
は、領域81および領域82と比べて、肌色との一致度が小
さいため、領域81および領域82と領域83とが競合した際
に抑制されて消されてしまう。一方、領域81と領域82と
は、肌色との一致度は領域81の方が大きいため、領域81
と領域82とが競合することにより、領域82は消されてし
まう。また、領域81は肌色との一致度が大きいため、領
域81内のニューロン同士が協調し合い、より領域81にお
けるニューロンの興奮状態は大きくなる。このため、
ｅ″層において競合協調がなされた結果、領域81のみが
選択されることとなる。

【０１３４】またここで、ｅ層における領域81，82，83
の肌色との一致度が全て同じであった場合は、シナプス
結合80の形状・大きさに最も適合する領域が選択され
る。例えば、シナプス結合80の正の重みの部分の形状と
大きさが、領域81の形状と大きさと略一致しているよう
な場合は、領域82，83は協調競合の結果、消去されてし
まい、領域81のみが選択されることとなる。

【０１３５】さらに、ｅ″層における領域81，82，83の
肌色との一致度が全て同じであり、かつ各領域の形状と
大きさが略一致しているような場合には、ｅ″層のニュ
ーロンに対して図43に示すような重みを加えておく。す
なわち、注目領域の半径の30〜40％程度の領域のニュー
ロンからの結合重みが最も大きくなるような重みＷを加
えておく。このような重みを加えることによって、図42
に示すような位置にある領域81，82，83のうち、重みの
最も大きい部分の近傍に存在する領域81のみが選択され
るのである。

【０１３６】次に、以上のようにして選択された所定被
写体候補の色と一致度が高いニューロン群の発火領域の
成分からの注目領域移動ベクトルの求め方について説明
する。

【０１３７】図44は本発明の実施例によるニューラルネ
ットワークの図39におけるｆ″層、ｇ″層およびｉ″層
の部分を抽出し、より詳細に示した図である。

【０１３８】図44に示すように、各層間はシナプス結合
によって結合されている。ｆ″層は、ニューロンが２次
元状に整列した構造になっている。ｆ″層内で興奮して
いるニューロンの分布は、ｆ″層内のシナプス相互結合
によって選択された、所定被写体候補との一致度が高
く、しかも形状・大きさともに所定被写体候補として最
も適当である領域の成分に相当している。

【０１３９】ｆ″層から、方位と距離を検出するため
に、ｇ″層へと興奮信号が伝達される。ｇ″層は１次元
に配列されたニューロン層で、ｆ″層の同一方位にある
ニューロン群からの信号を受けるようにシナプス結合に
よって結合されている。この結果、ニューロン群85の方
位と距離に対応する、ｇ″層のニューロン86が興奮す
る。このニューロン86の方位と興奮の強さが方位と距離
を表すものである。

【０１４０】次に、このようにしてｇ″層において求め
られた方位と距離はｉ″層において合成されて注目領域
移動ベクトルが決定される。この注目領域移動ベクトル
の合成は極座標上で行っても実空間座標上で行ってもか
まわないものであり、図44では実空間座標上で合成した
場合を示す。ニューロン86からの興奮は、逆複素対数座
標変換されながらｉ″層に伝達される。ｉ″層では各方
位ベクトルの重心が求められ、これが合成された注目領
域移動ベクトルとして出力される。

【０１４１】ここで、前述した協調競合を行わないニュ
ーラルネットワークにより注目領域移動ベクトルを求め
る場合、複数のベクトルが検出されることがある。この
際、ｅ″層のニューロンに対して前述した図43に示すよ
うな重み、すなわち、注目領域中心点からの距離に応じ
た重みを加えるようにして、１つの注目領域移動ベクト
ルを選択すればよい。

【０１４２】また、協調競合を行っても複数の注目領域
移動ベクトルが検出された場合も、ｅ″層のニューロン
に図43に示すような重みを加えるようにして、１つのベ
クトルのみを選択すればよい。これにより、複数のベク
トルが検出されても、最も適切な所定被写体候補に向か
う注目領域移動ベクトルを検出でき、また１つの注目領
域移動ベクトルしか検出できなかった場合も、注目領域
と所定被写体候補との距離が大きければ、注目領域移動
ベクトルの大きさは小さくなる。

【０１４３】以下、上述した色に基づいて求められた注
目領域移動ベクトルがいかにして注目領域を所定被写体
候補の方向へと移動させるかについて説明する。

【０１４４】図45，46および47は注目領域の中心点が所
定被写体候補の外側から、所定被写体候補の内部に移動
する状態を複素対数座標と実空間座標とを対応させて表
した図である。

【０１４５】まず、図45に示すように、所定被写体候補
71が注目領域中心点Ｑを含まない場合、所定被写体候補
71は１つのかたまりとして複素対数座標変換され、図45
の複素対数座標において、所定被写体候補の色との一致
度が高い領域として検出される。さらに、競合協調の相
互結合回路網であるｆ″層において所定被写体候補71′
を絞り込むと、局所的に所定被写体候補の色との一致度
が高く、しかも適当な大きさを有する被写体候補領域の
みが唯一または複数選択される（本実施例においては１
つ）。次いで、選択された領域の方位と距離とから注目
領域73の移動ベクトル75が検出され出力される。この注
目領域移動ベクトル75は、所定被写体候補71に向いてい
るので、注目領域移動ベクトル75の値に応じて注目領域
73を移動すれば、注目領域中心点Ｑは所定被写体候補71
に近づくことができる。

【０１４６】次に、図46に示すように、所定被写体候補
71と注目領域中心点Ｑとが、ある程度近づいて、注目領
域71内に所定被写体候補71が入っている場合、複素対数
変換された所定被写体候補71′は、全ての方位に広が
る、所定被写体候補の色との一致度が高い領域として検
出される。この状況で、競合協調の相互結合回路網によ
って所定被写体候補71′を絞り込むと、全方位に広がっ
た同一候補の領域同士が抑制し合い、結果として、所定
被写体候補71′の外縁と注目領域中心点Ｑとの距離が最
大となっている方位のニューロン群だけが興奮でき、こ
のニューロン群を含む領域87が検出される。次いで、そ
の検出された領域87の方位と興奮強度から方位と距離と
が検出され、注目領域73の移動ベクトル75が検出され出
力される。この注目領域移動ベクトル75は、所定被写体
候補71の中心に向いているので、注目領域移動ベクトル
75の値に応じて注目領域73を移動すれば、注目領域中心
点Ｑは所定被写体候補71にさらに近づくことができる。

【０１４７】最後に、図47に示すように、所定被写体候
補71が注目領域中心点Ｑとほぼ同じ場所にまで近づいて
いる場合、複素対数変換された所定被写体候補71′は、
全ての方位に均等に広がる、所定被写体候補の色と略一
致する領域として検出される。この状況で、競合協調の
相互結合回路網によって所定被写体候補71を絞り込む
と、全方位に均等に広がった同一候補の領域同士が競合
し合い抑制し合うので、結果として、どの方位の領域も
興奮できない。したがって、次いで検出される方位と距
離は０になる。さらに同様に、注目領域73の移動ベクト
ルも長さ０になる。このように、注目領域移動ベクトル
の値に応じて注目領域73を移動すれば、注目領域中心点
Ｑの所定被写体候補71の中心における移動は停止する。

【０１４８】本実施例によるニューラルネットワークは
以上の動作を繰り返し、最終的に所定被写体候補の中心
点に注目領域中心点を移動する。

【０１４９】次いで上述した所定被写体候補の動きに基
づいて注目領域移動ベクトルを求めるニューラルネット
ワーク、所定被写体候補の輪郭線に基づいて注目領域移
動ベクトルを求めるニューラルネットワークおよび所定
被写体候補の色に基づいて注目領域移動ベクトルを求め
るニューラルネットワークの３つのニューラルネットワ
ークにより求められた３種類の注目領域移動ベクトル
は、求めるべき所定被写体候補に合わせて適切に合成さ
れ、最終的な注目領域移動ベクトルが求められる。この
最終的に求められた注目領域移動ベクトルに基づいて注
目領域は所定被写体候補の方向に移動させられるのであ
る。

【０１５０】本実施例によるニューラルネットワークは
以上の動作を繰り返し、最終的に所定被写体候補の中心
点に注目領域中心点を移動する。注目領域中心点が所定
被写体候補の中心点と一致すると、注目領域停止処理部
４において所定被写体候補が切り出されて（すなわち抽
出され）、抽出された所定被写体候補は判定部に引き渡
される。

【０１５１】この所定被写体候補の切り出しであるが、
本発明の被写体認識方法においては、所定被写体候補の
大きさおよび所定被写体候補内に含まれる特徴部分の位
置に関係なく所定被写体候補を切り出すことが可能であ
るが、これでは、次のステップである判定部に対して大
きな負担となる。そこで、所定被写体候補を切り出す際
には、いかなる所定被写体候補をも略同じ大きさかつ特
徴部分の位置が略同一となるように所定被写体候補を正
規化して切り出すようにすれば、所定被写体候補が何で
あるかを判定する判定部に対する負担が小さくなり、演
算時間の短縮にもつながる。

【０１５２】また、上述した実施例においては、物体す
なわち所定被写体候補の大きさに応じて、注目領域の大
きさを変化させるようにしてもよい。例えば、上述した
ｅ１層において検出された円環方向の輪郭線の、複素対
数座標上における放射方向の位置を検出することによ
り、注目領域中心点から所定被写体候補の輪郭線までの
距離を検出し、この距離に応じて注目領域の大きさを変
化させるようにすればよい。

【０１５３】ここで、例えば図48に示すような人間88が
映し込まれた画像89から人間88を抽出する場合、最初に
注目領域中心点が置かれた地点をＱ₁とすると、注目領
域中心点Ｑ₁，Ｑ₂，Ｑ₃と次第に人間88に近づいてゆ
き、人間88の顔88a の中心点Ｑ₅において停止する。そ
して注目領域停止処理部４において顔88a が正規化され
て抽出され、判定部に引き渡される。この場合の顔88a
の正規化とは、大きな顔、小さな顔、長い顔等の様々な
形状の顔を圧縮や拡大することによって略同一の大きさ
の円形の顔にして、顔の特徴部分である眼や口の位置を
どの顔についても略同一の位置となるようにすることを
いう。

【０１５４】ここで、所定被写体候補の正規化の方法に
ついて説明する。

【０１５５】まず、図４に示すニューラルネットワーク
のｆ１層の出力を重視した場合を説明する。この場合に
は所定被写体候補の中心点に視点が移動し停止する。こ
こで、所定被写体候補である人間の顔の中心位置へ、注
目領域の中心点が移動した場合、小さい顔170 および大
きい顔171 の輪郭線の複素対数座標上における画像はそ
れぞれ図49(a) ，(b) に示すように注目領域中心点から
の距離がそれぞれＲ₁，Ｒ₂となる直線170 ′および171
′となる。この距離Ｒ₁，Ｒ₂を略同一とすることに
よって正規化を行っているが、以下、この正規化の方法
について説明する。

【０１５６】図50は、本発明の実施例による正規化の方
法を説明するための図である。

【０１５７】図50に示すように、円形の人間の顔の中心
位置へ注目領域の中心点が移動すると、ニューラルネッ
トワークのｆ１層において、注目領域中心点からの距離
が略一定となる円環方向のニューロン172 が興奮する。
そこで、ｆ１層における規則的に配列された放射方向に
並んだニューロンの列毎に、円環方向に並んだニューロ
ンの出力をシナプス結合173 によって加えると、出力が
加えられたニューロン174 における、注目領域中心点か
ら所定距離Ｒθにあるニューロン175 のみが出力を出す
ようになり、この所定距離Ｒθが人間の顔の中心位置か
ら輪郭線までの距離を表わすものとなる。この距離Ｒθ
を逆複素対数変換して、逆複素対数変換された距離ln^-1
Ｒθを一定値Ｌに正規化するような伸縮係数ｋ（＝Ｌ／
Ｒθ）を求め、実空間座標で所定被写体候補である人間
の顔を抽出する際に、伸縮係数ｋに応じていかなる大き
さの顔も略同一の大きさとなるように抽出してやればよ
い。

【０１５８】次に、人間の顔であっても長い顔等、人に
より顔の形状が異なる場合があるが、楕円形をした長い
顔176 の中心位置に注目領域の中心点が移動した場合、
この長い顔55の輪郭線の複素対数座標上における画像
は、図51に示すように、円環方向の角度毎に注目領域中
心点から輪郭線までの距離が異なる（最大値Ｒ₃，最小
値Ｒ₄）輪郭線176 ′となる。このような場合には、逆
複素対数変換された距離ln^-1Ｒ_θを一定値Ｌに正規化
するような伸縮係数ｋを円環方向の角度毎に求め、実空
間座標で、長い顔176 を抽出する際に、各角度毎の伸縮
係数ｋに応じて、抽出する顔が略同一形状かつ略同一の
大きさとなるようにして、抽出してやればよい。

【０１５９】次に、ｆ２層の出力を重視した場合につい
て説明する。この場合には、図52(a) に示すように所定
被写体候補177 の輪郭線の交点Ｔに注目領域中心点Ｏが
移動し、停止する。輪郭線の交点Ｔは所定被写体候補17
7 の一部分であり、この部分を抽出するためには、所定
被写体候補177 全体の大きさについての情報が必要であ
る。そこで注目領域停止処理部４は、一旦ｆ１層の出力
を重視するように出力の合成のバランスを切り換えて、
所定被写体候補177 の中心へ向かう注目領域移動ベクト
ルを求め、所定被写体候補177 の中心位置の探索を開始
する。

【０１６０】このときすでに注目領域中心点Ｏは所定被
写体候補177 の輪郭線の一部にあるので、所定被写体候
補177 の大きさが注目領域178 の中に納まるような大き
さであれば、この探索によって確実に所定被写体候補17
7 の中心位置を求めることができる。

【０１６１】ところが、図52(a) に示すように所定被写
体候補177 の大きさが注目領域178より大きい場合には
所定被写体候補177 の中心に向かう注目領域移動ベクト
ルの信号が得られない。注目領域移動ベクトルの信号が
正しく得られているかどうかは、ｅ１層のニューロンの
興奮状態を調べることで知ることができる。すなわち、
図52(a) に示すように、ｅ１層に所定しきい値を超えて
興奮するニューロンが存在しない場合には、所定被写体
候補177 の全体の大きさが注目領域178 よりも大きいと
判断される。この場合には、所定被写体候補177 全体を
注目領域178 の内部に捕えることが可能になるまで、ａ
層で切り出す外界の画像の領域、すなわち注目領域178
を拡大するような信号をａ層に送ればよい。図52(b) に
示すように所定被写体候補177 が、拡大された注目領域
178 ′の内部に入ってくると、ｅ１層のニューロンが興
奮し、所定被写体候補177 全体の中心に向かう正しい注
目領域移動ベクトルが得られ、図52(c) に示すように、
ニューラルネットワークは注目領域中心点Ｏを所定被写
体候補全体の中心に移動することができる。

【０１６２】その後、前述した方法と同様にして、所定
被写体候補177 の大きさＲ₅を、中心点から円環方向の
輪郭線までの距離に基づき求める。しかる後に、先ほど
発見した輪郭線の交点Ｔへと、再び注目領域中心点Ｏを
戻し、その輪郭線の交点Ｔを中心にして、所定被写体候
補177 全体の大きさに対しあらかじめ設定された比率の
大きさの領域（ここでは半径 k・ln^-1Ｒ₅の領域、k は
伸縮係数）を抽出してやればよい。

【０１６３】以上のようにして、正規化されて抽出され
た所定被写体候補である顔の画像は、所定被写体候補が
所定被写体であるか否かを判定する判定部に引き渡され
る。

【０１６４】次に、本発明による被写体認識方法の第２
のステップである所定被写体候補が所定被写体であるか
否かの判定について説明する。なお、本実施例において
は、所定被写体を顔として、抽出された所定被写体候補
が顔であるか否かを判定する方法について述べる。

【０１６５】図53は、本発明による被写体認識方法の第
２のステップである、所定被写体候補が所定被写体であ
るか否かの判定を行うニューラルネットワークの一実施
例を表わす図である。なお、本実施例においてこのニュ
ーラルネットワークは位置ずれに強いネオコグニトロン
を用いて、所定被写体候補の特徴部分と、この所定被写
体候補内における特徴部分の位置とに基づいて、所定被
写体候補が所定被写体であるか否かを判定するものであ
る。

【０１６６】なお、本実施例においては、所定被写体と
して人間の顔を、所定被写体の複数の特徴部分として、
右目，左目および口を用いた。また、この特徴部分であ
る右目，左目および口は、コホーネンの自己組織化を用
いて学習を行い、システム全体の構造はネオコグニトロ
ンを用いている。

【０１６７】本実施例におけるネオコグニトロンは３層
構造をなしておりＵ_S1層95、Ｕ_C1層96および最終出力層
であるＵ_S2層98からなり、Ｕ_S1層の前には、ａ₁マスク
94がある。本実施例ではａ₁マスク94に顔の特徴部分で
ある右目91、口92および左目93についてコホーネンの自
己組織化により多数のパターンを学習させており、様々
な顔の判定を行うことが可能である。また、Ｕ_S2層98の
前にはａ₂マスク97があり、このａ₂マスク97により、
与えられた顔の候補90の特徴部分である右目91、口92お
よび左目93の位置を調べて所定被写体候補90が顔である
か否かを判定する。

【０１６８】ここで、ａ₁マスク94におけるコホーネン
の自己組織化による学習について説明する。なお、ここ
では簡単のため右目のうち、閉じた目，開いた目のみを
提示して学習させる場合についてのみ説明する。

【０１６９】まず、図54に示すような閉じた目100 ，開
いた目101 を１つずつ順番に提示すると、ａ₁マスク94
内の素子（細胞）のうちで、最適マッチングしている素
子（細胞）を見つける。次いでこの素子（細胞）とトポ
ロジカルな隣接素子（細胞）のマッチング度を増加させ
る。このようして、閉じた目100 ，開いた目101 は、ト
ポロジカルな関係で細胞に割り当てられる。ところが、
このように閉じた目100 と開いた目101 の割り当てを行
うと、閉じた目100 と開いた目101 とを割り当てられた
細胞と細胞の間にある細胞は、図55に示すように閉じた
目100 と開いた目101 との重ね合せの目102 を学習して
しまう。そこで、学習の際に、閉じた目100 および開い
た目101 と最適マッチングしている素子を見つけ、トポ
ロジカルな隣接素子のマッチング度を増加させる際に、
図51に示すように前述した重ね合せの目103 を学習して
いる細胞に、閉じた目100 と開いた目101 との中間のパ
ターン、すなわち半開きの目103 を割り当てるようにす
る。

【０１７０】このように学習を行えば、閉じた目100 お
よび開いた目101 を入力として提示することにより、半
開きの目103 をトポロジカルな関係を保ちながら学習す
ることができる。また、口および左目についても同様に
学習することができ、さらに、学習の際に提示する画像
の選び方により、顔の表情の変化や角度の変化等に対応
した学習を行うことができる。例えば、表情の変化は、
代表的な目、口を呈示することにより、角度の変化は、
正面の顔、横向きの顔を呈示することにより、違う人の
顔は、代表的な顔を呈示することにより学習できる（但
し、代表的な特徴パターンの選び方を、検討しなければ
いけない）。このように自己組織化させることにより、
学習の段階で判別に使用する特徴パターンに柔軟性を持
たせることができるのである。

【０１７１】次に、本実施例におけるニューラルネット
ワークであるネオコグニトロンの各層の機能について説
明する。まず、右目91が、与えられた所定被写体候補で
ある顔の候補90に存在するか否かを、ａ₁マスク94の右
目について学習した部分94Ａでコンボリューション（コ
ホーネンの自己組織化により学習したパターンとマッチ
ング）する。右目について学習した部分94Ａには、右目
のうち閉じた目、開いた目、半分閉じた目等の様々なパ
ターンが学習されている。同様にａ₁マスク９４の口９
２について学習した部分94Ｂおよび左目93について学習
した部分94Ｃには様々なパターンの口92および左目93が
学習されており、様々な顔の判定を行う。このようなａ
₁マスク94によって顔の候補90をコンボリューションし
た結果、顔の候補90に右目91が存在することがわかる
と、Ｕ_S1層95の右目91に対応する細胞95Ａの右目に対応
する部分95a が反応する。同様に口92および左目93が顔
の候補90に存在することがわかると、Ｕ_S1層95の口92に
対応する細胞93Ｂの口に対応する部分95b および左目93
に対応する細胞95Ｃの左目に対応する部分95c が反応す
る。このようにして、Ｕ_S1層95の各細胞95Ａ〜95Ｃの部
分95a 〜95c が反応することによって、それぞれ右目、
口、および左目が存在することを表わす反応出力がＵ_S1
層95からＵ_C1層96へ出力される。

【０１７２】Ｕ_C1層96において、右目91、口92および左
目93のそれぞれに対応する細胞96Ａ〜96Ｃは、Ｕ_S1層95
の各細胞95Ａ〜95Ｃの部分95a 〜95c 内に１個でも反応
している細胞があれば、細胞96Ａ〜96Ｃも出力を出すよ
うなシナプス結合となっている。右目について考える
と、入力層であるＵ_S1層95の細胞95Ａの部分95a 内に右
目があるときにＵ_C1層96の右目に対応する細胞96Ａは反
応出力を出す。また、この反応出力はＵ_S1層95の細胞95
Ａの右目の部分95a の範囲よりも広い範囲96a で反応出
力を出すようになっている。口、左目についても右目の
場合と同様に反応出力を出す。つまり、入力パターンの
位置ずれにあまり影響されずに反応出力を出すのであ
る。

【０１７３】Ｕ_C1層96の反応出力は次いで最終出力層で
あるＵ_S2層98に入力されるが、Ｕ_S2層98の前にはａ₂マ
スク97があり、右目用マスク97Ａ、口用マスク97Ｂおよ
び左目用マスク97Ｃが右目、口、左目の位置関係を合わ
せながらそれぞれ対応するＵ_C1層96をコンボリューショ
ンする。このａ₂マスク97によってＵ_C1層96とＵ_S2層98
は人間の顔の右目、口および左目が、人間の顔と同じ位
置に存在するときにだけ、Ｕ_S2層98が反応するようなシ
ナプス結合がなされている。またａ₂マスク97はＵ_C1層
96に右目、口および左目があるという条件を観測してい
るだけでなく、それ以外の特徴物がＵ_C1層96に存在しな
いという条件も同時に確認している。よって、Ｕ_C1層96
に右目、口および左目が所定の位置に存在する場合のみ
Ｕ_S2層98は反応し、このＵ_S2層98が反応することによっ
て、顔の候補90が人間の顔であるという判定がなされ
る。逆に、Ｕ_C1層96に右目、口および左目が存在しない
かまたは、右目、口および左目が所定位置に存在しない
場合は、Ｕ_S2層98は反応しないため、顔の候補90は人間
の顔でないという判定がなされる。

【０１７４】上記実施例においては、所定被写体候補が
所定被写体であるか否かの判定にネオコグニトロンを用
いて所定被写体候補の特徴部分と、特徴部分の位置とに
基づいて判定を行うようにしているが、とくにネオコグ
ニトロンに限定されるものではなく、コグニトロンやパ
ーセプトロンを用いるようにしてもよい。また、判定に
はとくにニューラルネットワークを用いる必要はなく、
いかなる方法を用いてもよいことはもちろんである。

【０１７５】また、上記実施例においては、ニューラル
ネットワークとしてコホーネンの自己組織化を用いて特
徴パターンについての学習を行っているが、学習はとく
にコホーネンの自己組織化に限定されるものではなく、
いかなるニューラルネットワークを用いてもよい。さら
にこの学習手段はとくにニューラルネットワークに限定
されるものではなく、いかなる学習手段を用いてもよい
ことはもちろんである。

【０１７６】また、上記実施例においては、本発明の被
写体認識方法を人の顔の認識のために用いているが、認
識は人の顔に限定されるものではなく、いかなる所定被
写体の認識にも用いることができる。この場合、判定に
ニューラルネットワークを用いて認識を行う被写体に適
した構成で学習を行えば、人の顔の認識と同じように効
率的に所定被写体候補が所定被写体であるか否かの認識
を行うことができる。

【０１７７】また、上記実施例においては、本発明の第
１のステップである所定被写体候補の抽出を、ニューラ
ルネットワークを用いて、所定の大きさの注目領域の中
心点を所定被写体候補の位置へ移動させ、この注目領域
の中心点を基準として、所定被写体候補の大きさおよび
／または形状に応じて抽出領域を決定するようにしてい
るが、所定被写体候補の抽出を、画像全体のポテンシャ
ン場のマップを作成し、このマップ中のポテンシャルの
極小点を基準として、所定被写体候補の大きさおよび／
または形状に応じて抽出領域を決定するようにしてもよ
い。

【０１７８】ポテンシャル場は、前述したように人間の
眼の視点安定点の場であり、これを、前述した所定被写
体候補の抽出のためのニューラルネットワークで考える
と、ポテンシャル場は注目領域中心点の安定点の場とみ
なすことができる。すなわち、注目領域中心点の安定点
である所定被写体候補の中心においてはポテンシャル場
は平坦であり、注目領域の移動が必要な不安定点におい
ては、ポテンシャル場は傾いているとみなすことができ
る。この場合、ポテンシャル場の傾きを表現しているも
のは、前述した抽出のニューラルネットワークで用いら
れている注目領域移動ベクトルの方向である。このた
め、与えられた画像の全面を前述したニューラルネット
ワークの注目領域で走査しながら、画像上の各地点での
注目領域移動ベクトルをポテンシャル場の傾斜ベクトル
として画像に記録していくことで、画像のポテンシャル
場のマップを作成することができる。

【０１７９】図57は、上述のようにして求めた注目領域
移動ベクトルをポテンシャル場の傾斜ベクトルとし、こ
のポテンシャル場の傾斜ベクトルを、画像に記録するこ
とにより作成したポテンシャル場のマップを表す図であ
る。

【０１８０】画像104 には楕円105 ，三角形106 および
四角形107 が映し込まれている。この画像104 全体のポ
テンシャル場の傾斜ベクトルを、前述したニューラルネ
ットワークにより算出し、このポテンシャル場の傾斜ベ
クトルが求められた位置と対応する画像104 の各位置に
おいて画像104 に記録すると、ポテンシャル場のマップ
が得られる。図57において、ポテンシャル場の傾斜ベク
トルは、楕円105 ，三角形106 および四角形107 それぞ
れの中心点Ｐ₁，Ｐ₂およびＰ₃へと向っている。この
ポテンシャル場の傾斜ベクトルの方向をポテンシャル場
の傾きとみなせば、ポテンシャル場のマップは、楕円10
5 ，三角形106 および四角形107 それぞれの中心点
Ｐ₁，Ｐ₂およびＰ₃において極小点となる。

【０１８１】図58にポテンシャル場の傾きを表わすグラ
フを示す。図58は、図57における画像104 を注目領域73
で走査し、注目領域73の中心点Ｎのポテンシャル場の傾
斜ベクトル75が四角形107 の中心点Ｐ₃に向っている様
子を示している。

【０１８２】図58の上半分のグラフ108 は前述のように
してポテンシャル場の傾きを求め、画像104 のI-I 線で
ポテンシャル場の断面をとりポテンシャル場の２次元グ
ラフとして表わしたものである。

【０１８３】グラフ108 には３つの極小点Ｐ₁′，
Ｐ₂′およびＰ₃′があり、それぞれが画像104 におけ
る楕円105 の中心点Ｐ₁、三角形106 の中心点Ｐ₂およ
び四角形107 の中心点Ｐ₃と対応している。また、グラ
フ108 の点Ｎ′は画像104 の注目領域73の中心点Ｎと対
応している。このように画像104 全体のポテンシャル場
の傾きを求めてポテンシャルマップを作成すれば、場の
極小点を求めることができ、この極小点を基準として所
定被写体候補の大きさおよび／または形状に応じてこの
所定被写体候補を抽出してやれば、極めて効率的な所定
被写体候補の抽出を行うことが可能である。

【０１８４】次に、本発明による被写体認識方法の第１
のステップである所定被写体候補を抽出する方法の第２
実施例について説明する。

【０１８５】本発明による被写体認識方法の第１のステ
ップの第２実施例は、所定被写体候補の動きに基づい
て、注目領域移動ベクトルを求める実施例においては、
抽出された背景とは異なる動きをする所定被写体候補の
輪郭線を、所定被写体候補の輪郭線の傾きおよび所定被
写体候補の色に基づいて注目領域移動ベクトルを求める
実施例においては、時刻ｔにおける所定の大きさの注目
領域の範囲で切り出した画像を複素対数座標変換しない
で実空間座標状のニューロン配列をしたニューラルネッ
トワークを用いて注目領域移動ベクトルを求めるもので
ある。

【０１８６】図59は本発明の第１ステップの第２実施例
による所定被写体候補の中心に注目領域中心点を移動さ
せることによって所定被写体候補の抽出を行うニューラ
ルネットワークの１例を表わす図である。まず、所定被
写体候補の動きに基づいて注目領域移動ベクトルを求め
る実施例において求められた、背景とは異なる動きをす
る所定被写体候補の輪郭線および所定被写体候補の輪郭
線に基づいて注目領域移動ベクトルを求めるために、注
目領域の範囲の画像を入力するニューラルネットワーク
について説明する。本発明の第２実施例のニューラルネ
ットワークは、与えられた画像110 から所定の大きさの
注目領域の範囲に画像を切り出す（所定被写体候補の動
きに基づいて注目領域移動ベクトルを求める場合は、図
27に示すような背景とは異なる動きをする所定被写体候
補の輪郭線の画像42）入力層120、切り出した画像（ま
たは入力された画像）から所定被写体候補の円弧状の輪
郭線を検出する輪郭線検出層121 、切り出した画像から
所定被写体候補の放射状の輪郭線を検出する輪郭線検出
層121 ′、放射状の輪郭線の端点を検出する端点検出層
122 、連続する円弧状の輪郭線を選択する相互結合層12
3 、連続する放射状の輪郭線を選択する相互結合層123
′、選択された円弧状の輪郭線から注目領域中心点を
囲む同心円の円周方向に対して所定角度傾いた輪郭線の
成分を全て抽出する傾き成分抽出層124 、選択された放
射状の輪郭線から注目領域中心点を囲む同心円の円周方
向に対して所定角度傾いた輪郭線の成分を全て抽出する
傾き成分抽出層124 ′、抽出された円弧状の輪郭線の傾
き成分から所定被写体候補の注目領域中心点を囲む同心
円の円周方向に対する方位ベクトルである方位と強度と
を検出する方位ベクトル検出層125 、抽出された放射状
の輪郭線の傾き成分から所定被写体候補の注目領域中心
点を囲む同心円の円周方向に対する方位ベクトルである
方位と強度とを検出する方位ベクトル検出層125 ′、検
出された円弧状の輪郭線の成分の方位と強度とから方位
ベクトルを合成する方位ベクトル合成層126、検出され
た放射状の輪郭線の成分の方位と強度とから方位ベクト
ルを合成する方位ベクトル合成層126 ′および合成され
た各方位ベクトルから注目領域移動ベクトルを決定する
注目領域移動ベクトル出力層127 のニューロン層からな
る。すなわち入力層120 は図29または図34における複素
対数座標で注目領域移動ベクトルを求めるニューラルネ
ットワークのａ，ａ′層と、輪郭線検出層121 ，121 ′
はｃ１，ｃ１′層，ｃ２，ｃ２′層と、端点検出層122
はｄ，ｄ′層と、相互結合層123 ，123 ′はｅ１，ｅ
１′層，ｅ２，ｅ２′層と、傾き成分抽出層124 ，124
′はｆ１，ｆ１′層，ｆ２，ｆ２′層と、方位ベクト
ル検出層125 ，125 ′はｇ１，ｇ１′層，ｇ２，ｇ２′
層と、方位ベクトル合成層126 ，126 ′はｈ１，ｈ１′
層，ｈ２，ｈ２′層と、そして注目領域移動ベクトル出
力層127 はｉ，ｉ′層とそれぞれ対応している。

【０１８７】まず入力層120 において、所定の大きさの
注目領域の範囲の画像が切り出されて外界から取り込ま
れる（または、図36に示す画像42が入力される）。入力
層120 において取り込まれた画像は輪郭線検出層121 ，
121 ′において円弧状および放射状の輪郭線が検出され
る。円弧状および放射状の輪郭線が検出されると、次い
で端点検出層122 においては、放射状の輪郭線が検出さ
れた輪郭線検出層122′の画像から、ある所定被写体候
補が手前に存在する別の物体に遮ぎられた場合にその境
界で発生する放射状の輪郭線の端点を抽出する。次いで
相互結合層123，123 ′において連続する円弧状および
放射状の輪郭線が選択される。次に傾き成分抽出層124
，124 ′において、選択された輪郭線から注目領域中
心点を囲む同心円の円周方向に対して所定角度傾いた輪
郭線の成分が全て抽出される。

【０１８８】ここで、相互結合層123 から傾き成分抽出
層124 へのシナプス結合の重みは傾き成分抽出層124aお
よび124bにおいてそれぞれ図60(a) および(b) に示すよ
うになっており、図60(a) の輪郭線検出マスク130 は注
目領域中心点を取り囲む同心円群の円周方向に対して右
上りに、図60(b) の輪郭線検出マスク131 は左上がりに
それぞれ一定角度α，−α傾いており、かつそのマスク
のサイズは、注目領域中心点に近いほど結合範囲が狭く
なるようなマスク群130 ，131 となっている。そして、
このマスク群により、所定被写体候補の円弧状の輪郭線
が注目領域の中心点を中心とする円周に沿った方向に対
して所定の角度傾いた部分を検出するものである。例え
ば図61に示すような位置に円形の所定被写体候補132 が
存在する場合には、相互結合層123 で選択された所定被
写体候補の輪郭線132 のうち、右上がりの傾き成分がマ
スク群130 の中のマスク130aにより検出され、左上がり
の傾き成分がマスク群131 の中のマスク131aにより検出
される。このようにして検出された各傾き成分の方位と
強度のうち右上がりの傾き成分の方位と強度が方位ベク
トル検出層125aにおいて、左上がりの傾き成分の方位と
強度が方位ベクトル検出層125bにおいてそれぞれ検出さ
れる。次いで方位ベクトル合成層126 において、方位ベ
クトル検出層125a，125bにおいて検出された方位と強度
とから方位ベクトルが合成される。このようにして合成
された方位ベクトルは注目領域移動ベクトル出力層127
へと伝達され、注目領域移動ベクトルとして出力され
る。

【０１８９】一方、相互結合層123 ′から傾き成分抽出
層124 ′へのシナプス結合の重みは傾き成分抽出層124
a′および124b′についてそれぞれ図62(a) および(b)
に示すようになっており、図62(a) の輪郭線検出マスク
130 ′は注目領域中心点を取り囲む同心円群の円周方向
に対して左上りに、図62(b) の輪郭線検出マスク121 ′
は右上がりにそれぞれ一定角度α′，−α′傾いており
かつそのマスクのサイズは、注目領域中心点に近いほど
結合範囲が狭くなるようなマスク群130 ′，131′とな
っている。そして、このマスク群により、所定被写体候
補の放射状の輪郭線が注目領域の中心点を中心とする円
周に沿った方向に対して所定の角度傾いた部分を検出す
るものである。例えば図63に示すような位置に所定被写
体候補132′の輪郭線の交点が存在する場合には、相互
結合層123 ′で選択された所定被写体候補の輪郭線132
′のうち、左上がりの傾き成分がマスク群130 ′の中
のマスク130a′により検出され、右上がりの傾き成分が
マスク群131 ′の中のマスク131a′により検出される。
このようにして検出された各傾き成分の方位と強度のう
ち左上がりの傾き成分の方位と強度が方位ベクトル検出
層125a′において、右上がりの傾き成分の方位と強度が
方位ベクトル検出層125b′においてそれぞれ検出され
る。次いで方位ベクトル合成層126 ′において、方位ベ
クトル検出層125a′，125b′において検出された方位と
強度とから方位ベクトルが合成される。このようにして
合成された方位ベクトルは注目領域移動ベクトル出力層
127 へと伝達され、注目領域移動ベクトルとして出力さ
れる。

【０１９０】このようにして方位ベクトル合成層126 ，
126 ′において合成された注目領域移動ベクトルは注目
領域中心点が置かれた情況によりそれぞれ異なるもので
あるが、前述した本発明による被写体認識方法の第１ス
テップの第１実施例と同様に、注目領域移動ベクトル出
力層127 において２種類の注目領域移動ベクトルの出力
をバランス良く利用することにより、いかなる情況にお
いても所定の位置に注目領域を移動することが可能とな
る。

【０１９１】また、動きに基づく注目領域移動ベクトル
および輪郭線の傾きに基づく注目領域移動ベクトルの算
出と並行して、所定被写体候補の色に基づく注目領域移
動ベクトルの算出も行われる。

【０１９２】図64は本発明の実施例による所定被写体候
補の中心に注目領域中心点を移動させることによって所
定被写体候補の抽出を行うニューラルネットワークの１
例を表わす図である。図64に示すニューラルネットワー
クは、与えられた画像140 から所定の大きさの注目領域
の範囲に画像を切り出す入力層150 、切り出した画像か
ら所定被写体候補の色と略一致する領域のニューロンを
抽出し、この領域と所定被写体候補の色との一致度を検
出するニューラルネットワーク層151 ，152 ，153 、所
定の大きさと強度をもつ色領域を選択する相互結合層15
4 、選択された色領域の方位と距離とを検出する方位ベ
クトル検出層155 、その方位と距離とから、注目領域の
移動ベクトルを出力する注目領域移動ベクトル出力層15
6 のニューロン層からなる。

【０１９３】すなわち入力層150 は図39における複素対
数座標で注目領域移動ベクトルを求めるニューラルネッ
トワークのａ″層と、ニューラルネットワーク層151 ，
152，153 はｃ″層，ｄ″層，ｅ″層と、相互結合層154
はｆ″層と、方位ベクトル検出層155 はｇ″層と、注
目領域移動ベクトル出力層156 はｉ″層とそれぞれ対応
している。

【０１９４】まず入力層150 において、所定の大きさの
注目領域の範囲の画像が切り出されて外界から取り込ま
れる。入力層150 において取り込まれた画像は、ニュー
ラルネットワーク層151 ，152 ，153 において、所定被
写体候補の色と略一致する色の領域が抽出され、この領
域と所定被写体候補との色の一致度が検出される。所定
被写体候補の色との一致度が検出されると、次いで相互
結合層154 において所定被写体候補の色との一致度が高
い領域のうち、形状・大きさともに所定被写体候補とし
て最も適当であるとして選択された領域のニューロン群
の成分が抽出される。

【０１９５】ここで、相互結合層154 の内部の、所定の
大きさと強度をもつ色領域を選択する相互結合のシナプ
ス結合の重みは、図65に示すようになっており、図65の
所定被写体候補と色の一致度が高いニューロン群検出マ
スク160 は、注目領域中心点に近いほど結合範囲が狭く
なるようなマスク群160 となっている。そして、このマ
スク群により、所定被写体候補と色の一致度が高いニュ
ーロン群を検出するものである。次いで、方位ベクトル
検出層155 において検出された方位と距離とから方位ベ
クトルが合成される。このようにして合成された方位ベ
クトルは注目領域移動ベクトル出力層156 へと伝達さ
れ、注目領域移動ベクトルとして出力される。

【０１９６】次いで上述した所定被写体候補の輪郭線に
基づいて注目領域移動ベクトルを求めるニューラルネッ
トワーク、所定被写体候補の動きに基づいて注目領域移
動ベクトルを求めるニューラルネットワークおよび所定
被写体候補の色に基づいて注目領域移動ベクトルを求め
るニューラルネットワークの３つのニューラルネットワ
ークにより求められた３種類の注目領域移動ベクトル
は、求めるべき所定被写体候補に合わせて適切に合成さ
れ、最終的な注目領域移動ベクトルが求められる。この
最終的に求められた注目領域移動ベクトルに基づいて注
目領域は所定被写体候補の方向に移動させられるのであ
る。

【０１９７】上述したように、注目領域が移動されて、
所定被写体候補の中心位置まで到達すると、前述した本
発明の実施例と同様に所定被写体候補を正規化して切り
出して、判定部に送り、この所定被写体候補が所定被写
体であるか否かの判定がなされる。

【０１９８】なお、上述した本発明による第１ステップ
の、実空間座標において注目領域移動ベクトルを求める
実施例により求められた注目領域移動ベクトルをポテン
シャル場の傾斜ベクトルとして、画像のポテンシャル場
のマップを作成し、このマップより所定被写体候補の抽
出を行うようにしてもよい。

【０１９９】なお、上述した本発明による実施例におい
ては、所定被写体候補を抽出した後に、この所定被写体
候補が所定被写体であるか否かを判定するようにしてい
るが、所定被写体候補の抽出後にこの所定被写体候補を
所定被写体として、ニューラルネットワークの学習に用
いるようにしてもよい。本発明によって抽出した所定被
写体候補は正規化されており、また所定被写体である可
能性も高いため、効率良くニューラルネットワークの学
習を行うことができる。

【０２００】また、上述した本発明による実施例におい
ては、ニューラルネットワークを用いて所定被写体候補
の抽出を行っているが、とくにニューラルネットワーク
を用いる必要はなく、いかなる手法を用いてもよいこと
はもちろんである。

【０２０１】また、上述した所定被写体候補の動きに基
づいて注目領域移動ベクトルを求める実施例において
は、画像の上下左右方向の動きを検出する際には実空間
座標上で、放射方向と面内回転方向の動きを検出する際
には、画像を複素対数座標変換してから検出を行ってい
るが、画像の動きを検出する際には、とくに複素対数座
標変換する必要はなく、実空間座標上で行ってもかまわ
ないものである。また、画像の上下左右方向の動きを検
出する際に、複素対数座標変換して検出を行うようにし
てもよい。また、上述した所定被写体候補の動きに基づ
いて注目領域移動ベクトルを求める実施例においては、
画像の上下左右方向、面内回転方向および放射方向の３
種の動きを検出するようにしているが、とくに画像の動
きが一定の場合（例えば上下左右方向の動きのみ）は、
１種の動き（例えば上下左右方向のみ）を検出するよう
にしてもよい。

【０２０２】また、上記実施例においては、画像からの
注目領域の範囲の画像の切り出しから注目領域の移動ま
での全てのステップにニューラルネットワークを用いて
いるが、とくに全てのステップに用いる必要はなく、被
写体抽出の少なくとも１つのステップに用いればよい。
また、所定被写体候補の切り出しをニューラルネットワ
ークを用いて行うようにしてもよいことはもちろんであ
る。

【０２０３】また、上記実施例においては、本発明の被
写体認識方法を人の顔またはヨットの抽出のために用い
ているが、抽出はこれらに限定されるものではなく、い
かなる所定被写体の抽出にも用いることができる。この
場合、抽出にニューラルネットワークを用いて、抽出を
行う被写体に適した構成で学習を行えば、人の顔または
ヨットの抽出と同じように効率的に抽出を行うことがで
きる。

【０２０４】さらに、本発明による被写体認識方法は人
の顔等が映し込まれた静止画像からの所定被写体候補の
抽出のみでなく、所定被写体候補が移動する動画像の追
跡にも用いることができる。この場合、前述した本発明
の所定被写体候補の抽出の実施例に見られるように注目
領域を移動させて、移動する所定被写体候補を追跡して
所定被写体候補を抽出し、この動く所定被写体候補が所
定被写体であるか否かを判定してやればよい。

【０２０５】さらに、上述した実施例においては、所定
被写体候補の動き、輪郭線および色の３種類の特徴に基
づいて求められた３種類の注目領域移動ベクトルを合成
して最終的な注目領域移動ベクトルを求めるようにして
いるが、とくにこれには限定されず、所定被写体候補の
輪郭線と色とから、所定被写体候補の輪郭線と動きとか
ら、または所定被写体候補の動きと色とから注目領域移
動ベクトルを求めるようにしてもよい。さらに、所定被
写体候補の動き、輪郭線、色のうち任意の１つのみに基
づいて注目領域移動ベクトルを求めるようにしてもよ
い。

【０２０６】

【発明の効果】以上詳細に説明したように、発明による
被写体認識装置は、画像から高精度に所定被写体候補を
抽出することができるため、抽出した所定被写体候補が
所定被写体であるか否かを判定する判定ステップへの負
担が著しく軽減され、本発明を用いたシステムの被写体
認識能力を向上させることが可能となる。

【０２０７】また、本発明による被写体認識装置は、所
定被写体候補という注目領域内の限定された領域のみ
を、抽出および判定のための演算対象とすることができ
るため、画像サイズがいかに大きくなろうとも演算規模
の巨大化を防止することができる。

【０２０８】さらに、本発明による被写体認識装置は、
抽出と判定の処理を同時に並列的に行うことが可能なた
め、この被写体認識を行う専用のハードウェア上で極め
て高速な処理を行うことが可能となる。

【０２０９】また、本発明による被写体認識装置は、画
像から精度良く所定被写体を抽出することができるた
め、本発明を用いたシステムの被写体抽出能力を向上さ
せることが可能となる。

【０２１０】さらに、本発明による、与えられた所定被
写体候補が所定被写体であるか否かの判定を行う被写体
認識装置は、この判定を精度良く行うことができるた
め、本発明を用いたシステムの判定能力を向上させるこ
とが可能となる。

【０２１１】また、所定被写体候補の動きに基づいて注
目領域移動ベクトルを求める被写体認識装置は、カメラ
等の画像入力器自身が動くようなシステムにおいて、画
像に含まれる背景とは異なる動きをする物体へ注目領域
を移動させることができ、さらには、この物体を抽出す
ることが可能となる。また、画像から効率良く所定被写
体候補を抽出することができるため、判別や学習等の抽
出の次のステップへの負担が著しく軽減され、演算時間
を短縮でき、本発明を用いたシステムの能力を向上させ
ることが可能となる。

【図面の簡単な説明】

【図１】本発明による被写体認識方法の基本的概念を示
すブロック図

【図２】本発明による被写体認識方法のフローチャート
を表す図

【図３】人間の視点が図形のどの部分において安定する
かを説明するための図

【図４】本発明の所定被写体候補の動きに基づいて注目
領域移動ベクトルを算出する実施例による所定被写体候
補の抽出を行うニューラルネットワークの一例を表す図

【図５】様々な図形が複素対数座標変換された状態を表
す図

【図６】円環方向の輪郭線から円環方向に対してある一
定角度傾いた成分が抽出される状態を表わす図

【図７】放射方向の輪郭線から円環方向に対してある一
定角度傾いた成分が抽出される状態を表わす図

【図８】本発明の第１実施例によるニューラルネットワ
ークの図４におけるｅ１層、ｆ１層、ｇ１層、ｈ１層お
よびｉ１層部分を抽出した図

【図９】ニューロンの出力に加える重み付けを表わす図

【図１０】注目領域が所定被写体候補の中心点へ移動す
る状態を複素対数座標と実空間座標とを対応させて表し
た図

【図１１】注目領域が所定被写体候補の輪郭線の交点へ
移動する状態を複素対数座標と実空間座標とを対応させ
て表した図

【図１２】注目領域の中心点が所定被写体候補の内側か
ら輪郭線の交線に向かう場合の注目領域の移動方向の決
定方法を表わす図

【図１３】位相シフトを加えることによって注目領域の
移動方向を決定する方法を表わす図

【図１４】本発明による被写体認識方法の第１のステッ
プである所定被写体候補の動きに基づいて所定被写体候
補の抽出を行う実施例の基本的概念を示すブロック図

【図１５】本発明による被写体認識方法の第１のステッ
プである所定被写体候補の動きに基づいて所定被写体候
補の抽出を行うニューラルネットワークにおける画像の
背景の動きを検出する部分を表わす図

【図１６】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図

【図１７】輪郭線抽出マスクを表す図

【図１８】時刻ｔおよび時刻ｔ＋αにおける画像の輪郭
線を表す図

【図１９】時刻ｔおよび時刻ｔ＋αにおける画像の輪郭
線の差分を表す図

【図２０】下から上方向への動き成分抽出シナプス結合
と右から左への動き成分抽出シナプス結合を表す図

【図２１】輪郭線の平行方向の動き成分が抽出された画
像を表す図

【図２２】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図

【図２３】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像を表す図

【図２４】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線を表す図

【図２５】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線の差分を表す図

【図２６】拡大方向成分抽出シナプス結合と縮小方向成
分抽出シナプス結合を表す図

【図２７】輪郭線の放射方向の動き成分が抽出された画
像を表す図

【図２８】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図

【図２９】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像を表す図

【図３０】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線を表す図

【図３１】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線の差分を表す図

【図３２】右回転方向成分抽出シナプス結合と左回転方
向成分抽出シナプス結合を表す図

【図３３】輪郭線の回転方向の動き成分が抽出された画
像を表す図

【図３４】画像の背景の動きをキャンセルするためのフ
ローチャートを表す図

【図３５】背景の動きがキャンセルされた時刻ｔと時刻
ｔ＋αにおける画像を表す図

【図３６】背景の動きがキャンセルされた画像を表す図

【図３７】所定被写体候補の抽出の基本的概念を表す図

【図３８】所定被写体候補の動きに基づいて注目領域移
動ベクトルを求めるためのニューラルネットワークの一
構成を表す図

【図３９】本発明の実施例による所定被写体候補の色に
基づいて所定被写体候補の抽出を行うニューラルネット
ワークの一例を表わす図

【図４０】様々な図形が複素対数座標変換された結果を
示す図

【図４１】色の一致度を検出するニューラルネットワー
クを表す図

【図４２】色の一致度の高い領域が選択されるような競
合協調の局所相互重み結合を表わす図

【図４３】ニューロンの出力に加える重み付けを表す図

【図４４】本発明の第１実施例によるニューラルネット
ワークの図３９におけるｅ層、ｇ層およびｉ層部分を抽
出した図

【図４５】注目領域が所定被写体候補の中心点へ移動す
る状態を複素対数座標と実空間座標とを対応させて表し
た第１の図

【図４６】注目領域が所定被写体候補の中心点へ移動す
る状態を複素対数座標と実空間座標とを対応させて表し
た第２の図

【図４７】注目領域が所定被写体候補の中心点へ移動す
る状態を複素対数座標と実空間座標とを対応させて表し
た第３の図

【図４８】人間が映し込まれた画像上を注目領域中心点
が移動する状態を表わす図

【図４９】大きな顔および小さい顔が複素対数座標変換
された状態を表わす図

【図５０】本発明の実施例による所定被写体候補の正規
化の方法を説明するための図

【図５１】長い顔が複素対数座標変換された状態を表わ
す図

【図５２】本発明の実施例による所定被写体候補の輪郭
線の交点で注目領域が停止した場合の所定被写体候補の
抽出を説明するための図

【図５３】本発明による被写体認識方法である所定被写
体候補が所定被写体であるか否かの判定を行うニューラ
ルネットワークの一実施例を表わす図

【図５４】閉じた目および開いた目を表す図

【図５５】コホーネンの自己組織化により重ね合せの目
を学習した結果を表わす図

【図５６】コホーネンの自己組織化により半開きの目を
学習した結果を表わす図

【図５７】楕円，三角形，および四角形が映し込まれた
画像のポテンシャル場のマップを表わす図

【図５８】ポテンシャル場の傾きを表わす図

【図５９】本発明の第１ステップの第２実施例による注
目領域中心点を所定被写体候補の中心へ移動させること
によって所定被写体候補の抽出を行うニューラルネット
ワークの１例を表わす図

【図６０】本発明の第１ステップの第２実施例によるニ
ューラルネットワークの各層のシナプス結合の重みを表
わす図

【図６１】本発明の第１ステップの第２実施例により、
注目領域中心点と所定被写体候補の偏心度が検出される
状態を表わす図

【図６２】本発明の第１ステップの第２実施例による注
目領域中心点を所定被写体候補の輪郭線の交線へ移動さ
せるニューラルネットワークの各層のシナプス結合の重
みを表わす図

【図６３】本発明の第１ステップの第２実施例の注目領
域中心点を所定被写体候補の輪郭線の交線へ移動させる
ことにより注目領域中心点と所定被写体候補の偏心度が
検出される状態を表わす図

【図６４】本発明の第２実施例による注目領域中心点を
所定被写体候補の中心へ移動させることによって所定被
写体候補の抽出を行うニューラルネットワークの１例を
表わす図

【図６５】本発明の第２実施例による注目領域中心点を
所定被写体候補の色と略一致する領域へ移動させるニュ
ーラルネットワークの各層のシナプス結合の重みを表わ
す図

【図６６】色度図を表す図

【符号の説明】

３探索ニューラルネット部４注目領域停止処理部 11Ａ，11Ｂ，11Ｃ時刻ｔにおける画像 12 輪郭線抽出マスク 14，24，34 時刻ｔにおける画像と時刻ｔ＋αにおけ
る画像の差分を表す画像 42 背景の動きがキャンセルされた画像 71，76 所定被写体候補 74，74′，77，77′ 方位ベクトル 75，78 注目領域移動ベクトル 60 所定被写体候補の輪郭線のうち円環方向に連続性
の高い成分 61，64，65，66，85，86 ニューロン 62，63 シナプス結合 73 注目領域 88 人間 89 画像 90 所定被写体候補 91 右目 92 口 93 左目 94 ａ₁マスク 95 Ｕ_S1層 96 Ｕ_C1層 97 ａ₂マスク 98 Ｕ_S2層 100 閉じた目 101 開いた目 102 重ね合せの目 103 半開きの目 105 楕円 106 三角形 107 四角形 108 ポテンシャル場の傾きを表わすグラフＱ注目領域中心点Ｏ所定被写体の中心点Ｐ₁，Ｐ₂，Ｐ₃ 所定被写体候補の中心点Ｐ₁′，Ｐ₂′，Ｐ₃′ ポテンシャル場の極小点

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号特願平3−323343 (32)優先日平成３年12月６日(1991．12．6) (33)優先権主張国日本（ＪＰ） (31)優先権主張番号特願平3−323344 (32)優先日平成３年12月６日(1991．12．6) (33)優先権主張国日本（ＪＰ） (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 G06F 15/18

Claims

(57)【特許請求の範囲】

【請求項１】画像から所定被写体の候補を抽出する手
段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、所定の大きさの
注目領域の中心点を前記所定被写体候補の位置へ移動さ
せる手段と、前記注目領域の中心点を基準として、前記所定被写体候
補の大きさおよび／または形状に応じて抽出領域を決定
する手段とを備えたことを特徴とする被写体認識装置。
【請求項２】画像から所定被写体の候補を抽出する手
段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記所定被写体候補の所定方向
の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた前記輪郭線の成
分を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、該各方位ベクトルを注目領域移動ベクトルとして合成す
る手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体認
識装置。
【請求項３】前記輪郭線を検出する手段は、前記所定
被写体候補の所定方向の輪郭線の検出を、前記切り出さ
れた画像を前記注目領域の中心点を極として複素対数座
標変換した後に行う手段であり、前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項２記載の被写体認識装置。
【請求項４】画像から所定被写体の候補を抽出する手
段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記所定被写体候補の色と略一
致する色の領域を抽出する手段と、該抽出された各領域の、注目領域の中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とを注目領域移動ベクトルとして検出する
手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体認
識装置。
【請求項５】前記色の領域を抽出する手段、前記方位
と距離とを検出する手段、前記注目領域移動ベクトルを
検出する手段のうち少なくとも１つは、前記色の領域の
抽出、前記方位と距離との検出、前記注目領域移動ベク
トルの検出を前記注目領域の中心点を極とした複素対数
座標上で行う手段であることを特徴とする請求項４記載
の被写体認識装置。
【請求項６】画像から所定被写体の候補を抽出する手
段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像に、所定の大きさを有する注目領域を設定し、
所定の時間差を有する複数の時刻における前記注目領域
の範囲の画像を切り出し、該切り出された複数の画像に
ついて該各画像中に存在する被写体の輪郭線を検出し、
該輪郭線が検出された前記各画像間の差分を算出し、該
算出された差分に基づいて前記注目領域内での面内平行
方向の前記画像の動きを検出する手段と、前記切り出された前記各画像中に存在する前記注目領域
の中心点を中心とする被写体の放射方向の輪郭線を検出
し、該放射方向の輪郭線が検出された前記各画像間の差
分を算出し、該算出された差分に基づいて前記注目領域
内での面内回転方向の前記画像の動きを検出する手段
と、前記切り出された前記各画像中に存在する被写体の円環
方向の輪郭線を検出し、該円環方向の輪郭線が検出され
た前記各画像間の差分を算出し、該算出された差分に基
づいて前記注目領域内での放射方向の前記画像の動きを
検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、該各方位ベクトルを注目領域移動ベクトルとして合成す
る手段と、該注目領域移動ベクトルに基づいて、前記物体が存在す
る方向へ前記注目領域の中心点を移動させる手段と、該移動された注目領域の中心点を基準として、前記物体
の大きさおよび／または形状に応じて前記画像から背景
に対して動きのある所定被写体候補を抽出するための抽
出領域を決定する手段とを備えたことを特徴とする被写
体認識装置。
【請求項７】前記面内回転方向の前記画像の動きを検
出する手段および／または前記放射方向の前記画像の動
きを検出する手段は、前記画像中に存在する前記注目領
域の中心点を中心とする被写体の放射方向の輪郭線の検
出および／または円環方向の輪郭線の検出を、前記切り
出された画像を前記注目領域の中心点を極として複素対
数座標変換した後に行う手段であることを特徴とする請
求項６記載の被写体認識装置。
【請求項８】前記物体の輪郭線を検出する手段は、前
記物体の輪郭線の検出を、前記背景の動きの成分が補正
された前記複数の画像間の差分を示す画像を前記注目領
域の中心点を極として複素対数座標変換した後に行う手
段であり、前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項６または７記載の被写体認識装置。
【請求項９】画像から所定被写体の候補を抽出する手
段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の第
１の画像を切り出す手段と、該切り出された第１の画像に含まれる物体の輪郭線を検
出する手段と、所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、該切り出された第２の画像に含まれる物体の輪郭線を検
出する手段と、前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、該算出された差分に基づいて前記背景の動きを検出する
手段と、該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、該物体を前記所定被写体候補と認識する手段と、前記注目領域の中心点が該所定被写体候補に向う方向を
検出する手段と、該方向に基づいて前記注目領域の中心点を移動させる手
段と、該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体認
識装置。
【請求項１０】画像から所定被写体の候補を抽出する
手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記所定被写体候補の所定方向
の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された画像から前記所定被写体候補の色と略
一致する色の領域を抽出する手段と、該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とを第２の移動ベクトルとして検出する手
段と、前記第１および第２の各移動ベクトルを注目領域移動ベ
クトルとして合成する手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体認
識装置。
【請求項１１】動きのある画像から所定被写体の候補
を抽出する手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記所定被写体候補の所定方向の輪
郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記第１および第２の各移動ベクトルを注目領域移動ベ
クトルとして合成する手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体認
識装置。
【請求項１２】動きのある画像から所定被写体の候補
を抽出する手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記所定被写体候補の所定方向の輪
郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記切り出された複数の画像の１つから前記所定被写体
候補の色と略一致する色の領域を抽出する手段と、該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とを第３の移動ベクトルとして検出する手
段と、前記第１、第２および第３の各移動ベクトルを注目領域
移動ベクトルとして合成する手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体認
識装置。
【請求項１３】画像から所定被写体の候補を抽出する
手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の第
１の画像を切り出す手段と、該切り出された第１の画像に含まれる物体の輪郭線を検
出する手段と、所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、該切り出された第２の画像に含まれる物体の輪郭線を検
出する手段と、前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、該算出された差分に基づいて前記背景の動きを検出する
手段と、該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、該物体を前記所定被写体候補と認識する手段と、該所定被写体候補に向うベクトルを第１の移動ベクトル
として検出する手段と、前記切り出された第１の画像からの前記所定被写体候補
の所定方向の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記切り出された第１の画像から前記所定被写体候補の
色と略一致する色の領域を抽出する手段と、該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とを第３の移動ベクトルとして合成する手
段と、前記第１、第２および第３の各移動ベクトルを注目領域
移動ベクトルとして合成する手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体認
識装置。
【請求項１４】画像から所定被写体の候補を抽出する
手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像全体の
ポテンシャル場のマップを作成し、該マップ中のポテン
シャルの極小点を基準として、前記所定被写体候補の大
きさおよび／または形状に応じて抽出領域を決定する手
段であることを特徴とする被写体認識装置。
【請求項１５】画像から所定被写体の候補を抽出する
手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記所定被写体候補の所定方向
の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた前記輪郭線の成
分を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、該各方位ベクトルを合成して前記注目領域の中心点を原
点とする実空間座標上でポテンシャル場の傾斜ベクトル
を検出する手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体認識装置。
【請求項１６】前記輪郭線を検出する手段は、前記所
定被写体候補の所定方向の輪郭線の検出を、前記切り出
された画像を前記注目領域の中心点を極として複素対数
座標変換した後に行う手段であり、前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項１５記載の被写体認識装置。
【請求項１７】画像から所定被写体の候補を抽出する
手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記所定被写体候補の色と略一
致する色の領域を抽出する手段と、該抽出された各領域の、注目領域の中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とを前記注目領域の中心点を原点とする実
空間座標上でポテンシャル場の傾斜ベクトルとして検出
する手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体認識装置。
【請求項１８】前記色の領域を抽出する手段、前記方
位と距離とを検出する手段および前記ポテンシャル場の
傾斜ベクトルを検出する手段のうち少なくとも１つの手
段は、前記領域の抽出、前記方位と距離との検出、前記
ポテンシャル場の傾斜ベクトルの検出を、前記注目領域
の中心点を極とした複素対数座標上で行う手段であるこ
とを特徴とする請求項１７記載の被写体認識装置。
【請求項１９】動きのある画像から所定被写体の候補
を抽出する手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像について該各画像中に存在する被写体の輪郭線
を検出し、該輪郭線が検出された前記各画像間の差分を
算出し、該算出された差分に基づいて前記注目領域内で
の面内平行方向の画像の動きを検出する手段と、該切り出された前記各画像中に存在する前記注目領域の
中心点を中心とする被写体の放射方向の輪郭線を検出
し、該放射方向の輪郭線が検出された前記各画像間の差
分を算出し、該算出された差分に基づいて前記注目領域
内での面内回転方向の前記画像の動きを検出する手段
と、前記切り出された前記各画像中に存在する被写体の円環
方向の輪郭線を検出し、該円環方向の輪郭線が検出され
た前記各画像間の差分を算出し、該算出された差分に基
づいて前記注目領域内での放射方向の前記画像の動きを
検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記背景の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、該各方位ベクトルを合成して前記注目領域の中心点を原
点とする実空間座標上でポテンシャル場の傾斜ベクトル
として検出する手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体認識装置。
【請求項２０】前記面内回転方向の前記画像の動きを
検出する手段および／または前記放射方向の前記画像の
動きを検出する手段は、前記画像中に存在する前記注目
領域の中心点を中心とする被写体の放射方向の輪郭線の
検出および／または円環方向の輪郭線の検出を、前記切
り出された画像を前記注目領域の中心点を極として複素
対数座標変換した後に行う手段であることを特徴とする
請求項１９記載の被写体認識装置。
【請求項２１】前記物体の輪郭線を検出する手段は、
前記物体の輪郭線の検出を、前記背景の動きの成分が補
償された前記複数の画像間の差分を示す画像を前記注目
領域の中心点を極として複素対数座標変換した後に行う
手段であり、前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項１９または２０記載の被写体認識装
置。
【請求項２２】画像から所定被写体の候補を抽出する
手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の第
１の画像を切り出す手段と、該切り出された第１の画像に含まれる物体の輪郭線を検
出する手段と、所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、該切り出された第２の画像に含まれる物体の輪郭線を検
出する手段と、前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、該算出された差分に基づいて前記背景の動きを検出する
手段と、該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、該物体を前記所定被写体候補と認識する手段と、該所定被写体候補に向うベクトルを前記注目領域の中心
点を原点とする実空間座標上でポテンシャル場の傾斜ベ
クトルとして合成する手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体認識装置。
【請求項２３】画像から所定被写体の候補を抽出する
手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記所定
被写体候補の所定方向の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された画像から前記所定被写体候補の色と略
一致する色の領域を抽出する手段と、該抽出された領域の前記注目領域中心点を基準とした方
位と距離とを検出する手段と、該方位と距離とを第２の移動ベクトルとして検出する手
段と、前記第１および第２の各移動ベクトルを合成して前記注
目領域の中心点を原点とする実空間座標上でポテンシャ
ル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体認識装置。
【請求項２４】動きのある画像から所定被写体の候補
を抽出する手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記所定被写体候補の所定方向の輪
郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記第１および第２の各移動ベクトルを合成して前記注
目領域の中心点を原点とする実空間座標上でポテンシャ
ル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体認識装置。
【請求項２５】動きのある画像から所定被写体の候補
を抽出する手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記所定被写体候補の所定方向の輪
郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記切り出された複数の画像の１つから前記所定被写体
候補の色と略一致する色の領域を抽出する手段と、該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とを第３の移動ベクトルとして検出する手
段と、前記第１、第２および第３の各移動ベクトルを合成して
前記注目領域の中心点を原点とする実空間座標上でポテ
ンシャル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体認
識装置。
【請求項２６】画像から所定被写体の候補を抽出する
手段と、該抽出された所定被写体の候補が所定被写体であるか否
かを判定する手段とを備えた被写体認識装置であって、前記所定被写体候補を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の第
１の画像を切り出す手段と、該切り出された第１の画像に含まれる物体の輪郭線を検
出する手段と、所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、該切り出された第２の画像に含まれる物体の輪郭線を検
出する手段と、前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、該算出された差分に基づいて前記背景の動きを検出する
手段と、該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、該物体を前記所定被写体候補と認識する手段と、該所定被写体候補に向うベクトルを第１の移動ベクトル
として検出する手段と、前記切り出された第１の画像からの前記所定被写体候補
の所定方向の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記切り出された第１の画像から前記所定被写体候補の
色と略一致する色の領域を抽出する手段と、該抽出された領域の前記注目領域中心点を基準とした方
位と距離とを検出する手段と、該方位と距離とを第３の移動ベクトルとして検出する手
段と、前記第１、第２および第３の各移動ベクトルを合成して
前記注目領域の中心点を原点とする実空間座標上でポテ
ンシャル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とする被写
体認識装置。
【請求項２７】前記判定する手段は、前記判定を前記
所定被写体候補の特徴部分と、該所定被写体候補内にお
ける前記特徴部分の位置とに基づいて行う手段であるこ
とを特徴とする請求項１から２６のいずれか１項記載の
被写体認識装置。
【請求項２８】前記判定する手段は、前記所定被写体の複数の特徴部分それぞれについての複
数の特徴パターンを学習手段に学習させる手段と、前記所定被写体候補の特徴部分が、前記学習手段に学習
させた前記所定被写体の複数の特徴部分それぞれについ
ての複数の特徴パターンに含まれるか否かを判定する手
段と、前記所定被写体候補の特徴部分の位置関係が、前記所定
被写体の特徴部分の位置関係と一致するか否かを判定す
ることにより前記所定被写体候補が前記所定被写体であ
るか否かの判定を行う手段とを備えたことを特徴とする
請求項１から２７のいずれか１項記載の被写体認識装
置。
【請求項２９】前記学習手段にニューラルネットワー
クを用い、前記ニューラルネットワークの学習にコホー
ネンの自己組織化を用いたことを特徴とする請求項２８
記載の被写体認識装置。
【請求項３０】前記所定被写体候補の特徴部分が前記
複数の特徴パターンに含まれるか否かを判定する手段お
よび／または前記所定被写体候補の特徴部分の位置関係
が前記所定被写体の特徴部分の位置関係と一致するか否
かを判定する手段は、前記所定被写体候補の特徴部分が
前記複数の特徴パターンに含まれるか否かの判定および
／または前記所定被写体候補の特徴部分の位置関係が前
記所定被写体の特徴部分の位置関係と一致するか否かの
判定をニューラルネットワークを用いて行う手段である
ことを特徴とする請求項２８または２９記載の被写体認
識装置。
【請求項３１】前記判定用のニューラルネットワーク
による判定にネオコグニトロンを用いたことを特徴とす
る請求項３０記載の被写体認識装置。
【請求項３２】前記所定被写体が顔であり、前記複数
の特徴部分が右目，左目および口であることを特徴とす
る請求項２９、３０または３１記載の被写体認識装置。
【請求項３３】前記所定被写体候補を抽出する手段
は、所定の大きさの注目領域の中心点を前記所定被写体候補
の中心位置へ移動させ、前記注目領域の中心点と前記所
定被写体候補の輪郭線とを基準として前記所定被写体候
補の大きさおよび／または形状を正規化した後に行う手
段であることを特徴とする請求項１から３２のいずれか
１項記載の被写体認識装置。