JP3002928B2

JP3002928B2 - ニューラルネットワークの学習装置

Info

Publication number: JP3002928B2
Application number: JP4-242457A
Authority: JP
Inventors: 修司小野
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1991-12-06
Filing date: 1992-09-11
Publication date: 2000-01-24
Anticipated expiration: 2015-01-24

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クの学習装置、より具体的には、画像から学習する対象
被写体を抽出し、所定被写体の認識を行うためのニュー
ラルネットワークに、抽出された対象被写体を用いて学
習をさせる装置に関するものである。

【０００２】

【従来の技術】人間が画像を見て、その中に何があるか
を認識する。この動作は２つのステップに分解できると
いわれる。視点を動かし、認識対象を視野の中心に捕ら
え、同時に物体の大きさを把握する「発見・抽出」の動
作を行なう第１のステップ、そして注視点に存在する物
体が何であるかを、記憶や知識と照らし合わせて「判
別」する第２のステップである。人間は通常、この２つ
のステップを繰り返しながら、外界の情報を獲得してい
る。

【０００３】これに対し、マッチングに代表される、従
来の画像処理によるパターン認識技術においては、第２
のステップに重きがおかれ、第１の「発見・抽出」の部
分については、人間が介在して対象の切り出しや大きさ
の正規化を行なってやる必要があったり、あらかじめ位
置決めされた位置に対象物体を置かなければならなかっ
たりといった制限があるものがほとんどであった。ま
た、大きさや位置の変化に強いパターン認識手法として
は、不変量に基づいて判別を行なう各種の方法が提案さ
れている。たとえば、セントラルモーメントを用いる方
法、フーリエ記述子を用いる方法、平均２乗誤差を用い
る方法などがあるが、これらの方法は、認識のために複
雑な積分演算や座標変換を行なう必要があり、どこに対
象物体があるのかわからない場合や、扱う画像が大きい
場合には、膨大な計算量が必要となってしまう。また、
これらの方法は、画像中に複数の物体が存在する場合に
は、互いの存在がノイズとなって認識結果を誤らせてし
まう可能性もあり、実用上、十分な方法ではない。

【０００４】そこで、対象物体の大きさや位置ずれに強
く、しかも精度良く対象物体を認識することができるモ
デルとしてニューラルネットワークの１つの手法である
ネオコグニトロンを用いたモデルが知られている（福
島：位置ずれに影響されないパターン認識機構の神経回
路モデル−ネオコグニトロン、電子通信学会論文誌A,J6
2-A(10) 、PP658-665,Oct.1979）。ニューラルネットワ
ークは、適当な神経回路のモデルを、生理学的に知られ
る事実や研究成果を十分に考慮して構成し、その動作お
よび性能を調べ、実際の人間の脳と比較することで、脳
の情報処理原理を解明していこうという構成的方法と呼
ばれる神経情報処理の一つの研究手法であり、視覚モデ
ルに限らず学習モデル、連想記憶モデルなどの多くの研
究が行われている。その中でもとくにネオコグニトロン
は画像中の物体すなわち被写体の位置ずれに強いモデル
であり、パターンマッチングと自己組識学習と対象被写
体の微小部分に対して行い、その位置ずれを階層構造に
よって何段かに分けて吸収ししながら行い位置ずれを許
容するものである。

【０００５】このように、特徴の位置ずれを少しずつ何
段階にも分けて許容していくという操作が、ネオコグニ
トロンにおいて、入力パターンの位置ずれの影響を取り
除くのみならず、変形に強いパターン認識を行ううえに
も重要な役割を果している。すなわち、入力パターンの
拡大や縮小をはじめとする種々の変形にともなう局所的
特徴の相対的な位置ずれの影響は、特徴の統合の過程で
少しずつ吸収され、最終的には入力パターンのかなりの
変形に対しても影響されない出力を得ることができる。

【０００６】

【発明が解決しようとする課題】上述したように位置ず
れに強く、精度良く被写体を認識するための手法は、ま
ずネオコグニトロン等のニューラルネットワークに対し
て適切な自己組識化学習を行い、被写体認識に適したニ
ューラルネットワークを構成しなければならない。

【０００７】ところが実質的には同一の被写体であって
も、大きさが異なるものであったり、またこのニューラ
ルネットワークの学習に不要な被写体であったりする
と、学習、すなわちニューラルネットワークのシナプス
結合の生成の際に、カテゴリーの分類の混乱をひきおこ
し、適切な学習を行うことができなくなってしまう。こ
のため、このネオコグニトロン等のニューラルネットワ
ークに学習を行う際は人間が予め学習させる対象被写体
を抽出し適切な大きさに正規化して必要な情報のみを与
えて学習させる必要があり、極めて面倒であった。

【０００８】本発明は、上記事情に鑑み、学習させる対
象被写体を自動的に正規化して抽出し、効率良くニュー
ラルネットワークの学習を行うことができるニューラル
ネットワークの学習装置を提供することを目的とするも
のである。

【０００９】

【課題を解決するための手段】本発明によるニューラル
ネットワークの学習装置は、画像から学習する対象被写
体を抽出する手段と、抽出された該対象被写体をニュー
ラルネットワークに入力する手段と、入力された該対象
被写体に基づいて該ニューラルネットワークの学習を進
めさせる手段とを備えたことを前提とするものである。

【００１０】そして、上記抽出を行う第１の手段とし
て、所定の大きさの注目領域の中心点を前記対象被写体
の位置へ移動させる手段と、前記注目領域の中心点を基
準として、前記対象被写体の大きさおよび／または形状
に応じて抽出領域を決定する手段とを備えたことを特徴
とするものである。

【００１１】さらに、上記抽出を行う第２の手段は、画
像から所定の大きさを有する注目領域の範囲の画像を切
り出す手段と、この切り出された画像もしくはこの画像
を複素対数座標変した画像の全体の動き、画像内に含ま
れる対象被写体の色および／または画像内に含まれる対
象被写体の輪郭線の傾きに基づいて、対象被写体の色、
輪郭線などの成分の注目領域中心点に対する方位と強度
とを方位ベクトルとして求める手段と、この方位ベクト
ルを合成して注目領域を移動させるための注目領域移動
ベクトルを求める手段と、この注目領域移動ベクトルに
基づいて注目領域の中心点を移動させる手段と、この移
動された注目領域の中心点を基準として、対象被写体の
大きさおよび／または形状に応じて抽出領域を決定する
手段とを備えたことを特徴とするものである。

【００１２】また、上記抽出を行う第３の手段は、上述
した第２の抽出の手段により求められた注目領域移動ベ
クトルをポテンシャル場の傾斜ベクトルとする手段と、
このポテンシャル場の傾斜ベクトルを画像全体に記録す
ることによりポテンシャル場のマップを作成する手段
と、このポテンシャル場のマップの極小点を基準とし
て、対象被写体の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とするもの
である。

【００１３】また、ここで「ポテンシャル場」について
説明する。人間が、画像を見る際には、画像を見まわし
て、その画像の中にある所定の被写体（例えば、空を背
景とした人間の顔の画像であれば、その顔）の中心に視
点を移動して、その部分が顔であるということを認識す
る。画像上においては、所定被写体から離れた位置で
は、視点を所定被写体に向けて大きく動かす必要があ
り、所定被写体の近傍では、わずかに視点を動かせば所
定被写体に到達し、その所定被写体において視点は安定
する。すなわち、視点を移動する方向と量を視点移動ベ
クトルとすると、この視点移動ベクトルは視点が現在あ
る位置からみた視点安定点の方向と、移動量を示すもの
であり、視点安定点、すなわち所定被写体の中心点にお
いては、視点移動ベクトルは０となる。ここで画像に視
点安定度の「場」というものがあると考えると、視点安
定点ではその「場」は平坦であり、視点移動の必要な不
安定点では「場」は傾いている。このように、視点移動
ベクトルは「場」の傾きを表現していると見なすことが
でき、視点の移動は「場」のポテンシャルの低い方へと
移動する動作に等しいと見なすことができる。この視点
安定度の「場」を「ポテンシャル場」として、以後用い
ることとする。

【００１４】また、画像全体について算出された各ポテ
ンシャル場の傾斜ベクトルに基づいて前記画像全体のポ
テンシャル場のマップを作成するということは、ポテン
シャル場の傾斜ベクトルを人間の視点移動ベクトルと対
応させて、このポテンシャル場の傾斜ベクトルの矢印の
向いている方向にポテンシャル場が傾いているものとみ
なし、対象被写体の中心点においてポテンシャル場の傾
斜ベクトルは０、すなわちポテンシャル場が極小点とな
るように場の傾きを画像全体について記録することをい
う。このようにして作成されたマップを見れば画像のあ
る場所の視点が、その後どのような軌跡を描いて、極小
点に落ち込んでいくかが一目瞭然に理解できる。この極
小点を基準として所定被写体の大きさおよび／または形
状に応じて抽出領域を決定するのである。

【００１５】なお、本発明のニューラルネットワークの
学習装置における対象被写体の抽出の各種具体的な態様
は、請求項１から27に記載した通りのものであり、課題
を解決するための手段としてここにその内容を繰返すの
は冗長となるので、ここでは省略する。

【００１６】

【作用】本発明によるニューラルネットワークの学習装
置は、まず画像から学習する対象被写体を抽出し、次い
で、この抽出された対象被写体をニューラルネットワー
クに入力して、このニューラルネットワークの学習を進
めさせるようにしている。この対象被写体は画像から自
動的に抽出され、抽出された対象被写体を整理した形で
分類をして学習を進めるため、人間が予め学習させる対
象を抽出し正規化しなければならないという煩しさをな
くすことができ、効率の良い学習を行うことが可能とな
る。

【００１７】なお、学習する対象被写体の具体的な抽出
の形態として、対象被写体の抽出を、所定の大きさの注
目領域の中心点を画像中の対象被写体の位置へ移動さ
せ、この中心点を基準として、対象被写体の大きさおよ
び／または形状に応じて抽出領域を決定することにより
行うようにしてもよい。

【００１８】また、画像から所定の大きさを有する注目
領域の範囲の画像を切り出し、切り出された画像から対
象被写体の輪郭線を検出して、この輪郭線が注目領域の
中心点を囲む同心円の円周方向に対して所定角度傾いた
成分から方位ベクトルを求め、この方位ベクトルを合成
して注目領域移動ベクトルを求めて注目領域の中心点の
移動方向を決定し、注目領域の中心点を基準として対象
被写体の大きさおよび／または形状に応じて抽出領域を
決定するようにしてもよい。さらに、切り出した画像を
複素対数座標変換しても、実空間座標における場合と同
様に対象被写体を抽出することが可能である。

【００１９】さらに、画像から所定の大きさを有する注
目領域の範囲の画像を切り出し、この切り出された画像
から対象被写体の色と略一致する色の領域を検出して、
この領域の方位と距離とから注目領域移動ベクトルを求
めて注目領域の中心点の移動方向を決定し、注目領域の
中心点を基準として対象被写体の大きさおよび／または
形状に応じて抽出領域を決定するようにしてもよい。

【００２０】ここで、対象被写体の色と略一致すると
は、図63に示すような色度図上において、対象被写体の
色度値と注目領域の大きさの範囲で切り出された画像の
任意の点における色度値との距離があるしきい値よりも
小さい場合のことをいう。すなわち、ある点における色
度値が、対象被写体の色度値と色度図上において所定の
しきい値を越えて離れている場合は、その点からなる領
域は抽出されず、所定のしきい値よりも小さい場合は、
その点からなる領域を抽出するものである。

【００２１】また、切り出した画像を複素対数座標変換
しても、実空間座標における場合と同様に対象被写体を
抽出することが可能である。

【００２２】このように対象被写体の抽出を行えば、特
定の被写体のみでなく、いかなる形状の対象被写体をも
大きさおよび特徴部分の位置ずれを正規化して抽出する
ことが可能であり、また、画像における対象被写体の背
景が複雑であっても学習する対象被写体を抽出すること
ができ、このように抽出された対象被写体を用いてニュ
ーラルネットワークの学習を行えば、ニューラルネット
ワークの学習の混乱が進まずさらに効率良くニューラル
ネットワークの学習を行うことが可能となる。さらに、
所定の時間差を有する複数の時刻における注目領域の範
囲の画像を切り出し、まずこれら画像間の被写体の輪郭
線の差分を算出し、この差分に基づいて注目領域内での
面内平行方向の画像の動きを検出するようにし、これと
同時に、注目領域の範囲の各画像から、被写体の放射方
向の輪郭線の差分を算出して画像の面内回転方向の動き
を、被写体の円環方向の輪郭線の差分を算出して画像の
放射方向の動きをそれぞれ検出するようにし、さらに、
検出された面内平行方向、面内回転方向および／または
放射方向の画像の動きに基づいて、背景の動きを補償
し、この背景の動きが補償された画像を複素対数座標変
換し、複素対数座標変換された画像から背景とは異なる
動きをしている物体の輪郭線を検出して、この輪郭線が
複素対数座標の円環方向に対して所定角度傾いた成分か
ら方位ベクトルを求め、この方位ベクトルを合成して注
目領域移動ベクトルを求めて注目領域の中心点の移動方
向を決定し、注目領域の中心点を基準として物体の大き
さおよび／または形状に応じて対象被写体を抽出するた
めの抽出領域を決定するようにしてもよい。

【００２３】このように対象被写体を抽出することによ
り、注目領域内において対象被写体だけが動いている場
合だけでなく、画像全体が動いている場合でも背景の動
きを補償し、対象被写体だけを抽出することが可能であ
る。また、時事刻々移動を続ける対象被写体を追い続
け、常に対象被写体を注目領域の中心に捕らえ、抽出す
ることができる。さらに、画像における対象被写体の背
景が複雑であっても対象被写体を抽出することができ
る。さらに、画像の全面に対して処理を行う必要が無く
なるため、演算時間を短縮することができる。

【００２４】また、切り出した画像を複素対数座標変換
しても、実空間座標における場合と同様に対象被写体を
抽出することが可能である。

【００２５】また、上述したように、輪郭線に基づいた
対象被写体の抽出と、色に基づいた対象被写体の抽出と
を同時に行うようにすれば、対象被写体をより正確に抽
出することができる。

【００２６】さらに、輪郭線に基づいた対象被写体の抽
出と、色に基づいた対象被写体の抽出と、動きに基づい
た対象被写体の抽出とを同時に行うようにすれば、対象
被写体をより一層正確に抽出することが可能となるため
好ましい。

【００２７】また、上述したように、輪郭線に基づいた
対象被写体の抽出と、動きに基づいた対象被写体の抽出
とを同時に行うようにすれば、対象被写体をより正確に
抽出することができる。

【００２８】また、対象被写体の抽出を、対象被写体の
抽出を行う画像全体のポテンシャル場のマップを作成
し、このマップ中のポテンシャルの極小点を基準とし
て、対象被写体の大きさおよび／または形状に応じて抽
出領域を決定するようにすれば、特定の被写体のみでな
く、いかなる形状の所定被写体をも抽出することが可能
であり、また、画像における対象被写体の背景が複雑で
あっても対象被写体を抽出することができる。

【００２９】具体的には、前述した輪郭線、色および／
または動きに基づいて求めた注目領域移動ベクトルをポ
テンシャル場の傾斜ベクトルとして、ポテンシャル場の
傾斜ベクトルに基づいて画像全体のポテンシャル場のマ
ップを作成して、このマップ中のポテンシャルの極小点
を基準として対象被写体の大きさおよび／または形状に
応じて抽出領域を決定するようにすれば、注目領域はポ
テンシャル場の傾きにより、対象被写体の極小点、すな
わち、対象被写体の中心点を求めることができ、極めて
精度良く、効率的に対象被写体の抽出を行うことができ
る。

【００３０】また、上述した対象被写体を抽出する方法
は、特定の被写体のみではなく、いかなる形状の対象被
写体をも抽出することが可能であり、また、画像におけ
る対象被写体の背景が複雑であっても対象被写体を抽出
することができる。

【００３１】また、切り出した画像を複素対数座標変換
しても、実空間座標における場合と同様にポテンシャル
場のマップを求め、対象被写体を抽出することが可能で
ある。

【００３２】また、所定の大きさの注目領域の中心点を
対象被写体の中心位置へ移動させ、この注目領域の中心
点と対象被写体の輪郭線とを基準としてこの対象被写体
の大きさおよび／または形状を正規化して、対象被写体
を抽出するようにすればこのため、大きさや形状が異な
る被写体を略同一の大きさおよび／または形状にして抽
出することができ、この抽出の次のステップである判別
や学習等のシステムに対して、負担をかけることが無く
なり、判別や学習等をより適切に行うことが可能とな
る。

【００３３】

【実施例】以下、本発明の実施例について、図面を参照
して説明する。

【００３４】図１は、本発明によるニューラルネットワ
ークの学習方法の基本的概念を示すブロック図である。
まず、第１のステップ１において、画像から学習する対
象被写体を抽出し、次いで、第１のステップ１で抽出さ
れた対象被写体を用いて第２のステップ２であるニュー
ラルネットワークの学習を行うものである。

【００３５】まず、本発明によるニューラルネットワー
クの学習方法の第２のステップ２において学習されるニ
ューラルネットワークについて説明する。なお、本実施
例においては、学習する対象被写体を人間の顔および顔
の特徴部分である目および口として、抽出されたある被
写体が顔であるか否かを判定するためのニューラルネッ
トワークの学習方法について述べる。

【００３６】図２は、本発明によるニューラルネットワ
ークの学習方法により学習されるニューラルネットワー
クの一実施例を表わす図である。本実施例におけるこの
ニューラルネットワークは前述した位置ずれに強いネオ
コグニトロンを用いており、被写体の特徴部分と、被写
体内における特徴部分の位置とに基づいて学習を進める
ものである。また、本実施例におけるニューラルネット
ワークは３層構造をなしておりＵ_S1層95、Ｕ_C1層96およ
び最終出力層であるＵ_S2層98からなり、Ｕ_S1層の前に
は、ａ₁シナプス結合94がある。本実施例においてはａ
₁シナプス結合94のシナプス結合94Ａ，94Ｂおよび94Ｃ
にそれぞれ右目91、口92および左目93について多数のパ
ターンを本実施例の第１ステップで抽出した顔の特徴部
分を用いて学習させるものであり、この結果様々な顔の
学習を行うことが可能となる。また、Ｕ_S2層98の前には
ａ₂シナプス結合97があり、このａ₂シナプス結合97に
より、与えられた被写体90の特徴部分である右目91、口
92および左目93の位置を学習するものである。

【００３７】次に、このようなニューラルネットワーク
に学習を行うための本発明によるニューラルネットワー
クの学習方法の第１ステップについて説明する。

【００３８】図３は、本発明によるニューラルネットワ
ークの学習方法の第１のステップ１である学習する対象
被写体抽出の実施例の基本的概念を示すブロック図であ
る。なお、本実施例においては、ニューラルネットワー
クを用いて所定の大きさの注目領域の中心点を対象被写
体の輪郭線、色および動きに基づいて対象被写体の位置
へ移動させ、この注目領域の中心点を基準として、対象
被写体の大きさおよび／または形状に応じて抽出領域を
決定することにより対象被写体の抽出を行うものであ
る。

【００３９】図３に示すように、本実施例はニューラル
ネットワークを用いて注目領域の移動を繰り返して対象
被写体の探索を行う探索ニューラルネット部３と、注目
領域の移動の状態を常にチェックし、注目領域が停止し
た場合に、この停止が対象被写体の発見によるものか否
かを判断し、必要に応じて対象被写体の抽出を行う注目
領域停止処理部４とからなる。

【００４０】まず探索ニューラルネット部３において、
画像上に注目領域の中心点位置および注目領域のサイズ
を設定して、画像から注目領域の範囲の画像を取り込
み、次いで対象被写体の動き、輪郭線および色に基づい
て注目領域移動ベクトルを算出し、この注目領域移動ベ
クトルを合成し、この合成した注目領域移動ベクトルに
基づいて、画像上において注目領域を移動させるもので
ある。注目領域停止処理部４においては、注目領域の移
動量がチェックされ、注目領域が移動中の場合はまた新
たに注目領域を移動させる旨の信号を探索ニューラルネ
ット部３に入力する。注目領域が停止した場合は注目領
域の停止状況の判断がなされる。この判断は、注目領域
の画像上における停止状況が対象被写体発見によるもの
か発見によるものでないかを判断するものである。注目
領域停止状況が対象被写体の発見によるものでない場合
は、その位置に注目領域が停止している必要が無いた
め、新たな注目領域の位置および注目領域のサイズを設
定する旨の信号を探索ニューラルネット部３に入力す
る。探索ニューラルネット部３はこの信号を受けて、注
目領域を再び移動させる。注目領域停止位置が対象被写
体の発見によるものである場合は、その対象被写体は切
り出され、すなわち抽出され、図１に示す判定を行う第
２のステップ２に引き渡される。

【００４１】なお、上述した探索ニューラルネット部３
においては、人間が視点を移動するのと同様に注目領域
が移動するようにニューラルネットワークが構成され
る。人間の視点の移動は例えば、人間が図４に示すよう
な図形を眺める場合を考えると、過去の研究により注視
点は物体の輪郭や端点上に長時間留まるという報告がな
されており、注視点は図４(b) の点線で囲んだＳ部に留
まるものである。また、眺めた物体を一つの塊として認
識する瞬間には、注視点は輪郭線上にはなく、輪郭線で
囲まれた中心部分に留まることが経験上認識されてい
る。例えば図４(a)のような図形を眺めた場合は注視点
は点線で囲んだＳ部に留まる。すなわち、人間の視点
は、輪郭線に囲まれた物体の中心点、あるいは、線分の
交点や多角形の頂角において安定するということがいえ
る。よって、注目領域周辺にのみ被写体が存在するとき
には、まずその被写体に近づき、ある程度被写体に近づ
いた後は、その被写体の中心もしくは頂角等へと注目領
域の中心点を移動していき、そこで注目領域が安定す
る、というような機能を有するように、ニューラルネッ
トワークを構成すればよい。

【００４２】次に探索ニューラルネット部３における対
象被写体の輪郭線に基づく注目領域移動ベクトルの算出
について説明する。

【００４３】図５は、この対象被写体に注目領域を移動
させる機能を有するニューラルネットワークの構成を表
す図である。このニューラルネットワークの入力は時刻
ｔにおける所定の大きさの注目領域から入力される外界
の画像である。また、出力は、注目領域をどちらへどれ
だけ移動すべきかという注目領域移動量と移動方向であ
る。これを二次元のベクトルと考え、以下注目領域移動
ベクトルと呼ぶ。この注目領域移動ベクトルの長さは、
その注目領域の中心点における不安定さを表わし、ベク
トルの示す方向は、より注目領域が安定な状態に向う方
向を示す。

【００４４】本実施例におけるニューラルネットワーク
の基本構造は階層型であるが、一部の層内ｅ１，ｅ２層
では相互結合もしているため複合型ともいえる。また、
階層型として有名なバックプロパゲーションモデルで
は、各層間の各ニューロン同士はすべて互いに結合して
いる構造がとられるのに対し、このニューラルネットワ
ークでは、各層同士で位置が対応するニューロンと、そ
の近傍のニューロンとの間にのみ結合が限定されている
局所結合型になっている。このため、各層間のシナプス
数を相当低減でき、演算時間の短縮を実現できる。ま
た、相互結合層内の各ニューロン間の結合も同様に、位
置的に近いものどうしの間にのみ存在する。このような
局所的な結合構造は、人間の眼の網膜から脳の１次視覚
野にかけてみられる神経回路と同様の構造となってい
る。

【００４５】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は画像42をニューラルネットワークに入力するａ層、入
力された画像の複素対数座標変換（対数極座標変換）を
行うｂ層、放射方向の各輪郭線を検出するｃ１，ｃ２
層、放射方向の輪郭線の端点を検出するｄ層、円環方向
の輪郭線を選択する相互結合回路網層であるｅ１層およ
び、放射方向の輪郭線を選択する相互結合回路網層であ
るｅ２層、対象被写体の円環方向の輪郭線成分と注目領
域中心点との偏心度検出層であるｆ１層、対象被写体の
放射方向の輪郭線成分と注目領域中心点との偏心度検出
層であるｆ２層、対象被写体の円環方向の方位ベクトル
検出層であるｇ１層、対象被写体の放射方向の方位ベク
トル検出層であるｇ２層、検出された円環方向の方位ベ
クトルを合成する方位ベクトル合成層であるｈ１層、検
出された放射方向の方位ベクトルを合成する方位ベクト
ル合成層であるｈ２層、および注目領域の移動ベクトル
を出力するｉ層から構成されている。なお、本実施例の
ニューラルネットワークにおいては、ｂ層以降の各層間
あるいは各層内のシナプス結合は、空間不変（スペース
インバリアント）とした。これは、モデルシミュレーシ
ョンや並列処理の実行容易性を考慮したためで、必ずし
も空間不変である必要はない。しかし、空間不変として
おくことで、各ニューロンの出力は、シナプス結合マト
リックスと前段のニューロン層マトリックスとのコンボ
リューション（シナプス結合パターンとのマッチング）
演算結果を、非線形関数に通したものに相当するので、
ニューラルネットワークのシミュレーションを計算機上
で行う場合、計算的な扱いが非常に楽になる。

【００４６】まず、このニューラルネットワークに入力
された画像は、ｂ層において注目領域の中心点を極とし
て複素対数座標変換される。このｂ層において画像を複
素対数座標変換することで、ｂ層以降のニューラルネッ
トワークの動作を画像データの配列と空間不変なシナプ
ス結合データ配列とのコンボリューションとして計算的
に扱うことができる。

【００４７】ここで、図６に、様々な図形が複素対数座
標変換された結果を示す。複素対数座標変換では、極す
なわち注目領域中心点が対象被写体の中心にあれば、図
６(a) に示すように同心円状の曲線が水平の直線に、図
６(b) に示すように放射状の線が垂直な直線に、また三
角形は図６(c) に示すような形に変換される。

【００４８】ここで、変換前の空間座標上の点Ｗ（ｘ，
ｙ）を、数学的に複素表現でｚ＝ｘ＋ｉｙ (1) とすれば、複素対数座標変換された点Ｗ′はＷ′＝ｌｎ（ｚ）＝ｌｎ（｜ｚ｜）＋ｊθ_Z (2) となる。ここでｚ＝（ｘ²＋ｙ²）^1/2 (3) θ_Z＝tan ^-1（ｙ／ｘ） (4) である。すなわち、複素対数座標変換は複素対数座標に
おける距離軸が注目領域中心点からの距離の対数値、方
位軸が注目領域中心点の周囲の角度となるように変換す
ることである。

【００４９】複素対数座標変換された画像はｃ１，ｃ２
層において、複素対数座標上でそれぞれ円環方向、放射
方向の各輪郭線が抽出される。

【００５０】ここで、複素対数座標の円環方向とある
が、これは複素対数座標の方位軸方向を意味するもので
ある。すなわち、複素対数座標の方位軸は実空間座標の
原点（本発明においては注目領域の中心点）をとりまく
角度を表わしており、実空間座標において原点を中心と
する円は複素対数座標では方位軸に平行な直線となる。
したがって複素対数座標の方位軸を円環方向としたもの
である。また、複素対数座標の距離軸は実空間座標の原
点からの距離を表わしており、実空間座標において原点
を通る放射状の直線は複素対数座標では距離軸に平行な
直線となる。したがって、複素対数座標の距離軸を方位
軸に平行な円環方向に対して放射方向と呼ぶこととす
る。

【００５１】ｄ層においては、放射方向の輪郭線が抽出
されたｃ２層の画像から、ある対象被写体が手前に存在
する別の物体に遮ぎられた場合にその境界で発生する放
射方向の輪郭線端点を抽出する。ｅ１，ｅ２層は、それ
ぞれ円環方向、放射方向の輪郭線が選択されるような局
所相互重み結合を有する相互結合層であり、ｅ１層にお
いて、ｃ１層で検出された円環方向の輪郭線のうち円環
方向に連続性の高い線分、強度の大きな線分が強調さ
れ、独立した線分や弱い輪郭線は消去される。また、ｅ
２層においては、ｃ２層で検出された放射方向の輪郭線
のうち放射方向に連続性の高い線分、強度の大きな輪郭
線が強調され、独立した線分や弱い輪郭線は消去され
る。

【００５２】次いで、ｆ１層において、ｅ１層の相互結
合層で選択された円環方向の輪郭線から円環方向に対し
てある一定角度傾いた成分が抽出される。すなわち、図
７に示すような円環方向の輪郭線51に対して右上がりの
傾き成分抽出用シナプス結合52および左上がりの傾き成
分抽出用シナプス結合53で重み付けられた信号として伝
達される。この傾き成分抽出用シナプス結合52，53は、
＋成分が並んでいる方向の輪郭線を強め合い、＋と−の
両成分に渡る輪郭線を打ち消し合ってしまうため、この
ようなシナプス結合で円環方向の輪郭線51を重み付けら
れた信号を伝達すると、輪郭線の右上がりの傾き成分51
a および左上がりの傾き成分51b が抽出される。なお、
本実施例においては、傾き成分抽出用シナプス結合52，
53により円環方向輪郭線が複数対数座標の円環方向に対
して20〜30度傾いた成分が抽出される。

【００５３】一方で、ｆ２層において、ｅ２層の相互結
合層で選択された放射方向の輪郭線から円環方向に対し
てある一定角度傾いた成分が抽出される。すなわち、図
８に示すような放射方向の輪郭線54に対して左上がりの
傾き成分抽出用シナプス結合55および右上がりの傾き成
分抽出用シナプス結合56で重み付けられた信号が伝達さ
れ、輪郭線の左上がりの傾き成分54a および右上がりの
傾き成分54b が抽出される。なお、本実施例において
は、傾き成分抽出用シナプス結合55，56により放射方向
輪郭線が複数対数座標の円環方向に対して60〜70度傾い
た成分が抽出される。

【００５４】次に、以上のようにして求められた輪郭線
の成分からの注目領域移動ベクトルの求め方について説
明する。なお、ここでは簡単のため、ｅ１層以降におけ
る注目領域移動ベクトルの合成について、まず説明す
る。

【００５５】図９は本発明の第１実施例によるニューラ
ルネットワークの図５におけるｅ１層、ｆ１層、ｇ１
層、ｈ１層およびｉ層の部分を抽出し、より詳細に示し
た図である。

【００５６】図９に示すように、各層間はシナプス結合
によって結合されている。ｅ１層およびｆ１層は、ニュ
ーロンが２次元状に整列した構造になっている。ｅ１層
内で興奮しているニューロンの分布は、ｅ１層内のシナ
プス相互結合によって選択された、対象被写体の輪郭線
の円環方向の成分に相当している。

【００５７】ｅ１層からｆ１Ａ層へと興奮信号を伝達す
るシナプス結合62の重み係数は、ｅ１層内の興奮の分布
のうち、左上がりの傾き成分61のみを伝達しやすいよう
に設定されている。このため、図９においては、ｆ１Ａ
層では、傾き成分61の位置に相当するニューロン群63の
みが興奮する。次いで、ｆ１Ａ層から、方位ベクトルを
検出するために、ｇ１Ａ層へと興奮信号が伝達される。
ｇ１Ａ層は１次元に配列されたニューロン層で、ｆ１Ａ
層の同一方位にあるニューロン群からの信号を受けるよ
うにシナプス結合によって結合されている。この結果、
ニューロン群63の方位に対応する、ｇ１Ａ層のニューロ
ン64が興奮する。このニューロン64の方位と興奮の強さ
が方位ベクトルを表すものである。この際、より好まし
くは、ニューロン群63の方位とニューロン64の方位と
が、一定角度βだけずれる、すなわち位相シフトするよ
うにｆ１Ａ層とｇ１Ａ層との結合を設定するのがよい。
なお、位相シフトにかえて、図10に示すように、ｆ１Ａ
層とｇ１Ａ層との結合は、注目領域から離れた位置に相
当するｆ１Ａ層のニューロンからの結合重みほど、大き
くなるように重みＷを加えるようにしてもよい。また、
位相シフトと重みＷとを併用するようにすれば、より好
ましい。

【００５８】同様に、右上がりの傾き成分60の興奮もｆ
１Ｂ層からｇ１Ｂ層へと伝達され、方位ベクトルを表す
ニューロン66が興奮する。この場合も好ましくは、位相
シフトβおよび／または重みＷとを加えるとよい。

【００５９】次に、このようにしてｇ１Ａ層およびｇ１
Ｂ層において求められた方位ベクトルはｈ１層において
合成されてｉ層において注目領域移動ベクトルが決定さ
れる。この注目領域移動ベクトルの合成は極座標上で行
なっても実空間座標上で行なってもかまわないものであ
り、図９では実空間座標上で合成した場合を示す。ニュ
ーロン64，66からの興奮は、逆複素対数座標変換されな
がらｉ層に伝達される。ｉ層では各方位ベクトルの重心
が求められ、これが合成された注目領域移動ベクトルと
して出力される。なお、ここでｉ層への入力は、主要被
写体の中心へ向かう方位ベクトルの検出とその合成のみ
を説明してきたが、実際にはｉ層には、主要被写体の輪
郭の集中点に向かう方位ベクトルも入力され、後述する
ように適切に合成される。

【００６０】以下、上述した対象被写体の輪郭線に基づ
いて求められた注目領域移動ベクトルがいかにして注目
領域を対象被写体の方向へと移動させるかについて説明
する。

【００６１】図11は注目領域の中心点が対象被写体の外
側から、対象被写体の中心点に移動する状態を複素対数
座標と実空間座標とを対応させて表した図である。な
お、ここでは簡単のため対象被写体を円形として、この
円に向かう注目領域中心点の移動について説明する。

【００６２】まず、図11(a) に示すように、注目領域73
に対象被写体71の１部分が入っている場合、図11(a) の
複素対数座標において、複素対数座標変換された対象被
写体71′の輪郭線のうち一定角度αおよび−α傾いた成
分がｆ１層において検出される。この一定角度αは、ｆ
１層において抽出された円環方向の輪郭線が円環方向に
対してなす角度であり、円環方向に対して右上がりを
正、左上がりを負としたものである。この一定角度αお
よび−α傾いた成分がｇ１層において方位ベクトル74，
74（実空間座標においては方位ベクトル72，72）として
検出される。ここで、注目領域中心点Ｑをより一層対象
被写体中心点Ｏに移動し易くするため一定角度αの方位
ベクトルに対しては＋βの、一定角度−αの方位ベクト
ルに対しては−βの位相シフトを加えるとともに、注目
領域中心点から一定角度α，−α傾いた成分までの距離
に応じた重みを加え、実空間座標における方位ベクトル
74′，74′を得る。方位ベクトル74′，74′が得られる
と、ｈ１層においてこれらの合成ベクトルが求められ、
この合成ベクトルが注目領域移動ベクトル75となる。注
目領域移動ベクトル75が求められると、注目領域73は注
目領域移動ベクトル75に従って移動し、図11(b) に示す
状態となる。

【００６３】図11(b) に示すように、対象被写体71と注
目領域中心点Ｑとがある程度近づき、注目領域73内に対
象被写体71が入ってくると、一定角度αおよび−α傾い
た点はそれぞれ２つずつ検出され、これに従い方位ベク
トル74も４種類検出される。この場合も、図11(a) に示
した場合と同様に、それぞれの方位ベクトル74に対して
位相シフト＋βおよび−βと、重み付けを加えて注目領
域移動ベクトル75が得られ、注目領域中心点Ｑはこの注
目領域移動ベクトル75に従って移動し、図36(c) に示す
状態となる。

【００６４】以下、図11(c) に示す状態においても同様
に注目領域移動ベクトル75が得られ、注目領域中心点Ｑ
は図11(d) に示す状態に移動し、最終的に、注目領域中
心点Ｑと対象被写体71の中心点Ｏが一致した状態で注目
領域中心点Ｑは停止する。

【００６５】なお、上述した位相シフトβの値は、注目
領域移動ベクトル75が対象被写体71の方向に向かうよう
に、０度以上90−α度未満に設定される（90−α度を越
えると注目領域移動ベクトル75が対象被写体71とは反対
方向に向いてしまうため）。

【００６６】また、上述した方位ベクトル74，72に加え
る重みは、前述した輪郭線の一定角度αおよび−α傾い
た成分から注目領域中心点までの距離に応じて設定さ
れ、注目領域移動ベクトル75が対象被写体の中心点を向
くように、距離が離れているほど大きな重みで結合され
る。

【００６７】なお、上述した一定角度αの値であるが、
注目領域中心点Ｑが対象被写体の外側にある場合は、α
は０度以上90度以下であれば必ずα点が存在する（αが
90度のときは方位ベクトルは対象被写体に接し、α点は
１点のみとなる）。逆に、注目領域中心点Ｑが対象被写
体の内側にあるときには、注目領域中心点Ｑと対象被写
体の中心点Ｏとの距離およびαの値によってはα点が存
在しない場合がある。実験から対象被写体が円の場合は
αが25度のとき、注目領域中心点Ｑと対象被写体の中心
点Ｏとの距離が対象被写体の半径の60％程度になると、
α点は存在しなくなる。さらに、αが45度のときは、注
目領域中心点Ｑと対象被写体の中心点Ｏとの距離が対象
被写体の半径の80％程度で、α点は存在しなくなる。し
たがって、αが小さいほど対象被写体の中心点Ｏにまで
注目領域中心点Ｑの移動が可能であるが、実際の対象被
写体は厳密な円ではなく種々多様な形状をしているた
め、抽出する対象被写体に応じてαを設定するのが好ま
しく、経験的にいって自然画像に関してはαを20〜30度
前後に設定するのが好ましい。

【００６８】上述した円形の対象被写体の中心点と注目
領域中心点が一致した場合、注目領域の中心に含まれる
対象被写体の輪郭線は複素対数座標上においては図６
(a) に示すように円環方向に対して平行な直線となる。
すなわち、注目領域中心点を対象被写体の中心に移動す
ることは上述したｅ１層で検出した、円環方向の輪郭線
の成分を、できる限り円環方向に対して平行な成分の多
い状態にすることと等価である。

【００６９】次に、ｆ２層、ｇ２層およびｈ２層におけ
る注目領域移動ベクトルの決定と、その注目領域移動ベ
クトルにより注目領域が移動する状態について説明す
る。

【００７０】図12は注目領域が対象被写体の輪郭線の交
点へ移動する状態を複素対数座標と実空間座標とを対応
させて表した図である。

【００７１】まず、図12(a) に示すように、注目領域73
に対象被写体76の一部分が入ってくると、図12(a) の複
素対数座標において、複素対数座標変換された対象被写
体76′の輪郭線のうち一定角度α′および−α′傾いた
成分がｆ２層において検出される。この一定角度α′
は、ｆ２層において抽出された放射方向の輪郭線が円環
方向に対してなす角度であり、円環方向に対して右上が
りを正、左上がりを負としたものである。この一定角度
α′および−α′傾いた成分がｇ２層において方位ベク
トル77として検出される。ここで、注目領域中心点Ｑを
より一層対象被写体76の輪郭線の交点Ｔに移動し易くす
るため一定角度α′の方位ベクトルに対しては＋β′
の、一定角度−α′の方位ベクトルに対しては−β′の
位相シフトを加えるとともに、重みを加え、実空間座標
における方位ベクトル77′を得る。方位ベクトル77′が
得られると、ｈ２層においてこれらの合成ベクトルが求
められ、この合成ベクトルが注目領域移動ベクトル78と
なり、ｉ層において出力される。注目領域移動ベクトル
78が求められると、注目領域73は注目領域移動ベクトル
78に従って移動し、図12(b) に示す状態となる。

【００７２】以下、図12(b) に示す状態においても同様
に注目領域移動ベクトル78が得られ、注目領域中心点Ｑ
は図12(c) ，(d) に示す状態に移動し、最終的に、注目
領域中心点Ｑと対象被写体76の輪郭線の交点Ｔが一致し
た状態で注目領域中心点Ｑは停止する。

【００７３】ここで、上述した一定角度α′の値である
が、頂角の角度が小さく、しかもα′の値が小さい値の
ときは、α′点は２つ、−α′点も２つ存在する。とこ
ろが、α′がある値より大きくなるとα′点は１つ（−
α′点も１つ）しか存在しなくなるがα′が90度未満で
あれば、少なくとも１つのα′点は存在する。α′点が
２つ存在するような条件下では、単に注目領域中心点か
らα′点に向かう方向ベクトルを合成したものが注目領
域を頂角へと移動させる注目領域移動ベクトルであるが
問題となるのはα′点が１つしか存在しないかまたは全
く存在できない場合である。実験により、一定角度α′
の値が小さいと被写体の頂角が大きくなる程α′点が存
在しなくなってしまう。したがって、どのような大きさ
の頂角に対しても注目領域が頂角に向って移動するため
には、まずα′点が存在しなければならない。そこで、
一定角度α′の値は、90度に近い値が好ましいといえ
る。

【００７４】また、位相シフトβ′の値であるが、図13
に示すように注目領域中心点Ｑと頂角とが同一水平線上
にあり、頂角は水平線を挟んで上下に対称に広がり、か
つα′点が１つしか存在しないような場合には、方位ベ
クトル77の合成ベクトルである注目領域移動ベクトル78
は、頂角とは反対の方向を向いてしまう。このため図14
に示すような位相シフトβ′を加えて、注目領域移動ベ
クトル78が頂角の方向を向くようにするには、少なくと
も方位ベクトル77が注目領域中心点Ｑを通る垂線79の右
側に達するまで位相シフトβ′を加えてやればよい。こ
のβ′の値は、 β′＞α′−Ｃ／２かつ０＜β′＜90° （但しＣは検出しようとしている頂角の値であり、０＜
Ｃ＜360 °）に設定される。

【００７５】このようにして、適当な位相シフトと重み
付けを加えることにより、対象被写体76の輪郭線がいか
なる角度で交わっている場合にもその交点へと注目領域
中心点Ｑを移動させることができる。

【００７６】上述した対象被写体の頂角と注目領域中心
点が一致した場合に注目領域によって切り出される対象
被写体は複素対数座標上においては図６(b) に示すよう
に放射方向に対して平行な直線となる。すなわち、注目
領域中心点を対象被写体の頂角に移動することは上述し
たｅ２層で検出した放射方向の輪郭線の成分を、できる
かぎり放射方向に対して平行な成分の多い状態にするこ
とと等価である。

【００７７】以上のようにして求められたｈ１層におけ
る注目領域移動ベクトルおよびｈ２層における注目領域
移動ベクトルはｉ層により適切に合成されて出力され
る。以下、ｉ層の機能について説明する。

【００７８】上述したｈ１層において決定される注目領
域移動ベクトルおよびｈ２層において決定される注目領
域移動ベクトルは、情況によりそれぞれ異なる場合があ
る。例えば、注目領域中心点が所定被写体の外側にある
場合には、上述した２種類の注目領域移動ベクトルは同
方向のベクトルとなるが、所定被写体のごく近傍や所定
被写体の内部においては２種類の注目領域移動ベクトル
は異なるものとなってくる。このため、ｈ１層およびｈ
２層で決定されるそれぞれのニューラルネットワークの
出力をバランスよく利用すれば、目的とする所定被写体
に応じた注目領域の移動を行うことができる。例えば、
所定被写体の部分的な特徴形状をとらえて、学習等に利
用したい場合には、ｉ層においてｈ２層のニューラルネ
ットワークの出力を重視し、また、所定被写体の全体を
とらえたい場合には、ｉ層においてｈ１層のニューラル
ネットワークの出力を重視する等すればよい。

【００７９】上述した対象被写体の輪郭線に基づく注目
領域移動ベクトルの算出と並行して、対象被写体の動き
に基づく注目領域移動ベクトルの算出も行われる。

【００８０】動画の場合には、背景に対し、動いている
物体が対象被写体となり得る可能性が高い。そこで、背
景をキャンセルし、動いている物体のみを抽出して注目
領域を移動させることにより的確に対象被写体の抽出を
行うことができる。

【００８１】以下、探索ニューラルネット部３における
物体の動きに基づく注目領域移動ベクトルの算出につい
て説明する。

【００８２】図15は、物体の動きに基づいて注目領域移
動ベクトルの算出の基本的概念を表すブロック図であ
る。なお、本実施例にニューラルネットワークを用いて
画像から対象被写体であるヨットを抽出するものとす
る。

【００８３】図15に示すように、本実施例はニューラル
ネットワークのステップＡにおいて、画像上に注目領域
の中心点位置を設定して画像から注目領域の範囲の画像
を取り込み、次いでステップＢにおいて画像の動き、す
なわち画像の面内平行方向、面内回転方向および／また
は放射方向の動きを検出し、ステップＣにおいて背景の
動きをキャンセル（補償）する。さらに、ステップＤに
おいて、背景と異なる動きをしている物体、すなわち対
象被写体を検出し、ステップＥにおいてこの異なる動き
をしている物体に注目領域を移動させるものである。

【００８４】ここで、画像の動きについて説明する。画
像の動きは、以下の３種類の動きに相当するものであ
る。すなわち、 (1) 視線に垂直な面内での画像面に平行な動き（眼球運
動、または画像入力器（カメラ等）が視線方向と垂直に
移動するような動作に相当） (2) 注視点を中心に拡大または縮小する動き（画像入力
器が視線方向に沿って外界に近づくまたは遠ざかる動作
に相当） (3) 視線を軸に右または左に回転する動き（画像入力器
が視線方向を軸として回転する動作に相当）に相当するものである。逆に、どのような動きもこの３
種類の動きに分類できるものである。

【００８５】図16は、上述した画像の動きを検出するニ
ューラルネットワークの一構成を表す図である。

【００８６】このニューラルネットワークの入力は、所
定の大きさの注目領域から入力される外界の画像であ
る。また、出力は画像の背景の移動方向を表す信号であ
る。なお、上述した平行な動きは実空間においてスペー
スインバリアントであるため、動きの検出は実空間で行
うのが好ましい。一方、拡大または縮小する動き、回転
する動きについては、実空間ではスペースバリアントだ
が、複素対数座標空間に変換してやるとスペースインバ
リアントとして扱うことができるため、これらの動きの
検出は複素対数座標空間で行うのが好ましい。

【００８７】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は、画像の平行な動きを検出するニューラルネットワー
ク10と、拡大または縮小の動きおよび回転の動きを検出
するニューラルネットワーク20とに分けられる。また、
本実施例におけるニューラルネットワークの基本構造は
階層型である。画像の平行な動きを検出するニューラル
ネットワーク10は、所定の大きさの注目領域を有し、こ
の注目領域の大きさに画像を切り出してニューラルネッ
トワークに入力するＡ１層、切り出した画像に時間遅れ
を加えるＡ２層、Ａ１層において切り出された画像中に
存在する被写体の輪郭線を検出するＣ１層、Ａ２層にお
ける画像中に存在する被写体の輪郭線を検出するＣ２
層、Ｃ１層において輪郭線が検出された画像とＣ２層に
おいて輪郭線が検出された画像との差分を求めるＤ１
層、Ｄ１層において求められた差分から、所定の方向の
成分だけを抽出するＥ１，Ｅ２，Ｅ３，Ｅ４層およびＥ
１，Ｅ２，Ｅ３，Ｅ４層において抽出された輪郭線の成
分に基づいて、画像の動きを平行な動きの方位として出
力するＦ１層とから構成されている。

【００８８】一方、ニューラルネットワーク20は、所定
の大きさの注目領域を有し、この注目領域の大きさに画
像を切り出してニューラルネットワークに入力するＡ３
層、切り出した画像に時間遅れを加えるＡ４層、Ａ３層
において切り出された画像を複素対数座標変換するＢ１
層、Ａ４層における画像を複素対数座標変換するＢ２
層、Ｂ１層において複素対数座標変換された画像中に存
在する被写体の輪郭線を検出するＣ３層、Ｂ２層におい
て複素対数座標変換された画像中に存在する被写体の輪
郭線を検出するＣ４層、Ｃ３層において輪郭線が検出さ
れた画像とＣ２層において輪郭線が検出された画像との
差分を求めるＤ２層、Ｄ２層において求められた差分か
ら、放射方向の成分だけを抽出するＥ５，Ｅ６層、Ｄ２
層において求められた差分から円環方向の成分だけを抽
出するＥ７，Ｅ８層、Ｅ５，Ｅ６層において抽出された
輪郭線の成分に基づいて、画像の動きを拡大または縮小
の動き、すなわち放射方向の方位として出力するＦ２
層、Ｅ７，Ｅ８層において抽出された輪郭線の成分に基
づいて、画像の動きを回転の動きの方位として出力する
Ｆ３層とから構成されている。

【００８９】なお、本実施例のニューラルネットワーク
においては、Ｂ層以降の各層間あるいは各層内のシナプ
ス結合は、空間不変（スペースインバリアント）とし
た。これは、モデルシミュレーションや並列処理の実行
容易性を考慮したためで、必ずしも空間不変である必要
はない。しかし、空間不変としておくことで、各ニュー
ロンの出力は、シナプス結合マトリックスと前段のニュ
ーロン層マトリックスとのコンボリューション（シナプ
ス結合パターンとのマッチング）演算結果を、非線形関
数に通したものに相当するので、ニューラルネットワー
クのシミュレーションを計算機上で行う場合、計算的な
扱いが非常に楽になる。なお、本実施例のニューラルネ
ットワークでは正のニューロン信号と、正と負のシナプ
ス結合を使用する。すなわち、正の信号が正の結合を通
じて伝達されると、正の興奮信号として伝達され、負の
結合を通じて伝達されると、負の興奮信号として伝達さ
れるようなニューラルネットワークモデルであるが、ニ
ューロン信号は正に限定されるものではなく、ニューロ
ン信号として、正の興奮と負の興奮とがあり、シナプス
結合にも正と負の結合があり、負の信号が負の結合を通
じて伝達されると、正の興奮信号として伝達されるよう
なニューロンモデルを使用してもよいことはもちろんで
ある。

【００９０】まず、ニューラルネットワーク10の機能に
ついて説明する。最初に、Ａ１層において、図17(a) に
示す時刻ｔにおける所定の大きさの注目領域の範囲の画
像11Ａが切り出される。一方、Ａ２層において、図17
(b) に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像11Ｂが切り出される。ここで時刻ｔ＋αに
おける画像11Ｂは、カメラ等の画像入力器の動きとは逆
の画面に平行な動きが加わったものであり、画像11Ｂは
画像11Ａと比較して画像が下から上（画像入力器は上か
ら下）に動いている。なお、図17(a) ，(b) において
は、各画像の白部は信号強度が大きく、黒部は信号強度
が小さいことを表している。次いでＣ１層，Ｃ２層にお
いて、それぞれＡ１層，Ａ２層において切り出された画
像11Ａ，11Ｂ中に存在する被写体の輪郭線が検出され
る。すなわち、図18に示すような輪郭線抽出シナプス結
合12により画像11Ａ，11Ｂが重み付けられた信号として
伝達され、図19(a) ，(b) の画像13Ａ，13Ｂに示すよう
な画像11Ａ，11Ｂの輪郭線が検出される。

【００９１】次いでＤ１層においてＣ１層で輪郭線が検
出された画像13Ａと、Ｃ２層で輪郭線が検出された画像
13Ｂとの差分、すなわち（画像13Ａ−画像13Ｂ）が行わ
れ、図20に示す画像14が得られる。すなわち、Ｄ１層で
は、Ｃ１層におけるニューロン信号を正の重みで受け取
り、Ｃ２層におけるニューロン信号をすべて負の重みで
受けるようになっている。なお、図20における斜線部
は、信号値が０であることを表している。さらに、Ｅ
１，Ｅ２，Ｅ３，Ｅ４層において、画像面に平行な方向
の動き検出シナプス結合により重み付けられた信号とし
て伝達され、それぞれの方向を表す成分が抽出される。
なお、ここでは簡単のため、図21に示す下から上成分抽
出シナプス結合15と右から左成分抽出シナプス結合16と
により、下から上方向および右から左方向の動きの２成
分のみを抽出するものとする。この下から上成分抽出シ
ナプス結合15と右から左成分抽出シナプス結合16とによ
り画像14が重み付けられた信号として伝達された結果
を、それぞれ図22(a) の画像17Ａ、図22(b) の画像17Ｂ
に示す。Ｅ１，Ｅ２，Ｅ３，Ｅ４層において抽出された
輪郭線の動き成分はＦ１層に入力される。次いでＦ１層
からＦ１′，Ｆ″層へかけてのニューラルネットワーク
によってどの方向の動きがあったかが検出され、画像面
に平行な方向の動きの方位として出力される。すなわ
ち、本実施例においては、図22(a) の画像17Ａに示すよ
うに、下から上成分が最も信号強度が高くなることか
ら、下から上の動きがあったことを示すニューロンから
は大きな信号が出力され、右から左方向への動きがあっ
たことを示すニューロンからは信号が出力されない。

【００９２】次いで、ニューラルネットワーク20の機能
について説明する。

【００９３】まず、カメラ等の画像入力器が画像に接近
しながら、画像の切り出しを行った場合について説明す
る。

【００９４】まず、最初に、Ａ３層において、図23(a)
に示す時刻ｔにおける所定の大きさの注目領域の範囲の
画像21Ａが切り出される。一方、Ａ４層において、図23
(b)に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像21Ｂが切り出される。ここで時刻ｔ＋αに
おける画像21Ｂは、カメラ等の画像入力器の接近する動
きによって画像が拡大する動きが加わったものであり、
画像21Ｂは画像21Ａと比較して画像が拡大している。次
いでＢ１層，Ｂ２層おいてそれぞれＡ３層，Ａ４層にお
いて切り出された画像21Ａ，21Ｂの複素対数座標変換が
なされ、図24(a) ，(b) に示す画像22Ａ，22Ｂを得る。

【００９５】次いでＣ３層，Ｃ４層において、それぞれ
Ｂ１層，Ｂ２層において複素対数座標変換された画像22
Ａ，22Ｂ中に存在する被写体の輪郭線が検出される。す
なわち、図18に示した輪郭線抽出シナプス結合12により
画像22Ａ，22Ｂは重み付けられた信号として伝達され、
図25(a) ，(b) の画像23Ａ，23Ｂに示すような画像22
Ａ，22Ｂの輪郭線が検出される。

【００９６】次いでＤ２層においてＣ３層で輪郭線が検
出された画像23Ａと、Ｃ４層で輪郭線が検出された画像
23Ｂとの差分、すなわち（画像23Ａ−画像23Ｂ）が行わ
れ、図26に示す画像24が得られる。さらに、Ｅ５，Ｅ６
層において、放射方向の動き検出シナプス結合により重
み付けられた信号として伝達され、それぞれの方向を表
す成分が抽出される。すなわち、図27に示す拡大方向成
分抽出シナプス結合25と縮小方向成分抽出シナプス結合
26とにより、拡大、縮小による画像の放射方向の動きの
成分を抽出するものである。この拡大方向成分抽出シナ
プス結合25と縮小方向成分抽出シナプス結合26とにより
画像24の重み付けられた信号として伝達された結果を、
それぞれ図28(a) の画像27Ａ、図28(b) の画像27Ｂに示
す。Ｅ５，Ｅ６層において抽出された輪郭線の動き成分
はＦ２層に入力される。次いでＦ２層からＦ２′，Ｆ
２″層にかけてのニューラルネットワークによってどの
方向の動きがあったかが検出され、放射方向の動きの方
位として出力される。すなわち、本実施例においては、
図28(a) ，(b) の画像27Ａ，27Ｂに示すように拡大方向
成分の強度が高く縮小方向成分がほとんどないことか
ら、拡大方向への動きがあったことを示すニューロンか
らは大きな信号が出力され、縮小方向への動きがあった
ことを示すニューロンからは信号が出力されない。

【００９７】次いで画像入力器が、その注目領域の中心
点のまわりに回転をしながら画像取り込みを行った場合
について説明する。

【００９８】まず、最初に、Ａ３層において、図29(a)
に示す時刻ｔにおける所定の大きさの注目領域の範囲の
画像31Ａが切り出される。一方、Ａ４層において、図29
(b)に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像31Ｂが切り出される。ここで時刻ｔ＋αに
おける画像31Ｂは、カメラ等の画像入力器の回転する動
きにより回転の動きが加わったものであり、画像31Ｂは
画像31Ａと比較して画像が注目領域の中心点のまわりを
右回転している。次いでＢ１層，Ｂ２層おいてそれぞれ
Ａ３層，Ａ４層において切り出された画像31Ａ，31Ｂの
複素対数座標変換がなされ、図30(a) ，(b) に示す画像
32Ａ，32Ｂを得る。次いでＣ３層，Ｃ４層において、そ
れぞれＢ１層，Ｂ２層において複素対数座標変換された
画像32Ａ，32Ｂ中に存在する被写体の輪郭線が検出され
る。すなわち、図18に示した輪郭線抽出シナプス結合12
により画像32Ａ，32Ｂは重み付けられた信号として伝達
され、図31(a) ，(b) の画像33Ａ，33Ｂに示すような画
像32Ａ，32Ｂの輪郭線が検出される。

【００９９】次いでＤ２層においてＣ３層で輪郭線が検
出された画像33Ａと、Ｃ４層で輪郭線が検出された画像
33Ｂとの差分、すなわち（画像33Ａ−画像33Ｂ）が行わ
れ、図32に示す画像34が得られる。さらに、画像34はＥ
７，Ｅ８層において、回転方向の動き検出シナプス結合
により重み付けられた信号として伝達され、それぞれの
回転方向を表す成分が抽出される。すなわち、図33に示
す右回転方向成分抽出シナプス結合35と左回転方向成分
抽出シナプス結合36とにより、下から上方向および右か
ら左方向の動きの２成分のみを抽出するものとする。こ
の右回転方向成分抽出シナプス結合35と左回転方向成分
抽出シナプス結合36とにより画像34が重み付けられた信
号として伝達された結果を、それぞれ図34(a) の画像37
Ａ、図34(b) の画像37Ｂに示す。Ｅ７，Ｅ８層において
抽出された輪郭線の動き成分はＦ３層に入力される。次
いでＦ３層からＦ３′，Ｆ３″層にかけてのニューラル
ネットワークによってどちらの回転方向の動きがあった
かが検出され、面内回転方向の動きの方位として出力さ
れる。すなわち、本実施例においては、図34(a) ，(b)
の画像37Ａ，37Ｂに示すように右回転方向成分の強度が
高く左回転方向成分がほとんどないことから、右回転の
動きがあったことを示すニューロンからは大きな信号が
出力され、左回転の動きがあったことを示すニューロン
からは信号が出力されない。

【０１００】なお、上述したＦ１〜Ｆ１″層，Ｆ２〜Ｆ
２″層およびＦ３〜Ｆ３″層における差分輪郭線成分か
らの画像の動きの検出は、差分輪郭線の情報を、パーセ
プトロン型のニューラルネットワークに繰り返し入力
し、同時に正しい判断を教師信号として与えて学習させ
ることにより達成できる。そしてこれにより画像の動き
の検出が可能なニューラルネットワークに成長させ、さ
まざまな画像からの差分輪郭線から、動きに関する正し
い検出結果を出力として得ることができる。

【０１０１】以上のようにして求められた画像全体の動
きから、ステップＣにおいて、時間差αをもつ２つの画
像間に存在する画像全体、すなわち背景の動きの差成分
をキャンセル（補償）することができる。すなわち、検
出された画像の動きの方向と量とに応じて、検出された
動きとは逆方向の動きを加えてやればよい。この背景の
動きをキャンセルするためのフローチャートを図38に示
す。例えば、図17(b)，図23(b) ，図29(b) の画像11
Ｂ，21Ｂ，31Ｂに示した画像に、それぞれの動きの検出
結果である信号Ｓ₁，Ｓ₂，Ｓ₃を、この動きとは逆の
方向に加えてやれば、いずれの画像からも、画像全体す
なわち背景の動きがキャンセルされた画像を得ることが
できる。

【０１０２】次いで、ステップＤにおいて、ステップＣ
において画像全体すなわち背景の動きをキャンセルした
時刻ｔ＋αの画像と時刻ｔにおける画像との差分がさら
に求められる。これによって背景の動きとは異なる動き
をしている物体のみが抽出される。すなわち、図36(a)
に示すように、背景の動きがキャンセルされた時刻ｔに
おける画像から輪郭線成分を抽出した画像41Ａ、図36
(b) に示す背景の動きがキャンセルされた時刻ｔ＋αに
おける画像から輪郭線成分を抽出した画像41Ｂとの差分
を求めれば、図37に示すような画像42を得ることができ
る。この画像42中に存在する物体すなわち、本実施例の
画像中におけるヨットが、背景とは異なる動きをしてい
る物体であり、この物体が対象被写体となる。

【０１０３】次いで、ステップＥにおいて、この背景と
は異なる動きをしている対象被写体に向けて注目領域の
移動が行われる。図38はステップＥにおける注目領域の
移動を行うためのフローチャートを表す図である。ステ
ップＥにおいては、ステップＤにおいて背景と異なる物
体、すなわち対象被写体が複数ある場合に、最も所定被
写体らしい対象被写体を絞り込み、次いでこの絞り込ま
れた対象被写体に向って注目領域を移動させるものであ
る。

【０１０４】図39は、対象被写体の輪郭線の傾きに基づ
いて注目領域を求めるためのニューラルネットワークの
一構成を表す図である。このニューラルネットワークの
構成は図５に示したニューラルネットワークと同一であ
るため、対応する記号に「′」を付し、詳細な説明は省
略する。なお、このニューラルネットワークへの入力
は、図16に示したニューラルネットワークのＡ１層，Ａ
３層における画像、すなわち、時刻ｔにおける所定の大
きさの注目領域から入力される外画の画像である。ま
た、出力は、注目領域をどちらへどれだけ移動すべきか
という注目領域移動量と移動方向、すなわち、注目領域
移動ベクトルである。

【０１０５】このような対象被写体の輪郭線および動き
に基づく注目領域移動ベクトルの算出と並行して、対象
被写体の色に基づく注目領域移動ベクトルの算出も行わ
れる。

【０１０６】図40は対象被写体の色に基づいて注目領域
移動ベクトルを求めるニューラルネットワークの一構成
を表わす図である。

【０１０７】このニューラルネットワークの入力は、本
発明による輪郭線に基づいて注目領域移動ベクトルを算
出する実施例と同様に、時刻ｔにおける所定の大きさの
注目領域から入力される外界の画像である。また、出力
は、注目領域をどらへどれだけ移動すべきかという注目
領域移動量と移動方向である。

【０１０８】本実施例におけるニューラルネットワーク
の基本構造は、動きに基づいて注目領域移動ベクトルを
算出するニューラルネットワークおよび輪郭線に基づい
て注目領域移動ベクトルを算出するニューラルネットワ
ークと同様に階層型であるが、ｅ″層では相互結合もし
ているため複合型ともいえる。

【０１０９】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は本発明の対象被写体の動きに基づく注目領域移動ベク
トルの算出および輪郭線の傾きに基づく注目領域移動ベ
クトルの算出の実施例と同様に、大きく３つのステップ
に分けられている。

【０１１０】画像上に注目領域中心点の位置を設定し、
この画像から注目領域の範囲の画像を取り込むステップ
は、所定の大きさの注目領域を有しこの注目領域の大き
さに画像を切り出してニューラルネットワークに入力す
るａ″層、および入力された画像の複素対数座標変換
（対数極座標変換）を行うｂ″層から構成される。

【０１１１】入力された画像から対象被写体を絞り込む
ステップは、対象被写体の色と略一致する領域のニュー
ロンを検し、各領域の対象被写体の色の一致度を検出す
るｃ″層，ｄ″層，ｅ″層、色の一致度が高く、形状・
大きさともに所定被写体により近い領域を選択される相
互結合回路網層であるｆ″層から構成される。

【０１１２】対象被写体と注目領域との位置ずれ検出
と、注目領域移動量の算出を行うステップは、対象被写
体の色と略一致する領域のニューロン群の領域の方位と
距離との検出層であるｇ″層、検出された方位と距離と
に基づいて、注目領域移動ベクトルを出力するｉ″層か
ら構成されている。なお、本実施例のニューラルネット
ワークにおいては、上述した実施例と同様にｂ″層以降
の各層間あるいは各層内のシナプス結合は、空間不変
（スペースインバリアント）とした。

【０１１３】まず、ａ″層において、所定の大きさの注
目領域の範囲の画像が切り出される。ａ″層において
は、注目領域の中心点ほどニューロンが高密度に存在す
る。ａ″層において取り込まれた画像はｂ″層におい
て、注目領域の中心点を極として複素対数座標変換され
る。このｂ″層において、画像を複素対数座標変換する
ことで、ｂ″層以降の処理を空間不変なシナプス結合と
のコンボリューションで実現できることになる。

【０１１４】図41に、図40に示すニューラルネットワー
クのｂ″層において様々な図形が複素対数座標変換され
た結果を示す。複素対数座標変換では、対象被写体が極
すなわち注目領域中心点の近くに存在する場合には相対
的に大きく、遠くに存在する場合には相対的に小さく変
換される。ｂ″層のニューロンは変換された画像パター
ンの強度に対応して興奮する。

【０１１５】複素対数座標変換された画像に対応するニ
ューロンの興奮パターンを表すｃ″層からｄ″層，ｅ″
層にかけてのニューラルネットワークによって対象被写
体の色と略一致する領域が抽出され、この領域と対象被
写体の色との一致度が検出され、一致度に応じてｅ″層
のニューロンが興奮する。ここで対象被写体の色と略一
致する領域のニューロンを抽出するようなシナプス結合
は、あらかじめバックプロパゲーション法などによって
学習されたものを使用する。

【０１１６】本実施例では、対象被写体色との一致度を
検出するニューラルネットワークとして、３層構造のニ
ューラルネットワークを使用した一例について詳細に説
明する。

【０１１７】図42は本発明の実施例によるニューラルネ
ットワークの図40におけるｃ″層、ｄ″層およびｅ″層
という部分だけを抽出し、より詳細に示した図である。

【０１１８】ｃ″層からｅ″層をこの部分だけのものと
して見るとこれは、ｃ″層を入力層、ｄ″層を中間層、
ｅ″層を出力層とする３層のニューラルネットワークに
ほかならない。

【０１１９】ここでｃ″層への入力信号は前段のニュー
ロン層の各ニューロンからの色情報である。ｃ″層では
まず、前段のニューロン層からの色情報を光の３原色
（赤、緑、青）に分解し、それぞれの色情報を各１個の
ニューロンが受け取りそれぞれの入力とする。したがっ
てｃ″層では一画素につき３個のニューロンが割り当て
られているのである。ｃ″層に入力された信号は、シナ
プス結合によって重み付けされて次段のｄ″層へと伝達
される。なおｃ″層からｄ″層へのシナプス結合の重み
をＷ_1ij（ｉはｃ″層のニューロン、ｊはｄ″層のニュ
ーロン）で表す。

【０１２０】ｄ″層は中間層と呼ばれるニューロン層
で、一般に素子数は実行させる処理の複雑度に応て適宜
選択されるが、ここでは１画素につき５個のニューロン
を割り当てるものとする。したがって一画素につき３個
のニューロンから５個のニューロンへの信号伝達が１５
個のシナプス結合によって実行される。

【０１２１】続いて、ｄ″層からｅ″層へと信号伝達が
行なわれる。ｅ″層は３層のニューラルネットワークの
出力層に相当する。このニューラルネットワークは、対
象被写体色との一致度を検出するものであり、ある１画
素の対象被写体色との一致度は１個のニューロンの興奮
度として表現できるので、１画素について１個のニュー
ロンが割り当てられる。したがってｄ″層からｅ″層へ
の信号伝達は１画素あたり５個のシナプス結合によって
実行される。なおｄ″層からｅ″層へのシナプス結合の
重みをＷ_2ij（ｉはｄ層のニューロン、ｊはｅ層のニュ
ーロン）で表す。

【０１２２】実際には上記の様なニューロンやシナプス
の結合は画素の数だけ存在しており、このようなｃ″層
からｅ″層へのニューラルネットワークの信号伝達を、
各画素ごとに同時に並列に実行することが可能である。
なおこのニューラルネットワークでは、実行する処理が
各画素で同一であるため、各画素ごとのニューロンの特
性はもちろんシナプス結合の重みも同一のものを使用す
る。

【０１２３】上記のような、対象被写体色との一致度を
検出する動作を実行させるためのシナプス結合は、ニュ
ーラルネットワークの学習によって得ることが可能であ
る。例として、人間の顔の肌色を対象被写体の色とし、
ある母集団から抽出した肌色の度数分布が色の一致度に
比例すると定義した場合の、シナプス重みの値を表１に
示す。

【０１２４】

【表１】

【０１２５】学習はバックプロパゲーション法と呼ばれ
る方法を用いて行なうことが可能である。まず、肌色を
始めとする各種の色の３原色値を入力データとし、肌色
の度数分布から決めた色の一致度を教師データとして、
ニューラルネットワークに繰り返し呈示し、実際にニュ
ーラルネットワークが出力してきた値と教師データとの
差に応じて、差が小さくなる方向に徐々にシナプス結合
の重みを書き換えることで学習させ、最終的に与えられ
た入力に対し教師データどおりの値を出力するようにさ
せるのである。

【０１２６】この、ニューラルネットワークの出力に基
づいて求められた肌色との一致度を図63に示した色度図
に色の等高線として表す。ここで最も肌色に近い色の場
合は、一致度は1.0 となり、以下、肌色から離れるにつ
れて一致度は小さくなる。ここで、色の３原色値のデー
タを色度図上ｘ，ｙ座標として表す演算は以下の式によ
って行われる。

【０１２７】ｘ＝（1.1302+1.6387r/(r+g+b)+0.6215g/(r+g+b)/ (6.7846-3.0157r/(r+g+b)-0.3857g/(r+g+b) (6) ｙ＝（0.0601+0.9399r/(r+g+b)+4.5306g/(r+g+b)/ (6.7846-3.0157r/(r+g+b)-0.3857g/(r+g+b) (7) 但し、ｒ：赤の色値ｇ：緑の色値ｂ：青の色値このようにして学習されたシナプス結合の重みを用い
て、ｃ″層からｅ″層のニューラルネットワークで、対
象被写体の色と抽出された領域との一致度を検出し、一
致度をｅ″層のニューロンの興奮として出力することが
できる。

【０１２８】さらに続くｆ″層は、対象被写体と色の一
致度が高く、しかも形状・大きさともに対象被写体とし
て最も適当である領域が選択されるような競合協調のと
もに対象被写体として最も適当である領域が選択される
ような競合協調の局所相互重み結合を有する相互結合層
である。ｆ″層内で各ニューロンは図43のシナプス結合
パターン80に示すように、自分の近くのニューロンとは
正の重みで、少し離れたニューロンとは負の重みでシナ
プス結合されている。このような内部相互結合によって
興奮信号がやりとりされた結果、ｆ層ではｄ層で興奮し
ている対象被写体の色との一致度が高いニューロンから
の信号を受けたニューロンのうち、所定の形状・大きさ
を持ち、しかも高い興奮強度すなわち、色の一致度を有
するニューロン群の領域が選択され発火し、孤立した領
域や色の一致度の低い領域のニューロンは発火しない。
すなわち、図43に示すｅ層において抽出された領域81，
82，83のうち、領域81の肌色との一致度が前述した色度
図において1.0 、領域82の一致度が0.9 、領域83の一致
度が0.2 であったとすると、領域83は、領域81および領
域82と比べて、肌色との一致度が小さいため、領域81お
よび領域82と領域83とが競合した際に抑制されて消され
てしまう。一方、領域81と領域82とは、肌色との一致度
は領域81の方が大きいため、領域81と領域82とが競合す
ることにより、領域82は消されてしまう。また、領域81
は肌色との一致度が大きいため、領域81内のニューロン
同士が協調し合い、より領域81におけるニューロンの興
奮状態は大きくなる。このため、ｅ″層において競合協
調がなされた結果、領域81のみが選択されることとな
る。

【０１２９】またここで、ｅ層における領域81，82，83
の肌色との一致度が全て同じであった場合は、シナプス
結合80の形状・大きさに最も適合する領域が選択され
る。例えば、シナプス結合80の正の重みの部分の形状と
大きさが、領域81の形状と大きさと略一致しているよう
な場合は、領域82，83は協調競合の結果、消去されてし
まい、領域81のみが選択されることとなる。

【０１３０】さらに、ｅ″層における領域81，82，83の
肌色との一致度が全て同じであり、かつ各領域の形状と
大きさが略一致しているような場合には、ｅ″層のニュ
ーロンに対して図44に示すような重みを加えておく。す
なわち、注目領域の半径の30〜40％程度の領域のニュー
ロンからの結合重みが最も大きくなるような重みＷを加
えておく。このような重みを加えることによって、図44
に示すような位置にある領域81，82，83のうち、重みの
最も大きい部分の近傍に存在する領域81のみが選択され
るのである。

【０１３１】次に、以上のようにして選択された対象被
写体の色と一致度が高いニューロン群の発火領域の成分
からの注目領域移動ベクトルの求め方について説明す
る。

【０１３２】図45は本発明の実施例によるニューラルネ
ットワークの図40におけるｆ″層、ｇ″層およびｉ″層
の部分を抽出し、より詳細に示した図である。

【０１３３】図45に示すように、各層間はシナプス結合
によって結合されている。ｆ″層は、ニューロンが２次
元状に整列した構造になっている。ｆ″層内で興奮して
いるニューロンの分布は、ｅ″層内のシナプス相互結合
によって選択された、対象被写体の色との一致度が高
く、しかも形状・大きさともに対象被写体として最も適
当である領域の成分に相当している。

【０１３４】ｆ″層から、方位と距離を検出するため
に、ｇ″層へと興奮信号が伝達される。ｇ″層は１次元
に配列されたニューロン層で、ｆ″層の同一方位にある
ニューロン群からの信号を受けるようにシナプス結合に
よって結合されている。この結果、ニューロン群85の方
位と距離に対応する、ｇ″層のニューロン86が興奮す
る。このニューロン86の方位と興奮の強さが方位と距離
を表すものである。

【０１３５】次に、このようにしてｇ″層において求め
られた方位と距離はｉ″層において合成されて注目領域
移動ベクトルが決定される。この注目領域移動ベクトル
の合成は極座標上で行っても実空間座標上で行ってもか
まわないものであり、図45では実空間座標上で合成した
場合を示す。ニューロン86からの興奮は、逆複素対数座
標変換されながらｉ″層に伝達される。ｉ″層では各方
位ベクトルの重心が求められ、これが合成された注目領
域移動ベクトルとして出力される。

【０１３６】ここで、前述した協調競合を行わないニュ
ーラルネットワークにより注目領域移動ベクトルを求め
る場合、複数のベクトルが検出されることがある。この
際、ｅ″層のニューロンに対して前述した図44に示すよ
うな重み、すなわち、注目領域中心点からの距離に応じ
た重みを加えるようにして、１つの注目領域移動ベクト
ルを選択すればよい。

【０１３７】また、協調競合を行っても複数の注目領域
移動ベクトルが検出された場合も、ｅ″層のニューロン
に図44に示すような重みを加えるようにして、１つのベ
クトルのみを選択すればよい。これにより、複数のベク
トルが検出されても、最も適切な対象被写体に向かう注
目領域移動ベクトルを検出でき、また１つの注目領域移
動ベクトルしか検出できなかった場合も、注目領域と対
象被写体との距離が大きければ、注目領域移動ベクトル
の大きさは小さくなる。

【０１３８】以下、上述した色に基づいて求められた注
目領域移動ベクトルがいかにして注目領域を対象被写体
の方向へと移動させるかについて説明する。

【０１３９】図46，47および48は注目領域の中心点が対
象被写体の外側から、対象被写体の内部に移動する状態
を複素対数座標と実空間座標とを対応させて表した図で
ある。

【０１４０】まず、図46に示すように、対象被写体71が
注目領域中心点Ｑを含まない場合、対象被写体71は１つ
のかたまりとして複素対数座標変換され、図46の複素対
数座標において、対象被写体の色との一致度が高い領域
として検出される。さらに、競合協調の相互結合回路網
であるｆ″層において対象被写体71′を絞り込むと、局
所的に対象被写体の色との一致度が高く、しかも適当な
大きさを有する被写体候補領域のみが唯一または複数選
択される（本実施例においては１つ）。次いで、選択さ
れた領域の方位と距離とから注目領域73の移動ベクトル
75が検出され出力される。この注目領域移動ベクトル75
は、対象被写体71に向いているので、注目領域移動ベク
トル75の値に応じて注目領域73を移動すれば、注目領域
中心点Ｑは対象被写体71に近づくことができる。

【０１４１】次に、図47に示すように、対象被写体71と
注目領域中心点Ｑとが、ある程度近づいて、注目領域71
内に対象被写体71が入っている場合、複素対数変換され
た対象被写体71′は、全ての方位に広がる、対象被写体
の色との一致度が高い領域として検出される。この状況
で、競合協調の相互結合回路網によって対象被写体71′
を絞り込むと、全方位に広がった同一候補の領域同士が
抑制し合い、結果として、対象被写体71′の外縁と注目
領域中心点Ｑとの距離が最大となっている方位のニュー
ロン群だけが興奮でき、このニューロン群を含む領域87
が検出される。次いで、その検出された領域87の方位と
興奮強度から方位と距離とが検出され、注目領域73の移
動ベクトル75が検出され出力される。この注目領域移動
ベクトル75は、対象被写体71の中心に向いているので、
注目領域移動ベクトル75の値に応じて注目領域73を移動
すれば、注目領域中心点Ｑは対象被写体71にさらに近づ
くことができる。

【０１４２】最後に、図48に示すように、対象被写体71
が注目領域中心点Ｑとほぼ同じ場所にまで近づいている
場合、複素対数変換された対象被写体71′は、全ての方
位に均等に広がる、対象被写体の色と略一致する領域と
して検出される。この状況で、競合協調の相互結合回路
網によって対象被写体71を絞り込むと、全方位に均等に
広がった同一候補の領域同士が競合し合い抑制し合うの
で、結果として、どの方位の領域も興奮できない。した
がって、次いで検出される方位と距離全て０になる。さ
らに同様に、注目領域73の移動ベクトルも長さ０にな
る。このように、注目領域移動ベクトルの値に応じて注
目領域73を移動すれば、注目領域中心点Ｑの対象被写体
71の中心における移動は停止する。

【０１４３】本実施例によるニューラルネットワークは
以上の動作を繰り返し、最終的に対象被写体の中心点に
注目領域中心点を移動する。

【０１４４】次いで上述した対象被写体の動きに基づい
て注目領域移動ベクトルを求めるニューラルネットワー
ク、対象被写体の輪郭線に基づいて注目領域移動ベクト
ルを求めるニューラルネットワークおよび対象被写体の
色に基づいて注目領域移動ベクトルを求めるニューラル
ネットワークの３つのニューラルネットワークにより求
められた３種類の注目領域移動ベクトルは、求めるべき
対象被写体に合わせて適切に合成され、最終的な注目領
域移動ベクトルが求められる。この最終的に求められた
注目領域移動ベクトルに基づいて注目領域は対象被写体
の方向に移動させられるのである。

【０１４５】本実施例によるニューラルネットワークは
以上の動作を繰り返し、最終的に対象被写体の中心点に
注目領域中心点を移動する。注目領域中心点が対象被写
体の中心点と一致すると、注目領域停止処理部４におい
て対象被写体が切り出されて（すなわち抽出され）、図
１に示す被写体認識を行うニューラルネットワークの学
習を行う第２のステップに引き渡される。

【０１４６】この対象被写体の切り出しであるが、本発
明のニューラルネットワークの学習方法においては、対
象被写体の大きさおよび対象被写体内に含まれる特徴部
分の位置に関係なく対象被写体を切り出すことが可能で
あるが、これでは、次の学習を行うステップに対して大
きな負担となる。そこで、対象被写体を切り出す際に
は、いかなる対象被写体をも略同じ大きさかつ特徴部分
の位置が略同一となるように対象被写体を正規化して切
り出すようにすれば、学習を行うステップの負担が小さ
くなり、演算時間の短縮にもつながる。

【０１４７】また、上述した実施例においては、物体す
なわち対象被写体の大きさに応じて、注目領域の大きさ
を変化させるようにしてもよい。例えば、上述したｅ１
層において検出された円環方向の輪郭線の、複素対数座
標上における放射方向の位置を検出することにより、注
目領域中心点から対象被写体の輪郭線までの距離を検出
し、この距離に応じて注目領域の大きさを変化させるよ
うにすればよい。

【０１４８】ここで、例えば図49に示すような人間88が
映し込まれた画像59から人間88を抽出する場合、最初に
注目領域中心点が置かれた地点をＱ₁とすると、注目領
域中心点Ｑ₁，Ｑ₂，Ｑ₃と次第に人間88に近づいてゆ
き、人間88の顔88a の中心点Ｑ₅において停止する。そ
して注目領域停止処理部４において顔88a が正規化され
て抽出され、判定部に引き渡される。この場合の顔88a
の正規化とは、大きな顔、小さな顔、長い顔等の様々な
形状の顔を圧縮や拡大することによって略同一の大きさ
の円形の顔にして、顔の特徴部分である眼や口の位置を
どの顔についても略同一の位置となるようにすることを
いう。

【０１４９】ここで、対象被写体の正規化の方法につい
て説明する。

【０１５０】まず、図５に示すニューラルネットワーク
のｆ１層の出力を重視した場合を説明する。この場合に
は対象被写体の中心点に視点が移動し停止する。ここ
で、対象被写体である人間の顔の中心位置へ、注目領域
の中心点が移動した場合、小さい顔170 および大きい顔
171 の輪郭線の複素対数座標上における画像はそれぞれ
図50(a) ，(b) に示すように注目領域中心点からの距離
がそれぞれＲ₁，Ｒ₂となる直線170 ′および171 ′と
なる。この距離Ｒ₁，Ｒ₂を略同一とすることによって
正規化を行っているが、以下、この正規化の方法につい
て説明する。

【０１５１】図51は、本発明の実施例による正規化の方
法を説明するための図である。

【０１５２】図51に示すように、円形の人間の顔の中心
位置へ注目領域の中心点が移動すると、ニューラルネッ
トワークのｆ１層において、注目領域中心点からの距離
が略一定となる円環方向のニューロン172 が興奮する。
そこで、ｆ１層における規則的に配列された放射方向に
並んだニューロンの列毎に、円環方向に並んだニューロ
ンの出力をシナプス結合173 によって加えると、出力が
加えられたニューロン174 における、注目領域中心点か
ら所定距離Ｒθにあるニューロン175 のみが出力を出す
ようになり、この所定距離Ｒθが人間の顔の中心位置か
ら輪郭線までの距離を表わすものとなる。この距離Ｒθ
を逆複素対数変換して、逆複素対数変換された距離ln^-1
Ｒθを一定値Ｌに正規化するような伸縮係数ｋ（＝Ｌ／
Ｒθ）を求め、実空間座標で対象被写体である人間の顔
を抽出する際に、伸縮係数ｋに応じていかなる大きさの
顔も略同一の大きさとなるように抽出してやればよい。

【０１５３】次に、人間の顔であっても長い顔等、人に
より顔の形状が異なる場合があるが、楕円形をした長い
顔176 の中心位置に注目領域の中心点が移動した場合、
この長い顔55の輪郭線の複素対数座標上における画像
は、図52に示すように、円環方向の角度毎に注目領域中
心点から輪郭線までの距離が異なる（最大値Ｒ₃，最小
値Ｒ₄）輪郭線176 ′となる。このような場合には、逆
複素対数変換された距離ln^-1Ｒ_θを一定値Ｌに正規化
するような伸縮係数ｋを円環方向の角度毎に求め、実空
間座標で、長い顔176 を抽出する際に、各角度毎の伸縮
係数ｋに応じて、抽出する顔が略同一形状かつ略同一の
大きさとなるようにして、抽出してやればよい。

【０１５４】次に、ｆ２層の出力を重視した場合につい
て説明する。この場合には、図53(a) に示すように対象
被写体177 の輪郭線の交点Ｔに注目領域中心点Ｏが移動
し、停止する。輪郭線の交点Ｔは対象被写体177 の一部
分であり、この部分を抽出するためには、対象被写体17
7 全体の大きさについての情報が必要である。そこで注
目領域停止処理部４は、一旦ｆ１層の出力を重視するよ
うに出力の合成のバランスを切り換えて、対象被写体17
7 の中心へ向かう注目領域移動ベクトルを求め、対象被
写体177 の中心位置の探索を開始する。

【０１５５】このときすでに注目領域中心点Ｏは対象被
写体177 の輪郭線の一部にあるので、対象被写体177 の
大きさが注目領域178 の中に納まるような大きさであれ
ば、この探索によって確実に対象被写体177 の中心位置
を求めることができる。

【０１５６】ところが、図53(a) に示すように対象被写
体177 の大きさが注目領域178 より大きい場合には対象
被写体177 の中心に向かう注目領域移動ベクトルの信号
が得られない。注目領域移動ベクトルの信号が正しく得
られているかどうかは、ｅ１層のニューロンの興奮状態
を調べることで知ることができる。すなわち、図53(a)
に示すように、ｅ１層に所定しきい値を超えて興奮する
ニューロンが存在しない場合には、対象被写体177 の全
体の大きさが注目領域178 よりも大きいと判断される。
この場合には、対象被写体177 全体を注目領域178 の内
部に捕えることが可能になるまで、ａ層で切り出す外界
の画像の領域、すなわち注目領域178 を拡大するような
信号をａ層に送ればよい。図53(b) に示すように対象被
写体177が、拡大された注目領域178 ′の内部に入って
くると、ｅ１層のニューロンが興奮し、対象被写体177
全体の中心に向かう正しい注目領域移動ベクトルが得ら
れ、図53(c) に示すように、ニューラルネットワークは
注目領域中心点Ｏを対象被写体全体の中心に移動するこ
とができる。

【０１５７】その後、前述した方法と同様にして、対象
被写体177 の大きさＲ₅を、中心点から円環方向の輪郭
線までの距離に基づき求める。しかる後に、先ほど発見
した輪郭線の交点Ｔへと、再び注目領域中心点Ｏを戻
し、その輪郭線の交点Ｔを中心にして、対象被写体177
全体の大きさに対しあらかじめ設定された比率の大きさ
の領域（ここでは半径 k・ln^-1Ｒ₅の領域、k は伸縮係
数）を抽出してやればよい。

【０１５８】以上のようにして、正規化されて抽出され
た対象被写体である顔の画像は、対象被写体が所定被写
体であるか否かを判定する判定部に引き渡される。

【０１５９】このようにして、本実施例の第１ステップ
において、様々な人間の顔が映し込まれた画像から、人
間の顔および人間の顔の特徴部分である目および口が抽
出される。抽出された目は、閉じた目、開いた目、半開
きの目が、また、口についても開いた口、閉じた口等、
抽出される人の顔により様々であるが、図２に示したネ
オコグニトロンのａ₁シナプス結合94においては、これ
らの特徴部分を分類して自己組織化を進めて学習を行う
ことができる。すなわち右目についてはシナプス結合94
Ａ、口についてはシナプス結合94Ｂ、左目についてはシ
ナプス結合94Ｃにおいて自己組識化学習がなされ、また
ａ₂シナプス結合97においては顔全体の目、口の位置関
係の学習がなされる。このように学習を行えば、本実施
例の第１ステップにおいて抽出された特徴部分が、その
分類の中に含まれるものであれば、今まであるその分類
の情報の中に、さらにその新しい特徴部分の情報を加え
てよりよいニューラルネットワークにすることができ、
一方、抽出された特徴部分がその分類に含まれないもの
であれば、ａ₁シナプス結合94の中にその特徴部分を担
当する新しい部分を作成して、さらに細分化されたａ₁
シナプス結合94となり、このニューラルネットワークの
能力をさらに向上させることが可能となる。

【０１６０】このようにして学習がなされたニューラル
ネットワークは、以下のように被写体の認識を行う。

【０１６１】まず、右目91が、抽出されたある被写体90
に存在するか否かを、ａ₁シナプス結合94の右目につい
て学習した部分94Ａでコンボリューション（シナプス結
合パターンとのマッチング）する。右目について学習し
た部分94Ａには、右目のうち閉じた目、開いた目、半分
閉じた目等の様々なパターンが学習されている。同様に
ａ₁シナプス結合94の口92について学習した部分94Ｂお
よび左目93について学習した部分94Ｃには様々なパター
ンの口92および左目93が学習されており、様々な顔の判
定を行う。このようなａ₁シナプス結合94によって被写
体90をコンボリューションした結果、被写体90に右目91
が存在することがわかると、Ｕ_S1層95の右目91に対応す
る細胞95Ａの右目に対応する部分95a が反応する。同様
に口92および左目93が被写体90に存在することがわかる
と、Ｕ_S1層95の口92に対応する細胞95Ｂの口に対応する
部分95b および左目93に対応する細胞95Ｃの左目に対応
する部分95c が反応する。このようにして、Ｕ_S1層95の
各細胞95Ａ〜95Ｃの部分95a 〜95c が反応することによ
って、それぞれ右目、口、および左目が存在することを
表わす反応出力がＵ_S1層95からＵ_C1層96へ出力される。

【０１６２】Ｕ_C1層96において、右目91、口92および左
目93のそれぞれに対応する細胞96Ａ〜96Ｃは、Ｕ_S1層95
の各細胞95Ａ〜95Ｃの部分95a 〜95c 内に１個でも反応
している細胞があれば、細胞96Ａ〜96Ｃも出力を出すよ
うなシナプス結合となっている。右目について考えると
入力層であるＵ_S1層95の細胞95Ａの部分95a 内に右目が
あるときにＵ_C1層96の右目に対応する細胞96Ａは反応出
力を出す。また、この反応出力はＵ_S1層95の細胞95Ａの
右目の部分95a の範囲よりも広い範囲96a で反応出力を
出すようになっている。口、左目についても右目の場合
と同様に反応出力を出す。つまり、入力パターンの位置
ずれにあまり影響されずに反応出力を出すのである。

【０１６３】Ｕ_C1層96の反応出力は次いで最終出力層で
あるＵ_S2層98入力されるが、Ｕ_S2層98の前にはａ₂シナ
プス結合97があり、右目用シナプス結合97Ａ、口用シナ
プス結合97Ｂおよび左目用シナプス結合97Ｃが右目、
口、左目の位置関係を合わせながらそれぞれ対応するＵ
_C1層96をコンボリューションする。このａ₂シナプス結
合97によってＵ_C1層96とＵ_S2層98は人間の顔の右目、口
および左目が、人間の顔と同じ位置に存在するときにだ
け、Ｕ_S2層98が反応するようなシナプス結合がなされて
いる。またａ₂シナプス結合97はＵ_C1層96に右目、口お
よび左目があるという条件を観測しているだけでなく、
それ以外の特徴物がＵ_C1層96に存在しないという条件も
同時に確認している。よって、Ｕ_C1層96に右目、口およ
び左目が所定の位置に存在する場合のみＵ_S2層98は反応
し、このＵ_S2層98が反応することによって、被写体90が
人間の顔であるという判定がなされる。逆に、Ｕ_C1層96
に右目、口および左目が存在しないかまたは、右目、口
および左目が所定位置に存在しない場合は、Ｕ_S2層98は
反応しないため、被写体90は人間の顔でないという判定
がなされる。

【０１６４】また、上記実施例においては、被写体の認
識を行うニューラルネットワークを人の顔の認識のため
に用いているが、認識は人の顔に限定されるものではな
く、いかなる所定被写体の認識にも用いることができ
る。この場合、判定にニューラルネットワークを用いて
認識を行う被写体に適した構成で学習を行えば、人の顔
の認識と同じように効率的に対象被写体が所定被写体で
あるか否かの認識を行うことができる。

【０１６５】また、上記実施例においては、本発明の第
１のステップである対象被写体の抽出を、ニューラルネ
ットワークを用いて、所定の大きさの注目領域の中心点
を対象被写体の位置へ移動させ、この注目領域の中心点
を基準として、対象被写体の大きさおよび／または形状
に応じて抽出領域を決定するようにしているが、対象被
写体の抽出を、画像全体のポテンシャン場のマップを作
成し、このマップ中のポテンシャルの極小点を基準とし
て、対象被写体の大きさおよび／または形状に応じて抽
出領域を決定するようにしてもよい。

【０１６６】ポテンシャル場は、前述したように人間の
眼の視点安定点の場であり、これを、前述した対象被写
体の抽出のためのニューラルネットワークで考えると、
ポテンシャル場は注目領域中心点の安定点の場とみなす
ことができる。すなわち、注目領域中心点の安定点であ
る対象被写体の中心においてはポテンシャル場は平坦で
あり、注目領域の移動が必要な不安定点においては、ポ
テンシャル場は傾いているとみなすことができる。この
場合、ポテンシャル場の傾きを表現しているものは、前
述した抽出のニューラルネットワークで用いられている
注目領域移動ベクトルの方向である。このため、与えら
れた画像の全面を前述したニューラルネットワークの注
目領域で走査しながら、画像上の各地点での注目領域移
動ベクトルをポテンシャル場の傾斜ベクトルとして画像
に記録していくことで、画像のポテンシャル場のマップ
を作成することができる。

【０１６７】図54は、上述のようにして求めた注目領域
移動ベクトルをポテンシャル場の傾斜ベクトルとし、こ
のポテンシャル場の傾斜ベクトルを、画像に記録するこ
とにより作成したポテンシャル場のマップを表す図であ
る。

【０１６８】画像104 には楕円105 ，三角形106 および
四角形107 が映し込まれている。この画像104 全体のポ
テンシャル場の傾斜ベクトルを、前述したニューラルネ
ットワークにより算出し、このポテンシャル場の傾斜ベ
クトルが求められた位置と対応する画像104 の各位置に
おいて画像104 に記録すると、ポテンシャル場のマップ
が得られる。図54において、ポテンシャル場の傾斜ベク
トルは、楕円105 ，三角形106 および四角形107 それぞ
れの中心点Ｐ₁，Ｐ₂およびＰ₃へと向っている。この
ポテンシャル場の傾斜ベクトルの方向をポテンシャル場
の傾きとみなせば、ポテンシャル場のマップは、楕円10
5 ，三角形106 および四角形107 それぞれの中心点
Ｐ₁，Ｐ₂およびＰ₃において極小点となる。

【０１６９】図55にポテンシャル場の傾きを表わすグラ
フを示す。図55は、図54における画像104 を注目領域73
で走査し、注目領域37の中心点Ｎのポテンシャル場の傾
斜ベクトル75が四角形107 の中心点Ｐ₃に向っている様
子を示している。

【０１７０】図55の上半分のグラフ108 は前述のように
してポテンシャル場の傾きを求め、画像104 のI-I 線で
ポテンシャル場の断面をとりポテンシャル場の２次元グ
ラフとして表わしたものである。

【０１７１】グラフ108 には３つの極小点Ｐ₁′，
Ｐ₂′およびＰ₃′があり、それぞれが画像104 におけ
る楕円105 の中心点Ｐ₁、三角形106 の中心点Ｐ₂およ
び四角形107 の中心点Ｐ₃と対応している。また、グラ
フ108 の点Ｎ′は画像104 の注目領域73の中心点Ｎと対
応している。このように画像104 全体のポテンシャル場
の傾きを求めてポテンシャルマップを作成すれば、場の
極小点すなわち学習する対象被写体の中心点を求めるこ
とができ、この極小点を基準として学習する対象被写体
の大きさおよび／または形状に応じてこの対象被写体を
抽出してやれば、極めて効率的な学習する対象被写体の
抽出を行うことが可能である。

【０１７２】このようにして抽出した対象被写体を前述
した本発明の実施例と同様に被写体認識のニューラルネ
ットワークの学習に用いれば、様々な顔を分類して、容
易に効率良く学習を行うことが可能となる。

【０１７３】次に、本発明によるニューラルネットワー
クの学習方法の第１のステップである対象被写体を抽出
する方法の第２実施例について説明する。

【０１７４】本発明によるニューラルネットワークの学
習方法の第１のステップの第２実施例は、対象被写体の
動きに基づいて、注目領域移動ベクトルを求める実施例
においては、抽出された背景とは異なる動きをする対象
被写体の輪郭線を、対象被写体の輪郭線の傾きおよび対
象被写体の色に基づいて注目領域移動ベクトルを求める
実施例においては、時刻ｔにおける所定の大きさの注目
領域の範囲で切り出した画像を、複素対数座標変換しな
いで、実空間座標状のニューロン配列をしたニューラル
ネットワークを用いて注目領域移動ベクトルを求めるも
のである。

【０１７５】図56は本発明の第１ステップの第２実施例
による対象被写体の中心に注目領域中心点を移動させる
ことによって対象被写体の抽出を行うニューラルネット
ワークの１例を表わす図である。まず、対象被写体の動
きに基づいて注目領域移動ベクトルを求める実施例にお
いて求められた、背景とは異なる動きをする対象被写体
の輪郭線および対象被写体の輪郭線に基づいて注目領域
移動ベクトルを求めるために、注目領域の範囲の画像を
入力するニューラルネットワークについて説明する。本
発明の第２実施例のニューラルネットワークは、与えら
れた画像110 から所定の大きさの注目領域の範囲に画像
を切り出す（対象被写体の動きに基づいて注目領域移動
ベクトルを求める場合は、図37に示すような背景とは異
なる動きをする対象被写体の輪郭線の画像42）入力層12
0 、切り出した画像（または入力された画像）から対象
被写体の円弧状の輪郭線を検出する輪郭線検出層121 、
切り出した画像から対象被写体の放射状の輪郭線を検出
する輪郭線検出層121 ′、放射状の輪郭線の端点を検出
する端点検出層122 、連続する円弧状の輪郭線を選択す
る相互結合層123 、連続する放射状の輪郭線を選択する
相互結合層123 ′、選択された円弧状の輪郭線から注目
領域中心点を囲む同心円の円周方向に対して所定角度傾
いた輪郭線の成分を全て抽出する傾き成分抽出層124 、
選択された放射状の輪郭線から注目領域中心点を囲む同
心円の円周方向に対して所定角度傾いた輪郭線の成分を
全て抽出する傾き成分抽出層124 ′、抽出された円弧状
の輪郭線の傾き成分から対象被写体の注目領域中心点を
囲む同心円の円周方向に対する方位ベクトルである方位
と強度とを検出する方位ベクトル検出層125 、抽出され
た放射状の輪郭線の傾き成分から対象被写体の注目領域
中心点を囲む同心円の円周方向に対する方位ベクトルで
ある方位と強度とを検出する方位ベクトル検出層125
′、検出された円弧状の輪郭線の成分の方位と強度と
から方位ベクトルを合成する方位ベクトル合成層126 、
検出された放射状の輪郭線の成分の方位と強度とから方
位ベクトルを合成する方位ベクトル合成層126 ′および
合成された各方位ベクトルから注目領域移動ベクトルを
決定する注目領域移動ベクトル出力層127 のニューロン
層からなる。すなわち入力層120 は図５または図39にお
ける複素対数座標で注目領域移動ベクトルを求めるニュ
ーラルネットワークのａ，ａ′層と、輪郭線検出層121
，121 ′はｃ１，ｃ１′層，ｃ２，ｃ２′層と、端点
検出層122 はｄ，ｄ′層と、相互結合層123 ，123 ′は
ｅ１，ｅ１′層，ｅ２，ｅ２′層と、傾き成分抽出層12
4 ，124 ′はｆ１，ｆ１′層，ｆ２，ｆ２′層と、方位
ベクトル検出層125 ，125 ′はｇ１，ｇ１′層，ｇ２，
ｇ２′層と、方位ベクトル合成層126 ，126 ′はｈ１，
ｈ１′層，ｈ２，ｈ２′層と、そして注目領域移動ベク
トル出力層127 はｉ，ｉ′層とそれぞれ対応している。

【０１７６】まず入力層120 において、所定の大きさの
注目領域の範囲の画像が切り出されて外界から取り込ま
れる（または、図37に示す画像42が入力される）。入力
層120 において取り込まれた画像は輪郭線検出層121 ，
121 ′において円弧状および放射状の輪郭線が検出され
る。円弧状および放射状の輪郭線が検出されると、次い
で端点検出層122 においては、放射状の輪郭線が検出さ
れた輪郭線検出層122′の画像から、ある対象被写体が
手前に存在する別の物体に遮ぎられた場合にその境界で
発生する放射状の輪郭線の端点を抽出する。次いで相互
結合層123 ，123 ′において連続する円弧状および放射
状の輪郭線が選択される。次に傾き成分抽出層124 ，12
4 ′において、選択された輪郭線から注目領域中心点を
囲む同心円の円周方向に対して所定角度傾いた輪郭線の
成分が全て抽出される。

【０１７７】ここで、相互結合層123 から傾き成分抽出
層124 へのシナプス結合の重みは傾き成分抽出層124aお
よび124bにおいてそれぞれ図57(a) および(b) に示すよ
うになっており、図57(a) の輪郭線検出シナプス結合13
0 は注目領域中心点を取り囲む同心円群の円周方向に対
して右上りに、図57(b) の輪郭線検出シナプス結合131
は左上がりにそれぞれ一定角度α，−α傾いており、か
つそのシナプス結合のサイズは、注目領域中心点に近い
ほど結合範囲が狭くなるようなシナプス結合群130 ，13
1 となっている。そして、このシナプス結合群により、
対象被写体の円弧状の輪郭線が注目領域の中心点を中心
とする円周に沿った方向に対して所定の角度傾いた部分
を検出するものである。例えば図58に示すような位置に
円形の対象被写体132 が存在する場合には、相互結合層
123 で選択された対象被写体の輪郭線132 のうち、右上
がりの傾き成分がシナプス結合群130 の中のシナプス結
合130aにより検出され、左上がりの傾き成分がシナプス
結合群131 の中のシナプス結合131aにより検出される。
このようにして検出された各傾き成分の方位と強度のう
ち右上がりの傾き成分の方位と強度が方位ベクトル検出
層125aにおいて、左上がりの傾き成分の方位と強度が方
位ベクトル検出層125bにおいてそれぞれ検出される。次
いで方位ベクトル合成層126 において、方位ベクトル検
出層125a，125bにおいて検出された方位と強度とから方
位ベクトルが合成される。このようにして合成された方
位ベクトルは注目領域移動ベクトル出力層127 へと伝達
され、注目領域移動ベクトルとして出力される。

【０１７８】一方、相互結合層123 ′から傾き成分抽出
層124 ′へのシナプス結合の重みは傾き成分抽出層124
a′および124b′についてそれぞれ図59(a) および(b)
に示すようになっており、図59(a) の輪郭線検出シナプ
ス結合130 ′は注目領域中心点を取り囲む同心円群の円
周方向に対して左上りに、図59(b) の輪郭線検出シナプ
ス結合121 ′は右上がりにそれぞれ一定角度α′，−
α′傾いておりかつそのシナプス結合のサイズは、注目
領域中心点に近いほど結合範囲が狭くなるようなシナプ
ス結合群130 ′，131 ′となっている。そして、このシ
ナプス結合群により、対象被写体の放射状の輪郭線が注
目領域の中心点を中心とする円周に沿った方向に対して
所定の角度傾いた部分を検出するものである。例えば図
60に示すような位置に対象被写体132 ′の輪郭線の交点
が存在する場合には、相互結合層123′で選択された対
象被写体の輪郭線132 ′のうち、左上がりの傾き成分が
シナプス結合群130 ′の中のシナプス結合130a′により
検出され、右上がりの傾き成分がシナプス結合群131 ′
の中のシナプス結合131a′により検出される。このよう
にして検出された各傾き成分の方位と強度のうち左上が
りの傾き成分の方位と強度が方位ベクトル検出層125a′
において、右上がりの傾き成分の方位と強度が方位ベク
トル検出層125b′においてそれぞれ検出される。次いで
方位ベクトル合成層126 ′において、方位ベクトル検出
層125a′，125b′において検出された方位と強度とから
方位ベクトルが合成される。このようにして合成された
方位ベクトルは注目領域移動ベクトル出力層127 へと伝
達され、注目領域移動ベクトルとして出力される。

【０１７９】このようにして方位ベクトル合成層126 ，
126 ′において合成された注目領域移動ベクトルは注目
領域中心点が置かれた情況によりそれぞれ異なるもので
あるが、前述した本発明によるニューラルネットワーク
の学習方法の第１ステップの第１実施例と同様に、注目
領域移動ベクトル出力層127 において２種類の注目領域
移動ベクトルの出力をバランス良く利用することによ
り、いかなる情況においても所定の位置に注目領域を移
動することが可能となる。

【０１８０】また、動きに基づく注目領域移動ベクトル
および輪郭線の傾きに基づく注目領域移動ベクトルの算
出と並行して、対象被写体の色に基づく注目領域移動ベ
クトルの算出も行われる。

【０１８１】図61は本発明の実施例による対象被写体の
中心に注目領域中心点を移動させることによって対象被
写体の抽出を行うニューラルネットワークの１例を表わ
す図である。図61に示すニューラルネットワークは、与
えられた画像140 から所定の大きさの注目領域の範囲に
画像を切り出す入力層150 、切り出した画像から対象被
写体の色と略一致する領域のニューロンを抽出し、この
領域と対象被写体の色との一致度を検出するニューラル
ネットワーク層151 ，152 ，153 、所定の大きさと強度
をもつ色領域を選択する相互結合層154 、選択された色
領域の方位と距離とを検出する方位ベクトル検出層155
、その方位と距離とから注目領域の移動ベクトルが出
力する注目領域移動ベクトル出力層156 のニューロン層
からなる。

【０１８２】すなわち入力層150 は図40における複素対
数座標で注目領域移動ベクトルを求めるニューラルネッ
トワークのａ″層と、ニューラルネットワーク層151 ，
152,153 はｃ″，ｄ″，ｅ″層と、相互結合層154 は
ｆ″層と、方位ベクトル検出層155 はｇ″層と、注目領
域移動ベクトル出力層156 はｉ″層とそれぞれ対応して
いる。

【０１８３】まず入力層150 において、所定の大きさの
注目領域の範囲の画像が切り出されて外界から取り込ま
れる。入力層150 において取り込まれた画像は、ニュー
ラルネットワーク層151 ，152 ，153 において、対象被
写体の色と略一致する色の領域が抽出され、この領域と
対象被写体の色との一致度が検出される。対象被写体の
色との一致度が検出されると、次いで相互結合層154 に
おいて対象被写体の色との一致度が高い領域のニューロ
ン群が選択される。次に選択された対象被写体の色との
一致度が高い領域のうち、形状・大きさともに対象被写
体として最も適当であるとして選択された領域のニュー
ロン群の成分が抽出される。

【０１８４】ここで、相互結合層154 の内部の、所定の
大きさと強度をもつ色領域を選択する相互結合のシナプ
ス結合の重みは、図62に示すようになっており、図62の
対象被写体と色の一致度が高いニューロン群検出シナプ
ス結合160 は、注目領域中心点に近いほど結合範囲が狭
くなるようなシナプス結合群160 となっている。そし
て、このシナプス結合群により、対象被写体と色の一致
度が高いニューロン群を検出するものである。次いで、
方位ベクトル検出層155 において検出された方位と距離
とが検出され注目領域移動ベクトル出力層156 へと伝達
され、注目領域移動ベクトルとして出力される。

【０１８５】次いで上述した対象被写体の輪郭線に基づ
いて注目領域移動ベクトルを求めるニューラルネットワ
ーク、対象被写体の動きに基づいて注目領域移動ベクト
ルを求めるニューラルネットワークおよび対象被写体の
色に基づいて注目領域移動ベクトルを求めるニューラル
ネットワークの３つのニューラルネットワークにより求
められた３種類の注目領域移動ベクトルは、求めるべき
対象被写体に合わせて適切に合成され、最終的な注目領
域移動ベクトルが求められる。この最終的に求められた
注目領域移動ベクトルに基づいて注目領域は対象被写体
の方向に移動させられるのである。

【０１８６】上述したように、注目領域が移動されて、
対象被写体の中心位置まで到達すると、前述した本発明
の実施例と同様に対象被写体を正規化して切り出して、
学習を行うステップに送り、ニューラルネットワークの
学習がなされる。

【０１８７】なお、上述した本発明による第１ステップ
の、実空間座標において注目領域移動ベクトルを求める
実施例により求められた注目領域移動ベクトルをポテン
シャル場の傾斜ベクトルとして、画像のポテンシャル場
のマップを作成し、このマップより対象被写体の抽出を
行うようにしてもよい。

【０１８８】本実施例においては人間の顔の特徴部分を
ニューラルネットワークが自ら自己組識化を進めて学習
を行うようにしているが、特徴部分の抽出のみを自動的
に行って、学習は人間がその特徴部分が何であるかをニ
ューラルネットワークに教えてやることにより行っても
よい。

【０１８９】また、上述した実施例においては、学習す
る対象被写体の抽出にニューラルネットワークを用いて
いるが、とくにニューラルネットワークを用いる必要は
なく、いかなる手法を用いてもよいことはもちろんであ
る。

【０１９０】さらに、本実施例においては、本発明のニ
ューラルネットワークの学習方法によって学習がなされ
るニューラルネットワークにネオコグニトロンを用いて
いるが、とくにネオコグニトロンに限定されるものでは
なく、コグニトロンやパーセプトロンを用いるようにし
てもよい。

【０１９１】また、上記実施例においては、本発明のニ
ューラルネットワークの学習方法を人の顔であるか否か
の判定による認識のためのニューラルネットワークに用
いているが、認識は人の顔に限定されるものではなく、
いかなる学習する対象被写体の認識にも用いることがで
きる。この場合、学習する対象被写体の抽出にもニュー
ラルネットワークを用いて認識を行う被写体に適した構
成で学習を行えば、人の顔を認識するニューラルネット
ワークの場合と同じように効率的にニューラルネットワ
ークの学習を行うことができる。

【０１９２】さらに、上記実施例においては、本発明の
ニューラルネットワークの学習方法を人の顔であるか否
かを判定することによって認識を行うニューラルネット
ワークの学習に用いているが、学習されるニューラルネ
ットワークは判定を行うニューラルネットワークに限ら
れるものではなく、例えば与えられた被写体が何である
か認識するためのニューラルネットワークでも良いこと
はもちろんである。この場合、認識をする被写体に合っ
た被写体を画像から抽出して、ニューラルネットワーク
に学習させれば、判定の場合と同様に効率的な学習を行
うことができる。

【０１９３】また、上述した対象被写体の動きに基づい
て注目領域移動ベクトルを求める実施例においては、画
像の上下左右方向の動きを検出する際には実空間座標上
で、放射方向と面内回転方向の動きを検出する際には、
画像を複素対数座標変換してから検出を行っているが、
画像の動きを検出する際には、とくに複素対数座標変換
する必要はなく、実空間座標上で行ってもかまわないも
のである。また、画像の上下左右方向の動きを検出する
際に、複素対数座標変換して検出を行うようにしてもよ
い。また、上述した対象被写体の動きに基づいて注目領
域移動ベクトルを求める実施例においては、画像の上下
左右方向、面内回転方向および放射方向の３種の動きを
検出するようにしているが、とくに画像の動きが一定の
場合（例えば上下左右方向の動きのみ）は、１種の動き
（例えば上下左右方向のみ）を検出するようにしてもよ
い。

【０１９４】また、上記実施例においては、画像からの
注目領域の範囲の画像の切り出しから注目領域の移動ま
での全てのステップにニューラルネットワークを用いて
いるが、とくに全てのステップに用いる必要はなく、被
写体抽出の少なくとも１つのステップに用いればよい。
また、対象被写体の切り出しをニューラルネットワーク
を用いて行うようにしてもよいことはもちろんである。

【０１９５】また、上記実施例においては、本発明のニ
ューラルネットワークの学習方法のうちの抽出のステッ
プを人の顔またはヨットの抽出のために用いているが、
抽出はこれらに限定されるものではなく、いかなる対象
被写体の抽出にも用いることができる。この場合、抽出
にニューラルネットワークを用いて、抽出を行う被写体
に適した構成で学習を行えば、人の顔またはヨットの抽
出と同じように効率的に抽出を行うことができる。

【０１９６】さらに、上述した実施例においては、対象
被写体の動き、輪郭線および色の３種類の特徴に基づい
て求められた３種類の注目領域移動ベクトルを合成して
最終的な注目領域移動ベクトルを求めるようにしている
が、とくにこれには限定されず、対象被写体の輪郭線と
色とから、対象被写体の輪郭線と動きとから、または対
象被写体の動きと色とから注目領域移動ベクトルを求め
るようにしてもよい。さらに、対象被写体の動き、輪郭
線、色のうち任意の１のみに基づいて注目領域移動ベク
トルを求めるようにしてもよい。

【０１９７】

【発明の効果】以上詳細に説明したように、本発明によ
るニューラルネットワークの学習装置は、画像から適切
にかつ正規化して学習する対象被写体を抽出し、この抽
出された対象被写体をニューラルネットワークの学習に
用いているため、このニューラルネットワークの学習の
混乱を起こすことなく効率的かつ容易に学習を行うこと
ができ、このニューラルネットワークを用いたシステム
の能力を向上させることが可能となる。

【０１９８】また、本発明によるニューラルネットワー
クの学習装置は、対象被写体という注目領域内の限定さ
れた領域のみを、抽出および判定のための演算対象とす
ることができるため、画像サイズがいかに大きくなろう
とも演算規模の巨大化を防止することができる。

【０１９９】また、対象被写体の動きに基づいて注目領
域移動ベクトルを求めるニューラルネットワークの学習
装置は、カメラ等の画像入力器自身が動くようなシステ
ムにおいて、画像に含まれる背景とは異なる動きをする
物体へ注目領域を移動させることができ、さらには、こ
の物体を抽出することが可能となる。また、画像から効
率良く対象被写体を抽出することができるため、判別や
学習等の抽出の次のステップへの負担が著しく軽減さ
れ、演算時間を短縮でき、本発明を用いたシステムの能
力を向上させることが可能となる。

【図面の簡単な説明】

【図１】本発明によるニューラルネットワークの学習方
法の基本的概念を示すブロック図

【図２】本発明によるニューラルネットワークの学習方
法を用いて学習がなされる所定被写体であるか否かの判
定を行うニューラルネットワークの一実施例を表す図

【図３】本発明によるニューラルネットワークの学習方
法のフローチャートを表す図

【図４】人間の視点が図形のどの部分において安定する
かを説明するための図

【図５】本発明の対象被写体の輪郭線に基づいて注目領
域移動ベクトルを算出する実施例による対象被写体の抽
出を行うニューラルネットワークの一例を表す図

【図６】様々な図形が複素対数座標変換された結果を示
す図

【図７】円環方向の輪郭線から円環方向に対してある一
定角度傾いた成分が抽出される状態を表わす図

【図８】放射方向の輪郭線から円環方向に対してある一
定角度傾いた成分が抽出される状態を表わす図

【図９】本発明の第１実施例によるニューラルネットワ
ークの図４におけるｅ１層、ｆ１層、ｇ１層、ｈ１層お
よびｉ１層部分を抽出した図

【図１０】ニューロンの出力に加える重み付けを表わす
図

【図１１】注目領域が対象被写体の中心点へ移動する状
態を複素対数座標と実空間座標とを対応させて表した図

【図１２】注目領域が対象被写体の輪郭線の交点へ移動
する状態を複素対数座標と実空間座標とを対応させて表
した図

【図１３】注目領域の中心点が対象被写体の内側から輪
郭線の交線に向かう場合の注目領域の移動方向の決定方
法を表わす図

【図１４】位相シフトを加えることによって注目領域の
移動方向を決定する方法を表わす図

【図１５】本発明によるニューラルネットワークの学習
方法の第１のステップである対象被写体の抽出を行う実
施例の基本的概念を示すブロック図

【図１６】本発明によるニューラルネットワークの学習
方法の第１のステップである対象被写体の色に基づいて
対象被写体の抽出を行うニューラルネットワークにおけ
る画像の背景の動きを検出する部分を表わす図

【図１７】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図

【図１８】輪郭線抽出シナプス結合を表す図

【図１９】時刻ｔおよび時刻ｔ＋αにおける画像の輪郭
線を表す図

【図２０】時刻ｔおよび時刻ｔ＋αにおける画像の輪郭
線の差分を表す図

【図２１】下から上方向への動き成分抽出シナプス結合
と右から左への動き成分抽出シナプス結合を表す図

【図２２】輪郭線の平行方向の動き成分が抽出された画
像を表す図

【図２３】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図

【図２４】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像を表す図

【図２５】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線を表す図

【図２６】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線の差分を表す図

【図２７】拡大方向成分抽出シナプス結合と縮小方向成
分抽出シナプス結合を表す図

【図２８】輪郭線の放射方向の動き成分が抽出された画
像を表す図

【図２９】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図

【図３０】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像を表す図

【図３１】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線を表す図

【図３２】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線の差分を表す図

【図３３】右回転方向成分抽出シナプス結合と左回転方
向成分抽出シナプス結合を表す図

【図３４】輪郭線の回転方向の動き成分が抽出された画
像を表す図

【図３５】画像の背景の動きをキャンセルするためのフ
ローチャートを表す図

【図３６】背景の動きがキャンセルされた時刻ｔと時刻
ｔ＋αにおける画像を表す図

【図３７】背景の動きがキャンセルされた画像を表す図

【図３８】対象被写体の抽出の基本的概念を表す図

【図３９】対象被写体の動きに基づいて注目領域移動ベ
クトルを求めるためのニューラルネットワークの一構成
を表す図

【図４０】本発明の実施例による対象被写体の色に基づ
いて対象被写体の抽出を行うニューラルネットワークの
一例を表わす図

【図４１】様々な図形が複素対数座標変換された結果を
示す図

【図４２】色の一致度を検出するニューラルネットワー
クを表す図

【図４３】色の一致度の高い領域が選択されるような競
合協調の局所相互重み結合を表わす図

【図４４】ニューロンの出力に加える重み付けを表す図

【図４５】本発明の第１実施例によるニューラルネット
ワークの図３５におけるｅ層、ｇ層およびｉ層部分を抽
出した図

【図４６】注目領域が対象被写体の中心点へ移動する状
態を複素対数座標と実空間座標とを対応させて表した第
１の図

【図４７】注目領域が対象被写体の中心点へ移動する状
態を複素対数座標と実空間座標とを対応させて表した第
２の図

【図４８】注目領域が対象被写体の中心点へ移動する状
態を複素対数座標と実空間座標とを対応させて表した第
３の図

【図４９】人間が映し込まれた画像上を注目領域中心点
が移動する状態を表わす図

【図５０】大きな顔および小さい顔が複素対数座標変換
された状態を表わす図

【図５１】本発明の実施例による対象被写体の正規化の
方法を説明するための図

【図５２】長い顔が複素対数座標変換された状態を表わ
す図

【図５３】本発明の実施例による対象被写体の輪郭線の
交点で注目領域が停止した場合の対象被写体の抽出を説
明するための図

【図５４】楕円，三角形，および四角形が映し込まれた
画像のポテンシャル場のマップを表わす図

【図５５】ポテンシャル場の傾きを表わす図

【図５６】本発明の第１ステップの第２実施例による注
目領域中心点を対象被写体の中心へ移動させることによ
って対象被写体の抽出を行うニューラルネットワークの
１例を表わす図

【図５７】本発明の第１ステップの第２実施例によるニ
ューラルネットワークの各層のシナプス結合の重みを表
わす図

【図５８】本発明の第１ステップの第２実施例により、
注目領域中心点と対象被写体の偏心度が検出される状態
を表わす図

【図５９】本発明の第１ステップの第２実施例による注
目領域中心点を対象被写体の輪郭線の交線へ移動させる
ニューラルネットワークの各層のシナプス結合の重みを
表わす図

【図６０】本発明の第１ステップの第２実施例の注目領
域中心点を対象被写体の輪郭線の交線へ移動させること
により注目領域中心点と対象被写体の偏心度が検出され
る状態を表わす図

【図６１】本発明の第２実施例による注目領域中心点を
対象被写体の中心へ移動させることによって対象被写体
の抽出を行うニューラルネットワークの１例を表わす図

【図６２】本発明の第２実施例による注目領域中心点を
対象被写体の色と略一致する領域へ移動させるニューラ
ルネットワークの各層のシナプス結合の重みを表わす図

【図６３】色度図を表す図

【符号の説明】

３探索ニューラルネット部４注目領域停止処理部 11Ａ，11Ｂ，11Ｃ時刻ｔにおける画像 12 輪郭線抽出シナプス結合 14，24，34 時刻ｔにおける画像と時刻ｔ＋αにおけ
る画像の差分を表す画像 42 背景の動きがキャンセルされた画像 71，76 対象被写体 74，74′，77，77′ 方位ベクトル 75，78 注目領域移動ベクトル 60 対象被写体の輪郭線のうち円環方向に連続性の高
い成分 61，64，65，66，85，86 ニューロン 62，63 シナプス結合 73 注目領域 88 人間 89 画像 90 対象被写体 91 右目 92 口 93 左目 94 ａ₁シナプス結合 95 Ｕ_S1層 96 Ｕ_C1層 97 ａ₂シナプス結合 98 Ｕ_S2層 105 楕円 106 三角形 107 四角形 108 ポテンシャル場の傾きを表わすグラフＱ注目領域中心点Ｏ所定被写体の中心点Ｐ₁，Ｐ₂，Ｐ₃ 対象被写体の中心点Ｐ₁′，Ｐ₂′，Ｐ₃′ ポテンシャル場の極小点

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号特願平3−323344 (32)優先日平成３年12月６日(1991．12．6) (33)優先権主張国日本（ＪＰ） (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/18 G06G 7/60 G06T 7/00

Claims

(57)【特許請求の範囲】

【請求項１】画像から学習する対象被写体を抽出する
手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、所定の大きさの注目
領域の中心点を前記対象被写体の位置へ移動させ、前記
注目領域の中心点を基準として、前記対象被写体の大き
さおよび／または形状に応じて抽出領域を決定する手段
であることを特徴とするニューラルネットワークの学習
装置。
【請求項２】画像から学習する対象被写体を抽出する
手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記対象被写体の所定方向の輪
郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた前記輪郭線の成
分を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、該各方位ベクトルを注目領域移動ベクトルとして合成す
る手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記対象
被写体の大きさおよび／または形状に応じて抽出領域を
決定する手段とを備えたことを特徴とするニューラルネ
ットワークの学習装置。
【請求項３】前記輪郭線を検出する手段は、前記対象
被写体の所定方向の輪郭線の検出を、前記切り出された
画像を前記注目領域の中心点を極として複素対数座標変
換した後に行う手段であり、前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項２記載のニューラルネットワークの
学習装置。
【請求項４】画像から学習する対象被写体を抽出する
手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記対象被写体の色と略一致す
る色の領域を抽出する手段と、該抽出された領域の、注目領域の中心点を基準とした方
位と距離とを検出する手段と、該方位と距離とを注目領域移動ベクトルとして検出する
手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記対象
被写体の大きさおよび／または形状に応じて抽出領域を
決定する手段とを備えたことを特徴とするニューラルネ
ットワークの学習装置。
【請求項５】前記色の領域を抽出する手段、前記方位
と距離とを検出する手段、前記注目領域移動ベクトルを
検出する手段のうち少なくとも１つの手段は、前記領域
の抽出、前記方位と距離との検出、前記注目領域移動ベ
クトルの検出を前記注目領域の中心点を極とした複素対
数座標上で行う手段であることを特徴とする請求項４記
載のニューラルネットワークの学習装置。
【請求項６】画像から学習する対象被写体を抽出する
手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記画像に、所定の大きさを有する注目領域を設定し、
所定の時間差を有する複数の時刻における前記注目領域
の範囲の画像を切り出し、該切り出された複数の画像に
ついて該各画像中に存在する被写体の輪郭線を検出し、
該輪郭線が検出された前記各画像間の差分を算出し、該
算出された差分に基づいて前記注目領域内での面内平行
方向の前記画像の動きを検出する手段と、前記切り出された前記各画像中に存在する前記注目領域
の中心点を中心とする被写体の放射方向の輪郭線を検出
し、該放射方向の輪郭線が検出された前記各画像間の差
分を算出し、該算出された差分に基づいて前記注目領域
内での面内回転方向の前記画像の動きを検出する手段
と、前記切り出された前記各画像中に存在する被写体の円環
方向の輪郭線を検出し、該円環方向の輪郭線が検出され
た前記各画像間の差分を算出し、該算出された差分に基
づいて前記注目領域内での放射方向の前記画像の動きを
検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記背景の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、該各方位ベクトルを注目領域移動ベクトルとして合成す
る手段と、該注目領域移動ベクトルに基づいて、前記物体が存在す
る方向へ前記注目領域の中心点を移動させる手段と、該移動された注目領域の中心点を基準として、前記物体
の大きさおよび／または形状に応じて前記画像から背景
に対して動きのある対象被写体を抽出するための抽出領
域を決定する手段とを備えたことを特徴とするニューラ
ルネットワークの学習装置。
【請求項７】前記面内回転方向の前記画像の動きを検
出する手段および／または前記放射方向の前記画像の動
きを検出する手段は、前記画像中に存在する前記注目領
域の中心点を中心とする被写体の放射方向の輪郭線の検
出および／または円環方向の輪郭線の検出を、前記切り
出された画像を前記注目領域の中心点を極として複素対
数座標変換した後に行う手段であることを特徴とする請
求項６記載のニューラルネットワークの学習装置。
【請求項８】前記輪郭線を検出する手段は、前記物体
の輪郭線の検出を、前記背景の動きの成分が補償された
前記複数の画像間の差分を示す画像を前記注目領域の中
心点を極として複素対数座標変換した後に行う手段であ
り、前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項６または７記載のニューラルネット
ワークの学習装置。
【請求項９】画像から学習する対象被写体を抽出する
手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は前記画像から所定の大
きさを有する注目領域の範囲の第１の画像を切り出す手
段と、該切り出された第１の画像に含まれる物体の輪郭線を検
出する手段と、所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、該切り出された第２の画像に含まれる物体の輪郭線を検
出する手段と、前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、該算出された差分に基づいて前記背景の動きを検出する
手段と、該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、該物体を前記対象被写体と認識する手段と、前記注目領域の中心点が該対象被写体に向う方向を検出
する手段と、該方向に基づいて前記注目領域の中心点を移動させる手
段と該移動された注目領域の中心点を基準として、前記
対象被写体の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とするニューラ
ルネットワークの学習装置。
【請求項１０】画像から学習する対象被写体を抽出す
る手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記対象被写体の所定方向の輪
郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された画像から前記対象被写体の色と略一致
する色の領域を抽出する手段と、該抽出された領域の前記注目領域中心点を基準とした方
位と距離とを検出する手段と、該方位と距離とを第２の移動ベクトルとして検出する手
段と、前記第１および第２の各移動ベクトルを注目領域移動ベ
クトルとして合成する手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記対象
被写体の大きさおよび／または形状に応じて抽出領域を
決定する手段とを備えたことを特徴とするニューラルネ
ットワークの学習装置。
【請求項１１】動きのある画像から学習する対象被写
体を抽出する手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記対象被写体の所定方向の輪郭線
を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記第１および第２の各移動ベクトルを注目領域移動ベ
クトルとして合成する手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記対象
被写体の大きさおよび／または形状に応じて抽出領域を
決定する手段とを備えたことを特徴とするニューラルネ
ットワークの学習装置。
【請求項１２】動きのある画像から学習する対象被写
体を抽出する手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記対象被写体の所定方向の輪郭線
を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記切り出された複数の画像の１つから前記対象被写体
の色と略一致する色の領域を抽出する手段と、該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とを第３の移動ベクトルとして検出する手
段と、前記第１、第２および第３の各移動ベクトルを注目領域
移動ベクトルとして合成する手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記対象
被写体の大きさおよび／または形状に応じて抽出領域を
決定する手段とを備えたことを特徴とするニューラルネ
ットワーク学習装置。
【請求項１３】画像から学習する対象被写体を抽出す
る手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の第
１の画像を切り出す手段と、該切り出された第１の画像に含まれる物体の輪郭線を検
出する手段と、所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、該切り出された第２の画像に含まれる物体の輪郭線を検
出する手段と、前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、該算出された差分に基づいて前記背景の動きを検出する
手段と、該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、該物体を前記対象被写体と認識する手段と、該対象被写体に向うベクトルを第１の移動ベクトルとし
て検出する手段と、前記切り出された第１の画像からの前記対象被写体の所
定方向の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記切り出された第１の画像から前記対象被写体の色と
略一致する色の領域を抽出する手段と、該抽出された領域の前記注目領域中心点を基準とした方
位と距離とを検出する手段と、該方位と距離とを第３の移動ベクトルとして検出する手
段と、前記第１、第２および第３の各移動ベクトルを注目領域
移動ベクトルとして合成する手段と、該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、該移動された注目領域の中心点を基準として、前記対象
被写体の大きさおよび／または形状に応じて抽出領域を
決定する手段とを備えたことを特徴とするニューラルネ
ットワークの学習装置。
【請求項１４】画像から学習する対象被写体を抽出す
る手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記画像全体のポテ
ンシャル場のマップを作成し、該マップ中のポテンシャ
ルの極小点を基準として、前記対象被写体の大きさおよ
び／または形状に応じて抽出領域を決定する手段である
ことを特徴とするニューラルネットワークの学習装置。
【請求項１５】画像から学習する対象被写体を抽出す
る手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記対象被写体の所定方向の輪
郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた前記輪郭線の成
分を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、該各方位ベクトルを合成して前記注目領域の中心点を原
点とする実空間座標上でポテンシャル場の傾斜ベクトル
とする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
対象被写体の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とするニューラ
ルネットワークの学習装置。
【請求項１６】前記輪郭線を検出する手段は、前記対
象被写体の所定方向の輪郭線の検出を、前記切り出され
た画像を前記注目領域の中心点を極として複素対数座標
変換した後に行う手段であり、前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項１５記載のニューラルネットワーク
の学習装置。
【請求項１７】画像から学習する対象被写体を抽出す
る手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記対象被写体の色と略一致す
る色の領域を抽出する手段と、該抽出された領域の、注目領域の中心点を基準とした方
位と距離とを検出する手段と、該方位と距離とを前記注目領域の中心点を原点とする実
空間座標上でポテンシャル場の傾斜ベクトルとして検出
する手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
対象被写体の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とするニューラ
ルネットワークの学習装置。
【請求項１８】前記色の領域を抽出する手段、前記方
位と距離とを検出する手段、前記ポテンシャル場の傾斜
ベクトルを検出する手段のうち少なくとも１つの手段
は、前記領域の抽出、前記方位と距離との検出、前記ポ
テンシャル場の傾斜ベクトルの検出を前記注目領域の中
心点を極とした複素対数座標上で行う手段であることを
特徴とする請求項１７記載のニューラルネットワークの
学習装置。
【請求項１９】画像から学習する対象被写体を抽出す
る手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像について該各画像中に存在する被写体の輪郭線
を検出し、該輪郭線が検出された前記各画像間の差分を
算出し、該算出された差分に基づいて前記注目領域内で
の面内平行方向の前記画像の動きを検出する手段と、前記切り出された前記各画像中に存在する前記注目領域
の中心点を中心とする被写体の放射方向の輪郭線を検出
し、該放射方向の輪郭線が検出された前記各画像間の差
分を算出し、該算出された差分に基づいて前記注目領域
内での面内回転方向の前記画像の動きを検出する手段
と、前記切り出された前記各画像中に存在する被写体の円環
方向の輪郭線を検出し、該円環方向の輪郭線が検出され
た前記各画像間の差分を算出し、該算出された差分に基
づいて前記注目領域内での放射方向の前記画像の動きを
検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、該各方位ベクトルを合成して前記注目領域の中心点を原
点とする実空間座標上でポテンシャル場の傾斜ベクトル
とする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
対象被写体の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とするニューラ
ルネットワークの学習装置。
【請求項２０】前記面内回転方向の前記画像の動きを
検出する手段および／または前記放射方向の前記画像の
動きを検出する手段は、前記画像中に存在する前記注目
領域の中心点を中心とする被写体の放射方向の輪郭線の
検出および／または円環方向の輪郭線の検出を、前記切
り出された画像を前記注目領域の中心点を極として複素
対数座標変換した後に行う手段であることを特徴とする
請求項１９記載のニューラルネットワークの学習装置。
【請求項２１】前記物体の輪郭線を検出する手段は、
前記物体の輪郭線の検出を、前記背景の動きの成分が補
償された前記複数の画像間の差分を示す画像を前記注目
領域の中心点を極として複素対数座標変換した後に行う
手段であり、前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項１９または２０記載のニューラルネ
ットワークの学習装置。
【請求項２２】画像から学習する対象被写体を抽出す
る手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の第
１の画像を切り出す手段と、該切り出された第１の画像に含まれる物体の輪郭線を検
出する手段と、所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、該切り出された第２の画像に含まれる物体の輪郭線を検
出する手段と、前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、該算出された差分に基づいて前記背景の動きを検出する
手段と、該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、該物体を前記対象被写体と認識する手段と、該対象被写体に向うベクトルを前記注目領域の中心点を
原点とする実空間座標上でポテンシャル場の傾斜ベクト
ルとして合成する手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
対象被写体の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とするニューラ
ルネットワークの学習装置。
【請求項２３】画像から学習する対象被写体を抽出す
る手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記対象
被写体の所定方向の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された画像から前記対象被写体の色と略一致
する色の領域を抽出する手段と、該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とを第２の移動ベクトルとして検出する手
段と、前記第１および第２の各移動ベクトルを合成して前記注
目領域の中心点を原点とする実空間座標上でポテンシャ
ル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
対象被写体の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とするニューラ
ルネットワークの学習装置。
【請求項２４】動きのある画像から学習する対象被写
体を抽出する手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記対象被写体の所定方向の輪郭線
を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記第１および第２の各移動ベクトルを合成して前記注
目領域の中心点を原点とする実空間座標上でポテンシャ
ル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
対象被写体の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とするニューラ
ルネットワークの学習装置。
【請求項２５】画像から学習する対象被写体を抽出す
る手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記対象被写体の所定方向の輪郭線
を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記切り出された複数の画像の１つから前記対象被写体
の色と略一致する色の領域を抽出する手段と、該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とを第３の移動ベクトルとして検出する手
段と、前記第１、第２および第３の各移動ベクトルを合成して
前記注目領域の中心点を原点とする実空間座標上でポテ
ンシャル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
対象被写体の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とするニューラ
ルネットワークの学習装置。
【請求項２６】画像から学習する対象被写体を抽出す
る手段と、抽出された該対象被写体をニューラルネットワークに入
力する手段と、入力された該対象被写体に基づいて該ニューラルネット
ワークの学習を進めさせる手段とを備えたニューラルネ
ットワークの学習装置であって、前記対象被写体を抽出する手段は、前記画像から所定の大きさを有する注目領域の範囲の第
１の画像を切り出す手段と、該切り出された第１の画像に含まれる物体の輪郭線を検
出する手段と、所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、該切り出された第２の画像に含まれる物体の輪郭線を検
出する手段と、前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、該算出された差分に基づいて前記背景の動きを検出する
手段と、該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、該物体を前記対象被写体と認識する手段と、該対象被写体に向うベクトルを第１の移動ベクトルとし
て検出する手段と、前記切り出された第１の画像からの前記対象被写体の所
定方向の輪郭線を検出する手段と、該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、前記切り出された第１の画像から前記対象被写体の色と
略一致する色の領域を抽出する手段と、該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、該方位と距離とを第３の移動ベクトルとして検出する手
段と、前記第１、第２および第３の各移動ベクトルを合成して
前記注目領域の中心点を原点とする実空間座標上でポテ
ンシャル場の傾斜ベクトルとする手段と、前記注目領域を前記画像全体に走査させて該画像全体に
ついてのポテンシャル場の傾斜ベクトルを算出する手段
と、該画像全体について算出された各ポテンシャル場の傾斜
ベクトルに基づいて前記画像全体のポテンシャル場のマ
ップを作成する手段と、該マップ中のポテンシャルの極小点を基準として、前記
対象被写体の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とするニューラ
ルネットワークの学習装置。
【請求項２７】前記対象被写体を抽出する手段は、所定の大きさの注目領域の中心点を前記対象被写体の中
心位置へ移動させ、前記注目領域の中心点と前記対象被
写体の輪郭線とを基準として前記対象被写体の大きさお
よび／または形状を正規化した後に行うことを特徴とす
る請求項１から２６のいずれか１項記載のニューラルネ
ットワーク学習装置。