JP3008234B2 - 被写体抽出装置 - Google Patents
被写体抽出装置Info
- Publication number
- JP3008234B2 JP3008234B2 JP04242458A JP24245892A JP3008234B2 JP 3008234 B2 JP3008234 B2 JP 3008234B2 JP 04242458 A JP04242458 A JP 04242458A JP 24245892 A JP24245892 A JP 24245892A JP 3008234 B2 JP3008234 B2 JP 3008234B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- detecting
- contour
- attention area
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】
【産業上の利用分野】本発明は、画像情報処理の際に、
画像から所定の被写体を抽出する被写体抽出装置に関す
るものである。
画像から所定の被写体を抽出する被写体抽出装置に関す
るものである。
【０００２】
【従来の技術】人間が画像を見て、その中に何があるか
を認識する。この動作は２つのステップに分解できると
いわれる。視点を動かし、認識対象を視野の中心に捕ら
え、同時に物体の大きさを把握する「発見・抽出」の動
作を行なう第１のステップ、そして注視点に存在する物
体が何であるかを、記憶や知識と照らし合わせて「判
別」する第２のステップである。人間は通常、この２つ
のステップを繰り返しながら、外界の情報を獲得してい
る。
を認識する。この動作は２つのステップに分解できると
いわれる。視点を動かし、認識対象を視野の中心に捕ら
え、同時に物体の大きさを把握する「発見・抽出」の動
作を行なう第１のステップ、そして注視点に存在する物
体が何であるかを、記憶や知識と照らし合わせて「判
別」する第２のステップである。人間は通常、この２つ
のステップを繰り返しながら、外界の情報を獲得してい
る。
【０００３】これに対し、マッチングに代表される、従
来の画像処理によるパターン認識技術においては、第２
のステップに重きがおかれ、第１の「発見・抽出」の部
分については、人間が介在して対象の切り出しや大きさ
の正規化を行なってやる必要があったり、郵便番号の自
動読みとり機に代表されるように、あらかじめ位置決め
された位置に対象物体を置かなければならなかったりと
いった制限があるものがほとんどであった。また、大き
さや位置の変化に強いパターン認識手法としては、不変
量に基づいて判別を行なう各種の方法が提案されてい
る。たとえば、セントラルモーメントを用いる方法、フ
ーリエ記述子を用いる方法、平均２乗誤差を用いる方法
などがあるが、これらの方法は、認識のために複雑な積
分演算や座標変換を行なう必要があり、どこに対象物体
があるのかわからない場合や、扱う画像が大きい場合に
は、膨大な計算量が必要となってしまう。また、これら
の方法は、画像中に複数の物体が存在する場合には、互
いの存在がノイズとなって認識結果を誤らせてしまう可
能性もあり、実用上、十分な方法ではない。
来の画像処理によるパターン認識技術においては、第２
のステップに重きがおかれ、第１の「発見・抽出」の部
分については、人間が介在して対象の切り出しや大きさ
の正規化を行なってやる必要があったり、郵便番号の自
動読みとり機に代表されるように、あらかじめ位置決め
された位置に対象物体を置かなければならなかったりと
いった制限があるものがほとんどであった。また、大き
さや位置の変化に強いパターン認識手法としては、不変
量に基づいて判別を行なう各種の方法が提案されてい
る。たとえば、セントラルモーメントを用いる方法、フ
ーリエ記述子を用いる方法、平均２乗誤差を用いる方法
などがあるが、これらの方法は、認識のために複雑な積
分演算や座標変換を行なう必要があり、どこに対象物体
があるのかわからない場合や、扱う画像が大きい場合に
は、膨大な計算量が必要となってしまう。また、これら
の方法は、画像中に複数の物体が存在する場合には、互
いの存在がノイズとなって認識結果を誤らせてしまう可
能性もあり、実用上、十分な方法ではない。
【０００４】対象物体の大きさや位置のずれに強いその
他の認識モデルとして、ネオコグニトロンがある（福
島：位置ずれに影響されないパターン認識機構の神経回
路モデル−ネオコグニトロン、電子通信学会論文誌A,J6
2-A(10),pp658-665,Oct.1979）。ネオコグニトロンは、
パターンマッチングを対象物体の微小部分に対して行な
い、その位置ずれを階層構造に依って、何段かに分けて
吸収しながら行なうという原理によるものである。この
ため、正確な認識とずれの吸収を両立させるためには、
おのずと限界が生じる。通常、ネオコグニトロンでは、
大きさに対しては４倍程度の変動しか許容できないとい
われる（永野：大きさに不変な特徴抽出をするニューラ
ルネット、コンピュートロール，NO.29,pp26-31 ）。同
様に、位置ずれに対しても対象物体の大きさの２〜３倍
程度しか許容できない。最近になって提案された選択的
注意の機構を組み込んだネオコグニトロンにおいても、
この許容能力は同様である。
他の認識モデルとして、ネオコグニトロンがある（福
島：位置ずれに影響されないパターン認識機構の神経回
路モデル−ネオコグニトロン、電子通信学会論文誌A,J6
2-A(10),pp658-665,Oct.1979）。ネオコグニトロンは、
パターンマッチングを対象物体の微小部分に対して行な
い、その位置ずれを階層構造に依って、何段かに分けて
吸収しながら行なうという原理によるものである。この
ため、正確な認識とずれの吸収を両立させるためには、
おのずと限界が生じる。通常、ネオコグニトロンでは、
大きさに対しては４倍程度の変動しか許容できないとい
われる（永野：大きさに不変な特徴抽出をするニューラ
ルネット、コンピュートロール，NO.29,pp26-31 ）。同
様に、位置ずれに対しても対象物体の大きさの２〜３倍
程度しか許容できない。最近になって提案された選択的
注意の機構を組み込んだネオコグニトロンにおいても、
この許容能力は同様である。
【０００５】一方で、人間の視覚機能が、どのようにし
てこの第１のステップを実行しているかは、未だに解明
されていないが、視点の動作の様子に関しては、かなり
解明されつつある（樋渡：生体系における視聴覚情報処
理、情報処理,Vol.23,No.5,pp451-459(1982)、あるいは
外山：視覚系の構造と機能、情報処理,Vol.26,No.2,pp1
08-116(1985)等）。眼球運動には、サッケード運動、追
従運動、固視微動などがある事が知られている。これら
の運動をシミュレートするようなモデルもいくつか提案
されているが、画像の微分値の大きい方へ移動する（中
野：パターン識別学習システム、映像情報(I) ，1987/
1,pp31-37、あるいは白鳥ら：擬似網膜マスクによるサ
ッケード運動のシミュレーション、テレビ学技報 ITEJ
Tec.Rep.Vol.14,No.36,pp25-30, ICS ’90-54,AIPS’90
-46,June,1990)、明度の高い方へ移動する（平原ら：注
視点特定のためのニューラルネット、テレビ学技報 ITE
J Tec.Rep.Vol.14,No.33,pp25-30, VAI ’90-28,June,1
990)、あるいは輪郭の曲率の大きな点に移動する（乾
ら：特開平2-138677号公報）等、余りに単純で、いずれ
も人間の視覚機能をうまく模倣しているとはとてもいい
がたいものであった。
てこの第１のステップを実行しているかは、未だに解明
されていないが、視点の動作の様子に関しては、かなり
解明されつつある（樋渡：生体系における視聴覚情報処
理、情報処理,Vol.23,No.5,pp451-459(1982)、あるいは
外山：視覚系の構造と機能、情報処理,Vol.26,No.2,pp1
08-116(1985)等）。眼球運動には、サッケード運動、追
従運動、固視微動などがある事が知られている。これら
の運動をシミュレートするようなモデルもいくつか提案
されているが、画像の微分値の大きい方へ移動する（中
野：パターン識別学習システム、映像情報(I) ，1987/
1,pp31-37、あるいは白鳥ら：擬似網膜マスクによるサ
ッケード運動のシミュレーション、テレビ学技報 ITEJ
Tec.Rep.Vol.14,No.36,pp25-30, ICS ’90-54,AIPS’90
-46,June,1990)、明度の高い方へ移動する（平原ら：注
視点特定のためのニューラルネット、テレビ学技報 ITE
J Tec.Rep.Vol.14,No.33,pp25-30, VAI ’90-28,June,1
990)、あるいは輪郭の曲率の大きな点に移動する（乾
ら：特開平2-138677号公報）等、余りに単純で、いずれ
も人間の視覚機能をうまく模倣しているとはとてもいい
がたいものであった。
【０００６】さらに、認識対象を捕らえ、その全体を含
む領域を抽出するためには、対象物体の部分的な特徴に
のみ捕らわれることなく、対象全体の中心において視点
の運動が安定（停止）することが必要であるが、前述し
た既存の各種モデルでは、いずれもこのような動作を行
なわせることはできていない。例えば前述した白鳥らの
擬似網膜マスクによる方法では、視点は物体の輪郭線の
回りを行ったり来たりするだけで安定せず、また乾らの
モデルでは、視点はいつまでたっても物体のごく一部分
の特徴点しか捕らえることができない。また、ほとんど
の手法は、物体の背景が単純であることを暗黙の前提条
件として必要としており、一般写真のような自然画像に
対してほとんど適用できないものである。
む領域を抽出するためには、対象物体の部分的な特徴に
のみ捕らわれることなく、対象全体の中心において視点
の運動が安定（停止）することが必要であるが、前述し
た既存の各種モデルでは、いずれもこのような動作を行
なわせることはできていない。例えば前述した白鳥らの
擬似網膜マスクによる方法では、視点は物体の輪郭線の
回りを行ったり来たりするだけで安定せず、また乾らの
モデルでは、視点はいつまでたっても物体のごく一部分
の特徴点しか捕らえることができない。また、ほとんど
の手法は、物体の背景が単純であることを暗黙の前提条
件として必要としており、一般写真のような自然画像に
対してほとんど適用できないものである。
【０００７】以上のように、位置ずれや大きさの変化を
人間が介在して吸収したり、あらかじめ位置や大きさの
正規化されていることが前提条件となっている場合に
は、良好な認識が可能な様々な手法が存在するが、認識
のために画像から対象とする被写体全体を、そっくり抽
出する優れた手法は存在しない。
人間が介在して吸収したり、あらかじめ位置や大きさの
正規化されていることが前提条件となっている場合に
は、良好な認識が可能な様々な手法が存在するが、認識
のために画像から対象とする被写体全体を、そっくり抽
出する優れた手法は存在しない。
【０００８】
【発明が解決しようとする課題】上述したように、人間
は認識すべき対象をあらかじめ外界の画像から適当な大
きさで抽出してから、効率的に認識処理を行っている。
これに対し、従来提案されてきた方法は、１つの処理系
で、外界画像中の対象物を認識しようとするため、非常
に複雑な手順や、膨大な時間が必要だったり、あるい
は、抽出部分に人間が介在する必要があったり、画像の
背景が単純である必要があったり、という問題があり、
十分実用に耐えられるものではなかった。これらの問題
はいずれも、認識すべき対象物体を外界の画像中から抽
出する有効な方法が存在せず、認識システムの判別部に
大きな負担をかけるような構造になっていたためであ
る。
は認識すべき対象をあらかじめ外界の画像から適当な大
きさで抽出してから、効率的に認識処理を行っている。
これに対し、従来提案されてきた方法は、１つの処理系
で、外界画像中の対象物を認識しようとするため、非常
に複雑な手順や、膨大な時間が必要だったり、あるい
は、抽出部分に人間が介在する必要があったり、画像の
背景が単純である必要があったり、という問題があり、
十分実用に耐えられるものではなかった。これらの問題
はいずれも、認識すべき対象物体を外界の画像中から抽
出する有効な方法が存在せず、認識システムの判別部に
大きな負担をかけるような構造になっていたためであ
る。
【０００９】また、上述した方法は、対象被写体が画像
中に複数存在する場合、一度抽出した被写体を再度抽出
してしまうことがあり、これは未抽出の対象被写体の抽
出を妨げ、抽出の効率を低下させるという不都合を生じ
ている。
中に複数存在する場合、一度抽出した被写体を再度抽出
してしまうことがあり、これは未抽出の対象被写体の抽
出を妨げ、抽出の効率を低下させるという不都合を生じ
ている。
【００１０】また、視点移動の動作を模倣した上記の方
法は視点が対象物体を捕えた場合以外に、対象物体以外
の位置においても視点の移動が停止してしまう場合があ
り、その停止した状態から脱出する際には人間が介在す
る必要があるなど、この点においても十分実用に耐えら
れるものではなかった。
法は視点が対象物体を捕えた場合以外に、対象物体以外
の位置においても視点の移動が停止してしまう場合があ
り、その停止した状態から脱出する際には人間が介在す
る必要があるなど、この点においても十分実用に耐えら
れるものではなかった。
【００１１】さらに、上述した方法は、視点が与えられ
た画像上を対象物体の方向に移動する途中に、対象物体
とは異なる小さな物体が存在するような場合に、その物
体を対象とする物体と誤認して視点がその位置に停止し
てしまい、対象物体の方向に移動できなくなってしまう
場合があった。
た画像上を対象物体の方向に移動する途中に、対象物体
とは異なる小さな物体が存在するような場合に、その物
体を対象とする物体と誤認して視点がその位置に停止し
てしまい、対象物体の方向に移動できなくなってしまう
場合があった。
【００１２】本発明は上記事情に鑑み、与えられた画像
から適切に精度良く所定の被写体を抽出することがで
き、演算時間も短縮することのできる被写体抽出装置を
提供することを目的とするものである。
から適切に精度良く所定の被写体を抽出することがで
き、演算時間も短縮することのできる被写体抽出装置を
提供することを目的とするものである。
【００１３】また、本発明は与えられた画像中に対象と
する被写体が複数存在する場合であっても、同じ被写体
を再度抽出することなく、効率良く被写体の抽出を行う
被写体抽出装置を提供することを目的とするものであ
る。
する被写体が複数存在する場合であっても、同じ被写体
を再度抽出することなく、効率良く被写体の抽出を行う
被写体抽出装置を提供することを目的とするものであ
る。
【００１４】また、本発明は与えられた画像中に対象と
する被写体が複数存在する場合であっても、同じ被写体
を再度抽出することなく、効率良く被写体の抽出を行う
被写体抽出装置を提供することを目的とするものであ
る。
する被写体が複数存在する場合であっても、同じ被写体
を再度抽出することなく、効率良く被写体の抽出を行う
被写体抽出装置を提供することを目的とするものであ
る。
【００１５】さらに、本発明は与えられた画像から適切
に精度良く対象物体である所定の被写体を抽出すること
ができるとともに演算時間も短縮することができ、視点
が停止した場合であっても、その停止した状態から脱出
することができる被写体抽出装置を提供することを目的
とするものである。
に精度良く対象物体である所定の被写体を抽出すること
ができるとともに演算時間も短縮することができ、視点
が停止した場合であっても、その停止した状態から脱出
することができる被写体抽出装置を提供することを目的
とするものである。
【００１６】
【課題を解決するための手段】本発明による第１の被写
体抽出装置は、画像から所定被写体候補を抽出するため
の抽出領域を決定する被写体抽出装置において、所定の
大きさの注目領域の中心点を前記所定被写体候補の位置
へ移動させ、前記注目領域の中心点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段を備えたことを特徴とするもので
ある。
体抽出装置は、画像から所定被写体候補を抽出するため
の抽出領域を決定する被写体抽出装置において、所定の
大きさの注目領域の中心点を前記所定被写体候補の位置
へ移動させ、前記注目領域の中心点を基準として、前記
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段を備えたことを特徴とするもので
ある。
【００１７】また、本発明による第２の被写体抽出装置
は、画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、この切り出された画像もしくはこ
の画像を複素対数座標変した画像の全体の動き、画像内
に含まれる所定被写体候補の色および／または画像内に
含まれる所定被写体候補の輪郭線に基づいて、所定被写
体候補の色、輪郭線などの成分の注目領域中心点に対す
る方位と強度とを方位ベクトルとして求める手段と、こ
の方位ベクトルを合成して注目領域を移動させるための
注目領域移動ベクトルを求める手段と、この注目領域移
動ベクトルに基づいて注目領域の中心点を移動させる手
段と、この移動された注目領域の中心点を基準として、
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とするもの
である。
は、画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、この切り出された画像もしくはこ
の画像を複素対数座標変した画像の全体の動き、画像内
に含まれる所定被写体候補の色および／または画像内に
含まれる所定被写体候補の輪郭線に基づいて、所定被写
体候補の色、輪郭線などの成分の注目領域中心点に対す
る方位と強度とを方位ベクトルとして求める手段と、こ
の方位ベクトルを合成して注目領域を移動させるための
注目領域移動ベクトルを求める手段と、この注目領域移
動ベクトルに基づいて注目領域の中心点を移動させる手
段と、この移動された注目領域の中心点を基準として、
所定被写体候補の大きさおよび／または形状に応じて抽
出領域を決定する手段とを備えたことを特徴とするもの
である。
【００１８】さらに、本発明による第３の被写体抽出装
置は、上述した本発明による第２の被写体抽出装置にお
いて、前記所定被写体候補の輪郭線および／または動き
に基づいて輪郭線を抽出した後に、該検出された輪郭線
のうち、前記所定方向と略同一方向に連続性が高い輪郭
線および／または強度が大きい輪郭線を互いに協調させ
ることによって強調するとともに、前記各輪郭線と前記
方向に連続性が低い輪郭線および／または強度が小さい
輪郭線とを互いに競合させることによって該連続性が低
い輪郭線および／または強度が小さい輪郭線を消去し、
該強調された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた前記輪郭線の成
分を全て抽出するようにし、前記抽出された各領域のう
ち、前記色との一致度が大きい領域と該領域の近傍の領
域とを互いに協調させることによって前記色との一致度
が大きい領域を強調するとともに、該色との一致度が大
きい領域と該領域とは離れた位置にある前記色との一致
度が小さい領域とを互いに競合させることによって該色
との一致度が小さい領域を消去し、前記強調された前記
領域の前記注目領域の中心点を基準とした方位を方位ベ
クトルとして検出することを特徴とするものである。
置は、上述した本発明による第２の被写体抽出装置にお
いて、前記所定被写体候補の輪郭線および／または動き
に基づいて輪郭線を抽出した後に、該検出された輪郭線
のうち、前記所定方向と略同一方向に連続性が高い輪郭
線および／または強度が大きい輪郭線を互いに協調させ
ることによって強調するとともに、前記各輪郭線と前記
方向に連続性が低い輪郭線および／または強度が小さい
輪郭線とを互いに競合させることによって該連続性が低
い輪郭線および／または強度が小さい輪郭線を消去し、
該強調された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた前記輪郭線の成
分を全て抽出するようにし、前記抽出された各領域のう
ち、前記色との一致度が大きい領域と該領域の近傍の領
域とを互いに協調させることによって前記色との一致度
が大きい領域を強調するとともに、該色との一致度が大
きい領域と該領域とは離れた位置にある前記色との一致
度が小さい領域とを互いに競合させることによって該色
との一致度が小さい領域を消去し、前記強調された前記
領域の前記注目領域の中心点を基準とした方位を方位ベ
クトルとして検出することを特徴とするものである。
【００１９】さらに、本発明による第４の被写体抽出装
置は、前記注目領域移動ベクトルに熱的ゆらぎを加算
し、これにより前記注目領域中心点が前記画像上におけ
る前記所定被写体候補の位置まで移動する際に、該画像
上における前記所定被写体候補以外の位置に停止しない
ようにしたことを特徴とするものである。この場合、特
に注目領域移動ベクトルの合成をニューラルネットワー
クを用いて行い、ニューラルネットワークにアニーリン
グ法を適用することができる。
置は、前記注目領域移動ベクトルに熱的ゆらぎを加算
し、これにより前記注目領域中心点が前記画像上におけ
る前記所定被写体候補の位置まで移動する際に、該画像
上における前記所定被写体候補以外の位置に停止しない
ようにしたことを特徴とするものである。この場合、特
に注目領域移動ベクトルの合成をニューラルネットワー
クを用いて行い、ニューラルネットワークにアニーリン
グ法を適用することができる。
【００２０】ここでアニーリング法とは、ニューラルネ
ットワークにおいてあるニューロンが入力信号を受け
て、これを出力するときにニューロンの入出力特性関数
にのっとった形で出力するのではなく、そのニューロン
自体が熱的なゆらぎを持った出力を示す、つまりノイズ
を含んだ出力を示すようにすることである。このノイズ
が加わる程度を温度の高低で表し、温度を上下させるこ
とによってニューラルネットワークの系の状態を安定状
態から崩して別の安定状態に移動させてやることを狙っ
た方法である。例えばニューロンの入出力特性がシグモ
イド関数である場合において、熱的ゆらぎが０ならばそ
の入出力特性は図68(a) に示すものになるが、これに熱
的ゆらぎを加えることによって、図68(b) に示すような
誤差を持った入出力特性となり、図68(b) に示す斜線部
の範囲で出力が確率的にばらつくのである。この熱的ゆ
らぎの量を大きくする、すなわち、温度を高温にして徐
々に下げる状態が、金属材料等を加熱して、徐々に冷却
して内部の欠陥を取り除く「焼き鈍し」に似ていること
からアニーリングと呼ばれるのである。この温度の高温
時には、各ニューロンの出力が誤差を持っているため、
その誤差をきっかけにして、ニューロンの安定状態から
脱出できるのである。
ットワークにおいてあるニューロンが入力信号を受け
て、これを出力するときにニューロンの入出力特性関数
にのっとった形で出力するのではなく、そのニューロン
自体が熱的なゆらぎを持った出力を示す、つまりノイズ
を含んだ出力を示すようにすることである。このノイズ
が加わる程度を温度の高低で表し、温度を上下させるこ
とによってニューラルネットワークの系の状態を安定状
態から崩して別の安定状態に移動させてやることを狙っ
た方法である。例えばニューロンの入出力特性がシグモ
イド関数である場合において、熱的ゆらぎが０ならばそ
の入出力特性は図68(a) に示すものになるが、これに熱
的ゆらぎを加えることによって、図68(b) に示すような
誤差を持った入出力特性となり、図68(b) に示す斜線部
の範囲で出力が確率的にばらつくのである。この熱的ゆ
らぎの量を大きくする、すなわち、温度を高温にして徐
々に下げる状態が、金属材料等を加熱して、徐々に冷却
して内部の欠陥を取り除く「焼き鈍し」に似ていること
からアニーリングと呼ばれるのである。この温度の高温
時には、各ニューロンの出力が誤差を持っているため、
その誤差をきっかけにして、ニューロンの安定状態から
脱出できるのである。
【００２１】さらに本発明による第５の被写体抽出装置
は、所定被写体候補を抽出した後、画像中の所定被写体
候補が抽出された領域について、マスキング等の方法に
より、再抽出防止処理を施すことを特徴とするものであ
る。
は、所定被写体候補を抽出した後、画像中の所定被写体
候補が抽出された領域について、マスキング等の方法に
より、再抽出防止処理を施すことを特徴とするものであ
る。
【００２２】さらに、本発明による第６の被写体抽出装
置は、画像から所定の大きさを有する注目領域の範囲の
画像を切り出す手段と、該切り出された画像から前記注
目領域の中心点を移動させる注目領域移動ベクトルを合
成する手段と、該注目領域移動ベクトルに基づいて前記
注目領域の中心点を移動させる手段と、該注目領域の中
心点が停止したとき、該注目領域の範囲の画像内に所定
被写体候補が含まれているか否かを判断し、該所定被写
体候補が含まれているときには該所定被写体候補を抽出
する手段とを備えた被写体抽出装置であって、該所定被
写体候補の抽出後および前記判断の結果前記注目領域の
範囲の画像内に前記所定被写体候補が含まれなかったと
き、前記注目領域の中心点を前記画像上における他の位
置に転移させ、該転移した位置から再度前記切り出し、
前記注目領域移動ベクトルの合成、前記注目領域中心点
の移動および前記判断を繰り返すようにしたことを特徴
とするものである。
置は、画像から所定の大きさを有する注目領域の範囲の
画像を切り出す手段と、該切り出された画像から前記注
目領域の中心点を移動させる注目領域移動ベクトルを合
成する手段と、該注目領域移動ベクトルに基づいて前記
注目領域の中心点を移動させる手段と、該注目領域の中
心点が停止したとき、該注目領域の範囲の画像内に所定
被写体候補が含まれているか否かを判断し、該所定被写
体候補が含まれているときには該所定被写体候補を抽出
する手段とを備えた被写体抽出装置であって、該所定被
写体候補の抽出後および前記判断の結果前記注目領域の
範囲の画像内に前記所定被写体候補が含まれなかったと
き、前記注目領域の中心点を前記画像上における他の位
置に転移させ、該転移した位置から再度前記切り出し、
前記注目領域移動ベクトルの合成、前記注目領域中心点
の移動および前記判断を繰り返すようにしたことを特徴
とするものである。
【００２３】なお、本発明の被写体抽出装置の各種具体
的な態様は、請求項１から45に記載した通りのものであ
り、課題を解決するための手段としてここにその内容を
繰り返すのは冗長となるので、ここでは省略する。
的な態様は、請求項１から45に記載した通りのものであ
り、課題を解決するための手段としてここにその内容を
繰り返すのは冗長となるので、ここでは省略する。
【００２４】
【作用】本発明による被写体抽出装置は、画像から所定
被写体候補を抽出するための抽出領域を決定する被写体
抽出装置において、所定の大きさの注目領域の中心点を
画像中の所定被写体候補の位置へ移動させ、この中心点
を基準として、所定被写体候補の大きさおよび／または
形状に応じて抽出領域を決定するようにしたため、特定
の被写体のみでなく、いかなる形状の所定被写体をも抽
出することが可能であり、また、画像における所定被写
体候補の背景が複雑であっても所定被写体候補を抽出す
ることができる。
被写体候補を抽出するための抽出領域を決定する被写体
抽出装置において、所定の大きさの注目領域の中心点を
画像中の所定被写体候補の位置へ移動させ、この中心点
を基準として、所定被写体候補の大きさおよび／または
形状に応じて抽出領域を決定するようにしたため、特定
の被写体のみでなく、いかなる形状の所定被写体をも抽
出することが可能であり、また、画像における所定被写
体候補の背景が複雑であっても所定被写体候補を抽出す
ることができる。
【００２５】また、画像から所定の大きさを有する注目
領域の範囲の画像を切り出し、切り出された画像から所
定被写体候補の輪郭線を検出して、この輪郭線が注目領
域の中心点を囲む同心円の円周方向に対して所定角度傾
いた成分から方位ベクトルを求め、必要があれば所定角
度の位相シフトもしくは重みを加えてからこの方位ベク
トルを合成して注目領域移動ベクトルを求めて注目領域
の中心点の移動方向を決定し、注目領域の中心点を基準
として所定被写体候補の大きさおよび／または形状に応
じて抽出領域を決定するようにしてもよい。さらに、切
り出した画像を複素対数座標変換しても、実空間座標に
おける場合と同様に所定被写体候補を抽出することが可
能であり、また画像の全面に対して処理を行う必要が無
くなるため、演算時間を短縮することができる。
領域の範囲の画像を切り出し、切り出された画像から所
定被写体候補の輪郭線を検出して、この輪郭線が注目領
域の中心点を囲む同心円の円周方向に対して所定角度傾
いた成分から方位ベクトルを求め、必要があれば所定角
度の位相シフトもしくは重みを加えてからこの方位ベク
トルを合成して注目領域移動ベクトルを求めて注目領域
の中心点の移動方向を決定し、注目領域の中心点を基準
として所定被写体候補の大きさおよび／または形状に応
じて抽出領域を決定するようにしてもよい。さらに、切
り出した画像を複素対数座標変換しても、実空間座標に
おける場合と同様に所定被写体候補を抽出することが可
能であり、また画像の全面に対して処理を行う必要が無
くなるため、演算時間を短縮することができる。
【００２６】さらに、所定被写体候補の輪郭線を検出し
た後に、検出された輪郭線のうち、所定方向と略同一方
向に連続性が高い輪郭線および／または強度が大きい輪
郭線を互いに協調させることによって強調するととも
に、前記各輪郭線と前記方向に連続性が低い輪郭線およ
び／または強度が小さい輪郭線とを互いに競合させるこ
とによって該連続性が低い輪郭線および／または強度が
小さい輪郭線を消去し、この強調された輪郭線から注目
領域の中心点を囲む同心円の円周方向に対して所定角度
傾いた輪郭線の成分をすべて抽出するようにすれば、所
定被写体候補をより一層抽出し易くなるため好ましい。
た後に、検出された輪郭線のうち、所定方向と略同一方
向に連続性が高い輪郭線および／または強度が大きい輪
郭線を互いに協調させることによって強調するととも
に、前記各輪郭線と前記方向に連続性が低い輪郭線およ
び／または強度が小さい輪郭線とを互いに競合させるこ
とによって該連続性が低い輪郭線および／または強度が
小さい輪郭線を消去し、この強調された輪郭線から注目
領域の中心点を囲む同心円の円周方向に対して所定角度
傾いた輪郭線の成分をすべて抽出するようにすれば、所
定被写体候補をより一層抽出し易くなるため好ましい。
【００２７】さらに、画像から所定の大きさを有する注
目領域の範囲の画像を切り出して、この切り出された画
像から所定被写体候補の色と一致度の高い領域を検出し
て、この領域の方位と距離とを求め、この方位と距離と
から注目領域移動ベクトルを求めて注目領域の中心点の
移動方向を決定し、注目領域の中心点を基準として所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定するようにしてもよい。
目領域の範囲の画像を切り出して、この切り出された画
像から所定被写体候補の色と一致度の高い領域を検出し
て、この領域の方位と距離とを求め、この方位と距離と
から注目領域移動ベクトルを求めて注目領域の中心点の
移動方向を決定し、注目領域の中心点を基準として所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定するようにしてもよい。
【００２８】ここで、所定被写体候補の色との一致度の
求め方であるが、例えば図69に示すような色度図上にお
いて、所定被写体候補の色度値と注目領域の大きさの範
囲で切り出された画像の任意の点における色度値との距
離を一致度として使うことが可能である。すなわち、あ
る点における色度値が、所定被写体候補の色度値と色度
図上において離れている場合ほど、一致度が低いとする
のである。あるいは、色の一致度の別の求め方として、
ニューラルネットワークを用いて、任意の色に対する所
定被写体候補の色との一致度をニューラルネットワーク
に学習させておき、学習が完了したニューラルネットワ
ークに切り出された画像の任意の点における色データを
与え、色の一致度を出力させるようにしてもよい。
求め方であるが、例えば図69に示すような色度図上にお
いて、所定被写体候補の色度値と注目領域の大きさの範
囲で切り出された画像の任意の点における色度値との距
離を一致度として使うことが可能である。すなわち、あ
る点における色度値が、所定被写体候補の色度値と色度
図上において離れている場合ほど、一致度が低いとする
のである。あるいは、色の一致度の別の求め方として、
ニューラルネットワークを用いて、任意の色に対する所
定被写体候補の色との一致度をニューラルネットワーク
に学習させておき、学習が完了したニューラルネットワ
ークに切り出された画像の任意の点における色データを
与え、色の一致度を出力させるようにしてもよい。
【００２９】また、切り出された画像を複素対数座標変
換しても、実空間座標における場合と同様に所定被写体
候補を抽出することが可能である。
換しても、実空間座標における場合と同様に所定被写体
候補を抽出することが可能である。
【００３０】さらに、前記被写体の色と略一致する色の
領域のうち、互いに近接する色との一致度が大きい領域
同士を協調させることによって前記色との一致度が大き
い領域を強調し、前記色との一致度が大きい領域と、該
領域とは離れた位置にある前記色との一致度が小さい領
域との競合によって、前記色との一致度が小さい領域を
消去し、該色との一致度が大きい領域と該領域とは離れ
た位置にある前記色との一致度が大きい領域とを互いに
競合させ、前記色との一致度が大きい領域であって、か
つ領域としての大きさや形状がより適当である領域を残
し、領域としての大きさや形状がより不適当な領域を消
去することによって、前記注目領域の範囲の中で最も適
当な領域を、被写体領域として選択し、この選択された
領域の複素対数座標上での方位を方位ベクトルとして検
出するようにすれば、所定被写体候補の色との一致度が
大きい領域をより抽出し易くなるために好ましい。
領域のうち、互いに近接する色との一致度が大きい領域
同士を協調させることによって前記色との一致度が大き
い領域を強調し、前記色との一致度が大きい領域と、該
領域とは離れた位置にある前記色との一致度が小さい領
域との競合によって、前記色との一致度が小さい領域を
消去し、該色との一致度が大きい領域と該領域とは離れ
た位置にある前記色との一致度が大きい領域とを互いに
競合させ、前記色との一致度が大きい領域であって、か
つ領域としての大きさや形状がより適当である領域を残
し、領域としての大きさや形状がより不適当な領域を消
去することによって、前記注目領域の範囲の中で最も適
当な領域を、被写体領域として選択し、この選択された
領域の複素対数座標上での方位を方位ベクトルとして検
出するようにすれば、所定被写体候補の色との一致度が
大きい領域をより抽出し易くなるために好ましい。
【００３１】このように、所定被写体候補を抽出するよ
うにすれば、特定の被写体のみではなく、いかなる形状
の所定被写体候補をも抽出することが可能であり、ま
た、画像における所定被写体候補の背景が複雑であって
も所定被写体候補を抽出することができる。さらに、画
像の全面に対して処理を行う必要が無くなるため、演算
時間を短縮することができる。
うにすれば、特定の被写体のみではなく、いかなる形状
の所定被写体候補をも抽出することが可能であり、ま
た、画像における所定被写体候補の背景が複雑であって
も所定被写体候補を抽出することができる。さらに、画
像の全面に対して処理を行う必要が無くなるため、演算
時間を短縮することができる。
【００３２】さらに、所定の時間差を有する複数の時刻
における注目領域の範囲の画像を切り出し、まずこれら
画像間の被写体の輪郭線の差分を算出し、この差分に基
づいて注目領域内での画像面に平行な方向の背景の動き
を検出するようにし、これと同時に、注目領域の範囲の
各画像を複素対数座標変換し、この複素対数座標変換さ
れた画像から、被写体の放射方向の輪郭線の差分を算出
して背景の面内回転方向の動きを、被写体の円環方向の
輪郭線の差分を算出して背景の放射方向の動きをそれぞ
れ検出するようにし、さらに、検出された画像面に平行
な方向、面内回転方向および／または放射方向の背景の
動きに基づいて、背景の動きを補償し、この背景の動き
が補償された画像から背景とは異なる動きをしている物
体の輪郭線を検出して、この輪郭線が複素対数座標の円
環方向に対して所定角度傾いた成分から方位ベクトルを
求め、必要があれば所定角度の位相シフトもしくは重み
を加えてからこの方位ベクトルを合成して注目領域移動
ベクトルを求めて注目領域の中心点の移動方向を決定
し、注目領域の中心点を基準として物体の大きさおよび
／または形状に応じて所定被写体候補を抽出するための
抽出領域を決定するようにしてもよい。
における注目領域の範囲の画像を切り出し、まずこれら
画像間の被写体の輪郭線の差分を算出し、この差分に基
づいて注目領域内での画像面に平行な方向の背景の動き
を検出するようにし、これと同時に、注目領域の範囲の
各画像を複素対数座標変換し、この複素対数座標変換さ
れた画像から、被写体の放射方向の輪郭線の差分を算出
して背景の面内回転方向の動きを、被写体の円環方向の
輪郭線の差分を算出して背景の放射方向の動きをそれぞ
れ検出するようにし、さらに、検出された画像面に平行
な方向、面内回転方向および／または放射方向の背景の
動きに基づいて、背景の動きを補償し、この背景の動き
が補償された画像から背景とは異なる動きをしている物
体の輪郭線を検出して、この輪郭線が複素対数座標の円
環方向に対して所定角度傾いた成分から方位ベクトルを
求め、必要があれば所定角度の位相シフトもしくは重み
を加えてからこの方位ベクトルを合成して注目領域移動
ベクトルを求めて注目領域の中心点の移動方向を決定
し、注目領域の中心点を基準として物体の大きさおよび
／または形状に応じて所定被写体候補を抽出するための
抽出領域を決定するようにしてもよい。
【００３３】このように所定被写体候補を抽出すること
により、注目領域内において所定被写体候補だけが動い
ている場合だけでなく、画像全体、すなわち背景が動い
ている場合でも背景の動きを補償し、所定被写体候補だ
けを抽出することが可能である。また、時事刻々移動を
続ける所定被写体候補を追い続け、常に所定被写体候補
を注目領域の中心に捕らえ、抽出することができる。さ
らに、画像における所定被写体候補の背景が複雑であっ
ても所定被写体候補を抽出することができる。さらに、
画像の全面に対して処理を行う必要が無くなるため、演
算時間を短縮することができる。
により、注目領域内において所定被写体候補だけが動い
ている場合だけでなく、画像全体、すなわち背景が動い
ている場合でも背景の動きを補償し、所定被写体候補だ
けを抽出することが可能である。また、時事刻々移動を
続ける所定被写体候補を追い続け、常に所定被写体候補
を注目領域の中心に捕らえ、抽出することができる。さ
らに、画像における所定被写体候補の背景が複雑であっ
ても所定被写体候補を抽出することができる。さらに、
画像の全面に対して処理を行う必要が無くなるため、演
算時間を短縮することができる。
【００３４】また、切り出された画像を複素対数座標変
換しても、実空間座標における場合と同様に所定被写体
候補を抽出することが可能である。
換しても、実空間座標における場合と同様に所定被写体
候補を抽出することが可能である。
【００３５】また、上述したように、輪郭線に基づいた
所定被写体候補の抽出と、色に基づいた所定被写体候補
の抽出とを同時に行うようにすれば、所定被写体候補の
抽出をより正確に行うことができる。
所定被写体候補の抽出と、色に基づいた所定被写体候補
の抽出とを同時に行うようにすれば、所定被写体候補の
抽出をより正確に行うことができる。
【００３６】また、上述したように、輪郭線に基づいた
所定被写体候補の抽出と、動きに基づいた所定被写体候
補の抽出とを同時に行うようにすれば、所定被写体候補
をより正確に抽出することができる。
所定被写体候補の抽出と、動きに基づいた所定被写体候
補の抽出とを同時に行うようにすれば、所定被写体候補
をより正確に抽出することができる。
【００３７】さらに、輪郭線に基づいた所定被写体候補
の抽出と、色に基づいた所定被写体候補の抽出と、動き
に基づいた所定被写体候補の抽出とを同時に行うように
すれば、所定被写体候補をより一層正確に抽出すること
が可能となるため好ましい。
の抽出と、色に基づいた所定被写体候補の抽出と、動き
に基づいた所定被写体候補の抽出とを同時に行うように
すれば、所定被写体候補をより一層正確に抽出すること
が可能となるため好ましい。
【００３８】また、注目領域移動ベクトルを合成する過
程において、注目領域移動ベクトルに慣性項を加算する
ようにすれば、注目領域中心点が与えられた画像上にお
ける所定被写体候補の位置まで移動する際に、所定被写
体候補とは異なる物体上等の所定被写体候補以外の位置
に停止しそうな場合にも、この注目領域中心点が停止す
ることを防止することができる。
程において、注目領域移動ベクトルに慣性項を加算する
ようにすれば、注目領域中心点が与えられた画像上にお
ける所定被写体候補の位置まで移動する際に、所定被写
体候補とは異なる物体上等の所定被写体候補以外の位置
に停止しそうな場合にも、この注目領域中心点が停止す
ることを防止することができる。
【００３９】また、ニューラルネットワークを使用し、
ニューラルネットワークの出力に熱的ゆらぎを加えるよ
うにすれば、注目領域中心点が与えられた画像上におけ
る所定被写体候補の位置まで移動する際に、所定被写体
候補とは異なる物体上等の所定被写体候補以外の位置に
停止しそうな場合にも、この注目領域中心点が停止する
ことを防止することができる。
ニューラルネットワークの出力に熱的ゆらぎを加えるよ
うにすれば、注目領域中心点が与えられた画像上におけ
る所定被写体候補の位置まで移動する際に、所定被写体
候補とは異なる物体上等の所定被写体候補以外の位置に
停止しそうな場合にも、この注目領域中心点が停止する
ことを防止することができる。
【００４０】また、ニューラルネットワークを使用し、
ニューロンの特性にアニーリング法を適用して一時的に
熱的ゆらぎを強く加えその後徐々に熱的ゆらぎを小さく
していくようにすれば、注目領域中心点が所定被写体候
補とは異なる物体上等の所定被写体候補以外の位置に停
止してしまった場合にも、この注目領域中心点を所定被
写体候補とは異なる物体上等の所定被写体候補以外の位
置から移動させることができる。
ニューロンの特性にアニーリング法を適用して一時的に
熱的ゆらぎを強く加えその後徐々に熱的ゆらぎを小さく
していくようにすれば、注目領域中心点が所定被写体候
補とは異なる物体上等の所定被写体候補以外の位置に停
止してしまった場合にも、この注目領域中心点を所定被
写体候補とは異なる物体上等の所定被写体候補以外の位
置から移動させることができる。
【００４１】また、所定被写体候補の輪郭線の注目領域
の中心点に対する放射方向の位置に応じて注目領域の大
きさを変化させれば、画像中に非常に大きさが異なる所
定被写体候補が含まれている場合であっても、全ての所
定被写体候補を抽出することが可能となる。
の中心点に対する放射方向の位置に応じて注目領域の大
きさを変化させれば、画像中に非常に大きさが異なる所
定被写体候補が含まれている場合であっても、全ての所
定被写体候補を抽出することが可能となる。
【００４２】さらに、所定被写体候補の輪郭線の注目領
域の中心点に対する放射方向の位置に応じて注目領域移
動ベクトルの大きさを変化させれば、よりす速く注目領
域を所定被写体候補の位置へ移動することができ、ま
た、注目領域が所定被写体候補に近づいた際には、注目
領域をよりゆっくりと移動させることもできるため、よ
り効率良く所定被写体候補の抽出を行うことができる。
域の中心点に対する放射方向の位置に応じて注目領域移
動ベクトルの大きさを変化させれば、よりす速く注目領
域を所定被写体候補の位置へ移動することができ、ま
た、注目領域が所定被写体候補に近づいた際には、注目
領域をよりゆっくりと移動させることもできるため、よ
り効率良く所定被写体候補の抽出を行うことができる。
【００４３】さらに、本発明による被写体抽出装置は、
上述した本発明による被写体抽出装置に示した抽出手段
等により、画像から所定被写体候補を抽出し、この抽出
後、画像の所定被写体候補が抽出された領域について再
抽出防止処理を施すようにした。このため、同一画像中
に所定被写体候補が複数存在する場合でも、一度抽出し
た所定被写体候補を再度抽出してしまうことを防ぐこと
ができる。
上述した本発明による被写体抽出装置に示した抽出手段
等により、画像から所定被写体候補を抽出し、この抽出
後、画像の所定被写体候補が抽出された領域について再
抽出防止処理を施すようにした。このため、同一画像中
に所定被写体候補が複数存在する場合でも、一度抽出し
た所定被写体候補を再度抽出してしまうことを防ぐこと
ができる。
【００４４】また、再抽出防止処理を、マスキングまた
はニューラルネットワークに疲れの項を導入することに
より行うようにしても、一度抽出した物体を再度抽出す
ることを防止することが可能である。
はニューラルネットワークに疲れの項を導入することに
より行うようにしても、一度抽出した物体を再度抽出す
ることを防止することが可能である。
【００４５】さらに、本発明による被写体抽出装置は、
前述したような注目領域の範囲の画像を切り出し、この
切り出された画像から注目領域の中心点を移動させる注
目領域移動ベクトルを合成し、この注目領域移動ベクト
ルにより注目領域中心点を移動させて、注目領域中心点
が停止したときに、この注目領域の範囲内に所定被写体
候補が含まれているか否かを判断して、所定被写体候補
が含まれているときにはこの所定被写体候補を抽出する
被写体抽出装置において、所定被写体候補の抽出後およ
び判断の結果注目領域の範囲内に所定被写体候補が含ま
れなかったときに、注目領域の中心点を他の位置に移動
して、移動した位置から再度注目領域中心点を移動させ
るようにしたものである。このため、注目領域中心点が
停止してしまった際においても、その停止した状態から
脱出して、再度所定被写体候補の探索を行うことができ
る。
前述したような注目領域の範囲の画像を切り出し、この
切り出された画像から注目領域の中心点を移動させる注
目領域移動ベクトルを合成し、この注目領域移動ベクト
ルにより注目領域中心点を移動させて、注目領域中心点
が停止したときに、この注目領域の範囲内に所定被写体
候補が含まれているか否かを判断して、所定被写体候補
が含まれているときにはこの所定被写体候補を抽出する
被写体抽出装置において、所定被写体候補の抽出後およ
び判断の結果注目領域の範囲内に所定被写体候補が含ま
れなかったときに、注目領域の中心点を他の位置に移動
して、移動した位置から再度注目領域中心点を移動させ
るようにしたものである。このため、注目領域中心点が
停止してしまった際においても、その停止した状態から
脱出して、再度所定被写体候補の探索を行うことができ
る。
【００４６】また、注目領域中心点が画像における所定
被写体候補が存在しない位置に停止した場合には、注目
領域中心点を任意の方向に転移させて、そこからまた新
たに所定被写体候補を探索させることができる。さら
に、注目領域中心点が所定被写体候補の輪郭線上に停止
した場合には、注目領域中心点を輪郭線に沿って転移さ
せれば、所定被写体候補の特徴点である輪郭線の交点等
に注目領域中心点を移動させて所定被写体候補を抽出す
ることができるため、より好ましい。
被写体候補が存在しない位置に停止した場合には、注目
領域中心点を任意の方向に転移させて、そこからまた新
たに所定被写体候補を探索させることができる。さら
に、注目領域中心点が所定被写体候補の輪郭線上に停止
した場合には、注目領域中心点を輪郭線に沿って転移さ
せれば、所定被写体候補の特徴点である輪郭線の交点等
に注目領域中心点を移動させて所定被写体候補を抽出す
ることができるため、より好ましい。
【００４７】さらに、所定被写体候補を抽出した領域
に、再抽出防止処理を施すようにすれば、注目領域中心
点を転移させた際に、一度抽出した所定被写体候補を再
度抽出することが無くなり、より効率良く所定被写体候
補を抽出することができる。
に、再抽出防止処理を施すようにすれば、注目領域中心
点を転移させた際に、一度抽出した所定被写体候補を再
度抽出することが無くなり、より効率良く所定被写体候
補を抽出することができる。
【００４８】また、所定被写体候補の抽出、背景の動き
の補償、再抽出防止処理、注目領域中心点の転移等を、
ニューラルネットワークを用いて行えば多数のニューロ
ンの並列動作により効率良く所定被写体候補の抽出を行
うことができ、本発明の被写体抽出装置を用いたシステ
ムの能力をさらに向上させることが可能となる。
の補償、再抽出防止処理、注目領域中心点の転移等を、
ニューラルネットワークを用いて行えば多数のニューロ
ンの並列動作により効率良く所定被写体候補の抽出を行
うことができ、本発明の被写体抽出装置を用いたシステ
ムの能力をさらに向上させることが可能となる。
【００４９】
【実施例】以下、本発明の実施例について、図面を参照
して説明する。
して説明する。
【００５０】図１は、本発明による被写体抽出方法の基
本的概念を示すブロック図である。なお、本実施例にお
いては、ニューラルネットワークを用いて所定の大きさ
の注目領域の中心点を所定被写体候補の輪郭線、色およ
び動きに基づいて所定被写体候補の位置へ移動させ、こ
の注目領域の中心点を基準として、所定被写体候補の大
きさおよび／または形状に応じて抽出領域を決定するこ
とにより所定被写体候補の抽出を行うものである。
本的概念を示すブロック図である。なお、本実施例にお
いては、ニューラルネットワークを用いて所定の大きさ
の注目領域の中心点を所定被写体候補の輪郭線、色およ
び動きに基づいて所定被写体候補の位置へ移動させ、こ
の注目領域の中心点を基準として、所定被写体候補の大
きさおよび／または形状に応じて抽出領域を決定するこ
とにより所定被写体候補の抽出を行うものである。
【００５１】図１に示すように、本実施例はニューラル
ネットワークを用いて注目領域の移動を繰り返して所定
被写体候補の探索を行う探索ニューラルネット部３と、
注目領域の移動の状態を常にチェックし、注目領域が停
止した場合に、この停止が所定被写体候補の発見による
ものか否かを判断し、必要に応じて所定被写体候補の抽
出を行う注目領域停止処理部４とからなる。
ネットワークを用いて注目領域の移動を繰り返して所定
被写体候補の探索を行う探索ニューラルネット部３と、
注目領域の移動の状態を常にチェックし、注目領域が停
止した場合に、この停止が所定被写体候補の発見による
ものか否かを判断し、必要に応じて所定被写体候補の抽
出を行う注目領域停止処理部４とからなる。
【００５２】まず探索ニューラルネット部３において、
画像上に注目領域の中心点位置および注目領域のサイズ
を設定して、画像から注目領域の範囲の画像を取り込
み、次いで所定被写体候補の動き、輪郭線および色に基
づいて注目領域移動ベクトルを算出し、この注目領域移
動ベクトルを合成し、この合成した注目領域移動ベクト
ルに基づいて、画像上において注目領域を移動させるも
のである。注目領域停止処理部４においては、注目領域
の移動量がチェックされ、注目領域が移動中の場合はま
た新たに注目領域を移動させる旨の信号を探索ニューラ
ルネット部３に入力する。注目領域が停止した場合は注
目領域の停止状況の判断がなされる。この判断は、注目
領域の画像上における停止状況が所定被写体候補発見に
よるものか発見によるものでないかを判断するものであ
る。注目領域停止状況が所定被写体候補の発見によるも
のでない場合は、その位置に注目領域が停止している必
要が無いため、新たな注目領域の位置および注目領域の
サイズを設定する旨の信号を探索ニューラルネット部３
に入力する。探索ニューラルネット部３はこの信号を受
けて、注目領域を再び移動させる。注目領域停止位置が
所定被写体候補の発見によるものである場合は、その所
定被写体候補は切り出され、すなわち抽出され、図１に
示す判定を行う第２のステップ２に引き渡される。
画像上に注目領域の中心点位置および注目領域のサイズ
を設定して、画像から注目領域の範囲の画像を取り込
み、次いで所定被写体候補の動き、輪郭線および色に基
づいて注目領域移動ベクトルを算出し、この注目領域移
動ベクトルを合成し、この合成した注目領域移動ベクト
ルに基づいて、画像上において注目領域を移動させるも
のである。注目領域停止処理部４においては、注目領域
の移動量がチェックされ、注目領域が移動中の場合はま
た新たに注目領域を移動させる旨の信号を探索ニューラ
ルネット部３に入力する。注目領域が停止した場合は注
目領域の停止状況の判断がなされる。この判断は、注目
領域の画像上における停止状況が所定被写体候補発見に
よるものか発見によるものでないかを判断するものであ
る。注目領域停止状況が所定被写体候補の発見によるも
のでない場合は、その位置に注目領域が停止している必
要が無いため、新たな注目領域の位置および注目領域の
サイズを設定する旨の信号を探索ニューラルネット部３
に入力する。探索ニューラルネット部３はこの信号を受
けて、注目領域を再び移動させる。注目領域停止位置が
所定被写体候補の発見によるものである場合は、その所
定被写体候補は切り出され、すなわち抽出され、図１に
示す判定を行う第２のステップ２に引き渡される。
【００５３】なお、上述した探索ニューラルネット部３
においては、人間が視点を移動するのと同様に注目領域
が移動するようにニューラルネットワークが構成され
る。人間の視点の移動は例えば、人間が図２に示すよう
な図形を眺める場合を考えると、過去の研究により注視
点は物体の輪郭や端点上に長時間留まるという報告がな
されており、注視点は図２(b) の点線で囲んだＳ部に留
まるものである。また、眺めた物体を一つの塊として認
識する瞬間には、注視点は輪郭線上にはなく、輪郭線で
囲まれた中心部分に留まることが経験上認識されてい
る。例えば図２(a)のような図形を眺めた場合は注視点
は点線で囲んだＳ部に留まる。すなわち、人間の視点
は、輪郭線に囲まれた物体の中心点、あるいは、線分の
交点や多角形の頂角において安定するということがいえ
る。よって、注目領域周辺にのみ被写体が存在するとき
には、まずその被写体に近づき、ある程度被写体に近づ
いた後は、その被写体の中心もしくは頂角等へと注目領
域の中心点を移動していき、そこで注目領域が安定す
る、というような機能を有するように、ニューラルネッ
トワークを構成すればよい。
においては、人間が視点を移動するのと同様に注目領域
が移動するようにニューラルネットワークが構成され
る。人間の視点の移動は例えば、人間が図２に示すよう
な図形を眺める場合を考えると、過去の研究により注視
点は物体の輪郭や端点上に長時間留まるという報告がな
されており、注視点は図２(b) の点線で囲んだＳ部に留
まるものである。また、眺めた物体を一つの塊として認
識する瞬間には、注視点は輪郭線上にはなく、輪郭線で
囲まれた中心部分に留まることが経験上認識されてい
る。例えば図２(a)のような図形を眺めた場合は注視点
は点線で囲んだＳ部に留まる。すなわち、人間の視点
は、輪郭線に囲まれた物体の中心点、あるいは、線分の
交点や多角形の頂角において安定するということがいえ
る。よって、注目領域周辺にのみ被写体が存在するとき
には、まずその被写体に近づき、ある程度被写体に近づ
いた後は、その被写体の中心もしくは頂角等へと注目領
域の中心点を移動していき、そこで注目領域が安定す
る、というような機能を有するように、ニューラルネッ
トワークを構成すればよい。
【００５４】まず、探索ニューラルネット部３における
物体の輪郭線に基づいて注目領域移動ベクトルを算出す
る部分について説明する。
物体の輪郭線に基づいて注目領域移動ベクトルを算出す
る部分について説明する。
【００５５】図３は、所定被写体候補の輪郭線に基づい
て注目領域移動ベクトルを求めるためのニューラルネッ
トワークの一構成を表す図である。なお、このニューラ
ルネットワークへの入力は、時刻ｔにおける所定の大き
さの注目領域から入力される外画の静止画像である。ま
た、出力は注目領域をどちらへどれだけ移動すべきかと
いう注目領域移動量と移動方向、すなわち、注目領域移
動ベクトルである。この図３に示すニューラルネットワ
ークにおいて、時刻ｔにおける所定被写体候補の方向へ
移動させるための注目領域移動ベクトルが求められる。
て注目領域移動ベクトルを求めるためのニューラルネッ
トワークの一構成を表す図である。なお、このニューラ
ルネットワークへの入力は、時刻ｔにおける所定の大き
さの注目領域から入力される外画の静止画像である。ま
た、出力は注目領域をどちらへどれだけ移動すべきかと
いう注目領域移動量と移動方向、すなわち、注目領域移
動ベクトルである。この図３に示すニューラルネットワ
ークにおいて、時刻ｔにおける所定被写体候補の方向へ
移動させるための注目領域移動ベクトルが求められる。
【００５６】本実施例におけるニューラルネットワーク
の基本構造は階層型であるが、一部の層内ｅ１，ｅ２層
では相互結合もしているため複合型ともいえる。また、
階層型として有名なバックプロパゲーションモデルで
は、各層間の各ニューロン同士はすべて互いに結合して
いる構造がとられるのに対し、このニューラルネットワ
ークでは、各層同士で位置が対応するニューロンと、そ
の近傍のニューロンとの間にのみ結合が限定されている
局所結合型になっている。このため、各層間のシナプス
数を相当低減でき、演算時間の短縮を実現できる。ま
た、相互結合層内の各ニューロン間の結合も同様に、位
置的に近いものどうしの間にのみ存在する。このような
局所的な結合構造は、人間の眼の網膜から脳の１次視覚
野にかけてみられる神経回路と同様の構造となってい
る。
の基本構造は階層型であるが、一部の層内ｅ１，ｅ２層
では相互結合もしているため複合型ともいえる。また、
階層型として有名なバックプロパゲーションモデルで
は、各層間の各ニューロン同士はすべて互いに結合して
いる構造がとられるのに対し、このニューラルネットワ
ークでは、各層同士で位置が対応するニューロンと、そ
の近傍のニューロンとの間にのみ結合が限定されている
局所結合型になっている。このため、各層間のシナプス
数を相当低減でき、演算時間の短縮を実現できる。ま
た、相互結合層内の各ニューロン間の結合も同様に、位
置的に近いものどうしの間にのみ存在する。このような
局所的な結合構造は、人間の眼の網膜から脳の１次視覚
野にかけてみられる神経回路と同様の構造となってい
る。
【００５７】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は画像をニューラルネットワークに入力するａ層、入力
された画像の複素対数座標変換（対数極座標変換）を行
うｂ層、放射方向の各輪郭線を検出するｃ１，ｃ２層、
放射方向の輪郭線の端点を検出するｄ層、円環方向の輪
郭線を選択する相互結合回路網層であるｅ１層および、
放射方向の輪郭線を選択する相互結合回路網層であるｅ
２層、所定被写体候補の円環方向の輪郭線成分と注目領
域中心点との偏心度検出層であるｆ１層、所定被写体候
補の放射方向の輪郭線成分と注目領域中心点との偏心度
検出層であるｆ２層、所定被写体候補の円環方向の方位
ベクトル検出層であるｇ１層、所定被写体候補の放射方
向の方位ベクトル検出層であるｇ２層、検出された円環
方向の方位ベクトルを合成する方位ベクトル合成層であ
るｈ１層、検出された放射方向の方位ベクトルを合成す
る方位ベクトル合成層であるｈ２層、および注目領域の
移動ベクトルを出力するｉ層から構成されている。な
お、本実施例のニューラルネットワークにおいては、ｂ
層以降の各層間あるいは各層内のシナプス結合は、空間
不変（スペースインバリアント）とした。これは、モデ
ルシミュレーションや並列処理の実行容易性を考慮した
ためで、必ずしも空間不変である必要はない。しかし、
空間不変としておくことで、各ニューロンの出力は、シ
ナプス結合マトリックスと前段のニューロン層マトリッ
クスとのコンボリューション（シナプス結合パターンと
のマッチング）演算結果を、非線形関数に通したものに
相当するので、ニューラルネットワークのシミュレーシ
ョンを計算機上で行う場合、計算的な扱いが非常に楽に
なる。
の機能について説明する。このニューラルネットワーク
は画像をニューラルネットワークに入力するａ層、入力
された画像の複素対数座標変換（対数極座標変換）を行
うｂ層、放射方向の各輪郭線を検出するｃ１，ｃ２層、
放射方向の輪郭線の端点を検出するｄ層、円環方向の輪
郭線を選択する相互結合回路網層であるｅ１層および、
放射方向の輪郭線を選択する相互結合回路網層であるｅ
２層、所定被写体候補の円環方向の輪郭線成分と注目領
域中心点との偏心度検出層であるｆ１層、所定被写体候
補の放射方向の輪郭線成分と注目領域中心点との偏心度
検出層であるｆ２層、所定被写体候補の円環方向の方位
ベクトル検出層であるｇ１層、所定被写体候補の放射方
向の方位ベクトル検出層であるｇ２層、検出された円環
方向の方位ベクトルを合成する方位ベクトル合成層であ
るｈ１層、検出された放射方向の方位ベクトルを合成す
る方位ベクトル合成層であるｈ２層、および注目領域の
移動ベクトルを出力するｉ層から構成されている。な
お、本実施例のニューラルネットワークにおいては、ｂ
層以降の各層間あるいは各層内のシナプス結合は、空間
不変（スペースインバリアント）とした。これは、モデ
ルシミュレーションや並列処理の実行容易性を考慮した
ためで、必ずしも空間不変である必要はない。しかし、
空間不変としておくことで、各ニューロンの出力は、シ
ナプス結合マトリックスと前段のニューロン層マトリッ
クスとのコンボリューション（シナプス結合パターンと
のマッチング）演算結果を、非線形関数に通したものに
相当するので、ニューラルネットワークのシミュレーシ
ョンを計算機上で行う場合、計算的な扱いが非常に楽に
なる。
【００５８】まず、このニューラルネットワークに入力
された画像は、ｂ層において注目領域の中心点を極とし
て複素対数座標変換される。このｂ層において画像を複
素対数座標変換することで、ｂ層以降のニューラルネッ
トワークの動作を、画像データの配列と空間不変なシナ
プス結合データ配列とのコンボリューションとして計算
的な扱うことができることになる。
された画像は、ｂ層において注目領域の中心点を極とし
て複素対数座標変換される。このｂ層において画像を複
素対数座標変換することで、ｂ層以降のニューラルネッ
トワークの動作を、画像データの配列と空間不変なシナ
プス結合データ配列とのコンボリューションとして計算
的な扱うことができることになる。
【００５９】ここで、図４に、様々な図形が複素対数座
標変換された結果を示す。複素対数座標変換では、極す
なわち注目領域中心点が所定被写体候補の中心にあれ
ば、図４(a) に示すように同心円状の曲線が水平の直線
に、図４(b) に示すように放射状の線が垂直な直線に、
また三角形は図４(c) に示すような形に変換される。
標変換された結果を示す。複素対数座標変換では、極す
なわち注目領域中心点が所定被写体候補の中心にあれ
ば、図４(a) に示すように同心円状の曲線が水平の直線
に、図４(b) に示すように放射状の線が垂直な直線に、
また三角形は図４(c) に示すような形に変換される。
【００６０】ここで、変換前の空間座標上の点Ｗ（ｘ，
ｙ）を、数学的に複素表現で ｚ＝ｘ＋ｉｙ (1) とすれば、複素対数座標変換された点Ｗ′は Ｗ′＝ｌｎ（ｚ）＝ｌｎ（｜ｚ｜）＋ｊθＺ (2) となる。ここで ｚ＝（ｘ2 ＋ｙ2 ）1/2 (3) θＺ ＝tan -1（ｙ／ｘ） (4) である。すなわち、複素対数座標変換は複素対数座標に
おける距離軸が注目領域中心点からの距離の対数値、方
位軸が注目領域中心点の周囲の角度となるように変換す
ることである。
ｙ）を、数学的に複素表現で ｚ＝ｘ＋ｉｙ (1) とすれば、複素対数座標変換された点Ｗ′は Ｗ′＝ｌｎ（ｚ）＝ｌｎ（｜ｚ｜）＋ｊθＺ (2) となる。ここで ｚ＝（ｘ2 ＋ｙ2 ）1/2 (3) θＺ ＝tan -1（ｙ／ｘ） (4) である。すなわち、複素対数座標変換は複素対数座標に
おける距離軸が注目領域中心点からの距離の対数値、方
位軸が注目領域中心点の周囲の角度となるように変換す
ることである。
【００６１】複素対数座標変換された画像はｃ１，ｃ２
層において、複素対数座標上でそれぞれ円環方向、放射
方向の各輪郭線が抽出される。ｃ１層においては、複素
対数座標変換された画像を、図５(a) に示すようなシナ
プス結合で重み付けられた信号として伝達することによ
って円環方向の、ｃ２層においては、図５(b) に示すよ
うなシナプス結合で重み付けられた信号として伝達する
ことによって放射方向の輪郭線がそれぞれ抽出される。
層において、複素対数座標上でそれぞれ円環方向、放射
方向の各輪郭線が抽出される。ｃ１層においては、複素
対数座標変換された画像を、図５(a) に示すようなシナ
プス結合で重み付けられた信号として伝達することによ
って円環方向の、ｃ２層においては、図５(b) に示すよ
うなシナプス結合で重み付けられた信号として伝達する
ことによって放射方向の輪郭線がそれぞれ抽出される。
【００６２】ここで、複素対数座標の円環方向とある
が、これは複素対数座標の方位軸方向を意味するもので
ある。すなわち、複素対数座標の方位軸は実空間座標の
原点（本発明においては注目領域の中心点）をとりまく
角度を表わしており、実空間座標において原点を中心と
する円は複素対数座標では方位軸に平行な直線となる。
したがって複素対数座標の方位軸を円環方向としたもの
である。また、複素対数座標の距離軸は実空間座標の原
点からの距離を表わしており、実空間座標において原点
を通る放射状の直線は複素対数座標では距離軸に平行な
直線となる。したがって、複素対数座標の距離軸を方位
軸に平行な円環方向に対して放射方向と呼ぶこととす
る。
が、これは複素対数座標の方位軸方向を意味するもので
ある。すなわち、複素対数座標の方位軸は実空間座標の
原点（本発明においては注目領域の中心点）をとりまく
角度を表わしており、実空間座標において原点を中心と
する円は複素対数座標では方位軸に平行な直線となる。
したがって複素対数座標の方位軸を円環方向としたもの
である。また、複素対数座標の距離軸は実空間座標の原
点からの距離を表わしており、実空間座標において原点
を通る放射状の直線は複素対数座標では距離軸に平行な
直線となる。したがって、複素対数座標の距離軸を方位
軸に平行な円環方向に対して放射方向と呼ぶこととす
る。
【００６３】ｄ層においては、放射方向の輪郭線が抽出
されたｃ２層の画像から、ある所定被写体候補が手前に
存在する別の物体に遮ぎられた場合にその境界で発生す
る放射方向の輪郭線端点を抽出する。ｅ１，ｅ２層は、
それぞれ円環方向、放射方向の輪郭線が強調されるよう
な局所相互重み結合を有する相互結合層であり、ｅ１層
において、ｃ１層で検出された円環方向の輪郭線のうち
円環方向に連続性の高い輪郭線、強度の大きな輪郭線が
強調され、連続性の低い独立した輪郭線や弱い輪郭線は
消去される。ｅ１層におけるニューロンの相互結合の重
みは、複素対数座標上のあるニューロンＡの位置を（Ｘ
a ，Ｙa ）、ニューロンＢの位置を（Ｘb ，Ｙb ）とし
た場合、 Ｗab＝(1.0−4.0 ×Ｄx ×（1.0 −Ｄy ×Ｍc)2 ) ×exp (-2.0 ×Ｄx ×（1.0 −Ｄy ×Ｍc)2 ）×exp(-2.0×Ｄy 2 ） (5) ただし Ｄx ＝Ｋx ×｜Ｘa −Ｘb ｜ Ｄy ＝Ｋy ×｜Ｙa −Ｙb ｜ Ｋx ，Ｋy は適当な正の係数、Ｍc は適当な係数 で与えられる値となっている。式(5) は、ニューロン同
士が円環方向には協調性、すなわち正の重みで、放射方
向には抑制性、すなわち負の重みで結合されていること
を示し、また、結合の強さはニューロン間の距離に依存
し、近傍に存在するニューロン同士ほど強い重みで結合
し、離れた位置に存在するニューロンほど重みは弱くな
るという、いわゆる局所相互結合型の内部結合であるこ
とを示している。このような相互結合をもつｅ１層内で
は以下のように輪郭線の強調および消去が行われてい
る。
されたｃ２層の画像から、ある所定被写体候補が手前に
存在する別の物体に遮ぎられた場合にその境界で発生す
る放射方向の輪郭線端点を抽出する。ｅ１，ｅ２層は、
それぞれ円環方向、放射方向の輪郭線が強調されるよう
な局所相互重み結合を有する相互結合層であり、ｅ１層
において、ｃ１層で検出された円環方向の輪郭線のうち
円環方向に連続性の高い輪郭線、強度の大きな輪郭線が
強調され、連続性の低い独立した輪郭線や弱い輪郭線は
消去される。ｅ１層におけるニューロンの相互結合の重
みは、複素対数座標上のあるニューロンＡの位置を（Ｘ
a ，Ｙa ）、ニューロンＢの位置を（Ｘb ，Ｙb ）とし
た場合、 Ｗab＝(1.0−4.0 ×Ｄx ×（1.0 −Ｄy ×Ｍc)2 ) ×exp (-2.0 ×Ｄx ×（1.0 −Ｄy ×Ｍc)2 ）×exp(-2.0×Ｄy 2 ） (5) ただし Ｄx ＝Ｋx ×｜Ｘa −Ｘb ｜ Ｄy ＝Ｋy ×｜Ｙa −Ｙb ｜ Ｋx ，Ｋy は適当な正の係数、Ｍc は適当な係数 で与えられる値となっている。式(5) は、ニューロン同
士が円環方向には協調性、すなわち正の重みで、放射方
向には抑制性、すなわち負の重みで結合されていること
を示し、また、結合の強さはニューロン間の距離に依存
し、近傍に存在するニューロン同士ほど強い重みで結合
し、離れた位置に存在するニューロンほど重みは弱くな
るという、いわゆる局所相互結合型の内部結合であるこ
とを示している。このような相互結合をもつｅ１層内で
は以下のように輪郭線の強調および消去が行われてい
る。
【００６４】ａ層から入力された画像は、所定被写体候
補の輪郭線が途切れていたり背景が複雑であったりする
ため、ｃ１層において抽出されてｅ１層に入力された輪
郭線は図６の画像43に示すように輪郭線が途切れたもの
となっている。この画像43において円環方向にできるだ
け連続するような形でしかも強い興奮を有するニューロ
ン部分は、本来実空間座標上において１つの物体として
存在している可能性が強い部分である。ｅ１層のニュー
ロンは同じ画像内で相互結合しているためこの画像43に
対して協調競合用シナプス結合44で重み付けられた信号
として伝達させると層内での再起的信号の繰返しによ
り、途切れているそれぞれの輪郭線の端点のニューロン
同士が円環方向に互いに協調し合い、興奮領域をつなげ
ようとする。これにより、端点のニューロンに隣接する
ニューロンは画像43a の実線矢印で示す方向に興奮され
ていき、途切れていた輪郭線は徐々に連続するようにな
り、また、協調競合用シナプス結合７の形状により円環
方向に対して多少傾いている輪郭線をつなげることがで
きるため、最終的に円環方向に連続した輪郭線となる。
一方、画像43に見られるような、円環方向に対して連続
性が低く、しかも興奮が弱いニューロン（画像43におけ
る黒点部分）は、１つの物体として存在している可能性
は低い。ｅ１層内のニューロンは、前述したように円環
方向に対しては協調し合うが放射方向に対しては競合し
合うような相互結合となっており、黒点部分のニューロ
ンは強い興奮を有する円環方向の輪郭線のニューロンと
競合し、このニューロンが発する放射方向（破線矢印方
向）への抑制性の信号により抑制されて消去されてしま
う。この結果、ｅ１層に入力された画像43は、円環方向
に連続した輪郭線のみを有する画像43b となる。
補の輪郭線が途切れていたり背景が複雑であったりする
ため、ｃ１層において抽出されてｅ１層に入力された輪
郭線は図６の画像43に示すように輪郭線が途切れたもの
となっている。この画像43において円環方向にできるだ
け連続するような形でしかも強い興奮を有するニューロ
ン部分は、本来実空間座標上において１つの物体として
存在している可能性が強い部分である。ｅ１層のニュー
ロンは同じ画像内で相互結合しているためこの画像43に
対して協調競合用シナプス結合44で重み付けられた信号
として伝達させると層内での再起的信号の繰返しによ
り、途切れているそれぞれの輪郭線の端点のニューロン
同士が円環方向に互いに協調し合い、興奮領域をつなげ
ようとする。これにより、端点のニューロンに隣接する
ニューロンは画像43a の実線矢印で示す方向に興奮され
ていき、途切れていた輪郭線は徐々に連続するようにな
り、また、協調競合用シナプス結合７の形状により円環
方向に対して多少傾いている輪郭線をつなげることがで
きるため、最終的に円環方向に連続した輪郭線となる。
一方、画像43に見られるような、円環方向に対して連続
性が低く、しかも興奮が弱いニューロン（画像43におけ
る黒点部分）は、１つの物体として存在している可能性
は低い。ｅ１層内のニューロンは、前述したように円環
方向に対しては協調し合うが放射方向に対しては競合し
合うような相互結合となっており、黒点部分のニューロ
ンは強い興奮を有する円環方向の輪郭線のニューロンと
競合し、このニューロンが発する放射方向（破線矢印方
向）への抑制性の信号により抑制されて消去されてしま
う。この結果、ｅ１層に入力された画像43は、円環方向
に連続した輪郭線のみを有する画像43b となる。
【００６５】また、ｅ２層においては、ｃ２層で検出さ
れた放射方向の輪郭線のうち放射方向に連続性の高い輪
郭線、強度の大きな輪郭線が強調され、独立した輪郭線
や弱い輪郭線は消去される。ｅ２層におけるニューロン
の相互結合の重みは、式(5)のｘとｙを入れかえた式と
なっており、円環方向には競合性、放射方向には協調性
の重みで結合されている。このため、ｃ２層において抽
出された図７に示す画像45のように、放射方向に連続性
が高く、しかも強い興奮を有するニューロン部分が、協
調競合用シナプス結合46で重み付けられた信号として伝
達されることにより、互いに協調し合い、それぞれの輪
郭線の端点のニューロンに隣接するニューロンが画像45
a の実線矢印で示す方向に興奮されていき、途切れてい
た輪郭線は徐々に連続するようになる。一方、放射方向
に対して連続性が低く、しかも興奮が弱いニューロン
（画像45における黒点部分）は、強い興奮を有する放射
方向の輪郭線のニューロンと競合し、このニューロンが
発する円環方向（破線矢印方向）の抑制性の信号により
抑制されて消されてしまう。この結果、ｅ２層に入力さ
れた画像45は、放射方向に連続した輪郭線のみを有する
画像45b となる。
れた放射方向の輪郭線のうち放射方向に連続性の高い輪
郭線、強度の大きな輪郭線が強調され、独立した輪郭線
や弱い輪郭線は消去される。ｅ２層におけるニューロン
の相互結合の重みは、式(5)のｘとｙを入れかえた式と
なっており、円環方向には競合性、放射方向には協調性
の重みで結合されている。このため、ｃ２層において抽
出された図７に示す画像45のように、放射方向に連続性
が高く、しかも強い興奮を有するニューロン部分が、協
調競合用シナプス結合46で重み付けられた信号として伝
達されることにより、互いに協調し合い、それぞれの輪
郭線の端点のニューロンに隣接するニューロンが画像45
a の実線矢印で示す方向に興奮されていき、途切れてい
た輪郭線は徐々に連続するようになる。一方、放射方向
に対して連続性が低く、しかも興奮が弱いニューロン
（画像45における黒点部分）は、強い興奮を有する放射
方向の輪郭線のニューロンと競合し、このニューロンが
発する円環方向（破線矢印方向）の抑制性の信号により
抑制されて消されてしまう。この結果、ｅ２層に入力さ
れた画像45は、放射方向に連続した輪郭線のみを有する
画像45b となる。
【００６６】次いで、ｆ１層において、ｅ１層の相互結
合層で選択された円環方向の輪郭線から円環方向に対し
てある一定角度傾いた成分が抽出される。すなわち、図
８に示すような円環方向の輪郭線51に対して右上がりの
傾き成分抽出用シナプス結合52および左上がりの傾き成
分抽出用シナプス結合53で重み付けられた信号として伝
達される。この傾き成分抽出用シナプス結合52，53は、
＋成分が並んでいる方向の輪郭線を強め合い、＋と−の
両成分に渡る輪郭線を打ち消し合ってしまうため、この
ようなシナプス結合で円環方向の輪郭線51を重み付けら
れた信号として伝達すると、輪郭線の右上がりの傾き成
分51a および左上がりの傾き成分51b が抽出される。な
お、本実施例においては、傾き成分抽出用シナプス結合
52，53により円環方向輪郭線が複数対数座標の円環方向
に対して20〜30度傾いた成分が抽出される。
合層で選択された円環方向の輪郭線から円環方向に対し
てある一定角度傾いた成分が抽出される。すなわち、図
８に示すような円環方向の輪郭線51に対して右上がりの
傾き成分抽出用シナプス結合52および左上がりの傾き成
分抽出用シナプス結合53で重み付けられた信号として伝
達される。この傾き成分抽出用シナプス結合52，53は、
＋成分が並んでいる方向の輪郭線を強め合い、＋と−の
両成分に渡る輪郭線を打ち消し合ってしまうため、この
ようなシナプス結合で円環方向の輪郭線51を重み付けら
れた信号として伝達すると、輪郭線の右上がりの傾き成
分51a および左上がりの傾き成分51b が抽出される。な
お、本実施例においては、傾き成分抽出用シナプス結合
52，53により円環方向輪郭線が複数対数座標の円環方向
に対して20〜30度傾いた成分が抽出される。
【００６７】一方で、ｆ２層において、ｅ２層の相互結
合層で選択された放射方向の輪郭線から円環方向に対し
てある一定角度傾いた成分が抽出される。すなわち、図
９に示すような放射方向の輪郭線54に対して左上がりの
傾き成分抽出用シナプス結合55および右上がりの傾き成
分抽出用シナプス結合56で重み付けられた信号として伝
達され、輪郭線の左上がりの傾き成分54a および右上が
りの傾き成分54b が抽出される。なお、本実施例におい
ては、傾き成分抽出用シナプス結合55，56により放射方
向輪郭線が複数対数座標の円環方向に対して60〜70度傾
いた成分が抽出される。
合層で選択された放射方向の輪郭線から円環方向に対し
てある一定角度傾いた成分が抽出される。すなわち、図
９に示すような放射方向の輪郭線54に対して左上がりの
傾き成分抽出用シナプス結合55および右上がりの傾き成
分抽出用シナプス結合56で重み付けられた信号として伝
達され、輪郭線の左上がりの傾き成分54a および右上が
りの傾き成分54b が抽出される。なお、本実施例におい
ては、傾き成分抽出用シナプス結合55，56により放射方
向輪郭線が複数対数座標の円環方向に対して60〜70度傾
いた成分が抽出される。
【００６８】次に、以上のようにして求められた輪郭線
の成分からの注目領域移動ベクトルの求め方について説
明する。なお、ここでは簡単のため、ｅ１層以降におけ
る注目領域移動ベクトルの合成について、まず説明す
る。
の成分からの注目領域移動ベクトルの求め方について説
明する。なお、ここでは簡単のため、ｅ１層以降におけ
る注目領域移動ベクトルの合成について、まず説明す
る。
【００６９】図10は本発明の実施例によるニューラルネ
ットワークの図３におけるｅ１層、ｆ１層、ｇ１層、ｈ
１層およびｉ層の部分を抽出し、より詳細に示した図で
ある。
ットワークの図３におけるｅ１層、ｆ１層、ｇ１層、ｈ
１層およびｉ層の部分を抽出し、より詳細に示した図で
ある。
【００７０】図10に示すように、各層間はシナプス結合
によって結合されている。ｅ１層およびｆ１層は、ニュ
ーロンが２次元状に整列した構造になっている。ｅ１層
内で興奮しているニューロンの分布は、ｅ１層内のシナ
プス相互結合によって選択された、所定被写体候補の輪
郭線の円環方向の成分に相当している。
によって結合されている。ｅ１層およびｆ１層は、ニュ
ーロンが２次元状に整列した構造になっている。ｅ１層
内で興奮しているニューロンの分布は、ｅ１層内のシナ
プス相互結合によって選択された、所定被写体候補の輪
郭線の円環方向の成分に相当している。
【００７１】ｅ１層からｆ１Ａ層へと興奮信号を伝達す
るシナプス結合62の重み係数は、ｅ１層内の興奮の分布
のうち、左上がりの傾き成分61のみを伝達しやすいよう
に設定されている。このため、図10においては、ｆ１Ａ
層では、傾き成分61の位置に相当するニューロン群63の
みが興奮する。次いで、ｆ１Ａ層から、方位ベクトルを
検出するために、ｇ１Ａ層へと興奮信号が伝達される。
ｇ１Ａ層は１次元に配列されたニューロン層で、ｆ１Ａ
層の同一方位にあるニューロン群からの信号を受けるよ
うにシナプス結合によって結合されている。この結果、
ニューロン群63の方位に対応する、ｇ１Ａ層のニューロ
ン64が興奮する。このニューロン64の方位と興奮の強さ
が方位ベクトルを表すものである。この際、より好まし
くは、ニューロン群63の方位とニューロン64の方位と
が、一定角度βだけずれる、すなわち位相シフトするよ
うにｆ１Ａ層とｇ１Ａ層との結合を設定するのがよい。
なお、位相シフトにかえて、図11に示すように、ｆ１Ａ
層とｇ１Ａ層との結合は、注目領域から離れた位置に相
当するｆ１Ａ層のニューロンからの結合重みほど、大き
くなるように重みＷを加えるようにしてもよい。また、
位相シフトと重みＷとを併用するようにすれば、より好
ましい。
るシナプス結合62の重み係数は、ｅ１層内の興奮の分布
のうち、左上がりの傾き成分61のみを伝達しやすいよう
に設定されている。このため、図10においては、ｆ１Ａ
層では、傾き成分61の位置に相当するニューロン群63の
みが興奮する。次いで、ｆ１Ａ層から、方位ベクトルを
検出するために、ｇ１Ａ層へと興奮信号が伝達される。
ｇ１Ａ層は１次元に配列されたニューロン層で、ｆ１Ａ
層の同一方位にあるニューロン群からの信号を受けるよ
うにシナプス結合によって結合されている。この結果、
ニューロン群63の方位に対応する、ｇ１Ａ層のニューロ
ン64が興奮する。このニューロン64の方位と興奮の強さ
が方位ベクトルを表すものである。この際、より好まし
くは、ニューロン群63の方位とニューロン64の方位と
が、一定角度βだけずれる、すなわち位相シフトするよ
うにｆ１Ａ層とｇ１Ａ層との結合を設定するのがよい。
なお、位相シフトにかえて、図11に示すように、ｆ１Ａ
層とｇ１Ａ層との結合は、注目領域から離れた位置に相
当するｆ１Ａ層のニューロンからの結合重みほど、大き
くなるように重みＷを加えるようにしてもよい。また、
位相シフトと重みＷとを併用するようにすれば、より好
ましい。
【００７２】同様に、右上がりの傾き成分60の興奮もｆ
１Ｂ層からｇ１Ｂ層へと伝達され、方位ベクトルを表す
ニューロン66が興奮する。この場合も好ましくは、位相
シフトβおよび／または重みＷとを加えるとよい。
１Ｂ層からｇ１Ｂ層へと伝達され、方位ベクトルを表す
ニューロン66が興奮する。この場合も好ましくは、位相
シフトβおよび／または重みＷとを加えるとよい。
【００７３】次に、このようにしてｇ１Ａ層およびｇ１
Ｂ層において求められた方位ベクトルはｈ１層において
合成されてｉ層において注目領域移動ベクトルが決定さ
れる。この注目領域移動ベクトルの合成は極座標上で行
なっても実空間座標上で行なってもかまわないものであ
り、図10では実空間座標上で合成した場合を示す。ニュ
ーロン64，66からの興奮は、逆複素対数座標変換されな
がらｉ層に伝達される。ｉ層では各方位ベクトルの重心
が求められ、これが合成された注目領域移動ベクトルと
して出力される。なお、ここでｉ層への入力は、主要被
写体の中心へ向かう方位ベクトルの検出とその合成のみ
を説明してきたが、実際にはｉ層には、主要被写体の輪
郭の集中点に向かう方位ベクトルも入力され、後述する
ように適切に合成される。
Ｂ層において求められた方位ベクトルはｈ１層において
合成されてｉ層において注目領域移動ベクトルが決定さ
れる。この注目領域移動ベクトルの合成は極座標上で行
なっても実空間座標上で行なってもかまわないものであ
り、図10では実空間座標上で合成した場合を示す。ニュ
ーロン64，66からの興奮は、逆複素対数座標変換されな
がらｉ層に伝達される。ｉ層では各方位ベクトルの重心
が求められ、これが合成された注目領域移動ベクトルと
して出力される。なお、ここでｉ層への入力は、主要被
写体の中心へ向かう方位ベクトルの検出とその合成のみ
を説明してきたが、実際にはｉ層には、主要被写体の輪
郭の集中点に向かう方位ベクトルも入力され、後述する
ように適切に合成される。
【００７４】以下、上述した所定被写体候補の輪郭線に
基づいて求められた注目領域移動ベクトルがいかにして
注目領域を所定被写体候補の方向へと移動させるかにつ
いて説明する。
基づいて求められた注目領域移動ベクトルがいかにして
注目領域を所定被写体候補の方向へと移動させるかにつ
いて説明する。
【００７５】図12は注目領域の中心点が所定被写体候補
の外側から、所定被写体候補の中心点に移動する状態を
複素対数座標と実空間座標とを対応させて表した図であ
る。なお、ここでは簡単のため所定被写体候補を円形と
して、この円に向かう注目領域中心点の移動について説
明する。
の外側から、所定被写体候補の中心点に移動する状態を
複素対数座標と実空間座標とを対応させて表した図であ
る。なお、ここでは簡単のため所定被写体候補を円形と
して、この円に向かう注目領域中心点の移動について説
明する。
【００７６】まず、図12(a) に示すように、注目領域73
に所定被写体候補71の１部分が入っている場合、図12
(a) の複素対数座標において、複素対数座標変換された
所定被写体候補71′の輪郭線のうち一定角度αおよび−
α傾いた成分がｆ１層において検出される。この一定角
度αは、ｆ１層において抽出された円環方向の輪郭線が
円環方向に対してなす角度であり、円環方向に対して右
上がりを正、左上がりを負としたものである。この一定
角度αおよび−α傾いた成分がｇ１層において方位ベク
トル74，74（実空間座標においては方位ベクトル72，7
2）として検出される。ここで、注目領域中心点Ｑをよ
り一層所定被写体候補中心点Ｏに移動し易くするため一
定角度αの方位ベクトルに対しては＋βの、一定角度−
αの方位ベクトルに対しては−βの位相シフトを加える
とともに、注目領域中心点から一定角度α，−α傾いた
成分までの距離に応じた重みを加え、実空間座標におけ
る方位ベクトル74′，74′を得る。方位ベクトル74′，
74′が得られると、ｈ１層においてこれらの合成ベクト
ルが求められ、この合成ベクトルが注目領域移動ベクト
ル75となる。注目領域移動ベクトル75が求められると、
注目領域73は注目領域移動ベクトル75に従って移動し、
図12(b) に示す状態となる。
に所定被写体候補71の１部分が入っている場合、図12
(a) の複素対数座標において、複素対数座標変換された
所定被写体候補71′の輪郭線のうち一定角度αおよび−
α傾いた成分がｆ１層において検出される。この一定角
度αは、ｆ１層において抽出された円環方向の輪郭線が
円環方向に対してなす角度であり、円環方向に対して右
上がりを正、左上がりを負としたものである。この一定
角度αおよび−α傾いた成分がｇ１層において方位ベク
トル74，74（実空間座標においては方位ベクトル72，7
2）として検出される。ここで、注目領域中心点Ｑをよ
り一層所定被写体候補中心点Ｏに移動し易くするため一
定角度αの方位ベクトルに対しては＋βの、一定角度−
αの方位ベクトルに対しては−βの位相シフトを加える
とともに、注目領域中心点から一定角度α，−α傾いた
成分までの距離に応じた重みを加え、実空間座標におけ
る方位ベクトル74′，74′を得る。方位ベクトル74′，
74′が得られると、ｈ１層においてこれらの合成ベクト
ルが求められ、この合成ベクトルが注目領域移動ベクト
ル75となる。注目領域移動ベクトル75が求められると、
注目領域73は注目領域移動ベクトル75に従って移動し、
図12(b) に示す状態となる。
【００７７】図12(b) に示すように、所定被写体候補71
と注目領域中心点Ｑとがある程度近づき、注目領域73内
に所定被写体候補71が入ってくると、一定角度αおよび
−α傾いた点はそれぞれ２つずつ検出され、これに従い
方位ベクトル74も４種類検出される。この場合も、図12
(a) に示した場合と同様に、それぞれの方位ベクトル74
に対して位相シフト＋βおよび−βと、重み付けを加え
て注目領域移動ベクトル75が得られ、注目領域中心点Ｑ
はこの注目領域移動ベクトル75に従って移動し、図12
(c) に示す状態となる。
と注目領域中心点Ｑとがある程度近づき、注目領域73内
に所定被写体候補71が入ってくると、一定角度αおよび
−α傾いた点はそれぞれ２つずつ検出され、これに従い
方位ベクトル74も４種類検出される。この場合も、図12
(a) に示した場合と同様に、それぞれの方位ベクトル74
に対して位相シフト＋βおよび−βと、重み付けを加え
て注目領域移動ベクトル75が得られ、注目領域中心点Ｑ
はこの注目領域移動ベクトル75に従って移動し、図12
(c) に示す状態となる。
【００７８】以下、図12(c) に示す状態においても同様
に注目領域移動ベクトル75が得られ、注目領域中心点Ｑ
は図12(d) に示す状態に移動し、最終的に、注目領域中
心点Ｑと所定被写体候補71の中心点Ｏが一致した状態で
注目領域中心点Ｑは停止する。
に注目領域移動ベクトル75が得られ、注目領域中心点Ｑ
は図12(d) に示す状態に移動し、最終的に、注目領域中
心点Ｑと所定被写体候補71の中心点Ｏが一致した状態で
注目領域中心点Ｑは停止する。
【００７９】なお、上述した位相シフトβの値は、注目
領域移動ベクトル75が所定被写体候補71の方向に向かう
ように、０度以上90−α度未満に設定される（90−α度
を越えると注目領域移動ベクトル75が所定被写体候補71
とは反対方向に向いてしまうため）。
領域移動ベクトル75が所定被写体候補71の方向に向かう
ように、０度以上90−α度未満に設定される（90−α度
を越えると注目領域移動ベクトル75が所定被写体候補71
とは反対方向に向いてしまうため）。
【００８０】また、上述した方位ベクトル74，72に加え
る重みは、前述した輪郭線の一定角度αおよび−α傾い
た成分から注目領域中心点までの距離に応じて設定さ
れ、注目領域移動ベクトル75が所定被写体候補の中心点
を向くように、距離が離れているほど大きな重みで結合
される。
る重みは、前述した輪郭線の一定角度αおよび−α傾い
た成分から注目領域中心点までの距離に応じて設定さ
れ、注目領域移動ベクトル75が所定被写体候補の中心点
を向くように、距離が離れているほど大きな重みで結合
される。
【００８１】なお、上述した一定角度αの値であるが、
注目領域中心点Ｑが所定被写体候補の外側にある場合
は、αは０度以上90度以下であれば必ずα点が存在する
（αが90度のときは方位ベクトルは所定被写体候補に接
し、α点は１点のみとなる）。逆に、注目領域中心点Ｑ
が所定被写体候補の内側にあるときには、注目領域中心
点Ｑと所定被写体候補の中心点Ｏとの距離およびαの値
によってはα点が存在しない場合がある。実験から所定
被写体候補が円の場合はαが25度のとき、注目領域中心
点Ｑと所定被写体候補の中心点Ｏとの距離が所定被写体
候補の半径の60％程度になると、α点は存在しなくな
る。さらに、αが45度のときは、注目領域中心点Ｑと所
定被写体候補の中心点Ｏとの距離が所定被写体候補の半
径の80％程度で、α点は存在しなくなる。したがって、
αが小さいほど所定被写体候補の中心点Ｏにまで注目領
域中心点Ｑの移動が可能であるが、実際の所定被写体候
補は厳密な円ではなく種々多様な形状をしているため、
抽出する所定被写体候補に応じてαを設定するのが好ま
しく、経験的にいって自然画像に関してはαを20〜30度
前後に設定するのが好ましい。
注目領域中心点Ｑが所定被写体候補の外側にある場合
は、αは０度以上90度以下であれば必ずα点が存在する
（αが90度のときは方位ベクトルは所定被写体候補に接
し、α点は１点のみとなる）。逆に、注目領域中心点Ｑ
が所定被写体候補の内側にあるときには、注目領域中心
点Ｑと所定被写体候補の中心点Ｏとの距離およびαの値
によってはα点が存在しない場合がある。実験から所定
被写体候補が円の場合はαが25度のとき、注目領域中心
点Ｑと所定被写体候補の中心点Ｏとの距離が所定被写体
候補の半径の60％程度になると、α点は存在しなくな
る。さらに、αが45度のときは、注目領域中心点Ｑと所
定被写体候補の中心点Ｏとの距離が所定被写体候補の半
径の80％程度で、α点は存在しなくなる。したがって、
αが小さいほど所定被写体候補の中心点Ｏにまで注目領
域中心点Ｑの移動が可能であるが、実際の所定被写体候
補は厳密な円ではなく種々多様な形状をしているため、
抽出する所定被写体候補に応じてαを設定するのが好ま
しく、経験的にいって自然画像に関してはαを20〜30度
前後に設定するのが好ましい。
【００８２】上述した円形の所定被写体候補の中心点と
注目領域中心点が一致した場合、注目領域の中心に含ま
れる所定被写体候補の輪郭線は複素対数座標上において
は図４(a) に示すように円環方向に対して平行な直線と
なる。すなわち、注目領域中心点を所定被写体候補の中
心に移動することは上述したｅ１層で検出した、円環方
向の輪郭線の成分を、できる限り円環方向に対して平行
な成分の多い状態にすることと等価である。
注目領域中心点が一致した場合、注目領域の中心に含ま
れる所定被写体候補の輪郭線は複素対数座標上において
は図４(a) に示すように円環方向に対して平行な直線と
なる。すなわち、注目領域中心点を所定被写体候補の中
心に移動することは上述したｅ１層で検出した、円環方
向の輪郭線の成分を、できる限り円環方向に対して平行
な成分の多い状態にすることと等価である。
【００８３】次に、ｆ２層、ｇ２層およびｈ２層におけ
る注目領域移動ベクトルの決定と、その注目領域移動ベ
クトルにより注目領域が移動する状態について説明す
る。
る注目領域移動ベクトルの決定と、その注目領域移動ベ
クトルにより注目領域が移動する状態について説明す
る。
【００８４】図13は注目領域が所定被写体候補の輪郭線
の交点へ移動する状態を複素対数座標と実空間座標とを
対応させて表した図である。
の交点へ移動する状態を複素対数座標と実空間座標とを
対応させて表した図である。
【００８５】まず、図13(a) に示すように、注目領域73
に所定被写体候補76の一部分が入ってくると、図13(a)
の複素対数座標において、複素対数座標変換された所定
被写体候補76′の輪郭線のうち一定角度α′および−
α′傾いた成分がｆ２層において検出される。この一定
角度α′は、ｆ２層において抽出された放射方向の輪郭
線が円環方向に対してなす角度であり、円環方向に対し
て右上がりを正、左上がりを負としたものである。この
一定角度α′および−α′傾いた成分がｇ２層において
方位ベクトル77として検出される。ここで、注目領域中
心点Ｑをより一層所定被写体候補76の輪郭線の交点Ｔに
移動し易くするため一定角度α′の方位ベクトルに対し
ては＋β′の、一定角度−α′の方位ベクトルに対して
は−β′の位相シフトを加えるとともに、重みを加え、
実空間座標における方位ベクトル77′を得る。方位ベク
トル77′が得られると、ｈ２層においてこれらの合成ベ
クトルが求められ、この合成ベクトルが注目領域移動ベ
クトル78となり、ｉ層において出力される。注目領域移
動ベクトル78が求められると、注目領域73は注目領域移
動ベクトル78に従って移動し、図13(b) に示す状態とな
る。
に所定被写体候補76の一部分が入ってくると、図13(a)
の複素対数座標において、複素対数座標変換された所定
被写体候補76′の輪郭線のうち一定角度α′および−
α′傾いた成分がｆ２層において検出される。この一定
角度α′は、ｆ２層において抽出された放射方向の輪郭
線が円環方向に対してなす角度であり、円環方向に対し
て右上がりを正、左上がりを負としたものである。この
一定角度α′および−α′傾いた成分がｇ２層において
方位ベクトル77として検出される。ここで、注目領域中
心点Ｑをより一層所定被写体候補76の輪郭線の交点Ｔに
移動し易くするため一定角度α′の方位ベクトルに対し
ては＋β′の、一定角度−α′の方位ベクトルに対して
は−β′の位相シフトを加えるとともに、重みを加え、
実空間座標における方位ベクトル77′を得る。方位ベク
トル77′が得られると、ｈ２層においてこれらの合成ベ
クトルが求められ、この合成ベクトルが注目領域移動ベ
クトル78となり、ｉ層において出力される。注目領域移
動ベクトル78が求められると、注目領域73は注目領域移
動ベクトル78に従って移動し、図13(b) に示す状態とな
る。
【００８６】以下、図13(b) に示す状態においても同様
に注目領域移動ベクトル78が得られ、注目領域中心点Ｑ
は図13(c) ，(d) に示す状態に移動し、最終的に、注目
領域中心点Ｑと所定被写体候補76の輪郭線の交点Ｔが一
致した状態で注目領域中心点Ｑは停止する。
に注目領域移動ベクトル78が得られ、注目領域中心点Ｑ
は図13(c) ，(d) に示す状態に移動し、最終的に、注目
領域中心点Ｑと所定被写体候補76の輪郭線の交点Ｔが一
致した状態で注目領域中心点Ｑは停止する。
【００８７】ここで、上述した一定角度α′の値である
が、頂角の角度が小さく、しかもα′の値が小さい値の
ときは、α′点は２つ、−α′点も２つ存在する。とこ
ろが、α′がある値より大きくなるとα′点は１つ（−
α′点も１つ）しか存在しなくなるがα′が90度未満で
あれば、少なくとも１つのα′点は存在する。α′点が
２つ存在するような条件下では、単に注目領域中心点か
らα′点に向かう方向ベクトルを合成したものが注目領
域を頂角へと移動させる注目領域移動ベクトルであるが
問題となるのはα′点が１つしか存在しないかまたは全
く存在できない場合である。実験により、一定角度α′
の値が小さいと被写体の頂角が大きくなる程α′点が存
在しなくなってしまう。したがって、どのような大きさ
の頂角に対しても注目領域が頂角に向って移動するため
には、まずα′点が存在しなければならない。そこで、
一定角度α′の値は、90度に近い値が好ましいといえ
る。
が、頂角の角度が小さく、しかもα′の値が小さい値の
ときは、α′点は２つ、−α′点も２つ存在する。とこ
ろが、α′がある値より大きくなるとα′点は１つ（−
α′点も１つ）しか存在しなくなるがα′が90度未満で
あれば、少なくとも１つのα′点は存在する。α′点が
２つ存在するような条件下では、単に注目領域中心点か
らα′点に向かう方向ベクトルを合成したものが注目領
域を頂角へと移動させる注目領域移動ベクトルであるが
問題となるのはα′点が１つしか存在しないかまたは全
く存在できない場合である。実験により、一定角度α′
の値が小さいと被写体の頂角が大きくなる程α′点が存
在しなくなってしまう。したがって、どのような大きさ
の頂角に対しても注目領域が頂角に向って移動するため
には、まずα′点が存在しなければならない。そこで、
一定角度α′の値は、90度に近い値が好ましいといえ
る。
【００８８】また、位相シフトβ′の値であるが、図14
に示すように注目領域中心点Ｑと頂角とが同一水平線上
にあり、頂角は水平線を挟んで上下に対称に広がり、か
つα′点が１つしか存在しないような場合には、方位ベ
クトル77の合成ベクトルである注目領域移動ベクトル78
は、頂角とは反対の方向を向いてしまう。このため図15
に示すような位相シフトβ′を加えて、注目領域移動ベ
クトル78が頂角の方向を向くようにするには、少なくと
も方位ベクトル77が注目領域中心点Ｑを通る垂線79の右
側に達するまで位相シフトβ′を加えてやればよい。こ
のβ′の値は、 β′＞α′−Ｃ／２ かつ０＜β′＜90° （但しＣは検出しようとしている頂角の値であり、０＜
Ｃ＜360 °）に設定される。
に示すように注目領域中心点Ｑと頂角とが同一水平線上
にあり、頂角は水平線を挟んで上下に対称に広がり、か
つα′点が１つしか存在しないような場合には、方位ベ
クトル77の合成ベクトルである注目領域移動ベクトル78
は、頂角とは反対の方向を向いてしまう。このため図15
に示すような位相シフトβ′を加えて、注目領域移動ベ
クトル78が頂角の方向を向くようにするには、少なくと
も方位ベクトル77が注目領域中心点Ｑを通る垂線79の右
側に達するまで位相シフトβ′を加えてやればよい。こ
のβ′の値は、 β′＞α′−Ｃ／２ かつ０＜β′＜90° （但しＣは検出しようとしている頂角の値であり、０＜
Ｃ＜360 °）に設定される。
【００８９】このようにして、適当な位相シフトと重み
付けを加えることにより、所定被写体候補76の輪郭線が
いかなる角度で交わっている場合にもその交点へと注目
領域中心点Ｑを移動させることができる。
付けを加えることにより、所定被写体候補76の輪郭線が
いかなる角度で交わっている場合にもその交点へと注目
領域中心点Ｑを移動させることができる。
【００９０】上述した所定被写体候補の頂角と注目領域
中心点が一致した場合に注目領域によって切り出される
所定被写体候補は複素対数座標上においては図４(b) に
示すように放射方向に対して平行な直線となる。すなわ
ち、注目領域中心点を所定被写体候補の頂角に移動する
ことは上述したｅ２層で検出した放射方向の輪郭線の成
分を、できるかぎり放射方向に対して平行な成分の多い
状態にすることと等価である。
中心点が一致した場合に注目領域によって切り出される
所定被写体候補は複素対数座標上においては図４(b) に
示すように放射方向に対して平行な直線となる。すなわ
ち、注目領域中心点を所定被写体候補の頂角に移動する
ことは上述したｅ２層で検出した放射方向の輪郭線の成
分を、できるかぎり放射方向に対して平行な成分の多い
状態にすることと等価である。
【００９１】以上のようにして求められたｈ１層におけ
る注目領域移動ベクトルおよびｈ２層における注目領域
移動ベクトルはｉ層により適切に合成されて出力され
る。以下、ｉ層の機能について説明する。
る注目領域移動ベクトルおよびｈ２層における注目領域
移動ベクトルはｉ層により適切に合成されて出力され
る。以下、ｉ層の機能について説明する。
【００９２】上述したｈ１層において決定される注目領
域移動ベクトルおよびｈ２層において決定される注目領
域移動ベクトルは、情況によりそれぞれ異なる場合があ
る。例えば、注目領域中心点が所定被写体の外側にある
場合には、上述した２種類の注目領域移動ベクトルは同
方向のベクトルとなるが、所定被写体のごく近傍や所定
被写体の内部においては２種類の注目領域移動ベクトル
は異なるものとなってくる。このため、ｈ１層およびｈ
２層で決定されるそれぞれのニューラルネットワークの
出力をバランスよく利用すれば、目的とする所定被写体
に応じた注目領域の移動を行うことができる。例えば、
所定被写体の部分的な特徴形状をとらえて、学習等に利
用したい場合には、ｉ層においてｈ２層のニューラルネ
ットワークの出力を重視し、また、所定被写体の全体を
とらえたい場合には、ｉ層においてｈ１層のニューラル
ネットワークの出力を重視する等すればよい。
域移動ベクトルおよびｈ２層において決定される注目領
域移動ベクトルは、情況によりそれぞれ異なる場合があ
る。例えば、注目領域中心点が所定被写体の外側にある
場合には、上述した２種類の注目領域移動ベクトルは同
方向のベクトルとなるが、所定被写体のごく近傍や所定
被写体の内部においては２種類の注目領域移動ベクトル
は異なるものとなってくる。このため、ｈ１層およびｈ
２層で決定されるそれぞれのニューラルネットワークの
出力をバランスよく利用すれば、目的とする所定被写体
に応じた注目領域の移動を行うことができる。例えば、
所定被写体の部分的な特徴形状をとらえて、学習等に利
用したい場合には、ｉ層においてｈ２層のニューラルネ
ットワークの出力を重視し、また、所定被写体の全体を
とらえたい場合には、ｉ層においてｈ１層のニューラル
ネットワークの出力を重視する等すればよい。
【００９３】上述した所定被写体候補の輪郭線に基づく
注目領域移動ベクトルの算出と並行して、所定被写体候
補の動きに基づく注目領域移動ベクトルの算出も行われ
る。
注目領域移動ベクトルの算出と並行して、所定被写体候
補の動きに基づく注目領域移動ベクトルの算出も行われ
る。
【００９４】動画の場合には、背景に対し、動いている
物体が所定被写体候補となり得る可能性が高い。そこ
で、背景をキャンセルし、動いている物体のみを抽出し
て注目領域を移動させることにより的確に所定被写体候
補の抽出を行うことができる。
物体が所定被写体候補となり得る可能性が高い。そこ
で、背景をキャンセルし、動いている物体のみを抽出し
て注目領域を移動させることにより的確に所定被写体候
補の抽出を行うことができる。
【００９５】以下、探索ニューラルネット部３における
物体の動きに基づく注目領域移動ベクトルの算出につい
て説明する。
物体の動きに基づく注目領域移動ベクトルの算出につい
て説明する。
【００９６】図16は、物体の動きに基づいて注目領域移
動ベクトルの算出の基本的概念を表すブロック図であ
る。なお、本実施例はニューラルネットワークを用いて
画像から所定被写体候補であるヨットの候補を抽出する
ものとする。
動ベクトルの算出の基本的概念を表すブロック図であ
る。なお、本実施例はニューラルネットワークを用いて
画像から所定被写体候補であるヨットの候補を抽出する
ものとする。
【００９７】図16に示すように、本実施例はニューラル
ネットワークのステップＡにおいて、画像上に注目領域
の中心点位置を設定して画像から注目領域の範囲の画像
を取り込み、次いでステップＢにおいて画像の動き、す
なわち画像の画像面に平行な方向、面内回転方向および
／または放射方向の動きを検出し、ステップＣにおいて
背景の動きをキャンセル（補償）する。さらに、ステッ
プＤにおいて、背景と異なる動きをしている物体、すな
わち所定被写体候補を検出し、ステップＥにおいてこの
異なる動きをしている物体に注目領域を移動させるもの
である。
ネットワークのステップＡにおいて、画像上に注目領域
の中心点位置を設定して画像から注目領域の範囲の画像
を取り込み、次いでステップＢにおいて画像の動き、す
なわち画像の画像面に平行な方向、面内回転方向および
／または放射方向の動きを検出し、ステップＣにおいて
背景の動きをキャンセル（補償）する。さらに、ステッ
プＤにおいて、背景と異なる動きをしている物体、すな
わち所定被写体候補を検出し、ステップＥにおいてこの
異なる動きをしている物体に注目領域を移動させるもの
である。
【００９８】ここで、画像の動きについて説明する。画
像の動きは、以下の３種類の動きに相当するものであ
る。すなわち、 (1) 視線に垂直な面内での画像面に平行な動き（眼球運
動、または画像入力器（カメラ等）が視線方向と垂直に
移動するような動作に相当） (2) 注視点を中心に拡大または縮小する動き（画像入力
器が視線方向に沿って外界に近づくまたは遠ざかる動作
に相当） (3) 視線を軸に右または左に回転する動き（画像入力器
が視線方向を軸として回転する動作に相当） に相当するものである。逆に、どのような動きもこの３
種類の動きに分類できるものである。
像の動きは、以下の３種類の動きに相当するものであ
る。すなわち、 (1) 視線に垂直な面内での画像面に平行な動き（眼球運
動、または画像入力器（カメラ等）が視線方向と垂直に
移動するような動作に相当） (2) 注視点を中心に拡大または縮小する動き（画像入力
器が視線方向に沿って外界に近づくまたは遠ざかる動作
に相当） (3) 視線を軸に右または左に回転する動き（画像入力器
が視線方向を軸として回転する動作に相当） に相当するものである。逆に、どのような動きもこの３
種類の動きに分類できるものである。
【００９９】図17は、上述した画像の動きを検出するニ
ューラルネットワークの一構成を表す図である。
ューラルネットワークの一構成を表す図である。
【０１００】このニューラルネットワークの入力は、所
定の大きさの注目領域から入力される外界の画像であ
る。また、出力は画像の移動方向を表す信号である。な
お、上述した平行な動きは実空間においてスペースイン
バリアントであるため、動きの検出は実空間で行うのが
好ましい。一方、拡大または縮小する動き、回転する動
きについては、実空間ではスペースバリアントだが、複
素対数座標空間に変換してやるとスペースインバリアン
トとして扱うことができるため、これらの動きの検出は
複素対数座標空間で行うのが好ましい。
定の大きさの注目領域から入力される外界の画像であ
る。また、出力は画像の移動方向を表す信号である。な
お、上述した平行な動きは実空間においてスペースイン
バリアントであるため、動きの検出は実空間で行うのが
好ましい。一方、拡大または縮小する動き、回転する動
きについては、実空間ではスペースバリアントだが、複
素対数座標空間に変換してやるとスペースインバリアン
トとして扱うことができるため、これらの動きの検出は
複素対数座標空間で行うのが好ましい。
【０１０１】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は、画像の平行な動きを検出するニューラルネットワー
ク10と、拡大または縮小の動きおよび回転の動きを検出
するニューラルネットワーク20とに分けられる。また、
本実施例におけるニューラルネットワークの基本構造は
階層型である。画像の平行な動きを検出するニューラル
ネットワーク10は、所定の大きさの注目領域を有し、こ
の注目領域の大きさに画像を切り出してニューラルネッ
トワークに入力するＡ１層、切り出した画像に時間遅れ
を加えるＡ２層、Ａ１層において切り出された画像中に
存在する被写体の輪郭線を検出するＣ１層、Ａ２層にお
ける画像中に存在する被写体の輪郭線を検出するＣ２
層、Ｃ１層において輪郭線が検出された画像とＣ２層に
おいて輪郭線が検出された画像との差分を求めるＤ１
層、Ｄ１層において求められた差分から、所定の方向の
成分だけを抽出するＥ１，Ｅ２，Ｅ３，Ｅ４層およびＥ
１，Ｅ２，Ｅ３，Ｅ４層において抽出された輪郭線の成
分に基づいて、画像の動きを平行な動きの方位として出
力するＦ１層とから構成されている。
の機能について説明する。このニューラルネットワーク
は、画像の平行な動きを検出するニューラルネットワー
ク10と、拡大または縮小の動きおよび回転の動きを検出
するニューラルネットワーク20とに分けられる。また、
本実施例におけるニューラルネットワークの基本構造は
階層型である。画像の平行な動きを検出するニューラル
ネットワーク10は、所定の大きさの注目領域を有し、こ
の注目領域の大きさに画像を切り出してニューラルネッ
トワークに入力するＡ１層、切り出した画像に時間遅れ
を加えるＡ２層、Ａ１層において切り出された画像中に
存在する被写体の輪郭線を検出するＣ１層、Ａ２層にお
ける画像中に存在する被写体の輪郭線を検出するＣ２
層、Ｃ１層において輪郭線が検出された画像とＣ２層に
おいて輪郭線が検出された画像との差分を求めるＤ１
層、Ｄ１層において求められた差分から、所定の方向の
成分だけを抽出するＥ１，Ｅ２，Ｅ３，Ｅ４層およびＥ
１，Ｅ２，Ｅ３，Ｅ４層において抽出された輪郭線の成
分に基づいて、画像の動きを平行な動きの方位として出
力するＦ１層とから構成されている。
【０１０２】一方、ニューラルネットワーク20は、所定
の大きさの注目領域を有し、この注目領域の大きさに画
像を切り出してニューラルネットワークに入力するＡ３
層、切り出した画像に時間遅れを加えるＡ４層、Ａ３層
において切り出された画像を複素対数座標変換するＢ１
層、Ａ４層における画像を複素対数座標変換するＢ２
層、Ｂ１層において複素対数座標変換された画像中に存
在する被写体の輪郭線を検出するＣ３層、Ｂ２層におい
て複素対数座標変換された画像中に存在する被写体の輪
郭線を検出するＣ４層、Ｃ３層において輪郭線が検出さ
れた画像とＣ２層において輪郭線が検出された画像との
差分を求めるＤ２層、Ｄ２層において求められた差分か
ら、放射方向の成分だけを抽出するＥ５，Ｅ６層、Ｄ２
層において求められた差分から円環方向の成分だけを抽
出するＥ７，Ｅ８層、Ｅ５，Ｅ６層において抽出された
輪郭線の成分に基づいて、画像の動きを拡大または縮小
の動き、すなわち放射方向の方位として出力するＦ２
層、Ｅ７，Ｅ８層において抽出された輪郭線の成分に基
づいて、画像の動きを回転の動きの方位として出力する
Ｆ３層とから構成されている。
の大きさの注目領域を有し、この注目領域の大きさに画
像を切り出してニューラルネットワークに入力するＡ３
層、切り出した画像に時間遅れを加えるＡ４層、Ａ３層
において切り出された画像を複素対数座標変換するＢ１
層、Ａ４層における画像を複素対数座標変換するＢ２
層、Ｂ１層において複素対数座標変換された画像中に存
在する被写体の輪郭線を検出するＣ３層、Ｂ２層におい
て複素対数座標変換された画像中に存在する被写体の輪
郭線を検出するＣ４層、Ｃ３層において輪郭線が検出さ
れた画像とＣ２層において輪郭線が検出された画像との
差分を求めるＤ２層、Ｄ２層において求められた差分か
ら、放射方向の成分だけを抽出するＥ５，Ｅ６層、Ｄ２
層において求められた差分から円環方向の成分だけを抽
出するＥ７，Ｅ８層、Ｅ５，Ｅ６層において抽出された
輪郭線の成分に基づいて、画像の動きを拡大または縮小
の動き、すなわち放射方向の方位として出力するＦ２
層、Ｅ７，Ｅ８層において抽出された輪郭線の成分に基
づいて、画像の動きを回転の動きの方位として出力する
Ｆ３層とから構成されている。
【０１０３】なお、本実施例のニューラルネットワーク
においては、Ｂ層以降の各層間あるいは各層内のシナプ
ス結合は、空間不変（スペースインバリアント）とし
た。これは、モデルシミュレーションや並列処理の実行
容易性を考慮したためで、必ずしも空間不変である必要
はない。しかし、空間不変としておくことで、各ニュー
ロンの出力は、シナプス結合マトリックスと前段のニュ
ーロン層マトリックスとのコンボリューション（シナプ
ス結合パターンとのマッチング）演算結果を、非線形関
数に通したものに相当するので、ニューラルネットワー
クのシミュレーションを計算機上で行う場合、計算的な
扱いが非常に楽になる。
においては、Ｂ層以降の各層間あるいは各層内のシナプ
ス結合は、空間不変（スペースインバリアント）とし
た。これは、モデルシミュレーションや並列処理の実行
容易性を考慮したためで、必ずしも空間不変である必要
はない。しかし、空間不変としておくことで、各ニュー
ロンの出力は、シナプス結合マトリックスと前段のニュ
ーロン層マトリックスとのコンボリューション（シナプ
ス結合パターンとのマッチング）演算結果を、非線形関
数に通したものに相当するので、ニューラルネットワー
クのシミュレーションを計算機上で行う場合、計算的な
扱いが非常に楽になる。
【０１０４】なお、本実施例のニューラルネットワーク
では正のニューロン信号と、正と負のシナプス結合を使
用する。すなわち、正の信号が正の結合を通じて伝達さ
れると、正の興奮信号として伝達され、負の結合を通じ
て伝達されると、負の興奮信号として伝達されるような
ニューラルネットワークモデルであるが、ニューロン信
号は正に限定されるものではなく、ニューロン信号とし
て、正の興奮と負の興奮とがあり、シナプス結合にも正
と負の結合があり、負の信号が負の結合を通じて伝達さ
れると、正の興奮信号として伝達されるようなニューロ
ンモデルを使用してもよいことはもちろんである。
では正のニューロン信号と、正と負のシナプス結合を使
用する。すなわち、正の信号が正の結合を通じて伝達さ
れると、正の興奮信号として伝達され、負の結合を通じ
て伝達されると、負の興奮信号として伝達されるような
ニューラルネットワークモデルであるが、ニューロン信
号は正に限定されるものではなく、ニューロン信号とし
て、正の興奮と負の興奮とがあり、シナプス結合にも正
と負の結合があり、負の信号が負の結合を通じて伝達さ
れると、正の興奮信号として伝達されるようなニューロ
ンモデルを使用してもよいことはもちろんである。
【０１０５】まず、ニューラルネットワーク10の機能に
ついて説明する。最初に、Ａ１層において、図18(a) に
示す時刻ｔにおける所定の大きさの注目領域の範囲の画
像11Ａが切り出される。一方、Ａ２層において、図18
(b) に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像11Ｂが切り出される。ここで時刻ｔ＋αに
おける画像11Ｂは、カメラ等の画像入力器の動きとは逆
の画像面に平行な動きが加わったものであり、画像11Ｂ
は画像11Ａと比較して画像が下から上（画像入力器は上
から下）に動いている。なお、図18(a) ，(b) において
は、各画像の白部は信号強度が大きく、黒部は信号強度
が小さいことを表している。次いでＣ１層，Ｃ２層にお
いて、それぞれＡ１層，Ａ２層において切り出された画
像11Ａ，11Ｂ中に存在する被写体の輪郭線が検出され
る。すなわち、図19に示すような輪郭線抽出シナプス結
合12により画像11Ａ，11Ｂの重み付けられた信号として
伝達され、図20(a) ，(b) の画像13Ａ，13Ｂに示すよう
な画像11Ａ，11Ｂの輪郭線が検出される。
ついて説明する。最初に、Ａ１層において、図18(a) に
示す時刻ｔにおける所定の大きさの注目領域の範囲の画
像11Ａが切り出される。一方、Ａ２層において、図18
(b) に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像11Ｂが切り出される。ここで時刻ｔ＋αに
おける画像11Ｂは、カメラ等の画像入力器の動きとは逆
の画像面に平行な動きが加わったものであり、画像11Ｂ
は画像11Ａと比較して画像が下から上（画像入力器は上
から下）に動いている。なお、図18(a) ，(b) において
は、各画像の白部は信号強度が大きく、黒部は信号強度
が小さいことを表している。次いでＣ１層，Ｃ２層にお
いて、それぞれＡ１層，Ａ２層において切り出された画
像11Ａ，11Ｂ中に存在する被写体の輪郭線が検出され
る。すなわち、図19に示すような輪郭線抽出シナプス結
合12により画像11Ａ，11Ｂの重み付けられた信号として
伝達され、図20(a) ，(b) の画像13Ａ，13Ｂに示すよう
な画像11Ａ，11Ｂの輪郭線が検出される。
【０１０６】次いでＤ１層においてＣ１層で輪郭線が検
出された画像13Ａと、Ｃ２層で輪郭線が検出された画像
13Ｂとの差分、すなわち（画像13Ａ−画像13Ｂ）が行わ
れ、図21に示す画像14が得られる。すなわち、Ｄ１層で
は、Ｃ１層におけるニューロン信号を正の重みで受け取
り、Ｃ２層におけるニューロン信号をすべて負の重みで
受けるようになっている。なお、図９における斜線部
は、信号値が０であることを表している。さらに、Ｅ
１，Ｅ２，Ｅ３，Ｅ４層において、画像面に平行な方向
の動き検出シナプス結合により重み付けられた信号とし
て伝達され、それぞれの方向を表す成分が抽出される。
なお、ここでは簡単のため、図22に示す下から上成分抽
出シナプス結合15と右から左成分抽出シナプス結合16と
により、下から上方向および右から左方向の動きの２成
分のみを抽出するものとする。この下から上成分抽出シ
ナプス結合15と右から左成分抽出シナプス結合16とによ
り画像14の重み付けられた信号として伝達された結果
を、それぞれ図23(a) の画像17Ａ、図23(b) の画像17Ｂ
に示す。Ｅ１，Ｅ２，Ｅ３，Ｅ４層において抽出された
輪郭線の動き成分はＦ１層に入力される。次いでＦ１層
からＦ１’、Ｆ１”にかけてのニューラルネットワーク
によって、どの方向への動きがあったかが検出され、画
像面に平行な方向の動きの方位として出力される。すな
わち、本実施例においては、図23(a) の画像17Ａに示す
ように、下から上成分が最も信号強度が高くなることか
ら、下から上の動きがあったことを示すニューロンＳｘ
からは大きな信号が出力され、右から左方向への動きが
あったことを示すニューロンＳｙからは信号が出力され
ない。
出された画像13Ａと、Ｃ２層で輪郭線が検出された画像
13Ｂとの差分、すなわち（画像13Ａ−画像13Ｂ）が行わ
れ、図21に示す画像14が得られる。すなわち、Ｄ１層で
は、Ｃ１層におけるニューロン信号を正の重みで受け取
り、Ｃ２層におけるニューロン信号をすべて負の重みで
受けるようになっている。なお、図９における斜線部
は、信号値が０であることを表している。さらに、Ｅ
１，Ｅ２，Ｅ３，Ｅ４層において、画像面に平行な方向
の動き検出シナプス結合により重み付けられた信号とし
て伝達され、それぞれの方向を表す成分が抽出される。
なお、ここでは簡単のため、図22に示す下から上成分抽
出シナプス結合15と右から左成分抽出シナプス結合16と
により、下から上方向および右から左方向の動きの２成
分のみを抽出するものとする。この下から上成分抽出シ
ナプス結合15と右から左成分抽出シナプス結合16とによ
り画像14の重み付けられた信号として伝達された結果
を、それぞれ図23(a) の画像17Ａ、図23(b) の画像17Ｂ
に示す。Ｅ１，Ｅ２，Ｅ３，Ｅ４層において抽出された
輪郭線の動き成分はＦ１層に入力される。次いでＦ１層
からＦ１’、Ｆ１”にかけてのニューラルネットワーク
によって、どの方向への動きがあったかが検出され、画
像面に平行な方向の動きの方位として出力される。すな
わち、本実施例においては、図23(a) の画像17Ａに示す
ように、下から上成分が最も信号強度が高くなることか
ら、下から上の動きがあったことを示すニューロンＳｘ
からは大きな信号が出力され、右から左方向への動きが
あったことを示すニューロンＳｙからは信号が出力され
ない。
【０１０７】次いで、ニューラルネットワーク20の機能
について説明する。
について説明する。
【０１０８】まず、カメラ等の画像入力器が画像に接近
しながら、画像の切り出しを行った場合について説明す
る。
しながら、画像の切り出しを行った場合について説明す
る。
【０１０９】まず、最初に、Ａ３層において、図24(a)
に示す時刻ｔにおける所定の大きさの注目領域の範囲の
画像21Ａが切り出される。一方、Ａ４層において、図24
(b)に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像21Ｂが切り出される。ここで時刻ｔ＋αに
おける画像21Ｂは、カメラ等の画像入力器の接近する動
きによって画像が拡大する動きが加わったものであり、
画像21Ｂは画像21Ａと比較して画像が拡大している。次
いでＢ１層，Ｂ２層おいてそれぞれＡ３層，Ａ４層にお
いて切り出された画像21Ａ，21Ｂの複素対数座標変換が
なされ、図25(a) ，(b) に示す画像22Ａ，22Ｂを得る。
に示す時刻ｔにおける所定の大きさの注目領域の範囲の
画像21Ａが切り出される。一方、Ａ４層において、図24
(b)に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像21Ｂが切り出される。ここで時刻ｔ＋αに
おける画像21Ｂは、カメラ等の画像入力器の接近する動
きによって画像が拡大する動きが加わったものであり、
画像21Ｂは画像21Ａと比較して画像が拡大している。次
いでＢ１層，Ｂ２層おいてそれぞれＡ３層，Ａ４層にお
いて切り出された画像21Ａ，21Ｂの複素対数座標変換が
なされ、図25(a) ，(b) に示す画像22Ａ，22Ｂを得る。
【０１１０】次いでＣ３層，Ｃ４層において、それぞれ
Ｂ１層，Ｂ２層において複素対数座標変換された画像22
Ａ，22Ｂ中に存在する被写体の輪郭線が検出される。す
なわち、図19に示した輪郭線抽出シナプス結合12により
画像22Ａ，22Ｂの重み付けられた信号として伝達され、
図26(a) ，(b) の画像23Ａ，23Ｂに示すような画像22
Ａ，22Ｂの輪郭線が検出される。
Ｂ１層，Ｂ２層において複素対数座標変換された画像22
Ａ，22Ｂ中に存在する被写体の輪郭線が検出される。す
なわち、図19に示した輪郭線抽出シナプス結合12により
画像22Ａ，22Ｂの重み付けられた信号として伝達され、
図26(a) ，(b) の画像23Ａ，23Ｂに示すような画像22
Ａ，22Ｂの輪郭線が検出される。
【０１１１】次いでＤ２層においてＣ３層で輪郭線が検
出された画像23Ａと、Ｃ４層で輪郭線が検出された画像
23Ｂとの差分、すなわち（画像23Ａ−画像23Ｂ）が行わ
れ、図27に示す画像24が得られる。さらに、Ｅ５，Ｅ６
層において、放射方向の動き検出シナプス結合により重
み付けられた信号として伝達され、それぞれの方向を表
す成分が抽出される。すなわち、図28に示す拡大方向成
分抽出シナプス結合25と縮小方向成分抽出シナプス結合
26とにより、拡大、縮小による画像の放射方向の動きの
成分を抽出するものである。この拡大方向成分抽出シナ
プス結合25と縮小方向成分抽出シナプス結合26とにより
画像24の重み付けられた信号として伝達された結果を、
それぞれ図29(a) の画像27Ａ、図29(b) の画像27Ｂに示
す。Ｅ５，Ｅ６層において抽出された輪郭線の動き成分
はＦ２層に入力される。次いでＦ２層からＦ２’、Ｆ
２”にかけてのニューラルネットワークによって、どの
方向への動きがあったかが検出され、27Ａ，27Ｂに示す
ように拡大方向成分の強度が高く縮小方向成分がほとん
どないことから、拡大方向への動きがあったことを示す
ニューロンＳｌからは大きな信号が出力され、縮小方向
への動きがあったことを示すニューロンＳｓからは信号
が出力されない。
出された画像23Ａと、Ｃ４層で輪郭線が検出された画像
23Ｂとの差分、すなわち（画像23Ａ−画像23Ｂ）が行わ
れ、図27に示す画像24が得られる。さらに、Ｅ５，Ｅ６
層において、放射方向の動き検出シナプス結合により重
み付けられた信号として伝達され、それぞれの方向を表
す成分が抽出される。すなわち、図28に示す拡大方向成
分抽出シナプス結合25と縮小方向成分抽出シナプス結合
26とにより、拡大、縮小による画像の放射方向の動きの
成分を抽出するものである。この拡大方向成分抽出シナ
プス結合25と縮小方向成分抽出シナプス結合26とにより
画像24の重み付けられた信号として伝達された結果を、
それぞれ図29(a) の画像27Ａ、図29(b) の画像27Ｂに示
す。Ｅ５，Ｅ６層において抽出された輪郭線の動き成分
はＦ２層に入力される。次いでＦ２層からＦ２’、Ｆ
２”にかけてのニューラルネットワークによって、どの
方向への動きがあったかが検出され、27Ａ，27Ｂに示す
ように拡大方向成分の強度が高く縮小方向成分がほとん
どないことから、拡大方向への動きがあったことを示す
ニューロンＳｌからは大きな信号が出力され、縮小方向
への動きがあったことを示すニューロンＳｓからは信号
が出力されない。
【０１１２】次いで画像入力器が、その注目領域の中心
点のまわりに回転をしながら画像取り込みを行った場合
について説明する。
点のまわりに回転をしながら画像取り込みを行った場合
について説明する。
【０１１３】まず、最初に、Ａ３層において、図30(a)
に示す時刻ｔにおける所定の大きさの注目領域の範囲の
画像31Ａが切り出される。一方、Ａ４層において、図30
(b)に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像31Ｂが切り出される。ここで時刻ｔ＋αに
おける画像31Ｂは、カメラ等の画像入力器の回転する動
きにより回転の動きが加わったものであり、画像31Ｂは
画像31Ａと比較して画像が注目領域の中心点のまわりを
右回転している。次いでＢ１層，Ｂ２層おいてそれぞれ
Ａ３層，Ａ４層において切り出された画像31Ａ，31Ｂの
複素対数座標変換がなされ、図31(a) ，(b) に示す画像
32Ａ，32Ｂを得る。次いでＣ３層，Ｃ４層において、そ
れぞれＢ１層，Ｂ２層において複素対数座標変換された
画像32Ａ，32Ｂ中に存在する被写体の輪郭線が検出され
る。すなわち、図19に示した輪郭線抽出シナプス結合12
により画像32Ａ，32Ｂの重み付けられた信号として伝達
され、図32(a) ，(b) の画像33Ａ，33Ｂに示すような画
像32Ａ，32Ｂの輪郭線が検出される。
に示す時刻ｔにおける所定の大きさの注目領域の範囲の
画像31Ａが切り出される。一方、Ａ４層において、図30
(b)に示す時刻ｔ＋αにおける所定の大きさの注目領域
の範囲の画像31Ｂが切り出される。ここで時刻ｔ＋αに
おける画像31Ｂは、カメラ等の画像入力器の回転する動
きにより回転の動きが加わったものであり、画像31Ｂは
画像31Ａと比較して画像が注目領域の中心点のまわりを
右回転している。次いでＢ１層，Ｂ２層おいてそれぞれ
Ａ３層，Ａ４層において切り出された画像31Ａ，31Ｂの
複素対数座標変換がなされ、図31(a) ，(b) に示す画像
32Ａ，32Ｂを得る。次いでＣ３層，Ｃ４層において、そ
れぞれＢ１層，Ｂ２層において複素対数座標変換された
画像32Ａ，32Ｂ中に存在する被写体の輪郭線が検出され
る。すなわち、図19に示した輪郭線抽出シナプス結合12
により画像32Ａ，32Ｂの重み付けられた信号として伝達
され、図32(a) ，(b) の画像33Ａ，33Ｂに示すような画
像32Ａ，32Ｂの輪郭線が検出される。
【０１１４】次いでＤ２層においてＣ３層で輪郭線が検
出された画像33Ａと、Ｃ４層で輪郭線が検出された画像
33Ｂとの差分、すなわち（画像33Ａ−画像33Ｂ）が行わ
れ、図33に示す画像34が得られる。さらに、Ｅ７，Ｅ８
層において、回転方向の動き検出シナプス結合により重
み付けられた信号として伝達され、それぞれの回転方向
を表す成分が抽出される。すなわち、図34に示す右回転
方向成分抽出シナプス結合35と左回転方向成分抽出シナ
プス結合36とにより、下から上方向および右から左方向
の動きの２成分のみを抽出するものとする。この右回転
方向成分抽出シナプス結合35と左回転方向成分抽出シナ
プス結合36とにより画像34の重み付けられた信号として
伝達された結果を、それぞれ図35(a) の画像37Ａ、図35
(b) の画像37Ｂに示す。Ｅ７，Ｅ８層において抽出され
た輪郭線の動き成分はＦ３層に入力される。次いでＦ３
層からＦ３’、Ｆ３”にかけてのニューラルネットワー
クによって、どちらの回転方向の動きがあったかが検出
され、面内回転方向の動きの方位として出力される。す
なわち、本実施例においては、図35(a) ，(b) の画像37
Ａ，37Ｂに示すように右回転方向成分の強度が高く左回
転方向成分がほとんどないことから、右回転の動きがあ
ったことを示すニューロンＳｃｗからは大きな信号が出
力され、左回転の動きがあったことを示すニューロンＳ
ｃｃｗからは信号が出力されない。
出された画像33Ａと、Ｃ４層で輪郭線が検出された画像
33Ｂとの差分、すなわち（画像33Ａ−画像33Ｂ）が行わ
れ、図33に示す画像34が得られる。さらに、Ｅ７，Ｅ８
層において、回転方向の動き検出シナプス結合により重
み付けられた信号として伝達され、それぞれの回転方向
を表す成分が抽出される。すなわち、図34に示す右回転
方向成分抽出シナプス結合35と左回転方向成分抽出シナ
プス結合36とにより、下から上方向および右から左方向
の動きの２成分のみを抽出するものとする。この右回転
方向成分抽出シナプス結合35と左回転方向成分抽出シナ
プス結合36とにより画像34の重み付けられた信号として
伝達された結果を、それぞれ図35(a) の画像37Ａ、図35
(b) の画像37Ｂに示す。Ｅ７，Ｅ８層において抽出され
た輪郭線の動き成分はＦ３層に入力される。次いでＦ３
層からＦ３’、Ｆ３”にかけてのニューラルネットワー
クによって、どちらの回転方向の動きがあったかが検出
され、面内回転方向の動きの方位として出力される。す
なわち、本実施例においては、図35(a) ，(b) の画像37
Ａ，37Ｂに示すように右回転方向成分の強度が高く左回
転方向成分がほとんどないことから、右回転の動きがあ
ったことを示すニューロンＳｃｗからは大きな信号が出
力され、左回転の動きがあったことを示すニューロンＳ
ｃｃｗからは信号が出力されない。
【０１１５】なお、上述したＦ１〜Ｆ１”層，Ｆ２〜Ｆ
２”層およびＦ３〜Ｆ３”層における差分輪郭線成分か
らの画像の動きの検出は、差分輪郭線の情報を、パーセ
プトロン型のニューラルネットワークに繰り返し入力
し、同時に正しい判断を教師信号として与えて学習させ
ることにより達成できる。そしてこれにより画像の動き
の検出の可能なニューラルネットワークに成長させ、さ
まざまな画像からの差分輪郭線から、動きに関する正し
い検出結果を出力として得ることができる。
２”層およびＦ３〜Ｆ３”層における差分輪郭線成分か
らの画像の動きの検出は、差分輪郭線の情報を、パーセ
プトロン型のニューラルネットワークに繰り返し入力
し、同時に正しい判断を教師信号として与えて学習させ
ることにより達成できる。そしてこれにより画像の動き
の検出の可能なニューラルネットワークに成長させ、さ
まざまな画像からの差分輪郭線から、動きに関する正し
い検出結果を出力として得ることができる。
【０１１６】以上のようにして求められた画像全体の動
きから、ステップＣにおいて、時間差αをもつ２つの画
像間に存在する画像全体、すなわち背景の動きの差成分
をキャンセル（補償）することができる。すなわち、検
出された画像の動きの方向と量とに応じて、検出された
動きとは逆方向の動きを加えてやればよい。この背景の
動きをキャンセルするためのフローチャートを図36に示
す。例えば、図18(b)，図24(b) ，図30(b) の画像11
Ｂ，21Ｂ，31Ｂに示した画像に、それぞれの動きの検出
結果である信号Ｓ1 ，Ｓ2 ，Ｓ3 を、この動きとは逆の
方向に加えてやれば、いずれの画像からも、画像全体す
なわち背景の動きがキャンセルされた画像を得ることが
できる。
きから、ステップＣにおいて、時間差αをもつ２つの画
像間に存在する画像全体、すなわち背景の動きの差成分
をキャンセル（補償）することができる。すなわち、検
出された画像の動きの方向と量とに応じて、検出された
動きとは逆方向の動きを加えてやればよい。この背景の
動きをキャンセルするためのフローチャートを図36に示
す。例えば、図18(b)，図24(b) ，図30(b) の画像11
Ｂ，21Ｂ，31Ｂに示した画像に、それぞれの動きの検出
結果である信号Ｓ1 ，Ｓ2 ，Ｓ3 を、この動きとは逆の
方向に加えてやれば、いずれの画像からも、画像全体す
なわち背景の動きがキャンセルされた画像を得ることが
できる。
【０１１７】次いで、ステップＤにおいて、ステップＣ
において画像全体すなわち背景の動きをキャンセルした
時刻ｔ＋αの画像と時刻ｔにおける画像との差分がさら
に求められる。これによって背景の動きとは異なる動き
をしている物体のみが抽出される。すなわち、図37(a)
に示すように、背景の動きがキャンセルされた時刻ｔに
おける画像から輪郭線成分を抽出した画像41Ａ、図37
(b) に示す背景の動きがキャンセルされた時刻ｔ＋αに
おける画像から輪郭線成分を抽出した画像41Ｂとの差分
を求めれば、図38に示すような画像42を得ることができ
る。この画像42中に存在する物体すなわち、本実施例の
画像中におけるヨットが、背景とは異なる動きをしてい
る物体であり、この物体が所定被写体候補となる。
において画像全体すなわち背景の動きをキャンセルした
時刻ｔ＋αの画像と時刻ｔにおける画像との差分がさら
に求められる。これによって背景の動きとは異なる動き
をしている物体のみが抽出される。すなわち、図37(a)
に示すように、背景の動きがキャンセルされた時刻ｔに
おける画像から輪郭線成分を抽出した画像41Ａ、図37
(b) に示す背景の動きがキャンセルされた時刻ｔ＋αに
おける画像から輪郭線成分を抽出した画像41Ｂとの差分
を求めれば、図38に示すような画像42を得ることができ
る。この画像42中に存在する物体すなわち、本実施例の
画像中におけるヨットが、背景とは異なる動きをしてい
る物体であり、この物体が所定被写体候補となる。
【０１１８】次いで、ステップＥにおいて、この背景と
は異なる動きをしている所定被写体候補に向けて注目領
域の移動が行われる。図39はステップＥにおける注目領
域の移動を行うためのフローチャートを表す図である。
ステップＥにおいては、ステップＤにおいて背景と異な
る物体、すなわち所定被写体候補が複数ある場合に、最
も所定被写体らしい所定被写体候補を絞り込み、次いで
この絞り込まれた所定被写体候補に向って注目領域を移
動させるものである。図40は、この所定被写体候補に注
目領域を移動させる機能を有するニューラルネットワー
クの構成を表す図である。このニューラルネットワーク
の構成は図３に示したニューラルネットワークと同一で
あるため、対応する記号に「′」を付し、詳細な説明は
省略する。このニューラルネットワークの入力は図38に
示す画像42、すなわち背景とは異なる動きをしている物
体（所定被写体候補）の輪郭線の画像である。また、出
力は、注目領域をどちらへどれだけ移動すべきかという
注目領域移動量と移動方向である。これを二次元のベク
トルと考え、以下注目領域移動ベクトルと呼ぶ。この注
目領域移動ベクトルの長さは、その注目領域の中心点に
おける不安定さを表わし、ベクトルの示す方向は、より
注目領域が安定な状態に向う方向を示す。
は異なる動きをしている所定被写体候補に向けて注目領
域の移動が行われる。図39はステップＥにおける注目領
域の移動を行うためのフローチャートを表す図である。
ステップＥにおいては、ステップＤにおいて背景と異な
る物体、すなわち所定被写体候補が複数ある場合に、最
も所定被写体らしい所定被写体候補を絞り込み、次いで
この絞り込まれた所定被写体候補に向って注目領域を移
動させるものである。図40は、この所定被写体候補に注
目領域を移動させる機能を有するニューラルネットワー
クの構成を表す図である。このニューラルネットワーク
の構成は図３に示したニューラルネットワークと同一で
あるため、対応する記号に「′」を付し、詳細な説明は
省略する。このニューラルネットワークの入力は図38に
示す画像42、すなわち背景とは異なる動きをしている物
体（所定被写体候補）の輪郭線の画像である。また、出
力は、注目領域をどちらへどれだけ移動すべきかという
注目領域移動量と移動方向である。これを二次元のベク
トルと考え、以下注目領域移動ベクトルと呼ぶ。この注
目領域移動ベクトルの長さは、その注目領域の中心点に
おける不安定さを表わし、ベクトルの示す方向は、より
注目領域が安定な状態に向う方向を示す。
【０１１９】このような所定被写体候補の輪郭線および
動きに基づく注目領域移動ベクトルの算出と並行して、
所定被写体候補の色に基づく注目領域移動ベクトルの算
出も行われる。
動きに基づく注目領域移動ベクトルの算出と並行して、
所定被写体候補の色に基づく注目領域移動ベクトルの算
出も行われる。
【０１２０】図41は所定被写体候補の色に基づいて注目
領域移動ベクトルを求めるニューラルネットワークの一
構成を表わす図である。
領域移動ベクトルを求めるニューラルネットワークの一
構成を表わす図である。
【０１２１】このニューラルネットワークの入力は、本
発明による輪郭線に基づいて注目領域移動ベクトルを算
出する実施例と同様に、時刻ｔにおける所定の大きさの
注目領域から入力される外界の画像である。また、出力
は、注目領域をどらへどれだけ移動すべきかという注目
領域移動量と移動方向である。
発明による輪郭線に基づいて注目領域移動ベクトルを算
出する実施例と同様に、時刻ｔにおける所定の大きさの
注目領域から入力される外界の画像である。また、出力
は、注目領域をどらへどれだけ移動すべきかという注目
領域移動量と移動方向である。
【０１２２】本実施例におけるニューラルネットワーク
の基本構造は、動きに基づいて注目領域移動ベクトルを
算出するニューラルネットワークおよび輪郭線に基づい
て注目領域移動ベクトルを算出するニューラルネットワ
ークと同様に階層型であるが、ｅ″層では相互結合もし
ているため複合型ともいえる。
の基本構造は、動きに基づいて注目領域移動ベクトルを
算出するニューラルネットワークおよび輪郭線に基づい
て注目領域移動ベクトルを算出するニューラルネットワ
ークと同様に階層型であるが、ｅ″層では相互結合もし
ているため複合型ともいえる。
【０１２３】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は上述した所定被写体候補の動きに基づく注目領域移動
ベクトルの算出および輪郭線に基づく注目領域移動ベク
トルの算出の実施例と同様に、大きく３つのステップに
分けられている。
の機能について説明する。このニューラルネットワーク
は上述した所定被写体候補の動きに基づく注目領域移動
ベクトルの算出および輪郭線に基づく注目領域移動ベク
トルの算出の実施例と同様に、大きく３つのステップに
分けられている。
【０１２４】画像上に注目領域中心点の位置を設定し、
この画像から注目領域の範囲の画像を取り込むステップ
は、所定の大きさの注目領域を有しこの注目領域の大き
さに画像を切り出してニューラルネットワークに入力す
るａ″層、および入力された画像の複素対数座標変換
（対数極座標変換）を行うｂ″層から構成される。
この画像から注目領域の範囲の画像を取り込むステップ
は、所定の大きさの注目領域を有しこの注目領域の大き
さに画像を切り出してニューラルネットワークに入力す
るａ″層、および入力された画像の複素対数座標変換
（対数極座標変換）を行うｂ″層から構成される。
【０１２５】入力された画像から所定被写体候補を絞り
込むステップは、所定被写体候補の色と略一致し、各領
域の所定被写体候補の色の一致度を検出するｃ″，
ｄ″，ｅ″層、色の一致度が高く、形状・大きさともに
所定被写体により近い領域を選択する相互結合回路網層
であるｆ″層から構成される。
込むステップは、所定被写体候補の色と略一致し、各領
域の所定被写体候補の色の一致度を検出するｃ″，
ｄ″，ｅ″層、色の一致度が高く、形状・大きさともに
所定被写体により近い領域を選択する相互結合回路網層
であるｆ″層から構成される。
【０１２６】所定被写体候補と注目領域との位置ずれ検
出と、注目領域移動量の算出を行うステップは、所定被
写体候補の色と略一致する領域のニューロン群の領域の
方位と距離の検出層であるｇ″層、検出された方位と距
離とに基づいて、注目領域の移動ベクトルを出力する
ｉ″層から構成されている。なお、本実施例のニューラ
ルネットワークにおいては、上述した実施例と同様に
ｂ″層以降の各層間あるいは各層内のシナプス結合は、
空間不変（スペースインバリアント）とした。
出と、注目領域移動量の算出を行うステップは、所定被
写体候補の色と略一致する領域のニューロン群の領域の
方位と距離の検出層であるｇ″層、検出された方位と距
離とに基づいて、注目領域の移動ベクトルを出力する
ｉ″層から構成されている。なお、本実施例のニューラ
ルネットワークにおいては、上述した実施例と同様に
ｂ″層以降の各層間あるいは各層内のシナプス結合は、
空間不変（スペースインバリアント）とした。
【０１２７】まず、ａ″層において、所定の大きさの注
目領域の範囲の画像が切り出される。ａ″層において
は、注目領域の中心点ほどニューロンが高密度に存在す
る。ａ″層において取り込まれた画像はｂ″層におい
て、注目領域の中心点を極として複素対数座標変換され
る。このｂ″層において、画像を複素対数座標変換する
ことで、ｂ″層以降の処理を空間不変なシナプス結合と
のコンボリューションで実現できることになる。
目領域の範囲の画像が切り出される。ａ″層において
は、注目領域の中心点ほどニューロンが高密度に存在す
る。ａ″層において取り込まれた画像はｂ″層におい
て、注目領域の中心点を極として複素対数座標変換され
る。このｂ″層において、画像を複素対数座標変換する
ことで、ｂ″層以降の処理を空間不変なシナプス結合と
のコンボリューションで実現できることになる。
【０１２８】図42に、図37に示すニューラルネットワー
クのｂ″層において様々な図形が複素対数座標変換され
た結果を示す。複素対数座標変換では、所定被写体候補
が極すなわち注目領域中心点の近くに存在する場合には
相対的に大きく、遠くに存在する場合には相対的に小さ
く変換される。ｂ″層のニューロンは変換された画像パ
ターンの強度に対応して興奮する。
クのｂ″層において様々な図形が複素対数座標変換され
た結果を示す。複素対数座標変換では、所定被写体候補
が極すなわち注目領域中心点の近くに存在する場合には
相対的に大きく、遠くに存在する場合には相対的に小さ
く変換される。ｂ″層のニューロンは変換された画像パ
ターンの強度に対応して興奮する。
【０１２９】複素対数座標変換された画像に対応するニ
ューロンの興奮パターンのｂ″層からｃ″層にかけての
シナプス結合によって、ｃ″層では所定被写体候補の色
と略一致する領域のニューロンが抽出されて発火する。
ここで所定被写体候補の色と略一致する領域のニューロ
ンを抽出するようなシナプス結合は、あらかじめバック
プロパゲーション法などによって学習されたものを使用
する。
ューロンの興奮パターンのｂ″層からｃ″層にかけての
シナプス結合によって、ｃ″層では所定被写体候補の色
と略一致する領域のニューロンが抽出されて発火する。
ここで所定被写体候補の色と略一致する領域のニューロ
ンを抽出するようなシナプス結合は、あらかじめバック
プロパゲーション法などによって学習されたものを使用
する。
【０１３０】本実施例では、所定被写体候補色との一致
度を検出するニューラルネットワークとして、３層構造
のニューラルネットワークを使用した一例について詳細
に説明する。
度を検出するニューラルネットワークとして、３層構造
のニューラルネットワークを使用した一例について詳細
に説明する。
【０１３１】図70は本発明の実施例によるニューラルネ
ットワークの図41におけるｃ″層、ｄ″層およびｅ″層
という部分だけを抽出し、より詳細に示した図である。
ットワークの図41におけるｃ″層、ｄ″層およびｅ″層
という部分だけを抽出し、より詳細に示した図である。
【０１３２】ｃ″層からｅ″層をこの部分だけのものと
して見るとこれは、ｃ″層を入力層、ｄ″層を中間層、
ｅ″層を出力層とする３層のニューラルネットワークに
ほかならない。
して見るとこれは、ｃ″層を入力層、ｄ″層を中間層、
ｅ″層を出力層とする３層のニューラルネットワークに
ほかならない。
【０１３３】ここでｃ″層への入力信号は前段のニュー
ロン層の各ニューロンからの色情報である。ｃ″層では
まず、前段のニューロン層からの色情報を光の３原色
（赤、緑、青）に分解し、それぞれの色情報を各１個の
ニューロンが受け取りそれぞれの入力とする。したがっ
てｃ″層では一画素につき３個のニューロンが割り当て
られているのである。ｃ″層に入力された信号は、シナ
プス結合によって重み付けされて次段のｄ″層へと伝達
される。なおｃ″層からｄ″層へのシナプス結合の重み
をＷ1ij （ｉはｃ″層のニューロン、ｊはｄ″層のニュ
ーロン）で表す。
ロン層の各ニューロンからの色情報である。ｃ″層では
まず、前段のニューロン層からの色情報を光の３原色
（赤、緑、青）に分解し、それぞれの色情報を各１個の
ニューロンが受け取りそれぞれの入力とする。したがっ
てｃ″層では一画素につき３個のニューロンが割り当て
られているのである。ｃ″層に入力された信号は、シナ
プス結合によって重み付けされて次段のｄ″層へと伝達
される。なおｃ″層からｄ″層へのシナプス結合の重み
をＷ1ij （ｉはｃ″層のニューロン、ｊはｄ″層のニュ
ーロン）で表す。
【０１３４】ｄ″層は中間層と呼ばれるニューロン層
で、一般に素子数は実行させる処理の複雑度に応て適宜
選択されるが、ここでは１画素につき５個のニューロン
を割り当てるものとする。したがって一画素につき３個
のニューロンから５個のニューロンへの信号伝達が１５
個のシナプス結合によって実行される。
で、一般に素子数は実行させる処理の複雑度に応て適宜
選択されるが、ここでは１画素につき５個のニューロン
を割り当てるものとする。したがって一画素につき３個
のニューロンから５個のニューロンへの信号伝達が１５
個のシナプス結合によって実行される。
【０１３５】続いて、ｄ″層からｅ″層へと信号伝達が
行なわれる。ｅ″層は３層のニューラルネットワークの
出力層に相当する。このニューラルネットワークは、所
定被写体候補色との一致度を検出するものであり、ある
１画素の所定被写体候補色との一致度は１個のニューロ
ンの興奮度として表現できるので、１画素について１個
のニューロンが割り当てられる。したがってｄ″層から
ｅ″層への信号伝達は１画素あたり５個のシナプス結合
によって実行される。なおｄ″層からｅ″層へのシナプ
ス結合の重みをＷ2ij （ｉはｄ層のニューロン、ｊはｅ
層のニューロン）で表す。
行なわれる。ｅ″層は３層のニューラルネットワークの
出力層に相当する。このニューラルネットワークは、所
定被写体候補色との一致度を検出するものであり、ある
１画素の所定被写体候補色との一致度は１個のニューロ
ンの興奮度として表現できるので、１画素について１個
のニューロンが割り当てられる。したがってｄ″層から
ｅ″層への信号伝達は１画素あたり５個のシナプス結合
によって実行される。なおｄ″層からｅ″層へのシナプ
ス結合の重みをＷ2ij （ｉはｄ層のニューロン、ｊはｅ
層のニューロン）で表す。
【０１３６】実際には上記の様なニューロンやシナプス
の結合は画素の数だけ存在しており、このようなｃ″層
からｅ″層へのニューラルネットワークの信号伝達を、
各画素ごとに同時に並列に実行することが可能である。
なおこのニューラルネットワークでは、実行する処理が
各画素で同一であるため、各画素ごとのニューロンの特
性はもちろんシナプス結合の重みも同一のものを使用す
る。
の結合は画素の数だけ存在しており、このようなｃ″層
からｅ″層へのニューラルネットワークの信号伝達を、
各画素ごとに同時に並列に実行することが可能である。
なおこのニューラルネットワークでは、実行する処理が
各画素で同一であるため、各画素ごとのニューロンの特
性はもちろんシナプス結合の重みも同一のものを使用す
る。
【０１３７】上記のような、所定被写体候補色との一致
度を検出する動作を実行させるためのシナプス結合は、
ニューラルネットワークの学習によって得ることが可能
である。例として、人間の顔の肌色を所定被写体候補の
色とし、ある母集団から抽出した肌色の度数分布が色の
一致度に比例すると定義した場合の、シナプス重みの値
を表１に示す。
度を検出する動作を実行させるためのシナプス結合は、
ニューラルネットワークの学習によって得ることが可能
である。例として、人間の顔の肌色を所定被写体候補の
色とし、ある母集団から抽出した肌色の度数分布が色の
一致度に比例すると定義した場合の、シナプス重みの値
を表１に示す。
【０１３８】
【表１】
【０１３９】学習はバックプロパゲーション法と呼ばれ
る方法を用いて行なうことが可能である。まず、肌色を
始めとする各種の色の３原色値を入力データとし、肌色
の度数分布から決めた色の一致度を教師データとして、
ニューラルネットワークに繰り返し呈示し、実際にニュ
ーラルネットワークが出力してきた値と教師データとの
差に応じて、差が小さくなる方向に徐々にシナプス結合
の重みを書き換えることで学習させ、最終的に与えられ
た入力に対し教師データどおりの値を出力するようにさ
せるのである。
る方法を用いて行なうことが可能である。まず、肌色を
始めとする各種の色の３原色値を入力データとし、肌色
の度数分布から決めた色の一致度を教師データとして、
ニューラルネットワークに繰り返し呈示し、実際にニュ
ーラルネットワークが出力してきた値と教師データとの
差に応じて、差が小さくなる方向に徐々にシナプス結合
の重みを書き換えることで学習させ、最終的に与えられ
た入力に対し教師データどおりの値を出力するようにさ
せるのである。
【０１４０】この、ニューラルネットワークの出力に基
づいて求められた肌色との一致度を図69に示した色度図
に色の等高線として表す。ここで最も肌色に近い色の場
合は、一致度は1.0 となり、以下、肌色から離れるにつ
れて一致度は小さくなる。ここで、色の３原色値のデー
タを色度図上ｘ，ｙ座標として表す演算は以下の式によ
って行われる。
づいて求められた肌色との一致度を図69に示した色度図
に色の等高線として表す。ここで最も肌色に近い色の場
合は、一致度は1.0 となり、以下、肌色から離れるにつ
れて一致度は小さくなる。ここで、色の３原色値のデー
タを色度図上ｘ，ｙ座標として表す演算は以下の式によ
って行われる。
【０１４１】 ｘ＝（1.1302+1.6387r/(r+g+b)+0.6215g/(r+g+b)/ (6.7846-3.0157r/(r+g+b)-0.3857g/(r+g+b) (6) ｙ＝（0.0601+0.9399r/(r+g+b)+4.5306g/(r+g+b)/ (6.7846-3.0157r/(r+g+b)-0.3857g/(r+g+b) (7) 但し、ｒ：赤の色値 ｇ：緑の色値 ｂ：青の色値 このようにして学習されたシナプス結合の重みを用い
て、ｃ″層からｅ″層のニューラルネットワークで、所
定被写体候補の色と抽出された領域との一致度を検出
し、一致度をｅ″層のニューロンの興奮として出力する
ことができる。
て、ｃ″層からｅ″層のニューラルネットワークで、所
定被写体候補の色と抽出された領域との一致度を検出
し、一致度をｅ″層のニューロンの興奮として出力する
ことができる。
【０１４２】さらに続くｆ″層は、所定被写体候補と色
の一致度が高く、しかも形状・大きさともに所定被写体
候補として最も適当である領域が選択されるような競合
協調のともに所定被写体候補として最も適当である領域
が選択されるような競合協調の局所相互重み結合を有す
る相互結合層である。ｆ″層内で各ニューロンは図43の
シナプス結合パターン80に示すように、自分の近くのニ
ューロンとは正の重みで、少し離れたニューロンとは負
の重みでシナプス結合されている。このような内部相互
結合によって興奮信号がやりとりされた結果、ｆ層では
ｄ層で興奮している所定被写体候補の色との一致度が高
いニューロンからの信号を受けたニューロンのうち、所
定の形状・大きさを持ち、しかも高い興奮強度すなわ
ち、色の一致度を有するニューロン群の領域が選択され
発火し、孤立した領域や色の一致度の低い領域のニュー
ロンは発火しない。すなわち、図43に示すｅ層において
抽出された領域81，82，83のうち、領域81の肌色との一
致度が前述した色度図において1.0 、領域82の一致度が
0.9 、領域83の一致度が0.2 であったとすると、領域83
は、領域81および領域82と比べて、肌色との一致度が小
さいため、領域81および領域82と領域83とが競合した際
に抑制されて消されてしまう。一方、領域81と領域82と
は、肌色との一致度は領域81の方が大きいため、領域81
と領域82とが競合することにより、領域82は消されてし
まう。また、領域81は肌色との一致度が大きいため、領
域81内のニューロン同士が協調し合い、より領域81にお
けるニューロンの興奮状態は大きくなる。このため、
ｅ″層において競合協調がなされた結果、領域81のみが
選択されることとなる。
の一致度が高く、しかも形状・大きさともに所定被写体
候補として最も適当である領域が選択されるような競合
協調のともに所定被写体候補として最も適当である領域
が選択されるような競合協調の局所相互重み結合を有す
る相互結合層である。ｆ″層内で各ニューロンは図43の
シナプス結合パターン80に示すように、自分の近くのニ
ューロンとは正の重みで、少し離れたニューロンとは負
の重みでシナプス結合されている。このような内部相互
結合によって興奮信号がやりとりされた結果、ｆ層では
ｄ層で興奮している所定被写体候補の色との一致度が高
いニューロンからの信号を受けたニューロンのうち、所
定の形状・大きさを持ち、しかも高い興奮強度すなわ
ち、色の一致度を有するニューロン群の領域が選択され
発火し、孤立した領域や色の一致度の低い領域のニュー
ロンは発火しない。すなわち、図43に示すｅ層において
抽出された領域81，82，83のうち、領域81の肌色との一
致度が前述した色度図において1.0 、領域82の一致度が
0.9 、領域83の一致度が0.2 であったとすると、領域83
は、領域81および領域82と比べて、肌色との一致度が小
さいため、領域81および領域82と領域83とが競合した際
に抑制されて消されてしまう。一方、領域81と領域82と
は、肌色との一致度は領域81の方が大きいため、領域81
と領域82とが競合することにより、領域82は消されてし
まう。また、領域81は肌色との一致度が大きいため、領
域81内のニューロン同士が協調し合い、より領域81にお
けるニューロンの興奮状態は大きくなる。このため、
ｅ″層において競合協調がなされた結果、領域81のみが
選択されることとなる。
【０１４３】次に、以上のようにして選択された所定被
写体候補の色と一致度の高いニューロン群の発火領域の
成分からの注目領域移動ベクトルの求め方について説明
する。
写体候補の色と一致度の高いニューロン群の発火領域の
成分からの注目領域移動ベクトルの求め方について説明
する。
【０１４４】図44は本発明の実施例によるニューラルネ
ットワークの図41におけるｆ″層、ｇ″層およびｉ″層
の部分を抽出し、より詳細に示した図である。
ットワークの図41におけるｆ″層、ｇ″層およびｉ″層
の部分を抽出し、より詳細に示した図である。
【０１４５】図44に示すように、各層間はシナプス結合
によって結合されている。ｆ″層は、ニューロンが２次
元状に整列した構造になっている。ｆ″層内で興奮して
いるニューロンの分布は、ｅ″層内のシナプス相互結合
によって選択された、所定被写体候補の色との一致度が
高く、しかも形状・大きさともに所定被写体候補として
最も適当である領域の成分に相当している。
によって結合されている。ｆ″層は、ニューロンが２次
元状に整列した構造になっている。ｆ″層内で興奮して
いるニューロンの分布は、ｅ″層内のシナプス相互結合
によって選択された、所定被写体候補の色との一致度が
高く、しかも形状・大きさともに所定被写体候補として
最も適当である領域の成分に相当している。
【０１４６】ｆ″層から、方位と距離とを検出するため
に、ｇ″層へと興奮信号が伝達される。ｇ″層は１次元
に配列されたニューロン層で、ｅ″層の同一方位にある
ニューロン群からの信号を受けるようにシナプス結合に
よって結合されている。この結果、ニューロン群85の方
位と距離に対応する、ｇ″層のニューロン86が興奮す
る。このニューロン86の方位と興奮の強さが方位ベクト
ルを表すものである。
に、ｇ″層へと興奮信号が伝達される。ｇ″層は１次元
に配列されたニューロン層で、ｅ″層の同一方位にある
ニューロン群からの信号を受けるようにシナプス結合に
よって結合されている。この結果、ニューロン群85の方
位と距離に対応する、ｇ″層のニューロン86が興奮す
る。このニューロン86の方位と興奮の強さが方位ベクト
ルを表すものである。
【０１４７】次に、このようにしてｇ″層において求め
られた方位と距離はｉ″層において合成されて注目領域
移動ベクトルが決定される。この注目領域移動ベクトル
の合成は極座標上で行っても実空間座標上で行ってもか
まわないものであり、図44では実空間座標上で合成した
場合を示す。ニューロン86からの興奮は、逆複素対数座
標変換されながらｉ″層に伝達される。ｉ″層では各方
位ベクトルの重心が求められ、これが合成された注目領
域移動ベクトルとして出力される。
られた方位と距離はｉ″層において合成されて注目領域
移動ベクトルが決定される。この注目領域移動ベクトル
の合成は極座標上で行っても実空間座標上で行ってもか
まわないものであり、図44では実空間座標上で合成した
場合を示す。ニューロン86からの興奮は、逆複素対数座
標変換されながらｉ″層に伝達される。ｉ″層では各方
位ベクトルの重心が求められ、これが合成された注目領
域移動ベクトルとして出力される。
【０１４８】ここで、前述した協調競合を行わないニュ
ーラルネットワークにより注目領域移動ベクトルを求め
る場合、複数のベクトルが検出されることがある。この
際、ｅ″層のニューロンに対して前述した図71に示すよ
うな重み、すなわち、注目領域中心点からの距離に応じ
た重みを加えるようにして、１つの注目領域移動ベクト
ルを選択すればよい。
ーラルネットワークにより注目領域移動ベクトルを求め
る場合、複数のベクトルが検出されることがある。この
際、ｅ″層のニューロンに対して前述した図71に示すよ
うな重み、すなわち、注目領域中心点からの距離に応じ
た重みを加えるようにして、１つの注目領域移動ベクト
ルを選択すればよい。
【０１４９】また、協調競合を行っても複数の注目領域
移動ベクトルが検出された場合も、ｅ″層のニューロン
に図71に示すような重みを加えるようにして、１つのベ
クトルのみを選択すればよい。これにより、複数のベク
トルが検出されても、最も適切な対象被写体に向かう注
目領域移動ベクトルを検出でき、また１つの注目領域移
動ベクトルしか検出できなかった場合も、注目領域と対
象被写体との距離が大きければ、注目領域移動ベクトル
の大きさは小さくなる。
移動ベクトルが検出された場合も、ｅ″層のニューロン
に図71に示すような重みを加えるようにして、１つのベ
クトルのみを選択すればよい。これにより、複数のベク
トルが検出されても、最も適切な対象被写体に向かう注
目領域移動ベクトルを検出でき、また１つの注目領域移
動ベクトルしか検出できなかった場合も、注目領域と対
象被写体との距離が大きければ、注目領域移動ベクトル
の大きさは小さくなる。
【０１５０】以下、上述した色に基づいて求められた注
目領域移動ベクトルがいかにして注目領域を所定被写体
候補の方向へと移動させるかについて説明する。
目領域移動ベクトルがいかにして注目領域を所定被写体
候補の方向へと移動させるかについて説明する。
【０１５１】図45，46および47は注目領域の中心点が所
定被写体候補の外側から、所定被写体候補の内部に移動
する状態を複素対数座標と実空間座標とを対応させて表
した図である。
定被写体候補の外側から、所定被写体候補の内部に移動
する状態を複素対数座標と実空間座標とを対応させて表
した図である。
【０１５２】まず、図45に示すように、所定被写体候補
71が注目領域中心点Ｑを含まない場合、所定被写体候補
71は１つのかたまりとして複素対数座標変換され、図45
の複素対数座標において、所定被写体候補の色と略一致
する領域として検出される。さらに、競合協調の相互結
合回路網であるｆ″層において所定被写体候補71′を絞
り込むと、局所的に所定被写体候補の色との一致度が高
く、しかも適当な大きさを有する被写体候補領域のみが
唯一または複数選択される（本実施例においては１
つ）。次いで、選択された領域の方位と距離から注目領
域73の移動ベクトル75が検出され出力される。この注目
領域移動ベクトル75は、所定被写体候補71に向いている
ので、注目領域移動ベクトル75の値に応じて注目領域73
を移動すれば、注目領域中心点Ｑは所定被写体候補71に
近づくことができる。
71が注目領域中心点Ｑを含まない場合、所定被写体候補
71は１つのかたまりとして複素対数座標変換され、図45
の複素対数座標において、所定被写体候補の色と略一致
する領域として検出される。さらに、競合協調の相互結
合回路網であるｆ″層において所定被写体候補71′を絞
り込むと、局所的に所定被写体候補の色との一致度が高
く、しかも適当な大きさを有する被写体候補領域のみが
唯一または複数選択される（本実施例においては１
つ）。次いで、選択された領域の方位と距離から注目領
域73の移動ベクトル75が検出され出力される。この注目
領域移動ベクトル75は、所定被写体候補71に向いている
ので、注目領域移動ベクトル75の値に応じて注目領域73
を移動すれば、注目領域中心点Ｑは所定被写体候補71に
近づくことができる。
【０１５３】次に、図46に示すように、所定被写体候補
71と注目領域中心点Ｑとが、ある程度近づいて、注目領
域71内に所定被写体候補71が入っている場合、複素対数
変換された所定被写体候補71′は、全ての方位に広が
る、所定被写体候補の色との一致度が高い領域として検
出される。この状況で、競合協調の相互結合回路網によ
って所定被写体候補71′を絞り込むと、全方位に広がっ
た同一候補の領域同士が抑制し合い、結果として、所定
被写体候補71′の外縁と注目領域中心点Ｑとの距離が最
大となっている方位のニューロン群だけが興奮でき、こ
のニューロン群を含む領域87が検出される。次いで、そ
の検出された領域87の方位と興奮強度から方位と距離と
が検出され、注目領域73の移動ベクトル75が検出され出
力される。この注目領域移動ベクトル75は、所定被写体
候補71の中心に向いているので、注目領域移動ベクトル
75の値に応じて注目領域73を移動すれば、注目領域中心
点Ｑは所定被写体候補71にさらに近づくことができる。
71と注目領域中心点Ｑとが、ある程度近づいて、注目領
域71内に所定被写体候補71が入っている場合、複素対数
変換された所定被写体候補71′は、全ての方位に広が
る、所定被写体候補の色との一致度が高い領域として検
出される。この状況で、競合協調の相互結合回路網によ
って所定被写体候補71′を絞り込むと、全方位に広がっ
た同一候補の領域同士が抑制し合い、結果として、所定
被写体候補71′の外縁と注目領域中心点Ｑとの距離が最
大となっている方位のニューロン群だけが興奮でき、こ
のニューロン群を含む領域87が検出される。次いで、そ
の検出された領域87の方位と興奮強度から方位と距離と
が検出され、注目領域73の移動ベクトル75が検出され出
力される。この注目領域移動ベクトル75は、所定被写体
候補71の中心に向いているので、注目領域移動ベクトル
75の値に応じて注目領域73を移動すれば、注目領域中心
点Ｑは所定被写体候補71にさらに近づくことができる。
【０１５４】最後に、図47に示すように、所定被写体候
補71が注目領域中心点Ｑとほぼ同じ場所にまで近づいて
いる場合、複素対数変換された所定被写体候補71′は、
全ての方位に均等に広がる、所定被写体候補の色と略一
致する領域として検出される。この状況で、競合協調の
相互結合回路網によって所定被写体候補71を絞り込む
と、全方位に均等に広がった同一候補の領域同士が競合
し合い抑制し合うので、結果として、どの方位の領域も
興奮できない。したがって、次いで検出される方位と距
離は全て０になる。さらに同様に、注目領域73の移動ベ
クトルも長さ０になる。このように、注目領域移動ベク
トルの値に応じて注目領域73を移動すれば、注目領域中
心点Ｑの所定被写体候補71の中心における移動は停止す
る。
補71が注目領域中心点Ｑとほぼ同じ場所にまで近づいて
いる場合、複素対数変換された所定被写体候補71′は、
全ての方位に均等に広がる、所定被写体候補の色と略一
致する領域として検出される。この状況で、競合協調の
相互結合回路網によって所定被写体候補71を絞り込む
と、全方位に均等に広がった同一候補の領域同士が競合
し合い抑制し合うので、結果として、どの方位の領域も
興奮できない。したがって、次いで検出される方位と距
離は全て０になる。さらに同様に、注目領域73の移動ベ
クトルも長さ０になる。このように、注目領域移動ベク
トルの値に応じて注目領域73を移動すれば、注目領域中
心点Ｑの所定被写体候補71の中心における移動は停止す
る。
【０１５５】本発明の実施例によるニューラルネットワ
ークは以上の動作を繰り返し、注目領域中心点を所定被
写体候補の方向へ移動させる。ところが、この注目領域
中心点の移動の途中に所定被写体候補とは異なる物体が
存在する場合には、この物体の位置において、注目領域
中心点が停止してしまう場合がある。これを、画像のポ
テンシャル場について考えると、注目領域中心点が、所
定被写体候補よりも小さな別の物体の極小点にトラップ
されてしまうことである。
ークは以上の動作を繰り返し、注目領域中心点を所定被
写体候補の方向へ移動させる。ところが、この注目領域
中心点の移動の途中に所定被写体候補とは異なる物体が
存在する場合には、この物体の位置において、注目領域
中心点が停止してしまう場合がある。これを、画像のポ
テンシャル場について考えると、注目領域中心点が、所
定被写体候補よりも小さな別の物体の極小点にトラップ
されてしまうことである。
【０１５６】ここで「ポテンシャル場」について説明す
る。人間が、画像を見る際には、画像を見まわして、そ
の画像の中にある所定の被写体の中心に視点を移動し
て、その部分が顔であるということを認識する。画像上
においては、所定被写体から離れた位置では、視点を所
定被写体に向けて大きく動かす必要があり、所定被写体
の近傍では、わずかに視点を動かせば所定被写体に到達
し、その所定被写体において視点は安定する。すなわ
ち、視点を移動する方向と量を視点移動ベクトルとする
と、この視点移動ベクトルは視点が現在ある位置からみ
た視点安定点の方向と、移動量を示すものであり、視点
安定点、すなわち所定被写体の中心点においては、視点
移動ベクトルは０となる。ここで画像に視点安定度の
「場」というものがあると考えると、視点安定点ではそ
の「場」は平坦であり、視点移動の必要な不安定点では
「場」は傾いている。このように、視点移動ベクトルは
「場」の傾きを表現していると見なすことができ、視点
の移動は「場」のポテンシャルの低い方へと移動する動
作に等しいと見なすことができる。この視点安定度の
「場」を「ポテンシャル場」として、以後用いることと
する。
る。人間が、画像を見る際には、画像を見まわして、そ
の画像の中にある所定の被写体の中心に視点を移動し
て、その部分が顔であるということを認識する。画像上
においては、所定被写体から離れた位置では、視点を所
定被写体に向けて大きく動かす必要があり、所定被写体
の近傍では、わずかに視点を動かせば所定被写体に到達
し、その所定被写体において視点は安定する。すなわ
ち、視点を移動する方向と量を視点移動ベクトルとする
と、この視点移動ベクトルは視点が現在ある位置からみ
た視点安定点の方向と、移動量を示すものであり、視点
安定点、すなわち所定被写体の中心点においては、視点
移動ベクトルは０となる。ここで画像に視点安定度の
「場」というものがあると考えると、視点安定点ではそ
の「場」は平坦であり、視点移動の必要な不安定点では
「場」は傾いている。このように、視点移動ベクトルは
「場」の傾きを表現していると見なすことができ、視点
の移動は「場」のポテンシャルの低い方へと移動する動
作に等しいと見なすことができる。この視点安定度の
「場」を「ポテンシャル場」として、以後用いることと
する。
【０１５７】ここで例えば図48(a) に示すような所定被
写体候補である鳥が電線に止まっている状態の画像のポ
テンシャル場について考えると、画像88のI-I 線におけ
るポテンシャル場は図48(b) のグラフ91に示すように鳥
89の中心点Ｐ1 の位置に極小点Ｐ1 ′を有するものであ
り、注目領域中心点がこの画像88上を移動する際は、中
心点Ｐ1 に向かって移動する。ところが、この画像88の
ポテンシャル場には、画像88の電線90のI-I 線上の点Ｐ
2 の位置に微小な極小点Ｐ2 ′が存在する。したがっ
て、この画像88において、注目領域中心点が鳥の中心点
Ｐ1 へ移動していく途中で、電線90のI-I 線上の点Ｐ2
で停止してしまうと注目領域中心点が鳥の中心点Ｐ1 へ
到達することができなくなる恐れがあるため、この注目
領域中心点の停止を防止する必要がある。
写体候補である鳥が電線に止まっている状態の画像のポ
テンシャル場について考えると、画像88のI-I 線におけ
るポテンシャル場は図48(b) のグラフ91に示すように鳥
89の中心点Ｐ1 の位置に極小点Ｐ1 ′を有するものであ
り、注目領域中心点がこの画像88上を移動する際は、中
心点Ｐ1 に向かって移動する。ところが、この画像88の
ポテンシャル場には、画像88の電線90のI-I 線上の点Ｐ
2 の位置に微小な極小点Ｐ2 ′が存在する。したがっ
て、この画像88において、注目領域中心点が鳥の中心点
Ｐ1 へ移動していく途中で、電線90のI-I 線上の点Ｐ2
で停止してしまうと注目領域中心点が鳥の中心点Ｐ1 へ
到達することができなくなる恐れがあるため、この注目
領域中心点の停止を防止する必要がある。
【０１５８】ここで、本実施例によるニューラルネット
ワークにアニーリング法を用いて、ニューロンの出力に
熱的なゆらぎを加え、温度を高温にした後、徐々に温度
を下げることによって、この注目領域中心点の停止を防
止することができる。
ワークにアニーリング法を用いて、ニューロンの出力に
熱的なゆらぎを加え、温度を高温にした後、徐々に温度
を下げることによって、この注目領域中心点の停止を防
止することができる。
【０１５９】例えばニューロンの入出力特性が、 ｆ（ｘ）＝sigmoid(ｘ） …(8) で示されるようにシグモイド関数である場合において、
熱的ゆらぎが０ならばその入出力特性は前述した図68
(a) に示すものになるが、これに熱的ゆらぎを加えるこ
とによって、ニューロンの入出力特性を、 ｆ（ｘ）＝sigmoid （ｘ＋Ｎ×ｅｘｐ（−１／Ｔ）×ＲＮＤ） …(9) 但し Ｎ：Noise 成分定数 Ｔ：温度パラメータ ＲＮＤ：−１〜１の範囲のランダム関数 とすることにより、前述した図68(b) に示すような誤差
を持った入出力特性となり、図68(b) に示す斜線部の範
囲で出力が確率的にばらつかせることができる。このよ
うにニューロンの出力に高温の熱的なゆらぎを加えてい
る状態、すなわち温度を高温にした状態ではニューロン
の出力が誤差を有するものとなる。このため、本実施例
におけるニューラルネットワークのｆ１層、ｆ２層の出
力にこのアニーリング法を用いれば、温度を高温にした
際に生じる出力の大きな誤差をきっかけにして、図48
(b) のグラフ91に示す微小な極小点Ｐ2 ′に停止しそう
になった場合に、極小点から脱出することができるので
ある。すなわち、図48(b) のグラフ91の点線で示すよう
に、ニューロンの出力の熱的なゆらぎによって、注目領
域中心点が停止しそうな状態、すなわち、ニューラルネ
ットワークがトラップされそうな状態において、温度を
上げていくと、注目領域中心点は微小極小安定点Ｐ2 ′
の壁を乗り越えることができ、その後温度を下げていく
（アニーリング）ことにより、極小安定点Ｐ2 ′を脱出
し、より安定な状態へと移行することができるのであ
る。
熱的ゆらぎが０ならばその入出力特性は前述した図68
(a) に示すものになるが、これに熱的ゆらぎを加えるこ
とによって、ニューロンの入出力特性を、 ｆ（ｘ）＝sigmoid （ｘ＋Ｎ×ｅｘｐ（−１／Ｔ）×ＲＮＤ） …(9) 但し Ｎ：Noise 成分定数 Ｔ：温度パラメータ ＲＮＤ：−１〜１の範囲のランダム関数 とすることにより、前述した図68(b) に示すような誤差
を持った入出力特性となり、図68(b) に示す斜線部の範
囲で出力が確率的にばらつかせることができる。このよ
うにニューロンの出力に高温の熱的なゆらぎを加えてい
る状態、すなわち温度を高温にした状態ではニューロン
の出力が誤差を有するものとなる。このため、本実施例
におけるニューラルネットワークのｆ１層、ｆ２層の出
力にこのアニーリング法を用いれば、温度を高温にした
際に生じる出力の大きな誤差をきっかけにして、図48
(b) のグラフ91に示す微小な極小点Ｐ2 ′に停止しそう
になった場合に、極小点から脱出することができるので
ある。すなわち、図48(b) のグラフ91の点線で示すよう
に、ニューロンの出力の熱的なゆらぎによって、注目領
域中心点が停止しそうな状態、すなわち、ニューラルネ
ットワークがトラップされそうな状態において、温度を
上げていくと、注目領域中心点は微小極小安定点Ｐ2 ′
の壁を乗り越えることができ、その後温度を下げていく
（アニーリング）ことにより、極小安定点Ｐ2 ′を脱出
し、より安定な状態へと移行することができるのであ
る。
【０１６０】上述したアニーリング法においては、注目
領域中心点が微小極小点に停止しそうになった場合にの
み熱的ゆらぎを加えるようにしているが、ニューラルネ
ットワークの任意の層のニューロンの出力に対して常に
熱的ゆらぎを加えておき、いかなる状況においても注目
領域中心点が画像中の微小な極小点に停止してしまうこ
とを防止するようにしてもよい。
領域中心点が微小極小点に停止しそうになった場合にの
み熱的ゆらぎを加えるようにしているが、ニューラルネ
ットワークの任意の層のニューロンの出力に対して常に
熱的ゆらぎを加えておき、いかなる状況においても注目
領域中心点が画像中の微小な極小点に停止してしまうこ
とを防止するようにしてもよい。
【０１６１】また、上述した実施例においては、ニュー
ラルネットワークにアニーリング法を用いて、ニューロ
ンの出力に熱的なゆらぎを加えることによって、画像中
の所定被写体候補とは異なる物体の位置（ポテンシャル
場の微小極小点）に注目領域中心点が停止してしまうこ
とを防止するようにしているが、注目領域移動ベクトル
に慣性項を加えることによって注目領域中心点の停止防
止を行うようにしてもよい。この場合図３に示すニュー
ラルネットワークのｉ層において出力される注目領域移
動ベクトルに対して以下の特性を与える。
ラルネットワークにアニーリング法を用いて、ニューロ
ンの出力に熱的なゆらぎを加えることによって、画像中
の所定被写体候補とは異なる物体の位置（ポテンシャル
場の微小極小点）に注目領域中心点が停止してしまうこ
とを防止するようにしているが、注目領域移動ベクトル
に慣性項を加えることによって注目領域中心点の停止防
止を行うようにしてもよい。この場合図３に示すニュー
ラルネットワークのｉ層において出力される注目領域移
動ベクトルに対して以下の特性を与える。
【０１６２】
【数１】
【０１６３】式(10)において、積分の項が慣性項（慣性
ベクトル）であり、ある時刻ｔからさかのぼった時刻ｔ
1 からｔ2 の間に、ニューラルネットワークのｉ層から
出力された実際に注目領域中心点を移動させる注目領域
移動ベクトルを時間による減衰率を乗じて時刻ｔ1 から
ｔ2 の間で積分したものである。
ベクトル）であり、ある時刻ｔからさかのぼった時刻ｔ
1 からｔ2 の間に、ニューラルネットワークのｉ層から
出力された実際に注目領域中心点を移動させる注目領域
移動ベクトルを時間による減衰率を乗じて時刻ｔ1 から
ｔ2 の間で積分したものである。
【０１６４】ここで、図49に示すように注目領域中心点
Ｑが移動して所定被写体候補である人間の顔93に近づい
ている場合に、注目領域中心点を移動させる注目領域移
動ベクトルの近傍に、所定被写体候補とは異なる物体
（ここでは遠くに見える標識94）が存在する場合、この
画像92のポテンシャル場を考えると最初に注目領域中心
点が置かれた位置Ａから注目領域移動ベクトルｍ1 ，ｍ
2 ，ｍ3 に沿って移動してきた注目領域中心点は、注目
領域移動ベクトルｍｆ４が標識94の方向に向いてしまう
ことによって標識94の方向へ移動してしまう。これでは
所定被写体候補である人間の顔93へと注目領域中心点を
移動させることができないため、注目領域移動ベクトル
ｍ1 ，ｍ2 およびｍ3 に時間による減衰率を乗じたもの
を積分した慣性ベクトルｍk を加えることによって、注
目領域移動ベクトルｍｆ４よりは顔93の方向を向いた注
目領域移動ベクトルｍ4 を得る。この注目領域移動ベク
トルｍ4 によって、注目領域中心点は標識94の方向へ移
動しそうになっても顔93の方向を向くことができ、注目
領域移動ベクトルｍ5 ，ｍ6 ，ｍ7 に沿って移動を続
け、最終的に顔93の中心点で停止する。
Ｑが移動して所定被写体候補である人間の顔93に近づい
ている場合に、注目領域中心点を移動させる注目領域移
動ベクトルの近傍に、所定被写体候補とは異なる物体
（ここでは遠くに見える標識94）が存在する場合、この
画像92のポテンシャル場を考えると最初に注目領域中心
点が置かれた位置Ａから注目領域移動ベクトルｍ1 ，ｍ
2 ，ｍ3 に沿って移動してきた注目領域中心点は、注目
領域移動ベクトルｍｆ４が標識94の方向に向いてしまう
ことによって標識94の方向へ移動してしまう。これでは
所定被写体候補である人間の顔93へと注目領域中心点を
移動させることができないため、注目領域移動ベクトル
ｍ1 ，ｍ2 およびｍ3 に時間による減衰率を乗じたもの
を積分した慣性ベクトルｍk を加えることによって、注
目領域移動ベクトルｍｆ４よりは顔93の方向を向いた注
目領域移動ベクトルｍ4 を得る。この注目領域移動ベク
トルｍ4 によって、注目領域中心点は標識94の方向へ移
動しそうになっても顔93の方向を向くことができ、注目
領域移動ベクトルｍ5 ，ｍ6 ，ｍ7 に沿って移動を続
け、最終的に顔93の中心点で停止する。
【０１６５】このようにして、本実施例におけるニュー
ラルネットワークは与えられた画像上において、注目領
域中心点を所定被写体候補以外の物体の位置に停止させ
ることなく、所定被写体候補の中心点の方向へ移動させ
る。注目領域移動ベクトルが零となり、注目領域中心点
が所定被写体候補の中心点と一致すると、注目領域停止
処理部４において所定被写体候補が切り出され（すなわ
ち抽出され）、抽出された所定被写体候補は判定部に引
き渡される。
ラルネットワークは与えられた画像上において、注目領
域中心点を所定被写体候補以外の物体の位置に停止させ
ることなく、所定被写体候補の中心点の方向へ移動させ
る。注目領域移動ベクトルが零となり、注目領域中心点
が所定被写体候補の中心点と一致すると、注目領域停止
処理部４において所定被写体候補が切り出され（すなわ
ち抽出され）、抽出された所定被写体候補は判定部に引
き渡される。
【０１６６】この所定被写体候補の切り出しであるが、
切り出しに際して、所定被写体候補の大きさおよび所定
被写体候補内に含まれる特徴部分の位置に関係なく所定
被写体候補を切り出してしまうと、次のステップである
判定部に対して大きな負担となる。そこで、本発明の被
写体認識方法においては、所定被写体候補を切り出す際
には、いかなる所定被写体候補をも略同じ大きさかつ特
徴部分の位置が略同一となるように所定被写体候補を正
規化して切り出すようにして、所定被写体候補が何であ
るかを判定する判定部に対する負担を軽減し、また演算
時間の短縮も可能にする。
切り出しに際して、所定被写体候補の大きさおよび所定
被写体候補内に含まれる特徴部分の位置に関係なく所定
被写体候補を切り出してしまうと、次のステップである
判定部に対して大きな負担となる。そこで、本発明の被
写体認識方法においては、所定被写体候補を切り出す際
には、いかなる所定被写体候補をも略同じ大きさかつ特
徴部分の位置が略同一となるように所定被写体候補を正
規化して切り出すようにして、所定被写体候補が何であ
るかを判定する判定部に対する負担を軽減し、また演算
時間の短縮も可能にする。
【０１６７】また、上述した実施例においては、物体す
なわち所定被写体候補の大きさに応じて、注目領域の大
きさおよび注目領域移動ベクトルの大きさを変化させる
ようにしてもよい。例えば、上述したｅ１層において検
出された円環方向の輪郭線の、複素対数座標上における
放射方向の位置を検出することにより、注目領域中心点
から所定被写体候補の輪郭線までの距離を検出し、この
距離に応じて注目領域の大きさおよび注目領域移動ベク
トルの大きさを変化させるようにすればよい。
なわち所定被写体候補の大きさに応じて、注目領域の大
きさおよび注目領域移動ベクトルの大きさを変化させる
ようにしてもよい。例えば、上述したｅ１層において検
出された円環方向の輪郭線の、複素対数座標上における
放射方向の位置を検出することにより、注目領域中心点
から所定被写体候補の輪郭線までの距離を検出し、この
距離に応じて注目領域の大きさおよび注目領域移動ベク
トルの大きさを変化させるようにすればよい。
【０１６８】以下、注目領域の大きさを変化させる方法
について説明する。
について説明する。
【０１６９】人間は、外界から得られる視覚情報を処理
する際に、意識的、あるいは無意識的に、特定のサイズ
の物体に注意を集中することができ、状況に応じてその
サイズの維持や切り換えを行っているように思われる。
このような機構の存在する裏付けとしては、「不連続な
大きさの文字で書かれた文章は読みにくい」とか、「極
端に大きさの違う図形の認識はやりにくい」などの経験
的事実がある。本実施例においては、このような注意の
向けられている特定のサイズが注目領域のサイズに相当
する。
する際に、意識的、あるいは無意識的に、特定のサイズ
の物体に注意を集中することができ、状況に応じてその
サイズの維持や切り換えを行っているように思われる。
このような機構の存在する裏付けとしては、「不連続な
大きさの文字で書かれた文章は読みにくい」とか、「極
端に大きさの違う図形の認識はやりにくい」などの経験
的事実がある。本実施例においては、このような注意の
向けられている特定のサイズが注目領域のサイズに相当
する。
【０１７０】注目領域のサイズの可変機構を本発明によ
る被写体抽出方法のニューラルネットワークモデルに導
入するには、まず、ニューラルネットの特性に、物体の
サイズに対する感度の差を与えてやる。そして被探索画
像に応じて、その感度差をうまくコントロールしてやれ
ばよい。
る被写体抽出方法のニューラルネットワークモデルに導
入するには、まず、ニューラルネットの特性に、物体の
サイズに対する感度の差を与えてやる。そして被探索画
像に応じて、その感度差をうまくコントロールしてやれ
ばよい。
【０１７１】例えば、図３に示したニューラルネットワ
ークのａ層とｂ層との間のシナプス結合を、特定サイズ
の所定被写体候補に対して有利になるように設定してや
ればよい。すなわち、図50に示すように、注目領域内
に、注目領域の大きさよりも小さい所定被写体候補が存
在する場合には、ａ層の中心付近とｂ層とを結ぶシナプ
ス結合の重みを大きくし（太い線）、ａ層の周辺付近と
ｂ層とを結ぶシナプス結合の重みを小さく（細い線）す
るようにすればよい。
ークのａ層とｂ層との間のシナプス結合を、特定サイズ
の所定被写体候補に対して有利になるように設定してや
ればよい。すなわち、図50に示すように、注目領域内
に、注目領域の大きさよりも小さい所定被写体候補が存
在する場合には、ａ層の中心付近とｂ層とを結ぶシナプ
ス結合の重みを大きくし（太い線）、ａ層の周辺付近と
ｂ層とを結ぶシナプス結合の重みを小さく（細い線）す
るようにすればよい。
【０１７２】また、注目領域のサイズを変更する方法と
しては、図51に示すように、ニューロン層間の物理的な
結線状態はそのままにして、シナプス結合の重みを変更
させる方法が挙げられる。例えば、小さな所定被写体候
補を注目領域内に捕えた場合は、図51(a) に示すように
ａ層の中心付近とｂ層とを結ぶシナプス結合の重みを大
きくし、大きな所定被写体候補を捕えた場合は、図51
(b) に示すようにａ層の周辺付近とｂ層とを結ぶシナプ
ス結合の重みを大きくしてやればよい。
しては、図51に示すように、ニューロン層間の物理的な
結線状態はそのままにして、シナプス結合の重みを変更
させる方法が挙げられる。例えば、小さな所定被写体候
補を注目領域内に捕えた場合は、図51(a) に示すように
ａ層の中心付近とｂ層とを結ぶシナプス結合の重みを大
きくし、大きな所定被写体候補を捕えた場合は、図51
(b) に示すようにａ層の周辺付近とｂ層とを結ぶシナプ
ス結合の重みを大きくしてやればよい。
【０１７３】また、別の方法として、図52に示すよう
に、ニューロン層間の結線状態そのものを変更して、被
処理領域の大きさを変更する方法が挙げられる。すなわ
ち、小さな所定被写体候補を捕えた場合は、図52(a) に
示すように、ａ層のニューロンの間隔を小さくし、大き
な所定被写体候補を捕えた場合は、図52(b) に示すよう
に、ａ層のニューロンの間隔を大きくしてやればよい。
に、ニューロン層間の結線状態そのものを変更して、被
処理領域の大きさを変更する方法が挙げられる。すなわ
ち、小さな所定被写体候補を捕えた場合は、図52(a) に
示すように、ａ層のニューロンの間隔を小さくし、大き
な所定被写体候補を捕えた場合は、図52(b) に示すよう
に、ａ層のニューロンの間隔を大きくしてやればよい。
【０１７４】さらに、別の方法としては、ａ層に画像を
入力するための入力装置にズームレンズを使用し、入力
される画像そのものの大きさを変化させるようにしても
よい。
入力するための入力装置にズームレンズを使用し、入力
される画像そのものの大きさを変化させるようにしても
よい。
【０１７５】また、注目領域移動ベクトルの大きさを変
更する方法としては、ｉ層において得られた注目領域移
動ベクトルにあるゲインを乗じてやればよい。すなわ
ち、注目領域移動ベクトルをす速く移動させたい場合に
は、大きなゲインを乗じ、注目領域移動ベクトルを移動
させたくないような場合には、小さなゲインもしくは０
を乗じてやることにより注目領域移動ベクトルの大きさ
を小さくするもしくは０としてやればよい。
更する方法としては、ｉ層において得られた注目領域移
動ベクトルにあるゲインを乗じてやればよい。すなわ
ち、注目領域移動ベクトルをす速く移動させたい場合に
は、大きなゲインを乗じ、注目領域移動ベクトルを移動
させたくないような場合には、小さなゲインもしくは０
を乗じてやることにより注目領域移動ベクトルの大きさ
を小さくするもしくは０としてやればよい。
【０１７６】ここで、注目領域の大きさおよび注目領域
移動ベクトルの大きさの制御方法について述べる。注目
領域内に存在する所定被写体候補の大きさは、前述した
ニューラルネットワークのｅ１，ｅ１′層において検出
され、ここで検出された所定被写体候補の大きさに応じ
て注目領域のサイズおよび注目領域移動ベクトルの大き
さを変更するものである。この所定被写体候補の大きさ
を検出する方法としては、注目領域の中心点から放射方
向の距離を横軸にとり、ニューロンの興奮度を縦軸にと
ったヒストグラムを求め、このヒストグラムを解析する
ことにより所定被写体候補の大きさを検出する方法が挙
げられる。
移動ベクトルの大きさの制御方法について述べる。注目
領域内に存在する所定被写体候補の大きさは、前述した
ニューラルネットワークのｅ１，ｅ１′層において検出
され、ここで検出された所定被写体候補の大きさに応じ
て注目領域のサイズおよび注目領域移動ベクトルの大き
さを変更するものである。この所定被写体候補の大きさ
を検出する方法としては、注目領域の中心点から放射方
向の距離を横軸にとり、ニューロンの興奮度を縦軸にと
ったヒストグラムを求め、このヒストグラムを解析する
ことにより所定被写体候補の大きさを検出する方法が挙
げられる。
【０１７７】例えば、ヒストグラムが図53(a) に示すよ
うなものの場合、ニューロンの興奮度は全体的に小さい
ため、注目領域内には所定被写体候補が存在しないとの
判断がなされる。この場合は、注目領域のサイズを徐々
に拡大させ、注目領域内により広範囲の画像が入力され
るようにする。このように、注目領域のサイズを拡大す
ることによって、注目領域付近に存在する所定被写体候
補を注目領域の端に捕え、注目領域の所定被写体候補へ
の移動を開始することができる。また、この際、注目領
域移動ベクトルの大きさは０となるようにし、注目領域
が移動しないようにしておく。
うなものの場合、ニューロンの興奮度は全体的に小さい
ため、注目領域内には所定被写体候補が存在しないとの
判断がなされる。この場合は、注目領域のサイズを徐々
に拡大させ、注目領域内により広範囲の画像が入力され
るようにする。このように、注目領域のサイズを拡大す
ることによって、注目領域付近に存在する所定被写体候
補を注目領域の端に捕え、注目領域の所定被写体候補へ
の移動を開始することができる。また、この際、注目領
域移動ベクトルの大きさは０となるようにし、注目領域
が移動しないようにしておく。
【０１７８】次いで、図53(b) のように、注目領域中心
点から離れた位置にヒストグラムのピークが存在するよ
うな場合には、所定被写体候補を注目領域の隅の方に捕
え始めているとの判断がなされる。
点から離れた位置にヒストグラムのピークが存在するよ
うな場合には、所定被写体候補を注目領域の隅の方に捕
え始めているとの判断がなされる。
【０１７９】この場合、注目領域のサイズは変化させ
ず、注目領域がより速くこのピークの方向へ移動するよ
うに注目領域移動ベクトルを大きくしてやる。このよう
にすることにより、注目領域は所定被写体候補へと速や
かに移動することができる。
ず、注目領域がより速くこのピークの方向へ移動するよ
うに注目領域移動ベクトルを大きくしてやる。このよう
にすることにより、注目領域は所定被写体候補へと速や
かに移動することができる。
【０１８０】次いで図53(c) に示すように、ある程度の
ヒストグラムのピークが注目領域中心点の近くにある場
合は、所定被写体候補を注目領域中心点付近に捕えてい
るが、まだ注目領域中心点と所定被写体候補の中心とは
ずれているとの判断がなされる。このような状況では、
注目領域のサイズが所定被写体候補のサイズに合うよう
に、注目領域の大きさが変更される。これと同時に、注
目領域移動ベクトルにもゲインが乗ぜられることなく、
通常の移動速度で注目領域は移動される。
ヒストグラムのピークが注目領域中心点の近くにある場
合は、所定被写体候補を注目領域中心点付近に捕えてい
るが、まだ注目領域中心点と所定被写体候補の中心とは
ずれているとの判断がなされる。このような状況では、
注目領域のサイズが所定被写体候補のサイズに合うよう
に、注目領域の大きさが変更される。これと同時に、注
目領域移動ベクトルにもゲインが乗ぜられることなく、
通常の移動速度で注目領域は移動される。
【０１８１】さらに、図53(d) に示すように、ヒストグ
ラムに非常に大きなピークが存在する場合、注目領域中
心点が所定被写体候補の略中心に到達しており注目領域
の中心点を中心に、略等距離で所定被写体候補のエッジ
が存在しているとの判断がなされる。このような状況で
は、より微妙な所定被写体候補の中心点の探索と、より
的確な所定被写体候補の大きさと注目領域のサイズの合
せ込みを行うために注目領域移動ベクトルの大きさを小
さくすることにより注目領域の速度を通常より遅くし、
注目領域の大きさを所定被写体候補の大きさに合わせて
やればよい。
ラムに非常に大きなピークが存在する場合、注目領域中
心点が所定被写体候補の略中心に到達しており注目領域
の中心点を中心に、略等距離で所定被写体候補のエッジ
が存在しているとの判断がなされる。このような状況で
は、より微妙な所定被写体候補の中心点の探索と、より
的確な所定被写体候補の大きさと注目領域のサイズの合
せ込みを行うために注目領域移動ベクトルの大きさを小
さくすることにより注目領域の速度を通常より遅くし、
注目領域の大きさを所定被写体候補の大きさに合わせて
やればよい。
【０１８２】このように、注目領域のサイズと注目領域
移動ベクトルの大きさすなわち注目領域の移動速度を変
更することによって、大きさの異なる所定被写体候補が
写し込まれているような画像から全ての所定被写体候補
を抽出することができる。
移動ベクトルの大きさすなわち注目領域の移動速度を変
更することによって、大きさの異なる所定被写体候補が
写し込まれているような画像から全ての所定被写体候補
を抽出することができる。
【０１８３】ここで、例えば図54に示すような人間95が
映し込まれた画像96から人間95を抽出する場合、最初に
注目領域中心点が置かれた地点をＱ1 とすると、注目領
域中心点Ｑ1 ，Ｑ2 ，Ｑ3 と次第に人間95に近づいてゆ
き、人間95の顔95a の中心点Ｑ5 において停止する。そ
して注目領域停止処理部４において顔95a が正規化され
て抽出され、判定部に引き渡される。この場合の顔95a
の正規化とは、大きな顔、小さな顔、長い顔等の様々な
形状の顔を縮小や拡大することによって略同一の大きさ
の円形の顔にして、顔の特徴部分である眼や口の位置を
どの顔についても略同一の位置となるようにすることを
いう。
映し込まれた画像96から人間95を抽出する場合、最初に
注目領域中心点が置かれた地点をＱ1 とすると、注目領
域中心点Ｑ1 ，Ｑ2 ，Ｑ3 と次第に人間95に近づいてゆ
き、人間95の顔95a の中心点Ｑ5 において停止する。そ
して注目領域停止処理部４において顔95a が正規化され
て抽出され、判定部に引き渡される。この場合の顔95a
の正規化とは、大きな顔、小さな顔、長い顔等の様々な
形状の顔を縮小や拡大することによって略同一の大きさ
の円形の顔にして、顔の特徴部分である眼や口の位置を
どの顔についても略同一の位置となるようにすることを
いう。
【０１８４】このように、所定被写体候補が抽出された
後、本実施例のニューラルネットワークは、後述するよ
うに別の所定被写体候補を抽出するため再度注目領域を
移動させるが、この際に、一度抽出した所定被写体候補
の中心点に注目領域中心点が移動して、再度同じ所定被
写体候補を抽出してしまう場合がある。この再抽出を防
止するために、図28等に示したニューラルネットワーク
の構成におけるａ層等の前に与えられた画像の大きさの
範囲に対応してこの画像を映す網膜ニューロン層を設
け、この網膜ニューロン層のニューロンに対して、以下
のような特性を与える。
後、本実施例のニューラルネットワークは、後述するよ
うに別の所定被写体候補を抽出するため再度注目領域を
移動させるが、この際に、一度抽出した所定被写体候補
の中心点に注目領域中心点が移動して、再度同じ所定被
写体候補を抽出してしまう場合がある。この再抽出を防
止するために、図28等に示したニューラルネットワーク
の構成におけるａ層等の前に与えられた画像の大きさの
範囲に対応してこの画像を映す網膜ニューロン層を設
け、この網膜ニューロン層のニューロンに対して、以下
のような特性を与える。
【０１８５】
【数２】
【０１８６】但し ｏi （ｔ）：時刻ｔにおけるｉニュ
ーロンの出力 ｉi （ｔ）：時刻ｔにおけるｉニューロンへの出力 ｋi （ｔ）＝０：ｉニューロンが所定被写体候補の外部
にある場合 １：ｉニューロンが所定被写体候補の内部にある場合 式(11)において、積分の項は疲れが溜る項であり、ある
時間ｔから時間ｔf だけさかのぼった一定時間内におけ
るあるニューロンが出力した出力量を時間で積分したも
のである。ここで注目領域中心点と所定被写体候補の中
心点が一致した状態において、実空間座標上では、図55
(a) に示すように注目領域97と所定被写体候補98の輪郭
線とが同心円状となっており、これを複素対数座標変換
すると図55(b) のｅ１層に示すように複素対数座標の略
円環方向にのびる一本の直線となる。一方、網膜ニュー
ロン層のニューロンは、式(11)に表わす特性を有してい
る。ここで図56に示すようにｅ１層における所定被写体
候補98の輪郭線の内部と対応する領域99のニューロンに
おいては、ｋi （ｔ）＝１、所定被写体候補の輪郭線の
外部と対応する部分のニューロンにおいては、ｋ
i （ｔ）＝０とすることにより、網膜ニューロン層の所
定被写体候補である顔の内部にあるニューロンにのみ疲
れが溜るようになる。したがって式(11)により、所定被
写体候補でない領域のニューロンは疲れることがないた
め、ニューロンへの入力そのものを出力とすることがで
きるが、所定被写体候補の領域のニューロンは、疲れが
溜り、入力を受けても前述した疲れの項によって出力の
低下を生じるようになる。この出力低下によって、所定
被写体候補の領域からの信号は網膜ニューロン層の次の
層へ伝達されことがなくなるため、注目領域は別の所定
被写体候補に向かって移動し、別の所定被写体候補を抽
出するようになる。この疲れであるが、ｋi （ｔ）とｔ
fの値を適当に定めることにより、あるニューロンに常
に入力がある場合には、そのニューロンからの出力は、
時間とともに増減を振動的に繰り返すようになる。ここ
でｔf の値を無限大とすることによって、一度興奮した
ニューロンは２度と興奮することがなくなり、同一の所
定被写体候補が再抽出されることはなくなる。
ーロンの出力 ｉi （ｔ）：時刻ｔにおけるｉニューロンへの出力 ｋi （ｔ）＝０：ｉニューロンが所定被写体候補の外部
にある場合 １：ｉニューロンが所定被写体候補の内部にある場合 式(11)において、積分の項は疲れが溜る項であり、ある
時間ｔから時間ｔf だけさかのぼった一定時間内におけ
るあるニューロンが出力した出力量を時間で積分したも
のである。ここで注目領域中心点と所定被写体候補の中
心点が一致した状態において、実空間座標上では、図55
(a) に示すように注目領域97と所定被写体候補98の輪郭
線とが同心円状となっており、これを複素対数座標変換
すると図55(b) のｅ１層に示すように複素対数座標の略
円環方向にのびる一本の直線となる。一方、網膜ニュー
ロン層のニューロンは、式(11)に表わす特性を有してい
る。ここで図56に示すようにｅ１層における所定被写体
候補98の輪郭線の内部と対応する領域99のニューロンに
おいては、ｋi （ｔ）＝１、所定被写体候補の輪郭線の
外部と対応する部分のニューロンにおいては、ｋ
i （ｔ）＝０とすることにより、網膜ニューロン層の所
定被写体候補である顔の内部にあるニューロンにのみ疲
れが溜るようになる。したがって式(11)により、所定被
写体候補でない領域のニューロンは疲れることがないた
め、ニューロンへの入力そのものを出力とすることがで
きるが、所定被写体候補の領域のニューロンは、疲れが
溜り、入力を受けても前述した疲れの項によって出力の
低下を生じるようになる。この出力低下によって、所定
被写体候補の領域からの信号は網膜ニューロン層の次の
層へ伝達されことがなくなるため、注目領域は別の所定
被写体候補に向かって移動し、別の所定被写体候補を抽
出するようになる。この疲れであるが、ｋi （ｔ）とｔ
fの値を適当に定めることにより、あるニューロンに常
に入力がある場合には、そのニューロンからの出力は、
時間とともに増減を振動的に繰り返すようになる。ここ
でｔf の値を無限大とすることによって、一度興奮した
ニューロンは２度と興奮することがなくなり、同一の所
定被写体候補が再抽出されることはなくなる。
【０１８７】なお、上述した本発明の第１実施例におい
ては、再抽出防止処理を、ニューラルネットワークの疲
れの項を導入することにより行っているが、とくにこれ
に限られるものではなく、同一所定被写体候補を再度抽
出しなければいかなる処理を施してもよい。例えば、一
度抽出した所定被写体候補の領域の網膜ニューロン層の
ニューロンの出力を０とする処理を施すようにしてもよ
い。あるいは、網膜ニューロン層とは別にマスキング用
のニューロン層を設定し、網膜ニューロン層における所
定被写体候補を抽出した領域と対応する領域のマスキン
グ用ニューロン層のニューロンからマスキング信号を出
力させ、負のシナプス結合によって対応する位置の網膜
ニューロンに抑制信号を伝達させ、網膜ニューロン層へ
のマスキングを施すようにしてもよい。
ては、再抽出防止処理を、ニューラルネットワークの疲
れの項を導入することにより行っているが、とくにこれ
に限られるものではなく、同一所定被写体候補を再度抽
出しなければいかなる処理を施してもよい。例えば、一
度抽出した所定被写体候補の領域の網膜ニューロン層の
ニューロンの出力を０とする処理を施すようにしてもよ
い。あるいは、網膜ニューロン層とは別にマスキング用
のニューロン層を設定し、網膜ニューロン層における所
定被写体候補を抽出した領域と対応する領域のマスキン
グ用ニューロン層のニューロンからマスキング信号を出
力させ、負のシナプス結合によって対応する位置の網膜
ニューロンに抑制信号を伝達させ、網膜ニューロン層へ
のマスキングを施すようにしてもよい。
【０１８８】次に、注目領域の中心点が、所定被写体候
補を抽出した等により、停止した場合の処理について説
明する。
補を抽出した等により、停止した場合の処理について説
明する。
【０１８９】図57は注目領域中心点が停止した場合の処
理についてのフローチャートを表す図である。
理についてのフローチャートを表す図である。
【０１９０】図57のフローチャートに示すように、本実
施例における注目領域停止処理部４において注目領域中
心点が停止したか否かが判断され、停止してない場合に
は、その旨を表す信号が探索ニューラルネット部３へ入
力され、引き続き注目領域中心点は移動する。注目領域
の中心点が停止している場合は、ｅ１層における円環方
向の協調、競合の結果から放射方向のヒストグラムを作
成し、このヒストグラムを分析してヒストグラムがピー
クを有するか否かを判断する。ここで、図58に示すよう
に注目領域71Ａの中心点が人間の顔のような楕円形の所
定被写体候補101 の中心で停止した場合、ｅ１層での協
調、競合の結果は図59(a) に示すように、略円環方向に
ニューロンが興奮した状態となっている。この状態にお
けるヒストグラムは図59(b) に示すようにニューロンが
興奮した部分にピークを有するものである。したがって
注目領域停止処理部４は、注目領域71Ａの中心点の停止
が所定被写体候補101 の発見によるものであると判断
し、円109 で囲まれた領域を所定被写体候補として抽出
して、抽出された所定被写体候補101 は前述したように
判定部に引き渡される。
施例における注目領域停止処理部４において注目領域中
心点が停止したか否かが判断され、停止してない場合に
は、その旨を表す信号が探索ニューラルネット部３へ入
力され、引き続き注目領域中心点は移動する。注目領域
の中心点が停止している場合は、ｅ１層における円環方
向の協調、競合の結果から放射方向のヒストグラムを作
成し、このヒストグラムを分析してヒストグラムがピー
クを有するか否かを判断する。ここで、図58に示すよう
に注目領域71Ａの中心点が人間の顔のような楕円形の所
定被写体候補101 の中心で停止した場合、ｅ１層での協
調、競合の結果は図59(a) に示すように、略円環方向に
ニューロンが興奮した状態となっている。この状態にお
けるヒストグラムは図59(b) に示すようにニューロンが
興奮した部分にピークを有するものである。したがって
注目領域停止処理部４は、注目領域71Ａの中心点の停止
が所定被写体候補101 の発見によるものであると判断
し、円109 で囲まれた領域を所定被写体候補として抽出
して、抽出された所定被写体候補101 は前述したように
判定部に引き渡される。
【０１９１】このようにして所定被写体候補101 を抽出
した後、注目領域71Ａの中心点は抽出した所定被写体候
補101 の位置に停止してしまう。この状態のままでは、
次の所定被写体候補を探索し続けることができないた
め、注目領域71Ａの中心点を大きく移動させる必要があ
る。すなわち注目領域71Ａの中心点が停止した状態、す
なわちニューロンの安定状態から注目領域71Ａをランダ
ム方向に（ここでは矢印105 の方向）転移させ、注目領
域71Ａ′に示す位置に移動させるものである。この転移
によって注目領域71Ａ′内には、所定被写体候補104 の
一部が入ってくるため、注目領域71Ａ′の中心点は、所
定被写体候補104 の中心点へと移動するようになる。
した後、注目領域71Ａの中心点は抽出した所定被写体候
補101 の位置に停止してしまう。この状態のままでは、
次の所定被写体候補を探索し続けることができないた
め、注目領域71Ａの中心点を大きく移動させる必要があ
る。すなわち注目領域71Ａの中心点が停止した状態、す
なわちニューロンの安定状態から注目領域71Ａをランダ
ム方向に（ここでは矢印105 の方向）転移させ、注目領
域71Ａ′に示す位置に移動させるものである。この転移
によって注目領域71Ａ′内には、所定被写体候補104 の
一部が入ってくるため、注目領域71Ａ′の中心点は、所
定被写体候補104 の中心点へと移動するようになる。
【０１９２】一方、図57に示すフローチャートにおい
て、円環方向の協調、競合の結果のヒストグラムがピー
クを有さない場合は、注目領域停止処理部４はｅ２層に
おける放射方向の協調、競合の結果から円環方向のヒス
トグラムを作成し、このヒストグラムを分析してヒスト
グラムがピークを有するか否かを判断する。ここで、ヒ
ストグラムがピークを有している場合、注目領域停止処
理部４は、図58の注目領域71Ｂに示すように、注目領域
71Ｂの中心点が所定被写体候補102 の輪郭線上にあるか
または注目領域71Ｄに示すように、注目領域71Ｄの中心
点が所定被写体候補103 の頂角にある可能性が高いと判
断し、ヒストグラムのピークの方向、すなわち所定被写
体候補102 もしくは103 の輪郭線に沿った方向へ注目領
域71Ｂもしくは71Ｄの中心点を転移させ、注目領域71
Ｂ′もしくは71Ｄ′に示す位置に移動させる。ここで、
注目領域71Ｂもしくは71Ｄの中心点を輪郭線に沿った方
向（矢印106 または108 に示す方向）へ転移させるの
は、輪郭線に沿った方向には所定被写体候補102 の特徴
点である輪郭線の交点等が存在する可能性が高いためで
ある。
て、円環方向の協調、競合の結果のヒストグラムがピー
クを有さない場合は、注目領域停止処理部４はｅ２層に
おける放射方向の協調、競合の結果から円環方向のヒス
トグラムを作成し、このヒストグラムを分析してヒスト
グラムがピークを有するか否かを判断する。ここで、ヒ
ストグラムがピークを有している場合、注目領域停止処
理部４は、図58の注目領域71Ｂに示すように、注目領域
71Ｂの中心点が所定被写体候補102 の輪郭線上にあるか
または注目領域71Ｄに示すように、注目領域71Ｄの中心
点が所定被写体候補103 の頂角にある可能性が高いと判
断し、ヒストグラムのピークの方向、すなわち所定被写
体候補102 もしくは103 の輪郭線に沿った方向へ注目領
域71Ｂもしくは71Ｄの中心点を転移させ、注目領域71
Ｂ′もしくは71Ｄ′に示す位置に移動させる。ここで、
注目領域71Ｂもしくは71Ｄの中心点を輪郭線に沿った方
向（矢印106 または108 に示す方向）へ転移させるの
は、輪郭線に沿った方向には所定被写体候補102 の特徴
点である輪郭線の交点等が存在する可能性が高いためで
ある。
【０１９３】一方、図58に示すように注目領域71Ｃの中
心点が所定被写体候補が存在しないような位置で停止し
た場合には、注目領域71Ｃ内には、ニューロンを興奮さ
せるような物体が存在しないため、このような状態にお
いても注目領域71Ｃの中心点は停止してしまう。この状
態においては、ｅ１層およびｅ２層の協調、競合の結果
から得られるヒストグラムは何らピークを有しないもの
であるため、図57のフローチャートに示すように注目領
域停止処理部４は、注目領域中心点は注目領域71Ｃ内に
所定被写体候補が全く存在しないために停止したものと
判断し、注目領域71Ｃの中心点をランダムな方向（ここ
では矢印107 に示す方向）へ転移させる。この転移によ
って注目領域71Ｃ′内には所定被写体候補104 の一部が
入ってくるため、注目領域71Ｃ′の中心点は、所定被写
体候補104 の中心点へと移動するようになる。
心点が所定被写体候補が存在しないような位置で停止し
た場合には、注目領域71Ｃ内には、ニューロンを興奮さ
せるような物体が存在しないため、このような状態にお
いても注目領域71Ｃの中心点は停止してしまう。この状
態においては、ｅ１層およびｅ２層の協調、競合の結果
から得られるヒストグラムは何らピークを有しないもの
であるため、図57のフローチャートに示すように注目領
域停止処理部４は、注目領域中心点は注目領域71Ｃ内に
所定被写体候補が全く存在しないために停止したものと
判断し、注目領域71Ｃの中心点をランダムな方向（ここ
では矢印107 に示す方向）へ転移させる。この転移によ
って注目領域71Ｃ′内には所定被写体候補104 の一部が
入ってくるため、注目領域71Ｃ′の中心点は、所定被写
体候補104 の中心点へと移動するようになる。
【０１９４】上述した実施例においては、注目領域の中
心点が停止した状態からの注目領域中心点の転移を、注
目領域停止処理部４の判断により行っているがニューラ
ルネットワークにアニーリング法を用いて行ってもよ
い。
心点が停止した状態からの注目領域中心点の転移を、注
目領域停止処理部４の判断により行っているがニューラ
ルネットワークにアニーリング法を用いて行ってもよ
い。
【０１９５】ここで、アニーリング法とは、前述したよ
うにニューラルネットワークにおいて、あるニューロン
が入力信号を受けて、これを出力するときにニューロン
の入出力特性関数にのっとった形で出力するのではな
く、このニューロン自体が熱的なゆらぎを持った出力を
示す、つまりノイズを含んだ出力を示すようにし、この
ノイズが加わる程度を温度の高低で表し、温度を上下さ
せることによってニューラルネットワークの系の状態を
安定状態から崩して別の安定状態に移動させてやること
を狙った方法である。
うにニューラルネットワークにおいて、あるニューロン
が入力信号を受けて、これを出力するときにニューロン
の入出力特性関数にのっとった形で出力するのではな
く、このニューロン自体が熱的なゆらぎを持った出力を
示す、つまりノイズを含んだ出力を示すようにし、この
ノイズが加わる程度を温度の高低で表し、温度を上下さ
せることによってニューラルネットワークの系の状態を
安定状態から崩して別の安定状態に移動させてやること
を狙った方法である。
【０１９６】したがって、ニューロンの入出力特性が前
述した式(8) で示されるようなシグモイド関数である場
合に、式(9) で表される入出力特性をニューロンに与え
ておくことにより、前述した図68(b) に示すような誤差
を持った入出力特性となり、図68(b) に示す斜線部の範
囲で出力が確率的にばらつくのである。この熱的ゆらぎ
の量を大きくする、すなわち温度の高温時には、各ニュ
ーロンの出力が誤差を持っているため、その誤差をきっ
かけにして、ニューラルネットワークの安定状態から脱
出できるのである。
述した式(8) で示されるようなシグモイド関数である場
合に、式(9) で表される入出力特性をニューロンに与え
ておくことにより、前述した図68(b) に示すような誤差
を持った入出力特性となり、図68(b) に示す斜線部の範
囲で出力が確率的にばらつくのである。この熱的ゆらぎ
の量を大きくする、すなわち温度の高温時には、各ニュ
ーロンの出力が誤差を持っているため、その誤差をきっ
かけにして、ニューラルネットワークの安定状態から脱
出できるのである。
【０１９７】また、ニューラルネットワークの疲れの項
を導入することにより安定状態からの脱出を行ってもよ
い。この場合、図28等に示したニューラルネットワーク
の構成におけるａ層の前に、前述したように与えられた
画像の大きさの範囲に対応してこの画像を映す網膜ニュ
ーロン層を設け、この網膜ニューロン層のニューロンに
対して式(11)で表示されるような特性を与える。
を導入することにより安定状態からの脱出を行ってもよ
い。この場合、図28等に示したニューラルネットワーク
の構成におけるａ層の前に、前述したように与えられた
画像の大きさの範囲に対応してこの画像を映す網膜ニュ
ーロン層を設け、この網膜ニューロン層のニューロンに
対して式(11)で表示されるような特性を与える。
【０１９８】ここで、この一定時間内に注目領域の中心
点が移動しなかった場合に前述した注目領域停止処理部
４は注目領域中心点は停止したものと判断し、網膜ニュ
ーロン層における注目領域中心点が停止した位置におけ
る注目領域の範囲と対応するニューロンに対しては、式
(11)においてｋi （ｔ）＝１、注目領域の範囲外のニュ
ーロンに対してはｋi （ｔ）＝０とすることにより、網
膜ニューロン層の注目領域位置の範囲内のニューロンに
のみ疲れが溜るようになる。したがって式(11)により、
注目領域の範囲以外の領域のニューロンは疲れることが
ないため、ニューロンへの入力そのものを出力とするこ
とができるが、注目領域の範囲内のニューロンは、疲れ
が溜り、入力を受けても前述した疲れの項によって出力
の低下を生じるようになる。この出力低下によって、注
目領域の範囲内の領域からの信号は網膜ニューロン層の
次の層へ伝達されことがなくなるため、注目領域中心点
は別の所定被写体候補に向かって移動するようになる。
この疲れであるが、ｋi （ｔ）とｔf の値を適当に定め
ることにより、あるニューロンに常に入力がある場合に
は、そのニューロンからの出力は、時間とともに増減を
振動的に繰り返すようになる。ここでｔf の値を無限大
とすることによって、一度興奮したニューロンは２度と
興奮することがなくなり、一度注目領域中心点が停止し
た位置においては、再度注目領域中心点が停止すること
はなくなる。
点が移動しなかった場合に前述した注目領域停止処理部
４は注目領域中心点は停止したものと判断し、網膜ニュ
ーロン層における注目領域中心点が停止した位置におけ
る注目領域の範囲と対応するニューロンに対しては、式
(11)においてｋi （ｔ）＝１、注目領域の範囲外のニュ
ーロンに対してはｋi （ｔ）＝０とすることにより、網
膜ニューロン層の注目領域位置の範囲内のニューロンに
のみ疲れが溜るようになる。したがって式(11)により、
注目領域の範囲以外の領域のニューロンは疲れることが
ないため、ニューロンへの入力そのものを出力とするこ
とができるが、注目領域の範囲内のニューロンは、疲れ
が溜り、入力を受けても前述した疲れの項によって出力
の低下を生じるようになる。この出力低下によって、注
目領域の範囲内の領域からの信号は網膜ニューロン層の
次の層へ伝達されことがなくなるため、注目領域中心点
は別の所定被写体候補に向かって移動するようになる。
この疲れであるが、ｋi （ｔ）とｔf の値を適当に定め
ることにより、あるニューロンに常に入力がある場合に
は、そのニューロンからの出力は、時間とともに増減を
振動的に繰り返すようになる。ここでｔf の値を無限大
とすることによって、一度興奮したニューロンは２度と
興奮することがなくなり、一度注目領域中心点が停止し
た位置においては、再度注目領域中心点が停止すること
はなくなる。
【０１９９】次に、本発明による被写体抽出方法の第２
実施例について説明する。
実施例について説明する。
【０２００】本発明による被写体抽出方法の第２実施例
は、所定被写体候補の動きに基づいて、注目領域移動ベ
クトルを求める実施例においては、抽出された背景とは
異なる動きをする所定被写体候補の輪郭線を、所定被写
体候補の輪郭線および所定被写体候補の色に基づいて注
目領域移動ベクトルを求める実施例においては、時刻ｔ
における所定の大きさの注目領域の範囲で切り出した画
像を複素対数座標変換しないで実空間座標状のニューロ
ン配列をしたニューラルネットワークを用いて注目領域
移動ベクトルを求めるものである。
は、所定被写体候補の動きに基づいて、注目領域移動ベ
クトルを求める実施例においては、抽出された背景とは
異なる動きをする所定被写体候補の輪郭線を、所定被写
体候補の輪郭線および所定被写体候補の色に基づいて注
目領域移動ベクトルを求める実施例においては、時刻ｔ
における所定の大きさの注目領域の範囲で切り出した画
像を複素対数座標変換しないで実空間座標状のニューロ
ン配列をしたニューラルネットワークを用いて注目領域
移動ベクトルを求めるものである。
【０２０１】図60は本発明の第２実施例による所定被写
体候補の中心に注目領域中心点を移動させることによっ
て所定被写体候補の抽出を行うニューラルネットワーク
の１例を表わす図である。まず、所定被写体候補の動き
に基づいて注目領域移動ベクトルを求める実施例におい
て求められた、背景とは異なる動きをする所定被写体候
補の輪郭線および所定被写体候補の輪郭線に基づいて注
目領域移動ベクトルを求めるために、注目領域の範囲の
画像を入力するニューラルネットワークについて説明す
る。本発明の第２実施例のニューラルネットワークは、
与えられた画像110 から所定の大きさの注目領域の範囲
に画像を切り出す（所定被写体候補の動きに基づいて注
目領域移動ベクトルを求める場合は、図26に示すような
背景とは異なる動きをする所定被写体候補の輪郭線の画
像42）入力層120 、切り出した画像（または入力された
画像）から所定被写体候補の円弧状の輪郭線を検出する
輪郭線検出層121 、切り出した画像から所定被写体候補
の放射状の輪郭線を検出する輪郭線検出層121 ′、放射
状の輪郭線の端点を検出する端点検出層122 、連続する
円弧状の輪郭線を選択する相互結合層123 、連続する放
射状の輪郭線を選択する相互結合層123 ′、選択された
円弧状の輪郭線から注目領域中心点を囲む同心円の円周
方向に対して所定角度傾いた輪郭線の成分を全て抽出す
る傾き成分抽出層124 、選択された放射状の輪郭線から
注目領域中心点を囲む同心円の円周方向に対して所定角
度傾いた輪郭線の成分を全て抽出する傾き成分抽出層12
4 ′、抽出された円弧状の輪郭線成分から所定被写体候
補の注目領域中心点を囲む同心円の円周方向に対する方
位ベクトルである方位と強度とを検出する方位ベクトル
検出層125 、抽出された放射状の輪郭線成分から所定被
写体候補の注目領域中心点を囲む同心円の円周方向に対
する方位ベクトルである方位と強度とを検出する方位ベ
クトル検出層125 ′、検出された円弧状の輪郭線の成分
の方位と強度とから方位ベクトルを合成する方位ベクト
ル合成層126 、検出された放射状の輪郭線の成分の方位
と強度とから方位ベクトルを合成する方位ベクトル合成
層126 ′および合成された各方位ベクトルから注目領域
移動ベクトルを決定する注目領域移動ベクトル出力層12
7 のニューロン層からなる。すなわち入力層120 は図28
または図36における複素対数座標で注目領域移動ベクト
ルを求めるニューラルネットワークのａ，ａ′層と、輪
郭線検出層121 ，121 ′はｃ１，ｃ１′層，ｃ２，ｃ
２′層と、端点検出層122 はｄ，ｄ′層と、相互結合層
123 ，123 ′はｅ１，ｅ１′層，ｅ２，ｅ２′層と、傾
き成分抽出層124 ，124 ′はｆ１，ｆ１′層，ｆ２，ｆ
２′層と、方位ベクトル検出層125 ，125 ′はｇ１，ｇ
１′層，ｇ２，ｇ２′層と、方位ベクトル合成層126 ，
126 ′はｈ１，ｈ１′層，ｈ２，ｈ２′層と、そして注
目領域移動ベクトル出力層127 はｉ，ｉ′層とそれぞれ
対応している。
体候補の中心に注目領域中心点を移動させることによっ
て所定被写体候補の抽出を行うニューラルネットワーク
の１例を表わす図である。まず、所定被写体候補の動き
に基づいて注目領域移動ベクトルを求める実施例におい
て求められた、背景とは異なる動きをする所定被写体候
補の輪郭線および所定被写体候補の輪郭線に基づいて注
目領域移動ベクトルを求めるために、注目領域の範囲の
画像を入力するニューラルネットワークについて説明す
る。本発明の第２実施例のニューラルネットワークは、
与えられた画像110 から所定の大きさの注目領域の範囲
に画像を切り出す（所定被写体候補の動きに基づいて注
目領域移動ベクトルを求める場合は、図26に示すような
背景とは異なる動きをする所定被写体候補の輪郭線の画
像42）入力層120 、切り出した画像（または入力された
画像）から所定被写体候補の円弧状の輪郭線を検出する
輪郭線検出層121 、切り出した画像から所定被写体候補
の放射状の輪郭線を検出する輪郭線検出層121 ′、放射
状の輪郭線の端点を検出する端点検出層122 、連続する
円弧状の輪郭線を選択する相互結合層123 、連続する放
射状の輪郭線を選択する相互結合層123 ′、選択された
円弧状の輪郭線から注目領域中心点を囲む同心円の円周
方向に対して所定角度傾いた輪郭線の成分を全て抽出す
る傾き成分抽出層124 、選択された放射状の輪郭線から
注目領域中心点を囲む同心円の円周方向に対して所定角
度傾いた輪郭線の成分を全て抽出する傾き成分抽出層12
4 ′、抽出された円弧状の輪郭線成分から所定被写体候
補の注目領域中心点を囲む同心円の円周方向に対する方
位ベクトルである方位と強度とを検出する方位ベクトル
検出層125 、抽出された放射状の輪郭線成分から所定被
写体候補の注目領域中心点を囲む同心円の円周方向に対
する方位ベクトルである方位と強度とを検出する方位ベ
クトル検出層125 ′、検出された円弧状の輪郭線の成分
の方位と強度とから方位ベクトルを合成する方位ベクト
ル合成層126 、検出された放射状の輪郭線の成分の方位
と強度とから方位ベクトルを合成する方位ベクトル合成
層126 ′および合成された各方位ベクトルから注目領域
移動ベクトルを決定する注目領域移動ベクトル出力層12
7 のニューロン層からなる。すなわち入力層120 は図28
または図36における複素対数座標で注目領域移動ベクト
ルを求めるニューラルネットワークのａ，ａ′層と、輪
郭線検出層121 ，121 ′はｃ１，ｃ１′層，ｃ２，ｃ
２′層と、端点検出層122 はｄ，ｄ′層と、相互結合層
123 ，123 ′はｅ１，ｅ１′層，ｅ２，ｅ２′層と、傾
き成分抽出層124 ，124 ′はｆ１，ｆ１′層，ｆ２，ｆ
２′層と、方位ベクトル検出層125 ，125 ′はｇ１，ｇ
１′層，ｇ２，ｇ２′層と、方位ベクトル合成層126 ，
126 ′はｈ１，ｈ１′層，ｈ２，ｈ２′層と、そして注
目領域移動ベクトル出力層127 はｉ，ｉ′層とそれぞれ
対応している。
【０２０２】まず入力層120 において、所定の大きさの
注目領域の範囲の画像が切り出されて外界から取り込ま
れる（または、図26に示す画像42が入力される）。入力
層120 において取り込まれた画像は輪郭線検出層121 ，
121 ′において円弧状および放射状の輪郭線が検出され
る。この検出を行なうために、入力層120 から輪郭線検
出層121 ，121 ′へのシナプス結合の重みはそれぞれ図
61(a) 、図63(a) に示すように設定されている。すなわ
ち、輪郭線検出層121 においては注目領域中心点を取り
囲むように円弧状の輪郭線を検出しやすいようなシナプ
ス結合が同心円状に配置され、しかもそのシナプス結合
のサイズは、注目領域中心点に近いほど結合範囲が狭く
なるようなシナプス結合群128 となっている。一方、輪
郭線検出層121 ′においては、注目領域中心点の中心か
ら放射状に延びる輪郭線を検出しやすいようなが同心円
状に配置され、しかもそのシナプス結合のサイズはシナ
プス結合群128 と同様に注目領域中心点に近いぼど結合
範囲が狭くなるようなシナプス結合群128 ′となってい
る。ここで、中心点までの距離に応じて結合範囲が変化
するのは、複素対数座標変換を行なう第１実施例におい
て、放射方向の距離が非線形に対数変換されるのに対応
している。円弧状および放射状の輪郭線が検出される
と、次いで端点検出層122 においては、放射状の輪郭線
が検出された輪郭線検出層122 ′の画像から、ある所定
被写体候補が手前に存在する別の物体に遮ぎられた場合
にその境界で発生する放射状の輪郭線の端点を抽出す
る。次いで相互結合層123 ，123 ′において連続する円
弧状および放射状の輪郭線が選択される。相互結合層12
3 の層内で互いに結合しているシナプス結合の重みは図
61(b) に示すように設定されており、注目領域中心点Ｑ
を中心として注目領域中心点Ｑをとり囲む形で円周方向
の輪郭線は互いに協調し合い、円周方向に連続性が高
く、しかも強度が強い輪郭線は強調されて、背景等によ
り円周方向に途切れていた輪郭線は連続するようになる
一方で放射方向の輪郭線は円周方向に連続性が高く強度
が強い輪郭線と競合し、円周方向の輪郭線が発する抑制
信号により抑制されて消去されるようなシナプス結合群
129 となっている。一方、相互結合層123 ′の層内での
互いに結合しているシナプス結合の重みは図63(b) に示
すように設定されており、注目領域中心点Ｑを中心とし
て注目領域中心点Ｑをとり囲む形で放射方向の輪郭線は
互いに協調し合い、放射方向に連続性が高く、しかも強
度が強い輪郭線は強調されて、背景等により放射方向に
途切れていた輪郭線は連続するようになる一方で、円周
方向の輪郭線は放射方向に連続性が高く強度が輪郭線と
競合し、放射方向の輪郭線が発する抑制信号により抑制
されて消去されるようなシナプス結合群129 ′となって
いる。次に傾き成分抽出層124 ，124 ′において、選択
された輪郭線から注目領域中心点を囲む同心円の円周方
向に対して所定角度傾いた輪郭線の成分が全て抽出され
る。
注目領域の範囲の画像が切り出されて外界から取り込ま
れる（または、図26に示す画像42が入力される）。入力
層120 において取り込まれた画像は輪郭線検出層121 ，
121 ′において円弧状および放射状の輪郭線が検出され
る。この検出を行なうために、入力層120 から輪郭線検
出層121 ，121 ′へのシナプス結合の重みはそれぞれ図
61(a) 、図63(a) に示すように設定されている。すなわ
ち、輪郭線検出層121 においては注目領域中心点を取り
囲むように円弧状の輪郭線を検出しやすいようなシナプ
ス結合が同心円状に配置され、しかもそのシナプス結合
のサイズは、注目領域中心点に近いほど結合範囲が狭く
なるようなシナプス結合群128 となっている。一方、輪
郭線検出層121 ′においては、注目領域中心点の中心か
ら放射状に延びる輪郭線を検出しやすいようなが同心円
状に配置され、しかもそのシナプス結合のサイズはシナ
プス結合群128 と同様に注目領域中心点に近いぼど結合
範囲が狭くなるようなシナプス結合群128 ′となってい
る。ここで、中心点までの距離に応じて結合範囲が変化
するのは、複素対数座標変換を行なう第１実施例におい
て、放射方向の距離が非線形に対数変換されるのに対応
している。円弧状および放射状の輪郭線が検出される
と、次いで端点検出層122 においては、放射状の輪郭線
が検出された輪郭線検出層122 ′の画像から、ある所定
被写体候補が手前に存在する別の物体に遮ぎられた場合
にその境界で発生する放射状の輪郭線の端点を抽出す
る。次いで相互結合層123 ，123 ′において連続する円
弧状および放射状の輪郭線が選択される。相互結合層12
3 の層内で互いに結合しているシナプス結合の重みは図
61(b) に示すように設定されており、注目領域中心点Ｑ
を中心として注目領域中心点Ｑをとり囲む形で円周方向
の輪郭線は互いに協調し合い、円周方向に連続性が高
く、しかも強度が強い輪郭線は強調されて、背景等によ
り円周方向に途切れていた輪郭線は連続するようになる
一方で放射方向の輪郭線は円周方向に連続性が高く強度
が強い輪郭線と競合し、円周方向の輪郭線が発する抑制
信号により抑制されて消去されるようなシナプス結合群
129 となっている。一方、相互結合層123 ′の層内での
互いに結合しているシナプス結合の重みは図63(b) に示
すように設定されており、注目領域中心点Ｑを中心とし
て注目領域中心点Ｑをとり囲む形で放射方向の輪郭線は
互いに協調し合い、放射方向に連続性が高く、しかも強
度が強い輪郭線は強調されて、背景等により放射方向に
途切れていた輪郭線は連続するようになる一方で、円周
方向の輪郭線は放射方向に連続性が高く強度が輪郭線と
競合し、放射方向の輪郭線が発する抑制信号により抑制
されて消去されるようなシナプス結合群129 ′となって
いる。次に傾き成分抽出層124 ，124 ′において、選択
された輪郭線から注目領域中心点を囲む同心円の円周方
向に対して所定角度傾いた輪郭線の成分が全て抽出され
る。
【０２０３】ここで、相互結合層123 から傾き成分抽出
層124 へのシナプス結合の重みは傾き成分抽出層124aお
よび124bにおいてそれぞれ図61(c) および(d) に示すよ
うになっており、図61(c) の輪郭線検出シナプス結合13
0 は注目領域中心点を取り囲む同心円群の円周方向に対
して右上りに、図61(d) の輪郭線検出シナプス結合131
は左上がりにそれぞれ一定角度α，−α傾いており、か
つそのシナプス結合のサイズは、注目領域中心点に近い
ほど結合範囲が狭くなるようなシナプス結合群130 ，13
1 となっている。そして、このシナプス結合群により、
所定被写体候補の円弧状の輪郭線が注目領域の中心点を
中心とする円周に沿った方向に対して所定の角度傾いた
部分を検出するものである。例えば図62に示すような位
置に円形の所定被写体候補132 が存在する場合には、相
互結合層123 で選択された所定被写体候補の輪郭線132
のうち、右上がりの傾き成分がシナプス結合群130 の中
のシナプス結合130aにより検出され、左上がりの傾き成
分がシナプス結合群131 の中のシナプス結合131aにより
検出される。このようにして検出された各傾き成分の方
位と強度のうち右上がりの傾き成分の方位と強度が方位
ベクトル検出層125aにおいて、左上がりの傾き成分の方
位と強度が方位ベクトル検出層125bにおいてそれぞれ検
出される。次いで方位ベクトル合成層126 において、方
位ベクトル検出層125a，125bにおいて検出された方位と
強度とから方位ベクトルが合成される。このようにして
合成された方位ベクトルは注目領域移動ベクトル出力層
127 へと伝達され、注目領域移動ベクトルとして出力さ
れる。
層124 へのシナプス結合の重みは傾き成分抽出層124aお
よび124bにおいてそれぞれ図61(c) および(d) に示すよ
うになっており、図61(c) の輪郭線検出シナプス結合13
0 は注目領域中心点を取り囲む同心円群の円周方向に対
して右上りに、図61(d) の輪郭線検出シナプス結合131
は左上がりにそれぞれ一定角度α，−α傾いており、か
つそのシナプス結合のサイズは、注目領域中心点に近い
ほど結合範囲が狭くなるようなシナプス結合群130 ，13
1 となっている。そして、このシナプス結合群により、
所定被写体候補の円弧状の輪郭線が注目領域の中心点を
中心とする円周に沿った方向に対して所定の角度傾いた
部分を検出するものである。例えば図62に示すような位
置に円形の所定被写体候補132 が存在する場合には、相
互結合層123 で選択された所定被写体候補の輪郭線132
のうち、右上がりの傾き成分がシナプス結合群130 の中
のシナプス結合130aにより検出され、左上がりの傾き成
分がシナプス結合群131 の中のシナプス結合131aにより
検出される。このようにして検出された各傾き成分の方
位と強度のうち右上がりの傾き成分の方位と強度が方位
ベクトル検出層125aにおいて、左上がりの傾き成分の方
位と強度が方位ベクトル検出層125bにおいてそれぞれ検
出される。次いで方位ベクトル合成層126 において、方
位ベクトル検出層125a，125bにおいて検出された方位と
強度とから方位ベクトルが合成される。このようにして
合成された方位ベクトルは注目領域移動ベクトル出力層
127 へと伝達され、注目領域移動ベクトルとして出力さ
れる。
【０２０４】一方、相互結合層123 ′から傾き成分抽出
層124 ′へのシナプス結合の重みは傾き成分抽出層124
a′および124b′についてそれぞれ図63(c) および(d)
に示すようになっており、図63(c) の輪郭線検出シナプ
ス結合130 ′は注目領域中心点を取り囲む同心円群の円
周方向に対して左上りに、図63(d) の輪郭線検出シナプ
ス結合121 ′は右上がりにそれぞれ一定角度α′，−
α′傾いておりかつそのシナプス結合のサイズは、注目
領域中心点に近いほど結合範囲が狭くなるようなシナプ
ス結合群130 ′，131 ′となっている。そして、このシ
ナプス結合群により、所定被写体候補の放射状の輪郭線
が注目領域の中心点を中心とする円周に沿った方向に対
して所定の角度傾いた部分を検出するものである。例え
ば図64に示すような位置に所定被写体候補132 ′の輪郭
線の交点が存在する場合には、相互結合層123 ′で選択
された所定被写体候補の輪郭線132 ′のうち、左上がり
の傾き成分がシナプス結合群130 ′の中のシナプス結合
130a′により検出され、右上がりの傾き成分がシナプス
結合群131 ′の中のシナプス結合131a′により検出され
る。このようにして検出された各傾き成分の方位と強度
のうち左上がりの傾き成分の方位と強度が方位ベクトル
検出層125a′において、右上がりの傾き成分の方位と強
度が方位ベクトル検出層125b′においてそれぞれ検出さ
れる。次いで方位ベクトル合成層126 ′において、方位
ベクトル検出層125a′，125b′において検出された方位
と強度とから方位ベクトルが合成される。このようにし
て合成された方位ベクトルは注目領域移動ベクトル出力
層127 へと伝達され、注目領域移動ベクトルとして出力
される。
層124 ′へのシナプス結合の重みは傾き成分抽出層124
a′および124b′についてそれぞれ図63(c) および(d)
に示すようになっており、図63(c) の輪郭線検出シナプ
ス結合130 ′は注目領域中心点を取り囲む同心円群の円
周方向に対して左上りに、図63(d) の輪郭線検出シナプ
ス結合121 ′は右上がりにそれぞれ一定角度α′，−
α′傾いておりかつそのシナプス結合のサイズは、注目
領域中心点に近いほど結合範囲が狭くなるようなシナプ
ス結合群130 ′，131 ′となっている。そして、このシ
ナプス結合群により、所定被写体候補の放射状の輪郭線
が注目領域の中心点を中心とする円周に沿った方向に対
して所定の角度傾いた部分を検出するものである。例え
ば図64に示すような位置に所定被写体候補132 ′の輪郭
線の交点が存在する場合には、相互結合層123 ′で選択
された所定被写体候補の輪郭線132 ′のうち、左上がり
の傾き成分がシナプス結合群130 ′の中のシナプス結合
130a′により検出され、右上がりの傾き成分がシナプス
結合群131 ′の中のシナプス結合131a′により検出され
る。このようにして検出された各傾き成分の方位と強度
のうち左上がりの傾き成分の方位と強度が方位ベクトル
検出層125a′において、右上がりの傾き成分の方位と強
度が方位ベクトル検出層125b′においてそれぞれ検出さ
れる。次いで方位ベクトル合成層126 ′において、方位
ベクトル検出層125a′，125b′において検出された方位
と強度とから方位ベクトルが合成される。このようにし
て合成された方位ベクトルは注目領域移動ベクトル出力
層127 へと伝達され、注目領域移動ベクトルとして出力
される。
【０２０５】このようにして方位ベクトル合成層126 ，
126 ′において合成された注目領域移動ベクトルは注目
領域中心点が置かれた情況によりそれぞれ異なるもので
あるが、前述した本発明による被写体抽出方法の第１実
施例と同様に、注目領域移動ベクトル出力層127 におい
て２種類の注目領域移動ベクトルの出力をバランス良く
利用することにより、いかなる情況においても所定の位
置に注目領域を移動することが可能となる。
126 ′において合成された注目領域移動ベクトルは注目
領域中心点が置かれた情況によりそれぞれ異なるもので
あるが、前述した本発明による被写体抽出方法の第１実
施例と同様に、注目領域移動ベクトル出力層127 におい
て２種類の注目領域移動ベクトルの出力をバランス良く
利用することにより、いかなる情況においても所定の位
置に注目領域を移動することが可能となる。
【０２０６】また、動きに基づく注目領域移動ベクトル
および輪郭線に基づく注目領域移動ベクトルの算出と並
行して、所定被写体候補の色に基づく注目領域移動ベク
トルの算出も行われる。
および輪郭線に基づく注目領域移動ベクトルの算出と並
行して、所定被写体候補の色に基づく注目領域移動ベク
トルの算出も行われる。
【０２０７】図65は本発明の実施例による所定被写体候
補の中心に注目領域中心点を移動させることによって所
定被写体候補の抽出を行うニューラルネットワークの１
例を表わす図である。図65に示すニューラルネットワー
クは、与えられた画像140 から所定の大きさの注目領域
の範囲に画像を切り出す入力層150 、切り出した画像か
ら所定被写体候補の色と略一致する領域のニューロンを
抽出し、この領域と所定被写体候補の色との一致度を検
出するニューラルネットワーク層152 ，153 ，154 、所
定の大きさと強度をもつ色領域を選択する相互結合層15
4 、選択された色領域の方位と強度とを検出する方位ベ
クトル検出層155 、その方位ベクトルを合成して、注目
領域の移動ベクトルが出力する注目領域移動ベクトル出
力層156のニューロン層からなる。
補の中心に注目領域中心点を移動させることによって所
定被写体候補の抽出を行うニューラルネットワークの１
例を表わす図である。図65に示すニューラルネットワー
クは、与えられた画像140 から所定の大きさの注目領域
の範囲に画像を切り出す入力層150 、切り出した画像か
ら所定被写体候補の色と略一致する領域のニューロンを
抽出し、この領域と所定被写体候補の色との一致度を検
出するニューラルネットワーク層152 ，153 ，154 、所
定の大きさと強度をもつ色領域を選択する相互結合層15
4 、選択された色領域の方位と強度とを検出する方位ベ
クトル検出層155 、その方位ベクトルを合成して、注目
領域の移動ベクトルが出力する注目領域移動ベクトル出
力層156のニューロン層からなる。
【０２０８】すなわち入力層150 は図41における複素対
数座標で注目領域移動ベクトルを求めるニューラルネッ
トワークのａ″層と、ニューラルネットワーク層151 ，
152，153 はｃ″層と、相互結合層154 はｆ″層と、方
位ベクトル検出層155 はｇ″層と、注目領域移動ベクト
ル出力層156 はｉ″層とそれぞれ対応している。
数座標で注目領域移動ベクトルを求めるニューラルネッ
トワークのａ″層と、ニューラルネットワーク層151 ，
152，153 はｃ″層と、相互結合層154 はｆ″層と、方
位ベクトル検出層155 はｇ″層と、注目領域移動ベクト
ル出力層156 はｉ″層とそれぞれ対応している。
【０２０９】まず入力層150 において、所定の大きさの
注目領域の範囲の画像が切り出されて外界から取り込ま
れる。入力層150 において取り込まれた画像は、ニュー
ラルネットワーク層151 において、所定被写体候補の色
と略一致する色の領域が抽出され、この領域と所定被写
体候補の色との一致度が検出される。所定被写体候補の
色との一致度が検出されると、次いで相互結合層154 に
おいて所定被写体候補の色との一致度が高い領域のニュ
ーロン群が選択される。次に選択された所定被写体候補
の色との一致度が高い領域のうち、形状・大きさともに
所定被写体候補として最も適当であるとされた領域のニ
ューロン群の成分が全て抽出される。
注目領域の範囲の画像が切り出されて外界から取り込ま
れる。入力層150 において取り込まれた画像は、ニュー
ラルネットワーク層151 において、所定被写体候補の色
と略一致する色の領域が抽出され、この領域と所定被写
体候補の色との一致度が検出される。所定被写体候補の
色との一致度が検出されると、次いで相互結合層154 に
おいて所定被写体候補の色との一致度が高い領域のニュ
ーロン群が選択される。次に選択された所定被写体候補
の色との一致度が高い領域のうち、形状・大きさともに
所定被写体候補として最も適当であるとされた領域のニ
ューロン群の成分が全て抽出される。
【０２１０】ここで、相互結合層154 の内部の、所定の
大きさと強度をもつ色領域を選択する相互結合のシナプ
ス結合の重みは、図66に示すようになっており、図66の
所定被写体候補と色の一致度が高いニューロン群検出シ
ナプス結合160 は、注目領域中心点に近いほど結合範囲
が狭くなるようなシナプス結合群160 となっている。そ
して、このシナプス結合群により、所定被写体候補と色
の一致度が高いニューロン群を検出するものである。次
いで、方位ベクトル検出層155 において検出された方位
と距離とから方位ベクトルが合成される。このようにし
て合成された方位ベクトルは注目領域移動ベクトル出力
層156 へと伝達され、注目領域移動ベクトルとして出力
される。
大きさと強度をもつ色領域を選択する相互結合のシナプ
ス結合の重みは、図66に示すようになっており、図66の
所定被写体候補と色の一致度が高いニューロン群検出シ
ナプス結合160 は、注目領域中心点に近いほど結合範囲
が狭くなるようなシナプス結合群160 となっている。そ
して、このシナプス結合群により、所定被写体候補と色
の一致度が高いニューロン群を検出するものである。次
いで、方位ベクトル検出層155 において検出された方位
と距離とから方位ベクトルが合成される。このようにし
て合成された方位ベクトルは注目領域移動ベクトル出力
層156 へと伝達され、注目領域移動ベクトルとして出力
される。
【０２１１】次いで上述した所定被写体候補の動きに基
づいて注目領域移動ベクトルを求めるニューラルネット
ワーク、所定被写体候補の輪郭線に基づいて注目領域移
動ベクトルを求めるニューラルネットワークおよび所定
被写体候補の色に基づいて注目領域移動ベクトルを求め
るニューラルネットワークの３つのニューラルネットワ
ークにより求められた３種類の注目領域移動ベクトル
は、求めるべき所定被写体候補に合わせて適切に合成さ
れ、最終的な注目領域移動ベクトルが求められる。この
最終的に求められた注目領域移動ベクトルに基づいて注
目領域は所定被写体候補の方向に移動させられるのであ
る。
づいて注目領域移動ベクトルを求めるニューラルネット
ワーク、所定被写体候補の輪郭線に基づいて注目領域移
動ベクトルを求めるニューラルネットワークおよび所定
被写体候補の色に基づいて注目領域移動ベクトルを求め
るニューラルネットワークの３つのニューラルネットワ
ークにより求められた３種類の注目領域移動ベクトル
は、求めるべき所定被写体候補に合わせて適切に合成さ
れ、最終的な注目領域移動ベクトルが求められる。この
最終的に求められた注目領域移動ベクトルに基づいて注
目領域は所定被写体候補の方向に移動させられるのであ
る。
【０２１２】上述したように、注目領域が移動されて、
所定被写体候補の中心位置まで到達すると、前述した本
発明の実施例と同様に所定被写体候補を正規化して切り
出して、判定部に送り、この所定被写体候補が所定被写
体であるか否かの判定がなされる。
所定被写体候補の中心位置まで到達すると、前述した本
発明の実施例と同様に所定被写体候補を正規化して切り
出して、判定部に送り、この所定被写体候補が所定被写
体であるか否かの判定がなされる。
【０２１３】上述した本発明による被写体抽出方法の第
２実施例においては、本発明の第１実施例と同様に、ニ
ューラルネットワークのアニーリング法等によりニュー
ロンの出力に熱的ゆらぎを加え、画像中の微小極小点に
注目領域が停止することを防止するようにしてもよい。
この際、本発明の第２実施例によるニューラルネットワ
ークにおける傾き成分抽出層124 ，124 ′のニューロン
の出力に、前述した式(9) に示すような特性を与えてお
けばよい。
２実施例においては、本発明の第１実施例と同様に、ニ
ューラルネットワークのアニーリング法等によりニュー
ロンの出力に熱的ゆらぎを加え、画像中の微小極小点に
注目領域が停止することを防止するようにしてもよい。
この際、本発明の第２実施例によるニューラルネットワ
ークにおける傾き成分抽出層124 ，124 ′のニューロン
の出力に、前述した式(9) に示すような特性を与えてお
けばよい。
【０２１４】また、本発明の第１実施例と同様に注目領
域移動ベクトル出力層127 において出力される注目領域
移動ベクトルに対し、式(10)に示されるような特性を与
え、慣性項を加えることにより注目領域微小極小点で停
止することを防止するようにしてもよい。
域移動ベクトル出力層127 において出力される注目領域
移動ベクトルに対し、式(10)に示されるような特性を与
え、慣性項を加えることにより注目領域微小極小点で停
止することを防止するようにしてもよい。
【０２１５】また、本発明の第２実施例において、所定
被写体候補を抽出した後に、ニューラルネットワークの
疲れの項の導入、あるいはマスキング等の処理を施すこ
とにより、一度抽出した所定被写体候補に対して再抽出
防止処理を施すようにしてもよい。例えば、本発明の第
２実施例における入力層の前に前述したような網膜ニュ
ーロン層を設け、この網膜ニューロン層に対して式(11)
に示されるような特性を与えておく。ここで図67に示す
ように、本実施例におけるニューラルネットワークの相
互結合層123 において強調された所定被写体候補の内部
と対応する部分123 Ａのニューロンにおいてはｋ
i （ｔ）＝１、所定被写体候補の輪郭線の外部と対応す
る部分のニューロンにおいてはｋi （ｔ）＝０とするこ
とにより、網膜ニューロン層161 の所定被写体候補であ
る顔162 Ａの内部にあるニューロンにのみ疲れが溜るよ
うになる。したがって式(11)により、所定被写体候補で
ない領域のニューロンは疲れることがないため、ニュー
ロンへの入力そのものを出力とすることができるが、所
定被写体候補の領域のニューロンは、疲れが溜り、入力
を受けても前述した疲れの項によって出力の低下を生じ
るようになる。この出力低下によって、所定被写体候補
の領域からの信号は網膜ニューロン層161 の次の層へ伝
達されことがなくなるため、注目領域は別の所定被写体
候補に向かって移動し、別の所定被写体候補を抽出する
ようになる。この疲れであるが、前述したようにｋ
i （ｔ）とｔf の値を適当に定めることにより、あるニ
ューロンに常に入力がある場合には、そのニューロンか
らの出力は、時間とともに増減を振動的に繰り返すよう
になる。ここでｔf の値を無限大とすることによって、
一度興奮したニューロンは２度と興奮することがなくな
り、同一の所定被写体候補が再抽出されることはなくな
る。
被写体候補を抽出した後に、ニューラルネットワークの
疲れの項の導入、あるいはマスキング等の処理を施すこ
とにより、一度抽出した所定被写体候補に対して再抽出
防止処理を施すようにしてもよい。例えば、本発明の第
２実施例における入力層の前に前述したような網膜ニュ
ーロン層を設け、この網膜ニューロン層に対して式(11)
に示されるような特性を与えておく。ここで図67に示す
ように、本実施例におけるニューラルネットワークの相
互結合層123 において強調された所定被写体候補の内部
と対応する部分123 Ａのニューロンにおいてはｋ
i （ｔ）＝１、所定被写体候補の輪郭線の外部と対応す
る部分のニューロンにおいてはｋi （ｔ）＝０とするこ
とにより、網膜ニューロン層161 の所定被写体候補であ
る顔162 Ａの内部にあるニューロンにのみ疲れが溜るよ
うになる。したがって式(11)により、所定被写体候補で
ない領域のニューロンは疲れることがないため、ニュー
ロンへの入力そのものを出力とすることができるが、所
定被写体候補の領域のニューロンは、疲れが溜り、入力
を受けても前述した疲れの項によって出力の低下を生じ
るようになる。この出力低下によって、所定被写体候補
の領域からの信号は網膜ニューロン層161 の次の層へ伝
達されことがなくなるため、注目領域は別の所定被写体
候補に向かって移動し、別の所定被写体候補を抽出する
ようになる。この疲れであるが、前述したようにｋ
i （ｔ）とｔf の値を適当に定めることにより、あるニ
ューロンに常に入力がある場合には、そのニューロンか
らの出力は、時間とともに増減を振動的に繰り返すよう
になる。ここでｔf の値を無限大とすることによって、
一度興奮したニューロンは２度と興奮することがなくな
り、同一の所定被写体候補が再抽出されることはなくな
る。
【０２１６】さらに、本発明の第１実施例と同様に、傾
き成分抽出層124 ，124 ′にアニーリング法等を用いて
ニューロンの入出力特性に熱的ゆらぎを加える、あるい
は前述した網膜ニューロン層に疲れの項を導入すること
により、注目領域が停止した状態から再度注目領域が所
定の方向に移動するような処理を施すようにしてもよ
い。
き成分抽出層124 ，124 ′にアニーリング法等を用いて
ニューロンの入出力特性に熱的ゆらぎを加える、あるい
は前述した網膜ニューロン層に疲れの項を導入すること
により、注目領域が停止した状態から再度注目領域が所
定の方向に移動するような処理を施すようにしてもよ
い。
【０２１７】なお、上述した本発明による実施例におい
ては、所定被写体候補を抽出した後に、この所定被写体
候補が所定被写体であるか否かを判定するようにしてい
るが、所定被写体候補の抽出後にこの所定被写体候補を
所定被写体として、ニューラルネットワークの学習に用
いるようにしてもよい。本発明によって抽出した所定被
写体候補は正規化されており、また所定被写体である可
能性も高いため、効率良くニューラルネットワークの学
習を行うことができる。
ては、所定被写体候補を抽出した後に、この所定被写体
候補が所定被写体であるか否かを判定するようにしてい
るが、所定被写体候補の抽出後にこの所定被写体候補を
所定被写体として、ニューラルネットワークの学習に用
いるようにしてもよい。本発明によって抽出した所定被
写体候補は正規化されており、また所定被写体である可
能性も高いため、効率良くニューラルネットワークの学
習を行うことができる。
【０２１８】また、上述した本発明による実施例におい
ては、ニューラルネットワークを用いて所定被写体候補
の抽出を行っているが、とくにニューラルネットワーク
を用いる必要はなく、いかなる手法を用いてもよいこと
はもちろんである。
ては、ニューラルネットワークを用いて所定被写体候補
の抽出を行っているが、とくにニューラルネットワーク
を用いる必要はなく、いかなる手法を用いてもよいこと
はもちろんである。
【０２１９】また、上述した所定被写体候補の動きに基
づいて注目領域移動ベクトルを求める実施例において
は、画像の画像面に平行な方向の動きを検出する際には
実空間座標上で、放射方向と面内回転方向の動きを検出
する際には、画像を複素対数座標変換してから検出を行
っているが、画像の動きを検出する際には、とくに複素
対数座標変換する必要はなく、実空間座標上で行っても
かまわないものである。また、画像の画像面に平行な方
向の動きを検出する際に、複素対数座標変換して検出を
行うようにしてもよい。また、上述した所定被写体候補
の動きに基づいて注目領域移動ベクトルを求める実施例
においては、画像の画像面に平行な方向、面内回転方向
および放射方向の３種の動きを検出するようにしている
が、とくに画像の動きが一定の場合（例えば画像面に平
行な方向の動きのみ）は、１種の動き（例えば画像面に
平行な方向のみ）を検出するようにしてもよい。
づいて注目領域移動ベクトルを求める実施例において
は、画像の画像面に平行な方向の動きを検出する際には
実空間座標上で、放射方向と面内回転方向の動きを検出
する際には、画像を複素対数座標変換してから検出を行
っているが、画像の動きを検出する際には、とくに複素
対数座標変換する必要はなく、実空間座標上で行っても
かまわないものである。また、画像の画像面に平行な方
向の動きを検出する際に、複素対数座標変換して検出を
行うようにしてもよい。また、上述した所定被写体候補
の動きに基づいて注目領域移動ベクトルを求める実施例
においては、画像の画像面に平行な方向、面内回転方向
および放射方向の３種の動きを検出するようにしている
が、とくに画像の動きが一定の場合（例えば画像面に平
行な方向の動きのみ）は、１種の動き（例えば画像面に
平行な方向のみ）を検出するようにしてもよい。
【０２２０】また、上記実施例においては、画像からの
注目領域の範囲の画像の切り出しから注目領域の移動ま
での全てのステップ、あるいは再抽出防止処理、熱的ゆ
らぎの加算、疲れの項の導入のためにニューラルネット
ワークを用いているが、とくに全てのステップに用いる
必要はなく、被写体抽出の少なくとも１つのステップに
用いればよい。また、所定被写体候補の切り出しをニュ
ーラルネットワークを用いて行うようにしてもよいこと
はもちろんである。
注目領域の範囲の画像の切り出しから注目領域の移動ま
での全てのステップ、あるいは再抽出防止処理、熱的ゆ
らぎの加算、疲れの項の導入のためにニューラルネット
ワークを用いているが、とくに全てのステップに用いる
必要はなく、被写体抽出の少なくとも１つのステップに
用いればよい。また、所定被写体候補の切り出しをニュ
ーラルネットワークを用いて行うようにしてもよいこと
はもちろんである。
【０２２１】また、上記実施例においては、本発明の被
写体抽出方法を人の顔またはヨットの抽出のために用い
ているが、抽出はこれらに限定されるものではなく、い
かなる所定被写体の抽出にも用いることができる。この
場合、抽出にニューラルネットワークを用いて、抽出を
行う被写体に適した構成で学習を行えば、人の顔または
ヨットの抽出と同じように効率的に抽出を行うことがで
きる。
写体抽出方法を人の顔またはヨットの抽出のために用い
ているが、抽出はこれらに限定されるものではなく、い
かなる所定被写体の抽出にも用いることができる。この
場合、抽出にニューラルネットワークを用いて、抽出を
行う被写体に適した構成で学習を行えば、人の顔または
ヨットの抽出と同じように効率的に抽出を行うことがで
きる。
【０２２２】さらに、本発明による被写体抽出方法は人
の顔等が映し込まれた静止画像からの所定被写体候補の
抽出のみでなく、所定被写体候補が移動する動画像の追
跡にも用いることができる。この場合、前述した本発明
の所定被写体候補の抽出の実施例に見られるように注目
領域を移動させて、移動する所定被写体候補を追跡して
所定被写体候補を抽出し、この動く所定被写体候補が所
定被写体であるか否かを判定してやればよい。
の顔等が映し込まれた静止画像からの所定被写体候補の
抽出のみでなく、所定被写体候補が移動する動画像の追
跡にも用いることができる。この場合、前述した本発明
の所定被写体候補の抽出の実施例に見られるように注目
領域を移動させて、移動する所定被写体候補を追跡して
所定被写体候補を抽出し、この動く所定被写体候補が所
定被写体であるか否かを判定してやればよい。
【０２２３】さらに、上述した実施例においては、所定
被写体候補の動き、輪郭線および色の３種類の特徴に基
づいて求められた３種類の注目領域移動ベクトルを合成
して最終的な注目領域移動ベクトルを求めるようにして
いるが、とくにこれには限定されず、所定被写体候補の
輪郭線と色とから、所定被写体候補の輪郭線と動きとか
ら、または所定被写体候補の動きと色とから注目領域移
動ベクトルを求めるようにしてもよい。さらに、所定被
写体候補の動き、輪郭線、色のうち任意の１つのみに基
づいて注目領域移動ベクトルを求めるようにしてもよ
い。
被写体候補の動き、輪郭線および色の３種類の特徴に基
づいて求められた３種類の注目領域移動ベクトルを合成
して最終的な注目領域移動ベクトルを求めるようにして
いるが、とくにこれには限定されず、所定被写体候補の
輪郭線と色とから、所定被写体候補の輪郭線と動きとか
ら、または所定被写体候補の動きと色とから注目領域移
動ベクトルを求めるようにしてもよい。さらに、所定被
写体候補の動き、輪郭線、色のうち任意の１つのみに基
づいて注目領域移動ベクトルを求めるようにしてもよ
い。
【０２２４】また、上述した実施例においては、所定被
写体候補の輪郭線に基づいて注目領域移動ベクトルを求
めるニューラルネットワークにのみ、再抽出防止処理、
疲れの項の導入、熱的ゆらぎの加算等を行っているが、
所定被写体候補の色、動きに基づいて注目領域移動ベク
トルを求めるニューラルネットワークに、再抽出防止処
理等を行ってもよいことはもちろんである。
写体候補の輪郭線に基づいて注目領域移動ベクトルを求
めるニューラルネットワークにのみ、再抽出防止処理、
疲れの項の導入、熱的ゆらぎの加算等を行っているが、
所定被写体候補の色、動きに基づいて注目領域移動ベク
トルを求めるニューラルネットワークに、再抽出防止処
理等を行ってもよいことはもちろんである。
【０２２５】
【発明の効果】以上詳細に説明したように、発明による
被写体抽出装置は、画像から高精度に所定被写体候補を
抽出することができるため、抽出した所定被写体候補が
所定被写体であるか否かを判定する判定ステップや学習
等の抽出の次のステップへの負担が著しく軽減され、本
発明を用いたシステムの能力を向上させることが可能と
なる。
被写体抽出装置は、画像から高精度に所定被写体候補を
抽出することができるため、抽出した所定被写体候補が
所定被写体であるか否かを判定する判定ステップや学習
等の抽出の次のステップへの負担が著しく軽減され、本
発明を用いたシステムの能力を向上させることが可能と
なる。
【０２２６】また、本発明による被写体抽出装置は、所
定被写体候補という注目領域内の限定された領域のみ
を、抽出のための演算対象とすることができるため、画
像サイズがいかに大きくなろうとも演算規模の巨大化を
防止することができる。
定被写体候補という注目領域内の限定された領域のみ
を、抽出のための演算対象とすることができるため、画
像サイズがいかに大きくなろうとも演算規模の巨大化を
防止することができる。
【０２２７】また、所定被写体候補の動きに基づいて注
目領域移動ベクトルを求める被写体抽出装置は、カメラ
等の画像入力器自身が動くようなシステムにおいて、画
像に含まれる背景とは異なる動きをする物体へ注目領域
を移動させることができ、さらには、この物体を抽出す
ることが可能となる。また、画像から効率良く所定被写
体候補を抽出することができるため、判別や学習等の抽
出の次のステップへの負担が著しく軽減され、演算時間
を短縮でき、本発明を用いたシステムの能力を向上させ
ることが可能となる。
目領域移動ベクトルを求める被写体抽出装置は、カメラ
等の画像入力器自身が動くようなシステムにおいて、画
像に含まれる背景とは異なる動きをする物体へ注目領域
を移動させることができ、さらには、この物体を抽出す
ることが可能となる。また、画像から効率良く所定被写
体候補を抽出することができるため、判別や学習等の抽
出の次のステップへの負担が著しく軽減され、演算時間
を短縮でき、本発明を用いたシステムの能力を向上させ
ることが可能となる。
【０２２８】また、本発明による被写体抽出装置は、同
一画像中に複数の所定被写体候補が存在する場合でも、
一度抽出した所定被写体候補を再度抽出してしまうこと
を防止することができるため、画像から高精度に所定被
写体候補を抽出することができ、効率良く所定被写体候
補を抽出することが可能となる。
一画像中に複数の所定被写体候補が存在する場合でも、
一度抽出した所定被写体候補を再度抽出してしまうこと
を防止することができるため、画像から高精度に所定被
写体候補を抽出することができ、効率良く所定被写体候
補を抽出することが可能となる。
【０２２９】また、本発明による被写体抽出装置は、画
像から高精度に所定被写体候補を抽出するとともに、注
目領域中心点が画像上を所定被写体候補に向かって移動
している途中において所定被写体候補とは異なる物体の
位置で停止しそうになっても、注目領域中心点が停止し
てしまうことを防止することができるため、効率良く注
目領域中心点を移動させて所定被写体候補の抽出を行う
ことができる。
像から高精度に所定被写体候補を抽出するとともに、注
目領域中心点が画像上を所定被写体候補に向かって移動
している途中において所定被写体候補とは異なる物体の
位置で停止しそうになっても、注目領域中心点が停止し
てしまうことを防止することができるため、効率良く注
目領域中心点を移動させて所定被写体候補の抽出を行う
ことができる。
【０２３０】また、ニューラルネットワークを用いて所
定被写体候補の抽出、注目領域中心点の停止防止のため
の処理（疲れの項の付加、アニーリング法、慣性項付
加）を行えば、より精度良く所定被写体候補の抽出を行
うことができ、本発明を用いたシステムの能力を向上さ
せることが可能となる。
定被写体候補の抽出、注目領域中心点の停止防止のため
の処理（疲れの項の付加、アニーリング法、慣性項付
加）を行えば、より精度良く所定被写体候補の抽出を行
うことができ、本発明を用いたシステムの能力を向上さ
せることが可能となる。
【０２３１】さらに、本発明による被写体抽出装置は、
画像から高精度に所定被写体候補を抽出するとともに、
注目領域の中心点が画像上で停止してしまった場合に
も、その停止した状態から脱出して再度所定被写体候補
を探索することができるため、効率良く所定被写体候補
の抽出を行うことが可能となる。
画像から高精度に所定被写体候補を抽出するとともに、
注目領域の中心点が画像上で停止してしまった場合に
も、その停止した状態から脱出して再度所定被写体候補
を探索することができるため、効率良く所定被写体候補
の抽出を行うことが可能となる。
【図１】本発明による被写体抽出方法のフローチャート
を表す図
を表す図
【図２】人間の視点が図形のどの部分において安定する
かを説明するための図
かを説明するための図
【図３】所定被写体候補の輪郭線に基づいて注目領域移
動ベクトルを求めるためのニューラルネットワークの一
構成を表す図
動ベクトルを求めるためのニューラルネットワークの一
構成を表す図
【図４】様々な図形が複素対数座標変換された結果を示
す図
す図
【図５】ｃ１層およびｃ２層において輪郭線を抽出する
シナプス結合を表す図
シナプス結合を表す図
【図６】ｃ１層において抽出された輪郭線が協調、競合
する状態を表す図
する状態を表す図
【図７】ｃ２層において抽出された輪郭線が協調、競合
する状態を表す図
する状態を表す図
【図８】円環方向の輪郭線から円環方向に対してある一
定角度傾いた成分が抽出される状態を表わす図
定角度傾いた成分が抽出される状態を表わす図
【図９】放射方向の輪郭線から円環方向に対してある一
定角度傾いた成分が抽出される状態を表わす図
定角度傾いた成分が抽出される状態を表わす図
【図１０】本発明の第１実施例によるニューラルネット
ワークの図２８におけるｅ１層、ｆ１層、ｇ１層、ｈ１
層およびｉ層部分を抽出した図
ワークの図２８におけるｅ１層、ｆ１層、ｇ１層、ｈ１
層およびｉ層部分を抽出した図
【図１１】ニューロンの出力に加える重み付けを表わす
図
図
【図１２】注目領域が所定被写体候補の中心点へ移動す
る状態を複素対数座標と実空間座標とを対応させて表し
た図
る状態を複素対数座標と実空間座標とを対応させて表し
た図
【図１３】注目領域が所定被写体候補の輪郭線の交点へ
移動する状態を複素対数座標と実空間座標とを対応させ
て表した図
移動する状態を複素対数座標と実空間座標とを対応させ
て表した図
【図１４】注目領域の中心点が所定被写体候補の内側か
ら輪郭線の交線に向かう場合の注目領域の移動方向の決
定方法を表わす図
ら輪郭線の交線に向かう場合の注目領域の移動方向の決
定方法を表わす図
【図１５】位相シフトを加えることによって注目領域の
移動方向を決定する方法を表わす図
移動方向を決定する方法を表わす図
【図１６】本発明による被写体抽出方法の第１のステッ
プである所定被写体候補の抽出を行う実施例の基本的概
念を示すブロック図
プである所定被写体候補の抽出を行う実施例の基本的概
念を示すブロック図
【図１７】本発明による被写体抽出方法の第１のステッ
プである所定被写体候補の動きに基づいて所定被写体候
補の抽出を行うニューラルネットワークにおける画像の
背景の動きを検出する部分を表わす図
プである所定被写体候補の動きに基づいて所定被写体候
補の抽出を行うニューラルネットワークにおける画像の
背景の動きを検出する部分を表わす図
【図１８】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図
図
【図１９】輪郭線抽出シナプス結合を表す図
【図２０】時刻ｔおよび時刻ｔ＋αにおける画像の輪郭
線を表す図
線を表す図
【図２１】時刻ｔおよび時刻ｔ＋αにおける画像の輪郭
線の差分を表す図
線の差分を表す図
【図２２】下から上方向への動き成分抽出シナプス結合
と右から左への動き成分抽出シナプス結合を表す図
と右から左への動き成分抽出シナプス結合を表す図
【図２３】輪郭線の平行方向の動き成分が抽出された画
像を表す図
像を表す図
【図２４】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図
図
【図２５】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像を表す図
対数座標変換した画像を表す図
【図２６】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線を表す図
対数座標変換した画像の輪郭線を表す図
【図２７】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線の差分を表す図
対数座標変換した画像の輪郭線の差分を表す図
【図２８】拡大方向成分抽出シナプス結合と縮小方向成
分抽出シナプス結合を表す図
分抽出シナプス結合を表す図
【図２９】輪郭線の放射方向の動き成分が抽出された画
像を表す図
像を表す図
【図３０】時刻ｔおよび時刻ｔ＋αにおける画像を表す
図
図
【図３１】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像を表す図
対数座標変換した画像を表す図
【図３２】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線を表す図
対数座標変換した画像の輪郭線を表す図
【図３３】時刻ｔおよび時刻ｔ＋αにおける画像を複素
対数座標変換した画像の輪郭線の差分を表す図
対数座標変換した画像の輪郭線の差分を表す図
【図３４】右回転方向成分抽出シナプス結合と左回転方
向成分抽出シナプス結合を表す図
向成分抽出シナプス結合を表す図
【図３５】輪郭線の回転方向の動き成分が抽出された画
像を表す図
像を表す図
【図３６】画像の背景の動きをキャンセルするためのフ
ローチャートを表す図
ローチャートを表す図
【図３７】背景の動きがキャンセルされた時刻ｔと時刻
ｔ＋αにおける画像を表す図
ｔ＋αにおける画像を表す図
【図３８】背景の動きがキャンセルされた画像を表す図
【図３９】所定被写体候補の抽出の基本的概念を表す図
【図４０】本発明の所定被写体候補の動きに基づいて注
目領域移動ベクトルを算出する実施例による所定被写体
候補の抽出を行うニューラルネットワークの一例を表す
図
目領域移動ベクトルを算出する実施例による所定被写体
候補の抽出を行うニューラルネットワークの一例を表す
図
【図４１】本発明の実施例による所定被写体候補の色に
基づいて所定被写体候補の抽出を行うニューラルネット
ワークの一例を表わす図
基づいて所定被写体候補の抽出を行うニューラルネット
ワークの一例を表わす図
【図４２】様々な図形が複素対数座標変換された結果を
示す図
示す図
【図４３】色の一致度の高い領域が選択されるような競
合協調の局所相互重み結合を表わす図
合協調の局所相互重み結合を表わす図
【図４４】本発明の第１実施例によるニューラルネット
ワークの図４１におけるｅ層、ｇ層およびｉ層部分を抽
出した図
ワークの図４１におけるｅ層、ｇ層およびｉ層部分を抽
出した図
【図４５】注目領域が所定被写体候補の中心点へ移動す
る状態を複素対数座標と実空間座標とを対応させて表し
た第１の図
る状態を複素対数座標と実空間座標とを対応させて表し
た第１の図
【図４６】注目領域が所定被写体候補の中心点へ移動す
る状態を複素対数座標と実空間座標とを対応させて表し
た第２の図
る状態を複素対数座標と実空間座標とを対応させて表し
た第２の図
【図４７】注目領域が所定被写体候補の中心点へ移動す
る状態を複素対数座標と実空間座標とを対応させて表し
た第３の図
る状態を複素対数座標と実空間座標とを対応させて表し
た第３の図
【図４８】鳥が電線に止まっている画像をポテンシャル
場のグラフと対応させて表した図
場のグラフと対応させて表した図
【図４９】慣性項の合成を説明するための図
【図５０】所定被写体候補のサイズに対する感度の差を
ニューラルネットワークに与える例を表す図
ニューラルネットワークに与える例を表す図
【図５１】シナプス結合の重みを変えて注目領域のサイ
ズを変更する例を表す図
ズを変更する例を表す図
【図５２】シナプス結合の結線状態を変えて注目領域の
サイズを変更する例を表す図
サイズを変更する例を表す図
【図５３】注目領域のサイズを制御するためのニューロ
ンの興奮度のヒストグラムを表す図
ンの興奮度のヒストグラムを表す図
【図５４】人間が映し込まれた画像上を注目領域中心点
が移動する状態を表わす図
が移動する状態を表わす図
【図５５】注目領域中心点と所定被写体候補が一致した
状態を表す図
状態を表す図
【図５６】本発明の第１実施例により、再抽出防止処理
がなされる状態を表す図
がなされる状態を表す図
【図５７】本発明の実施例による注目領域の中心点の停
止情況によって、注目領域をいかにジャンプさせるかを
説明するためのフローチャート
止情況によって、注目領域をいかにジャンプさせるかを
説明するためのフローチャート
【図５８】本発明の実施例により、注目領域の中心点の
停止情況によって、注目領域をいかにジャンプさせるか
を説明するための図
停止情況によって、注目領域をいかにジャンプさせるか
を説明するための図
【図５９】ｅ１層における円環方向の協調、競合の結果
を調べ、放射方向のヒストグラムを作成する状態を表す
図
を調べ、放射方向のヒストグラムを作成する状態を表す
図
【図６０】本発明の第２実施例による注目領域中心点を
所定被写体候補の中心へ移動させることによって所定被
写体候補の抽出を行うニューラルネットワークの１例を
表わす図
所定被写体候補の中心へ移動させることによって所定被
写体候補の抽出を行うニューラルネットワークの１例を
表わす図
【図６１】本発明の第２実施例によるニューラルネット
ワークの各層のシナプス結合の重みを表わす図
ワークの各層のシナプス結合の重みを表わす図
【図６２】本発明の第２実施例により、注目領域中心点
と所定被写体候補の偏心度が検出される状態を表わす図
と所定被写体候補の偏心度が検出される状態を表わす図
【図６３】本発明の第２実施例による注目領域中心点を
所定被写体候補の輪郭線の交線へ移動させるニューラル
ネットワークの各層のシナプス結合の重みを表わす図
所定被写体候補の輪郭線の交線へ移動させるニューラル
ネットワークの各層のシナプス結合の重みを表わす図
【図６４】本発明の第２実施例の注目領域中心点を所定
被写体候補の輪郭線の交線へ移動させることにより注目
領域中心点と所定被写体候補の偏心度が検出される状態
を表わす図
被写体候補の輪郭線の交線へ移動させることにより注目
領域中心点と所定被写体候補の偏心度が検出される状態
を表わす図
【図６５】本発明の第２実施例による注目領域中心点を
所定被写体候補の中心へ移動させることによって所定被
写体候補の抽出を行うニューラルネットワークの１例を
表わす図
所定被写体候補の中心へ移動させることによって所定被
写体候補の抽出を行うニューラルネットワークの１例を
表わす図
【図６６】本発明の第２実施例による注目領域中心点を
所定被写体候補の色と略一致する領域へ移動させるニュ
ーラルネットワークの各層のシナプス結合の重みを表わ
す図
所定被写体候補の色と略一致する領域へ移動させるニュ
ーラルネットワークの各層のシナプス結合の重みを表わ
す図
【図６７】本発明の第２実施例により、再抽出防止処理
がなされる状態を表す図
がなされる状態を表す図
【図６８】アニーリング法によるニューロンの入出力特
性を表すグラフおよびこの入出力特性に熱的ゆらぎを加
えた状態を表す図
性を表すグラフおよびこの入出力特性に熱的ゆらぎを加
えた状態を表す図
【図６９】色度図を表す図
【図７０】本発明の第２実施例による注目領域中心点を
所定被写体候補の中心へ移動させることによって所定被
写体へ向かう色場の傾斜ベクトルの検出を行うニューラ
ルネットワークの１例を表す図
所定被写体候補の中心へ移動させることによって所定被
写体へ向かう色場の傾斜ベクトルの検出を行うニューラ
ルネットワークの１例を表す図
【図７１】本発明の第２実施例によるニューラルネット
ワークの各層のシナプス結合の重みを表す図
ワークの各層のシナプス結合の重みを表す図
３ 探索ニューラルネット部 ４ 注目領域停止処理部 11Ａ，11Ｂ，11Ｃ 時刻ｔにおける画像 12 輪郭線抽出シナプス結合 14，24，34 時刻ｔにおける画像と時刻ｔ＋αにおけ
る画像の差分を表す画像 42 背景の動きがキャンセルされた画像 60 所定被写体候補の輪郭線のうち円環方向に連続性
の高い成分 61，64，65，66，85，86 ニューロン 62，63 シナプス結合 71，76 所定被写体候補 73 注目領域 74，74′，77，77′ 方位ベクトル 75，78 注目領域移動ベクトル 95 人間 96 画像 105 楕円 106 三角形 107 四角形 108 ポテンシャル場の傾きを表わすグラフ Ｑ 注目領域中心点 Ｏ 所定被写体の中心点 Ｐ1 ，Ｐ2 ，Ｐ3 所定被写体候補の中心点 Ｐ1 ′，Ｐ2 ′，Ｐ3 ′ ポテンシャル場の極小点
る画像の差分を表す画像 42 背景の動きがキャンセルされた画像 60 所定被写体候補の輪郭線のうち円環方向に連続性
の高い成分 61，64，65，66，85，86 ニューロン 62，63 シナプス結合 71，76 所定被写体候補 73 注目領域 74，74′，77，77′ 方位ベクトル 75，78 注目領域移動ベクトル 95 人間 96 画像 105 楕円 106 三角形 107 四角形 108 ポテンシャル場の傾きを表わすグラフ Ｑ 注目領域中心点 Ｏ 所定被写体の中心点 Ｐ1 ，Ｐ2 ，Ｐ3 所定被写体候補の中心点 Ｐ1 ′，Ｐ2 ′，Ｐ3 ′ ポテンシャル場の極小点
フロントページの続き (31)優先権主張番号 特願平4−13094 (32)優先日 平成４年１月28日(1992．1．28) (33)優先権主張国 日本（ＪＰ） (31)優先権主張番号 特願平4−13096 (32)優先日 平成４年１月28日(1992．1．28) (33)優先権主張国 日本（ＪＰ） (31)優先権主張番号 特願平4−13097 (32)優先日 平成４年１月28日(1992．1．28) (33)優先権主張国 日本（ＪＰ）
Claims (45)
- 【請求項１】 画像から所定被写体候補を抽出するため
の抽出領域を決定する被写体抽出装置において、 所定の大きさの注目領域の中心点を前記所定被写体候補
の位置へ移動させ、前記注目領域の中心点を基準とし
て、前記所定被写体候補の大きさおよび／または形状に
応じて抽出領域を決定する手段を備えたことを特徴とす
る被写体抽出装置。 - 【請求項２】 画像から所定被写体候補を抽出するため
の抽出領域を決定する被写体抽出装置において、 前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、 該切り出された画像から前記所定被写体候補の所定方向
の輪郭線を検出する手段と、 該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた前記輪郭線の成
分を全て抽出する手段と、 該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、 該各方位ベクトルを注目領域移動ベクトルとして合成す
る手段と、 該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、 該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体抽
出装置。 - 【請求項３】 前記輪郭線を検出する手段は、前記所定
被写体候補の所定方向の輪郭線の検出を、前記切り出さ
れた画像を前記注目領域の中心点を極として複素対数座
標変換した後に行う手段であり、 前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、 前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項２記載の被写体抽出装置。 - 【請求項４】 前記輪郭線を検出した後に、該検出され
た輪郭線のうち、前記所定方向と略同一方向に連続性が
高い輪郭線および／または強度が大きい輪郭線を互いに
協調させることによって強調するとともに、前記各輪郭
線と前記方向に連続性が低い輪郭線および／または強度
が小さい輪郭線とを互いに競合させることによって該連
続性が低い輪郭線および／または強度が小さい輪郭線を
消去する手段をさらに備え、 前記輪郭線の成分を抽出する手段は、該強調された輪郭
線から前記注目領域の中心点を囲む同心円の円周方向に
対して所定角度傾いた前記輪郭線の成分を全て抽出する
手段であることを特徴とする請求項２または３記載の被
写体抽出装置。 - 【請求項５】 前記方位ベクトルを合成する手段は、前
記方位ベクトルの合成を、前記各方位に所定角度の位相
シフトを加えて行う手段であることを特徴とする請求項
２から４のいずれか１項記載の被写体抽出装置。 - 【請求項６】 前記方位ベクトルを合成する手段は、前
記方位ベクトルの合成を、前記注目領域の中心点と前記
輪郭線の成分との距離に応じて前記方位ベクトルに重み
を加えて行う手段であることを特徴とする請求項２から
５のいずれか１記載の被写体抽出装置。 - 【請求項７】 画像から所定被写体候補を抽出するため
の抽出領域を決定する被写体抽出装置において、 前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、該切り出された画像から前記所定
被写体候補の色と略一致する色の領域を抽出する手段
と、 該抽出された各領域の、注目領域の中心点を基準とした
方位と距離とを検出する手段と、 該方位と距離とを注目領域移動ベクトルとして検出する
手段と、 該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、 該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体抽
出装置。 - 【請求項８】 前記色の領域を抽出する手段、前記方位
と距離とを検出する手段、前記注目領域移動ベクトルを
検出する手段のうち少なくとも１つは、前記領域の抽
出、前記方位と距離の検出および前記注目領域移動ベク
トルの検出を複素対数座標上で行う手段であることを特
徴とする請求項７記載の被写体抽出装置。 - 【請求項９】 前記被写体の色と略一致する色の領域の
うち、互いに近接する色との一致度が大きい領域同士を
協調させることによって前記色との一致度が大きい領域
を強調する手段と、 前記色との一致度が大きい領域と、該領域とは離れた位
置にある前記色との一致度が小さい領域との競合によっ
て、前記色との一致度が小さい領域を消去する手段と、 該色との一致度が大きい領域と該領域とは離れた位置に
ある前記色との一致度が大きい領域とを互いに競合さ
せ、前記色との一致度が大きい領域であって、かつ領域
としての大きさや形状がより適当である領域を残し、領
域としての大きさや形状がより不適当な領域を消去する
ことによって、前記注目領域の範囲の中で最も適当な領
域を被写体領域として選択する手段とをさらに備え、 前記方位と距離とを検出する手段は、該選択された被写
体領域の方位と距離とを注目領域の中心点を基準として
検出する手段であることを特徴とする請求項７または８
記載の被写体抽出装置。 - 【請求項１０】 前記強調および消去を行うにあたり、
前記注目領域の中心点と前記各領域との距離に応じて重
みを加える手段をさらに備えたことを特徴とする請求項
９記載の被写体抽出装置。 - 【請求項１１】 画像から所定被写体候補を抽出するた
めの抽出領域を決定する被写体抽出装置において、 前記画像に、所定の大きさを有する注目領域を設定し、
所定の時間差を有する複数の時刻における前記注目領域
の範囲の画像を切り出し、該切り出された複数の画像に
ついて該各画像中に存在する被写体の輪郭線を検出し、
該輪郭線が検出された前記各画像間の差分を算出し、該
算出された差分に基づいて前記注目領域内での面内平行
方向の前記画像の動きを検出する手段と、 前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、 前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、 前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、 前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、 該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、 該抽出された各成分の前記注目領域中心点に対する方位
と強度とを方位ベクトルとして検出する手段と、 該各方位ベクトルを注目領域移動ベクトルとして合成す
る手段と、 該注目領域移動ベクトルに基づいて、前記物体が存在す
る方向へ前記注目領域の中心点を移動させる手段と、 該移動された注目領域の中心点を基準として、前記物体
の大きさおよび／または形状に応じて前記画像から背景
に対して動きのある所定被写体候補を抽出するための抽
出領域を決定する手段とを備えたことを特徴とする被写
体抽出装置。 - 【請求項１２】 前記面内回転方向の前記画像の動きを
検出する手段および／または前記放射方向の前記画像の
動きを検出する手段は、前記各画像中に存在する被写体
の前記注目領域の中心点を中心とする放射方向の輪郭線
の検出および／または円環方向の輪郭線の検出を、前記
切り出された画像を前記注目領域の中心点を極として複
素対数座標変換した後に行い、 該複素対数座標変換された画像において検出された輪郭
線から前記注目領域内での面内回転方向の前記画像の動
きおよび／または放射方向の前記画像の動きを検出する
手段であることを特徴とする請求項１１記載の被写体抽
出装置。 - 【請求項１３】 前記物体の輪郭線を検出する手段は、
前記物体の輪郭線の検出を、前記背景の動きの成分が補
償された前記複数の画像間の差分を示す画像を前記注目
領域の中心点を極として複素対数座標変換した後に行う
手段であり、 前記輪郭線の成分を抽出する手段は、前記輪郭線の成分
の抽出を、前記複素対数座標変換された画像において検
出された輪郭線から前記複素対数座標の円環方向に対し
て所定角度傾いた該輪郭線の成分を全て抽出することに
より行う手段であり、 前記方位ベクトルを検出する手段は、該抽出された各成
分の前記複素対数座標上での方位と強度とを検出するこ
とにより、前記方位ベクトルを検出する手段であること
を特徴とする請求項１１または１２記載の被写体抽出装
置。 - 【請求項１４】 前記輪郭線を検出した後に、該検出さ
れた輪郭線のうち、前記所定方向と略同一方向に連続性
が高い輪郭線および／または強度が大きい輪郭線を互い
に協調させることによって強調するとともに、前記各輪
郭線と前記方向に連続性が低い輪郭線および／または強
度が小さい輪郭線とを互いに競合させることによって該
連続性が低い輪郭線および／または強度が小さい輪郭線
を消去する手段をさらに備え、 前記輪郭線の成分を抽出する手段は、該強調された輪郭
線から前記注目領域の中心点を囲む同心円の円周方向に
対して所定角度傾いた前記輪郭線の成分を全て抽出する
手段であることを特徴とする請求項１１，１２または１
３記載の被写体抽出装置。 - 【請求項１５】 前記方位ベクトルを合成する手段は、
前記方位ベクトルの合成を、前記各方位ベクトルに所定
角度の位相シフトを加えて行う手段であることを特徴と
する請求項１１から１４のいずれか１項記載の被写体抽
出装置。 - 【請求項１６】 前記方位ベクトルを合成する手段は、
前記方位ベクトルの合成を、前記注目領域の中心点と前
記輪郭線の成分との距離に応じて前記方位ベクトルに重
みを加えて行う手段であることを特徴とする請求項１１
から１５のいずれか１項記載の被写体抽出装置。 - 【請求項１７】 画像から所定被写体候補を抽出するた
めの抽出領域を決定する被写体抽出装置において、 前記画像から所定の大きさを有する注目領域の範囲の第
１の画像を切り出す手段と、 該切り出された第１の画像に含まれる物体の輪郭線を検
出する手段と、 所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、 該切り出された第２の画像に含まれる物体の輪郭線を検
出する手段と、 前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、 該算出された差分に基づいて前記背景の動きを検出する
手段と、 該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、 該物体を前記所定被写体候補と認識する手段と、 前記注目領域の中心点が該所定被写体候補に向かう方位
を検出する手段と、 該方位に基づいて前記注目領域の中心点を移動させる手
段と、 該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体抽
出装置。 - 【請求項１８】 画像から所定被写体候補を抽出するた
めの抽出領域を決定する被写体抽出装置において、 前記画像から所定の大きさを有する注目領域の範囲の画
像を切り出す手段と、 該切り出された画像から前記所定被写体候補の所定方向
の輪郭線を検出する手段と、 該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、 該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、 該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、 前記切り出された画像から前記所定被写体候補の色と略
一致する色の領域を抽出する手段と、 該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、 該方位と距離とを第２の移動ベクトルとして検出する手
段と、 前記第１および第２の各移動ベクトルを注目領域移動ベ
クトルとして合成する手段と、 該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、 該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体抽
出装置。 - 【請求項１９】 前記輪郭線を検出する手段および前記
色の領域を抽出する手段は、前記所定被写体候補の所定
方向の輪郭線の検出および前記所定被写体候補の色と略
一致する色の領域の抽出を、前記切り出された画像を前
記注目領域の中心点を極として複素対数座標変換した後
に行う手段であり、 前記輪郭線の成分の抽出手段は、前記輪郭線の成分の抽
出を、前記複素対数座標変換された画像において検出さ
れた輪郭線から前記複素対数座標の円環方向に対して所
定角度傾いた該輪郭線の成分を全て抽出することにより
行う手段であり、 前記第１の方位ベクトルを検出する手段は、該抽出され
た各成分の前記複素対数座標上での方位と強度とを検出
することにより、前記第１の方位ベクトルを検出する手
段であり、 前記方位と距離とを検出する手段は、前記抽出された各
領域の前記複素対数座標上での方位と強度とを検出する
ことにより、前記方位と距離とを検出する手段であるこ
とを特徴とする請求項１８記載の被写体抽出装置。 - 【請求項２０】 前記輪郭線を抽出した後に、該検出さ
れた輪郭線のうち、前記所定方向と略同一方向に連続性
が高い輪郭線および／または強度が大きい輪郭線を互い
に協調させることによって強調するとともに、前記各輪
郭線と前記方向に連続性が低い輪郭線および／または強
度が小さい輪郭線とを互いに競合させることによって該
連続生が低い輪郭線および／または強度が小さい輪郭線
を消去する手段と、 前記被写体の色と略一致する色の領域のうち、互いに近
接する色との一致度が大きい領域同士を協調させること
によって前記色との一致度が大きい領域を強調する手段
と、 前記色との一致度が大きい領域と、該領域とは離れた位
置にある前記色との一致度が小さい領域との競合によっ
て、前記色との一致度が小さい領域を消去する手段と、 該色との一致度が大きい領域と該領域とは離れた位置に
ある前記色との一致度が大きい領域とを互いに競合さ
せ、前記色との一致度が大きい領域であって、かつ領域
としての大きさや形状がより適当である領域を残し、領
域としての大きさや形状がより不適当な領域を消去する
ことによって、前記注目領域の範囲の中で最も適当な領
域を被写体領域として選択する手段とをさらに備え、 前記第１の方位ベクトルを検出する手段および前記前記
方位と距離とを検出する手段は、該選択された被写体領
域の方位と距離とを注目領域の中心点を基準として検出
する手段であることを特徴とする請求項１８または１９
記載の被写体抽出装置。 - 【請求項２１】 画像から所定被写体候補を抽出するた
めの抽出領域を決定する被写体抽出装置において、 前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記所定被写体候補の所定方向の輪
郭線を検出する手段と、 該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、 該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、 該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、 前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、 前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、 前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、 前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、 前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、 該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、 該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、 該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、 前記第１および第２の各移動ベクトルを注目領域移動ベ
クトルとして合成する手段と、 該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、 該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体抽
出装置。 - 【請求項２２】 前記面内回転方向の前記画像の動きを
検出する手段および／または前記放射方向の前記画像の
動きを検出する手段は、前記各画像中に存在する被写体
の前記注目領域の中心点を中心とする放射方向の輪郭線
の検出および／または円環方向の輪郭線の検出を、前記
切り出された画像を前記注目領域の中心点を極として複
素対数座標変換した後に行う手段であり、 前記所定被写体候補の所定方向の輪郭線を検出する手段
は、前記所定被写体候補の所定方向の輪郭線の検出を、
前記切り出された画像の１つを前記注目領域の中心点を
極として複素対数座標変換した後に行う手段であり、 前記背景の動きの成分が補償された画像からの前記輪郭
線の成分を抽出する手段および前記切り出された複数の
画像の１つからの前記輪郭線の成分を抽出する手段は、
前記背景の動きの成分が補償された画像からの前記輪郭
線の成分の抽出および前記切り出された複数の画像の１
つからの前記輪郭線の成分の抽出を、前記複素対数座標
変換された画像において検出された輪郭線から前記複素
対数座標の円環方向に対して所定角度傾いた該輪郭線の
成分を全て抽出することにより行う手段であり、 前記第１および第２の方位ベクトルを検出する手段は、
該抽出された各成分の前記複素対数座標上での方位と強
度とを検出することにより前記第１および第２の方位ベ
クトルを検出する手段であることを特徴とする請求項２
１記載の被写体抽出装置。 - 【請求項２３】 前記第１および第２の方位ベクトルを
検出する際の前記輪郭線を検出した後に、該検出された
輪郭線のうち、前記所定方向と略同一方向に連続性が高
い輪郭線および／または強度が大きい輪郭線を互いに協
調させることによって強調するとともに、前記各輪郭線
と前記方向に連続性が低い輪郭線および／または強度が
小さい輪郭線とを互いに競合させることによって該連続
性が低い輪郭線および／または強度が小さい輪郭線を消
去する手段をさらに備え、 前記輪郭線の成分を抽出する各手段は、該強調された輪
郭線から前記注目領域の中心点を囲む同心円の円周方向
に対して所定角度傾いた前記輪郭線の成分を全て抽出す
る手段であり、 前記第１および第２の方位ベクトルを検出する手段は、
前記強調された前記領域の前記注目領域の中心点を基準
とした方位を前記第１および第２の方位ベクトルとして
検出する手段であることを特徴とする請求項２１または
２２記載の被写体抽出装置。 - 【請求項２４】 動きのある画像から所定被写体候補を
抽出するための抽出領域を決定する被写体抽出装置にお
いて、 前記動きのある画像に、所定の大きさを有する注目領域
を設定し、所定の時間差を有する複数の時刻における前
記注目領域の範囲の画像を切り出し、該切り出された複
数の画像の１つから前記所定被写体候補の所定方向の輪
郭線を検出する手段と、 該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、 該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、 該各方位ベクトルを第１の移動ベクトルとして合成する
手段と、 前記切り出された複数の画像について該各画像中に存在
する被写体の輪郭線を検出し、該輪郭線が検出された前
記各画像間の差分を算出し、該算出された差分に基づい
て前記注目領域内での面内平行方向の前記画像の動きを
検出する手段と、 前記各画像中に存在する被写体の前記注目領域の中心点
を中心とする放射方向の輪郭線を検出し、該放射方向の
輪郭線が検出された前記各画像間の差分を算出し、該算
出された差分に基づいて前記注目領域内での面内回転方
向の前記画像の動きを検出する手段と、 前記各画像中に存在する被写体の円環方向の輪郭線を検
出し、該円環方向の輪郭線が検出された前記各画像間の
差分を算出し、該算出された差分に基づいて前記注目領
域内での放射方向の前記画像の動きを検出する手段と、 前記検出された面内平行方向、面内回転方向または放射
方向の前記画像の動きに基づいて、前記切り出された前
記注目領域の範囲の各画像から背景の動きの成分を補償
した複数の画像を作成する手段と、 前記背景の動きの成分が補償された前記複数の画像間の
差分を算出することにより、前記背景とは異なる動きを
している物体の輪郭線を検出する手段と、 該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、 該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第２の方位ベクトルとして検出する手段と、 該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、 前記切り出された複数の画像の１つから前記所定被写体
候補の色と略一致する色の領域を抽出する手段と、 該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、 該方位と距離とを第３の移動ベクトルとして合成する手
段と、 前記第１、第２および第３の各移動ベクトルを注目領域
移動ベクトルとして合成する手段と、 該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、 該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体抽
出装置。 - 【請求項２５】 前記面内回転方向の前記画像の動きを
検出する手段および／または前記放射方向の前記画像の
動きを検出する手段は、前記各画像中に存在する被写体
の前記注目領域の中心点を中心とする放射方向の輪郭線
を検出および／または円環方向の輪郭線を検出を、前記
切り出された画像を前記注目領域の中心点を極として複
素対数座標変換した後に行う手段であり、 前記所定被写体候補の所定方向の輪郭線を検出する手段
および前記所定被写体候補の色と略一致する領域を検出
する手段は、前記所定被写体候補の所定方向の輪郭線の
検出および前記所定被写体候補の色と略一致する領域の
検出を、前記切り出された画像の１つを前記注目領域の
中心点を極として複素対数座標変換した後に行う手段で
あり、 前記背景の動きの成分が補償された画像からの前記輪郭
線の成分を抽出する手段および前記切り出された複数の
画像の１つからの前記輪郭線の成分を抽出する手段は、
前記背景の動きの成分が補償された画像からの前記輪郭
線の成分の抽出および前記切り出された複数の画像の１
つからの前記輪郭線の成分の抽出を、前記複素対数座標
変換された画像において検出された輪郭線から前記複素
対数座標の円環方向に対して所定角度傾いた該輪郭線の
成分を全て抽出することにより行う手段であり、 前記第１および第２の方位ベクトルを検出する手段は、
該抽出された各成分の前記複素対数座標上での方位と強
度とを検出することにより前記第１および第２の方位ベ
クトルを検出する手段であり、 前記方位と距離とを検出する手段は、前記抽出された各
領域の前記複素対数座標上での方位と距離とを検出する
手段であることを特徴とする請求項２４記載の被写体抽
出装置。 - 【請求項２６】 前記第１および第２の方位ベクトルを
検出する際の前記輪郭線を検出した後に、該検出された
輪郭線のうち、前記所定方向と略同一方向に連続性が高
い輪郭線および／または強度が大きい輪郭線を互いに協
調させることによって強調するとともに、前記各輪郭線
と前記方向に連続性が低い輪郭線および／または強度が
小さい輪郭線とを互いに競合させることによって該連続
性が低い輪郭線および／または強度が小さい輪郭線を消
去する手段をさらに備え、 前記輪郭線の成分を抽出する各手段は、該強調された輪
郭線から前記注目領域の中心点を囲む同心円の円周方向
に対して所定角度傾いた前記輪郭線の成分を全て抽出す
る手段であり、さらに前記方位と距離とを検出する際の
前記抽出された各領域のうち、互いに近接する色との一
致度が大きい領域同士を協調させることによって前記色
との一致度が大きい領域を強調する手段と、 前記色との一致度が大きい領域と、該領域とは離れた位
置にある前記色との一致度が小さい領域との競合によっ
て、前記色との一致度が小さい領域を消去する手段と、 該色との一致度が大きい領域と該領域とは離れた位置に
ある前記色との一致度が大きい領域とを互いに競合さ
せ、前記色との一致度が大きい領域であって、かつ領域
としての大きさや形状がより適当である領域を残し、領
域としての大きさや形状がより不適当な領域を消去する
ことによって、前記注目領域の範囲の中で最も適当な領
域を被写体領域として選択する手段とを備え、 前記方位と距離とを検出する手段は、該選択された被写
体領域の方位と距離とを注目領域の中心点を基準として
検出する手段であることを特徴とする請求項２４または
２５記載の被写体抽出装置。 - 【請求項２７】 画像から所定被写体候補を抽出するた
めの抽出領域を決定する被写体抽出装置において、 前記画像から所定の大きさを有する注目領域の範囲の第
１の画像を切り出す手段と、 該切り出された第１の画像に含まれる物体の輪郭線を明
暗の情報として検出する手段と、 所定時間経過後、前記画像から前記注目領域の範囲の第
２の画像を切り出す手段と、 該切り出された第２の画像に含まれる物体の輪郭線を明
暗の情報として検出する手段と、 前記第１の画像から検出された前記輪郭線と、前記第２
の画像から検出された前記輪郭線との差分を算出する手
段と、 該算出された差分に基づいて前記背景の動きを検出する
手段と、 該検出された前記背景の動きを前記画像から差し引いて
前記背景とは異なる動きをした物体を検出する手段と、 該物体を前記所定被写体候補と認識する手段と、 該所定被写体候補の方向を向くベクトルを第１の移動ベ
クトルとして検出する手段と、 前記切り出された第１の画像からの前記所定被写体候補
の所定方向の輪郭線を検出する手段と、 該検出された輪郭線から前記注目領域の中心点を囲む同
心円の円周方向に対して所定角度傾いた該輪郭線の成分
を全て抽出する手段と、 該抽出された各成分の前記注目領域中心点に対する方位
と強度とを第１の方位ベクトルとして検出する手段と、 該各方位ベクトルを第２の移動ベクトルとして合成する
手段と、 前記切り出された第１の画像から前記所定被写体候補の
色と略一致する色の領域を抽出する手段と、 該抽出された各領域の前記注目領域中心点を基準とした
方位と距離とを検出する手段と、 該方位と距離とを第３の移動ベクトルとして合成する手
段と、 前記第１、第２および第３の各移動ベクトルを注目領域
移動ベクトルとして合成する手段と、 該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、 該移動された注目領域の中心点を基準として、前記所定
被写体候補の大きさおよび／または形状に応じて抽出領
域を決定する手段とを備えたことを特徴とする被写体抽
出装置。 - 【請求項２８】 前記輪郭線を検出する手段および前記
色の領域を抽出する手段は、前記所定被写体候補の所定
方向の輪郭線の検出および前記所定被写体候補の色と略
一致する領域の検出を、前記切り出された第１の画像を
前記注目領域の中心点を極として複素対数座標変換した
後に行う手段であり、 前記輪郭線の成分を抽出する手段は、前記切り出された
第１の画像からの前記輪郭線の成分の抽出を、前記複素
対数座標変換された画像において検出された輪郭線から
前記複素対数座標の円環方向に対して所定角度傾いた該
輪郭線の成分を全て抽出することにより行う手段であ
り、 前記第１の方位ベクトルを検出する手段は、該抽出され
た各成分の前記複素対数座標上での方位と強度とを検出
することにより前記第１の方位ベクトルを検出する手段
であり、 前記方位と距離とを検出する手段は、前記抽出された各
領域の前記複素対数座標上での方位と距離とを検出する
手段であることを特徴とする請求項２７記載の被写体抽
出装置。 - 【請求項２９】 前記輪郭線を検出した後に、該検出さ
れた輪郭線のうち、前記所定方向と略同一方向に連続性
が高い輪郭線および／または強度が大きい輪郭線を互い
に協調させることによって強調するとともに、前記各輪
郭線と前記方向に連続性が低い輪郭線および／または強
度が小さい輪郭線とを互いに競合させることによって該
連続性が低い輪郭線および／または強度が小さい輪郭線
を消去する手段をさらに備え、 前記輪郭線の成分を抽出する手段は、該強調された輪郭
線から前記注目領域の中心点を囲む同心円の円周方向に
対して所定角度傾いた前記輪郭線の成分を全て抽出する
手段であることを特徴とする請求項２７または２８記載
の被写体抽出装置。 - 【請求項３０】 前記注目領域移動ベクトルに熱的ゆら
ぎを加算し、これにより前記注目領域中心点が前記画像
上における前記所定被写体候補の位置まで移動する際
に、該画像上における前記所定被写体候補以外の位置に
停止しないようにする手段をさらに備えたことを特徴と
する請求項２から１６，１８から２９のいずれか１項記
載の被写体抽出装置。 - 【請求項３１】 前記注目領域移動ベクトルの合成また
は検出を行う手段は、前記注目領域移動ベクトルの合成
または検出を、ニューラルネットワークを用いて行う手
段であり、 前記停止しないようにする手段は、該ニューラルネット
ワークにアニーリング法を用いて該ニューラルネットワ
ークの出力に前記熱的ゆらぎを加算する手段をさらに備
えたことを特徴とする請求項３０記載の被写体抽出装
置。 - 【請求項３２】 前記注目領域移動ベクトルに慣性項を
加算し、これにより前記注目領域中心点が前記画像上に
おける前記所定被写体候補の位置まで移動する際に、該
画像上における前記所定被写体候補以外の位置に停止し
ないようにする手段をさらに備えたことを特徴とする請
求項２から１６，１７から２９のいずれか１項記載の被
写体抽出装置。 - 【請求項３３】 前記検出された輪郭線の前記注目領域
の中心点に対する放射方向の位置を検出し、 該検出された輪郭線の放射方向の位置に応じて前記注目
領域の大きさを変化させる手段をさらに備えたことを特
徴とする請求項２から３２のいずれか１項記載の被写体
抽出装置。 - 【請求項３４】 前記検出された輪郭線の前記注目領域
の中心点に対する放射方向の位置を検出し、 該検出された輪郭線の放射方向の位置に応じて前記注目
領域移動ベクトルの大きさを変化させる手段をさらに備
えたことを特徴とする請求項２から３３のいずれか１項
記載の被写体抽出装置。 - 【請求項３５】 前記抽出領域を決定した後、該決定さ
れた抽出領域について、再抽出防止処理を施す手段をさ
らに備えたことを特徴とする請求項１から３４のいずれ
か１項記載の被写体抽出装置。 - 【請求項３６】 前記再抽出防止処理を施す手段は、前
記再抽出防止処理をマスキングにより行う手段であるこ
とを特徴とする請求項３５記載の被写体抽出装置。 - 【請求項３７】 前記抽出領域を決定する手段は、前記
抽出領域の決定をニューラルネットワークを用いて行う
手段であり、 前記再抽出防止処理を施す手段は、前記再抽出防止処理
をニューラルネットワークに疲れの項を導入することに
より行う手段であることを特徴とする請求項３５記載の
被写体抽出装置。 - 【請求項３８】 画像から所定の大きさを有する注目領
域の範囲の画像を切り出す手段と、 該切り出された画像から前記注目領域の中心点を移動さ
せる注目領域移動ベクトルを合成する手段と、 該注目領域移動ベクトルに基づいて前記注目領域の中心
点を移動させる手段と、 該注目領域の中心点が停止したとき、該注目領域の範囲
の画像内に所定被写体候補が含まれているか否かを判断
し、該所定被写体候補が含まれているときには該所定被
写体候補を抽出する手段を備えた被写体抽出装置であっ
て、 該所定被写体候補の抽出後および前記判断の結果前記注
目領域の範囲の画像内に前記所定被写体候補が含まれな
かったとき、前記注目領域の中心点を前記画像上におけ
る他の位置に転移させる手段と、 該転移した位置から再度前記切り出し、前記注目領域移
動ベクトルの合成、前記注目領域中心点の移動および前
記判断を繰り返すよう前記各手段を制御する手段をさら
に備えたことを特徴とする被写体抽出装置。 - 【請求項３９】 前記転移させる手段は、前記注目領域
中心点が前記画像における前記所定被写体候補が存在し
ない位置に停止した場合に、前記注目領域中心点を任意
の方向に転移させる手段であることを特徴とする請求項
３８記載の被写体抽出装置。 - 【請求項４０】 前記転移させる手段は、前記注目領域
中心点が前記画像における前記所定被写体候補の輪郭線
上に停止した場合に、前記注目領域中心点を前記輪郭線
に沿って転移させる手段であることを特徴とする請求項
３８記載の被写体抽出装置。 - 【請求項４１】 前記抽出後、前記画像の前記所定被写
体候補が抽出された領域に再抽出防止処理を施す手段を
さらに備えたことを特徴とする請求項３８記載の被写体
抽出装置。 - 【請求項４２】 前記再抽出防止処理を施す手段は、前
記再抽出防止処理をマスキングにより行う手段であるこ
とを特徴とする請求項４１記載の被写体抽出装置。 - 【請求項４３】 前記所定被写体候補を抽出する手段
は、前記所定被写体候補の抽出をニューラルネットワー
クを用いて行う手段であり、 前記再抽出防止処理を施す手段は、前記再抽出防止処理
を該ニューラルネットワークのニューロンの特性に疲れ
の項を導入することにより行う手段であることを特徴と
する請求項４１記載の被写体抽出装置。 - 【請求項４４】 前記注目領域移動ベクトルを合成する
手段は、前記注目領域移動ベクトルの合成をニューラル
ネットワークを用いて行う手段であり、 前記転移させる手段は、前記注目領域中心点の転移を該
ニューラルネットワークにアニーリング法を用いて行う
手段であることを特徴とする請求項３８から４３のいず
れか１項記載の被写体抽出装置。 - 【請求項４５】 前記注目領域移動ベクトルを合成する
手段は、前記注目領域移動ベクトルの合成をニューラル
ネットワークを用いて行う手段であり、 前記転移させる手段は、前記注目領域中心点の転移を該
ニューラルネットワークのニューロンの特性に疲れの項
を導入することにより行う手段であることを特徴とする
請求項３８から４３のいずれか１項記載の被写体抽出装
置。
Applications Claiming Priority (12)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3-233213 | 1991-09-12 | ||
| JP23321391 | 1991-09-12 | ||
| JP3-323342 | 1991-12-06 | ||
| JP32334291 | 1991-12-06 | ||
| JP4-13096 | 1992-01-28 | ||
| JP1309292 | 1992-01-28 | ||
| JP4-13092 | 1992-01-28 | ||
| JP1309692 | 1992-01-28 | ||
| JP1309492 | 1992-01-28 | ||
| JP4-13097 | 1992-01-28 | ||
| JP4-13094 | 1992-01-28 | ||
| JP1309792 | 1992-01-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05307605A JPH05307605A (ja) | 1993-11-19 |
| JP3008234B2 true JP3008234B2 (ja) | 2000-02-14 |
Family
ID=27548442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04242458A Expired - Lifetime JP3008234B2 (ja) | 1991-09-12 | 1992-09-11 | 被写体抽出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3008234B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3264460B2 (ja) * | 1993-04-26 | 2002-03-11 | 富士写真フイルム株式会社 | 画像判別方法 |
| JP2000242775A (ja) | 1999-02-19 | 2000-09-08 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びに記録媒体 |
| WO2015159412A1 (ja) * | 2014-04-17 | 2015-10-22 | 株式会社日立システムズ | 移動体検知方法および移動体検知システム |
| KR20230169441A (ko) | 2015-10-23 | 2023-12-15 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 모듈 및 전자 기기 |
| JP6889653B2 (ja) * | 2017-11-24 | 2021-06-18 | Kddi株式会社 | 動画像圧縮装置及び動画像圧縮方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH081661B2 (ja) * | 1989-05-10 | 1996-01-10 | 理化学研究所 | 細胞認識方法 |
| JP2961174B2 (ja) * | 1990-03-02 | 1999-10-12 | 日本電信電話株式会社 | 特徴量抽出方法 |
-
1992
- 1992-09-11 JP JP04242458A patent/JP3008234B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05307605A (ja) | 1993-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5878165A (en) | Method for extracting object images and method for detecting movements thereof | |
| US11645506B2 (en) | Neural network for skeletons from input images | |
| US5740274A (en) | Method for recognizing object images and learning method for neural networks | |
| US6728404B1 (en) | Method for recognizing object images and learning method for neural networks | |
| US11288837B2 (en) | Method of influencing virtual objects of augmented reality | |
| JP2022547183A (ja) | 生体顔検出方法、装置、設備及びコンピュータプログラム | |
| JP2002358523A (ja) | パターン認識処理装置及びその方法、画像入力装置 | |
| Tapia et al. | Gender classification from periocular nir images using fusion of cnns models | |
| KR102280201B1 (ko) | 머신 러닝을 이용하여 은닉 이미지를 추론하는 방법 및 장치 | |
| CN111833334A (zh) | 一种基于孪生网络架构的眼底影像特征处理分析方法 | |
| JP3008234B2 (ja) | 被写体抽出装置 | |
| CN112446322A (zh) | 眼球特征检测方法、装置、设备及计算机可读存储介质 | |
| KR20220010560A (ko) | 이미지 내에서 대상체에 의해 수행되는 동작을 결정하기 위한 시스템 및 방법 | |
| JP2007025902A (ja) | 画像処理装置、画像処理方法 | |
| JP3008235B2 (ja) | 被写体抽出装置 | |
| CN116057587A (zh) | 活体检测方法、活体检测模型的训练方法及其装置和系统 | |
| JP3008233B2 (ja) | 被写体認識装置 | |
| CN113065637B (zh) | 一种感知网络及数据处理方法 | |
| JP3008236B2 (ja) | 輪郭線場の傾斜検出装置 | |
| JP3002928B2 (ja) | ニューラルネットワークの学習装置 | |
| US20220157077A1 (en) | Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image | |
| JP2021064120A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| WO2024018593A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、記憶媒体 | |
| JPH0696207A (ja) | 被写体色場の傾斜検出方法 | |
| JP4935213B2 (ja) | 登録装置、認証装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991026 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071203 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071203 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081203 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081203 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091203 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101203 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111203 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 13 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121203 Year of fee payment: 13 |