JPH0696207A - 被写体色場の傾斜検出方法 - Google Patents

Abstract

(57)【要約】 【目的】 画像中に存在する被写体の画像情報や色の領
域を有効に検出し、非常に簡単な構成により色場の傾斜
ベクトルに関する情報を得る。 【構成】 画像から所定の大きさを有する注目領域の範
囲の画像を切り出して、所定被写体候補の色と略一致す
る領域を抽出し、この領域の注目領域の中心点を基準と
する方位と距離とから色場の傾斜ベクトルを得る。ま
た、検出された距離に重み付けを加えて色場の傾斜ベク
トルを検出するようにしてもよい。さらに複素対数座標
において色場の傾斜ベクトルを検出するようにしてもよ
い。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像情報処理の際に、
観察領域周辺に存在する被写体の色や大きさや形状によ
って生じる物体場の傾斜情報を検出する被写体色場の傾
斜ベクトル検出方法に関する。

【０００２】

【従来の技術】人間が画像を見て、その視野の中の状況
を認識する際には、無意識のうちに視野内に生じる一種
の「場」を検出している。その場とは視野内の明暗情
報、形の情報、動きの情報、色の情報など、さまざまな
情報によって形成されるものである。これらのさまざま
な情報に対し、意識を向けようとする度合いは視点の位
置によって変化する、すなわち位置の関数である。その
各位置ごとの度合いの地図が「場」であると解釈するこ
とができる。例えば、視野の周辺に何らかの物体が存在
したとする。このとき「場」はその物体の方向に向かっ
て傾斜するのである。

【０００３】人間が視覚画像情報の処理の際に利用して
いる「場」のなかでも、物体の色とその色領域の形状、
大きさによって生成される「物体色場」は特に重要であ
る。我々の身の回りを見ても、交通信号機や救急車両な
どに代表されるように、色によって人間の視覚の注意を
引こうとする例は非常に多い。しかし人間が優れている
点は、注意を引くような色領域や物体が多数存在する場
合にでも、その中から最も意味のあるそうな領域や物体
を唯一選択できること、さらに複数の重要な物体が存在
する場合には、順々にそれらの重要な物体を選択できる
点である。

【０００４】

【発明が解決しようとする課題】しかしながら単純に領
域や物体の色を調べ、あるしきい値を超えた部分を選択
するという従来の方法では、このような動作は不可能で
あった。たとえば画像の中に赤信号が２つ存在すると
き、しきい値に頼る方法では、どちらの赤信号に注意を
向ければよいかは決定できなかった。

【０００５】本発明は上記事情に鑑み、物体の色とその
色領域の形状、大きさによって生成される「物体色場」
の考え方を利用し、「物体色場」の傾斜を検出すること
ができ、重要な色領域や物体が多数存在する場合にで
も、その時に最も重要であると思われる物体を選択しそ
の方向に向かう「物体色場」の傾斜を検出することがで
きる被写体色場の傾斜検出方法を提供することを目的と
するものである。

【０００６】

【課題を解決するための手段】本発明による第１の被写
体色場の傾斜検出方法は、画像中に設定された所定の大
きさを有する注目領域内に含まれる被写体の情報に基づ
いて該被写体の色場の傾斜を検出する方法であって、前
記画像から前記注目領域の範囲の画像を切り出し、該切
り出された画像から前記被写体の色と略一致する色の領
域を抽出し、該抽出された各領域の、注目領域の中心点
を基準とした方位と距離とを検出し、該方位と距離とを
色場の傾斜ベクトルとして検出することを特徴とするも
のである。

【０００７】ここで、所定被写体候補の色と略一致する
とは、図14に示すような色度図上において、所定被写体
候補の色度値と注目領域の大きさの範囲で切り出された
画像の任意の点における色度値との距離があるしきい値
よりも小さい場合のことをいう。すなわち、ある点にお
ける色度値が、所定被写体候補の色度値と色度図上にお
いて所定のしきい値を越えて離れている場合は、その点
からなる領域は抽出されず、所定のしきい値よりも小さ
い場合は、その点からなる領域を抽出するものである。

【０００８】さらに、本発明による第２の被写体色場の
傾斜検出方法は、本発明による第１の被写体色場の傾斜
検出方法において、前記被写体の色と略一致する色の領
域のうち、互いに近接する色との一致度が大きい領域同
士を協調させることによって前記色との一致度が大きい
領域を強調し、前記色との一致度が大きい領域と、該領
域とは離れた位置にある前記色との一致度が小さい領域
との競合によって、前記色との一致度が小さい領域を消
去し、該色との一致度が大きい領域と該領域とは離れた
位置にある前記色との一致度が大きい領域とを互いに競
合させ、前記色との一致度が大きい領域であって、かつ
領域としての大きさや形状がより適当である領域を残
し、領域としての大きさや形状がより不適当な領域を消
去することによって、前記注目領域の範囲の中で最も適
当な領域を、被写体領域として選択し、該選択された被
写体領域の方位と距離とを注目領域の中心点を基準とし
て検出することを特徴とするものである。

【０００９】また、本発明による第３の被写体色場の傾
斜検出方法は、本発明による第１または第２の被写体色
場の傾斜検出方法において、前記領域の検出、前記方位
と距離の検出および前記傾斜ベクトルの検出のうち少な
くとも１つのステップを複素対数座標上で行なうことを
特徴とするものである。

【００１０】また、本発明による第４の被写体色場の傾
斜検出方法は、本発明による第１、第２または第３の被
写体色場の傾斜検出方法において、前記色場の傾斜ベク
トルの検出を、前記注目領域の中心点と前記各領域との
距離に応じて前記距離に重みを加えて行うことを特徴と
するものである。

【００１１】ここで、複素対数座標の方位とあるが、実
空間座標の原点（本発明においては注目領域の中心点）
をとりまく角度を表わしており、その座標軸を方位軸と
呼ぶことにする。また、複素対数座標のもう１つの軸は
実空間座標の原点からの距離を表わしており、この軸を
距離軸と呼ぶことにする。

【００１２】したがって、実空間座標において原点を中
心とする円は複素対数座標では方位軸に平行な直線とな
る。また、実空間座標において原点を通る放射状の直線
は複素対数座標では距離軸に平行な直線となる。

【００１３】

【作用】本発明による被写体抽出方法は、画像から所定
の大きさを有する注目領域の範囲の画像を切り出して、
この切り出された画像から所定被写体候補の色と略一致
する色の領域を検出して、この領域の方位と距離を検出
し、必要があれば所定の重みを加えてからこの方位と距
離とに基づいて色場の傾斜ベクトルを求めるようにした
ものである。このため、この色によって作られる場の傾
斜情報から、所定被写体の色に基づいて、所定被写体の
中心の方向を検出することができる。そしてこれに基づ
き、注目領域の移動を繰り返し、所定被写体の中心位置
に注目領域を到達させることができる。また、色場の傾
斜方向に直交する方向を求めることにより、その色で囲
まれる領域の周囲に沿う方向を検出することができ、こ
れにより、注目領域を輪郭線を辿るように移動させるこ
とができる。さらに、色場の傾斜ベクトルの大きさは、
その部分の画像情報の量に比例するためその色からなる
領域の作る場の傾斜情報に基づいて、画像中から必要な
情報のみを選択的に検出することによって、この情報を
利用かつ伝送するような情報圧縮を行うことができる。
さらに、画像の全面に対して処理を行う必要が無くなる
ため、演算時間を短縮することができる。

【００１４】また、上述したように画像を複素対数座標
変換して、極座標においても同様に色場の傾斜ベクトル
を決定することが可能である。

【００１５】さらに、抽出された各領域のうち、互いに
近接する所定被写体の色との一致度が大きい領域同士を
協調させることによって色との一致度が大きい領域を強
調し、この色との一致度が大きい領域とこの領域とは離
れた位置にある所定被写体の色との一致度が小さい領域
とを互いに競合させることによってこの色との一致度が
小さい領域を消去し、この色との一致度が大きい領域と
該領域とは離れた位置にある色との一致度が大きい領域
とを互いに競合させ、色との一致度が大きい領域であっ
て、かつ領域としての大きさや形状がより適当である領
域を残し、領域としての大きさや形状がより不適当な領
域を消去することによって、注目領域の範囲の中で最も
適当な領域を、被写体領域として選択し、この選択され
た領域の注目領域の中心点を基準とした方位と距離とを
検出するようにすれば、最も適当な唯一の領域を選択で
きるため、より好ましい。

【００１６】

【実施例】以下、本発明の実施例について、図面を参照
して説明する。

【００１７】図１は、本発明による被写体色場の傾斜検
出方法の第１実施例の基本的概念を示すブロック図であ
る。なお、本実施例はニューラルネットワークを用いて
色場の傾斜ベクトルを検出し、この色場の傾斜ベクトル
を注目領域移動ベクトルとして利用し、注目領域によっ
て所定被写体へと視点を移動し所定被写体を抽出する被
写体抽出方法に用いるものとする。

【００１８】図１に示すように、本実施例はニューラル
ネットワークを用いて色場の傾斜ベクトルを検出するニ
ューラルネット部３からなる。

【００１９】まずニューラルネット部３のステップＡに
おいて、画像上に注目領域の中心点位置を設定して画像
から注目領域の範囲の画像を取り込み、次いでステップ
Ｂにおいて所定被写体候補の絞り込みを行い、ステップ
Ｃにおいて所定被写体候補と注目領域との位置ずれの検
出と注目領域の移動量の算出すなわち色場の傾斜ベクト
ルを求めるものである。そして求められた物体色傾斜ベ
クトルを注目領域の移動ベクトルとして利用して注目領
域を移動させる。

【００２０】図２は、上述した機能を有するニューラル
ネットワークの一構成を表わす図である。

【００２１】このニューラルネットワークの入力は、所
定の大きさの注目領域から入力される外界の画像であ
る。また、出力は、色によって作られる場の傾斜情報で
ある。これを二次元のベクトルと考え、以下色場の傾斜
ベクトルと呼ぶ。この色場の傾斜ベクトルの長さは、そ
の注目領域の中心点における不安定さを表わし、色場の
傾斜ベクトルの示す方向は、より注目領域が安定な状態
に向う方向を示す。

【００２２】本実施例におけるニューラルネットワーク
の基本構造は階層型であるが、ｆ層では相互結合もして
いるため複合型ともいえる。また、階層型として有名な
バックプロパゲーションモデルでは、各層間の各ニュー
ロン同士はすべて互いに結合している構造がとられるの
に対し、このニューラルネットワークでは、各層同士で
位置が対応するニューロンと、その近傍のニューロンと
の間にのみ結合が限定されている局所結合型になってい
る。このため、各層間のシナプス数を相当低減でき、演
算時間の短縮を実現できる。また、相互結合層内の各ニ
ューロン間の結合も同様に、位置的に近いものどうしの
間にのみ存在する。このような局所的な結合構造は、人
間の眼の網膜から脳の１次視覚野にかけてみられる神経
回路に類似した構造となっている。

【００２３】次に、このニューラルネットワークの各層
の機能について説明する。このニューラルネットワーク
は図１に示すようにステップＡ，Ｂ，Ｃと大きく３つの
ステップに分けられている。

【００２４】画像上に注目領域中心点の位置を設定し、
この画像から注目領域の範囲の画像を取り込むステップ
Ａは、所定の大きさの注目領域を有しこの注目領域の大
きさに画像を切り出してニューラルネットワークに入力
するａ層、および入力された画像の複素対数座標変換
（対数極座標変換）を行うｂ層から構成される。

【００２５】入力された画像から所定被写体候補を絞り
込むステップＢは、所定被写体候補の色と略一致する領
域のニューロンを検出し、各領域の所定被写体候補の色
の一致度を検出するｃ，ｄ，ｅ層、色の一致度が高く形
状、大きさともに所定被写体により近い領域を選択する
相互結合回路網層であるｆ層から構成される。

【００２６】所定被写体候補と注目領域との位置ずれ検
出と、注目領域移動量の算出すなわち色場の傾斜ベクト
ルの検出を行うステップＣは、所定被写体候補の色と略
一致する領域のニューロン群の領域の方位と距離の検出
層であるｇ層、検出された方位と距離に基づいて、色場
の傾斜ベクトルを出力するｉ層から構成されている。な
お、本実施例のニューラルネットワークにおいては、ｂ
層以降の各層間あるいは各層内のシナプス結合は、空間
不変（スペースインバリアント）とした。これは、モデ
ルシミュレーションや並列処理の実行容易性を考慮した
ためで、必ずしも空間不変である必要はない。しかし、
空間不変としておくことで、各ニューロンの出力は、シ
ナプス結合マトリックスと前段のニューロン層マトリッ
クスとのコンボリューション（マスクパターンとのマッ
チング）演算結果を、非線形関数に通したものに相当す
るので、ニューラルネットワークのシミュレーションを
計算機上で行う場合、計算的な扱いが非常に楽になる。

【００２７】まず、ａ層において、所定の大きさの注目
領域の範囲の画像が切り出される。ａ層においては、注
目領域の中心点ほどニューロンが高密度に存在する。ａ
層において取り込まれた画像はｂ層において、注目領域
の中心点を極として複素対数座標変換される。このｂ層
において、画像を複素対数座標変換することで、ｂ層以
降の処理を空間不変なマスクとのコンボリューションで
実現できることになる。

【００２８】図３に、様々な図形が複素対数座標変換さ
れた結果を示す。複素対数座標変換では、所定被写体候
補が極すなわち注目領域中心点の近くに存在する場合に
は相対的に大きく、遠くに存在する場合には相対的に小
さく変換される。ｂ層のニューロンは変換された画像パ
ターンの強度に対応して興奮する。

【００２９】ここで、変換前の空間座標上の点Ｗ（ｘ，
ｙ）を、数学的に複素表現で ｚ＝ｘ＋ｉｙ (1) とすれば、複素対数座標変換された点Ｗ′は Ｗ′＝ｌｎ（ｚ）＝ｌｎ（｜ｚ｜）＋ｊθZ (2) となる。ここで ｚ＝（ｘ² ＋ｙ² ）^1/2 (3) θZ ＝tan ^-1（ｙ／ｘ） (4) である。すなわち、複素対数座標変換は複素対数座標に
おける距離軸が注目領域中心点からの距離の対数値、方
位軸が注目領域中心点の周囲の角度となるように変換す
ることである。

【００３０】複素対数座標変換された画像に対応するニ
ューロンの興奮パターンを表わすｃ層からｄ層、ｅ層に
かけてのニューラルネットワークによって、所定被写体
候補の色との略一致する領域が抽出され、この領域と所
定被写体候補の色との一致度が検出され、一致度に応じ
てｅ層のニューロンが興奮する。ここで所定被写体候補
色との一致度を検出するニューラルネットワークのシナ
プス結合は、あらかじめバックプロパゲーション法など
によって学習されたものを使用すればよい。

【００３１】本実施例では、所定被写体候補色との一致
度を検出するニューラルネットワークとして、３層構造
のニューラルネットワークを使用した一例について詳細
に説明する。

【００３２】図４は本発明の第１実施例によるニューラ
ルネットワークの図２におけるｃ層、ｄ層およびｅ層と
いう部分だけを抽出し、より詳細に示した図である。

【００３３】ｃ層からｅ層をこの部分だけのものとして
見るとこれは、ｃ層を入力層、ｄ層を中間層、ｅ層を出
力層とする３層のニューラルネットワークにほかならな
い。

【００３４】ここでｃ層への入力信号は前段のニューロ
ン層の各ニューロンからの色情報である。ｃ層ではま
ず、前段のニューロン層からの色情報を光の３原色
（赤、緑、青）に分解し、それぞれの色情報を各１個の
ニューロンが受け取りそれぞれの入力とする。したがっ
てｃ層では一画素につき３個のニューロンが割り当てら
れているのである。ｃ層に入力された信号は、シナプス
結合によって重み付けされて次段のｄ層へと伝達され
る。なおｃ層からｄ層へのシナプス結合の重みをＷ_1ij
（ｉはｃ層のニューロン、ｊはｄ層のニューロン）で表
す。

【００３５】ｄ層は中間層と呼ばれるニューロン層で、
一般に素子数は実行させる処理の複雑度に応て適宜選択
されるが、ここでは１画素につき５個のニューロンを割
り当てるものとする。したがって一画素につき３個のニ
ューロンから５個のニューロンへの信号伝達が１５個の
シナプス結合によって実行される。

【００３６】続いて、ｄ層からｅ層へと信号伝達が行な
われる。ｅ層は３層のニューラルネットワークの出力層
に相当する。このニューラルネットワークは、所定被写
体候補色との一致度を検出するものであり、ある１画素
の所定被写体候補色との一致度は１個のニューロンの興
奮度として表現できるので、１画素について１個のニュ
ーロンが割り当てられる。したがってｄ層からｅ層への
信号伝達は１画素あたり５個のシナプス結合によって実
行される。なおｄ層からｅ層へのシナプス結合の重みを
Ｗ_2ij （ｉはｄ層のニューロン、ｊはｅ層のニューロ
ン）で表す。

【００３７】実際には上記の様なニューロンやシナプス
の結合は画素の数だけ存在しており、このようなｃ層か
らｅ層へのニューラルネットワークの信号伝達を、各画
素ごとに同時に並列に実行することが可能である。なお
このニューラルネットワークでは、実行する処理が各画
素で同一であるため、各画素ごとのニューロンの特性は
もちろんシナプス結合の重みも同一のものを使用する。

【００３８】上記のような、所定被写体候補色との一致
度を検出する動作を実行させるためのシナプス結合は、
ニューラルネットワークの学習によって得ることが可能
である。例として、人間の顔の肌色を所定被写体候補の
色とし、ある母集団から抽出した肌色の度数分布が色の
一致度に比例すると定義した場合の、シナプス重みの値
を表１に示す。

【００３９】

【表１】

【００４０】学習はバックプロパゲーション法と呼ばれ
る方法を用いて行なうことが可能である。まず、肌色を
始めとする各種の色の３原色値を入力データとし、肌色
の度数分布から決めた色の一致度を教師データとして、
ニューラルネットワークに繰り返し呈示し、実際にニュ
ーラルネットワークが出力してきた値と教師データとの
差に応じて、差が小さくなる方向に徐々にシナプス結合
の重みを書き換えることで学習させ、最終的に与えられ
た入力に対し教師データどおりの値を出力するようにさ
せるのである。

【００４１】この、ニューラルネットワークの出力に基
づいて求められた肌色との一致度を図14に示した色度図
に色の等高線として表す。ここで最も肌色に近い色の場
合は、一致度は1.0 となり、以下、肌色から離れるにつ
れて一致度は小さくなる。ここで、色の３原色値のデー
タを色度図上ｘ，ｙ座標として表す演算は以下の式によ
って行われる。

【００４２】 ｘ＝（1.1302+1.6387r/(r+g+b)+0.6215g/(r+g+b)/ (6.7846-3.0157r/(r+g+b)-0.3857g/(r+g+b) (5) ｙ＝（0.0601+0.9399r/(r+g+b)+4.5306g/(r+g+b)/ (6.7846-3.0157r/(r+g+b)-0.3857g/(r+g+b) (6) 但し、ｒ：赤の色値 ｇ：緑の色値 ｂ：青の色値 このようにして学習されたシナプス結合の重みを用い
て、ｃ層からｅ層のニューラルネットワークで、所定被
写体候補の色と抽出された領域との一致度を検出し、一
致度をｅ層のニューロンの興奮として出力することがで
きる。

【００４３】さらに続くｆ層は、所定被写体候補と色の
一致度が高く、しかも形状・大きさともに所定被写体候
補として最も適当である領域が選択されるような競合協
調の局所相互重み結合を有する相互結合層である。ｆ層
内で各ニューロンは図５のシナプス結合パターン10に示
すように、自分の近くのニューロンとは正の重みで、少
し離れたニューロンとは負の重みでシナプス結合されて
いる。このような内部相互結合によって興奮信号がやり
とりされた結果、ｆ層ではｄ層で興奮している所定被写
体候補の色との一致度が高いニューロンからの信号を受
けたニューロンのうち、所定の形状・大きさを持ち、し
かも高い興奮強度すなわち、色の一致度を有するニュー
ロン群の領域が選択され発火し、孤立した領域や色の一
致度の低い領域のニューロンは発火しない。すなわち、
図５に示すｅ層において抽出された領域11，12，13のう
ち、領域11の肌色との一致度が前述した色度図において
1.0 、領域12の一致度が0.9 、領域13の一致度が0.2 で
あったとすると、領域13は、領域11および領域12と比べ
て、肌色との一致度が小さいため、領域11および領域12
と領域13とが競合した際に抑制されて消されてしまう。
一方、領域11と領域12とは、肌色との一致度は領域11の
方が大きいため、領域11と領域12とが競合することによ
り、領域12は消されてしまう。また、領域11は肌色との
一致度が大きいため、領域11内のニューロン同士が協調
し合い、より領域11におけるニューロンの興奮状態は大
きくなる。このため、ｅ層において競合協調がなされた
結果、領域11のみが選択されることとなる。

【００４４】またここで、ｅ層における領域11，12，13
の肌色との一致度が全て同じであった場合は、シナプス
結合10の形状・大きさに最も適合する領域が選択され
る。例えば、シナプス結合10の正の重みの部分の形状と
大きさが、領域11の形状と大きさと略一致しているよう
な場合は、領域12，13は協調競合の結果、消去されてし
まい、領域11のみが選択されることとなる。

【００４５】さらに、ｅ層における領域11，12，13の肌
色との一致度が全て同じであり、かつ各領域の形状と大
きさが略一致しているような場合には、ｅ層のニューロ
ンに対して図６に示すような重みを加えておく。すなわ
ち、注目領域の半径の30〜40％程度の領域のニューロン
からの結合重みが最も大きくなるような重みＷを加えて
おく。このような重みを加えることによって、図５に示
すような位置にある領域11，12，13のうち、重みの最も
大きい部分の近傍に存在する領域11のみが選択されるの
である。

【００４６】次に、以上のようにして選択された所定被
写体候補の色と一致度が高く、しかも形状・大きさとも
に所定被写体候補として最も適当であるとして選択され
たニューロン群の発火領域の成分からの色場の傾斜ベク
トルの求め方について説明する。

【００４７】図７は本発明の第１実施例によるニューラ
ルネットワークの図２におけるｆ層、ｇ層およびｉ層の
部分を抽出し、より詳細に示した図である。

【００４８】図７に示すように、各層間はシナプス結合
によって結合されている。ｆ層は、ニューロンが２次元
状に整列した構造になっている。ｆ層内で興奮している
ニューロンの分布は、ｆ層内のシナプス相互結合によっ
て選択された、所定被写体候補の色との一致度が高く、
しかも形状・大きさともに所定被写体候補として最も適
当である領域の成分に相当している。

【００４９】ｆ層から、色場の傾斜ベクトルを検出する
ために、ｇ層へと興奮信号が伝達される。ｇ層は１次元
に配列されたニューロン層で、ｆ層の同一方位にあるニ
ューロン群からの信号を受けるようにシナプス結合によ
って結合されている。この結果、ニューロン群33の方位
と距離に対応する、このニューロン34の方位と興奮の強
さが方位と距離を表すものである。

【００５０】次に、このようにしてｇ層において求めら
れた方位と距離はｉ層において検出されて色場の傾斜ベ
クトルが決定される。この色場の傾斜ベクトルの検出は
極座標上で行なっても実空間座標上で行なってもかまわ
ないものであり、図７では実空間座標上で検出した場合
を示す。ニューロン34からの興奮は、逆複素対数座標変
換されながらｉ層に伝達される。ｉ層では方位と距離と
に基づいて色場の傾斜ベクトルが出力される。

【００５１】ここで、前述した協調競合を行わないニュ
ーラルネットワークにより注目領域移動ベクトルを求め
る場合、複数のベクトルが検出されることがある。この
際、ｅ層のニューロンに対して前述した図６に示すよう
な重み、すなわち、注目領域中心点からの距離に応じた
重みを加えるようにして、１つの注目領域移動ベクトル
を選択すればよい。

【００５２】また、協調競合を行っても複数の注目領域
移動ベクトルが検出された場合も、ｅ層のニューロンに
図６に示すような重みを加えるようにして、１つのベク
トルのみを選択すればよい。これにより、複数のベクト
ルが検出されても、最も適切な所定被写体候補に向かう
注目領域移動ベクトルを検出でき、また１つの注目領域
移動ベクトルしか検出できなかった場合も、注目領域と
所定被写体候補との距離が大きければ、注目領域移動ベ
クトルの大きさは大きくなる。

【００５３】以下、上述した方法により注目領域が所定
被写体との距離によって変化する色場の傾斜ベクトルが
求められる状態について説明する。

【００５４】図８，９および10は注目領域の中心点と所
定被写体とが様々な距離にある場合の色場の傾斜ベクト
ルの求められる状態を複素対数座標と実空間座標とを対
応させて表した図である。

【００５５】まず、図８に示すように、所定被写体候補
24が注目領域中心点Ｑを含まない場合、所定被写体候補
24は１つのかたまりとして複素対数座標変換され、図８
の複素対数座標において、所定被写体候補の色との一致
度が高い領域として検出される。さらに、競合協調の相
互結合回路網であるｆ層において所定被写体候補24′を
絞り込むと、局所的に所定被写体候補の色との一致度が
高く、しかも適当な大きさを有する被写体候補の領域の
みが唯一選択される（本実施例においては所定被写体候
補24′そのもの）。次いで、選択された領域の方位と距
離から色場の傾斜ベクトル29が検出される。

【００５６】次に、図９に示すように、所定被写体候補
24と注目領域中心点Ｑとが、ある程度近い距離にあり、
注目領域37内に所定被写体候補24が入っている場合、複
素対数変換された所定被写体候補24′は、全ての方位に
広がる、所定被写体候補の色と一致度が高い領域として
検出される。この状況で、競合協調の相互結合回路網に
よって所定被写体候補24′を絞り込むと、全方位に広が
った同一候補の領域同士が抑制し合い、結果として、所
定被写体候補24′の外縁と注目領域中心点Ｑとの距離が
最大となっている方位のニューロン群だけが興奮でき、
所定被写体候補の色との一致度が高く、しかも適当な大
きさを有する所定被写体候補の領域として選択される。
次いで、その検出された領域25の方位と距離から色場の
傾斜ベクトル29が検出される。

【００５７】最後に、図10に示すように、所定被写体候
補24が注目領域中心点Ｑとほぼ同じ場所にある場合、複
素対数変換された所定被写体候補24′は、全ての方位に
均等に広がる、所定被写体候補の色と一致度が高い領域
として検出される。この状況で、競合協調の相互結合回
路網によって所定被写体候補24を絞り込むと、全方位に
均等に広がった同一候補の領域同士が競合し合い抑制し
合うので、結果として、どの方位の領域も興奮できな
い。したがって、次いで検出される方位と距離は全て０
になる。したがって、色場の傾斜ベクトルも０になる。

【００５８】本実施例によるニューラルネットワークは
以上の動作によって、所定被写体候補の中心点と注目領
域中心点とが離れている場合には注目領域中心点から被
写体候補に向かって傾斜する傾斜ベクトルを検出し、一
方、注目領域の中心点と被写体候補が一致した状態で
は、傾斜０の傾斜ベクトルを検出するのである。

【００５９】このように色場の傾斜ベクトルを求めるこ
とにより、所定被写体の中心方向を検出することができ
るため色場の傾斜ベクトルを注目領域移動ベクトルとし
て利用し、注目領域の移動を繰り返せば、最終的に所定
被写体の中心に注目領域を移動させることができる。

【００６０】ここで、例えば図11に示すような人間46が
映し込まれた画像47から人間46に向かうように注目領域
を移動させる場合、最初に注目領域中心点が置かれた地
点をＱ1 とすると、注目領域は色場の傾斜ベクトルによ
り注目領域中心点Ｑ1 ，Ｑ2，Ｑ3 と次第に人間46に近
づいてゆき、人間46の顔46a の中心点Ｑ5 において停止
する。そして注目領域が停止した状態において、顔46a
を抽出したり、この顔の判別等を行うことができる。

【００６１】また、前述した距離に適切な重みを加えて
色場の傾斜ベクトルを求めることにより、所定被写体の
重心を求めることもできる。

【００６２】さらに、求められた色場の傾斜ベクトルに
直交する場の傾きを求めれば、被写体の周囲に沿った方
向を検出することができ、注目領域を被写体の周囲に沿
って移動させるようなこともできる。

【００６３】さらに、画像中の色場の傾斜ベクトルが大
きい場所や、場が落ち込んでいく方向に存在する情報を
検出することにより、画像中から有効な情報のみを選択
的に検出し、画像情報の圧縮を行うことも可能である。
すなわち、所定の色からなる被写体の中心に向かって落
ち込んでいくような、すり鉢状の場においては、場の落
ち込み度合いに応じて圧縮率を変えることにより被写体
内部の情報を高品質に保って圧縮することが可能であ
る。

【００６４】このような圧縮を行うことができるのは、
画像中に場の傾斜がないような場所では、場の傾斜を与
えるだけの重要な色情報が無いということであり、大き
くく場が傾いている場所では、そのような傾斜を与える
ような重要な色情報が存在しているためである。ここ
で、場が落ち込んで行く方向とは、所定の色からなる領
域の内側のことをいう。一般に、領域の内側を「面」、
外側を「地」と呼び、「面」は対象、「地」は背景であ
ると認識されることからもわかるように、領域の内側
は、外側に比べてより重要なことが多い。したがって、
場の傾いている部分の他に、場が落ち込んでいく方向に
存在する情報も重要かつ有効であると見なすのが適当で
ある。このように、選択された重要な情報に対して選択
的に、高い品質の圧縮を行うことができる。

【００６５】次に、本発明による被写体色場の傾斜検出
方法の第２実施例について説明する。

【００６６】本発明による被写体色場の傾斜検出方法の
第２実施例は、所定の大きさの注目領域の範囲で切り出
した画像を複素対数座標変換しないで実空間座標状のニ
ューロン配列をしたニューラルネットワークを用いて色
場の傾斜を求めるものである。

【００６７】図12は本発明の被写体色場の傾斜検出方法
の第２実施例により色場の傾斜ベクトルを求めるニュー
ラルネットワークの１例を表わす図である。本発明の第
２実施例のニューラルネットワークは、与えられた画像
90から所定の大きさの注目領域の範囲に画像を切り出す
入力層100 、切り出した画像から所定被写体候補の色と
略一致する領域のニューロンを抽出し、この領域と所定
被写体候補の色との一致度を検出するニューラルネット
ワーク層101,102,103 、所定の大きさと強度をもつ色領
域を選択する相互結合層104 、選択された色領域の方位
と強度とを検出する方位ベクトル検出層105 、その方位
ベクトルから、色場の傾斜ベクトルを検出し出力する色
場の傾斜ベクトル出力層106 のニューロン層からなる。

【００６８】すなわち入力層100 は図２における複素対
数座標で色場の傾斜ベクトルを求めるニューラルネット
ワークのａ層と、ニューラルネットワーク層101,102,10
3 はｃ、ｄ、ｅ層と、相互結合層104 はｆ層と、方位ベ
クトル検出層105 はｇ層と、色場の傾斜ベクトル出力層
106 はｉ層とそれぞれ対応している。

【００６９】まず入力層100 において、所定の大きさの
注目領域の範囲の画像が切り出されて外界から取り込ま
れる。入力層100 において取り込まれた画像は、ニュー
ラルネットワーク層101,102,103 において、所定被写体
候補の色と略一致する色の領域のニューロンが抽出さ
れ、この領域と所定被写体候補の色との一致度が検出さ
れる。色の一致度が検出されると、本発明の第１実施例
と同様にニューロン検出層101 と相互結合層104 との間
に設けられたニューラルネットワークによって、所定被
写体候補の色と各領域の色との一致度が検出される。次
いで相互結合層104 において所定被写体候補の色との一
致度が高い領域のニューロン群が選択される。次に選択
された所定被写体候補の色との一致度が高い領域のニュ
ーロン群から所定被写体候補の色との一致度が高い領域
のうち、形状・大きさともに所定被写体候補として最も
適当であるとして選択された領域のニューロン群の成分
が抽出される。

【００７０】ここで、相互結合層104 の内部の、所定の
大きさと強度をもつ色領域を選択する相互結合のシナプ
ス結合の重みは、図13に示すようになっており、図13の
所定被写体候補と色の一致度が高いニューロン群検出マ
スク110 は、注目領域中心点に近いほど結合範囲が狭く
なるようなマスク群110 となっている。そして、このマ
スク群により、所定被写体候補と色の一致度が高いニュ
ーロン群を検出するものである。次いで、方位ベクトル
検出層105 において検出された方位と強度とから方位ベ
クトルが検出される。このようにして検出された方位ベ
クトルは色場の傾斜ベクトル出力層106 へと伝達され、
色場の傾斜ベクトルとして出力される。

【００７１】なお、上述した本発明による第１および第
２実施例においては、ニューラルネットワークを用いて
色場の傾斜ベクトルの検出を行っているが、とくにニュ
ーラルネットワークを用いる必要はなく、いかなる手法
を用いてもよいことはもちろんである。

【００７２】さらに、本発明による色場の傾斜検出方法
は人の顔等が映し込まれた静止画像における所定被写体
に向かう色場の傾斜ベクトルの検出のみでなく、所定被
写体が移動する動画像の追跡を行うための色場の傾斜ベ
クトルの検出に用いることができる。この場合、前述し
た本発明の色場の傾斜ベクトルの検出の実施例に見られ
るように注目領域を移動させて、移動する所定被写体を
追跡してやればよい。

【００７３】また、上記実施例においては、画像からの
注目領域の範囲の画像の切り出しから色場の傾斜ベクト
ルの算出までの全てのステップにニューラルネットワー
クを用いているが、とくに全てのステップに用いる必要
はなく、色場の傾斜ベクトルの検出の少なくとも１つの
ステップに用いればよい。

【００７４】

【発明の効果】以上詳細に説明したように、本発明によ
る色場の傾斜検出方法は、非常に簡単に色場の傾斜に関
する情報を得ることができるため、この色場の傾斜検出
方法を用いて被写体の中心方向を予測することにより被
写体を抽出する方法、被写体の周囲に沿う方向を予測す
る方法、もしくは画像情報を圧縮する方法等への負担が
著しく軽減され、演算時間を短縮でき本発明を用いたシ
ステムの能力を向上させることが可能となる。

【図面の簡単な説明】

【図１】本発明による被写体色場の傾斜検出方法を用い
て色場の傾斜ベクトルを検出する実施例の基本的概念を
示すブロック図

【図２】本発明の第１実施例による色場の傾斜ベクトル
の検出を行うニューラルネットワークの一例を表わす図

【図３】様々な図形が複素対数座標変換された結果を示
す図

【図４】色の一致度を検出するニューラルネットワーク
を表す図

【図５】色の一致度の高い領域が選択されるような競合
協調の局所相互重み結合を表わす図

【図６】ニューロンの出力に加える重み付けを表わす図

【図７】本発明の第１実施例によるニューラルネットワ
ークの図２におけるｆ層、ｇ層およびｉ層部分を抽出し
た図

【図８】注目領域が所定被写体候補の中心点へ向かうに
つれて色場の傾斜ベクトルが求められる状態を複素対数
座標と実空間座標とを対応させて表した第１の図

【図９】注目領域が所定被写体候補の中心点へ向かうに
つれて色場の傾斜ベクトルが求められる状態を複素対数
座標と実空間座標とを対応させて表した第２の図

【図１０】注目領域が所定被写体候補の中心点へ向かう
につれて色場の傾斜ベクトルが求められる状態を複素対
数座標と実空間座標とを対応させて表した第３の図

【図１１】人間が映し込まれた画像上を注目領域中心点
が移動する状態を表わす図

【図１２】本発明の第２実施例による注目領域中心点を
所定被写体候補の中心へ移動させることによって所定被
写体へ向かう色場の傾斜ベクトルの検出行うニューラル
ネットワークの１例を表わす図

【図１３】本発明の第２実施例によるニューラルネット
ワークの各層のシナプス結合の重みを表わす図

【図１４】色度図を表す図

【符号の説明】

３ 探索ニューラルネット部 24 所定被写体候補 29 注目領域移動ベクトル 31，34 ニューロン 37 注目領域 46 人間 47 画像 Ｑ 注目領域中心点 Ｏ 所定被写体の中心点

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像中に設定された所定の大きさを有す
   る注目領域内に含まれる被写体の情報に基づいて該被写
   体の色場の傾斜を検出する方法であって、 前記画像から前記注目領域の範囲の画像を切り出し、 該切り出された画像から前記被写体の色と略一致する色
   の領域を抽出し、 該抽出された各領域の、注目領域の中心点を基準とした
   方位と距離とを検出し、 該方位と距離とを色場の傾斜ベクトルとして検出するこ
   とを特徴とする被写体色場の傾斜検出方法。
2. 【請求項２】 前記被写体の色と略一致する色の領域の
   うち、互いに近接する色との一致度が大きい領域同士を
   協調させることによって前記色との一致度が大きい領域
   を強調し、 前記色との一致度が大きい領域と、該領域とは離れた位
   置にある前記色との一致度が小さい領域との競合によっ
   て、前記色との一致度が小さい領域を消去し、 該色との一致度が大きい領域と該領域とは離れた位置に
   ある前記色との一致度が大きい領域とを互いに競合さ
   せ、前記色との一致度が大きい領域であって、かつ領域
   としての大きさや形状がより適当である領域を残し、領
   域としての大きさや形状がより不適当な領域を消去する
   ことによって、前記注目領域の範囲の中で最も適当な領
   域を、被写体領域として選択し、 該選択された被写体領域の方位と距離とを注目領域の中
   心点を基準として検出することを特徴とする請求項１記
   載の被写体色場の傾斜検出方法。
3. 【請求項３】 前記領域の抽出、前記方位と距離の検出
   および前記傾斜ベクトルの検出のうちの少なくとも１つ
   のステップを複素対数座標上で行なうことを特徴とする
   請求項１または２記載の被写体色場の傾斜検出方法。
4. 【請求項４】 前記色場の傾斜ベクトルの検出を、前記
   注目領域の中心点と前記各領域との距離に応じて前記距
   離に重みを加えて行うことを特徴とする請求項１，２ま
   たは３記載の被写体色場の傾斜検出方法。