JP3288086B2 - 動物体抽出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力された画像中で、
動きのある物体の輪郭形状とその動きを同時にかつ安定
に抽出する動物体抽出装置に関するものである。

【０００２】

【従来の技術】近年、画像中から動きのある物体（以
下、単に動物体という）を抽出する技術は、動物体を認
識するための、前処理として重要な要素技術である。こ
れまでに、様々な動物体抽出方法が提案されてきた。こ
れらの基本的な考えは、先ず、動物体の動きを検出し、
この検出された動物体の動きに係る情報から、或いは他
の特徴（エッジ、カラー、テクスチャなど）により抽出
された物体領域情報と加味された情報から、当該動物体
領域の抽出を試みようとするものであった。

【０００３】例えば、動きを検出する代表的な手法に
は、画像間相関を用いた方法（立川、稲葉、井上：高速
相関演算機能をもつビジョンシステム（第２報：実時間
トラッキング処理への応用）、第９回日本ロボット学術
講演会予稿集(1991)) 、他に、特定カラー、角などの特
徴点の対応付けより動きを求める方法（福井、久保田、
溝口、石川：風船お手玉ロボットの視覚処理、第５回産
業における画像センシング技術シンポジム予稿集、pp.9
1-96(1990)）、オプティカルフローによる方法（千葉、
小沢：ノイズを含んだ画像からのオプティカルフローの
検出、電子情報通信学会論文誌、Vol.j73-D-II, No.12,
pp.1952-1959(1990)）、さらに、差分による方法、時空
間に展開して求める方法（間瀬：非エピポーラ面画像に
おける物体速度の推定、コンピュータビジョン研究会、
CV-71,pp1-8(1991) ）等が挙げられる。

【０００４】また、精度良く動物体領域を抽出するため
には、この動き情報を正確かつ密に検出する必要があ
る。しかし、実際の画像では、本来、３次元の画像情報
を有する物体が２次元面に投影される際に、情報の欠落
やノイズの混入が生じ、さらには検出される動き情報に
は誤差が含まれる場合が多い。また、他の特徴の抽出に
関しても、常にうまく求め得るとも限らない。例えば、
ソーベルオペレータのような単純な手法では、照明の加
減や、背景の状況により、途切れてエッジが抽出された
り、背景のエッジを抽出してしまうこともある。したが
って、抽出される領域も不正確となる。

【０００５】そこで、予め用意された動的な輪郭モデ
ル、例えばスネーク曲線に、力学系でのエネルギ最小化
問題を適用して、物体の輪郭にフィットさせる方法が、
Kassらによって提案された（M.Kass,A.Witkin,D.Terzop
ouls,"Snakes:Active ContourModels",In Proc. 1st In
t.Conf.on Computer Vision,pp.259-268(1987) ）。

【０００６】これは、Active Contour Models (Snakes)
と呼ばれ、動物体の輪郭形状と動きを同時に抽出できる
ものである。すなわち、この手法は、画像中の輪郭上で
最小になるよなエネルギ関数を定義して、画像中の対象
物からの輪郭抽出問題を、弛緩法を用いたエネルギ関数
の最小化問題に変換して解く手法である。動物体領域抽
出には、有効な手法である。また、このときのエネルギ
関数Ｅは、以下の様に定義される。

【０００７】 Ｅ＝Σ（Ｅ_int (vi)＋Ｅ_image (vi)＋Ｅ_ext (vi)） (1) ここで、Ｅ_int (vi)は、スネーク曲線自身が滑らかに成
ろうとする力（内部エネルギー）、Ｅ_image (vi)は、画
像特徴（線、エッジ、色など）に引き寄せられる力（画
像エネルギー）、Ｅ_ext (vi)は、外部からの強制力（外
部エネルギー）となる。

【０００８】別の観点から見ると、Ｓnakeモデルは、拘
束条件下でスプライン関数を求める手法とも考えられ
る。スネークは、ｎ点の離散的な点列Ｖ_i ＝（Ｘ_i ，Ｙ
_i ）（ｉ＝０，ｎ）から成る閉曲線で構成される。物理
的な表現をすると、ある程度剛性を有する針金を、エッ
ジに引き付けられる力で序々に変形させる過程に例えら
れる。引き付けられる力と針金自身が持つ復元力が釣り
合った状態が、エネルギ最小化の状態である。外部エネ
ルギは、外部から加わる拘束力であるが、外部からこの
ような力が加わらない場合は、考慮しない。

【０００９】このスネークは、エネルギ関数の最小化問
題を弛緩法で解くため、非常に計算量が多い、この計算
を動的計画法で解く手法も開発されているが、リアルタ
イムに処理するのは、容易ではない。また、スネーク曲
線自身の滑らかになろうとする度合（以下、剛性と呼
ぶ）は、内部エネルギ関数内のパラメタで定義されるの
で、これを最適に決定する必要がある。細かい凹凸輪郭
を抽出する時と、荒い凹凸輪郭を抽出するときでは、剛
性のパラメータを変化させる必要があり、計算量もさら
に増加する。

【００１０】そこで、これらの問題を解決するために、
コンピュータグラフィックスの分野で曲線を表現するの
に良く使われるＢスプライン曲線、ベッイエ曲線を導入
したＢスプラインスネーク（Ｂ-Spline snake ；R. Cip
olla, A. Blake, “The dynamic Analysis of Apparent
Conours” In Proc. 3st Int. Conf.on．Computer Vis
ion, pp616-623(1990)）が開発された。

【００１１】このＢスプラインスネークは、従来のスネ
ークに比べて、収束繰り返し計算を行なわないため処理
が軽く、リアルタイム処理が可能である。図１に、Ｂス
プラインスネークの概略図を示す。

【００１２】具体的な処理は、以下の５段階から成る。

【００１３】ステップ１．初期値として、幾つかの制御
点を与える。

【００１４】ステップ２．この制御点で表されるベッイ
エ曲線（あるいは、Ｂスプライン曲線）上の座標Ｘ
（ｓ）、Ｙ（ｓ）を次式で計算する。ここで、ｓは、曲
線上で定義されたパラメータである。

【００１５】

【数１】 なお、ｎは、制御点の総数、Ｑ_ixは、制御点ｉのＸ座
標、Ｑ_iyは制御点ｉのＹ座標、Ｂ_i （ｓ）は、ｎ次混合
関数或いはＢスプライン基本関数を表す。

【００１６】

【数２】 ステップ３．各サンプル点において、曲線の垂直方向に
関して、最も強いエッジ（濃度勾配が最も大きい領域）
を探索する。自分自身と、このエッジまでの距離を移動
距離として、全サンプル点に対して求める。

【００１７】ステップ４．各サンプルｓ点の移動量（ｄ
_sx，ｄ_sy）から、次式を最小とするＱ_ix、Ｑ_iyを最小２
乗法を適用して求め、新しい制御点ｉまでの移動量とす
る。

【数３】 ここで、ｍは、曲線上のサンプル点総数である。

【００１８】ステップ５．制御点のみを３．で求めた移
動量だけ移動させる。

【００１９】ステップ６．ステップ２．へ戻る。

【００２０】

【発明が解決しようとする課題】しかしながら、Ｂスプ
ラインスネークも含め従来の手法では、実画像で使用す
る際に、以下の３つの解決すべき問題点があった。

【００２１】第１は、背景画像が複雑でエッジを多く含
む場合には、うまく対象物の輪郭のみを抽出できない点
である。これは、スネークが画像中で、自分自身に最も
近いエッジ（濃度勾配が最も大きい領域）を単純に探索
・抽出しているからである。物体の輪郭より強いエッジ
を含まない単純な背景画像に対しては、動物体の輪郭を
うまく抽出できるが、動物体の輪郭より濃度勾配が大き
い勾配を持つエッジが、近くに存在する場合、それらの
エッジを誤って抽出してしまう。これは、動く物体の輪
郭を追跡する上では、大きな問題となる。

【００２２】第２は、状況によっては、剛性が適切でな
く、微小な動きに対してもノイズの影響を受けやすくな
るという点である。

【００２３】先に述べたようにＢスプラインスネーク
は、剛性をベッイエ曲線、あるいは、スプライン曲線で
表現している。そのため、剛性に関するパラメータの調
整は必要ないものの、例えば対象物の一部が見えなくな
る、形状が急激に変化する、画像中のノイズを受けると
いうような状況では、スネークは、その変化に敏感に反
応して、輪郭形状を急激に変形してしまうことになる。

【００２４】したがって、場合によっては、スネークは
振動を開始して、最終的には発振して、動物体の輪郭形
状をうまく保持できなくなる問題があった。この問題に
関しては、剛体の振動解析と同様に複数の振動モードが
存在するとして報告されている（稲川、Pentland,Sclar
off 、アクティブモデルを用いた形状推定における拘束
条件決定手法: Correspondence in “3D Shape Reconst
ruction for ActiveModels”,PRU91-58(1991) ）。

【００２５】第３は、従来のスネークに比較して計算量
が多くなる場合がある。Ｂスプラインスネークは、従来
のスネークに比較して計算量は少ないが、それでも複雑
な形状を細部まで忠実に抽出する場合、サンプル点、制
御点の数を増やす必要があり、それに伴って計算量が増
大してリアルタイム処理ができなくなる点である。

【００２６】本発明は、上記課題に鑑みてなされたもの
で、背景画像、Ｂスプラインスネークの剛性、さらには
対象となる動物体の形状に拘らず、入力された画像中の
動物体の輪郭形状とその動きを同時にかつ安定に抽出す
ることのできる動物体抽出装置を提供することを目的と
する。

【００２７】

【課題を解決するための手段】上記目的を達成するため
本願第１の発明は、供給される画像情報から動きのある
物体を検出し、その輪郭を抽出する輪郭抽出手段と、こ
の輪郭抽出手段で抽出された輪郭を対象として設けられ
る複数の輪郭追跡手段と、この複数の輪郭追跡手段の形
状とその動きから当該物体の輪郭形状と動きとを求める
動物体抽出手段とを有すること要旨とする。

【００２８】また、本願第２の発明は、供給される画像
情報から動きのある物体を検出し、その輪郭を抽出する
輪郭抽出手段と、この輪郭抽出手段で抽出された輪郭を
対象として設けられ、それぞれ当該輪郭の特定方向の動
きにのみ反応する複数の輪郭追跡手段と、この複数の輪
郭追跡手段の内、異なる特定方向の動きに反応する少な
くとも２つの輪郭追跡手段を対として、それぞれ相互に
異なる特定方向の動きに係る情報を補間する補間手段
と、前記複数の輪郭追跡手段の形状とその動きから当該
物体の輪郭形状と動きとを求める動物体抽出手段とを有
することを要旨とする。

【００２９】また、本願第３の発明は、供給される画像
情報から動きのある物体を検出し、その輪郭を抽出する
輪郭抽出手段と、この輪郭抽出手段で抽出された輪郭を
対象として設けられ、それぞれ当該輪郭の特定方向の動
きにのみ反応する複数の輪郭追跡手段と、この複数の輪
郭追跡手段の内、異なる特定方向の動きに反応する少な
くとも２つの輪郭追跡手段を対として、相互に当該輪郭
追跡手段の動きを拘束する拘束手段と、前記複数の輪郭
追跡手段の形状とその動きから当該物体の輪郭形状と動
きとを求める動物体抽出手段とを有することを要旨とす
る。

【００３０】さらに、本願第４の発明は、供給される画
像情報から動きのある物体を検出し、その輪郭を抽出す
る輪郭抽出手段と、この輪郭抽出手段で抽出された輪郭
を対象として設けられる複数の輪郭追跡手段と、この複
数の輪郭追跡手段で囲繞される領域内に任意の点を設定
する任意点設定手段と、この任意点設定手段で設定され
る任意点と前記複数の輪郭追跡手段の各輪郭追跡手段と
の間に設けられ当該輪郭追跡手段の動きを拘束する拘束
手段と、複数の輪郭追跡手段の形状とその動きから当該
物体の輪郭形状と動きとを求める動物体抽出手段とを有
することを要旨とする。

【００３１】

【作用】本願第１の発明の動物体抽出装置は、供給され
る画像情報から動きのある物体を検出し、抽出された輪
郭を対象として複数の輪郭追跡手段を設け、この輪郭追
跡手段の一部の特異な反応が他に及ばないようにした上
で、この複数の輪郭追跡手段の形状とその動きから当該
物体の輪郭形状と動きとを求めるようにしたものであ
る。また、複数の輪郭追跡手段としていることから並列
処理を行うことが可能であり、また個々の輪郭追跡手段
が小さいことから処理負担を軽減することができ、その
ためリアルタイム処理が可能となる。

【００３２】本願第２の発明の動物体抽出装置は、それ
ぞれ当該輪郭の特定方向の動きにのみ反応する複数の輪
郭追跡手段の内、異なる特定方向の動きに反応する少な
くとも２つの輪郭追跡手段を対として、それぞれ相互に
異なる特定方向の動きに係る情報を補間することで全輪
郭を安定して抽出し得るようにしたものである。

【００３３】本願第３の発明の動物体抽出装置は、それ
ぞれ当該輪郭の特定方向の動きにのみ反応する複数の輪
郭追跡手段の内、異なる特定方向の動きに反応する少な
くとも２つの輪郭追跡手段を対として、相互に当該輪郭
追跡手段の動きを拘束することで外乱に対して堅固なも
のとなるようにしたものである。

【００３４】本願第４の発明の動物体抽出装置は、設定
される任意点と前記複数の輪郭追跡手段の各輪郭追跡手
段との間に拘束手段を設けたことから当該輪郭追跡手段
の動きが拘束され外乱に対して堅固なものとなるように
したものである。

【００３５】

【実施例】まず、本発明の基本的な概念について説明す
る。前述した第１の問題を解決するために、本発明では
動いているエッジを優先的に抽出するようにしている。
このエッジの抽出のために連続する画像間で差分処理、
しきい値処理を行ない、輝度変化した変化領域を検出す
る。次に、この変化量の絶対値をとり、変化量とする。
ビデオレートで２枚の連続した画像間差分処理を行なう
場合は、この変化領域は、ほぼ動物体の輪郭に対応して
いると考えられる。最大勾配を持つエッジ探索は、この
輝度変化領域内で行なう。これにより、誤って、背景画
像中のエッジを抽出してしまうことを防ぐことが可能と
なる。

【００３６】また、多少精度が悪くなるが、変化領域の
中で変化量が最大の部分を輪郭として、探索して良い。
物体が静止して、変化領域が検出されない場合は、最も
近いエッジ、すなわち輝度勾配が最大の点を抽出する。

【００３７】また、前述の第２の問題を解決するため
に、動物体の全輪郭を一つの処理で抽出することを避
け、全輪郭を適宜の小部分に分割して処理するようにし
ている。さらに各部分処理は、お互いに拘束手段として
の仮想のスプリング、あるいは、ダンパで接続されて拘
束し合いながら処理を進める。各部分処理は、以下の２
つの方法で実現する。

【００３８】第１の方法として、各部分処理では、異な
る方向にエッジ探索して抽出する。各部分輪郭抽出処理
は、エッジ探索を特定方向（例えば、水平、垂直）に限
定する。各部分輪郭抽出処理は、特定方向に動く輪郭の
みの反応するという選択性をもつ。

【００３９】したがって、全輪郭を一度に抽出する場合
を比較して、輪郭の一部を抽出するもので、外乱の影響
も小さくてすむ。さらに、探索方向に垂直な方向には、
輪郭の長さを変化させないので、外乱に対して堅固であ
る。各部分輪郭抽出処理に、自分自身の不足している動
き情報や位置情報を、他の部分輪郭抽出処理から受けと
る。これにより、部分輪郭抽出処理だけでは、２次元的
な動きに対応できないという問題を回避して、全輪郭を
安定に抽出することができる。

【００４０】第２の方法は、エッジ探索を特定方向に限
定しないで、エッジ探索処理を２段階で構成する。図３
に処理の流れを示す。まず、第１処理では、Ａで示す一
時点前に抽出した輪郭モデル（例えばスネーク曲線）を
その形状を保ったまま、平行移動、回転移動等のアフィ
ン変換を行い、エッジの近傍まで移動させる。

【００４１】続いて、第２処理では、狭い範囲でエッジ
を探索して輪郭モデルに変形を許し、エッジに完全に合
致（フィット）させる。

【００４２】この第１処理におけるアフィン変換の係数
は、輪郭モデルの各サンプル点の移動量から最小２乗法
を用いて求める。また、求めた移動量、回転角度だけ、
輪郭モデルをアフィン変換する。この方法は、輪郭モデ
ルの形状を保ったまま、現時点のエッジの近傍まで移動
させ、その後で微小な変形を許すので、一度に大きな変
形を許す場合に比べて、剛性が大きくノイズの影響に対
して堅固なものとすることができる。

【００４３】さらに、前述の第３の問題に対しては、先
に述べた手段により解決できる。全輪郭の部分毎に、異
なる複数の処理で抽出するので、各処理は、分散、並列
処理が可能であり、リアルタイム処理にも対処できる。
また、サンプル点、制御点が増えても、並列処理する数
を増やせば容易に対応できる。

【００４４】次に、本発明に係る一実施例を図面を参照
して具体的に説明する。なお、画像中から顔領域を抽出
することは、画像を用いたヒューマンＩ／Ｆ技術におい
て不可欠な要素技術である。本実施例では、より具体的
なものとするために顔の輪郭抽出場合を例に説明する。
図１は本発明に係る動物体抽出装置の構成を示したブロ
ック図である。

【００４５】図１に示すように、本実施例の動物体抽出
装置は画像入力部１と、追跡輪郭決定部２と、輪郭追跡
部群３と、ホスト計算機４と、画像出力部５及び位置決
定部６とからなる。

【００４６】また、画像入力部１はカメラ１１とＡ／Ｄ
変換器１３によって構成され、このＡ／Ｄ変換器１３と
画像バスＢ_I を介して接続される追跡輪郭決定部２は画
像メモリ２１、差分回路（エッジ抽出回路）２３、２値
化回路２５、ラベリング回路２７及び外接長方形算出回
路２９によって構成される。同様にＡ／Ｄ変換器１３と
画像バスＢ_I を介して接続される輪郭追跡部群３はロー
カルモジュール、具体的にはｎ個の輪郭追跡部３１ａ、
３１ｂ、〜、３１ｎによって構成される。またホスト計
算機４は、輪郭追跡部管理部４１、拘束力計算部４３、
全輪郭算出部４５及び３次元位置計算部４７によって構
成される。画像出力部５は３次元位置計算部４７と前記
画像バスＢ_I と接続される出力モニタ５１によって構成
される。また、さらに位置決定部６は口位置決定部６
１、両目位置決定部６３及び鼻位置決定部６５によって
構成される。

【００４７】次に、図１及び図２に沿って詳細に説明す
る。画像入力部１のカメラ１１は、例えばＩＴＶカメラ
が用いられる。ここで、カメラ１１から入力された画像
を、画像１と呼ぶ。入力された画像１は、Ａ／Ｄ変換器
１３によりデジタル化される。

【００４８】追跡輪郭決定部２では、まずステップＳ１
でカメラ１１により撮像された現時点の画像と、画像メ
モリ２１に蓄えられている１フレーム前の画像データあ
るいは予め入力してある物体が存在しない背景画像デー
タとの差分を差分回路２３で求める。背景画像との差分
の場合は、２値化回路２５で２値化し、ラベリング回路
２７でラベリングした後に、外接長方形算出回路２９で
当該動物体に対する外接長方形座標を求める（ステップ
Ｓ３）。この算出された当該動物体に対する外接長方形
座標等の情報は、ホスト計算機４の輪郭追跡部管理部４
１に出力される。

【００４９】輪郭追跡部管理部４１は、輪郭追跡部群３
を、外接長方形の各辺を含む矩形領域に配置する。輪郭
追跡部群３の配置される位置、輪郭モデルのサイズは、
この外接長方形により決まる。具体的には、図４に示す
ように抽出された外接長方形に４つの輪郭追跡部が配置
される場合には、縦辺には水平輪郭追跡部Ｌ_HL、Ｌ
_HRが、横辺には垂直輪郭追跡部Ｌ_VU、Ｌ_VDが配置され、
また図５に示すように、８つの輪郭追跡部が配置される
場合には、縦辺には水平輪郭追跡部Ｌ_HLU 、Ｌ_HRU、Ｌ
_HLD 、Ｌ_HRD が、横辺には垂直輪郭追跡部Ｌ_VUL 、Ｌ
_VDL 、Ｌ_VUR 、Ｌ_VDRがそれぞれ配置される（ステップ
Ｓ５）。

【００５０】あるいは、追跡輪郭決定部２と輪郭追跡管
理部４１では、次のような処理を行うことも考えられ
る。連続する画像間の差分を行い、さらにしきい値処
理、２値化処理して物体の輪郭領域を抽出する。通常
は、この輪郭領域は分割して抽出されることが多い。し
たがって、抽出された複数の部分領域は、一度連結され
て、再度分割される。分割は、輪郭重心Ｇを中心とした
回転角度により基づいて行なわれる。例えば、図６に示
すように４分割の場合は、９０度間隔に分割されてこの
線分を含む矩形領域に水平輪郭追跡部Ｌ_HL、Ｌ_HR及び垂
直輪郭追跡部Ｌ_VU、Ｌ_VDを配置する。８分割の場合は、
４５度間隔に分割する。

【００５１】また、この各輪郭追跡部Ｌは、人間が出力
モニタ５１の画像を見ながら、対話的にマウス、キーボ
ードなどの入力手段により、配置してもよい。

【００５２】配置された各輪郭追跡部Ｌは、ステップＳ
７で、それぞれ特定方向にエッジ探索処理を行なう。例
えば、特定方向を画像中の水平・垂直方向とすると、図
７のように、輪郭追跡群３は、複数の輪郭追跡部３１
ａ、３１ｂ、〜、３１ｎとから構成されることになる。
任意の輪郭追跡部３１ｋで設定される水平輪郭追跡部Ｌ
_H （Ｌ_HLU 、Ｌ_HRU 、Ｌ_HLD 、Ｌ_HRD ）では、エッジ探
索方向を水平方向に限定する。他の任意の輪郭追跡部３
１ｌで設定される垂直輪郭追跡部Ｌ_V （Ｌ_VUL 、
Ｌ_VDL 、Ｌ_VUR 、Ｌ_VDR ）では、エッジ探索方向を垂直
方向に限定する。つまり、水平輪郭追跡部Ｌ_H は、輪郭
の水平運動のみの反応する。同様に、垂直輪郭追跡部Ｌ
_V は、輪郭の垂直運動のみに反応する。

【００５３】このようにして配置された直後、ステップ
Ｓ７の探索処理では、物体に輪郭モデルを張り付けるた
めに、外接長方形内部のみをエッジ探索する。この段階
では、各輪郭追跡部は、独立で処理が進められる。しか
し、このままでは、各輪郭追跡部は、特定方向の１次元
の動きのみにしか対応できないので、物体の全輪郭を追
跡することができない。そこで、不足する位置情報を各
輪郭追跡部間でお互いに補い合う。

【００５４】以下、図８を参照して、４つの輪郭追跡部
で構成される場合について説明する。垂直輪郭追跡部Ｌ
１と垂直輪郭追跡部Ｌ３は、不足する水平位置（輪郭モ
デルの重心位置）を水平輪郭追跡部Ｌ２と水平輪郭追跡
部Ｌ４の重心位置から求める。逆に、水平輪郭追跡部Ｌ
２と水平輪郭追跡部Ｌ４は、不足する垂直位置（輪郭モ
デルの重心位置）を垂直輪郭追跡部Ｌ１と垂直輪郭追跡
部Ｌ３の重心位置から求める。

【００５５】８つの輪郭追跡部から構成される場合を、
図９に示す。垂直輪郭追跡部Ｌ１は、不足している水平
位置を、水平輪郭追跡部Ｌ２とＬ７の重心位置から求め
る。この３つの位置関係は、 ｘ1 ＝ｘ7 ＋（ｘ2 −ｘ7 ）×（２／３） で表される。垂直輪郭追跡部Ｌ８も、水平輪郭追跡部Ｌ
２とＬ７の重心位置から、求める。

【００５６】 ｘ8 ＝ｘ7 ＋（ｘ2 −ｘ7 ）×（１／３） 同様に、水平輪郭追跡部Ｌ２は、不足している垂直方向
の位置を垂直輪郭追跡部Ｌ１とＬ４の重心位置から求め
る。

【００５７】 ｙ2 ＝ｙ4 ＋（ｙ1 −ｙ4 ）×（２／３） 水平輪郭追跡部Ｌ３、垂直輪郭追跡部Ｌ１とＬ４の重心
位置から、求める。

【００５８】 ｙ3 ＝ｙ4 ＋（ｙ1 −ｙ4 ）×（１／３） 他の輪郭追跡部Ｌも不足する位置から同様に求める。物
体の大きさの拡大・縮小に対しては、後で述べる各輪郭
追跡部の輪郭モデルのサイズを変化させることにより対
応する。

【００５９】輪郭追跡部３１は、ホスト計算機から制御
可能な複数のローカルモジュールで処理が行なわれる
（久保田, 福井, 石川, 溝口：“物体の認識、識別をめ
ざしたビジョンプロセッサの構想と試作モデルの開
発”、信学技法、PRU89-07(1990)）。ローカルモジュー
ルは、図１０に示すようにローカルプロセッサ７５を備
え、さまざまな並列処理がソフトウェアで実現できる。
このローカルプロセッサ７５は、ローカルバスＢ_L を介
してバスインタフェース７１、アドレスデコーダ７３、
ウインドコントローラ７７及びウインドメモリ７９と接
続される。

【００６０】線分を中心に含む適当な大きさの矩形領域
を定め、その位置（アドレス）ウィンドウコントローラ
のレジスタにセットする。ローカルモジュールは、現時
点（時刻ｔ）その部分の画像をウィンドウメモリ７９に
画像バスＢ_I からビデオレートで取り込む。この領域を
追跡ウィンドウＷ（図７参照）と呼ぶ。この追跡ウィン
ドウＷは、輪郭モデルを含むサイズに設定される。次
に、次時点（時刻ｔ＋Δ）で同じ部分の画像をウィンド
ウメモリ７９から取り込む。先ず、ローカルプロセッサ
７５は、この２枚の連続する画像間で差分処理を行な
い、変化領域を検出する。さらに、取り込んだ画像デー
タに対して、変化領域内で特定方向にエッジ探索処理を
行ない、エッジを抽出・追跡する。

【００６１】輪郭追跡部３１の処理については、後で詳
しく述べる。抽出したエッジの位置情報は、随時、パラ
レルポートなどにより、ホスト計算機４上の輪郭追跡部
管理部４１に転送される。

【００６２】輪郭追跡部管理部４１では、送られて来た
輪郭位置情報から、拘束力Ｆorceを求め、再度、各輪郭
追跡部の位置を計算する（ステップＳ９）。また、輪郭
モデルのＳize を求め、位置と共に各輪郭追跡部に送り
返す。拘束力は、図中で仮想スプリング（波線）と仮想
ダンパ（実線）で実現され、以下の式で求まる。

【００６３】 Ｆorce＝ｆorce_sp＋ｆorce_dp （６） ｆorce_sp＝Ｃonst1 ＊（Ｌen_ij−Ｌen_natural ） （７） ｆorce_dp＝Ｃonst2 ＊（Ｄlen _ij／Ｄ_t ） （８） ここで、Ｌen_ijは、輪郭追跡部i ，間の距離、Ｌen
_natural は、仮想スプリングの自然長、Ｃonst1 は、ス
プリング定数、Ｃonst2 は、ダンピング定数である。

【００６４】各輪郭追跡部の輪郭モデルのサイズは、物
体のサイズの拡大・縮小に伴って変化する。つまり、輪
郭追跡部間にすき間がある場合は、それを埋め、重なっ
ている場合は、短くする。変化させる際の基準として、
一部の輪郭モデルのサイズのみが大きくなるとそれだけ
計算時間が大きくなり、全体の処理時間も上がるため、
できるだけ長さが一様になるように各サイズが決められ
る。

【００６５】図１１を用いて、垂直輪郭追跡部Ｌ１の例
を説明する。垂直輪郭追跡部Ｌ１の輪郭モデルの水平サ
イズは、両端のＸ座標、Ｘs1,newとＸe1,newで決まる。
ここで、Ｘs1,newは、隣の水平輪郭追跡部Ｌ８の端点の
Ｘ座標Ｘes,oldとＸs1,oldの間隔と自分自身の水平長さ
Ｌeng1で決まる。ここで、添え字のnew は、新しく計算
された端点の座標、old は、計算される前の座標であ
る。

【００６６】 Ｘ_s1,new＝Ｘ_s1,old−（Ｘ_s1−Ｘ_e8）＊rat （９） rat ＝Ｌeng8／（Ｌeng1＋Ｌeng8） （１０） ここで、Ｌeng8は、水平輪郭追跡部Ｌ８の水平長さであ
る。

【００６７】他方の端点のＸ座標Ｘe1,newは、以下の式
で求まる。

【００６８】 Ｘ_e1,new＝Ｘ_e1,old−（Ｘ_s2−Ｘ_e1）＊rat （１１） rat ＝Ｌeng2／（Ｌeng1＋Ｌeng2） （１２） ここで、Ｌeng2は、水平輪郭追跡部Ｌ２の垂直長さであ
る。

【００６９】同様に、水平輪郭追跡部Ｌ２の輪郭モデル
の垂直サイズは、両端のＹ座標、Ｙs2,newとＹe2,newで
決まる。ここで、Ｙs2,newは、隣の垂直輪郭追跡部Ｌ１
の端点のＹ座標Ｙe1,oldとＹs2,oldの間隔と自分自身の
垂直長さＬeng2で決まる。

【００７０】 Ｙ_s2,new＝Ｙ_s2,old−（Ｙ_e1−Ｙ_s2）＊rat （１３） rat ＝Ｌeng1／（Ｌeng1＋Ｌeng2） （１４） 他方の端点のＹ座標Ｙe2,newは、以下の式で求まる。

【００７１】 Ｙ_e2,new＝Ｙ_e2,old−（Ｙ_e2−Ｙ_s3）＊rat （１５） rat ＝Ｌeng3／（Ｌeng2＋Ｌeng3） （１６） ここで、Ｌeng3は、水平輪郭追跡部Ｌ３の垂直長さであ
る。

【００７２】他の輪郭追跡部の輪郭モデルのサイズも、
同様に求まる。これにより画像中で、顔が距離により拡
大・縮小しても、各輪郭追跡部の輪郭モデルサイズが最
適に変化してうまく輪郭を抽出して追跡できる。

【００７３】全輪郭算出部４５では、ステップＳ１１
で、得られた部分輪郭形状を繋げて全輪郭形状を算出す
る。部分輪郭の接続部がうまく継らない場合は、再度形
状の滑らかさの拘束を加えて滑らかに接続する。また、
輪郭形状が得られなかった部分は、スプライン曲線など
で補間する。

【００７４】次にステップＳ１３乃至Ｓ１７において、
口位置決定部６１、両目位置決定部６３及び鼻位置決定
部６５では、それぞれ口、両目、鼻の位置を決定する。

【００７５】すなわち、先ず、抽出された顔領域の輪郭
形状情報から、予め登録されている顔モデルに基づい
て、おおよその両目、鼻、口の領域を限定する。さら
に、この領域内で、目、鼻、口の位置を詳細に決定す
る。これは、予め用意してある画像マスクパターンとの
マッチングにより実現する。マスクパターンは、顔の大
きさに比例して拡大・縮小変換される。あるいは、エッ
ジ抽出、ハフ変換を行なって、予め登録されている形状
とのマッチングをとる。例えば、円領域を見つけて目の
位置とする。鼻ならば、三角形領域を鼻とする。

【００７６】３次元位置計算部４７では、ステップＳ１
９において、顔の輪郭形状と両目と鼻、あるいは、口と
の相対位置関係から顔の３次元位置を求める。予め、顔
の輪郭の大きさとカメラからの距離との関係を求めてお
く。これにより、抽出された顔の輪郭の大きさから逆に
距離を求める。顔の向きは、顔モデルに基づいて、両目
と鼻、あるいは口の幾何学関係から求める。

【００７７】画像出力部５は、抽出された部分輪郭形状
を出力モニタ５１に出力する（ステップＳ２１）。

【００７８】次に、輪郭追跡部の処理について詳細を述
べる。各ローカルプロセッサ７５は、取り込んだ画像デ
ータに対して、輪郭を抽出・追跡する。以下に、処理の
流れを示す。

【００７９】ステップ１１．抽出された部分輪郭を含む
矩形領域に追跡ウィンドウＷを配置する。

【００８０】ステップ１２．幾つか、例えば４個の制御
点を追跡ウィンドウＷの２等分線上に与える。

【００８１】ステップ１３．この制御点で表されるベッ
イエ曲線、或いはＢスプライン曲線上の座標Ｘ（ｓ）、
Ｙ（ｓ）を次式で計算する。ここで、ｓは曲線上で定義
されたパラメタである。

【００８２】

【数４】 ここで、ｎは、制御点の総数、Ｑ_ixは制御点ｉのＸ座
標、Ｑ_iyは制御点ｉのＹ座標、Ｂ_i （ｓ）は、ｎ次混合
関数を表す。或いはＢスプライン基本関数に置き換えて
も良い。

【００８３】

【数５】 ステップ１４．連続する画像間で差分処理を行ない、し
きい値処理、絶対値をとり、変化領域を検出する。

【００８４】ステップ１５．図１２に示すように、各サ
ンプル点ｓにおいて、変化領域内で、特定方向にエッジ
領域を探索する。ここでは、各サンプル点の曲線に対す
る法線方向として説明する。各サンプル点と探索された
エッジ領域までの距離を移動距離とする。この移動距離
を、全サンプル点に対して求める。

【００８５】ステップ１６．各サンプルｓ点の移動量
（ｄ_sx，ｄ_sy）から、次式を最小とするＱ_ix、Ｑ_iyを最
小２乗法を適用して求め、新しい制御点ｉまでの移動量
とする。

【００８６】

【数６】 ここで、ｍは、曲線上のサンプル点ｓの総数である。

【００８７】ステップ１７．各制御点のみをステップ１
３で求めた移動量だけ移動させる。

【００８８】ステップ１８．求めた曲線をローカル画像
メモリに書き込み、画像出力部５の出力モニタ５１上に
輪郭を表示する。

【００８９】ステップ１９．次に、ローカルウィンドウ
を、全制御点の平均移動距離Ｄistance だけ移動させ
る。同時に、各制御点を−Ｄistance だけ移動させる。

【００９０】ステップ２０．ステップ１３へ戻る。

【００９１】なお、ステップ１５の処理において、精度
が多少落ちるものの変化領域中で、エッジ探索の替わり
に、変化量が最大の部分をエッジとして探索しても良
い。

【００９２】次に、図１３を参照して、実際の画像を用
いた水平運動する輪郭追跡の結果について説明する。該
図１３中で、上段部分の実線Ｗ１は、従来のB-splineス
ネークによるもの、下段の実線Ｗ２は、新しく差分情報
を加味した輪郭追跡手段によるものをそれぞれ表してい
る。また、長方形は、ローカルウィンドウを示してい
る。２つの手段は、同じ初期位置（Ｘ座標が等しい）に
置かれる。動物体（棒）の水平方向の移動と共に、棒を
追跡して、途中まで、うまく追跡している。しかし、境
界線Ｗ１は、背景の強いエッジの方を検出してしまい、
追跡が失敗している。それに対して、境界線Ｗ２は、う
まく最後まで追跡が成功している。

【００９３】図１４は、顔の輪郭をリアルタイムで抽出
した結果を示している。各輪郭追跡部が顔にフィットし
ている様子がわかる。輪郭追跡部は、２つの水平輪郭追
跡部と１つの垂直輪郭追跡部から成る。図１５に、各輪
郭追跡部の構成を示す。図１３、１４中で、矩形は、ロ
ーカルモジュールの追跡ウィンドＷを示している。ウィ
ンド内の境界線Ｗ１、Ｗ２が、水平輪郭追跡部Ｌ_HL、Ｌ
_HR、境界線Ｗ３が垂直輪郭追跡部Ｌ_V を示している。

【００９４】また、各輪郭追跡部間に拘束力に関して
は、物理的なテンプレートによる方法でも、実現可能で
ある。この拘束力を実現するために、図１６に示すよう
な複数の仮想スプリングと仮想ダンパが各輪郭追跡部の
重心ｇ位置と全輪郭重心Ｇ位置に置かれ、各輪郭追跡部
に半径方向の拘束力を付加する。また、全輪郭重心Ｇに
は、仮想巻きバネが置かれて、回転方向の拘束力を実現
している。各スプリングのバネ定数、ダンパの定数の初
期値は、零に初期設定される。

【００９５】輪郭追跡が予め設定される所定の処理ステ
ップ時間に成功したら、スプリングの自然長がこの時の
重心間距離に設定される。時間と共に、これらの値は大
きくなってゆく。各スプリングでは、ポテンシャルエネ
ルギの値が計算され、この時間変化がモニタされてい
る。時間変化が、決められた値より大きくなった場合、
スプリングの自然長がその時の長さに再設定される。

【００９６】前述の剛性を付加するには、前述した特定
の方向にエッジ探索を行なう手段以外に、２段階処理に
よる手段でも実現可能である。

【００９７】基本的な考えは、全体処理を２段階の処理
に分離する。第１処理をフリーズ、第２処理をリラック
スと呼ぶ。まずフリーズ処理では、探索した各サンプル
点の動き情報から、次式の

【外１】 を最小２乗法により求める。

【００９８】

【数７】 全制御点を、この求めたパラメータ分だけ回転・並行移
動させる。ここで、全制御点は、同じ変換を受ける。こ
れは、形状を変えないで回転・並行移動することを意味
している。次のリラックス処理では、フリーズ処理の探
索範囲よりも狭い範囲を各サンプル点において、探索し
て動きを求める。この段階では、形状の変形を許して、
全制御点を動かす。このように２段処理により、動物体
が急激に動いたり、形状が変化する場合でも、剛性を持
つことになり、外乱に強くなる。

【００９９】次に第２の実施例としての動物体追尾カメ
ラについて説明する。

【０１００】この実施例は、画像中から動物体領域を抽
出して、その動きに追尾して、パン、チルト、ズーム、
フォーカスを自動制御するカメラに関する。図１７は、
実施例の全体的な構成図であり、画像入力部１Ａと、追
跡輪郭決定部２Ａと、輪郭追跡部群３と、輪郭追跡部管
理部４１と、全輪郭算出部４５と、３次元位置計算部４
７と、図示しないカメラ制御部と、カメラ雲台制御部８
と、画像出力部とからなる。

【０１０１】画像入力部１Ａ、追跡輪郭決定部２Ａ、輪
郭追跡部群３、輪郭追跡部管理部４１、全輪郭算出部４
５は、前述の実施例１に述べたものと略同様の作用を有
するものである。カメラ制御部は、フォーカス制御部
と、ズーム制御部８５と、絞り制御部から構成される。
フォーカス制御部は、入力される画像からフォーカス制
御回路を用いてフォーカス調整する。ズーム制御部８５
では、３次元位置計算部４７で計算された物体に大きさ
に基づいてズーム量を調整する。

【０１０２】ズーム制御量は、画像中で物体領域の面積
の割合いＲatioが常に一定となるように、フィードバッ
クループ制御される。

【０１０３】Ｒatio＝α1 ＊（s ／s0） （２
１） ここで、s は、物体の画像中での面積、s0は、画像全体
の面積である。

【０１０４】カメラ雲台制御部８は、パン制御部８１
と、チルト制御部８３からなる。このパン、チルト制御
部８１、８３は、対象物を常に画像中に捉えるために、
雲台１５のパン、チルト角度を変化させる。この制御部
は、フィールドバックループ制御を形成している。画像
中の対象物の位置（x ，y ）と、パンＰan、チルトＴil
t 角度の制御量は、以下の式で求まる。

【０１０５】 Ｐan＝α1 ＊（x −x0）＋β1 ＊vx （２２） Ｔilt ＝α2 ＊（y −y0）＋β2 ＊vy （２３） ここで、（x ，y ）は物体の重心座標、（x0，y0）は画
像中心座標、（vx,vy）は画像上での物体の速度であ
る。α１，α２，β1 ，β2 は、制御理論により決定さ
れる最適な定数である。

【０１０６】ここで、問題となるのがカメラ自身が動い
ている場合は、前述の輪郭追跡法ではうまく追跡できな
い。なぜならば、差分では、背景のエッジも動くので検
出されてしまう。これを解決するため、カメラが動いて
いる場合は、単純にエッジ抽出を行ない、カメラが静止
している場合に、前述の差分処理と組み合わせたエッジ
探索を行なうことで解決される。

【０１０７】次に、第３の実施例としての動物体抽出機
能付きワークステーションＷＳについて説明する。

【０１０８】この実施例は、前述の動物体抽出装置を搭
載したワークステーションＷＳに関する。図１８は、実
施例装置の全体的な概略図であり、Ａ／Ｄ変換部１３Ｂ
と画像メモリ２１Ｂで構成される画像入力部、物体抽出
処理部９１、表示変更演算部９３、物体追尾演算部９５
で構成される中央演算処理装置（ＣＰＵ）９と、モニタ
回転台制御回路９７、カメラ雲台制御回路９８、カメラ
制御回路９９、グラフィックコントローラ１０１、画像
出力部５１Ｂｓから構成される。図１９に、このワーク
ステーションの概観を示す。画像入力部１１Ｂは、第１
の実施例に述べたものが使用される。モニタ５１Ｂ上の
雲台１５Ｂの設置された入力用の小型ＩＴカメラ１１Ｂ
は、第２の実施例で述べた物体追尾機能を備えて、使用
者の顔領域を追跡する。モニタ５１Ｂは、２自由度（パ
ン、チルト）を有する回転台９７ａに乗せられ、前述の
追跡結果に基づいて使用者の方へモニタの向きを変え、
使用者までの距離に応じて、モニタ５１Ｂに表示される
文字サイズを変化させる。

【０１０９】前述の実施例で述べたローカルプロセッサ
での処理は、すべてＣＰＵを使ってソフトウェアで行な
われる。結果表示は、全てワークステーションＷＳのモ
ニタに開かれたウインドウにリアルタイムで表示され
る。

【０１１０】

【発明の効果】以上説明したように本発明の動物体抽出
装置は、入力された画像中から動物体の輪郭と動きを同
時に抽出する装置を実現する等の実用上で多大なる効果
が期待できる。

【図面の簡単な説明】

【図１】本発明の一実施例の全体の概略の構成を示すブ
ロック図である。

【図２】図１に示した動物体抽出装置の処理全体の流れ
を概略的に示すフローチャートである。

【図３】エッジ探索を２段階処理で行う場合の処理手順
を示す図である。

【図４】外接長方形に配置された４つの輪郭追跡部が初
期配置される様子を示す図である。

【図５】外接長方形に配置された８つの輪郭追跡部が初
期配置される様子を示す図である。

【図６】輪郭追跡部が輪郭重心を中心として回転角度に
基づいて配置される様子を示す図である。

【図７】各輪郭追跡部による特定方向へのエッジ探索処
理及び各輪郭追跡部間の関係を示す図である。

【図８】輪郭追跡部が４つの場合における位置情報の算
出を説明するための図である。

【図９】輪郭追跡部が８つの場合における位置情報の算
出を説明するための図である。

【図１０】図１に示したローカルモジュールの構成を示
すブロック図である。

【図１１】輪郭モデルの各サイズの決定を説明するため
の図である。

【図１２】各サンプル点の変化領域内におけるエッジ領
域の探索を説明するための図である。

【図１３】実際の画像を用いて水平運動する輪郭追跡の
結果を示す図である。

【図１４】顔の輪郭をリアルタイムで抽出した結果を示
す図である。

【図１５】各輪郭追跡部の構成を示す図である。

【図１６】複数の仮想スプリングと仮想ダンパを用いて
実現した拘束力を説明するための図である。

【図１７】動物体領域の動きに追従して自動制御される
カメラの概略の構成を示すブロック図である。

【図１８】図１７に示した動物体抽出装置を搭載したワ
ークステーションの概略の構成を示すブロック図であ
る。

【図１９】図１８に示したワークステーションの外観を
示す斜視図である。

【図２０】従来例におけるＢスプラインスネークを説明
するための概略図である。

【符号の説明】

１ 画像入力部 ２ 追跡輪郭決定部 ３ 輪郭追跡部群 ４ ホスト計算機 ５ 画像出力部 ６ 位置決定部 ８ カメラ雲台制御部 ９ 中央演算処理装置（ＣＰＵ） １１ カメラ １３ Ａ／Ｄ変換器 ２１ 画像メモリ ２３ 差分回路（エッジ抽出回路） ２５ ２値化回路 ２７ ラベリング回路 ２９ 外接長方形算出回路 ３１ 輪郭追跡部 ４１ 輪郭追跡部管理部 ４３ 拘束力計算部 ４５ 全輪郭算出部 ４７ ３次元位置計算部 ５１ 出力モニタ ６１ 口位置決定部 ６３ 両目位置決定部 ６５ 鼻位置決定部 ７１ バスインタフェース ７３ アドレスデコーダ ７５ ローカルプロセッサ ７７ ウインドコントローラ ７９ ウインドメモリ ９１ 物体抽出処理部 ９３ 表示変更演算部 ９５ 物体追尾演算部 ９７ モニタ回転台制御回路 ９８ カメラ雲台制御回路 ９９ カメラ制御回路 １０１ グラフィックコントローラ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01P 13/00 G06T 7/00 - 7/60 G06T 1/00 H04N 7/18 H04N 7/32

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 供給される画像情報から動きのある物体
   を検出し、その全輪郭を小部分に分割して抽出する輪郭
   抽出手段と、 前記輪郭抽出手段で抽出された輪郭を対象として設けら
   れ、それぞれ当該輪郭の特定方向の動きにのみ反応する
   複数の輪郭追跡部と、 前記複数の輪郭追跡部間において相互に当該輪郭追跡部
   の動きを拘束すると共に、前記各輪郭追跡部の位置を計
   算する輪郭追跡部管理部と、 前記輪郭追跡部管理部から得られた部分輪郭を繋げて全
   輪郭を算出する全輪郭算出部とを備え、 これにより複数の輪郭追跡部の形状とその動きから当該
   物体の輪郭形状と動きを求めることを特徴とする動物体
   抽出装置。
2. 【請求項２】 前記輪郭算出手段は、前記部分輪郭が繋
   がらない場合には、再度形状の滑らかさの拘束を加えて
   滑らかに接続することを特徴とする請求項１に記載の動
   物体抽出装置。
3. 【請求項３】 供給される画像情報から動きのある物体
   を検出し、その輪郭を抽出する輪郭抽出手段と、 前記輪郭抽出手段で抽出された輪郭を対象として設けら
   れる複数の輪郭追跡手段と、 前記複数の輪郭追跡手段で囲繞される領域内に任意の点
   を設定する任意点設定手段と、 前記任意点設定手段で設定される任意点と前記複数の輪
   郭追跡手段の各輪郭追跡手段との間に設けられ当該輪郭
   追跡手段の動きを拘束する輪郭追跡部管理部とを備え、 これにより前記輪郭追跡手段の追跡結果から、当該物体
   の輪郭形状およびその動きを求めることを特徴とする動
   物体抽出装置。