JPH10320562A

JPH10320562A - 人間の顔の検出システムおよび検出方法

Info

Publication number: JPH10320562A
Application number: JP9363370A
Authority: JP
Inventors: Mehdi Khosravi; ホスラヴィメウディ; Ara Victor Nefian; ヴィクターネフィアンアラ; Monson Henry Hayes Iii; ヘンリーヘイズザ・サードモンソン
Original assignee: NCR International Inc
Current assignee: NCR International Inc
Priority date: 1996-11-26
Filing date: 1997-11-26
Publication date: 1998-12-04
Also published as: EP0844582A3; US6184926B1; EP0844582A2

Abstract

(57)【要約】（修正有）【課題】人間の顔と眼の検出を含むビデオ画像を処理
するためのシステム。【解決手段】画像の前景内の接続された構成要素の領
域を識別するために画像のピクセルを解析するための構
成要素解析手段を含んでいる。楕円適合手段により、識
別された領域内の接続された構成要素に１以上の垂直楕
円を適合するための反復楕円適合アルゴリズムを実行
し、各楕円は可能性のある人間の顔を表している。閉塞
された人間の図形の間を識別するために、複数の可能性
のある境界のモデルが識別された領域内の個々の顔に分
離されて示される。確率計算手段は、識別された領域内
に適合された楕円に基づいて、当該モデルに対する確率
を最大にするために各モデルのパラメータが反復的に調
節され、最も高い確率を有するモデルが選択される。

Description

【発明の詳細な説明】

【０００１】本発明は、一般的には実時間での画像解析
に関し、より詳しくは、実時間のビデオ映像内の人間の
顔と眼の検出技術に関するものである。

【０００２】最近、ビデオデータからの人間の顔の検出
が一般的な研究の題目となっている。顔の検出の工業上
の用途は、顔の認識、照合、分類、識別のみならず、機
密アクセスやマルチメディアのように多岐にわたる。無
制約の状況において人間の顔を抽出するために、多くの
従来技術においては、照明の変化、ポーズの変化、他の
人による人の閉鎖、および乱雑ないし不均一な背景のよ
うな問題を取扱う困難さを克服するための努力がなされ
ている。

【０００３】１つの従来技術の顔の検出技術では、閉鎖
されない人間の正面の顔を位置決めするための実例ベー
スの学習手法が使用されている。この手法では、顔を位
置決めするために、各画像位置において、局部的な画像
およびいくつかの視点ベースの「顔」パターン原形と
「顔でない」パターン原形との間の距離を計測してい
る。他の技術では、「固有の顔」により規定される、
「顔のスペース」への距離が人間の正面の顔を位置決め
し追跡するために使用される。さらに別の従来技術で
は、人間の顔は画像内の各位置における顕著な顔の特徴
を検索することで検出される。最後に、他の技術では、
変形可能なテンプレートをベースとした手法が顔を検出
しまた顔の特徴を抽出するために使用されている。

【０００４】ビデオ画像シーケンス内の顔の検出に加え
て、従来技術のシステムにおいては人間の顔の眼を検出
する試みなされている。例えば、Ｃｈｌｌｅｐａ等によ
る、「ＨｕｍａｎａｎｄＭａｃｈｉｎｅＲｅｃｏ
ｇｎｉｔｏｎｏｆＦａｃｅｓ：ＡＳｕｒｖｅ
ｙ」、ＰｒｏｃｅｅｄｉｎｇｏｆｔｈｅＩＥＥ
Ｅ、ｖｏｌ．８３、ｎｏ．５、ｐｐ７０５−７４０、１
９９５年５月には、人間の頭部の眼を検出するための方
法が記載されており、ビデオ画像は頭部の正面の視野を
含んでいる。Ｓｔｒｉｎｇａ、「ＥｙｅｓＤｅｔｅｃ
ｔｉｏｎｆｏｒＦａｃｅＲｅｃｏｇｎｉｔｉｏ
ｎ」、ＡｐｐｌｉｅｄＡｒｔｉｆｉｃａｌＩｎｔｅ
ｌｌｉｇｅｎｃｅ、ｖｏｌ．７、ｎｏ．ｐｐ．３６５−
３８２、１９９３年１０月−１２月およびＢｒｕｎｅｌ
ｌｏ等の、「ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ：Ｆｅ
ａｔｕｒｅｓｖｅｒｓｕｓＴｅｍｐｌａｔｅｓ」、
ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｏｎＰａｔｔｅｒ
ｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅ
ｌｌｉｇｅｎｃｅ、１９９３年１０月のように、正面の
視野のための、幾何学的な計測に基づく眼の検出が広く
研究されている。さらに、Ｙｕｉｌｅｅ等の、「Ｆｅａ
ｔｕｒｅＥｘｔｒａｃｔｉｏｎｆｒｏｍＦａｃｅｓ
ＵｓｉｎｇＤｅｆｏｒｍａｂｌｅＴｅｍｐｌａｔ
ｅｓ」、ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌ
ｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ」、ｖｏｌ．
８、ｐｐ．２９９−３１１、１９９２年には、顔の特徴
検出に対する変形可能なテンプレートベースの手法が記
載されている。しかしながら、これらの方法は、プロフ
ィールないし背面を解析する際に重大な問題がある。さ
らに、正面の顔だけを処理するという基礎をなす仮定
は、実際の用途にはあまり有用ではない。

【０００５】よって、当業分野においては、迅速であ
り、信頼性が高く、また融通性が高くビデオ画像内の顔
の存在を検出でき、また同様に、眼のような、顔の種々
の特徴を抽出することができるシステムに対する必要性
がある。本発明による、１以上の人間の顔を含む前景を
表すピクセルを含んでなるビデオ画像を処理するための
システムは、画像の前景内の接続された構成要素の領域
を識別するために画像のピクセルを処理する構成要素分
析手段、識別された領域内の接続された構成要素に１以
上の反復楕円適合アルゴリズム（ｉｔｅｒａｔｉｖｅ
ｅｌｌｉｐｓｅｆｉｔｔｉｎｇａｌｇｏｒｉｓｍ）
を実行する楕円適合手段、識別された領域内において１
以上の分離した個々の顔の境界モデルを提供する楕円適
合手段、識別された領域内で適合した楕円に基づいてモ
デルの確率の計算を実行する確率計算手段（４０３）、
および確率計算を最大化するためにモデルを反復して調
節する手段を含んでなる。

【０００６】１．ビデオシステム図１は一実施の形態における本発明の全体の構造を示し
たものである。本発明のハードウェア構成は、標準的な
オフザシェルフの構成要素から構成される。システム内
の主要な構成要素は１以上のビデオカメラ１１０、１以
上のフレームブラバー（ｆｒａｍｅｇｒａｂｂｅｒ）
１２０、およびパーソナルコンピュータのような、処理
システム１３０から構成される。ＰＣ１３０およびビデ
オグラバー１２０を纏めて「ビデオプロセッサ」１４０
と称する。ビデオプロセッサ１４０は、モノクロームあ
るいはカラーである、ＲＳ−１７０、ＮＴＳＣ、ＣＣＯ
Ｒ、ＰＡＬなどのよな、標準的なビデオ信号フォーマッ
ト１１５を、カメラ１１０の１つ以上から受信する。好
ましい実施の形態において、カメラ１１０は小売営業所
あるいは他の適当な場所内のような、関係のある選択領
域を見るために据付あるいは位置される。

【０００７】ビデオ信号１１５はフレームグラバー１２
０に入力される。１つの実施の形態において、フレーム
グラバー１２０はＭａｔｒｏｘ社から入手可能なＭｅｔ
ｅｏｒＣｏｌｏｒＧｒａｂｂｅｒである。フレーム
グラバー１２０はアナログビデオ信号１１５を、メモリ
１３５内に記憶され、ビデオプロセッサ１４０により処
理されるデジタル映像信号に変換するために動作する。
例えば、１つの具体例において、フレームグラバー２０
はビデオ信号１１８を６４０×４８０（ＮＴＳＣ）ある
いは７６８×５７６（ＰＡＬ）カラー映像に変換する。
カラー映像は、一般的にはＹＵＶあるいはＹＩＯと称さ
れる３つのカラープレーンから構成される。カラープレ
ーン内の各ピクセルは、多くの用途に十分である、８ビ
ットの解像度である。当然であるが、当業者には自明の
ことであるが、他の種々のデジタル画像フォーマットお
よび解像度を同様に使用することができる。カメラ１１
０からのデジタル画像のストリームの表示はメモリ１３
５内に逐次記憶され、ビデオ画像の解析が開始される。
本発明の教示による全ての解析は処理システム１３０に
より実行されるが、他の適当な手段により実行すること
もできる。このような解析を以下により詳細に説明す
る。

【０００８】２．本発明により実行される全体のプロ
セス本発明の処理システム１３０により実行されるプロセス
の全体の流れ図を図２に示した。処理システム１３０に
より実行される最初の全体のステージ２０１は、メモリ
１３５内に記憶されている、カメラ１１０からのビデオ
画像内の１以上の人間の頭部（あるいは等化物）の検出
であり、また第２の全体のステージ２０２は検出された
人間の頭部に関連したいずれかの眼の検出である。ステ
ージ２０１−２０２の出力２３０は別の処理のために認
識および分類システム（など）にパスされる。

【０００９】ステージ２０１内で実行されるステップは
以下に示した通りである。（頭部検出ステージ２０１
の）第１のステップ２１２−２１３および２１６は、図
２においてビデオシーケンス２１１として示された、時
間においてメモリ１３５内に記憶されたビデオ映像のシ
ーケンスの前景領域内に人々のセグメンテーションであ
る。このようなセグメンテーション、背景モデリング
（ステップ２１６）、背景減算およびしきい値処理（ス
テップ２１２）および接続された構成要素の解析（ステ
ップ２１３）により実行される。図６Ａの元の画像（メ
モリ１３５などに記憶されている）のステップ２１２お
よび２１３の結果が、図６Ｂに示したような、背景画像
からの大きな派生物である接続された領域のセット（小
塊）（つまり、小塊６０１）であると仮定する。接続さ
れた構成要素６０１はまた、次いで、影、ノイズおよび
照明の変化による意味のない小塊を取り除くためにステ
ップ２１３においてフィルタ処理される。

【００１０】体が閉鎖された人の頭部を検出するため
に、モデルベースの手法が使用される（ステップ２１４
−２１５、２１７）。この手法において、前景領域内に
１人が存在する場合および前景領域内に２人が存在する
において異なる背景モデル（ステップ２１７）が使用さ
れる。ステップ２１４の出力は前景領域モデルのそれぞ
れの与えられた入力の確率である。ステップ２１５は、
ステップ２１４において計算された最大の確率を選択す
ることにより前景領域を最も良く表現するモデルを選択
する。ステップ２１５の出力例を図６Ｄに示し、ここで
は楕円が発生されている。

【００１１】ステップ２１４−２１５および２１７のシ
ステム１３０により実行される機能を図９Ａ−９Ｄに例
示した。図９Ａ−９Ｄのそれぞれは、フレームグラバー
１２０により生成されるとともにメモリ１３５内に記憶
された（図１）ビデオ画像を表している。図９Ａは一人
の人間９０１を表している前景領域の一例を表してい
る。一人の人間のモデル（ｘ_１、ｘ_２）は入力データに
合致している。図９Ｂは、２人の人間（ｘ_１、ｘ_２、ｘ
_３）としてモデル化された、同じ前景領域を表してい
る。この場合、２つの破線の楕円９１１、９１２が適合
するが頭部９１３の正しい位置を表していない。前景の
確率は各モデルに対して後述するようにして計算され、
またシステムはこの場合において前景に最も良く記載さ
れた一人の人間に対するモデルを自動的に選択する。

【００１２】図９Ｃおよび９Ｄは楕円処理された体の２
人の人間９０２、９０３の前景領域の例を示した。この
場合、本発明のシステム１３０はデータを最も良く表現
するために２人の人間のモデル（ｘ_１、ｘ_２、ｘ_３）を
選択する。前景を記述するために単一の人間のモデルが
使用されたとき、人間９０２、９０３の頭部のいずれに
も対応していない大きな破線の楕円９２１が適合され
る。与えられた入力データに対して一人の人間のモデル
である確率が、与えられた入力データが２人の人間であ
る確率よりも低いので、システムは単一の人間のモデル
を選択しない。本発明における次の全体のステージ２０
２は、変化するポーズから眼を検出することおよび正面
の視野に対応するこれらの顔の抽出である。Ｔｕｒｋ等
の、「ＦａｃｅＲｅｃｏｇｎｉｔｉｏｎＵｓｉｎｇ
Ｅｉｇｅｎｆａｃｅｓ」、Ｐｒｏｃｅｅｄｉｎｇｓ
ｏｎＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎ
ｃｅｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ１
９９１年、およびＢｒｕｎｅｌｌｉ等の、「Ｆａｃｅ
Ｒｅｃｏｇｎｉｔｉｏｎ：Ｆｅａｔｕｒｅｓｖｅｒｓｕ
ｓＴｅｍｐｌａｔｅｓ」、ＩＥＥＥＴｒａｎｓａｃ
ｔｉｏｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓ
ａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ、
ｖｏｌ．１５、ｎｏ．１０、１９９３年１０月、などの
従来技術の文献では、眼を正面の視野から検出する技術
が提案されている。正面の視野の顔の仮定は、実際の用
途には有効でない。

【００１３】本発明では、ステップ２２１−２２２にお
いて、接続された領域で顔の統計からの大きな偏差を解
析することにより、最も顕著な顔の特徴が検出される。
領域の大きさおよび人体的な計測ベースでのフィルタ処
理で眼および正面の顔を検出している。正面の視野に対
する人体的な計測をベースとして眼の検出をすることは
従来技術でも研究されている（例えば、Ｂｒｕｎｅｌｌ
ｉ等の、先の引例を参照）。しかしながら、これらの方
法はプロフィールないし顔の背後の視野の解析において
問題があった。ステップ２２３において、検出された領
域の大きさをベースとするフィルタ処理は、髪に対応す
る大きな接続された構成要素およびノイズあるいは壁の
影響により発生した大きな接続された領域を取り除くこ
とができる。ステップ２２４において、残りの構成要素
が、正面の視野に対する人間の眼の人体的な特徴を考慮
してフィルタ処理され、また他のシステムに別の処理の
ために出力２３０が再度パスされる。本発明における眼
の検出ステージ２０２を以下にさらに詳細に説明する。

【００１４】３．前景領域のセグメンテーションメモリ１３５内に記憶されたビデオ画像内における移動
する物体を抽出するために、平均値μおよび分散σでの
ガウス分布、Ｎｂ（μ、σ）によりモデル化された各ポ
イントの強度で、背景がテクスチャーとしてモデル化さ
れる。画像内のピクセルは、ｐ（Ｏ（ｘ、ｙ）｜Ｎ
_ｂ（μ、σ））≦Ｔの場合には前景として分類され、ま
たｐ（Ｏ（ｘ、ｙ）｜Ｎ_ｂ（μ、σ））＞Ｔの場合に背
景として分類される。観測値Ｏ（ｘ、ｙ）は位置（ｘ、
ｙ）におけるピクセルの強度を表し、またＴは定数であ
る（ステップ２１２）。「前景」の接続性解析（ステッ
プ２１３）は接続されたピクセルのセット、つまり隣接
あるいは接触しているピクセルのセットを発生する。ピ
クセルの上記のセットは前景領域を表現している。小さ
な前景領域は影、カメラのノイズおよび照明の変化によ
るものと仮定され、取り除かれる。

【００１５】４．前景領域モデル化システム前景領域は、頭部を検出するために、ステップ２１４−
２１５および２１７においてさらに詳細に解析される。
画像内に１つの頭部だけが存在した場合、その頭部は接
続された前景領域の各セット内の上側の領域を見出だす
ことにより検出されることが知られている。しかしなが
ら、この技術は画像内の人間が他の人間により閉鎖され
た場合には機能しない。この場合、前景は２人以上の人
間に対応しており、また各頭部に対応する領域を見出だ
すためにはより複雑な手法が必要となる。体が他の体に
閉塞されているが、頭部は閉塞されていない、部分的な
人間の閉鎖の場合には、特別の処理が実行される。

【００１６】この場合において頭部の位置を決定するた
めには、各前景内の人間の数が決定されなければならな
い。図３に示したように、ビデオ画像内の人間の数を決
定するために、Ｎの分離したモデルλ_１（３０１）（な
お、ｉは１からＮに等しい）が組み込まれ、各モデルλ
_１３０１は接続された前景領域のセット内の人間に対応
する。顔が垂直であり、また閉鎖されていないとの仮定
に基づいて、モデルλ_１に対するモデルパラメータは
（ｘ_０、ｘ_１、…ｘ_１）であり、１は人間の数であり、
ｘ_ｋ（ｋ＝１からｉ）はモデルλ_１内のｉの頭部領域を
分離する垂直な境界の水平な座標である。各前景領域内
の人間の数を決定するために使用される手法は、ステッ
プ２１５において最大尤度が達成されるモデルλ_１を選
択することである。

【００１７】

【００１８】ここで、観測Ｏ（ｘ、ｙ）は前景領域内の
座標（ｘ、ｙ）におけるピクセルの強度であり、またＰ
（Ｏ（ｘ、ｙ）λ_１）は１番目のモデル３０１に対する
尤度関数である。

【００１９】図３における確率計算ステップ３０２は、
各モデル３０１に対する尤度関数を決定する。ステップ
２１５において、前景領域内の観測Ｏ（ｘ、ｙ）は各モ
デルλ_１に対するＰ（Ｏ（ｘ、ｙ）｜λ_１）を最大化す
る最適なパラメータ（ｘ_０、ｘ_１、…ｘ_１）のセットを
見出だすため、つまり前景領域を「最良に」分割するパ
ラメータ（ｘ０、ｘ１、…ｘ１）を見出だすために使用
される。後で、モデルパラメータ３０１の各セットに対
するＰ（Ｏ（ｘ、ｙ）｜λ_１）の計算は、ｘ_ｊ−１およ
びｘ_ｊ、ｊ＝１、…、ｉにより境界付けされた長方形の
各ウインドの内側での十分な頭部検出アルゴリズムを必
要とする。

【００２０】楕円により人間の顔の裏付けを近似するこ
とは一般的である。また人間の顔の楕円のアクペクト比
は、多くの場合、画像面内の回転および奥行きの回転に
対して不変であることが決定されている。これに基づ
き、頭部のモデル３０１はセット（ｘ_０、ｙ_０、ａ、
ｂ）によりパラメータ付けされる。ここで、ｘ_０および
ｙ０は楕円の重心の座標であり、またａとｂは楕円の軸
である。セット（ｘ_０、ｙ_０、ａ、ｂ）は、図５を参照
して説明する有効楕円適合プロセスにより決定される。

【００２１】５．前景の尤度関数の計算人間の顔が垂直であり閉鎖されていないとの仮定に基づ
いて、各前景領域内のここの顔を分離する垂直な境界の
水平座標であるパラメータのセット（ｘ_０、ｘ_１、…ｘ
_１）においてモデルλ_１をパラメータ化するのが適切で
あると見なされる。パラメータのセット（ｘ_０、ｘ_１、
…ｘ_１）はＰ（Ｏ（ｘ、ｙ）｜λ_１）を最大化するため
に反復的に計算される。（Ｒａｂｉｎｅｒ等の、「Ａ
ＴｕｔｏｒｉａｌｏｎＨｉｄｄｅｎＭａｒｋｏｖ
ＭｏｄｅｌａｎｄＳｅｌｅｃｔｅｄＡｐｐｌｉ
ｃａｔｉｏｎｓｉｎＳｐｅｅｃｈＲｅｃｏｇｎｉ
ｔｉｏｎ」、Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ
ＩＥＥＥ、１９８９年２月において説明されている）陰
マルコフモデル（ＨｉｄｄｅｎＭａｒｋｏｖＭｏｄ
ｅｌ；ＨＭＭ）においては、これは、モデルのパラメー
タが観測されたデータを最も良く表現するために最適化
されるトレーニングフェーズに対応する。尤度関数Ｐ
（Ｏ（ｘ、ｙ）｜λ_１）を規定するために、頭部検出プ
ロセスのアルゴリズムについての予備的な議論が助けと
なる。本発明において、頭部は、ｘ_ｊ−１とＸ_ｊ、ｊ＝
１、…、ｉにより境界付けされた各領域内の前景領域の
上側の部分の上部の回りの楕円を適合することによる決
定される。頭部検出の問題は、楕円タイプの変形可能な
テンプレートを表現するパラメータのセット（ｘ_０、ｙ
_０、ａ、ｂ）のセットを見出だすために減じられる（図
４のステップ４０２）。パラメータｘ_０とｙ_０は楕円の
重心の座標を表現し、またａとｂは楕円の軸を表現す
る。楕円適合アルゴリズムは、図５を参照してより詳し
く説明される。

【００２２】各パラメータのセット（ｘ_０、ｙ_０、ａ、
ｂ）に対して、長方形のテンプレート（図１０のＷ）が
パラメータのセット（ｘ_０、ｙ_０、αａ、αｂ）により
規定され、ｘ_０とｙ_０は長方形の中心の座標であり、α
ａ、αｂは長方形の幅と長さであり、αは所定の定数で
ある（図１０を参照）。ｘ_ｊ−１、ｘ_ｊ、Ｒ_ｏｕｔ、ｊ
により境界付けされる各領域は、楕円のテンプレートの
外側および長方形のテンプレートの内側のピクセルのセ
ットであり、Ｒ_ｉｎ，ｊは楕円のテンプレートの内側の
ピクセルのセットである（図１０）。領域Ｒ_ｉｎ、ｊお
よびＲ_{ｏｕｔ，ｊ}は「顔」の領域内の画像および「顔で
ない」領域の画像を部分的に分類している。上記の議論
に基づいて、モデルλ_１に対する尤度関数（Ｐ（Ｏ
（ｘ、ｙ）｜λ_１）が、「顔」の領域および「顔でな
い」領域内のピクセルの全部の数において、ｘ_ｊ−１、
ｘ_ｊ（なお、ｊ＝１からｉ）により境界付けされた各領
域において、「顔」として分類された前景のピクセルの
数と「顔でない」と分類された背景のピクセルの数との
比により決定される。これは、以下の等式（２）により
表現される。

【００２３】

【００２４】

【００２５】

【００２６】ステップ３０１−３０２の目標は、パラメ
ータのセット（ｘ_０、ｘ_１、…ｘ_１）に対する尤度関数
Ｐ（Ｏ（ｘ、ｙ）｜λ_１）を計算することだけでなく、
Ｐ（Ｏ（ｘ、ｙ）｜λ_１）を最大化するパラメータのセ
ットを計算することである。モデルλ_１３０１に対する
初期のパラメータ（ｘ_０、ｘ_１、…ｘ_１）はデータを均
一に分割するために選択され、つまりｘ_ｊ−ｘ_ｊ−１＝
（ｘ_１−ｘ_０）／１（ただし、ｊ＝１からｉ）である。
図４に記載したように、パラメータ（ｘ_０、ｘ_１、…ｘ
_１）はＰ（Ｏ（ｘ、ｙ）｜λ_１）を最大化するために反
復的に調節される（ステップ４０４）。反復は、２つの
連続した反復内の尤度関数の差がしきい値よりも小さい
場合に終了する（ステップ４０５）。

【００２７】一実施の形態において、ｘ_１は、２人の人
間のモデルにおいて、モデルの推定に対して反復的に調
節されるただ１つのパラメータである。２人の人間のモ
デルに対する尤度の関数の計算は次のステップにおいて
説明する。（ブラケット）内の参照符号は図１１に例示
した同様に番号付けされたステップに対応している。［１１０１］ｘ０が前景領域の最も左側のポイントの
ｘ座標であり、ｘ_２がｘ座標の前景の最も右側のポイン
トのｘ座標であり、またｘ_１＝（ｘ_０＋ｘ_２）／２であ
るように、（ｘ_０、ｘ_１、ｘ_２）の最初の値が決定され
る。「１１０２］（ｘ_０、ｘ_１）および（ｘ_１、ｘ_２）の
各対により境界付けされた２つの垂直なスロット内で楕
円適合プロセス（図３のステップ４０２）が実行され
る。楕円適合アルゴリズムは図５を参照してより詳しく
説明する。［１１０３］見出だされた楕円に対して、次のパラメ
ータが計算される（図４のステップ４０３）。

【００２８】

【００２９】

【００３０】［１１０４］次の式にしたがってｘ_１の
値が再度推定される。

【００３１】ただし、μは２０付近の定数である。

【００３２】［１１０５］等式（２）からＰ（Ｏ｜λ
_２）を計算する。パラメータｘｌの連続した値に対する
差Ｐ（Ｏ｜λ_２）の際がしきい値より小さい場合、反復
を停止する。（ｘ_０、ｘ_１）および（ｘ_１、ｘ_２）によ
り境界付けされた各スロットにおいて実行された、楕円
適合アルゴリズムにより与えられた楕円のパラメータは
前景領域内の人間の位置および大きさを決定する。パラ
メータｘ１の連続的な値に対するＰ（Ｏ｜λ_２）の間の
差が同じしきい値よりも大きい場合、ステップ１１０２
に行く。

【００３３】６．反復楕円適合アルゴリズムステップ４０２において、ビデオ画像内の頭部はｘ
_ｊ−１、ｘ_ｊ（ｊ＝１、…、ｉ）により境界付けされた
領域の内側の前景領域の上部の回りの楕円を反復的に適
合処理することにより検出される。楕円適合アルゴリズ
ムの目的は、以下の楕円のｘ_０、ｙ_０、ａパラメータお
よびｂパラメータを見出だすことにある。

【００３４】（（ｘ−ｘ_０）／ａ）^２＋（（ｙ−ｙ_０）／ｂ）^２＝１（５）

【００３５】ステップ４０２（図４）において検出され
た小塊の回りの楕円の適合処理のための一般的な従来技
術では、Ｃｈｅｌｌａｐａ等の「Ｈｕｍａｎａｎｄ
ＭａｃｈｉｎｅＲｅｃｏｇｎｉｔｉｏｎｏｆＦａ
ｃｅｓ：ＡＳｕｒｖｅｙ」、Ｐｒｏｃｅｅｄｉｎｇｓ
ｏｆｔｈｅＩＥＥＥ、ｖｏｌ．８３、ｎｏ．５、
第７０５−７４０頁、１９９３年５月に記載された、Ｈ
ｏｕｇｈ変換を使用している。しかしながら、Ｈｏｕｇ
ｈ変換の手法は計算が複雑であり、また確実なエッジ検
出アルゴリズムが必要であるので、実時間の用途には有
効でない。

【００３６】ステップ４０２（図４）における楕円の適
合のためのより良い代替えは、４次元空間ｘ_０、ｙ_０、
ａ、ｂから１次元空間への楕円パラメータのための検索
を低減する安価な反復的な技術である。楕円のパラメー
タ空間は以下の観測に基づいて低減される。

【００３７】・反復ｋ＋１における楕円の幅は、現在の
重心位置、ｙ_０ ^（ｋ）に対応するラインにおける小塊の
最も右側の点および最も左側の点の間の距離に等しい。
つまり、

【００３８】ここで、関数ｆ１は接続された構成要素の解析から得ら
れた各物体の境界により決定される。

【００３９】・楕円の重心は人間を表す小塊のいわゆる
「垂直スケルトン」上に位置する。垂直スケルトンは小
塊の各ラインに対する最も左側の点と最も右側の点の間
の中間点を取得して計算される。反復ｋ＋１における楕
円の重心のｘ_ｎ ^{（ｋ＋１）}座標は現在の重心位置に対応
するラインｙ_０ ^（ｋ）における垂直スケルトン上に位置
決めされる。なお、ｘ_０ ^{（ｋ＋１）}はｙ_０ ^（ｋ）の関数
として一意的に決定される。

【００４０】なお、関数ｆ_２は垂直な小塊のスケルトンにより決定さ
れる関数である。

【００４１】楕円のｂパラメータ（長さ）はチンライン
（ｃｈｉｎｌｉｎｅ）を見出だす困難さのために高い
精度で得ることは一般的には非常に困難である。しかし
ながら、だえの幅に対する長さは一般的には、Ｍのよう
な、定数であると考えられる。よって、等式（６）か
ら、

【００４２】ｂ^{（ｋ＋１）}＝Ｍ・ａ^{（ｋ＋１）}＝Ｍ・ｆ_２（（ｙ_０ ^（ｋ））（８）等式（５）から、次のようになる。

【００４３】ｙ_０ ^{（ｋ＋１）}＝Ｆ（ｘ_０ ^{（ｋ＋１）}、ａ^{（ｋ＋１）}、ｂ^{（ｋ＋１）}）（９）

【００４４】等式（６）、（７）、（８）および（９）
から次のようになる。

【００４５】ｙ^{０（ｋ＋１）}＝Ｇ（ｙ_０ ^（ｋ））（１０）

【００４６】これは本発明の反復楕円適合プロセスのア
ルゴリズムを表している。等式（５）は、１つの未知の
ｙ_０で暗黙的な等式に対する楕円パラメータを見出だす
際の４次元の問題が軽減されることを示している。

【００４７】この点を留意して、楕円適合プロセスを図
５にさらに詳しく例示した。ステップ５０３において、
ｘ_ｊ−１、ｘ_ｊにより境界付けされた領域内の前景領域
のエッジおよび垂直スケルトンが抽出される。前景領域
のスケルトンの抽出後、楕円のｙ_０パラメータが反復的
に計算される。

【００４８】１つの実施の形態において、楕円の重心の
初期のｙ座標、ｙ_０ ^（０）は、アルゴリズムに対して頭
部および型から全部の体のシーケンスの全てのタイプに
対して十分実行するために（ステップ５０４）、垂直ス
ケルトン上の物体の頂上に十分接近して選択される。ｙ
_０ ^（０）の初期の値は次の式にしたがって選択される。

【００４９】ｙ_０＝ｙ_１＋０．１・（ｙ_１−ｙ_ｂ）（１１）

【００５０】なお、ｙ_１はスケルトンの最も高い点のｙ
座標であり、またｙ_ｂはスケルトンの最も低い点のｙ座
標である。初期の点ｙ_０ ^（０）を与えることで、楕円パ
ラメータを推定するために次のループで楕円適合アルゴ
リズムが繰り返される。［大括弧］内の参照数字は図１
２に例示した各ステップに引用している。

【００５１】［１２０１］小塊の左端および右端の間
の距離を計算することによりパラメータ２ａ^（ｋ）を計
算する。

【００５２】［１２０２］ｙ_０ ^（ｋ）とスケルトンの
最も高い点の間のｙ距離を計測することによりパラメー
タｂ^（ｋ）を計算する。

【００５３】［１２０３］誤差ｅ（ｋ）を計算する
（ステップ５０５において）。

【００５４】ｅ（ｋ）＝ｂ^（ｋ）−Ｍａ^（ｋ）（１２）

【００５５】要約すれば、以上説明した楕円適合アルゴ
リズムの目標はこの値を最小限とすること、つまり、条
件ｂ＝Ｍａ、Ｍ＝１．４を最良の満足する楕円を見出だ
すことである。

【００５６】［１２０４］次の等式により与えられた
線形推定値を使用して、新しい値ｙ_０ ^{（ｋ＋１）}（ステ
ップ５０６）を計算する。

【００５７】ｙ_ｎ ^{（ｋ＋１）}＝ｙ_０ ^（ｋ）＋μｅ（ｋ）（１２Ａ）

【００５８】［１２０５］２つの連続した重心の間の
距離がしきい値より小さい場合、反復を停止する。反復
が停止された場合、ｘ_０、ｙ_０、ａおよびｂは楕円の４
つのパラメータを表す。そうでない場合には、ステップ
１２０３に行く。

【００５９】上記の反復は楕円のタイプの輪郭に対する
楕円パラメータに収斂する。等式（１）に対して、ｙ_０
^（ｋ）に対応する楕円の最も右の点および最も左の点の
間の距離は次のように決定される。

【００６０】ａ^（ｋ）＝２ａ［１−（ｙ_０ ^（ｋ）−ｙ_０）／Ｍａ）^２］（１３）

【００６１】また、楕円の頂上とｙ_０ ^（ｋ）の間の距離
は次のように決定される。

【００６２】ｂ^（ｋ）＝ｙ_０＋Ｍａ−ｙ_０ ^（ｋ）（１４）

【００６３】よって、μ＝１に対して、等式（１）は次
のようになる。

【００６４】ｙ_０ ^{（ｋ＋１）}−ｙ_０＝Ｍａ−Ｍａ［１−（ｙ_０ ^（ｋ）−ｙ_０）／Ｍａ）^２］（１５）

【００６５】上記の等式から、｜ｙ_０ ^（ｋ）−ｙ_０｜＜
Ｍａであるｙ_０ ^（ｋ）に対して、次のことが証明され
る。

【００６６】｜ｙ_０ ^{（ｋ＋１）}−ｙ_０｜^２＜｜ｙ_０ ^（ｋ）−ｙ_０｜^２（１６）

【００６７】このことは、等式（１０）において規定さ
れた回帰はｙ_０に収斂することを示している。

【００６８】７．眼の検出プロセスステージ２０１から検出された楕円は、先に説明したよ
うに、潜在的に人間の顔に対するサポートの領域であ
る。これらの領域を検出した後、検出された領域のどれ
が有効な顔に対応するのかを決定するために顔に対する
より精密なモデルが必要とされる。頭部検出ステージ２
０１とともに、ステージ２０２の眼の検出プロセスの使
用により、頭部のモデルの正確さが改善され、また顔の
背後の視野に対応する領域および顔に対応しない他の領
域が取り除かれる。眼の検出の結果はまた、顔のポーズ
を推定し且つ画像のシーケンスの中の最も正面のポーズ
を含む画像を決定するために使用される。この結果は序
で、認識および分類システムにおいて使用される。

【００６９】本発明は、領域の大きさおよび幾何学的な
計測のフィルタ処理を両方に基づく眼の検出のアルゴリ
ズムを使用する。幾何学的な計測を楕円の重心の回りの
長方形のウインド（眼の帯域：図１０のＷ眼１００１）
の内側の眼を検出するために排他的に使用することは正
面でない顔の解析において問題が生じる。このような場
合には、眼の帯域の内側の髪の領域が、互いに接続され
ておらず且つ眼の領域に大きさと強度が一般的に近い、
小さい髪の領域が発生される。ポーズが変化していると
仮定して、眼の帯域の内側の領域および位置の間の幾何
学的な距離の簡単な検査ではどの領域が眼に対応するの
かを示すことはできない。よって、領域の形状に基づく
より困難な手法が考慮される。しかしながら、本発明に
おいては、ビデオ画像の多数のシーケンスに対して良好
な結果で実行される、眼と髪の領域を区別するための簡
単な方法が実施される。この手法においては、眼の領域
の内側の小さい髪の領域は、顔の上側領域の回りのより
大きなウインドにおける領域の大きさ（図１０における
Ｗ顔アップ１００２）を解析することで取り除かれる。
このウインドの内側では、髪は大きなサイズの領域に対
応している。

【００７０】図２のステージ２０２は、本発明において
使用される、眼の検出手法の各ステップを例示してい
る。ステップ２２１において、顔の領域の内側のピクセ
ルの強度がしきい値θと比較され、またθより低い強度
のピクセルは顔の領域から抽出される。ステップ２２２
において、図７Ａに示したように、抽出されたピクセル
の接続性の解析により接続されたピクセルのセット（例
えば、ピクセル７０１）、つまり隣接あるいは接触して
いるピクセルのセットが発生される。これらの接続され
たピクセル７０１のセットは顔の低い強度の領域を表し
ている。

【００７１】ステップ２２３において、ステップ２２１
−２２２から得られたピクセル領域７０１が領域の大き
さに関してフィルタ処理される。カメラのノイズあるい
は影のためにピクセルの数が小さい領域は取り除かれ
る。大きな領域は一般的には眼を表すことできないが、
その代わり、髪に対応している。このステージにおいて
選択された領域の大きさは間隔［θｍ、θＭ］内にあ
り、θｍは有効な眼の領域を表すために本システムにお
いて許容されるピクセルの最小の数であり、θＭは同じ
く最大の数である。しきい値θｍ、θＭは、頭部の領域
を特徴付ける楕円（ステップ２１５において反復的に発
生された楕円）の大きさに基づいて決定される。ステッ
プ２２３の結果は、図７Ｂに示したような、画像７０２
である。

【００７２】ステップ２２４において、図７Ｂの画像内
の残りの構成要素が、眼および楕円の重心内の中央の長
方形のウインド（眼の帯域）の内側の所望の眼の位置と
の間の幾何学的な距離のような人体的な計測に基づいて
フィルタ処理される。眼の領域は、この帯域の内側の各
領域の間の最小および最大の距離を解析することにより
決定される。ステップ２２４の出力は、図７Ｃに示した
ような、画像であり、これにより眼７０３が検出され
る。

【００７３】本発明は、カメラ１１０からの種々の異な
るビデオシーケンスに基づいて実施することができる。
図８Ａ、８Ｂおよび８Ｃは、上記の教示に基づいて、本
発明を参考の実験室環境で操作することで得られた結果
を示している。図８Ａ−８Ｄは、性能を実証するため
に、正面でないポーズ、背景に多数の閉塞する人間がい
る場合、および眼鏡をかけた顔などのような異なる条件
下で発生された４つの異なる状況から構成される。図８
Ａにおいて、楕円８１３により、単一の人間８１１の顔
８１２が検出される。この図面において、楕円８１３は
顔８１２の回りに正しく適合し、また人間８１１がその
顔８１２上に光学的な眼鏡をかけていても眼８１４が検
出されている。

【００７４】図８はビデオシーン内の単一の人間８２１
の背後の視野を示したものである。この図面において、
楕円８２３は人間８２１の頭部の回りで適合されている
が、眼が検出されておらず、本発明の眼検出のステージ
２０２の確実性が示されている。

【００７５】図８Ｃおよび図８Ｄは、シーン中に２人の
人間８３１Ａと８３１Ｂが存在する２つの状況を示して
いる。両図において、一人の人間８３１Ｂの体が他の人
間８３１Ａの体の一部を覆っている。両方の場合、楕円
８３３Ａと８３３Ｂは顔８３２Ａと８３２Ｂの回りに位
置しており、また眼８３４Ａと８３４Ｂが検出されてい
る。図８Ｄにおいて、後ろの人間８３１Ａの顔８３２Ａ
は正面でない位置である。同用意、カメラ１１０からの
距離の違いにより、２つの顔８３２Ａと８３２Ｂの大き
さは異なっている。両方の人間８３１Ａと８３１Ｂの顔
８３２Ａと８３２Ｂは検出されており、顔８３２Ａと８
３２Ｂの大きさおよび位置のようなパラメータにおける
変化に対する本システムの確実性を示している。

【００７６】以上、本発明を特定の好ましい実施の形態
に基づいて説明したが、添付の請求の範囲の範囲内にお
いて本発明を変更、改変することを行うことができる。

【図面の簡単な説明】

【図１】本発明のブロックダイヤグラムである。

【図２】本発明の動作の全体を示した流れ図である。

【図３】ビデオ画像内の人間の最可能性のモデルを決定
するためのプロセスを示した流れ図である。

【図４】図３のモデル化プロセスを示した流れ図であ
る。

【図５】ビデオ画像上で検出された人間の頭部の回りの
楕円を適合化するためのプロセスを示した流れ図であ
る。

【図６】本発明により処理されるビデオ画像の例を示し
た図である。

【図７】本発明により処理されるビデオ画像の例を示し
た図である。

【図８】本発明により処理されるビデオ画像の例を示し
た図である。

【図９】本発明により処理されるビデオ画像の例を示し
た図である。

【図１０】ビデオ画像内の顔をモデル化するために使用
される基準を示した図である。

【図１１】本発明により実行されるプロセスを示した流
れ図である。

【図１２】本発明により実行されるプロセスを示した流
れ図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者アラヴィクターネフィアンアメリカ合衆国ジョージア州 30319 アトランタブライアーウッドロード 1355、エヌ．イー．アパートメントエム・７ (72)発明者モンソンヘンリーヘイズザ・サードアメリカ合衆国ジョージア州 30068 マリエッタコングレスコート 1172

Claims

【特許請求の範囲】

【請求項１】１以上の人間の顔を含む前景を表すピク
セルを含んでなるビデオ画像を処理するためのシステム
において、画像の前景内の接続された構成要素の領域を識別するた
めに画像のピクセルを処理する構成要素分析手段（２１
２、２１３）、識別された領域内の接続された構成要素に１以上の反復
楕円適合アルゴリズムを実行する楕円適合手段（５０
３、５０４、５０５、５０６、５０７）、識別された領域内において１以上の分離した個々の顔の
境界モデルを提供する楕円適合手段（３０１）、識別された領域内で適合した楕円に基づいてモデルの確
率の計算を実行する確率計算手段（４０３）、および確
率計算を最大化するためにモデルを反復して調節する手
段（４０４、４０５）を含んでなることを特徴とするシ
ステム。