JP3242678B2

JP3242678B2 - ビデオ画像のシーケンスにおける人の顔を識別するための回路装置

Info

Publication number: JP3242678B2
Application number: JP22560291A
Authority: JP
Inventors: バディクエリック
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1990-09-05
Filing date: 1991-09-05
Publication date: 2001-12-25
Anticipated expiration: 2016-12-25
Also published as: JPH04273388A; US5570434A; DE4028191A1; EP0474304A3; EP0474304A2; DE59108393D1; EP0474304B1

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオ画像のシーケン
スにおける人の顔を識別するための回路装置を対象とす
る。この場合この回路装置は、ブロックに構造化された
連続する２つのビデオ画像の差画像を形成するための第
１の手段を備えており、ブロックの複数の画素の値の和
又はこの値の整数のべき乗の和が第１の閾値を上回わる
か否か、および、第２の閾値を上回わる値又は該値の整
数のべき乗を有するこのブロックの画素の個数が所定の
個数を上回わるか否かについて各々の差画像を検査する
ための第２の手段を備えており、差画像から、複数個の
状態ビットから成る状態画像を形成するための第３の手
段を備えており、上記の検査に肯定的な答を出した差画
像の各々のブロックに対して前記状態ビットは第１の２
進値を有し、さらに上記の検査に否定的な答を出した差
画像の各々のブロックに対して状態ビットは第１の２進
値を反転した第２の２進値を有し、第３の手段は状態画
像から妨害成分を除去するためのフィルタ手段を含む。

【０００２】

【従来の技術】前述の特性を有する装置の動作は、Ｐｉ
ｃｔｕｒｅＣｏｄｉｎｇＳｙｍｐｏｓｉｕｍ２６
〜２８、３月１９９０ｉｎＣａｍｂｒｉｄｇｅ，Ｍ
ａｓｓａｃｈｕｓｅｔｔｓ，ＵＳＡにおける論文に示さ
れている（ＥｒｉｃＢａｄｉｑｕｅ：Ｋｎｏｗｌｅｄ
ｇｅ−ｂａｓｅｄＦａｃｉａｌＡｒｅａＲｅｃｏ
ｇｎｉｔｉｏｎａｎｄＩｍｐｒｏｖｅｄＣｏｄｉ
ｎｇｉｎａＣＣＩＴＴ−Ｃｏｍｐａｔｉｂｌｅ
Ｌｏｗ−ＢｉｔｒａｔｅＶｉｄｅｏ−Ｃｏｄｅｃ．Ｐ
ｒｏｃｅｅｄｉｎｇｓｏｆＰｉｃｔｕｒｅＣｏｄ
ｉｎｇＳｙｍｐｏｓｉｕｍ９０、Ｃａｍｂｒｉｄｇ
ｅ，Ｍａｓｓａｃｈｕｓｅｔｔｓ参照のこと）。

【０００３】同等の回路装置はヨーロッパ特許第Ａ２−
０３３０４５５に示されている。この回路装置も例えば
テレビジョン電話の場合に用いられる。この種の回路装
置を低い伝送ビットレート（例えば６４Ｋビット／Ｓ）
を有するテレビジョン電話に用いるための理由は、会話
の進行中に通話者の目が、相手の通話者の主として顔を
特に目と口を追うため、この事実が、伝送ビットレート
を高めなくても画質の主観的な改善を達成するために用
いられることである。この種の改善は次の時になされ
る、即ち目の部分と口の部分が、画像の他の領域を犠牲
にして、他の部分よりも一層高い精度で−即ちより多く
のビットで−符号化される時に、なされる。しかしこの
効果の利用は、ビデオ画像のシーケンスの中に顔が存在
するか否かが前もって検出されている時にだけ、可能で
ある。

【０００４】このヨーロッパ特許Ａ２−０３３０４５５
号に示されている装置は、この目的のために、２つのビ
デオ画像のシーケンスから出発する。差画像の中に、連
続画像が動く物体を含む時に、ゼロとは異なる信号成分
だけが現われる。この引用された特許出願では差画像の
順序が、識別エラーの発生確率が大であるように、後処
理されてしまう。

【０００５】

【発明が解決しようとする問題点】本発明の課題は、連
続する画像が人の顔を含むか含まないかの判定が、従来
技術の場合よりも、著しく一層確実になされるようにし
た冒頭の回路装置を提供することである。

【０００６】

【課題を解決するための手段】この課題は冒頭に述べた
回路装置において、次の構成の組み合わせにより解決さ
れる：即ち１つの行又は１つの列の第１の２進値を有す
る状態ビットの個数をもとめるための第４の手段が設け
られており、もとめられた状態ビットの個数は特徴関数
Ｍｆ(ｋ)によって表すことができ、ここでｋは行又は列
を示し、畳み込み積分

【０００７】

【数２】

【０００８】を計算するための第５の手段が設けられて
おり、ただしｎは行又は列の個数であり、ｈ(ｋ)は補助
関数であり、補助関数は、特徴関数のサンプルが人のシ
ルエットと最も大きな類似性を有する場合に、前記畳み
込み積分が最大値をとるように選択されており、第５の
手段はさらに畳み込み積分によって形成された値がさら
に別の閾値を上回る場合に識別信号を送出するために設
けられており、第６の手段が設けられており、この第６
の手段は、各々の行内の前記第１の２進値を有する状態
ビットの重心をもとめ、もとめられた重心のアドレスの
平均値を形成することによって垂直方向の中心軸を決定
し、第１の２進値を有する状態ビットを有する第１の行
のアドレスをの最上部の点として決定し、頭の最上部の
点は列アドレスとして前記垂直方向の中心軸のアドレス
を有し、識別信号の送出の後で顔面としてビデオ画像に
面を形成するために設けられていることにより解決され
る。

【０００９】状態画像の中の顔面を検出することによ
り、人の顔が粗く識別される。しかし顔面の確実な識別
は、できるだけ高い確率で、人の頭を肩と共に示す状態
画像を求めることを前提とする。

【００１０】この確率を一層高くする目的で、局所的な
濾波作用ないし状態画像の時間的平滑化が実施される。

【００１１】同じ目的のために、さらに第２のフィルタ
手段が設けられており、このフィルタにより、状態画像
中に現われるまとまりのある領域が求められる。最大の
領域が２番目に大きい領域とたいして異ならない時は、
肩を有する人の顔の画像が存在しない確率が高い。相応
の信号によりこのケースが示される；この場合、顔を識
別するための後続の全ての動作は行われない。

【００１２】顔面の検出後に画素が検査され、これらの
画素が、状態画像の顔面を形成する全てのブロックから
成るビデオ画像の面の中へ収まるか否かが検査される。
そのためビデオ画像全体の一部の以後の検査が減少さ
れ、そのためよりコスト安になる。

【００１３】ビデオ画像のこの部分は次に複数個の領域
の中に分解される。これらの領域はビデオ画像のまとま
りのある領域−これらの画素はすべて同じクラスの画素
データに所属する−である。この種のクラス分解は例え
ば、発生した全部のグレー値を、または発生した全部の
色値を論理和的部分集合へ分割することによって達成さ
れる。はげしい動きの分解も可能となる。

【００１４】この手段の意味は、ビデオ画像の検査され
た部分内で人の口と目の識別の準備をすることである。
これに加えて、求められた領域の重心も定められる。次
にそれぞれ３つの重心（トリプレット（triplet））の
間の距離が定められ、さらにこれらの距離とトリプレッ
トの位置がモデルデータと比較される。例えば検査され
た面の縁部に存在するトリプレットは、人の目および口
に対応できない；トリプレットの間隔比が１とは著しく
異なるトリプレットも同じである。トリプレットに対し
て検査に合格すると、複数個の尺度による重み付けが次
のように行われる。即ちこのトリプレットが垂直中心軸
線に対してどのように存在するか（幾何学的尺度）、又
は、どのような色値をこれらの領域およびそれらの周囲
が有するか（色による尺度）、又は、どのような運動の
強度（ダイナミックな尺度）がそれらに所属するかによ
って、重み付けがなされる。

【００１５】２つの連続する、最高の重み付けの所定の
トリプレットが所定の許容偏差限度内で一致すると、人
の顔の存在が著しく高い確実性で結論される。次にモデ
ルデータにしたがって、顔に所属しうる全ての画素が定
められ、さらにこの全ての画素が−テレビジョン電話に
おける使用の場合は、顔の外側の全部の点よりも一層正
確に符号化される。

【００１６】次の本発明の実施例を図面を用いて詳細に
説明する。

【００１７】

【実施例】図１の基本図において回路の線路１ａにおい
てカメラのビデオ信号が導びかれて、さらにユニット
Ｉ、すなわち第１の手段により、それぞれ８×８＝６４
の画素から成るブロックへ構造化される。これらの画素
は、輝度データＹと色データＵ，Ｖから成る。画像全体
は２８８の行と３５２の列とを有する、即ち１０１３７
６個の画素を有する。この場合、色データは１つおきの
画素に対してだけ設けられている。８×８ブロックへの
構造化の場合、全部で３６×４４＝１５８４ブロックが
形成される。ビデオ画像におけるそれらの幾何学的位置
はアドレスのデータにより一義的に示されている。同様
のことが画素に対して当てはまる。そのためアドレスは
座標データと同等である。ブロック、画素量または特別
の画素（例えば後述の“重心”）の後述のマーキング、
識別または選択の際に、常に意図されていることは、こ
れらの過程がこれらの量のアドレスへの付加データによ
り実施されることである。この場合これらの付加データ
はこの共通に−大抵は明示されていない−メモリの中に
格納される。クロック制御されるユニット、クロックパ
ルス線路およびその他の線路も明示されていない、何故
ならば当業者はそれらの必要性を簡単に理解して補なう
ことができるからである。

【００１８】ユニットＩは−図２に正確に示されている
様に−さらに遅延素子１、画像メモリ３および減算器２
を用いて、２つの連続するビデオ画像のシーケンスの画
素データの差−以下、簡単に差画像と称する−を形成す
る。ブロックへの構造化はブロックアドレス発生器７に
より実施され、さらに１つのブロックの画素のアドレス
指定は、ブロックアドレス発生器７と結合されている画
素アドレス発生器６により実施される。そのためアドレ
ス発生器６と７により差画像はブロック毎にかつ画素毎
に応働可能である。

【００１９】ユニットＩＩＡ、すなわち第２の手段はま
ず最初に、２つの連続するビデオ画像のシーケンスの１
つのブロックの全部の画素のデータ差の値を形成する。
この値はこの実施例の場合、差画像の“画素のノルム”
である；他のノルムは例えば前記の値の整数のべき乗と
することもできる。これらの値は加算され、この場合、
この和は１つのブロックの全部の画素にわたり求めら
れ、さらにこの和の値は第１の閾値Ｔ１と比較される。
詳細が図２に、部分ＩＩＡに示されている。ユニット４
は画素の前記の値を加算し、ユニット５はこの加算値と
閾値Ｔ１とを比較して、この加算値が閾値Ｔ１を上回わ
ると２進数１を送出する。この実施例において閾値Ｔ１
は値１０を有する。この閾値は使用されるカメラの機種
に依存し−他の全部の閾値の様に−、個々の場合に最適
化されている装置全体のパラメータである。この実施例
の場合は市販のＣＣＤカメラが用いられた。

【００２０】上位のユニットＩＩＡのユニット１０は１
つのブロックの画素の値を形成して、この値を直ちに、
値が４である第２の閾値Ｔ２と比較する。この画素の値
が閾値Ｔ２を上回わると、計数器１１がユニット１０の
１つのパルスにより歩進される。この計数器の状態は比
較ユニット１２へ導びかれる。このユニットは計数器１
１が状態４０を上回わる時に同じく２進数１を送出す
る。閾値の値はユニット５，１０および１２へ線路５
ａ，１０ａおよび１２ａを介して導びかれる。

【００２１】ユニット５と１２の出力信号はアンドゲー
ト８により結合されその出力信号が、図１ないし図２の
上位のユニットＩＩＢ、すなわち第３の手段のマッピン
グユニット９へ転送される。

【００２２】このユニット９は差画像の１５８４個のブ
ロックを個々のビット−以下では状態ビットと称する−
へマッピングする、即ちアンドゲート８の出力信号が２
進数１である時に、１つのブロックのアドレスの下にユ
ニット９において２進数１（第１の２進値）が記憶され
る。それ以外の場合は２進数０（第２の２進値）が記憶
される。状態ビットは線路９ａにおいて転送される。

【００２３】１つの差画像のブロックの状態ビットの全
体を以下で状態画像と称する。状態画像中の１の分布か
ら検出されることは、２つの連続するビデオ画像のシー
ケンスのどの位置に有効な変化が現われているかという
ことである（この種の位置はブロックアドレスのデータ
により１つのブロックサイズの精度で検出される）。こ
の種の変化の原因は、カメラにより撮像されるシーン中
の運動する被写体、ノイズまたは突然変化した光の状態
である。しかしこの場合、人の顔が又はまず頭・肩シー
ンがサーチされるべきなので、頭と肩の運動に基因しな
い変化は重要ではない。これらの変化はフィルタにより
できるだけ状態画像から除去される。これらのフィルタ
は図１におけるユニットＩＩＢの部材である。これらの
フィルタの作用は、状態画像の選択された状態ビットを
所定の尺度により反転することである。

【００２４】図３は面フィルタ、すなわち第１のフィル
タ手段を示す。このフィルタにより状態画像中の複数個
の１が、これらが不十分な大きさの面部分を形成する時
は、反転により消去される。ユニットＩＩＢの出力線路
９ａを介してユニット１７の状態ビットが、線路９ａと
接続されている線路１７ａへ導びかれる。状態ビット−
このビットへブロックがマッピングされている−のアド
レスと同一のブロックアドレスが、アドレス発生器１３
から発生される。次に、ユニット１７が、そのメモリの
中に記憶されている状態ビットが値１を有するか否か
を、検査する。この試問が瞬時の状態ビットにおいてイ
エスであると、ユニット１４は、この瞬時の状態ビット
に隣り合う８つの状態ビットのアドレスを発生して、こ
れをユニット１８へ転送する。それにもとづいてユニッ
ト１８は所属の状態ビットをユニット１７から受け取
り、ユニット１９へ導びく。ユニット１９はこの状態ビ
ットの値を値１（この値は線路１７ｂに加わっている）
と比較して、イエスの場合にユニット１９とユニット１
５との間の線路を介して、ユニット１５の計数器を１計
数単位だけ歩進する。次にユニット１５は１つのパルス
をユニット１４へ次の隣りのアドレスの発生の目的で送
出する。第１の状態ビットに隣り合う全部の状態ビット
の値の次の試問の後に、ユニット１５の計数器の状態が
３よりも大きくないと、比較器１６が信号を可制御の反
転器２０へ送出する。この反転器はユニット１７におけ
る瞬時の状態ビットを反転する。その他の全てのケース
においては、ビットは反転されずに転送される。値３を
有する整数の閾値が比較器１６へ線路１６ａを介して導
びかれる。状態画像全体の処理の後に、状態ビットが線
路１７ｃにおいて転送される。

【００２５】状態画像の別の濾波が図４の平滑化装置に
より行なわれる。何故ならば出力線路１７ｃが入力線路
２１ａと接続されているからである。平滑化装置は、第
１の状態画像メモリ２５ならびにこれに後置接続されて
いる第２の状態画像メモリ２７から構成されている。

【００２６】両方の状態画像メモリ２５と２７は、ブロ
ックアドレス発生器２４により制御される。この発生器
により両方のメモリから２つの連続する状態画像の同じ
アドレスを有する状態ビットが読み出される。メモリ２
５から読み出された状態ビットはオアゲート２１の入力
側へ導びかれ、メモリ２７から読み出された状態ビット
はオアゲート２２の入力側へ導びかれる。遅延されない
状態ビットはゲート２１の第２の入力側へ加えられる。
このゲートの出力側はゲート２２の第２の入力側と接続
されている。前述の様に時間的に平滑化された状態画像
の状態ビットは出力線路２２ａにおいて転送される。

【００２７】オアゲート２１と２２により３つの連続す
る状態画像の互いに相応する状態ビット（即ち同じアド
レスを有する状態ビット）が論理和により論理的に結合
される。この論理和により統計的な変動が１の一様な分
布の目的で除去される。この統計的な変動は、連続する
状態画像における０と１の異なる分布において目立つ。

【００２８】状態画像の別の濾波が図５に示されている
濾波回路、即ち第２のフィルタ手段により行なわれる。
この回路は、１つの状態画像において現われる１のまと
まりのある領域を計数してそのサイズを求める。各々の
領域には以後の識別のためにマーキング数字が割り当て
られることになる。２つより多くのこのような領域が存
在する場合、それらのサイズの比が検査される。２番目
に大きい領域が１番大きい領域のサイズの２０％を越え
る値を有すると、状態画像は、図１０の実施例に示され
ている様なシルエットを含むことはあり得りないとみな
される。そのため、接続されている（図示されていな
い）符号器が、以下は標準符号化を用いるというメッセ
ージを受け取る。

【００２９】図５は詳細にマーキングレジスタ３０を示
し、この中で、発生器４０から発生された状態アドレス
の下に領域マーキングが記憶される。即ち各々のアドレ
スの下に、分析の経過中に、１つの状態画像の１つの画
素が所属する領域の番号（１から始まる）を示す数字が
記憶される。状態画像の分析のはじめにマーキングレジ
スタ３０の全部のメモリ位置は値０に書き換えられる。
線路２２ａと接続されている線路３２ａを介して、状態
ビット−そのアドレスを発生器４０が発生する−が２つ
の比較回路３２と４１へ導びかれる。比較回路４１は、
状態ビットが１か否かを検査し、比較回路３２は所属の
位置（アドレス）がまだマーキングされていなかったか
否かを検査する。状態ビットが１でありかつ前記の位置
がまだマーキングされていなかった場合は、両方の回路
はそれらの出力側に１を送出する。これらの出力側は、
アンドゲート３３により結合される。ゲート３３の出力
側はユニット３４と接続されている。ユニット３４はユ
ニット３１から（ユニット４０からちょうど発生された
ばかりの）瞬時のアドレスをならびにそれらの全ての隣
り合うアドレスを受け取る。

【００３０】アンドゲート３３の出力信号が１である場
合、ユニット３４は、図５に示されていない状態メモリ
から全状態ビット−それらのアドレスをユニット３４は
ユニット３１から入力された−を読み出す。次に所属の
状態ビットは比較器３５へ導びかれる。この比較器の一
方の入力側はアンドゲート３３の出力側と接続されてい
る。比較器はこれらの状態ビットの値を瞬時の状態ビッ
トの値と比較する。

【００３１】ユニット３１から発生されたアドレスもマ
ーキングレジスタへ導びかれる。これらのアドレスに所
属する状態ビットのうちの１つが値１を有し、そのため
比較器３５の出力信号が１になると、このアドレスの下
に、マーキング発生器２８が発生する領域マーキングが
格納される。

【００３２】瞬時の状態ビットに隣り合いかつまだマー
キングされない全ての状態ビットが値０を有すると、比
較器３５は信号をマーキング発生器２８へ送出する。そ
れにもとづいてこのマーキング発生器２８は領域マーキ
ングを１単位だけ増分する。何故ならば、この場合、こ
れまで検出された領域に所属する状態ビットがもはや存
在しないからである。

【００３３】比較器３５に結合されている計数器３６
が、ちょうどいま検出された領域に所属する１を計数す
る。１つの領域へ所属する１の全部の個数（この領域の
サイズ）が、マーキング発生器２８から供給される領域
マーキングと共に、メモリ３７の中に記憶され、線路３
７ａを介して後続のユニットへ供給される。状態画像の
全部の画素が１度検出されると、ユニット３８は求めら
れた領域をそれらのサイズに応じて配列する。後置接続
されている比較器３９は、２番目に大きい領域が最大の
領域のサイズの０.２倍よりも大きいか否かを検査す
る。イエスの場合は信号が線路３９ａを介して図示され
ていない符号器へ送出される。この場合この符号器は標
準符号化を実施する。試問の答がノーの場合には、最大
の領域のマーキング数字が線路３９ｂを介して補正回路
２９へ与えられる。この補正回路２９はマーキングレジ
スタ３０の内容を読み出して、最大の領域のマーキング
と一致するマーキングを１により置き換え、その他の全
部をマーキングを０で置き換える。このようにして濾波
された状態画像はビット毎に線路２９ａを介して、後置
接続されているユニットへ以後の処理ために転送され
る。

【００３４】顔が推定できるほどに妨害成分が実質的に
除去された状態画像の形成後に、この画像は図１のユニ
ットＩＩＣ、すなわち第４の手段により１次元の特徴関
数へ変換される。この実施例においては値１を有する状
態ビットの個数が各々の行内で求められる。この個数
は、第１（いちばん上の）の行からはじめて３６番目
（いちばん下の）の行までの行番号の関数として、特徴
関数Ｍｆ（ｋ）である。ｋ＝１，２…３６である。この
関数を求めるために、図６においてＩＩＣで囲まれたユ
ニットが用いられる。行アドレス（行番号）は発生器４
２により発生される。１行内の状態ビットの位置を示す
列アドレスは、発生器４７により発生される。ユニット
４３へは線路４３ｂを介して２進数１が比較のために導
びかれる。ユニット４３は、線路２９ａと接続されてい
る線路４３ａを介して、発生器４２および４７により発
生される全アドレスに所属する状態ビットを受け取る。
ユニット４３は１つの行の状態ビットの到着を線路４３
ｂにより導びかれた２進値１と比較し、一致した場合に
は計数パルスを後置接続されている計数器４４へ転送す
る。行の終りに計数器の状態が行アドレスの下に関数メ
モリ４５の中に記憶される。このメモリ内容の全体は特
徴関数を表わす。この特徴関数は線路４５ａを介して転
送される。

【００３５】図１に示されたユニットＩＩＥは、１つの
行の１の重心をまたは平均点を求める。即ち１つの行の
全アドレス−このアドレスにより状態画像の中に２進数
１が記憶されている−の算術平均の形成後に得られるア
ドレスを求める。このデータは以後に図１０のシルエッ
トの（対称軸に近似した）中心軸を求めるために、さら
に、頭の最上部の点を求めるために必要とされる。

【００３６】即ち、２進数１を含まない全ての行の重心
決定の際に、重心にアドレス０が配属されると、頭部の
最上部の点が０とは異なるアドレスを有する最上部の重
心として形成される。

【００３７】全アドレスの下に２進数１が記憶されてい
ることをユニット４３の出力側が示す時に、発生器４７
の列アドレスがユニット４８に読み込まれる。ユニット
４８は読み込まれた全部のアドレスの和を形成して、こ
の和をユニット４９へ転送する。このユニットは被加数
の個数を計数器４４から受け取り、これら両方の数値か
ら平均のアドレス−この場合は１つの行の重心−を形成
する。重心アドレスはユニット５０において合計され
て、さらにユニット５１によってこのユニット５１が線
路５１ａを介して受け取る被加数の個数により除算され
る。この結果は、状態画像を垂直に経過する求めるべき
中心軸の水平方向アドレスである。よって、この水平方
向アドレスのデータ（座標）は中心軸を一義的に特徴づ
ける。このデータは線路５１ｂを介して転送される。

【００３８】頭の最上部の点の座標−上で形成されたデ
ータと同値である−は特徴関数から導出される。この点
の水平方向アドレスは中心軸の水平方向アドレスと同じ
であり、その垂直方向アドレスは第１の行アドレスであ
り、この行アドレスからはなれると特徴関数が０とは異
なる値を取る。このアドレスは、線路４６ａを介して比
較器の０が供給されるユニット４６によって定められ
る。この結果は線路４６ｂを介して転送される。

【００３９】線路４５ａおよび線路５２ａを介して伝送
される特徴関数から場合によっては存在するノイズピー
クがメディアンフィルタ５２により除去される。このメ
ディアンフィルタは、その都度連続する３つの値の中の
第２の関数値を、これら３つ全ての関数値のうちの最小
値と最大値の間に存在する値によって置き換える。

【００４０】図１のユニットＩＩＤ、即ち第５の手段に
より特徴関数が正規化されて、さらに補助関数ｈにより
畳み込まれる。即ち、この畳み込み積分に比例する和が
形成される。補助関数ｈは次のように“トレーニングさ
れている”、すなわち最適化されている。

【００４１】

【数３】

【００４２】即ち、特徴関数のここで詳細には説明され
ないサンプルによるこの畳み込み積分の値が値１を取
り、所定の他のサンプルの場合にはこの畳み込み積分の
値が値−１を取るように、この補助関数ｈは“トレーニ
ングされている”、すなわち最適化されている。図１０
に示されているシルエットと最小の類似性を有するサン
プルの場合には、この畳み込み積分は値−１を取る。そ
して、この類似性が最大である時には、この畳み込み積
分は値１を取る。

【００４３】図７に関数ブロックＩＩＤが一層正確に示
されている。ユニット５３は特徴関数を正規化する、即
ちこの実施例においては全部の値をその最大値で除算す
る。その結果、正規化された関数の値は０と１の間に存
在する。後置接続されているユニット５４は、式（１）
の中に示された和を形成する。この場合、ユニット５４
の補助関数ｈの値は線路５４ａを介して供給される。比
較器５５はこの和値を線路５５ａから供給される閾値と
比較する。この閾値は０.７５にすると有利である。こ
の和の値が０.７５よりも小さい時は、この分析は中止
される。それ以外の場合は比較器５５は信号をユニット
５７へ送出する。このユニット５７はその入力信号を用
いて長方形の領域（顔面）−この領域の中に顔が収容で
きる−のアドレスを算出する。ユニット５７の入力信号
にはユニット５６の出力信号が所属している。ユニット
５６は、マーキングするべき長方形のサイズを決定す
る。８×８のブロックを基礎にして、次の３つの長方形
サイズで十分である：８×１２、１２×１８および１６
×２４。これらの数値はアドレス差を、即ち８×８ブロ
ックの辺の長さを単位とする区間を意味する。ユニット
５７は、ビデオ画像における顔面に相応する面のアドレ
スを算出する。

【００４４】これらの３つのサイズからユニット５６は
１つのサイズを選択する。この場合、補助手段として、
線路３７ａおよび線路５６ａを介して導びかれる出力信
号がユニット５７へ供給される。これらの３つのサイズ
はユニット５６へ線路５６ｂを介して導びかれる。ユニ
ット５７の別の入力側へユニット５８の出力信号が所属
する。ユニット５８は線路５８ａを介して頭のいちばん
上の点の垂直座標を入力され、線路５８ｂを介して垂直
の中心軸の座標を入力される。線路５８ａは線路４６ｂ
と接続されており、他方、線路５８ｂは線路５１ｂと接
続されている。ユニット５８は、これらの両方のデータ
及び長方形のサイズに関するデータを用いて、この長方
形の左の上の隅の座標を算出し、この座標をユニット５
７へ転送する。これにより人の顔の粗検出が終了する。
この長方形の点の座標は微検出のために線路５７ａを介
して図１のユニットＩＩＧへ転送される。

【００４５】ユニットＩＩＧ、すなわち第７の手段によ
りビデオ画像（図１の入力線路Ｉａに加わっているよう
なもとのビデオ画像）の一部−顔面に相応する−が、連
続的にナンバリングされた複数の領域に分解される。こ
れらの領域−数学的に表現すると明らかにまとまりのあ
る画素の集合−は、画素データのどのクラスの中に画素
が当てはまるかを画素ごとに検査することにより、求め
られる。輝度値Ｙと色値Ｕ，Ｖから成る画素データは、
次の動作によりクラスへ分解される。即ちベクトル
（Ｙ，Ｕ，Ｖ）の３次元空間が論理和画素の集合へ例え
ば立方体へ分解され、さらに、そのベクトル（Ｙ，Ｕ，
Ｖ）がこれらの立方体のうちの１つの所定の立方体に当
てはまる全ての画素が同じクラスに所属することによ
り、分解される。クラス１に所属するいちばん上の左の
画素から始められる。次にそれの隣りの画素が、この画
素もクラス１に所属するか否かを試問されて、このクラ
スに所属する明らかにまとまりのある全ての画素の集合
が得られるまで、この試問がなされる。次に第２のクラ
スに所属する画素が詳細に検査される。この画素に対し
ても第１の画素に対する様に動作が経過する。その詳細
を図８を用いて説明する。図８においてユニット７４は
画素データＹ，Ｕ，Ｖをベクトルへまとめる。輝度信号
Ｙは前もってユニット７４により、全部の３つのデータ
が単一のクロックパルスへ適合されるように、サブサン
プリングされている。インデックスメモリ６０−この中
でビデオ画像の、同じ領域へ所属する全部の点は同じイ
ンデックスを有している−は、画像の分析の開始の前に
０へセットされる。瞬時の画素のアドレスはアドレス発
生器６１により発生されて、相応のインデックス（はじ
めは０）が比較器６６により０と比較される。この比較
の０は線路６６ａを介して比較器６６へ供給される。画
素がまだインデックスを得ていないと、読み出されたイ
ンデックスはまだ０であり、この画素は画像面の顔面に
相応する部分へ所属する。この場合、比較器６６の出力
信号がゲート６７を開き、これにもとづいてユニット７
４から送出された瞬時の画素の色ベクトル（Ｙ，Ｕ，
Ｖ）がユニット６８と６９へ転送される。顔面に相応す
る面のアドレスをユニット６６は、線路５７ａと接続さ
れている線路６６ｂを介して得る。ユニット６８へも、
この画素に対して８つの隣り合う画素の複数個のアドレ
スが伝送される。ユニット６８はこれにもとづいて所属
の色ベクトルを形成する。瞬時の画素とこれに隣り合う
画素との間の色ベクトルの差は、ユニット６９により形
成される。差とは差ベクトルの２乗のことである。しか
し、この場合、このベクトルの個々の成分はさらに重み
付けされる。用いられる重みは、Ｙ成分に対しては０.
２であり、他の２つの成分に対しては１である。この重
み付けにより、ビデオ画像を領域へ分解する際に影の影
響が低減される。

【００４６】ユニット６９により形成された差は次にユ
ニット７０により、ユニット７０に線路７０ａを介して
供給される閾値Ｔと比較される。そのため、ユニット７
０は、瞬時の画素の周囲がこの画素自体と同じ領域へま
だ所属するか否かを判定する。後置接続されている計数
器７１は、１つの領域へ所属する画素の個数を計数し、
これによりこの領域のサイズを送出する。このサイズは
メモリ７２の中に、この領域の番号（インデックス）と
結合されて記憶される。この番号は計数器５９から同じ
くメモリ７２へ導びかれる。線路７２ａを介して領域の
サイズが転送される。計数器５９は領域をすべて計数す
る。計数器５９は、比較器７０が１つのパルスにより、
瞬時の画素に隣接する画素がもはや同じ領域へ所属しな
いことを、通報する。瞬時の画素と同じ領域へ所属する
隣接する画素が見出された時には、その領域番号（イン
デックス）が計数器５９からメモリ６０の中にそのアド
レスの下に記憶される。このアドレスはユニット６２か
ら同様にメモリ６０へも伝送される。

【００４７】ユニット６２から発生されるアドレスは、
この領域の重心を算出する目的で、ユニット６３におい
て加算される。１つの領域のアドレスの和は除算器６４
によりこの領域の画素の個数により除算される。除算器
６４は画素の個数をユニット７１から得る。次にこの重
心はメモリ６５において相応の領域番号（インデック
ス）と共に以後の使用の目的で記憶される。重心データ
は線路６５ａを介して別の処理のために自由に供給され
うる。各々の画素が１回検出されると、メモリ６０にお
いて領域への全画素の分解がおこなわれ、これらの領域
の番号が線路６０ａへ供給される。

【００４８】領域への分解の結果は、即ち領域のサイ
ズ、領域の重心および、ナンバリングされた領域への画
素の割り当ては、後置接続されたユニットＩＩＨ、すな
わち第８の手段によりさらに処理される。このユニット
ＩＩＨにより、人の顔の両目と口に相応する３つの領域
を求める試行がなされる。上述の様に、この試行は、粗
検出により定められた顔面内の領域に制限されている。

【００４９】顔面へ所属する重心はトリプレットへまと
められて次に、これらのトリプレットがこれらの幾何学
的位置に基づいて人の顔の両目と口に相応しうるか否か
が、検査される。この検査は人の顔の両目と口との幾何
学的な比を用いる。例えばトリプレットの結線の長さの
比が決定されて、次のこの長さの比が顔の目と口のモデ
ルデータと一致するか否かが検査される。最後に検査さ
れることは、トリプレットの全部の３つの点の座標と前
もって決定された中心軸との関係が求められる。推定上
の両目が同じ水平方向のアドレスを有していないと思わ
れるトリプレットは、人の両目ではありえない。最後に
ユニットＩＩＨにより、両方の目のあるべき領域の色の
差が大きすぎないか、従ってこれらの領域が人の両目に
相応し得ないかどうかが、検査される。さらに両目と口
に所属すべき領域が他の領域よりも動いたか否かが検査
される。最後に全部のこれらの特性に重み付け係数が付
与されて、さらにこれまで求められた全部のトリプレッ
トから、全ての重み付けの最適領域に存在するトリプレ
ットが選択される。

【００５０】比較ユニット７５へメモリ７２に記憶され
ていた領域サイズが、線路７２ａと接続されている線路
７５ａを介して、供給される。この比較ユニットはこれ
らのサイズを、このユニットへ線路７５ｂ及び７５ｃを
介して導びかれる下側閾値および上側閾値と比較する。
この比較ユニットにより、メモリ７２に記憶されている
領域サイズが人の両目と口の領域に相応しうるか否かが
検査される。これらの両方の閾値の間に存在する領域
は、人の両目にまたは口に所属することができる。閾値
のための代表的な値は、下側閾値に対しては５であり、
上側閾値に対しては３０である。比較器７５により開か
れるゲート７６は、領域のサイズが両方の閾値の間に存
在すると、直ちにこの領域の重心座標を、線路７６ａを
介して比較器７７へ転送する。線路７６ａは線路６５ａ
と接続されている。比較器７７は、この重心座標が前も
って決定された顔面の内部に存在するか否かを検査す
る。この前もって決定された顔面の特徴データは線路７
７ａを介して供給される。線路７７ａは線路５７ａと接
続されている。これらの面の内部に存在するこの種の領
域だけが後続処理される。ユニット７８は、この面の内
部に存在する全部の重心座標を、人の顔の両目と口に相
応すると思われるきちんとしたトリプレットへまとめ
る。これらのトリプレットの各々は比較器７９により、
メモリ８０に記憶されているモデルデータと比較され
る。これらのモデルデータは人の顔に関する周知の知識
からおよび状態画像の分析から得られたパラメータから
得られる。分析データはユニット８０へ線路５７ａと接
続されている線路８０ａを介して供給される。モデルパ
ラメータは、両目の間の距離、目と口との間の距離Ｄ_４
およびＤ_５、目の間の垂直間隔Ｄ_２、両目の間の水平方
向間隔Ｄ_１および、色領域と垂直方向軸との間の距離を
含む（図１０を参照のこと）。採用されたトリプレット
は次にユニット８５〜９３へ転送される。これらのユニ
ットは以下で示される特性との比較に応じてこれらのト
リプレットの各々に重み付け係数を付与する。

【００５１】ユニット８５はトリプレットの重心および
中心軸とこの重心との間の間隔を算出して記憶する。中
心軸のデータはユニット８５へ、線路５１ｂと接続され
ている線路８５ａを介して導びかれる。ユニット８７
は、１つのトリプレットに所属する領域の面の内部の差
画像の全エネルギーを算出する。この差画像はユニット
８３の中で形成されて記憶される。このために、このユ
ニットには線路８１ａを介して瞬時のビデオ画像と、メ
モリ８１の中に記憶された１つ前の画像とが供給され
る。エネルギ算出は顔面の内部においてだけ行なわれ
る。この顔面の境界データは線路８３ａを介してユニッ
ト８３へ導びかれる。線路８３ａは線路５７ａと接続さ
れている。分析は、両目と口が、顔の多くかつ迅速に動
く領域であるという事実を基礎としている。ユニット８
９は、採用されたトリプレットの点の周囲における対称
関係に関する情報を形成する。この周囲はユニット８４
へ線路８１ａを介して導びかれる。このユニット８４
は、想定された目の重心または想定された口の重心を中
心とする長方形を形成し、この領域が水平対称軸に対し
てどの程度に鏡対称であるかを、検査する。この対称の
尺度は、分散で除算された、もとの点と軸において鏡像
化された点との間の全データの差の和をである。高い対
称性構造を有する目および口のような領域は、対称でな
い領域または構造を持たない領域と比較すると、わずか
な対称値（シンメトリ値）しか有していない。ユニット
８４により算出されるこの対称尺度は、瞬時のトリプレ
ットのための重み付け係数を算出するためにユニット８
９において用いられる。ユニット９１は、目の領域の色
値の間の類似性を再現する重み付け係数を算出する。ユ
ニット９１には、メモリ６０に記憶されている目の領域
の色値が、線路６０ａと接続されている線路９１ａを介
して伝送される。両目に相応すべき領域が同じ色を有す
る場合のトリプレットだけが最大の重み付けを得る。

【００５２】ユニット９３は重み付け係数を発生し、こ
の重み付け係数によって両目と口の色付けされた周囲が
重み付けされる。この周囲の色はユニット９３へ同じく
メモリ６０から供給される。両目および口になるはずの
トリプレットは、同じ色の周囲を有するべきである。周
囲の色の差が小さければ小さいほど、それだけ重み付け
係数−これによりトリプレットがユニット９３により重
み付けされる−がますます大きくなる。

【００５３】ユニット８５，８７，８９，９１および９
３に記憶されているそれまでに採用された全てのトリプ
レットの重み付け係数は正規化ユニット８６，８８，９
０，９２および９４へ伝送されて、これらの重み付け係
数の値が０と１との間に存在するように正規化される。
これらの値は、ユニット９５により互いに乗算される。
ユニット９６は記憶されている値から、これらの値が最
大値を取る場合のトリプレットを決定する。ユニット９
６は所属の座標を記憶し、これらを図１においてＩＩＩ
で示されたユニットへ転送する。ユニットＩＩＩは図９
に一層正確に示されている。ユニット９７において、相
続いて検出された２つの最適なトリプレットが、ユニッ
ト９７へ線路９１ａを介して供給される所定の許容偏差
限度内に有るか否かが、検査される。イエスの場合に
は、データがユニット９８へ転送される。ユニット９８
は、このデータ及び線路９８ａを介してこのユニットへ
供給されたモデルデータを用いて、人の顔に所属しうる
画像の画素を決定する。これらの画素の座標は線路９８
ｂを介してここには図示されていない符号器へ転送され
る。上述の様にして、ビデオ画像の品質向上された面−
この面の中に著しく大きい確率で人の顔が存在する−が
決定される。

【図面の簡単な説明】

【図１】本発明の構成を有する装置の基本図である。

【図２】いわゆる状態画像を決定するための、装置全体
の一部のブロック図である。

【図３】状態画像を濾波するためのフィルターのブロッ
ク図である。

【図４】状態画像を濾波するためのフィルタのブロック
図である。

【図５】状態画像を濾波するためのフィルタのブロック
図である。

【図６】いわゆる特徴関数を決定するための、かつ状態
画像の中にマッピングされた被写体の中心軸を決定する
ための、装置全体の一部のブロック図である。

【図７】特徴関数を畳み込むための、かつ状態画像中に
想定される顔の領域の中に、長方形の顔面を配置するた
めの、装置全体の一部のブロック図である。

【図８】異なる色値を有する領域の中にカラービデオ信
号を分解するための、装置全体の一部のブロック図であ
る。

【図９】人の目と口の領域の探すための、装置全体の一
部のブロック図である。

【図１０】目と口の間の幾何学的な状態を説明するため
の人のシルエット図である。

【符号の説明】

１遅延素子２減算器３画像メモリ４，５ユニット６画素アドレス発生器７ブロックアドレス発生器８アンドゲート９マッピングユニット１０ユニット１１計数器１２ユニット１３アドレス発生器１４，４５ユニット１６比較器１７，１８，１９ユニット２０反転器２１，２２オアゲート２４アドレス発生器２５，２７メモリ３０マーキングレジスタ３１ユニット３２比較回路３３アンドゲート３４ユニット３５比較器３６計数器３７メモリ３８ユニット３９比較器４０発生器４１比較回路４２，４７発生器４３ユニット４４計数器４５関数メモリ４６ユニット４８，４９，５０，５１ユニット５２メディアンフィルタ５３，５４ユニット５５比較器５６，５７ユニット６０インデックスメモリ６１アドレス発生器６６比較器６７ゲート６８，６９，７０ユニット７１計数器７２メモリ７５比較器７６ゲート７７，７９，８０比較器８５〜９３ユニット

───────────────────────────────────────────────────── フロントページの続き (73)特許権者 590000248 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ１, 5621 ＢＡＥｉｎｄｈｏｖｅｎ，ＴｈｅＮｅｔｈｅｒｌａｎｄｓ (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 H04N 7/24 H04N 7/14 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】ビデオ画像のシーケンスにおける人の顔
を識別するための回路装置であって、該回路装置は、ブロックに構造化された連続する２つのビデオ画像の差
画像を形成するための第１の手段（Ｉ）を備えており、ブロックの複数の画素の値の和又は該値の整数のべき乗
の和が第１の閾値を上回わるか否か、および、第２の閾
値を上回わる値又は該値の整数のべき乗を有するこのブ
ロックの画素の個数が所定の個数を上回わるか否かにつ
いて各々の差画像を検査するための第２の手段（ＩＩ
Ａ）を備えており、差画像から、複数個の状態ビットから成る状態画像を形
成するための第３の手段（ＩＩＢ）を備えており、上記
の検査に肯定的な答を出した前記差画像の各々のブロッ
クに対して前記状態ビットは第１の２進値を有し、さら
に上記の検査に否定的な答を出した前記差画像の各々の
ブロックに対して前記状態ビットは前記第１の２進値を
反転した第２の２進値を有し、前記第３の手段（ＩＩ
Ｂ）は前記状態画像から妨害成分を除去するためのフィ
ルタ手段を含む、ビデオ画像のシーケンスにおける人の
顔を識別するための回路装置において、１つの行又は１つの列の前記第１の２進値を有する状態
ビットの個数をもとめるための第４の手段（ＩＩＣ）が
設けられており、もとめられた状態ビットの個数は特徴
関数Ｍｆ(ｋ)によって表すことができ、ここでｋは行又
は列を示し、畳み込み積分【数１】を計算するための第５の手段（ＩＩＤ）が設けられてお
り、ただしｎは行又は列の個数であり、ｈ(ｋ)は補助関
数であり、該補助関数は、前記特徴関数のサンプルが人
のシルエットと最も大きな類似性を有する場合に、前記
畳み込み積分が最大値をとるように選択されており、前
記第５の手段（ＩＩＤ）はさらに前記畳み込み積分によ
って形成された値がさらに別の閾値を上回る場合に識別
信号を送出するために設けられており、第６の手段（ＩＩＥ，ＩＩＦ）が設けられており、該第
６の手段（ＩＩＥ，ＩＩＦ）は、各々の行内の前記第１
の２進値を有する状態ビットの重心をもとめ、もとめら
れた重心のアドレスの平均値を形成することによって垂
直方向の中心軸を決定し、前記第１の２進値を有する状
態ビットを有する第１の行のアドレスをの最上部の点と
して決定し、前記頭の最上部の点は列アドレスとして前
記垂直方向の中心軸のアドレスを有し、識別信号の送出
の後で顔面としてビデオ画像に面を形成するために設け
られていることを特徴とする、ビデオ画像のシーケンス
における人の顔を識別するための回路装置。
【請求項２】第３の手段（ＩＩＢ）のフィルタ手段に
は、第１のフィルタ手段（１３〜２０）が含まれてお
り、前記第１のフィルタ手段（１３〜２０）は同じ２進
値を有する隣り合う状態ビットの個数が所定の閾値を下
回わる場合に、第１の２進値を有する状態ビットを反転
するために設けられている、請求項１記載の回路装置。
【請求項３】第３の手段（ＩＩＢ）のフィルタ手段に
は、第１のフィルタ手段（１３〜２０）に後置接続され
る平滑化手段（２１〜２７）が含まれており、該平滑化
手段（２１〜２７）は、少なくとも２つの連続する画像
の互いに対応する状態ビットをオア結合により１つの新
たな状態ビットへと結合するために設けられている、請
求項１又は２記載の回路装置。
【請求項４】第３の手段（ＩＩＢ）のフィルタ手段に
は、平滑化手段（２１〜２７）に後置接続される第２の
フィルタ手段（２８〜４１）が含まれており、該第２の
フィルタ手段（２８〜４１）は、 4a）第１の２進値を有する、１つのまとまりのある領
域を形成する状態ビットの状態ビットの個数を求めて格
納し、 4b）１つのまとまりのある領域の全ての状態ビット
は、前記領域に依存する同一のマーキングを得て、 4c）前記領域の状態ビットの求められた個数を、大き
い順に分類し、 4d）２番目に大きい領域のサイズが最大の領域の所定
の部分を下回わるか否か検査し、 4e）下回わる場合は、２番目のおよびそれに続く全部
の領域の状態ビットを反転し、下回わらない場合は、顔
が存在しないものとして通報するために設けられてい
る、請求項１から３までのいずれか１項記載の回路装
置。
【請求項５】メディアンフィルタ手段（５２）が第４
の手段（ＩＩＣ）と第５の手段（ＩＩＤ）との間に設け
られており、該メディアンフィルタ手段（５２）は１次
元の特徴関数をメディアン濾波作用により平滑化する目
的で設けられている請求項１から４までのいずれか１項
記載の回路装置。
【請求項６】顔面に相応するビデオ画像の面を連続的に
ナンバリングされた複数の領域に分解し、これらの領域
のサイズおよび重心を決定するための第７の手段（ＩＩ
Ｇ）が第６の手段（ＩＩＥ，ＩＩＦ）の後ろに設けられ
ている、請求項１から５までのいずれか１項記載の回路
装置。
【請求項７】第８の手段（ＩＩＨ）が前記第７の手段
（ＩＩＧ）に後置接続されており、前記第８の手段（Ｉ
ＩＨ）は、顔面に含まれる重心トリプレット(triplet)をその都度
形成し、前記トリプレットの距離をもとめ、このトリプレットの全ての重心の位置およびこれら重心
の結線の長さの比を、人間の両目及び口のモデルデータ
と比較することにより検査し、この検査の結果が肯定的である場合の重心トリプレット
の周囲の複数の画素の特性に対する重み付け係数を発生
し、最大の重み付け係数を有するトリプレットを選択するた
めに設けられていることを特徴とする請求項６記載の回
路装置。
【請求項８】前記第８の手段（ＩＩＨ）に後置接続さ
れた第９の手段（ＩＩＩ）は次のために設けられてい
る、すなわち、連続する少なくとも２つの所定の最適なトリプレットが
所定の許容偏差限度内で一致するか否かを検査し、さら
に一致した場合には、人の顔の両目と口のモデルデータ
に従って人の顔に所属する全ての画素を決定するために
設けられている請求項７記載の回路装置。