JPH04273388A - ビデオ画像のシーケンスにおける人の顔を識別するための回路装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオ画像のシーケン
スにおける人の顔を識別するための回路装置を対象とす
る。この場合この回路装置は、−第１の手段を備えてお
り、該第１手段により、ビデオ画像がブロックへ構造化
され、さらに２つの相続く画像の相応のブロックが互い
に減算されるようにし、−第１手段により発生された差
画像を後処理するための第２の手段を備えており、さら
に請求項１の上位概念に示されている複数個の構成要件
を備えている。

【０００２】

【従来の技術】前述の特性を有する装置の動作は、Ｐｉ
ｃｔｕｒｅ　　Ｃｏｄｉｎｇ　　Ｓｙｍｐｏｓｉｕｍ　
　２６〜２８、３月１９９０　ｉｎ　　Ｃａｍｂｒｉｄ
ｇｅ，Ｍａｓｓａｃｈｕｓｅｔｔｓ，ＵＳＡにおける論
文に示されている（Ｅｒｉｃ　　Ｂａｄｉｑｕｅ：Ｋｎ
ｏｗｌｅｄｇｅ−ｂａｓｅｄ　　Ｆａｃｉａｌ　　Ａｒ
ｅａ　　Ｒｅｃｏｇｎｉｔｉｏｎ　　ａｎｄ　　Ｉｍｐ
ｒｏｖｅｄ　　Ｃｏｄｉｎｇ　　ｉｎ　　ａ　　ＣＣＩ
ＴＴ−Ｃｏｍｐａｔｉｂｌｅ　　Ｌｏｗ−Ｂｉｔｒａｔ
ｅ　　Ｖｉｄｅｏ−Ｃｏｄｅｃ．Ｐｒｏｃｅｅｄｉｎｇ
ｓ　　ｏｆ　　Ｐｉｃｔｕｒｅ　　Ｃｏｄｉｎｇ　　Ｓ
ｙｍｐｏｓｉｕｍ　　９０、Ｃａｍｂｒｉｄｇｅ，Ｍａ
ｓｓａｃｈｕｓｅｔｔｓ参照のこと）。

【０００３】同等の回路装置はヨーロッパ特許第Ａ２−
０３３０４５５に示されている。この回路装置も例えば
テレビジョン電話の場合に用いられる。この種の回路装
置を低い伝送ビットレート（例えば６４Ｋビット／Ｓ）
を有するテレビジョン電話に用いるための理由は、会話
の進行中に通話者の目が、相手の通話者の主として顔を
特に目と口を追うため、この事実が、伝送ビットレート
を高めなくても画質の主観的な改善を達成するために用
いられることである。この種の改善は次の時になされる
、即ち目の部分と口の部分が、画像の他の領域を犠牲に
して、他の部分よりも一層高い精度で−即ちより多くの
ビットで−符号化される時に、なされる。しかしこの効
果の利用は、ビデオ画像のシーケンスの中に顔が存在す
るか否かが前もって検出されている時にだけ、可能であ
る。

【０００４】このヨーロッパ特許Ａ２−０３３０４５５
号に示されている装置は、この目的の方向へ、２つのビ
デオ画像のシーケンスから出発する。差画像の中に、連
続画像が動く物体を含む時に、ゼロとは異なる信号成分
だけが現われる。この引用された特許出願には差画像の
順序が、識別エラーの発生確率が大であるように、後処
理されてしまう。

【０００５】

【発明が解決しようとする問題点】本発明の課題は、連
続する画像が人の顔を含むか含まないかの判定が、従来
技術の場合よりも、著しく一層確実になされるようにし
た冒頭の回路装置を提供することである。

【０００６】

【課題を解決するための手段】この課題は冒頭に述べた
回路装置において、次の構成の組み合わせにより解決さ
れている：即ち−変換手段が設けられており、該変換手
段により、第１の２進値を有する状態画像の領域が１次
元の特性関数へ変換されるようにし、この変換の場合、
状態画像の１つの行または１つの列内のこれらの状態ビ
ットの個数が行数または列数の関数として求められるよ
うにし、−折りたたみ手段を備えており、該折りたたみ
手段により、特性関数を正規化し、補助関数を用いて折
りたたむようにし、この場合この補助関数は、特性関数
の理想的なパターンを有する折りたたみ積分が所定の理
想的な値を取るように設計されており、さらに前記折り
たたみ手段により、所定の許容範囲内にある実際の折り
たたみ積分の値が理想的な値と一致する時にだけ識別信
号を送出するようにし、−マーキング手段を備えており
、該マーキング手段により、識別信号が送出された場合
に、各々の行内の第１の２進値を有する状態ビットの重
心を求めるようにし、これらの重心の全部を垂直の中心
軸を定めるために用いるようにし、さらに状態画像の、
中心軸により半分にされかついちばん上の重心を周辺点
として含む所定の顔面内にある全部の点をマーキングす
るように構成したのである。

【０００７】状態画像の中の顔面を設定することにより
、人の顔が粗に識別される。しかし顔面の確実な識別は
、できるだけ高い確率で、人の頭を肩と共に示す状態画
像を求めることを前提とする。

【０００８】この確率を一層高くする目的で、局所的な
濾波作用ないし状態画像の時間的平滑化が実施される。

【０００９】この確率を一層向上させる目的で、局所的
な濾波作用がないし状態画像の時間的平滑化が実施され
る。

【００１０】同じ目的のためにさらに第２のフィルタ手
段が設けられており、このフィルタにより、状態画像中
に現われた続いている領域が求められる。最大の領域が
２番目に大きい領域とたいして異ならない時は、この場
合は肩を有する人の顔のシミュレーションが存在しない
確率が高い。相応の信号によりこの場合に次のことが示
される：即ち顔を識別するための全部の引き続いての動
作が行なわれなかったことである。

【００１１】顔面の検出後は、全部のブロック−これは
状態画像の顔面を形成する−から成るビデオ画像の面の
中へ収まるか否かが検査される。そのためビデオ画像全
体の一部の以後の検査が減少されそのため比較的簡単化
される。

【００１２】ビデオ画像のこの部分は次に複数個の領域
の中に分解される。これらの領域はビデオ画像の続いて
いる領域−これらの画点はすべて同じ階級の画点データ
に所属する−である。この種の階級分解は例えば、発生
した全部のグレー値を、または発生した全部の色値論理
和的部分集合へ分割することにより、達成される。はげ
しい動きの分解も可能となる。

【００１３】この動作の意味は、人の口と目を、ビデオ
画像の検査された部分内で前もって処理することを意味
する。これに加えて、求められた領域の重心も定められ
る。次にそれぞれ３つの重心（トリオ）の間の距離が定
められ、さらにこれらの距離とトリオの位置がモデルデ
ータと比較される。例えば検査された面の周辺に存在す
るトリオは、人の目および口に対応できない；トリオの
間隔比が１とは著しく異なるトリオも同じである。トリ
オに対して検査に合格すると、複数個の尺度による重み
付けが即ちこのトリオが垂直軸線に対してどのように存
在するか（幾何学的基準尺度）による、またはどの色値
が領域およびそれらの周囲（色による尺度）を有するか
、またはどのような運動の強度（ダイナミックな尺度）
がそれらに所属するかによる重み付けがなされる。

【００１４】２つの相続く、最高の重み付けの所定のト
リオが所定の許容範囲内で一致すると、人の顔の存在が
著しく高い確実性で結論される。次にモデルデータにし
たがって、顔に所属しえる画点が定められ、さらに−テ
レビジョン電話における使用の場合は、顔の外側の全部
の点よりも一層正確に符号化される。

【００１５】次の本発明の実施例を図面を用いて詳細に
説明する。

【００１６】

【実施例】図１の基本図において回路に線路１ａにカメ
ラのビデオ信号が導びかれて、さらにユニットＩにより
、それぞれ８×８＝６４の画点から成るブロックへ構造
化される。これらの画点は、輝度データＹと色データＵ
，Ｖから成る。画像全体は２８８の行と３５２の列とを
有する、即ち１０１３７６個の画点を有する。この場合
、色データは各２番目の画点に対してだけ設けられてい
る。８×８ブロックへの構造化の場合、全部で３６×４
４＝１５８４ブロックが形成される。ビデオ画像におけ
るそれらの幾何学的位置はアドレスのデータにより一義
的に示されている。同様のことが画点に対して当てはま
る。そのためアドレスは座標データと同等である。後述
のマーキング、ブロックの識別または選択、画点大きさ
または特別の画点（例えば後述の“重心”）の場合、常
に意図されていることは、これらの過程がこれらの大き
さのアドレスへの付加データにより実施されることであ
る。この場合これらの付加データはこの共通に−大抵は
明示されていない−メモリの中にファイルされる。クロ
ック制御されるユニット、クロックパルス線路およびそ
の他の線路も明示されていない、何故ならば当業者はそ
れらの必要性を簡単に理解して補なうことができるから
である。

【００１７】ユニットＩは−図２に正確に示されている
様に−さらに遅延素子１、画像メモリ３および減算器２
を用いて、２つのビデオ画像のシーケンスの画点データ
の差−以下、簡単に画像差と称する−を形成する。ブロ
ックへの構造化はブロックアドレス発生器７により実施
され、さらに１つのブロックの画点のアドレス指定は、
ブロックアドレス発生器７と結合されている画点アドレ
ス発生器６により実施される。そのためアドレス発生器
６と７により差画像はブロック毎にかつ画点毎に応動可
能である。

【００１８】ユニットＩＩＡはまず最初に、２つのビデ
オ画像のシーケンスの１つのブロックの全部の画点のデ
ータ差の大きさを、形成する。この大きさはこの実施例
の場合、差画像の“画点の規格”である；他の規格は例
えば前記の大きさの整数のべき乗とすることもできる。 これらの大きさは加算され、この場合、この和は１つの
ブロックの全部の画点にわたり求められ、さらにこの和
の値は第１の閾値Ｔ１と比較される。詳細が図２に、部
分ＩＩＡに示されている。ユニット４は画点の前記の大
きさを加算し、ユニット５はこの加算値と閾値Ｔ１と比
較して、この加算値が閾値Ｔ１を上回わると２進数１を
送出する。この実施例において閾値Ｔ１は値１０を有す
る。この閾値は使用されるカメラの機種に依存し−他の
全部の閾値の様に−、個々の場合に最適化されている装
置全体のパラメータである。この実施例の場合は市販の
ＣＣＤカメラが用いられた。

【００１９】上位のユニットＩＩＡのユニット１０は１
つのブロックの画点の大きさを形成して、この大きさを
直ちに、値４を有する第２の閾値Ｔ２と比較する。この
画点の大きさが閾値Ｔ２を上回わると、計数器１１がユ
ニット１０の１つのパルスにより歩進される。この計数
器の状態は比較ユニット１２へ導びかれる。このユニッ
トは計数器１１が状態４０を上回わる時に同じく２進数
１を送出する。閾値の値はユニット５，１０および１２
へ線路５ａ，１０ａおよび１２ａを介して導びかれる。

【００２０】ユニット５と１２の出力信号はアンドゲー
ト８により結合されその出力信号が、図１ないし図２の
上位のユニットＩＩＢのシミュレーションユニット９へ
転送される。

【００２１】このユニット９は差画像の１５８４個のブ
ロックを個々のビット−以下では状態ビットと称する−
へシミュレーションする、即ちアンドゲート８の出力信
号がこの値を取る時に、１つのブロックのアドレスの下
にユニット９において２進数１（第１の２進値）が記憶
される。それ以外の場合は２進数０（第２の２進値）が
記憶される。状態ビットは線路９ａにおいて転送される
。

【００２２】１つの差値のブロックの状態の全体を以下
で状態画像と称する。状態画像中の１の配分から検出さ
れることは、２つのビデオ画像のシーケンスのどの個所
（この種の個所はブロックアドレスのデータにより１つ
のブロック大きさの精度で固定されている）に、有効な
変化が現われているかということである。この種の変化
の原因は、カメラにより撮像されるシーン中の運動する
被写体、ノイズまたは突然変化された光状態である。し
かしこの場合、人の顔の後で−またはまず頭・肩シーン
の後で−頭と肩の運転に基因しない変化は問題とされな
いように、意図すべきである。これらの変化はフィルタ
によりできるだけ状態画像から除去される。これらのフ
ィルタは図１におけるユニットＩＩＢの部品である。こ
れらのフィルタの動作は、状態画像の選出された状態ビ
ットを所定の尺度により反転させることに帰する。　　
図３は面フィルタを示す。このフィルタにより状態画像
中の複数個の１が、これらが不十分な大きさの面部を形
成する時は、反転により消去される。ユニットＩＩＢの
出力線路９ａを介してユニット１７の状態ビットが、線
路９ａと接続されている線路１７ａへ導びかれる。状態
ビット−このビットへブロックがシミュレーションされ
ている−のアドレスと同一のアドレスが、アドレス発生
器１３から発生される。次にユニット１７が、そのメモ
リの中に記憶されている状態ビットが値１を有するか否
かを、検査する。この質問が実際の状態ビットの場合に
イエスであると、ユニット１４は、この実際の状態ビッ
トに隣り合う８つの状態ビットのアドレスを発生して、
これをユニット１８へ転送する。それにもとづいてユニ
ット１８は所属の状態ビットをユニット１７から入力さ
れてユニット１９へ導びく。ユニット１９はこの状態ビ
ットの値を値１（この値は線路１７ｂに加わっている）
と比較して、このイエスの場合に線路１９ａを介してユ
ニット１５の計数器を１計数単位だけ歩進する。次にユ
ニット１５は１つのパルスをユニット１４へ次の隣りの
アドレスの発生の目的で送出する。第１の状態ビットへ
隣り合う全部の状態ビットの値の次の質問の後に、ユニ
ット１５の計数器の状態が３よりも大きくないと、比較
器１６が信号を可制御の反転器２０へ送出する。この反
転器はユニット１７における実際の状態ビットを反転す
る。それ以外の全部の場合は、ビットは反転されずに転
送される。値３を有する整数の閾値が比較器１６へ線路
１６ａを介して導びかれる。全体の状態画像の処理の後
に、状態ビットが線路１７ｃにおいて転送される。

【００２３】状態画像の別の濾波が図４の平滑化装置に
より行なわれる。何故ならば出力線路１７ｃが入力線路
２１ａと接続されているからである。平滑化装置は、第
１の状態画像メモリ２５ならびにこれに後置接続されて
いる第２の状態画像メモリ２７から構成されている。

【００２４】両方の状態画像メモリ２５と２７は、ブロ
ックアドレス発生器２４により制御される。この発生器
により両方のメモリから２つの相続く状態画像の状態ビ
ットが読み出される。メモリ２５から読み出された状態
ビットはオアゲート２１の入力側へ導びかれ、メモリ２
７から読み出された状態ビットはオアゲート２２の入力
側へ導びかれる。遅延されない状態ビットはゲート２１
の第２の入力側へ加えられる。このゲートの出力側はゲ
ート２２の第２の入力側と接続されている。前述の様に
時間的に平滑化された状態画像の状態ビットは出力線路
２２ａに転送される。

【００２５】オアゲート２１と２２により３つの相続く
状態画像の互いに相応する状態ビット（即ち同じアドレ
スを有する状態ビット）が論理和により論理的に結合さ
れる。この論理和により統計的な変動が、１の一様な分
布の目的で除去される。この変動は、相続く状態画像に
おける０と１の異なる分布において目立つようにされる
からである。

【００２６】状態画像の別の濾波が図５に示されている
濾波回路により行なわれる。この回路は、１つの状態画
像において現われる１の関連の領域を計数してその大き
さを求める。各々の領域は以後の識別の目的でマーキン
グ数字が配属されている。この種の領域が２よりも大き
いと、その大きさの状態が検査される。２番目に大きい
領域が１番大きい領域の大きさの２０％を越える値を有
すると、状態画像は、図１０の実施例に示されている様
なシルエットを含むことがあり得りないとされる。その
ため、接続されている（図示されていない）符号器が、
以下は標準符号化を用いるという通報を得る。

【００２７】図５は詳細にマーキングレジスタ３０を示
し、この中で、発生器４０から発生された状態アドレス
の下に領域マーキングが記憶される。即ち各々のアドレ
スの下に分析の経過中に、１つの状態画像の１つの点が
所属する領域の番号（１から始まる）を示す数字が記憶
される。１から状態画像の分析のはじめにマーキングレ
ジスタ３０の全部のメモリ個所は値０へ書き換えられる
。線路２２ａと接続されている線路３２ａを介して、状
態ビット−そのアドレスを発生器４０が発生する−が２
つの比較回路３２と４０へ導びかれる。比較回路４１は
、状態ビットが１か否かを検査し、比較回路３２は所属
の個所（アドレス）がまだマーキングされていなかった
否かを検査する。１でかつ前記の個所がまだマーキング
されていなかった場合は、両方の回路はそれらの出力側
に１を送出する。これらの１は、アンドゲート３３によ
り結合される。ゲート３３の出力側はユニット３４と接
続されている。ユニット３４はユニット３１から実際の
アドレス（ユニット４０からちょうど発生された）をな
らびにそれらの全部の隣り合うアドレスを入力される。

【００２８】アンドゲート３３の出力信号が１へおかれ
るとユニット３４は、図５に示されていない状態メモリ
から全部の状態ビット−それらのアドレスをユニット３
４はユニット３１から入力された−を読み出す。次に所
属の状態ビットは比較器３５へ導びかれる。この比較器
の一方の入力側はアンドゲート３３の出力側と接続され
ている。比較器はこの状態ビットの値を実際の状態ビッ
トの値と比較する。

【００２９】ユニット３１から発生されたアドレスもマ
ーキングレジスタへ導びかれる。これらのアドレスの一
方の所属する状態ビットが値１を有しそのため比較器３
５の出力信号が１におかれると、このアドレスの下に、
マーキング発生器２８が発生する領域マーキングがファ
イルされる。

【００３０】実際の状態ビットへ隣り合うかつまだマー
キングされない全部の状態ビットが値０を有すると、比
較器３５は信号をマーキング発生器２８へ送出する。そ
れにもとづいてこの比較器は領域マーキングを１単位だ
け減分する。何故ならばこの場合、これまで検出された
領域に所属する状態ビットがもはや存在しないからであ
る。

【００３１】比較器３５へ接続されている計数器３６が
、ちょうどいま検出された領域へ所属する複数個の１を
計数する。１つの領域へ所属する１の全部の個数（この
領域の大きさ）が、マーキング発生器２８から供給され
る領域マーキングと共に、メモリ１７の中に記憶されて
線路３７ａを介して後続のユニットへ供給される。状態
画像の全部の点が１回検出されていると、ユニット３８
が求められた領域をそれらの大きさに応じて配列する。 後置接続されている比較器３９は、２番目に大きい領域
が最大の領域の大きさの０．２倍よりも大きいか否かを
検査する。イエスの場合は信号が線路３９ａを介して、
図示されていない符号器へ送出される。そのためこの符
号器は標準符号化を実施する。質問の答がノーの場合は
最大の領域のマーキング数字が線路３９ｂを介して補正
回路２９へ与えられる。この補正回路２９はマーキング
レジスタ３０の内容を読み出して、最大の領域のマーキ
ングと一致するマーキングを１により置き換え、その他
の全部をマーキングを０で置き換える。このようにして
濾波された状態画像はビット毎に線路２９ａを介して、
後置接続されているユニットへ以後の処理の目的で転送
される。

【００３２】障害が実質的に除去された状態画像−この
場合、顔を想定できる−の形成後に、この画像は図１の
ユニットＩＩＣにより１次元の特徴関数へ変形される。 実施例においては値１を有する状態ビットの個数が各々
の行内で求められる。この個数は行の関数として、第１
（いちばん上の）の行からはじめて３６番目（いちばん
下の）の行まで、特徴関数Ｍｆ（Ｋ）を表わす。Ｋ＝１
，２…３６である。この関数を求める目的で、図６にお
いてＩＩＣで囲まれたユニットが用いられる。行アドレ
ス（行本数）は発生器４２により発生される。１行内の
状態ビットの位置を示す列アドレスは、発生器４７によ
り発生される。ユニット４３へは線路４３ｂを介して２
進数１が比較の目的で導びかれる。ユニット４３は線路
２９ａと接続されている線路４３ａを介して、発生器４
２および４７により発生される全体アドレスへ所属する
状態ビットと同じ状態を供給される。ユニット４３は１
つの行の状態ビットの到来を、線路４３ｂにより導びか
れた２進値と比較して一致した場合に計数パルスを、後
置接続されている計数器４４へ転送する。１行の終りに
計数器の状態が行アドレスの下に関数メモリ４５の中に
記憶される。メモリ内容の全体は特徴関数を表わす。 この特徴関数は線路４５ａを介して転送される。

【００３３】図１に示されたユニットＩＩＥは、１つの
行の１の重心をまたは平均点を求める、即ち１つの行の
全部のアドレス−このアドレスの下に状態画像の中に２
進数１が記憶されている−の算術平均の形成後に得られ
るアドレスを求める。このデータは以後に次の目的のた
めに必要とされる：図１０のシルエットの中心軸（対称
軸に接近されて）を求める目的でさらに頭のいちばん上
の点を求める目的である。

【００３４】即ち２進数１を含まない全部の行に対する
重心決定の場合に、重心へアドレス０が配属されると、
頭部のいちばん上の点が、０とは異なるアドレスを有す
るいちばん上の重心として形成される。

【００３５】発生器４７の列アドレスがユニット４８に
おいて、ユニット４３の出力側が、全体アドレスの下に
２進数１が記憶されていることを示す時に、読み込まれ
る。ユニット４８は読み込まれた全部のアドレスの和を
形成して、この和をユニット４９へ転送する。このユニ
ットは加数の個数を計数器４４から入力されて、両方の
大きさから平均のアドレス−この場合は１つの行の重心
−を形成する。重心アドレスはユニット５０において加
算されて、さらにユニット５１により、ユニット５１が
線路５１ａを介して入力される加数の個数により除算さ
れる。結果は、状態画像を垂直に走行する求めるべき中
心軸の水平アドレスである。そのためこの水平アドレス
のデータ（座標）は中心軸を一義的に特徴づける。この
データは線路５１ｂを介して転送される。

【００３６】頭のいちばん上の点に関する座標−上で形
成されたデータと等価である−は特徴関数から導出され
る。この点の水平アドレスは中心軸の水平アドレスと同
じであり、その垂直アドレスは第１の行アドレスであり
、この行アドレスからはなれると特徴関数が０とは異な
る値を取る。このアドレスは、線路４６ａを介して比較
値０の導びかれるユニット４６により定められる。結果
は線路４６ｂを介して転送される。

【００３７】線路４５ａおよび線路５２ａを介して伝送
される特徴関数は、場合により存在しているノイズピー
クが中央値フィルタ５２により除去される。このメジア
ンフィルタは、その都度に相続く３つの値により第２の
関数値を、全部の３つの関数値のうちの最小値と最大値
の間に存在する値により、置き換える。

【００３８】図１のユニットＩＩＤにより特徴関数が正
規化されて、さらに補助関数ｈにより折り返される、即
ち折りたたみ積分に比例する和が形成される。補助関数
ｈは次のように“訓練されている”。

【００３９】

【数１】

【００４０】即ち補助関数の、折りたたみ積分の値がこ
こに詳細に説明されていない特徴関数のパターンにより
値１を取り、所定の別のパターンの場合は値−１を取る
ように“訓練されている”。この値１を折りたたみ積分
は次の時に取る。即ち類似性が最大である時に、図１０
に示されているシルエットにより最小の類似性を有しさ
らに値１を有するパターンの場合に、取る。

【００４１】図７に関数ブロックＩＩＤが一層正確に示
されている。ユニット５３は特徴関数を正規化する、即
ちこの実施例においては全部の値をその値の最大値で除
算すう。その結果、正規化された関数は０と１の間に存
在する。後置接続されているユニット５４は、公式行（
１）の中に示された和を形成する。この場合、ユニット
５４の補助関数ｈの値は線路５４ａを介して導びかれる
。比較器５５は和の値を線路５５ａにおける閾値と比較
する。この閾値は０．７５にすると有利であることが示
されている。和の値が０．７５よりも小さ時は、この分
析は中止される。それ以外の場合は比較器５５は信号を
ユニット５７へ送出する。このユニットはその入力信号
を用いて長方形の領域（顔の表面）−この領域の中に顔
が収容できる−のアドレスを算出する。ユニット５７の
入力信号へユニット５６の出力信号が所属する。ユニッ
ト５６は、マーキングされるべき長方形の大きさに関し
て判定する。８×８のブロックにもとづいて次の３つの
長方形大きさを十分であると示した：８×１２、１２×
１８および１６×２４。個数はアドレス差を、即ち８×
８のブロックの辺の長さのユニットにおける区間を意味
する。ユニット５７は、ビデオ画像における顔の面に相
応する面のアドレスを算出する。

【００４２】これらの３つの大きさの間でユニット５６
は１つの大きさを選択する。この場合、補助手段として
、線路２７ａおよび線路５６ａを介して導びかれる出力
信号がユニット３７へ供給される。これらの３つの大き
さはユニット５６へ線路５６ｂを介して導びかれる。 ユニット５７の別の入力側へユニット５８の出力信号が
所属する。ユニット５８は線路５８ａを介していちばん
上の頭の点の垂直座標を入力され、線路５８ｂを介して
垂直の中心軸の座標を入力される。線路５８ａは線路４
６ｂと接続されており、他方、線路５８ｂは線路５１ｂ
と接続されている。ユニット５８はこれらの両方のデー
タを用いてさらに長方形の大きさに関するデータを用い
て、この長方形の左の上の隅の座標を算出し、この座標
をユニット５７へ転送する。これにより人の顔の粗検出
が終了する。この長方形の点の座標は微検出の目的で線
路５７ａを介して図１のユニットＩＩＧへ転送される。

【００４３】ユニットＩＩＧによりビデオ画像（図１の
入力線路Ｉａに加わっているようなもとのビデオ画像）
の一部−顔面に相応する−が、連続番号数の領域の中へ
分解される。これらの領域−数学的に表現すると簡単に
続いている点の大きさ−は、どの階級の画点データの中
に１つの画点が当てはまるかを画点ごとに検査すること
により、求められる。輝度値Ｙと色値Ｕ，Ｖから成る画
点データは、次の動作により階級へ分解される。即ちベ
クトル（Ｙ，Ｕ，Ｖ）の３次元の空間が論理和の求めら
れた点の大きさへ例えば立方体へ分解され、さらに全部
の画点−そのベクトル（Ｙ，Ｕ，Ｖ）がこれらの立方体
のうちの１つの所定の立方体の中に当てはまる−が同じ
階級に所属することにより、分解される。階級１に所属
するいちばん上の左の画点から始められる。次にそれの
隣りの点が、この画点も階級１に所属するか否かが質問
されて、直ちに、すべてこれらの階級に所属する簡単に
続いている大きさの点が生ずるまでこの質問がなされる
。次に第２の階級に所属する１つの点が詳細に検査され
る。この画点に対して第１の画点に対する様に動作が経
過する。その詳細を図８を用いて説明する。図８におい
てユニット７４は画点データＹ，Ｕ，Ｖをベクトルへま
とめる。輝度信号Ｙが前もってユニット７４により、全
部の３つのデータが単一のクロックパルスへ適合される
ように、細分化サンプリングされている。インデックス
メモリ６０−この中でビデオ画像の、同じ領域へ所属す
る全部の点は同じインデックスを有している−は、画像
の分析の開始の前に０へセットされる。実際の画点のア
ドレスはアドレス発生器６１により発生されて、相応の
インデックス（はじめは０）が比較器６６により０と比
較される。比較の０は線路６６ａを介して比較器６６へ
導びかれる。画点がまだインデックスを得ていないと、
読み出されたインデックスはまだ０であり、この画点は
画像面の、顔面に相応する部分へ所属する。そのため比
較器６６の出力信号がゲート６７を開き、これにもとづ
いてユニット６４から送出された、実際の画点の色ベク
トル（Ｙ，Ｕ，Ｖ）がユニット６８と６９へ転送される
。顔面に相応する面のアドレスをユニット６６は、線路
５７ａと接続されている線路６６ｂを介して入力される
。ユニット６８へも、この画点に対して８つの隣り合う
画点の複数個のアドレスが伝送される。ユニット６８は
これにもとづいて所属の色ベクトルを形成する。実際の
画点とそれの隣り合う画点との間の色ベクトルの差は、
ユニット６９により形成される。差とは差ベクトルの２
乗のことである。しかしこの場会、このベクトルの個々
の成分はさらに重み付けされる。用いられる重みはＹ成
分に対しては０．２であり、他の両方の成分に対しては
１である。この重み付けにより、影の影響は、ビデオ画
像を領域へ分解する場合に低減される。

【００４４】ユニット６９により形成された差は次にユ
ニット７０により、ユニット７０へ線路７０ａを介して
導びかれる閾値Ｔと比較される。そのためユニット７０
は、実際の画点の周囲が同じ領域へこの領域そのものの
ようにまだ所属するか否かを判定する。後置接続されて
いる計数器７１は、１つの領域へ所属する画点の個数を
計数してそのためこの領域の大きさを送出する。この大
きさはメモリ７２の中に、この領域の番号（インデック
ス）と結合されて記憶される。この番号は計数器５９か
ら同じくメモリ７２へ導びかれる。線路７２ａを介して
この領域の大きさが転送される。計数器５９は領域をす
べて計数する。計数器５９は、比較器７０が１つのパル
スにより、実際の画点の隣り合う点がもはや同じ領域へ
所属しないことを、通報する。実際の画点と同じ領域へ
所属する隣り合う点が見出されている時は、その領域番
号（インデックス）が計数器５９からメモリ６０の中に
そのアドレスの下に記憶される。このアドレスはユニッ
ト６２から同じメモリ６０へ伝送される。　　ユニット
６２から発生されるアドレスは、この領域の重心を算出
する目的で、ユニット６３において加算される。１つの
領域のアドレスの和は、次に分周器６４によりこれらの
領域の画点の個数により除算される。分周器６４は画点
の個数をユニット７１から入力される。次にこの重心は
メモリ６５において相応の領域番号（インデックス）と
共に以後の使用の目的で記憶される。重心データは線路
６５ａを介して別の処理の目的で供給される。各々の画
点が１回検出されると、メモリ６０において領域への全
部の画点の分解が形成され、これらの領域の番号が線路
６０ａへ供給される。

【００４５】領域への分解の結果は即ち領域の大きさ、
領域の重心および、番号づけられた領域への画点の配属
は、後置接続されたユニットＩＩＨによりさらに処理さ
れる。このユニットＩＩＨにより、人の顔の目と口に相
応する３つの領域を求める試行がなされる。上述の様に
、この試行は、粗識別により定められている顔面内の領
域へ制限されている。

【００４６】顔面へ所属する重心はトリオへまとめられ
て次に、このトリオが人の顔の目と口に相応できるか否
かが、検査される。この検査は人の顔の目と口との幾何
学的な比を用いる。例えばトリオの接続線の長さの関係
が決定されて、次のこの長さの関係が顔の目と口のモデ
ルデータと一致するか否かが検査される。最後に検査さ
れることは、１つの三重点の全部の３つの点の座標と前
もって決定された中心軸との関係が求められる。想定さ
れている目が等しい水平のアドレスを有していないと思
われるトリオは、人の目とはなり得ない。最後にユニッ
トＩＩＨにより、両方の目のあるべき領域の色の差が大
きすぎないか、そのためこの領域が人の目に相応し得な
いかが、検査される。さらに目と口に所属すべき領域が
他の領域よりも一層移動するか否かが検査される。最後
に全部のこれらの特性に重み付け数字が付されて、さら
にこれまで求められた全部のトリオから、全部の運動が
最適に存在するトリオが選択される。

【００４７】比較ユニット７５へメモリ７２に記憶され
ていた領域大きさが、線路７２ａと接続されている線路
７５ａを介して、導びかれる。この比較ユニットはこの
大きさを、このユニットへ線路７５ｂと７５ｃを介して
導びかれる下側閾値および上側閾値と、比較する。この
比較ユニットにより、メモリ７２に記憶されている領域
大きさが人の目と口の領域に相応できるか否かが検査さ
れる。これらの両方の閾値の間に存在する領域は、人の
目にまたは口に所属することができる。閾値のための代
表的な値は、下側閾値に対しては５であり、上側閾値に
対しては３０である。比較器７５により開かれるゲート
７６は、領域の大きさが両方の閾値の間に存在すると、
直ちにこの領域の閾値座標を、線路７６ａを介して比較
器７７へ転送する。線路７６ａは線路６５ａと接続され
ている。比較器７７は、この重心座標が前もって決定さ
れた顔面−その識別データは線路７７ａを介して導びか
れる−の内部に存在するか否かを検査する。線路７６ａ
は線路６５ａと接続されている。比較器７７は、重心座
標−その識別データは線路７７ａを介して導びかれる−
が、前もって決定した顔面の内部に存在するか否かを検
査する。線路７７ａは線路５７ａと接続されている。こ
の面の内部に存在するこの種の領域だけがさらに処理さ
れる。ユニット７８は、この面の内部に存在する全部の
重心座標を、人の顔の目と口に相応すると思われる所属
のトリオへまとめる。これらのトリオの各々は比較器７
９により、メモリ８０に記憶されているモデルデータと
比較する。このモデルデータは人の顔に関する周知の知
識からおよび、状態画像の分析から得られたパラメータ
により、得られる。分析データはユニット８０へ、線路
５７ａと接続されている線路８０ａを介して導びかれる
。モデルパラメータは、目の間の距離、目と口との間の
距離Ｄ４およびＤ５、目の間の垂直間隔Ｄ２、目の間の
水平間隔Ｄ１および、色領域に対する垂直軸からの距離
を含む（図１０を参照のこと）。採用されたトリオは次
にユニット８５〜９３へ転送される。これらのユニット
はこれらのトリオの各々を重み付け番号で、以下で示さ
れる特性との比較に応じてふさぐ。

【００４８】ユニット８５はトリオの重心および中心軸
からのその間隔を算出して記憶する。中心軸のデータは
ユニット８５へ、線路５１ｂと接続されている線路８５
ａを介して導びかれる。ユニット８７は、１つのトリオ
に所属する領域の面の内部の差画像の全エネルギーを算
出する。この差画像はユニット８３の中で形成されて記
憶される。この目的でこのユニットは線路８１ａを介し
て、実際のビデオ画像と、メモリ８１の中に記憶された
先行の画像とを導びく。エネルギ算出は顔面の内部にお
いてだけ行なわれる。この顔面の限界データは線路８３
ａを介してユニット８３へ導びかれる。線路８３ａは線
路５７ａと接続されている。分析は、目と口が、顔の多
くかつ迅速に動く領域であるという事実を基礎としてい
る。ユニット８９は、採用されたトリオの点の周囲にお
ける対称状態に関する情報を形成する。この周囲はユニ
ット８４へ線路８１ａを介して導びかれる。ユニット８
４は、想定された目の重心または想定された口の重心を
中心とする長方形を形成して、この領域が水平の対称軸
に対してどの程度に鏡対称であるかを、検査する。この
対称のための尺度は、もとの点と、軸において鏡像化さ
れた点−さらに変数で除算される−との間の全部のデー
タの差の合計である。高い対称性を有する目および口の
ような領域は、対称でない領域または構造を有しない領
域と比較すると、わずかな対称値しか有していない。こ
の対称大きさ−ユニット８４により算出される−は、実
際のトリオのための重み付け数を算出する目的で、ユニ
ット８９において用いられる。ユニット９１は、目の領
域の色の間の類似性を再現する重み付け数を算出する。 ユニット９１は、メモリ６０に記憶されていた目の領域
の色値が、線路６０ａと接続されている線路９１ａを介
して、伝送される。最高の重み付けを、目に相応すべき
領域が同じ色を有する場合のトリオだけが得る。

【００４９】ユニット９３は重み付け数を発生し、これ
により目と口の色の周囲が重み付けされる。この周囲の
色はユニット９３へ同じくメモリ６０から導びかれる。 目および口として形成されたトリオは、同じ色の周囲を
有するべきである。周囲の色の差が小さいほど、それだ
け重み付け数−これによりトリオがユニット９３により
評価される−が高くなる。

【００５０】これまで採用された全部のトリオ−これら
はユニット８５，８７，８９，９１および９３に記憶さ
れている−の重み付け数は、正規化ユニット８６，８８
，９０，９２および９４へ伝送されて、それらの値が０
と１の間に存在するように正規化される。これらの値は
、ユニット９５により互いに乗算される。ユニット９６
は記憶されている値から、これらの値が最大値を取る場
合のトリオを決定する。ユニット９６は所属の座標を記
憶してこれらを、図１においてＩＩＩで示されたユニッ
トへ転送する。ユニットＩＩＩは図９に一層正確に示さ
れている。ユニット９７において、２つの相続いて定め
られた最適のトリオが、ユニット９７へ線路９１ａを介
して導びかれる所定の許容差内に有るか否かが、検査さ
れる。有る場合には、データがユニット９８へ転送され
る。ユニット９８は、このデータと線路９８ａを介して
このユニットへ導びかれたモデルデータとを用いて、人
の顔に所属できる画像の点を決定する。これらの点の座
標は線路９８ｂを介して、図示されていない符号器へ転
送される。上述の様にビデオ画像の品質向上された面−
この面の中に著しく大きい確率で人の目が存在する−が
決定される。

【図面の簡単な説明】

【図１】本発明の構成を有する装置の基本図である。

【図２】いわゆる状態画像を決定するための、装置全体
の一部のブロック図である。

【図３】状態画像を濾波するためのフィルターのブロッ
ク図である。

【図４】状態画像を濾波するためのフィルタのブロック
図である。

【図５】状態画像を濾波するためのフィルタのブロック
図である。

【図６】いわゆる特性関数を決定するための、かつ状態
画像の中にシミュレーションされた被写体の中心軸を決
定するための、装置全体の一部のブロック図である。

【図７】特性関数を折りたたむための、かつ状態画像中
に想定される顔の領域の中に、長方形の顔面を配置する
ための、装置全体の一部のブロック図である。

【図８】異なる色値を有する領域の中にカラービデオ信
号を分解するための、装置全体の一部のブロック図であ
る。

【図９】人の目と口の領域の探すための、装置全体の一
部のブロック図である。

【図１０】目と口の間の幾何学的な状態を説明するため
の人のシルエット図である。

【符号の説明】

１　　　　遅延素子 ２　　　　減算器 ３　　　　画像メモリ ４，５　　　　ユニット ６　　　　画点アドレス発生器 ７　　　　ブロックアドレス発生器 ８　　　　アンドゲート ９　　　　シミュレーションユニット １０　　　　ユニット １１　　　　計数器 １２　　　　ユニット １３　　　　アドレス発生器 １４，４５　　　　ユニット １６　　　　比較器 １７，１８，１９　　　　ユニット ２０　　　　反転器 ２１，２２　　　　オアゲート ２４　　　　アドレス発生器 ２５，２７　　　　メモリ ３０　　　　マーキングレジスタ ３１　　　　ユニット ３２　　　　比較回路 ３３　　　　アンドゲート ３４　　　　ユニット ３５　　　　比較器 ３６　　　　計数器 ３７　　　　メモリ ３８　　　　ユニット ３９　　　　比較器 ４０　　　　発生器 ４１　　　　比較回路 ４２，４７　　　　発生器 ４３　　　　ユニット ４４　　　　計数器 ４５　　　　関数メモリ ４６　　　　ユニット ４８，４９，５０，５１　　　　ユニット５２　　　　
メジアンフィルタ ５３，５４　　　　ユニット ５５　　　　比較器 ５６，５７　　　　ユニット ６０　　　　インデックスメモリ ６１　　　　アドレス発生器 ６６　　　　比較器 ６７　　　　ゲート ６８，６９，７０　　　　ユニット ７１　　　　計数器 ７２　　　　メモリ ７５　　　　比較器 ７６　　　　ゲート ７７，７９，８０　　　　比較器 ８５〜９３　　　　ユニット

Claims (8)

【特許請求の範囲】
1. 【請求項１】　　ビデオ画像のシーケンスにおける人の
   顔を識別するための回路装置であって、該回路装置は、
   １ａ）　　第１の手段（Ｉ）を備えており、該第１手段
   により、ビデオ画像がブロックへ構造化され、さらに２
   つの相続く画像の相応のブロックが互いに減算されるよ
   うにし、 １ｂ）　　第１手段（Ｉ）により発生された差画像を後
   処理するための第２の手段（ＩＩ）を備えており、１ｃ
   ）　　比較手段（ＩＩＡ）を備えており、該比較手段に
   より各々の差画像が、１つのブロックの複数個の画点の
   基準の和が第１の閾値を上回わるか否か、およびこのブ
   ロックの、第２の閾値を上回わる基準を有する画点の個
   数が所定の個数を上回わるか否かが検査されるようにし
   、 １ｄ）　　シミュレーション手段（ＩＩＢ）を備えてお
   り、該シミュレーション手段により、１つの差画像が、
   複数個の状態ビットから成る１つの状態画像へシミュレ
   ーションされるようにし、このシミュレーションの場合
   、前記の検査に肯定的な答を出した各々のブロックが第
   １の２進値を有する状態ビットへシミュレーションされ
   るようにし、さらに前記の検査に否定的な答を出した各
   々のブロックが、第１の２進値とは反対の第２の２進値
   へシミュレーションされる形式の回路装置において、１
   ｅ）　　変換手段（ＩＩＣ）が設けられており、該変換
   手段により、第１の２進値を有する状態画像の領域が１
   次元の特性関数へ変換されるようにし、この変換の場合
   、状態画像の１つの行または１つの列内のこれらの状態
   ビットの個数が行数または列数の関数として求められる
   ようにし、 １ｆ）　　折りたたみ手段（ＩＩＤ）が設けられており
   、該折りたたみ手段により、特性関数を正規化し、補助
   関数を用いて折りたたむようにし、この場合この補助関
   数は、特性関数の理想的なパターンを有する折りたたみ
   積分が所定の理想的な値を取るように設計されており、
   さらに前記折りたたみ手段により、所定の許容範囲内に
   ある実際の折りたたみ積分の値が理想的な値と一致する
   時にだけ識別信号を送出するようにし、 １ｇ）　　マーキング手段（ＩＩＥ，ＩＩＦ）が設けら
   れており、該マーキング手段により、識別信号が送出さ
   れた場合に、各々の行内の第１の２進値を有する状態ビ
   ットの重心を求めるようにし、これらの重心の全部を垂
   直の中心軸を定めるために用いるようにし、さらに状態
   画像の、中心軸により半分にされかついちばん上の重心
   を周辺点として含む所定の顔面内にある全部の点をマー
   キングするようにしたことを特徴とする、ビデオ画像の
   シーケンスにおける人の顔を識別するための装置。
2. 【請求項２】　　第１のフィルタ手段（１３〜２０）が
   状態画像を次のように変化させる目的で設けられており
   、即ち同じ２進値を有する隣り合う状態ビットの個数が
   所定の限界を下回わる時に、第１の２進値を有する状態
   ビットが反転されるようにした請求項１記載の回路装置
   。
3. 【請求項３】　　平滑化手段が状態画像を次のように変
   化させる目的で設けられており、即ち少なくとも２つの
   相続く画像の互いに対応する状態ビットがオア結合によ
   り１つの新たな状態ビットへ結合されるように変化され
   る、請求項１又は２記載の回路装置。
4. 【請求項４】　　第２のフィルタ手段（２８〜４１）が
   状態画像を次のように変化させる目的で設けられており
   、即ち ４ａ）　　第１の２進値を有する、１つの続いている領
   域を形成する状態ビットの状態ビットの個数を求めて記
   憶するようにし、 ４ｂ）　　１つの続いている領域の全部の状態ビットが
   、領域に依存する同じマーキングを得るようにし、４ｃ
   ）　　求められた個数を大きさに応じて分類するように
   し、 ４ｄ）　　２番目に大きい領域の大きさが最大の領域の
   所定の部分を下回わるか否か検査するようにし、４ｅ）
   　　下回わる場合は、２番目のおよびそれに続く全部の
   領域の状態ビットを反転するようにし、下回わらない場
   合は、顔が存在しないものとして通報するようにした請
   求項１から３までのいずれか１項記載の回路装置。
5. 【請求項５】　　メジアン・フィルタ手段（５２）が、
   １次元の特性関数をメジアン濾波作用により平滑化する
   目的で設けられている請求項１から４までのいずれか１
   項記載の回路装置。
6. 【請求項６】　　手段（ＩＩＧ）が設けられており、該
   手段により、顔面に相応するビデオ画像の面が連続番号
   の付された、領域の個数へ次のように分解されるように
   し、即ち ６ａ）　　１つの領域の画点が全部、同じ階級の画像デ
   ータの中へ含まれるようにし、さらに前記の手段により
   、６ｂ）　　これらの領域の大きさおよび重心が定めら
   れるようにした請求項１から５までのいずれか１項記載
   の回路装置。
7. 【請求項７】　　手段（ＩＩＨ）が次の目的で設けられ
   ており、即ち ７ａ）　　重心からのトリオの距離を定める目的で、７
   ｂ）　　このトリオの全部の重心の位置およびトリオの
   連結肢の長さの関係を、顔の目と口のモデルデータと比
   較することにより検査する目的で、 ７ｃ）　　検査が肯定的な答を与えた重心トリオの後続
   の重み付けを、人の顔の目と口の幾何学的、色彩的、お
   よびダイナミックな特性を用いて行なうようにし、さら
   に７ｄ）　　全部の重み付けの最適値の中に存在するト
   リオを選択する目的で、前記手段が設けられている請求
   項６記載の回路装置。
8. 【請求項８】　　手段（ＩＩＩ）が次の目的で設けられ
   ており、即ち相続く少なくとも２つの所定の最適な３点
   が所定の許容限界内で一致するか否かを検査する目的で
   、さらに一致した場合は、モデルデータによれば人の顔
   に所属する全部の画点を設定する目的で設けられている
   請求項７記載の回路装置。