JPH08272948A

JPH08272948A - 顔面イメージ処理方法及び装置

Info

Publication number: JPH08272948A
Application number: JP8076985A
Authority: JP
Inventors: Ansonii Sumisu; スミス・アンソニー; Yutaka Sako; 裕酒匂; Arisuta Sazarando; サザランド・アリスタ; Masahiro Abe; 正博阿部
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-03-31
Filing date: 1996-03-29
Publication date: 1996-10-18
Also published as: EP0735510B1; DE69524204T2; EP0735510A1; DE69524204D1

Abstract

(57)【要約】【課題】本発明の目的は、より有効な多能出力を得る
ためイメージ信号の付加処理を行なう方法及び装置を提
供することにある。【解決手段】カメラ（１０）が主題の顔面イメージを
捕捉し、ユニット（３０）が特徴抽出データを含むトラ
ッキング信号を発生する。メモリストア（４０）に関連
して、ユニット（３０）は主題の顔面の特徴をもつ代用
顔面を表す出力信号を発生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はイメージ処理方法及
び装置に関し、より詳しくは、主題の顔面イメージ信号
を受け、主題の顔面特徴の位置を表示する特徴抽出トラ
ッキング信号を発生し、且つトラッキング信号を処理し
て処理信号出力を得ることができる方法及び装置に関す
る。

【０００２】

【従来の技術】１９９３年１１月２３日〜２５日に日本
の大阪で開催されたコンピュータビジョンに関する１９
９３年ＡＣＣＶアジア会議（ACCV '93 Asian Conferenc
e on Computor vision) において頒布された長谷川等の
論文「対話型視覚インターフェースのための無制約環境
におけるリアルタイム顔面イメージ認識（"Realtime Fa
cial Image Recognition in Unconstrained Environmen
t for Interactive Visual Interface")」（第７６３〜
７６６頁）には、目及び鼻等の特徴をエッジとして抽出
する装置（システム）の概要が開示されている。特徴抽
出トラッキング信号は、顔面特徴の統合のため又はアイ
コンタクトのモニタリングのため処理される。特徴抽出
は特徴エッジのモニタリングを含むため、有効情報の量
は制限されると思われる。上記論文には、いかにして装
置が作動するかを説明する技術的情報は殆どないけれど
も、ＲＧＢ色情報が計算されることは述べられている。
一般に、ＲＧＢカラー情報を使用するとイメージ処理回
路が高度に複雑化する。

【０００３】１９８９年７月１８日〜２０日にWarickで
開催されたイメージ処理及びその応用に関する第３回国
際会議（Third International Conference on Image Pr
ocessing and its Applications)で頒布され且つＩＥＥ
会議刊行物第３０７号として刊行されたJ.F.S. Yau及び
N.D. Duffyの論文「モデルベース型コーディングアプリ
ケーションにおける運動パラメータ評価を行なう特徴ト
ラッキング法（"A Feature Tracking Method for Motio
n Parameter Estimation in a Model-Based Coding App
lication")」（第５３１〜５３５頁）には、顔面トラッ
キング法が記載されている。この方法には、イメージシ
ーケンスにより目、鼻及び口をトラッキングすることを
含む第１フェーズがある。これは、第１フレーム内に顔
面特徴を配置し、次に該顔面特徴をブロックサーチ技術
及び符号表技術を用いて連続フレームに亘ってトラッキ
ングすることにより達成される。第１トラッキングフェ
ーズの結果は、時相軸（temporal axis)に沿うイメージ
シーケンスについての顔面特徴ボックスのトラジェクト
リ（軌跡）の記述である。次に、運動パラメータ評価を
含む第２フェーズがあり、これにより、各フレームにつ
いての顔面特徴ボックスの空間分布が解釈され、位置及
び方向の評価が得られる。このようにして、顔面運動の
ダイナミックスが、３次元モデルベース型イメージコー
ディング方式に適用できるようにパラメータ化される。

【０００４】出力信号は、特徴抽出情報をもつ顔面イメ
ージを表す。この従来の方法は、ひとたび特徴のトラッ
キングを喪失するとこれを再配置することが困難である
ため、使用に耐えられないと思われる。また、ボックス
の相互関係はフレーム毎に分析されるため、処理は必然
的に複雑になる。

【０００５】日本国特許明細書第02141880号（グラフィ
ック通信技術）には、イメージ信号を格子状領域に分割
し、各領域を別々に分析する装置が開示されている。評
価が単一イメージについて行なわれ且つフレームからフ
レームへの処理は行なわれず、装置の目的はイメージの
顔面を識別することにある。

【０００６】日本国特許明細書第63142986号（ＮＥＣ）
には、口運動の検出によりイメージの顔面領域を検出す
る装置が開示されている。この装置の示唆する用途は、
顔面のイメージを得て、該イメージを清潔な衣服の絵の
上に重ねることである。従って、これらの装置では特徴
抽出が制限され、このため殆ど多様性がない。

【０００７】一般に、従来技術は、限定された特徴抽
出、及び種々の用途についての非常に限定されたポスト
抽出処理範囲を開示しているといえる。

【０００８】

【発明が解決しようとする課題】本発明は、より有効な
多能出力を得るためイメージ信号の付加処理を行なう方
法及び装置を提供することに関する。

【０００９】本発明の他の目的は、これらの出力をリア
ルタイムで得ることにある。

【００１０】本発明の更に別の目的は、イメージ処理方
法を実施するのに必要なハードウェアの複雑さを抑える
ことにある。

【００１１】

【課題を解決するための手段】本発明は、トラッキング
信号発生後の処理ステップ、すなわち、代用顔面を表す
イメージ信号を発生するサブステップと、トラッキング
信号に従ってリアルタイムで前記代用顔面イメージ信号
を修正して、主題の顔面の特徴をもつ代用顔面を表す出
力信号を発生するサブステップとからなる処理ステップ
に特徴を有する。

【００１２】この処理方法は高度の多能性を与える。例
えばセキュリティの用途において、見る者を欺くため
に、リアルな代用顔面の信号を発生することができる。
或いは、例えば映画プロダクションのために、動画化さ
れた顔面を創成することができる。

【００１３】一実施例では、出力信号は、トラッキング
信号に応答して更新イメージメモリから転送された画素
値を重ね書きすることにより修正された出力イメージメ
モリから伝達され、更新イメージメモリはフレーム間の
画素変更を記憶することが好ましい。

【００１４】他の実施例では、更新の転送が、更新イメ
ージメモリのアドレスへのポインタを有するルックアッ
プテーブルに従って制御される。

【００１５】他の実施例では、トラッキング信号は、顔
面特徴の位置的特徴を表す顔面特徴信号に変換され、好
ましくは顔面特徴信号がベクトル信号であり、更新イメ
ージメモリの画素変更データは、現在の特徴信号と前の
特徴信号とを比較することにより選択される。理想的に
は、前の特徴信号は専用レジスタに記憶される。

【００１６】他の実施例では、更新イメージメモリは、
３つのフィールドすなわち、データ要素の位置の表示、
出力イメージメモリの位置のアドレスをもつ第２フィー
ルド、及び画素のカラー値をもつ第３フィールドのデー
タ要素を記憶する。

【００１７】別の実施例では、代用顔面イメージ信号を
発生するステップは、イメージメモリから初期イメージ
を検索するステップと、次に、トラッキング信号に従っ
て前記初期イメージを更新するステップとからなり、好
ましくは、初期イメージが、初期化時に、初期イメージ
メモリから出力イメージメモリに転送される。

【００１８】一実施例では、トラッキング信号が、主題
の顔面イメージ信号をＨ、Ｓ、Ｖフォーマットで発生
し、該Ｈ、Ｓ、Ｖフォーマット信号の少なくとも２つの
成分を帯域通過フィルタに通し、フィルタの出力信号を
主題の顔面イメージ画素領域上にマッピングし、フィル
タの出力信号のマッピングに従って、画素領域内に特徴
位置を決定することにより発生される。

【００１９】この実施例では、顔面領域を最初に検出
し、次に、検出された顔面領域内で口及び目の検出を行
なう。好ましくは、顔面領域を検出するのに、主題の顔
面イメージ信号のＨ成分及びＳ成分のみを処理する。一
実施例では、前記処理が、帯域通過濾過を行い、その後
にフィルタ出力を画素領域上にマッピングすることから
なる。

【００２０】他の実施例では、口の検出が、検出した顔
面領域内で主題のイメージ信号のＳ成分及びＶ成分を処
理することにより行なわれる。

【００２１】好ましくは、目の検出を行なうのに、主題
のイメージ信号のうちのＶ成分のみを処理する。他の実
施例では、Ｖ成分が正規化され且つ目の検出が相関付け
により行なわれる。

【００２２】他の態様によれば、本発明は、主題の顔面
イメージ信号を受けるステップと、顔面イメージ信号の
特徴を抽出してトラッキング信号を発生するステップ
と、該トラッキング信号を、主題の顔面の特徴の位置的
特徴を表す顔面特徴信号に変形するステップと、初期代
用イメージを出力イメージメモリに書き込むステップ
と、更新イメージメモリから転送される画素値を重ね書
きすることにより出力イメージメモリを修正するステッ
プとを有し、前記転送が顔面特徴信号に応答して制御さ
れることを特徴とするイメージ処理方法を提供する。

【００２３】更に別の態様によれば、本発明は、主題の
顔面イメージ信号を受ける手段と、特徴抽出トラッキン
グ信号を発生する手段と、前記トラッキング信号を処理
して処理出力信号を作る手段とを有するイメージ処理装
置において、前記トラッキング信号を処理する手段が、
代用顔面を表すイメージ信号を発生する手段と、トラッ
キング信号に従ってリアルタイムで代用顔面イメージ信
号を修正して、主題の顔面の特徴をもつ代用顔面を表す
出力信号を発生する手段とからなることを特徴とするイ
メージ処理装置を提供する。

【００２４】一実施例では、前記処理手段は、出力イメ
ージメモリと、更新イメージメモリと、トラッキング信
号に応答して更新イメージメモリからの画素値を転送す
ることにより前記出力イメージメモリを修正する手段と
からなる。

【００２５】理想的には、更新イメージメモリが、フレ
ーム間の画素変更を記憶する。

【００２６】他の実施例では、前記処理手段が、トラッ
キング信号を、顔面特徴の位置的特徴を表す顔面特徴信
号に変換する手段からなる。

【００２７】別の実施例では、顔面特徴信号はベクトル
信号である。

【００２８】更に別の実施例では、前記処理手段が、特
徴データをモニタリングすることにより装置の作動中に
学習し且つ次に特徴の確認の補助をすべくフィードバッ
クする神経回路網デバイスを備えている。

【００２９】他の態様では、本発明は、主題の顔面イメ
ージ信号を受ける手段と、顔面イメージ信号の特徴を抽
出してトラッキング信号を発生する手段とを有し、処理
手段が、該トラッキング信号を、主題の顔面の特徴の位
置的特徴を表す顔面特徴信号に変形する手段と、出力イ
メージメモリと、初期代用イメージを出力イメージメモ
リに書き込む手段と、更新イメージメモリと、顔面特徴
信号に応答して、画素値を、更新イメージメモリから出
力イメージメモリに転送することにより出力イメージメ
モリを修正する手段とからなることを特徴とするイメー
ジ処理装置を提供する。

【００３０】

【発明の実施の形態】本発明は、添付図面に関連して述
べる幾つかの実施例についての以下の説明からより明瞭
に理解されよう。

【００３１】図面特に図１を参照すると、本発明のイメ
ージ処理装置の全体が参照番号１で示されている。装置
１は、カメラ１０と、出力デバイスすなわちビデオモニ
タ２０とを有している。これらの両デバイス間に顔面変
更ユニット３０があり、該顔面変更ユニット３０の入力
はカメラ１０に、出力はビデオマルチプレクサ６０
（ａ）に接続されている。また、顔面変更ユニット３０
はビデオマルチプレクサ６０（ｂ）に出力信号を供給す
るように接続されており、ビデオマルチプレクサ６０
（ｂ）の出力はビデオモニタ２０に接続されている。従
って、顔面変更ユニット３０の出力は、ビデオマルチプ
レクサ６０（ａ）を介してビデオホンインターフェース
７０に入力されるか、直接モニタ２０に入力できる。装
置１はまた、顔面変更ユニット３０に接続されたメモリ
ストア４０を有している。メモリストア４０は、ビデオ
ホンインターフェース７０及び制御論理ユニット５０を
介して、又はビデオマルチプレクサ６０（ｂ）から入力
を受ける。また、カメラ１０は、顔面変更ユニット３０
をバイパスしてビデオマルチプレクサ６０（ａ）に接続
されている。

【００３２】簡単に説明すると、装置１の機能は、顔面
イメージをリアルタイムで捕捉して、出力を直接モニタ
２０に供給するか、主題と同じ顔面表情をもつ代用顔面
を表すイメージのビデオホンインターフェース７０を介
して遠隔装置に供給する。このようにして、主題すなわ
ちユーザは、彼（又は彼女）自身のイメージ又は代用イ
メージを出力するか否かを選択できる。代用顔面が選択
されるとき、当該イメージは、これが好ましいイメージ
であれば、見る者が主題のイメージであると信じる「リ
アル」顔面のイメージである。従って、本発明は用途の
範囲に高度の多能性を与え、例えば、主題の同一性（ア
イデンティティ）が秘密に保たれなくてはならないセキ
ュリティ関連の用途にも使用できる。また、本発明は、
所望ならば、動画化した顔面を出力することもできる。

【００３３】装置１の構成及び作動について、より詳細
に説明する。図２に示すように、顔面変更ユニット３０
は顔面構成部分検出ユニット３１を有し、該ユニット３
１は、トラッキング信号、メモリインターフェース３２
及びビデオ出力回路３３を発生する。この図面から明ら
かなように、メモリストア４０とのインターフェース
は、顔面変更ユニット３０の作動の切り離せない部分で
ある。

【００３４】顔面構成部分検出ユニット３１は、カメラ
１０からの入力ビデオ信号を取り入れ、イメージを捕捉
し、カラー領域モニタリングにより、口、目、瞳孔、眉
等の顔面構成部分を検出し、且つこれらの位置をイメー
ジ内に決定する。顔面構成部分検出ユニット３１の出力
は、顔面構成部分の１組の位置的パラメータをもつ特徴
抽出トラッキング信号である。これらのパラメータとし
て、下記のものがある。

【００３５】Ｍｌｘ、Ｍｌｙ、Ｍｈｘ、Ｍｈｙ：口ボックスを特定Ｓｌｘ、Ｓｌｙ、Ｓｈｘ、Ｓｈｙ：顔面ボックスを特
定ＬＥｘ、ＬＥｙ：左目位置を特定ＲＥｘ、ＲＥｙ：右目位置を特定ＲＰｘ、ＲＰｙ：右瞳孔位置を特定ＲＢｘ、ＲＢｙ：右眉位置を特定ＬＰｘ、ＬＰｙ：左瞳孔位置を特定ＬＢｘ、ＬＢｙ：左眉位置を特定これらのパラメータが発生される方法を以下により詳細
に説明する。

【００３６】メモリインターフェース３２は位置パラメ
ータを使用して１組の顔面特徴を発生し、これにより顔
面特徴の位置及び方向が表現される。これらの顔面特徴
として下記のものがある。

【００３７】Ｘ方向の口の開きＹ方向の口の開きＸ方向の顔面回転Ｙ方向の顔面回転Ｚ方向の顔面回転水平位置での目の方向垂直位置での目の方向眉の垂直位置メモリインターフェース３２の構成が図３及び図４に示
されており、ここには、種々の平均値回路、減算器回
路、減算／除算回路及び乗算回路が使用される。受け入
れた顔面構成部分の位置パラメータを顔面特徴に変換す
るメモリインターフェース３２の種々の部品により次の
機能が遂行される。

【００３８】初期化パラメータ唇セパレーション・ｙ＝Ｍｌｙ−Ｍｈｙ唇セパレーション・ｘ＝Ｍｌｘ−Ｍｈｘ平均目・ｘ＝（ＬＥｘ＋ＲＥｘ）／２平均目・ｙ＝（ＬＥｙ＋ＲＥｙ）／２平均瞳孔・ｘ＝（ＬＰｘ＋ＲＰｘ）／２平均瞳孔・ｙ＝（ＬＰｙ＋ＲＰｙ）／２オフセット目・ｘ＝平均目・ｘ−平均瞳孔・ｘオフセット目・ｙ＝平均目・ｙ−平均瞳孔・ｙオフセット左眉ｘ＝ＬＢｙ−平均目・ｙオフセット右眉ｙ＝ＲＢｙ−平均目・ｙオンラインパラメータ平均目・ｘ＝（ＬＥｘ＋ＲＥｘ）／２平均目・ｙ＝（ＬＥｙ＋ＲＥｙ）／２平均瞳孔・ｘ＝（ＬＰｘ＋ＲＰｘ）／２平均瞳孔・ｙ＝（ＬＰｙ＋ＲＰｙ）／２顔面中心・ｘ＝（Ｓｌｘ＋Ｓｈｘ）／２顔面中心・ｙ＝（Ｓｌｙ＋Ｓｈｙ）／２口中心・ｘ＝（Ｍｌｘ＋Ｍｈｘ）／２口中心・ｙ＝（Ｍｌｙ＋Ｍｈｙ）／２口関係・ｘ＝（顔面中心・ｘ−口中心・ｘ）／ボックス幅口関係・ｙ＝（口中心・ｙ−顔面中心・ｙ）／ボックス高さ目中心・ｘ＝（顔面中心・ｘ−平均目・ｘ）／ボックス幅目中心・ｙ＝（顔面中心・ｙ−平均目・ｙ）／ボックス高さ回転・ｚ＝（平均目・ｘ−口中心・ｘ）／１０回転・ｙ＝定数１* 口関係・ｙ回転・ｘ＝定数２* 口関係・ｘ左目・ｘ＝右目・ｘ＝（平均目・ｘ−平均瞳孔・ｘ−オフセット目・ｘ）* １０／４左目・ｙ＝右目・ｙ＝（平均瞳孔・ｙ−オフセット目・ｙ） * １０／１２左眉＝左眉・ｙ−平均目・ｙ−オフセット左眉右眉＝右眉・ｙ−平均目・ｙ−オフセット右眉口開度・ｘ＝（Ｍｌｘ−Ｍｈｘ−唇分離・ｘ）／ボックス幅口開度・ｙ＝（Ｍｌｙ−Ｍｈｙ−唇分離・ｙ）／ボックス高さオンラインパラメータを用いて計算される最後の９つの
変数（下線項目）は顔面ベクトルを構成する。顔面ベク
トルは、メモリインターフェース３２からメモリストア
４０に伝達され、ここで、顔面ベクトルは代用顔面の出
力イメージを構成するのに使用される。代用顔面は、今
度はメモリインターフェース３２により受けられ且つビ
デオ出力回路３３により出力される。

【００３９】図５に示すように、ビデオ出力回路３３
は、デジタルイメージデータを、ビデオモニタへの出力
のためのアナログビデオ信号に変換する。これは、変換
器３３０１を用いて行なわれる。この実施例では出力は
ＲＧＢであるが、任意の所望のビデオ出力フォーマット
を設けることができることは理解されよう。

【００４０】メモリストア４０は、メモリインターフェ
ース３２から顔面ベクトル信号を受け且つ主題の顔面特
徴をもつ代用顔面を表す出力イメージ信号を発生するも
のであり、装置１の極めて重要な部品である。図６に示
すように、メモリストア４０は、出力イメージメモリ４
０２と、初期イメージメモリ４０７と、更新すなわち画
素変更イメージメモリ４０６とを有する。更に、メモリ
ストア４０は、ルックアップテーブル（ＬＵＴ）４０４
とレジスタ４１０とを有し、これらの両者は、顔面ベク
トル信号を受けるためメモリインターフェース３２に接
続されている。ルックアップテーブル４０４はカウンタ
４０５に接続され、該カウンタは更新イメージメモリ４
０６に接続されている。更新イメージメモリ４０６は、
出力イメージメモリ４０２のアドレス信号を発生するマ
ルチプレクサ４０１に接続されている。更新イメージメ
モリ４０６はまた、出力イメージメモリ４０２にデータ
信号を供給するマルチプレクサ４０８に接続されてい
る。アドレス発生器４０９もマルチプレクサ４０１に接
続されている。更にメモリストア４０は、イメージデー
タの伝達及び受信を行なうマルチプレクサ４０３を有し
ている。

【００４１】作動に際し、異なるリアル代用顔面及び／
又は動画化された代用顔面の種々の初期イメージが初期
イメージメモリ４０７に記憶される。更新イメージメモ
リ４０６は、２つのフレーム間の画素変更に関するデー
タを記憶する。作動の本質上、イメージはメモリストア
４０からランダムに選択されないこと、及び任意の個々
のイメージの後に少数組のイメージの１つが続くことが
考えられる。従って、１つの初期イメージから出発し
て、フレームからフレームへとどの画素が変更されたか
を簡単に特定することにより他の全てのイメージを構成
できる。このアプローチは、可能性のあるあらゆるイメ
ージを単に記憶するよりもメモリ条件が非常に少ないと
いう大きな長所を有する。

【００４２】作動に際し、アドレス発生器は、初期イメ
ージを出力イメージメモリ４０２にロードすることによ
り、出力イメージメモリ４０２を初期イメージで初期化
する。マルチプレクサ４０１、４０８は、制御信号Ｃｎ
ｔｒ１３、Ｃｎｔｒ１４及びＣｎｔｒ１５を用いて、初
期イメージを、初期イメージメモリ４０７から出力イメ
ージメモリ４０２にロードする。最初に、アドレス発生
器４０９には初期イメージメモリ４０７のスタート位置
がロードされ、全てのデータが初期イメージメモリから
出力イメージメモリ４０２に転送されるまで、アドレス
発生器４０９は、ＣＬＫを用いて全ての画素アドレスを
発生する。初期化後、更新イメージメモリ４０６によ
り、後の全てのイメージデータが与えられる。更新イメ
ージメモリ４０６に記憶されたデータは、データ要素
（各データ要素は３つのフィールドを有する）を有して
いる。最初のフィールドは単一ビットの大きさであり、
且つ現在のデータがイメージを更新するための連続画素
のうちの最後の画素であるか否かを表示するのに使用さ
れる。２５６×２５６のイメージが使用される場合に
は、第２フィールドは１６ビットの大きさの画素アドレ
スである。第３フィールドは２４ビットの大きさであ
り、画素のＲＧＢカラー値を表す。

【００４３】レジスタ４１０には時間Ｔ^-1についての顔
面ベクトルが記憶される。現在の顔面ベクトル及びＴ^-1
顔面ベクトルは、２つの顔面ベクトル間の特定画素変更
が記憶される更新イメージメモリ４０６の位置へのポイ
ンタを含むルックアップテーブル４０４のアドレスを形
成する。更新すべき画素のスタートへのポインタは、最
初に、更新イメージメモリ４０６へのアドレスとして使
用されるカウンタ４０５にロードされる。

【００４４】ルックアップテーブル４０４が更新イメー
ジメモリ４０６の位置への表示をするとき、この位置で
のデータ要素が検索され、且つ第２フィールドが、制御
信号Ｃｎｔｒ１５により制御されるマルチプレクサ４０
１を介して出力イメージメモリ４０２のアドレスバスに
送られる。同様に、第３フィールドのデータが、制御信
号Ｃｎｔｒ１３により制御されるマルチプレクサ４０８
を介して出力イメージメモリ４０２のデータバスに送ら
れる。制御信号Ｃｎｔｒ１１を使用して、この状態を書
き込むように出力イメージメモリ４０２を設定する。次
にカウンタ４０５が増分され、「１」に設定された第１
フィールドのビットに出合うまで、このプロセスが反復
される。このビットは、出力イメージメモリ４０２の全
ての画素が更新されたことを表示すべく、装置１の制御
論理ユニット５０に制御信号を供給する。この時点で、
アドレス発生器４０９が出力イメージメモリ４０２の第
１画素に初期化され、次に、このイメージがイメージメ
モリ４０４からメモリインターフェース３２に読み出さ
れるように増分される。制御信号Ｃｎｔｒ１１は読取り
サイクルを表示するのに使用され、マルチプレクサ４０
１、４０３は、制御信号Ｃｎｔｒ１２、Ｃｎｔｒ１５を
用いて、データがメモリインターフェース３２に出力さ
れるように設定される。

【００４５】メモリストア４０が作動するこの方法、よ
り詳しくは、画素変更のみが使用されるという事実か
ら、非常に小さなメモリでよいことが理解されよう。ま
た、この特徴により高速処理ができ且つリアルタイムで
作動できる。

【００４６】ここで図７を参照すると、顔面構成部分検
出ユニット３１がより詳細に示されている。上記のよう
に、該ユニット３１の機能は、顔面ベクトルを発生させ
るべくメモリインターフェース３２により使用される顔
面構成部分位置パラメータの値をもつ特徴抽出トラッキ
ング信号を供給することである。顔面構成部分検出ユニ
ット３１は、異なる５つの特徴抽出トラッキング信号、
すなわちＡ、Ｂ、Ｃ、Ｄ、Ｅを供給する。

【００４７】Ａ出力は口の座標を表し且つ次のデバイス
により供給される。

【００４８】帯域通過デバイス３１０２クロップ画像（ｃｒｏｐｐｉｃｔｕｒｅ）デバイス３
１１０平滑化デバイス３１１１ＸＹ射影デバイス３１１２最大値見出しデバイス３１１３境界ボックスサーチデバイス３１１４出力Ｂは顔面ボックスを特定し且つ次のデバイスにより
供給される。

【００４９】帯域通過デバイス３１０３ＸＹ射影デバイス３１０７最大値見出しデバイス３１０８境界ボックスサーチデバイス３１０９クロップ画像デバイス３１０４、最大値／最小値見出し
デバイス３１０５及び濃度階調正規化デバイス３１０６
は、残りの出力Ｃ、Ｄ及びＥの前処理正規化を行なう。
出力Ｃは、左右の目の位置を表し且つアイテンプレート
と最小値検出デバイス３１１６とを相関付けるデバイス
３１１５により供給される。

【００５０】出力Ｄは右側の瞳孔及び眉を特定し且つ右
目検出デバイス３１１７により供給される。最後に、出
力Ｅは、左側の瞳孔及び眉の位置を表し且つ左目検出デ
バイス３１１８により発生される。

【００５１】変換器３１０１は、入力としてビデオ信号
（ＲＧＢ、合成等）を取り入れ且つＨＳＶカラー領域内
に表される色のデジタル値を出力する。この出力は帯域
通過デバイス３１０２、３１０３及び前処理正規化デバ
イス３１０４〜３１０６に導かれる。帯域通過デバイス
３１０２は口色を検出し且つ帯域通過デバイス３１０３
は肌色を検出する。肌色検出信号は顔面位置検出デバイ
ス３１０７、３１０８及び３１０９に導かれ、該デバイ
スはイメージ中に顔面位置を与えるボックスを作る。顔
面ボックス座標は口位置検出デバイス３１１０〜３１１
４に導かれ、該デバイスは、顔面ボックス領域をサーチ
してイメージ中に口の位置を決定する。もちろん、口位
置が顔面ボックス内に見出されるように考えることもで
きる。

【００５２】前処理正規化デバイス３１０４〜３１０６
は、このイメージを目位置検出デバイス３１１５、３１
１６及び瞳孔及び眉位置検出デバイス３１１７、３１１
８に出力する前に、顔面ボックス中の画素を正規化す
る。この目的は、目位置検出の相関付けの結果の精度を
高めることにある。目位置検出デバイス３１１５、３１
１６は、正規化されたイメージの顔面領域と予め記憶さ
れているアイテンプレートとを相関付けて目の位置を決
定し、且つイメージ中に目位置を特定する２つのＸ、Ｙ
座標を作る。これらの目位置座標は瞳孔及び眉位置検出
デバイス３１１７、３１１８に導かれ、該デバイスはこ
れらの座標を使用し、各目についての瞳孔及び眉位置を
得るため後処理される各目の回りの領域を得る。ユニッ
ト３１の作動の重要な特徴は、帯域通過デバイスが、Ｈ
Ｖデータを濾過して、肌及び顔面のカラーテンプレート
に存在することが証明されているデータのみを通過する
ように作動することである。

【００５３】ここで図８〜図２３の種々の図面を参照し
て、デバイス３１０１〜３１１８をより詳細に説明す
る。

【００５４】図８に示すように、カラー変換デバイス３
１０１は、各Ｒ、Ｇ及びＢ成分についてのＡＤ変換器
（ＡＤＣ）と、ルックアップテーブル（ＬＵＴ）とを有
しており、これらは全てＲＧＢ／ＨＳＶルックアップテ
ーブルに接続されている。この変換には、当業者に知ら
れた幾つかの異なる実施方法がある。

【００５５】入力段は、Ｓ及びＶ成分が口検出フィルタ
３１０２に向けられ且つＨ及びＳ成分が顔面検出フィル
タ３１０３に向けられる構成を有する。かくして、これ
らの一連の各回路は２つの成分のみを処理すればよく、
従って非常に簡単である。本質的に波長データであるＨ
（色相）とＳ（彩度）との組合せは肌の検出に特に有効
であることが判明している。また、Ｓ及びＶ（明度）成
分は、既に識別された顔面（肌）領域内の口領域を判定
するのに特に有効である。

【００５６】帯域通過デバイス３１０２の目的は、Ｓ、
Ｖデータを濾過し且つ口のカラーテンプレートに存在す
ることが証明されているデータのみを通過させることで
ある。デバイス３１０２は図９に回路形態で示されてお
り且つルックアップテーブルとして実施される。これ
は、オフラインプログラミングされるＳＲＡＭで構成で
きるし、或いはプロダクションプログラミングされるＰ
ＲＯＭで構成することもできる。デバイス３１０２は、
顔面領域の検出を行なうフィルタ３１０３と同じ構造を
有している。

【００５７】一連の口及び顔面処理回路の各々につい
て、Ｈ、Ｓ及びＶ成分のうちの２つの成分を受け入れる
上記特徴は重要である。これにより、一般に従来のＲ、
Ｇ、Ｂ装置に必要とされている非常に大きいメモリを用
いる必要性及び背景射影する必要性をなくすことができ
る。その代わり、帯域通過フィルタ３１０２、３１０３
が使用される。２つの成分（口領域についてはＳ、Ｖ及
び顔面についてはＨＳ）がルックアップテーブルのアド
レスを形成し、ルックアップテーブルは各アドレスの値
を記憶する。テーブルの値は、口及び顔面の基準パター
ンによりオフラインで発生される。値は、その最も簡単
な態様で、特定Ｓ、Ｖ又はＨ、Ｓの組合せについてＹＥ
Ｓ又はＮＯ表示を与えるビットレベルにすることができ
る。ＸＹ射影デバイス３１１２、３１０７は、検索され
たテーブル値を画素領域上にマッピングし且つＸＹ射影
を発生することにより、次の基本的処理ステップを遂行
する。ひとたびこれがなされると、次の最大限度見出し
ステップ及び境界ボックスサーチステップを容易に実施
できる。

【００５８】簡単化するため、画素領域についての帯域
通過濾過及びＸＹ射影は基本的ステップであり、簡単な
回路により実施できる。また、下流側ステップは非常に
容易に実施できる。

【００５９】クロップ画像デバイス３１１０の目的は、
該デバイスがデバイス３１０９から顔面領域情報を受け
るときに、イメージ処理の仕事を顔面位置検出セクショ
ンにより決定される領域のみに限定することにある。こ
のようにするには２つの理由がある。第１の理由は、僅
かのイメージが処理されるに過ぎないため、所与の時間
内に処理できるフレーム数を増大できるからである。第
２の理由は、画像の他の部分の明るい光源のような外部
の影響及びランダムなバックグラウンドノイズによる影
響を受けることなく、正規化のような局部的作動を顔面
領域のみに行い得るからである。これにより、アイトラ
ッキングのような仕事の精度を高める。

【００６０】図１１に示す平滑化デバイス３１１１の目
的は、デバイス３１１２〜３１１４によるイメージ処理
を進行させるときの口位置検出を補助することにある。
顔面位置検出段（３１０７〜３１０９）及び口位置検出
段（３１１０〜３１１４）は、幾つかの共通仕事すなわ
ちＸＹ射影、最大値見出し及び境界ボックスサーチを共
有する。しかしながら、口位置検出段は、顔面位置検出
段には示されていない２つの特別な仕事、すなわちクロ
ップ画像及び平滑化を有している。クロップ画像デバイ
ス３１１０の目的は前述の通りである。顔面位置検出段
に平滑化が存在しない理由は、顔面について行なわれる
仕事は顔面構成部分の識別及び位置決めにあるからであ
る。これは、顔面が入力イメージにおいて大きな領域を
占めることを意味する。あらゆるイメージ処理の仕事に
おいて、例えばアナログデータ／デジタルデータの変換
の不正確さ、外部光源からのストロボ効果、ガラスから
の偏光等の種々の要因による一定レベルのバックグラウ
ンドノイズがある。これらは、処理されるイメージにノ
イズを付加する。顔面領域の検出において、肌は入力イ
メージの大きな割合を占めるので、肌に属するものと識
別されるかなりの数の画素がある。従って、バックグラ
ウンドノイズは、顔面位置検出から得られる結果に殆ど
又は全く影響を与えない。しかしながら、口は非常に小
さな領域を占めるため、口位置検出段から正しい結果を
得ることに関しバックグラウンドノイズは非常に大きい
影響を与えるであろう。口画素が肌画素と間違えられる
（及びこの逆の）蓋然性が高く且つ口領域の検出に影響
を与える。しかしながら、顔面位置検出の場合には、口
領域が顔面領域内にあるので、口画素が肌画素と間違え
られる事実が、実際には顔面領域の位置決めに役立つ。
しかしながら、口位置の検出には逆のことがいえる。こ
の問題の解決を補助するため、イメージは、イメージ処
理ステップを更に遂行する前に平滑化される。バックグ
ラウンドノイズは事実上ランダムでありイメージ上にラ
ンダムに生じると考えられるのに対し、口画素の認識は
単一領域に高度に集中される。領域全体に亘って平均化
することにより、認識が高度に集中される領域を増強す
ると同時に、バックグラウンドノイズの効果が低減され
る。デバイス３１１１より後の原理は、８×８領域内の
全ての画素を平均化し且つこの結果を中央の画素位置に
定めることである。この回路の作動及びその基礎となる
原理は当業者に理解されよう。この結果得られるイメー
ジは入力イメージを平滑化したものである。

【００６１】平滑化されたイメージには、デバイス３１
１２〜３１１４、すなわちＸＹ射影、最大値見出し及び
境界ボックスサーチにより更にイメージ処理の仕事が行
なわれる。これらのデバイスは、顔面検出段のデバイス
３１０７〜３１０９と同様に機能し、以下に詳細に説明
する。デバイス３１１４からの出力は、入力イメージ内
の口が位置する領域を形成するボックスを表示する信号
である。

【００６２】図１２に示すデバイス３１０７の目的は、
デバイス３１０３から出力されたイメージにＸＹ射影し
て、画素領域上にフィルタ出力を有効にマッピングする
ことにある。デバイス３１０７は同じ態様で作動する２
つのセクションに分割でき、左側のセクションはＸ射影
データを評価し、右側のセクションはＹ射影データを評
価する。この回路は、Ｘ射影データの記憶に使用される
２５６×１６ビットＳＲＡＭと、ＳＲＡＭのデータバス
にアービトレートアクセスするマルチプレクサと、ＳＲ
ＡＭのアドレスバスにアービトレートアクセスするマル
チプレクサと、射影データに加算を遂行する加算器と、
中間データ記憶として機能するレジスタとを有してい
る。この回路は次のように機能する。ＳＲＡＭは、全て
のビットをゼロに設定すること、すなわち、あらゆるＸ
Ｙ射影の開始時にクリアすることが考えられるけれど
も、この機能は図示されていない。また、最大イメージ
サイズは２５６×２５６画素であるが、当業者には、こ
の回路をより大きなイメージの処理に適合させることが
可能である。画素データはＩ／Ｐ画素データを介して回
路に入力され、各画素のアドレスは行加算器及び列加算
器を介して入力される。行加算器信号がＳＲＡＭに影響
を与え且つＳＲＡＭから加算器にデータを読み込むこと
ができるように両方向バッファを構成すべくセレクトラ
インを設定することが考えられる。行加算器は、現在の
Ｘ射影値をＳＲＡＭから加算器回路に読み込む。加算器
は、ＳＲＡＭからのデータと一緒にＩ／Ｐ画素データの
データを加算し且つこの結果をレジスタに入れる。次
に、両方向バッファを、レジスタからのデータをＳＲＡ
Ｍに書き込み、新しい結果を記憶するように構成する。
次に、次の画素値が回路に入力され、新しい行加算器信
号を使用して適当なＸ記憶位置をセレクトする。このプ
ロセスは、イメージ中の全ての画素が処理されるまで反
復される。セレクトスイッチを切り換えることにより、
外部行加算器がＳＲＡＭに影響を与えることができるよ
うにすれば、最終Ｘ射影値を読み取ることができる。Ｙ
射影の作動はＸ射影と平行して行なわれる。

【００６３】図１３に示すデバイス３１０８の目的は、
Ｘ射影データ及びＹ射影データの最大値を見出して、顔
面領域内にあるＸ位置及びＹ位置を見出すことができる
ようにすることにある。デバイス３１０８は、互いに平
行して処理し且つ同じ態様で作動する２つのセクション
に分割できる。この回路の基本的原理は、ＣＭＰ（比較
器）を用いて、各最終射影値とレジスタＡに記憶された
最大値とを比較することである。射影データ値の方がレ
ジスタＡの値より大きい場合には、レジスタＡに新しい
値が記憶されると同時に、レジスタＢには列アドレスが
記憶される。ＸＹ射影デバイス３１０７からのデータは
連続的に読み取られ且つレジスタＡ及びＣＭＰに影響を
与え、一方、射影値のアドレスがレジスタＢに影響を与
える。レジスタＡの出力もＣＭＰに出力され、該ＣＭＰ
でレジスタＡの内容と射影Ｘの値とが比較される。この
結果、射影値の方がレジスタＡの内容より大きい場合に
は、画像ＣＬＫに関連する信号が発生され、該信号はレ
ジスタＡに新しいデータ値をロードすると同時に画素の
アドレスをレジスタＢにロードする。このプロセスは、
Ｘ（Ｙ）射影値について反復される。レジスタＡ、Ｂに
残っている値は、最大射影値及びこれが生じる位置を示
す。

【００６４】図１４に示すデバイス３１０９の目的は、
肌領域を包囲する境界ボックスの限界を決定することに
ある。この領域は、次のイメージ処理仕事に使用され
る。この回路は２つの同じセクションに分割でき、左側
は境界を見出すセクション、右側はＹ境界を見出すセク
ションである。この回路はデバイス３１０８からの情
報、すなわち最大Ｘの位置、最大Ｘ、最大Ｙ位置及び最
大Ｙを使用する。回路を作動すると、最大Ｘを用いたＸ
データの閾値ＸＴＨ及び最大Ｙを用いたＹデータの閾値
ＹＴＨが得られる。これは、最大Ｘ（Ｙ）に、１より小
さい定数を掛けることにより達成される。この定数（乗
数）はＸデータとＹデータとで異ならせることができ
る。次の段は下方境界を決定することにある。最大Ｘ位
置でスタートし且つその位置を反復して減分（ｄｅｃｒ
ｅｍｅｎｔｉｎｇ）すると同時に、この新しい位置での
Ｘ射影データが閾値ＸＴＨより小さいか否かをチェック
することにより、Ｘ射影データが閾値を下回る点を見出
すことができる。これが、Ｘの下方境界である。最大Ｘ
位置でスタートし且つその位置を反復して増分（ｉｎｃ
ｒｅｍｅｎｔｉｎｇ）すると同時に、この新しい位置で
のＸ射影データが閾値ＸＴＨより小さいか否かをチェッ
クすることにより、Ｘ射影データが閾値を下回る点を見
出すことができる。これが、Ｘの上方境界である。Ｙ境
界の計算も同様な態様で行なわれる。回路の作動は次の
通りである。ＭＵＬＴにおいて、デバイス３１０８から
の最大Ｘデータに定数を掛け、その計算結果（ＸＴＨ）
がＣＭＰに導かれ、ここで、Ｉ／Ｐ射影Ｘデータからの
全てのデータがＸＴＨと比較される。最大Ｘの位置の値
（これもデバイス３１０８から得られる）は、デバイス
５０から生じるロード信号を用いてカウンタにロードさ
れる。また、デバイス５０は、ＲＳＡフリップフロップ
及びＲＳＢフリップフロップをリセット状態にリセット
する制御信号ＲＳＴ１及びＲＳＴ２を供給する。これ
は、デバイス３１０７での最終Ｘ射影値を探索するアド
レスを与える。デバイス３１０７のマルチプレクサは、
外部行加算器からのアドレスからのアドレスがＳＲＡＭ
に影響を与えるようにセットされる。このようにして、
Ｘ射影データの値がＳＲＡＭからデバイス３１０９に読
み取ることができる。デバイス３１０７からのデータは
Ｉ／Ｐ射影Ｘデータに到達し、ここでＸＴＨの値と比較
される。Ｉ／Ｐ射影ＸデータがＸＴＨより小さいことを
比較器（ＣＭＰ）の結果が示す場合には、ＲＳフリップ
フロップＲＳＡ、ＲＳＢを設定位置に入れる信号が発生
される。両フリップフロップＲＳＡが設定状態に置かれ
る点を閾値が超えたことを比較器（ＣＭＰ）が示すま
で、カウンタのアドレスが減分される。フリップフロッ
プからの信号は、レジスタＡに、Ｘの下方境界を表示す
る現在のカウンタ値をロードするのに使用される。次
に、カウンタには、再びロード信号を使用して最大Ｘの
位置がロードされる。このとき、カウンタを減分する代
わりに、カウンタは、データが再び閾値ＸＴＨを超える
まで増分される。このとき、ＲＳＢフリップフロップは
セット状態に置かれ、ＲＳＢフリップフロップの出力は
レジスタＢにカウンタの値（この値は、このときＸの上
方境界を表示する）をロードする。Ｙ射影の値について
の作動も同じである。このプロセスの終時に、デバイス
５０からの制御信号ＲＳＴ１、ＲＳＴ２を用いてフリッ
プフロップＲＳＡ、ＲＳＢがリセットされ、次のフレー
ムでもこのプロセスが反復される。

【００６５】この段では、顔面領域の境界ボックスが発
見され予備チェックを行なうことができる。ボックス領
域が極めて小さく、２０画素より小さい程度であること
が判明した場合には、イメージ内に顔面はなく、口及び
目を見出すイメージ処理の仕事の続行を中止できる。

【００６６】前処理正規化セクションは、デバイス３１
０４〜３１０６を使用している。前処理正規化セクショ
ンの目的は、相関付けを行なう前にイメージを正規化し
て、結果の精度を高めることにある。このセクションは
カラー情報に関してイメージ処理を行なわなず、濃度階
調イメージに関してイメージ処理を行なう。ＨＳＶビデ
オ規格のビデオ信号は、入力イメージの濃度階調表示で
ある。

【００６７】図１０に示すクロップデバイス３１０４の
目的は、イメージ処理仕事を、イメージ全体ではなく顔
面位置検出セクションにより決定される領域のみに制限
することにある。このようにする目的は前述した通りで
ある。

【００６８】最大値／最小値検出デバイス３１０５が図
１５の回路形態に示されている。このデバイスの目的
は、イメージ内の最大及び最小画素値を見出すことにあ
る。この情報はイメージ処理段で使用すべきものであ
る。デバイス３１０５は、２つのレジスタ（レジスタＡ
及びレジスタＢ）と、２つの比較器（ＣＭＰＡ及びＣ
ＭＰＢ）とを有する。レジスタＡ及びＣＭＰＡは最
大値を見出すのに使用されるのに対し、レジスタＢ及び
ＣＭＰＢは最小値を見出すのに使用される。入力イメ
ージからの画素データは、画素データ入力を介して連続
的に入力される。データは両レジスタ及び両比較器に影
響を与える。レジスタＡは最大値についての一時的記憶
領域として使用され、これに対しレジスタＢは最小値に
ついての一時的記憶領域として使用される。各フレーム
の開始時に、制御信号（ＣＬＲ）を介してユニット５０
により、レジスタＡは０に且つレジスタＢは２５５にセ
ットされなくてはならない。レジスタＡの出力はＣＭＰ
Ａに入力され、ここで入力データと比較される。入力
データがレジスタＡに記憶されたデータより大きいこと
を比較器（ＣＭＰ）Ａが示す場合には、比較器は、入力
画素データをレジスタＡにロードするロード信号を発生
する。比較器（ＣＭＰ）Ｂからの結果がレジスタＢに記
憶されたデータより小さいことを示す場合には、最小値
は、ロード信号を発生する比較器に同じ原理を使用す
る。入力イメージの全ての画素が回路を通して処理され
た後は、ＭＡＸＶＡＬＵＥで最大値が得られ且つＭＩ
ＮＶＡＬＵＥで最小値が得られる。次の入力イメージ
が処理される前に、レジスタはそれぞれの値に初期化さ
れなくてはならない。

【００６９】図１６には、濃度階調正規化デバイス３１
０６が回路の形態で示されている。この段の目的は、入
力イメージが全範囲の可能値すなわち０〜２５５を使用
するように入力イメージを変換する。デバイス３１０５
はイメージを処理し且つ最大値を見出した。８ビットの
濃度階調表示では、可能最小値は０であり、可能最大値
は２５５である。しかしながら、デバイス３１０５から
の結果は、フレームからフレームへと見出される最大値
及び最小値が可能最大値及び最小値とはならないことを
示すであろう。従って、入力イメージが全範囲の値に適
合するように入力イメージを変化させる方法を考えるの
が有効である。最も簡単な方法は、図１６に示すような
ルックアップテーブル３１０６８であり、８ビット入力
及び８ビット出力に対して２５６×８ビットメモリを必
要とする。最大値及び最小値はフレーム毎に変化するの
で、このルックアップテーブルもフレーム毎にプログラ
ミングしなければならない。ルックアップテーブルをプ
ログラミングするアルゴリズムは次の通りである。

【００７０】２５５≦ｘ＜最大係数（ｘ）＝２５５最大≦ｘ≦最小係数（ｘ）＝（整数）（２５５* （ｘ
−最小）／（最大−最小）最小＜ｘ≦０係数（ｘ）＝０ここで、値「最大」及び「最小」は、デバイス３１０５
により計算された最大値及び最小値をいう。最大及び最
小は０と２５５との間の値であって、最大＞最小でなく
てはならない。図１６は、デバイス３１０６の回路がデ
バイス３１０６１〜３１０６９で構成されていることを
示している。この回路は２つの作動モードを有してい
る。第１作動モードはルックアップテーブルの係数が計
算される作動モードであり、第２作動モードは、これら
の係数により入力イメージを正規化出力イメージに変換
する作動モードである。部品３１０６１〜３１０６７に
は、ＳＲＡＭ３１０６８に記憶される係数を計算するこ
とが含まれる。データは、セレクト制御信号を正しい状
態に設定することにより、画素データがアドレスとして
ＳＲＡＭに影響を与えることができるようにすることに
よって変形される。各フレームのスタート時に、ＬＵＴ
（ルックアップテーブル）の全ての位置がゼロに設定さ
れ、最小値が、部品３１０６１として示すカウンタにロ
ードされる。最大値と一緒に最小値がデバイス３１０５
から得られる。カウンタは、制御論理ユニット５０から
のロード制御信号を用いてロードされる。カウンタの出
力は比較器（ＣＭＰ）に入力され、該ＣＭＰはカウンタ
値と最大値とを比較する。カウンタの値が最大値より大
きい場合には、全ての係数がルックアップテーブルにロ
ードされていること、及び正規化プロセスをスタートで
きることを示す。比較器（ＣＭＰ）は、制御ユニット５
０に送られる「ＦＩＮＩＳＨＥＤ」と命名される制御信
号を出力する。係数の計算は３つのステップに分割され
る。第１ステップでは、２つの計算が平行して行なわれ
る。すなわち、（ａ）最小値−ｘここで、ｘは現在のカウンタの値で
ある。

【００７１】（ｂ）最大値−最小値次に、（ｃ）定数ｘ（１の結果）部品３１０６６を使用す
る。

【００７２】次に、（ｄ）（３の結果）／（２の結果）部品３１０６７を
使用する。

【００７３】定数の値は２５５に設定される。マルチプ
レクサ（ＭＵＸ）は、カウンタの出力がＳＲＡＭのアド
レスバスに影響を与えることができるように設定され
る。ＳＲＡＭへのＲ／Ｗラインが書込みを行なうように
設定することにより、除算部品３１０６７からの結果
が、カウンタ３１０６１により特定された場所でＳＲＡ
Ｍに書き込まれる。次にカウンタが増分され、且つ全て
の係数が計算され且つＳＲＡＭに記憶されたことを比較
器（ＣＭＰ）が表示するまでこのプロセスが反復され
る。この時点で、ルックアップテーブルは入力イメージ
を正規化する。セレクト信号は、画素データがＳＲＡＭ
のアドレスバスに影響を与えることができるように切り
換えられ且つＲ／Ｗ制御信号が読取りに切り換えられ
る。次に入力イメージがＳＲＡＭに与えられ、ここで、
入力イメージがルックアップテーブルにより変形され且
つ正規化画素データ段に出力される。全ての画素が変形
されると、カウンタには再び最小値がロードされ、全て
のＬＵＴ位置がゼロに設定され且つこのプロセスが反復
される。

【００７４】前処理正規化セクションの出力は、更に２
つのセクション、すなわち、目の位置を見出す目位置検
出段と、瞳孔及び眉位置を見出す瞳孔及び眉位置検出段
とに導かれる。

【００７５】目位置検出段は２つのデバイス、すなわ
ち、アイテンプレート相関付けデバイス３１１５及び最
小値見出しデバイス３１１６とを有している。目位置検
出は、一回目は左目用テンプレートを使用し、二回目は
右目用テンプレートを使用して２回処理される。

【００７６】図１７には、アイテンプレート相関付けデ
バイス３１１５が回路の形態で示されている。該デバイ
ス３１１５の目的は、入力イメージを、左右の目イメー
ジについて予め記憶された幾つかのテンプレートに相関
付けることにある。右目相関関係からゼロに最も近い結
果は右目の位置を表示し且つ左目相関関係からゼロに最
も近い結果は左目位置を表示する。相関関係付け回路
は、４ビットの精度のみを用いて、整数算術を行なう次
の数学的関数を実行する。

【００７７】

【数１】

【００７８】ここで、Ｐは入力イメージ、Ｔはテンプレ
ートイメージ、ｘ及びｙは入力イメージ内での位置イン
ジケータである。この式は、出力イメージにおける各画
素について計算される。

【００７９】アルゴリズムは、入力イメージの画素とテ
ンプレートイメージの画素との全ての差異の２乗を計算
する。入力イメージとテンプレートイメージとが同一で
ある場合には、結果はゼロとなり且つその結果はビット
数を付加することにより高められるけれども、より複雑
なハードウェアの実施を必要とする。

【００８０】式（１）は、次式を満たすのに必要な基本
イメージ処理ステップを示すため簡単化できる。

【００８１】

【数２】

【００８２】ここで、Ｔ（ｉ，ｊ）² は定数、Ｐ（ｉ，
ｊ）² は入力イメージの２乗された全ての画素の合計で
あり、Ｐ（ｉ，ｊ）Ｔ（ｉ，ｊ）は、入力イメージの全
ての画素とテンプレート画素の対応する画素との乗算及
び合計である。

【００８３】アルゴリズムは幾つかのステップに分割で
き、これらの幾つかは平行して遂行できる。

【００８４】（１）（ｉ，ｊ）² ｍを計算する。

【００８５】（２）Ｐ（ｉ，ｊ）Ｔ（ｉ，ｊ）を計算す
る。

【００８６】（３）（２）にＴ（ｉ，ｊ）² を加える。
ここで、Ｔ（ｉ，ｊ）² はオフラインで計算できる定数
である。

【００８７】（４）（３）から（２）を引く。

【００８８】これにより、計算が４つの基本ステップに
減少される。

【００８９】デバイス３１１５は部品３１１５１〜３１
１５６を有している。部品３１５１１及び３１１５３
は、１６×１６ビットの相関器、Ｐ（ｉ，ｊ）Ｔ（ｉ，
ｊ）を実行する部品３１１５１、及びＰ（ｉ，ｊ）² を
実行する部品３１１５３である。部品３１１５２は、相
関付ける前に、入力イメージ画素値をこれらの２乗値に
変換するルックアップテーブルとして使用される２５６
×８ビットＳＲＡＭである。これは、相関付けプロセス
を通じて数値的精度が維持されるようにするのに必要で
ある。

【００９０】相関付けから得られる結果は最小値見出し
デバイス３１１６に入力され、該デバイスにおいて、最
小値及び最小値の位置が見出される。デバイス３１１６
の回路が図１８に示されている。図１８から分かるよう
に、デバイス３１１６はデバイス３１０８と同様であ
り、両回路の作動は同一である。

【００９１】目位置検出段は、多数のアイテンプレート
を相関付けて最良の相関値を見出すことができるように
拡大できる。この形式の装置の実施は、当業者には明ら
かであろう。

【００９２】目位置検出装置からの最終出力は、入力イ
メージに左目の位置及び右目の位置を定める２つの画素
位置（ＬＥｘ、ＬＥｙ）及び（ＲＥｘ、ＲＥｙ）であ
る。

【００９３】右目検出及び左目検出を行なうデバイス３
１１７、３１１８（図１９）が瞳孔及び眉位置検出段を
構成する。瞳孔及び眉位置検出段の目的は、デバイス３
１０６からの平滑化されたイメージと一緒にデバイス３
１１６から得られる目の座標（ＬＥｘ、ＬＥｙ）及び
（ＲＥｘ、ＲＥｙ）を使用して左右両目についての瞳孔
及び眉の位置を見出すことである。

【００９４】図１９には、右目検出デバイス３１１７が
回路の形態で示されている。デバイス３１１７は部品３
１１７１〜３１１７５からなる。クロップ画像として知
られる第１部品は、中央画素として右目座標（ＲＥｘ、
ＲＥｙ）を用いて、関心領域を得るのに使用される。次
に、このサブイメージは、サブイメージにＸ射影を行な
うＸ射影として知られている部品３１１７２に出力され
る。部品３１１７２を実施するする回路が図２１に示さ
れている。部品３１１７２の機能は、デバイス３１０７
の機能と同一である。

【００９５】デバイス３１１７２からのデータは平滑化
デバイス３１１７３に導かれ、ここで、Ｘ射影データが
サブイメージの最上行から最下行に平滑化される。デバ
イス３１１７３を実施する回路が図２０に示されてい
る。この回路の原理は、４つの画素値について連続入力
流れを平均化して、出力が平均化された画素の流れとな
るようにすることである。平均化するため、画素がレジ
スタに記憶され、その出力が加算器に供給される。加算
器からの結果は、次に、シフタに出力され、該シフタ
は、４で割ったものに相当する２つの場所だけ、この結
果を右方にシフトする。次に、次の画素が回路に入力さ
れ且つ第１レジスタに記憶される。これと平行して、前
に記憶されたデータがレジスタ連鎖に沿ってシフトされ
る。次に、新しい平均が計算され且つ出力される。この
プロセスは、全てのＸ射影データが平滑化されるまで反
復される。

【００９６】次に、部品３１１７３からの平均化された
Ｘ射影データがデバイス３１１７４に導かれる。このデ
バイスの目的は、平均化されたＸ射影データを最上行の
値から最下行の値までサーチし、データに最大ピークを
見出すことにある。このピークは眉のｙ座標位置に一致
する。部品３１１７４を実施する回路が図２２に示され
ている。この回路の原理は、第（Ｎ＋１）番目のデータ
値が第Ｎ番目のデータ値より小さくなる位置を位置決め
することにある。なぜならば、これは、ピークに遭遇し
たことを示すからである。第（Ｎ＋１）番目及び第Ｎ番
目のデータ値はレジスタにより供給され、該レジスタの
出力は比較器に供給される。この比較器は前記データ値
を比較して、第（Ｎ＋１）番目のデータ値が第Ｎ番目の
データ値より小さいときにＲＳフリップフロップにセッ
ト信号を出力する。ＲＳフリップフロップは、画素値及
び画素が生じる位置を記憶する２つのレジスタにロード
信号を発するのに使用される。このデータは眉のｙ位置
（ＲＢｙ）を表す。このＲＢｙ位置はＲＥｘと同じであ
ると考えられる。これにより、今や眉の位置は（ＲＢ
ｘ、ＲＢｙ）に位置していることになる。

【００９７】最小値見出し部品３１１７５の目的は瞳孔
の位置を見出すことにある。これは、正規化されたイメ
ージの最小値を見出すことにより行なわれる。部品３１
１７５を実施するのに使用される回路が図２３に示され
ている。この回路の作動はデバイス３１０８、３１１３
の作動と同じであるので説明しない。この回路の出力は
右目の瞳孔の座標（ＲＰｘ、ＲＰｙ）である。

【００９８】部品３１１８はデバイス３１１７と同様で
あるが、部品３１１８が左目の座標（ＬＥｘ、ＬＥｙ）
を用いてイメージをクロップする点で異なっている。

【００９９】ここで図２４を参照すると、全体を参照番
号８０で示す別の構成の装置が示されている。この装置
８０は、付加デバイス８００を有している点で装置１と
は異なっている。該装置８００の目的は顔面変更ユニッ
ト３０からの出力を分析して、付加情報をメモリストア
４０（該メモリストアの目的は代用イメージを作ること
にある）に供給することにある。デバイス８０は、神経
回路網すなわちＨｉｄｄｅｎＭａｒｋｏｖＭｏｄｅ
ｌとして実施でき、且つ２つの作動フェーズすなわち学
習及び想起を有している。学習フェーズでは、デバイス
８０は、顔面変更ユニット３０及び外部ガイダンスから
得られるデータを使用して、カメラ２０からの入力イメ
ージをデバイス８００（該デバイスは、笑顔、渋い顔等
の特殊な表情の組に属する入力イメージの確率を表す）
の出力にマップする。１つの出力は１つの特定表情を表
す。第２作動フェーズすなわち想起フェーズでは、リア
ルタイムパラメータが顔面変更ユニット３０からデバイ
ス８００へと供給され、入力イメージが表す最もありそ
うな表情が評価される。この情報は、顔面変更ユニット
３０からのパラメータと一緒にメモリストア４０に入力
され、該メモリストア４０は、この情報を使用して適当
な出力イメージを構成する。

【０１００】本発明は、上記特定実施例に限定されるも
のではない。例えば、種々の制御回路を用いて出力イメ
ージメモリを変更するか、できればソフトウェアのみで
変更することができる。また、いずれかの関連従来技術
による方法でＲＧＢ信号を処理することにより、特徴抽
出トラッキング信号を発生させることができる。

【図面の簡単な説明】

【図１】本発明のイメージ処理装置を示す概略図であ
る。

【図２】イメージ処理装置の顔面変更ユニットをより詳
細に示す図面である。

【図３】顔面変更ユニットの部品をより詳細に示す図面
である。

【図４】顔面変更ユニットの部品をより詳細に示す図面
である。

【図５】顔面変更ユニットの部品をより詳細に示す図面
である。

【図６】イメージ処理装置のメモリストアを示す概略図
である。

【図７】イメージ処理装置の顔面構成部分検出ユニット
の構成を示す総括図である。

【図８】イメージ処理装置の顔面変更ユニットの部品を
示す図面である。

【図９】イメージ処理装置の顔面変更ユニットの部品を
示す図面である。

【図１０】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図１１】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図１２】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図１３】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図１４】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図１５】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図１６】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図１７】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図１８】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図１９】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図２０】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図２１】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図２２】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図２３】イメージ処理装置の顔面変更ユニットの部品
を示す図面である。

【図２４】本発明のイメージ処理装置の他の構造を示す
概略図である。

【符号の説明】

１イメージ処理装置１０カメラ２０ビデオモニタ３０顔面変更ユニット４０メモリストア５０制御論理ユニット６０ａビデオマルチプレクサ６０ｂビデオマルチプレクサ７０ビデオホンインターフェース８０他の実施例によるイメージ処理装置８００神経回路網デバイス３１０１カラー変換デバイス３１０２帯域通過デバイス３１０３帯域通過デバイス３１０４クロップ画像デバイス３１０５最大値／最小値見出しデバイス３１０６濃度階調正規化デバイス３１０７ＸＹ射影デバイス３１０８最大値見出しデバイス３１０９境界ボックスサーチデバイス３１１０クロップ画像デバイス３１１１平滑化デバイス３１１２ＸＹ射影デバイス３１１３最大値見出しデバイス３１１４境界ボックスサーチデバイス３１１５アイテンプレート相関付けデバイス３１１６最小値見出しデバイス３１１７右目検出デバイス３１１８左目検出デバイス

───────────────────────────────────────────────────── フロントページの続き (72)発明者サザランド・アリスタアイルランド国、ダブリン２、トリニティカレッジ、オリリーインスティテュート、ヒタチヨーロッパリミテッドヒタチダブリンラボラトリー、リサーチアンドディベロプメントセンター内 (72)発明者阿部正博アイルランド国、ダブリン２、トリニティカレッジ、オリリーインスティテュート、ヒタチヨーロッパリミテッドヒタチダブリンラボラトリー、リサーチアンドディベロプメントセンター内

Claims

【特許請求の範囲】

【請求項１】主題の顔面イメージ信号を受けるステップ
と、特徴抽出トラッキング信号を発生するステップと、
該トラッキング信号を処理して処理出力信号を作るステ
ップとを有するイメージ処理方法において、前記トラッキング信号処理ステップが、代用顔面を表すイメージ信号を発生するサブステップ
と、トラッキング信号に従ってリアルタイムで前記代用顔面
イメージ信号を修正して、主題の顔面の特徴をもつ代用
顔面を表す出力信号を発生するサブステップとからなる
ことを特徴とするイメージ処理方法。
【請求項２】前記出力信号が、トラッキング信号に応答
して更新イメージメモリ（４０６）から転送された画素
値を重ね書きすることにより修正された出力イメージメ
モリ（４０２）から伝達されることを特徴とする請求項
１に記載の方法。
【請求項３】前記更新イメージメモリ（４０６）が、フ
レーム間の画素変更を記憶することを特徴とする請求項
２に記載の方法。
【請求項４】更新の転送が、更新イメージメモリ（４０
６）のアドレスへのポインタを有するルックアップテー
ブル（４０４）に従って制御されることを特徴とする請
求項２又は３に記載の方法。
【請求項５】前記トラッキング信号が、顔面特徴の位置
的特徴を表す顔面特徴信号に変換されることを特徴とす
る請求項１〜４のいずれか１項に記載の方法。
【請求項６】前記顔面特徴信号がベクトル信号であるこ
とを特徴とする請求項５に記載の方法。
【請求項７】前記更新イメージメモリ（４０６）の画素
変更データが、現在の特徴信号と前の特徴信号とを比較
することにより選択されることを特徴とする請求項６に
記載の方法。
【請求項８】前記前の特徴信号が専用レジスタ（４１
０）に記憶されることを特徴とする請求項７に記載の方
法。
【請求項９】前記更新イメージメモリ（４０６）が、３
つのフィールドすなわち、データ要素の位置の表示、出
力イメージメモリの位置のアドレスをもつ第２フィール
ド、及び画素のカラー値をもつ第３フィールドのデータ
要素を記憶することを特徴とする請求項２〜８のいずれ
か１項に記載の方法。
【請求項１０】前記代用顔面イメージ信号を発生するス
テップが、イメージメモリから初期イメージを検索する
ステップと、次に、トラッキング信号に従って前記初期
イメージを更新するステップとからなることを特徴とす
る請求項１〜９のいずれか１項に記載の方法。
【請求項１１】前記初期イメージが、初期化時に、初期
イメージメモリ（４０７）から出力イメージメモリ（４
０２）に転送されることを特徴とする請求項１０に記載
の方法。
【請求項１２】前記トラッキング信号が、主題の顔面イメージ信号をＨ、Ｓ、Ｖフォーマットで発
生し、該Ｈ、Ｓ、Ｖフォーマット信号の少なくとも２つの成分
を帯域通過フィルタ（３１０２、３１０３）に通し、フィルタの出力信号を主題の顔面イメージ画素領域上に
マッピングし、フィルタの出力信号のマッピングに従って、画素領域内
に特徴位置を決定することにより発生されることを特徴
とする請求項１〜１１のいずれか１項に記載の方法。
【請求項１３】顔面領域（Ｓｌｘ、Ｓｌｙ、Ｓｈｘ、Ｓ
ｈｙ）を最初に検出し、次に、検出された顔面領域内で
口及び目の検出を行なうことを特徴とする請求項１２に
記載の方法。
【請求項１４】顔面領域を検出するのに、主題の顔面イ
メージ信号のＨ成分及びＳ成分のみを処理することを特
徴とする請求項１３に記載の方法。
【請求項１５】前記処理が、帯域通過濾過を行い、その
後にフィルタ出力を画素領域上にマッピングすることか
らなることを特徴とする請求項１４に記載の方法。
【請求項１６】前記口の検出が、検出した顔面領域内で
主題のイメージ信号のＳ成分及びＶ成分を処理すること
により行なわれることを特徴とする請求項１３〜１５の
いずれか１項に記載の方法。
【請求項１７】前記目の検出を行なうのに、主題のイメ
ージ信号のうちのＶ成分のみを処理することを特徴とす
る請求項１３〜１６のいずれか１項に記載の方法。
【請求項１８】前記Ｖ成分が正規化され且つ目の検出が
相関付けにより行なわれることを特徴とする請求項１７
に記載の方法。
【請求項１９】主題の顔面イメージ信号を受けるステッ
プと、前記顔面イメージ信号の特徴を抽出してトラッキング信
号を発生するステップと、該トラッキング信号を、主題の顔面の特徴の位置的特徴
を表す顔面特徴信号に変形するステップと、初期代用イメージを出力イメージメモリ（４０２）に書
き込むステップと、更新イメージメモリ（４０６）から転送される画素値を
重ね書きすることにより出力イメージメモリ（４０２）
を修正するステップとを有し、前記転送が顔面特徴信号
に応答して制御されることを特徴とするイメージ処理方
法。
【請求項２０】主題の顔面イメージ信号を受ける手段
（１０）と、特徴抽出トラッキング信号を発生する手段
（３１、３２）と、前記トラッキング信号を処理して処
理出力信号を作る手段（４０、３２、３３）とを有する
イメージ処理装置（１）において、前記トラッキング信号を処理する手段が、代用顔面を表すイメージ信号を発生する手段と、トラッキング信号に従ってリアルタイムで前記代用顔面
イメージ信号を修正して、主題の顔面の特徴をもつ代用
顔面を表す出力信号を発生する手段とからなることを特
徴とするイメージ処理装置。
【請求項２１】前記処理手段が、出力イメージメモリ
（４０２）と、更新イメージメモリ（４０６）と、トラ
ッキング信号に応答して更新イメージメモリ（４０６）
からの画素値を転送することにより前記出力イメージメ
モリ（４０２）を修正する手段（４１０、４０４、４０
５）とからなることを特徴とする請求項２０に記載のイ
メージ処理装置。
【請求項２２】前記更新イメージメモリ（４０６）がフ
レーム間の画素変更を記憶することを特徴とする請求項
２１に記載のイメージ処理装置。
【請求項２３】前記処理手段が、トラッキング信号を、
顔面特徴の位置的特徴を表す顔面特徴信号に変換する手
段（３２）からなることを特徴とする請求項２０〜２２
のいずれか１項に記載のイメージ処理装置。
【請求項２４】前記顔面特徴信号がベクトル信号である
ことを特徴とする請求項２３に記載のイメージ処理装
置。
【請求項２５】前記処理手段が、特徴データをモニタリ
ングすることにより装置の作動中に学習し且つ次に特徴
の確認の補助をすべくフィードバックする神経回路網デ
バイス（８００）を備えていることを特徴とする請求項
２０〜２４のいずれか１項に記載のイメージ処理装置。
【請求項２６】主題の顔面イメージ信号を受ける手段
（１０）と、前記顔面イメージ信号の特徴を抽出してトラッキング信
号を発生する手段（３１）とを有し、処理手段が、該トラッキング信号を、主題の顔面の特徴の位置的特徴
を表す顔面特徴信号に変形する手段（３２）と、出力イメージメモリ（４０２）と、初期代用イメージを出力イメージメモリ（４０２）に書
き込む手段（４０７）と、更新イメージメモリ（４０６）と、顔面特徴信号に応答して、画素値を、更新イメージメモ
リ（４０６）から出力イメージメモリ（４０２）に転送
することにより出力イメージメモリ（４０２）を修正す
る手段とからなることを特徴とするイメージ処理装置
（１）。