JP3062181B1 - 実時間表情検出装置 - Google Patents

Abstract

【要約】 【課題】 非接触で利用者への負担が少なく、顔の回転
に関して堅牢であり、動作の制限が緩和されるような実
時間表情検出装置を提供する。 【解決手段】 ＣＣＤカメラ１で被験者の顔画像を撮像
し、撮像制御部７において肌色領域の重心と入力画像の
中心が合致するようにＣＣＤ１カメラを制御する。ま
た、特徴点検出部４においては顔画像信号から眼と口の
位置を推定する。推定された両眼の位置に基づいて顔の
傾き角を推定し、その角度だけ検出領域内の顔画像を回
転させ、回転した検出領域に対して表情推定部５が２次
元離散コサイン変換を行なうとともに、無表情検出時か
らの空間周波数成分の変化を求め、表情再現部６におい
て予め遺伝的アルゴリズムによって学習されたパラメー
タを用いて、求められた空間周波数成分の変化データを
３次元顔モデルの変形に変換して表情を再現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は実時間表情検出装
置に関し、特に、距離を隔てた複数の人物間の仮想空間
を介したコミュニケーションを実現するために、リアル
タイムで顔の表情を検出するような実時間表情検出装置
に関する。

【０００２】

【従来の技術】コミュニケーション環境を通信会議に限
定した臨場感通信会議システムが既に提案されている。
このようなシステムでは、たとえば小型カメラを固定し
たヘルメットを人物が被ることにより、常に一定の位置
から相手方の人物の顔の表情を観測できるようにされて
いる。これにより、顔の自動追跡処理は不要となる。

【０００３】一方、顔の特徴点を検出する技術として、
他にエッジ画像による特徴点検出や、２次元のテンプレ
ートによるマッチングなどを用いたものが提案されてい
る。

【０００４】

【発明が解決しようとする課題】上述の小型カメラを固
定したヘルメットを人物が被る方法では、ヘルメットを
装着するための煩わしさが残り、エッジ画像や２次元の
テンプレートを用いる方法では計算コストの面で問題が
あった。

【０００５】それゆえに、この発明の主たる目的は、非
接触で利用者への負担が少なくて済み、顔の回転に関し
て堅牢であり、動作の制限が緩和されるような実時間表
情検出装置を提供することである。

【０００６】

【課題を解決するための手段】請求項１に係る発明は、
実時間で被験者の顔の表情を検出する実時間表情検出装
置であって、被験者の顔画像を撮像するための撮像手段
と、撮像手段出力の顔画像信号から肌色領域を抽出して
その重心を求め、入力画像の中心に顔の中心が一致する
ように撮像手段を制御する撮像制御手段と、前処理とし
て撮像手段からの画像信号から肌色とそれ以外の２値画
像を作成し、その画像の重心位置からサーチして画素値
の変化する要素を見出して輪郭線を追跡し、輪郭線の内
側領域の重心から眼と口の位置を求める特徴点検出手段
と、求められた両眼の位置に基づいて顔の傾き角を推定
し、その角度だけ検出領域内の顔画像を回転させる画像
回転手段と、顔画像の回転した検出領域に対して２次元
離散コサイン変換を行ない、無表情検出時からの空間周
波数成分の変化を求める表情推定手段と、予め遺伝的ア
ルゴリズムによって学習されたパラメータを用いて、表
情推定手段によって求められた空間周波数成分の変化デ
ータを３次元顔モデルの変形に変換して表情を再現する
表情再現手段を備えて構成される。

【０００７】

【０００８】

【発明の実施の形態】図１はこの発明の一実施形態を実
現するための装置のブロック図である。図１において、
撮像手段としてのＣＣＤカメラ１によって被験者の顔画
像が撮像され、その撮像出力の画像信号が画像処理装置
２に与えられ、この発明による顔画像の実時間表情が検
出され、表示部３に表示される。

【０００９】図２は図１に示した画像処理装置による処
理過程を示す図であり、図３は図２の特徴点検出部のよ
り具体的な処理手順を示すフローチャートであり、図４
は検出領域内の画像を回転する方法を説明するための図
である。

【００１０】図１に示したＣＣＤカメラ１で撮像された
顔の画像信号は画像処理装置２に与えられる。画像処理
装置２は図２に示すように、特徴点検出部４と表情推定
部５と表情再現部６と撮像制御部７としての機能を有し
ている。これらの機能はソフトウェア処理によって実現
される。

【００１１】撮像制御部７は予め学習された被験者の肌
の色情報によって入力画像を２値変換し、その２値画像
を用いて顔位置を特定し、入力画像の中心が顔の中心に
合致するようにＣＣＤカメラ１をフィードバック制御す
る。

【００１２】特徴点検出部４は顔画像信号の輝度情報に
よる１次元テンプレートマッチングにより眼の位置を特
定し、両眼の位置から口の位置を推定する。その後、予
め学習された被験者の肌の色情報によって入力画像を２
値変換し、その２値画像を用いて顔位置を特定し、入力
画像の中心に顔の中心が合致するようにＣＣＤカメラ１
をフィードバック制御する。また、特徴点検出部４は推
定された両眼の位置に基づいて顔の傾き角を推定し、そ
の角度だけ検出領域内の顔画像を回転させる。

【００１３】表情推定部５は表情変化を捉えるために重
要な領域に対して、ＤＣＴ（２次元離散コサイン）変換
を行ない、無表情検出時からの空間周波数成分変化を求
める。そして、表情再現部６では、予め遺伝的アルゴリ
ズムによって学習されたパラメータを用いて、表情推定
部５によって求められた空間周波数成分の変化データを
３次元顔モデルの変形に変換して、表示部３で表情を再
現する。

【００１４】さらに、特徴点検出部４と表情推定部５と
表情再現部６の具体的な動作について説明する。まず、
特徴点検出部４は、表情を検出するためには特徴領域を
なるべく多いピクセル数で捉えた方がより正確に検出を
行なうことができる。しかし、顔を画面全体に表示させ
ると被験者は顔の動きを抑制されることとなり、課せら
れる負担が増大してしまう。そこで、人物の顔をなるべ
く大きく捉えながらも、被験者には自由な姿勢でいられ
るように、頭部運動をＣＣＤカメラ１で追跡する。

【００１５】基本的には、被験者の瞳を追跡することに
よって頭部の運動を追跡するが、激しい頭部運動や、俯
き、振り向きなどの動作により、追跡不可能な状態が発
生する。これを極力防ぎ、すばやく追跡処理を行なうた
めに、背景色を被験者の指標となる肌の色に最適化する
処理を行なう。すなわち、背景だけの画像と被験者を含
んだ画像から色度情報による差分画像を求め、しきい値
により人領域と背景領域とに領域分割が行なわれる。

【００１６】経験的に求めた代表的な肌の色の色度値を
中心として色度領域の１つ１つの色度値（Ｉ，Ｑ値）に
対し、その色度値が人領域に含まれているピクセル数：
その色度値が背景領域に含まれているピクセル数を求
め、人領域に分類される比が一定以上多ければ、その色
度値を肌の色とする。

【００１７】以上の処理によって求めた被験者独自の肌
の色情報を用いて顔運動の追跡が行なわれる。次に、眼
口領域の初期特定方法について説明する。

【００１８】被験者を撮像した画像から前述のようにし
て求めた肌の色の情報に従い、肌色とそれ以外の２値情
報が作成される。その画像の重心位置を起点とし、一定
の角度の方向について画素値が変化する（肌の色でなく
なる）要素がサーチされる。見出された画素から構成さ
れる輪郭線が追跡され、その輪郭線長が一定範囲外なら
ばサーチ起点と見つかった点との延長線上と輪郭線が交
差する点が新たなサーチ起点とされる。もし、サーチに
失敗し、画像の端まできたときにはサーチ起点を変えて
再びサーチされる。望んだ輪郭線が得られたならば、輪
郭線の内側領域の重心を求め、それを眼の位置とする。
同様にして、口の初期位置を求め、その人物の眼，口の
相対的な位置関係を初期情報として記憶する。

【００１９】この実施例では、眼位置の探索範囲が前回
の眼の位置を中心とした１００×１００ピクセルの矩形
領域とされる。前述の処理によって得られた瞳の座標を
基に、ｙ軸方向の１００ピクセルの長さをもった輝度情
報の１次元テンプレートを作成する。追跡を行なう次の
フレームが入力されると、探索領域内のピクセルに対
し、次の第（１）式により相関を計算し、相関の度合い
が高かった３点の平均の座標を新たな眼の位置とする。

【００２０】

【数１】

【００２１】口領域に関しては、形状が激しく変形する
ため、テンプレートマッチングは使用していない。しか
し、既に眼の位置がわかっており、眼口位置初期化処理
の過程で、眼と口との相対位置が求められているため、
その相対的な座標位置を基に、両眼の位置から口の位置
を算出する。

【００２２】僅かな頭部の運動ならば、画面内に顔全体
が収まっており、表情検出が可能となる。しかし、この
ままでは、被験者は常にカメラのファインダに収まるよ
うに顔を固定することを強要されることになる。たとえ
ば、首をかしげるなどは比較的自然な動作であるにもか
かわらず、固定されたカメラでは、顔の一部は画面外に
出てしまい、全体を捉えることが難しく、表情の検出が
正しく行なわれない。そこで、この実施形態では、電動
雲台によってカメラを制御し、常に被写体を捉えるよう
にＣＣＤカメラ１を制御することで、この問題を解決す
る。

【００２３】ＣＣＤカメラ１を制御するにあたって、カ
メラの制御系が持っている座標系と入力画像の座標系
は、現在の使用状況である、被写体がＣＣＤカメラ１か
ら約１ｍに位置したときに正常に作動するように、座標
マッチング関数を予め最適化しておく。入力画像から肌
の色を抽出した２値化画像の重心を求め、その点をカメ
ラの座標系で中心に位置するように雲台を制御すること
で、常に人物の顔の中心を捉えることができる。

【００２４】眼と口の領域から表情の特徴を捉える場合
に、顔がＣＣＤカメラ１に対して正対している場合は問
題ないが、図４（ａ）に示すように被験者が首を傾げる
動作をした場合、矩形領域の中の眼が傾いた状態とな
り、正しい表情の特徴を得ることができない。

【００２５】そこで、この実施形態では、顔がＣＣＤカ
メラ１に対して正対していない場合には、特徴点検出部
４で検出領域内の画像を回転する処理が行なわれる。す
なわち、図３に示すステップ（図示ではＳと略称する）
Ｓ１において、図４（ｂ）に示すように両眼検出位置を
基に顔の傾斜角θを決定し、ステップＳ２で図４（ｃ）
に示すように眼領域内の画像を−θだけ回転させる。同
様にして、ステップＳ３において口領域位置を決定し、
ステップＳ４で口領域画像を−θだけ回転させる。

【００２６】次に、表情推定部５による表情推定につい
てより詳細に説明する。人物の顔画像の輝度情報を空間
周波数領域に変換し、その変化を解析することにより表
情を推定する。表情の変化に伴い、その顔画像の空間周
波数成分も変化するが、顔のどの部分の動きによってど
ういった変化が起こったかを一意に確定するために、い
くつかの領域に分けて空間周波数に変換する。

【００２７】この実施形態では、人物の表情を形成する
部位のうち、特にその変化が顕著に現われる、両眼と口
の画像領域に対して一定の矩形領域を割当て、その部分
を独立に空間周波数変換することによって顔表情を再現
する。ただし、人の口の動きは眼に比べて複雑なため、
さらに細かい６つの領域に分けている。

【００２８】空間周波数変換の例として、眼の画像を用
いると、眼を閉じていく場合、上下の瞼の間隔が狭まっ
ていくことによって、垂直方向における画像の空間周波
数成分が増加する。水平方向においては、瞼の輪郭が水
平方向に横切る度合いが少なくなることから、垂直方向
の場合と反比例するように水平方向の空間周波数成分が
減少していく。

【００２９】また、眼を開いている場合には閉じていく
場合と全く逆の、水平方向の空間周波数成分が増加し、
垂直方向の空間周波数成分が減少する。これらの空間周
波数成分の変化は、検出を始める際、始めに被験者に無
表情状態を表出させ、その空間周波数成分データから相
対的な変化として捉えることによって表情を検出する。

【００３０】なお、この方法では、画像を空間周波数成
分に変換し、位置に関する情報を使わず、電力量を解析
することによって表情を検出しているため、空間周波数
変換を行なう矩形領域内に、眼（または口）が収まって
さえいれば、多少矩形領域の取得を誤ったとしても、推
定は正常に行なうことができる。

【００３１】前述のごとく、この実施形態では、空間周
波数領域における電力量によって検出を行なうため、位
相情報は不要となる。この点から、計算コストに優れて
いるＤＣＴ変換が用いられる。

【００３２】輝度画像ｆ（ｘ，ｙ）（ｘ＝０、…、Ｍ−
１；ｙ＝０、…、Ｎ−１）におけるＤＣＴの結果Ｆ
（ｕ，ｖ）（ｕ，ｖはｘ，ｙ軸方向の空間周波数成分）
を第（２）式に示す。

【００３３】

【数２】

【００３４】ＤＣＴを行なうサイズ（Ｍ，Ｎ）は計算コ
スト削減のため、変換を行なう矩形領域をＭ＝Ｎ＝８ピ
クセルの小領域に分割し、それぞれの小領域に対してＤ
ＣＴ変換を行なう。

【００３５】図５はＤＣＴによる空間周波数成分のベク
トル化について説明するための図である。この実施形態
では、顔部位の形状変化を捉えるため、縦，横，斜めの
各方向の空間周波数成分を図５に示す範囲について電力
量総和を求める。なお、図５に示すように変換後の空間
周波数領域において、高周波領域についてはノイズなど
の混入によって電力量の分散が大きいため使用しない。
このようにして求められた縦横斜めの各方向の電力量総
和の無表情状態からの差分を表情の特徴量とする。

【００３６】次に、表情再現部６についてより詳細に説
明する。この実施形態では、予め作成された３次元顔モ
デルを推定された表情データに従って変形することによ
って、表情を再現する。そのために、３次元顔モデルを
変形させる規則が必要となる。この実施形態では、人物
の表情変化に対応した筋肉の動きを考慮にいれて、１０
種類の３次元モデル変形規則（以下、基本表情と称す
る）が定められる。基本的には、人間の筋肉の動きをシ
ミュレートする形で変形規則を定めているが、表情検出
を代表的な特徴領域に対して行なっているため、表情変
化を捉えていない領域も存在する。そこで、若干表情を
強調して再現することによって表情画面の品質の向上を
めざす。そのため、１０種類の基本表情のうちいくつか
は、人間には不可能な動きを表現する変換規則になって
おり、これらの基本表情をうまく混合することによって
人物の表情を再現する。

【００３７】３次元顔モデルに人物の表情を再現するた
めには、指標となるデータが必要となる。この実施形態
では、まずモデルとなる人物にさまざまな表情を表出さ
せ、その顔画像を記録した（たとえば１９０３フレー
ム）。各フレームについて基本表情を調整して表情を再
現し、各基本表情の混合比率を指標データとして記憶す
る。これら混合比率のデータは顔モデルのワイヤフレー
ムの頂点ベクトルをＰ_jとし、混合比率をＣ_j とする
と、ワイヤフレーム各頂点の３次元座標の移動ベクトル
Ｗ_j は第（３）式で表わされる。

【００３８】

【数３】

【００３９】表情を３次元顔モデルで再現するために
は、無表情時からの空間周波数成分変化を基本表情の混
合比率に変換する必要がある。この関連づけは第（４）
式で示される変換式を用いて行ない、その係数の値の決
定は遺伝的アルゴリズム（ＧＡ：Genetic Algorithm ）
を用いて行なう。ＧＡに学習させる混合比率を求めるた
めの基本式を第（４）式に示す。

【００４０】

【数４】

【００４１】Ｃ_j は混合比率であり、ＡＢＣＤは求める
係数であり、Ｈｄｉ，Ｖｄｉ，Ｄｄｉはそれぞれ横縦斜
め方向の空間周波数成分の変化量である。実際には、顔
全体を６つの領域（眼，眉，鼻など）に分けて、それぞ
れ独立した混合比率を求めており、しかもいくつかの領
域の空間周波数成分変化を必要とする基本表情の混合比
率の式では、パラメータはその分増加する。この実施形
態で実際に使用するパラメータの数は１１５となってい
る。

【００４２】図６はこの実施形態による表情再現例を示
す図である。図６において、左は被験者の顔画像であ
り、中央は教師情報を入力した場合を示し、右は遺伝的
アルゴリズムによって学習された式によって再現した例
を示す。この図６から明らかなように、この実施形態に
よれば、正確に人物の表情を再現できることがわかる。

【００４３】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【００４４】

【発明の効果】以上のように、この発明によれば、被験
者の顔画像を撮像し、その画像から肌色領域を抽出して
その重心を基に撮像手段を制御し、前処理として撮像手
段からの画像信号から肌色とそれ以外の２値画像を作成
し、その画像の重心位置からサーチして画素値の変化す
る要素を見出して輪郭線を追跡し、輪郭線の内側領域の
重心から眼と口の位置を求め、求めた両眼の位置に基づ
いて顔の傾き角を推定し、その角度だけ検出領域内の顔
画像を回転させ、回転した検出領域に対して２次元離散
コサイン変換を行なって、無表情検出時からの空間周波
数成分の変化を求め、遺伝的アルゴリズムによって学習
されたパラメータを用いて、空間周波数成分の変化デー
タを３次元顔モデルの変形に変換して表情を再現するこ
とができる。したがって、顔の表情検出を、頭部とは独
立した画像入力から得られる画像を基に行なうことで非
接触の検出を実現できる。また、頭部の回転に対応した
画像演算を表情特徴量検出の前段階に対応することで、
使用者の動作の自由度を向上でき、表情検出精度の向上
を果たすことができる。

【図面の簡単な説明】

【図１】この発明の一実施形態を実現するための装置の
ブロック図である。

【図２】図１に示した画像処理装置における処理過程を
示す図である。

【図３】図２の特徴点検出部における画像回転処理過程
の処理手順を示すフローチャートである。

【図４】検出領域内の画像を回転する方法を説明するた
めの図である。

【図５】ＤＣＴによる空間周波数成分のベクトル化を説
明するための図である。

【図６】この発明の実施形態による表情再現例を示す図
である。

【符号の説明】

１ ＣＣＤカメラ ２ 画像処理装置 ３ 表示部 ４ 特徴点検出部 ５ 表情推定部 ６ 表情再現部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 竹松 克浩 京都府相楽郡精華町大字乾谷小字三平谷 ５番地 株式会社エイ・ティ・アール知 能映像通信研究所内 (56)参考文献 特開 平８−161498（ＪＰ，Ａ) 特開 平７−296299（ＪＰ，Ａ) 海老原一之、楜沢順、大谷淳、中津良 平、“バーチャル歌舞伎における実時間 表情検出”，画像ラボ，日本工業出版株 式会社，平成５年９月，ＶＯＬ．８，Ｎ Ｏ．９，ｐ．１−５ 横山太郎、八木康史、谷内田正彦、田 中克明、原文雄、久富健介、橋本周 司，”顔認識のための顔特徴抽出手 法”，情報処理学会研究報告（ＣＶＩＭ −114），1999年１月22日，ＶＯＬ．99, ＮＯ．３，ｐ．121−128 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G06T 17/00 - 17/50

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】 実時間で被験者の顔の表情を検出する実
   時間表情検出装置であって、 前記被験者の顔画像を撮像するための撮像手段、 前記撮像手段出力の顔画像信号から肌色領域を抽出して
   その重心を求め、入力画像の中心に顔の中心が一致する
   ように前記撮像手段を制御する撮像制御手段、前処理として前記撮像手段からの画像信号から肌色とそ
   れ以外の２値画像を作成し、その画像の重心位置からサ
   ーチして画素値の変化する要素を見出して輪郭線を追跡
   し、輪郭線の内側領域の重心 から眼と口の位置を求める
   特徴点検出手段、 前記特徴点検出手段によって求められた両眼の位置に基
   づいて顔の傾き角を推定し、その角度だけ検出領域内の
   顔画像を回転させる画像回転手段、 前記画像回転手段によって顔画像の回転した検出領域に
   対して２次元離散コサイン変換を行ない、無表情検出時
   からの空間周波数成分の変化を求める表情推定手段、お
   よび予め遺伝的アルゴリズムによって学習されたパラメ
   ータを用いて、前記表情推定手段によって求められた空
   間周波数成分の変化データを３次元顔モデルの変形に変
   換して表情を再現する表情再現手段を備えた、実時間表
   情検出装置。