JPH09305743A

JPH09305743A - 人物顔動作検出方式

Info

Publication number: JPH09305743A
Application number: JP8124651A
Authority: JP
Inventors: Nobuyoshi Enomoto; 暢芳榎本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1996-05-20
Filing date: 1996-05-20
Publication date: 1997-11-28

Abstract

(57)【要約】【課題】従来のキーボードを使用しながらマウスのよう
なポインティングデバイスを併用することの煩わしさを
軽減し、また、携帯端末装置などを混雑している手が使
用しにくい環境で用いる場合の使用者の負担を軽減し、
高度なＧＵＩを構築することが可能となる人物顔動作検
出方式を提供する。【解決手段】機器を操作する人物の顔領域を含む画像を
画像入力部１で入力し、この入力された画像から上記人
物の注目方向を人物注目方向抽出部３で抽出するととも
に、上記入力された画像から上記人物の顔内部の部品の
特定の変化を顔動作検出部４で検出し、この検出された
顔部品の特定の変化があらかじめ指定される操作コマン
ドであるか否かを顔動作イベント判定部５で判定し、こ
の判定結果および人物注目方向抽出部３の抽出結果を外
部へ出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、たとえば、現金自
動入出金装置（ＡＴＭ）や券売機などの社会システム機
器、あるいは、パーソナルコンピュータやワードプロセ
ッサなどのオフィスオートメーション機器など、ＧＵＩ
（グラフィカル・ユーザ・インタフェース）を備えた機
器において、ビデオカメラから入力された機器を操作す
る人物の顔画像から、顔内部の部品（目、口、鼻など）
の特定の変化を抽出することによって、それをＧＵＩへ
のイベントとして使用し、機器の制御を行なわせるため
の人物顔動作検出方式に関する。

【０００２】

【従来の技術】従来、この種の技術として、たとえば、
顔に装着した眼鏡などから赤外線などの特定の光を目に
照射し、その反射光によって瞳孔位置を測定し、反射光
の有無によって瞬きを検出する方式がある。

【０００３】また、顔のカラー動画像中で皮膚の部分は
有色彩、目の内部は無彩色となることを利用し、連続フ
レームで無彩色から有彩色、または、有彩色から無彩色
に変化する領域を抽出することで、瞬きを検出する方式
の検討を行なった例がある（文献[1] 杉山、田辺：動画
像を用いた実時間瞬目抽出法、画像ラボ、1993.9、PP45
-48 参照）。

【０００４】

【発明が解決しようとする課題】しかし、上記前者の技
術では、光源や顔に装着する装置が必要なため、ユーザ
によっては不快感をともなうことがあるという問題があ
った。また、上記後者の技術では、特徴点として目、そ
の動作として瞬きを陽に指定しているため、他の部品要
素の変化をイベントとして使用することができない。ま
た、目の部分の色の変化としてのみの変化を求めてお
り、その形状変化などは考慮していないため、たとえ
ば、ＧＵＩへのイベントとして用いた場合には、同時に
指定できるイベントが瞬きだけとなり、状態数が不足す
る可能性がある。

【０００５】さらに、一般には色情報は照明などの環境
変動にはロバストではないため、環境変動から生じた画
面内部のノイズによって、ある座標の色が無彩色から有
彩色、または、有彩色から無彩色へと変化した場合に、
これを瞬きというユーザの意識的なイベントと誤って動
作してしまう可能性があり、問題が多い。

【０００６】そこで、本発明は、従来のキーボードを使
用しながらマウスのようなポインティングデバイスを併
用することの煩わしさを軽減し、かつ、携帯端末装置な
どを用いる場合の使用者の負担を軽減し、高度なＧＵＩ
を構築することが可能となる人物顔動作検出方式を提供
することを目的とする。

【０００７】

【課題を解決するための手段】本発明の人物顔動作検出
方式は、機器を操作する人物の顔領域を含む画像を入力
し、この入力された画像から前記人物の注目方向を抽出
し、かつ、前記人物の顔内部の部品の特定の変化を抽出
し、この抽出した顔部品の特定の変化があらかじめ指定
される操作コマンドであるか否かを判定し、この判定結
果および前記抽出した人物の注目方向を外部へ出力する
ことを特徴とする。

【０００８】また、本発明の人物顔動作検出方式は、機
器を操作する人物の顔領域を含む画像を連続的に入力す
る画像入力手段と、この画像入力手段で入力された画像
を一時記憶する画像記憶手段と、この画像記憶手段に記
憶された画像から前記人物の注目方向を抽出する人物注
目方向抽出手段と、前記画像記憶手段に記憶された画像
から前記人物の顔内部の部品の特定の変化を検出する顔
動作検出手段と、この顔動作検出手段で検出された顔部
品の特定の変化があらかじめ指定される操作コマンドで
あるか否かを判定する判定手段とを具備している。

【０００９】さらに、本発明の人物顔動作検出方式は、
機器を操作する人物の顔領域を含む画像を連続的に入力
する画像入力手段と、この画像入力手段で入力された画
像を一時記憶する画像記憶手段と、この画像記憶手段に
記憶された画像から前記人物の注目方向を抽出する人物
注目方向抽出手段と、前記画像記憶手段に記憶された画
像から前記人物の顔内部の部品の特定の変化を検出する
顔動作検出手段と、この顔動作検出手段で検出された顔
部品の特定の変化があらかじめ指定される操作コマンド
であるか否かを判定する判定手段と、この判定手段の判
定結果および前記人物注目方向抽出手段の抽出結果を外
部へ出力する出力手段とを具備している。

【００１０】本発明によれば、ビデオカメラなどの画像
入力手段で入力された操作人物の顔画像から、顔内部の
目、口、鼻などの部品の特定の変化（動作）を抽出する
ことによって、これをＧＵＩへのイベントとして使用
し、機器の制御を行なわせることができる。したがっ
て、たとえば、従来のキーボードを使用しながらマウス
のようなポインティングデバイスを併用することの煩わ
しさを軽減し、また、携帯端末装置などを混雑している
手が使用しにくい環境で用いる場合の使用者の負担を軽
減し、高度なＧＵＩを構築することが可能となる。

【００１１】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。なお、本実施の形態では、
ビデオカメラから入力された画像中に含まれる操作人物
の顔内部の各種部品の動作を用い、それをイベントとし
てＧＵＩを構成するための手法と、それを用いた装置の
例を示し、併せて、イベントを認識するための時間的な
統計量の判定条件、顔部品の動作とＧＵＩ制御操作との
対応付け、環境ごとの認識パラメータを設定するための
方法を用いる装置に適用した場合について説明する。

【００１２】図１は、本実施の形態に係る人物顔動作検
出方式が適用される装置の構成を示している。この装置
は、カラーのビデオカメラと、その出力をデジタル化す
るＡ／Ｄ変換器とからなり、機器（たとえば、パーソナ
ルコンピュータなど）を操作する人物の顔領域を含むカ
ラー画像を時間連続的に入力する画像入力部１、画像入
力部１により数フレームごとに入力されたＲ（赤），Ｇ
（緑），Ｂ（青）各８ビットのデジタル画像データを一
時記憶する画像記憶部２、画像記憶部２に記憶されたカ
ラー画像データ（入力画像）から人物の注目方向を抽出
する人物注目方向抽出部３、人物注目方向抽出部３の出
力により顔内部の部品（ここでは目、口）の位置、形状
の変化を検出する顔動作検出部４、顔動作検出部４が検
出した顔内部の部品の位置、形状の変化があらかじめ指
定される操作コマンドであるか否かを判定する顔動作イ
ベント判定部５、顔動作とＧＵＩ制御操作との対応付け
を設定する判定条件設定部６、各環境ごとに、たとえば
顔部品の抽出位置や形状を操作デバイス８によって操作
人物が正解を教示し、その結果にしたがって認識パラメ
ータを自動調整する形状認識修正手段７、および、表示
部９によって構成されている。

【００１３】すなわち、本装置においては、画像入力部
１により数フレームごとに入力されたＲＧＢ各８ビット
のデジタル画像データは、画像記憶部２に一時格納され
る。画像記憶部２に格納された入力画像に対して、人物
注目方向抽出部３により処理することで人物の注目方向
を求め、かつ、顔動作検出部４によって、顔内部の部品
（ここでは目、口）の位置、形状の変化を検出して、こ
れがあらかじめ指定された操作コマンドであるか否か
を、顔動作イベント判定手段５によって判定し、イベン
トが起こった場合に前記注目方向で示される操作画面上
での座標とイベント名を結果として出力するものであ
る。

【００１４】また、本装置では、操作人物が使用を開始
する前に、顔動作とＧＵＩ制御操作との対応付けを判定
条件設定部６で設定して、実際の操作人物の使用時に利
用可能とする。さらに、判定条件設定部６では、操作人
物が使用を開始する前に顔動作の判定を予備的に行なわ
せ、その結果を別のＧＵＩ制御デバイスで教示すること
で、判定条件を自動学習することも行なうようになって
いる。

【００１５】また、形状認識修正部７では、顔領域や顔
部品の抽出の中間結果を表示部９に表示し、その表示画
面上に操作人物が別のＧＵＩ制御デバイスで正解を描画
することで、形状認識パラメータを教示するものであ
る。

【００１６】以上から、本実施の形態の装置を使用して
ＧＵＩ制御を行なうためには、本装置が出力する操作人
物の顔動作に対応するイベント名と、それが発生した画
面上の座標とから、その座標位置に特定操作を示す画面
上のマーク（アイコン）があるか否かを判定し、さら
に、そのマークで規定される操作が発生イベントと対応
していた場合に、マークで規定された操作を画面上に反
映させる処理を行なえばよい。

【００１７】以下、各部について詳細に説明する。ま
ず、人物注目方向抽出部３について説明する。人物注目
方向抽出部３は、たとえば、図２に示すように、画像記
憶部２に記憶された入力画像から人物の顔の領域を抽出
する人物顔領域抽出部１１、人物顔領域抽出部１１で抽
出された顔領域内の画像から人物の顔領域の輪郭を抽出
する人物顔輪郭抽出部１２、人物顔輪郭抽出部１２で抽
出された顔領域の輪郭と入力画像とから、顔領域内にお
ける第１の特徴点として口領域を抽出する第１の顔特徴
点抽出部１３、および、第２の特徴点として目領域を抽
出する第２の顔特徴点抽出部１４、第１，第２の顔特徴
点抽出部１３，１４で抽出された２種類の特徴点に基づ
き人物の注目方向を推定する人物注目方向算出部１５に
よって構成されている。

【００１８】すなわち、後で詳細を説明するように、人
物顔領域抽出部１１、人物顔輪郭抽出部１２を適用する
ことにより、人物の顔領域画像、顔領域の輪郭データ、
顔領域画像の重心位置、および、投影平面内での頭部の
傾き角をそれぞれ抽出し、先に求められた顔領域画像内
部について、第１，第２の顔特徴点抽出部１３，１４を
用いることで、本来顔の正面に位置すると考えられる顔
内部の器官（ここでは第１の特徴点として口、第２の特
徴点として目を使用）の投影面中での位置を検出し、さ
らに特徴点の重心位置を求め、人物注目方向算出部１５
によって、先に算出された顔の重心位置、平面内での傾
き角、特徴点の重心位置から、顔方向を各画像フレーム
ごとに計算し、さらに、各時刻で求められる顔の方向の
時間的統計分布から、人物の注目している画面内の方向
を推定する。

【００１９】なお、図３は、上述した人物注目方向抽出
部３の処理の流れを示すフローチャートである。次に、
人物注目方向抽出部３における人物顔領域抽出部１１の
処理について、図４に示すフローチャートを参照して説
明する。一般に、ＹＩＱ表色系（文献[2] 高木、下田：
画像解析ハンドブック PP.103 参照）における、Ｉ成分
画像の濃度頻度分布（ヒストグラム）には、肌色部分と
それ以外の部分とで、形状に顕著な差があることが知ら
れている。すなわち、ヒストグラムの濃淡値軸の中位の
部位で、他部位との形状の異なる領域に人物の肌色に近
い色が配置される。

【００２０】本実施の形態では、この知識を用い、ま
ず、画像記憶部２内のＲＧＢのカラー画像をＹＩＱ表色
系のカラー画像に変換する。このときの変換式は、一般
に用いられている以下のような式（１）で差し支えな
い。

【００２１】Ｙ＝０．３０・Ｒ＋０．５９・Ｇ＋０．１１・ＢＩ＝０．６０・Ｒ−０．２８・Ｇ−０．３２・ＢＱ＝０．２１・Ｒ−０．５２・Ｇ＋０．３１・Ｂ …… （１）ただし、Ｒ，Ｇ，Ｂ，Ｙ，Ｉ，Ｑは、それぞれカラー画
像のＲ，Ｇ，Ｂ，Ｙ，Ｉ，Ｑ成分を示す。

【００２２】次に、上述の処理によって抽出されたＩ成
分画像のみのヒストグラムをとる。ここでは、横軸を濃
淡値（０〜２５５）、縦軸を頻度としたものとしてヒス
トグラムを作成する。

【００２３】さらに、この作成したヒストグラムを濃度
軸上で一定数領域（クラス）に領域分割し、濃度が指定
番目のクラスを選択して肌色領域を抽出する。このとき
のクラス分割手法としては、Ｋ−平均アルゴリズムなど
の一般に知られているクラスタリングのアルゴリズムを
使用して差し支えない。

【００２４】以上の処理によって、入力画像中から肌色
をした画像領域を抽出することが可能であるが、入力画
像の中には、たとえば、手などのように、顔以外で肌色
をした領域が存在する可能性があるので、ここでは、あ
らかじめ全画面に対する顔領域の面積比率を求めてお
き、上記で求まった肌色の領域のうちで、面積比率が顔
のそれに最も近いものを選択することで、顔領域を抽出
する。ここでの肌色領域の面積の計算は、連結領域のラ
ベリング手法（文献[3] 高木、下田：画像解析ハンドブ
ック PP.578 参照）や、射影抽出の閾値処理による手法
などを使用して差し支えない。

【００２５】上記処理によって抽出された顔画像領域
は、顔部分の濃淡値を「１」、顔以外の部分の濃淡値を
「０」としたデジタル画像（顔領域画像）として出力さ
れる。次に、抽出された領域について、以下の式（２）
にしたがって、その重心座標を求める。すなわち、人物
頭部領域の２値デジタル画像をｆ（ｘ，ｙ）とすると、
重心座標（ｘｇ，ｙｇ）は、ｘ，ｙ軸方向への１次モー
メントであり、ｘｇ＝∫∫ｘｆ（ｘ，ｙ）ｄｘｄｙｙｇ＝∫∫ｙｆ（ｘ，ｙ）ｄｘｄｙ …… （２）で示される。

【００２６】また、前記顔領域の２次のモーメントか
ら、慣性主軸方向を求め、これを投影平面内での頭部傾
き角度θとする。すなわち、ｘ，ｙ軸方向の０，１，２
次の慣性モーメントをｍｉｊ（ｉ，ｊ＝０，１，２）と
すると、慣性主軸方向（頭部傾き角度）θは以下の式
（３）にしたがって算出する。

【００２７】 θ＝１／２・ｔａｎ^-1（２・ｍ11／（ｍ02−ｍ20）） …… （３）ここで、ｍ11，ｍ02，ｍ20は、それぞれｍ11＝∫∫ｘｙ
ｆ（ｘ，ｙ）ｄｘｄｙ、ｍ20＝∫∫ｘｆ（ｘ，ｙ）² ｄ
ｘｄｙ、ｍ02＝∫∫ｙｆ（ｘ，ｙ）² ｄｘｄｙである。

【００２８】次に、人物注目方向抽出部３における人物
顔輪郭抽出部１２の処理について説明する。一般に、画
像の輪郭上のノード位置の画素値と輪郭形状とからエネ
ルギを定義し、これを最小化することにより、対象形状
に近く、滑らかな輪郭を求めようとする手法として、周
知のスネーク（ｓｎａｋｅｓ）法があり、その変形とし
て、輪郭上の制御点間の曲線のエッジ近傍への移動、曲
線のｂスプライン近似、最小自乗法による近似曲線から
の輪郭上制御点の算出を組合わせたｂスプラインスネー
ク法がある。ここでは後者の方法に近いが、より少ない
計算コストで行なうために、以下の処理を行なう。

【００２９】まず、初期領域抽出処理として、上記で求
められた顔領域について、その外接矩形を求める。これ
は具体的には、ラベリング手法（文献[3] 参照）や射影
抽出の閾値処理による手法などの方法による。

【００３０】輪郭抽出は、上記顔領域画像上での初期ノ
ード配置処理、ノード移動処理、ノード再配置処理をノ
ードの移動量の総和が閾値ｓよりも小さくなるか、繰り
返し回数が一定数ｎを越えるまで繰り返し行なう。

【００３１】初期ノード配置処理として、この外接矩形
の各頂点、および、各頂点間を一定距離で分割する点を
選択し、それぞれのノードの座標を記憶する。次に、ノ
ード移動処理として、上述の顔領域画像上で各配置ノー
ドの位置から外接矩形の重心座標を結ぶ線分を仮定し、
その線分上を各初期ノードから重心へ向かう方向にある
一定画素数の連続した顔領域画素（濃淡値＝ｆなる画
素）を検出するまでノードを移動する。

【００３２】この段階では、一般に顔画像内の顔輪郭近
傍以外の顔画素が存在するため、移動後のノードを接続
した形状（顔輪郭候補）には不要な凹凸が存在する。と
ころが、真顔輪郭は通常、滑らかな曲線をなすため、移
動されたノードを滑らかな輪郭曲線で補間する必要があ
り、この処理をノード再配置処理と呼ぶ。これは、各ノ
ードを時計回り（または、反時計回り）にパラメトリッ
ク曲線により補間し移動するものであるが、上述の繰返
し回数に応じて輪郭上の補間の方向を時計回りと反時計
回りで可変する。たとえば、繰返しが奇数回目のときに
は時計回り、偶数回目のときには反時計回り、というよ
うに行なってよい。この結果として出力されるｉ番目の
画像フレームに対する顔周囲の輪郭データＣi は、各ノ
ードの２次元座標列Ｃi ＝（Ｘi 0 ，Ｙi 0 ）……（Ｘi n ，Ｙi n ） …… （４）となる。ここで、（Ｘi n ，Ｙi n ）は、ｉ番目の画像
フレームに存在する人物の顔輪郭のｎ番目のノード座標
を示す。

【００３３】次に、各処理フレームごとに、この輪郭デ
ータを保存しておき、次の処理フレームにおいて検出さ
れた輪郭データと各ノード座標同士の差の絶対値の総和
Ｄx，Ｄy を下記数１のように求め、輪郭形状の変化量
として出力する。

【００３４】

【数１】

【００３５】次に、人物注目方向抽出部３における第１
の顔特徴点抽出部１３の処理について、図５に示すフロ
ーチャートを参照して説明する。前述したように、第１
の特徴点としては口を選択し、これを抽出する。

【００３６】一般に、ＹＩＱ表色系のＱ成分画像におい
ては、口の領域の濃淡値は特定値付近に集中することが
知られている。この性質を利用して、入力画像のうち、
前述の人物顔領域抽出部１１の処理で抽出された顔領域
画像の内部について、Ｑ成分のヒストグラムを計測し、
クラス分けする。さらに、このクラスのうち、口領域を
端的に示すものをあらかじめ教示しておき、その領域を
抽出する。

【００３７】したがって、前述の人物顔領域抽出部１１
と同様に、まず、入力画像に対してＲＧＢ→ＹＩＱ変換
を行なう。次に、上述の処理にて抽出されたＱ成分のみ
のヒストグラムをとり、さらに、このヒストグラムを濃
度軸上で領域分割し、指定領域（クラス）を選択して口
候補領域を抽出する。ここでも、クラスタリング手法
は、前述同様、既存のものを使用して差し支えない。

【００３８】ここまでの処理によって、口領域の候補領
域が抽出されるわけであるが、口以外の領域についても
抽出されてしまう可能性があるため、各候補領域の外接
矩形の内部に対して、以下の評価関数値を最小化するも
のを選択して、これらを限定し、口領域周囲の外接矩形
のみを抽出し、その重心座標を求める。すなわち、評価
関数Ｅｍは、Ｅｍ＝−（Ｗｓ・Ｓ＋Ｗｐ・Ｐ＋Ｗｐｐ・ＰＰ＋ＷＩ・Ｉ）……（６）である。ここで、ＩはＩ＝Ｎin／Ｎ …… （７）である。ただし、Ｓは候補領域の面積、Ｐは候補領域の
高さ方向の位置（大なる程、画面下に位置する）、ＰＰ
は候補領域内の最大幅長であり、Ｎinは第１の特徴点の
周辺の点で、顔輪郭内部のものの数、Ｎは第１の特徴点
の周辺の点の総数、Ｗｓ，Ｗｐ，Ｗｐｐ，ＷＩは重み定
数である。

【００３９】次に、人物注目方向抽出部３における第２
の顔特徴点抽出部１４の処理について、図６に示すフロ
ーチャートを参照して説明する。前述したように、第２
の特徴点としては目を選択し、これを抽出する。

【００４０】一般に、カラー画像を下記数２の色相
（Ｈ）、彩度（Ｓ）（文献[1] 参照）で表現したときの
Ｓ成分においては、目の瞳領域の濃淡値は特定値付近に
集中することが知られている。

【００４１】

【数２】

【００４２】ただし、Ｒ，Ｇ，Ｂは０〜２５５とし、ｒ
＝２５５Ｒ／（Ｒ＋Ｇ＋Ｂ）、ｇ＝２５５Ｇ／（Ｒ＋Ｇ
＋Ｂ）とする。この性質を利用して、入力画像のうち、
前述の人物顔領域抽出部１１の処理で抽出された顔領域
画像の内部について、Ｓ成分のヒストグラムを計測し、
クラス分けする。さらに、このクラスのうち、瞳領域を
端的に示すものをあらかじめ教示しておき、その領域を
抽出する。

【００４３】しかし、この変換においても、たとえば、
髪の毛が目の部分にかかっている場合は、瞳、髪のＳ成
分での濃度が接近しているため、分離が困難となる。そ
のため、ここでは、Ｓ成分画像に対して、評価関数値の
最小化による入力顔画像適応形のテンプレートマッチン
グ手法を用いて、目領域のみの抽出精度を高めるように
する。

【００４４】マッチングの特徴量は、以下のような目の
領域に関する周囲領域、位置、形状の３つの性質を使用
する。（ａ）周囲領域：画像中の目領域の周囲の画素の濃淡値
は瞳領域のそれとは異なる。

【００４５】（ｂ）位置：目領域は顔の対象軸からあま
り離れていない。（ｃ）形状：瞳領域と目の全体領域それぞれとの顔領域
に対する幅の比率、および、瞳、目全体それぞれの面積
比率はほぼ一定である。これは、複数の人物をサンプル
とするカラー顔画像の計測により求める。

【００４６】したがって、これに基づくマッチングアル
ゴリズムは次に示すようになる。まず、前述の人物顔領
域抽出部１１の処理で抽出された顔領域の高さＨｆおよ
び幅Ｗｆから、目の領域の高さＨｅおよび幅Ｗｅを下記
式（９）によって推定する。

【００４７】Ｈｅ＝Ｈｆ・ＲｈＷｅ＝Ｗｆ・Ｒｗ …… （９）ここで、ＲｈおよびＲｗは、それぞれ顔高さと目高さと
の比率および顔幅と目幅との比率であり、複数の人物サ
ンプルにおける顔高さおよび幅と目のそれらとの比率の
平均的な値を用いる。

【００４８】次に、顔領域内部において、Ｓ成分画像を
求め、口の抽出と同様、濃淡ヒストグラムを分割し、そ
の内の特定クラスを抽出する。次に、この濃度クラスの
み抽出された画像のうち、顔の上方に位置し、顔幅に相
当する領域を目領域の大きさに相当するブロックに分割
し、各ブロック内部での下記式（１０）に示す評価関数
値Ｅｅが最小なるものを選択し、その評価値最小ブロッ
クについて重心座標を求める。

【００４９】Ｅｅ＝（Ｗｎ・Ｎ＋Ｗｄ・Ｄ＋Ｗｆ・Ｆ−Ｗｊ・Ｉ′） …… （１０）ただし、Ｎは注目ブロックの周囲の瞳濃度クラスに属す
る画素数、Ｄは顔の対象軸からの距離（対象軸との傾き
で代用）、Ｆは平均的な人物における瞳領域（瞳濃度ク
ラスの画素）と目全体領域との面積比からの誤差、Ｉ′
は前記式（７）で第１の特徴点を第２の特徴点で置き換
えたもの、Ｗｎ，Ｗｄ，Ｗｆ，Ｗｊは重み定数である。

【００５０】ここで、前記式（１０）の代わりに瞳領域
の重心回りの２次、または、３次のモーメントの標準的
値との比mr20，mr02，mr30，mr03を用いた以下の評価関
数値Ｅｅを用いてもよい。

【００５１】Ｅｅ＝（Ｗｎ・Ｎ＋Ｗｄ・Ｄ＋Ｗｆ・Ｆ＋Ｗ20・mr20 ＋Ｗ02・mr02 ＋Ｗ03・mr30＋Ｗ30・mr30−Ｗｊ・Ｉ′） …… （１１）ここで、Ｗ20，Ｗ02，Ｗ30，Ｗ03は重み定数であり、mr
20 ，mr02，mr30，mr03は、それぞれ（ｘｇ，ｙｇ）を
瞳領域の重心、m20 、m02 、m30 、mo3 を標準的な人物
の瞳領域の重心回りの２次および３次モーメントとした
とき、 mr20＝m20/m20 mr02＝m02/m02 mr30＝m30/m30 mr03＝m03/m03 …… （１２）ただし、 m20 ＝∫∫（ｘ−ｘｇ）² ｆ（ｘ，ｙ）ｄｘｄｙ m02 ＝∫∫（ｙ−ｙｇ）² ｆ（ｘ，ｙ）ｄｘｄｙ m30 ＝∫∫（ｘ−ｘｇ）³ ｆ（ｘ，ｙ）ｄｘｄｙ m03 ＝∫∫（ｙ−ｙｇ）³ ｆ（ｘ，ｙ）ｄｘｄｙ …… （１３）となる。

【００５２】次に、人物注目方向抽出部３における人物
注目方向算出部１５の処理について説明する。人物注目
方向算出部１５においては、顔全体の位置に対する顔内
部の特徴点との位置関係によって顔の方向を推定する。
これには様々な既存手法が考えられるが、本例では、頭
全体の重心と顔内部の特徴点として高輝度変化領域を抽
出し、それらの重心同志のずれを比較する方式（文献
[4] 島田聡：顔画像からの注視方向の実時間識別法、信
学技法 IE91-64、PP.17-23 参照）を応用している。

【００５３】すなわち、頭全体の重心としては、前述の
人物顔領域抽出部１１で抽出された顔領域の重心を使用
し、顔内部の高輝度変化領域として、前述の第１，第２
の顔特徴点抽出部１３，１４で抽出された各特徴点の位
置の重心を使用している。結果として、処理フレームご
との顔方向ベクトル（VX,VY,VZ）は、顔とカメラレンズ
間での方向をＺ軸、それと直行して水平な方向をＸ軸、
Ｘ軸，Ｚ軸と直行する方向をＹ軸とした単位ベクトルと
なるが、さらに、ある一定時間内ｔでの各フレームごと
の方向をＸ，Ｙ，Ｚの各軸方向で平均し、本人物注目方
向算出部１５の出力とする。

【００５４】ただし、この時間平均の際に、人物顔輪郭
抽出部１２から出力された前記式（５）の値をあらかじ
め設定された閾値と比較し、閾値以下の場合には、その
ときの方向データは変化していないものと考え、顔方向
平均計算には前フレームの方向データを利用する。

【００５５】これは、前述のように、フレームごとの顔
方向は顔全体の重心と第１，第２の特徴点から求めた重
心とのずれを用いるため、後述のように、たとえば、
口、目の位置や形状の変化を顔動作とすると、顔動作に
よって顔方向の計算値は前フレームとは変わってしまう
が、顔の方向が変化していない場合には輪郭形状は安定
しているためである。

【００５６】次に、顔動作検出部４について説明する。
顔動作検出部４は、たとえば、図７に示すように、口動
作検出部２１、左目動作検出部２２、および、右目動作
検出部２３によって構成されている。

【００５７】すなわち、一般に、顔動作としては、顔全
体の時間変化、顔内部の部品の時間変化などが考えられ
るが、ここでは顔内部の部品である第１，第２の特徴点
の各抽出形状、位置、面積がとる一定時間内での変化と
考え、それぞれ口動作検出部２１、左目動作検出部２
２、および、右目動作検出部２３で動作を検出する。な
お、一定時間での変化としては、ここでは１フレーム前
の対応するパラメータ同士の変化とする。

【００５８】各特徴点の動作検出において、形状として
は、前記式（１０）で示した目領域候補内部の瞳濃度ク
ラスの連結画素についての、外接矩形の縦横比、周囲
長、円形度重心回りのモーメント特徴（文献[5] 高木、
下田：画像解析ハンドブック PP.580 参照）などを使用
してよい。ここでは、一例として、前記式（１３）の２
次および３次のモーメントmp20，mp02，mp30，mp03を使
用する。

【００５９】位置については、特徴領域の重心を用い
る。この場合、特徴領域の外接矩形重心、前述した顔輪
郭抽出手法による輪郭データの重心、外接矩形内の特徴
領域濃度画素の１次モーメントとして算出される重心
（文献[5] 参照）などがあり、そのいずれを用いても差
し支えないが、ここでは外接矩形の重心gp(xg,yg) を用
いることにする。また、面積としては、外接矩形内部の
瞳濃度クラスの画素数spを使用する。

【００６０】以上の３種類のパラメータについて、以下
のように顔動作データとして抽出する。これらは各パラ
メータごとに一定時間ｔ内でのフレーム間のパラメータ
値の差のデータ列となる。すなわち、 mp20＝{mp20(t+1)-mp20(t)，…，mp20(t+t)-mp02(t)} …… （１４） mp02＝{mp02(t+1)-mp02(t)，…，mp02(t+t)-mp02(t)} …… （１５） mp30＝{mp30(t+1)-mp30(t)，…，mp30(t+t)-mp30(t)} …… （１６） mp03＝{mp03(t+1)-mp03(t)，…，mp03(t+t)-mp03(t)} …… （１７） gp ＝{(gpx(t),gpy(t))，…，(gpx(t+t),gpy(t+t))} …… （１８） sp ＝{sp(t) ，…，sp(t+t)} …… （１９）ここで、mp20，mp02，mp30，mp03，gp，spは、特徴点ｐ
の一定時間ｔ内でのモーメント変化データ、重心位置変
化データ、面積変化データであり、ｐとしては、ここで
は口、左目、右目を利用する。また、mp20(t) 、mp02
(t) 、mp30(t) 、mp03(t) 、gpx(t)、gpy(t)、sp(t)
は、それぞれｔフレーム目の特徴点ｐの２次、３次のモ
ーメント、重心座標、面積である。

【００６１】以上から、この場合、検出される顔動作デ
ータは、前記式（１４）〜（１９）までのデータ列を統
合したｔｘ７次元のベクトルとして表現される。なお、
図８は、上述した顔動作検出部４の処理の流れを示すフ
ローチャートである。

【００６２】次に、顔動作イベント判定部５の処理につ
いて、図９に示すフローチャートを参照して説明する。
顔動作イベント判定部５は、あらかじめ後述の判定条件
設定部６で設定されている顔動作データ辞書に対して、
上述の顔動作検出部４によって検出された顔動作データ
との距離計算を行ない、距離最小なる辞書で表現された
動作イベントが検出されたものと判定する。

【００６３】距離の尺度としては、各イベントを示す顔
動作データとのユークリッド距離や各イベントを示す顔
動作データの集合とのマハラノビス距離（文献[6] 高
木、下田：画像解析ハンドブック PP.653 参照）などを
使用して差し支えない。

【００６４】そして、もし、登録済みのイベントに相当
する顔動作が検出された場合には、その時点での人物注
目方向抽出部３から出力される注目方向を用いて、操作
画面上での注目位置座標と発生したイベント名を出力す
る。

【００６５】なお、辞書と各イベントとは、後述する判
定条件設定部６によって対応づけられているとする。次
に、判定条件設定部６の処理について、図１０に示すフ
ローチャートを参照して説明する。判定条件設定部６
は、顔動作データ辞書の作成を行なう。これは、操作人
物が画像入力部１に向かって所望の顔動作をｎ回行なう
間に、前述の顔動作検出処理で示したように、ｎ個の顔
動作データを収集し、それらを統合することによって尤
もらしい代表値を生成することを目的とする。

【００６６】まず、あらかじめ設定されているｋ個の顔
動作イベントの名称が表示部９上に提示されるので、人
物はその内の１つを操作デバイス（たとえばキーボード
またはマウスなど）８によって選択する。

【００６７】次に、操作人物が操作デバイス８によって
顔動作の区切りとして、顔動作の開始時刻と終了時刻を
指示し、その指示時間の間に顔動作を行なうことで、前
述の顔動作検出処理で述べた処理によって顔動作データ
が一時的に記憶され、この手続きをｎ回繰り返す。これ
は、ある１回の人物の顔動作のみで生じる可能性のある
データの分布の偏りを軽減する目的がある。

【００６８】さらに、操作人物によって辞書の作成が操
作デバイス８を用いて指示されると、ｎ個の顔動作デー
タ列について代表値を算出して辞書とする。代表値とし
ては、上述の顔動作イベント判定部５の処理で距離とし
てユークリッド距離を用いた場合には、ｎ個のデータ
（ベクトル）の平均値μｅ、または、ｎ個のデータの第
１主成分αｅ（文献[7] 高木、下田：画像解析ハンドブ
ック PP.40 参照）を使用する。

【００６９】また、前述の顔動作イベント判定部５の処
理でマハラノビス距離を使用する場合には、ｎ個のベク
トルの平均値μｅ、および、分散共分散行列ｖｅを求
め、これを代表値とする。ここで、各代表値の添字のｅ
は登録するイベントを区別するためのものであり、ｅ＝
０，…，k-1 である。

【００７０】次に、形状認識修正部７の処理について、
図１１に示すフローチャートを参照して説明する。形状
認識修正部７は、様々な光源などの操作環境の違いでの
顔部品の形状認識性能の安定化のため、各環境ごとに、
たとえば、顔部品の抽出位置、形状を操作デバイス８に
よって操作人物が正解を教示し、その結果にしたがって
認識パラメータを自動調整するものである。

【００７１】本例では、人物顔領域抽出部１１、第１の
顔特徴点抽出部１３、および、第２の顔特徴点抽出部１
４の各抽出特性を修正するが、一例として、以下に人物
顔領域抽出部１１の修正方法を説明する。

【００７２】まず、画像記憶部２からの入力画像を表示
部９に表示した後、顔領域描画要求を操作人物に提示
し、操作人物は入力画像中にマウスなどの操作デバイス
８によって、顔周囲に適当な間隔で点を入力する。この
結果の点列は、上述の顔輪郭とは異なる色で表示部９に
入力画像と重畳表示されると同時に、修正用点列データ
として保存される。

【００７３】次に、この点列を時計回り（または、反時
計回り）に直線補間した内部の領域について、前述の人
物注目方向抽出部３の処理で述べたＩ成分画像中での画
素値を調べ、その上限値vuと下限値vlを求める。

【００７４】以後、顔領域の抽出を行なう際には、前述
の人物顔領域抽出部１１の処理で述べたＩ成分画像の濃
度分布中での顔領域の画素値の上限値vfu と下限値vfl
を求め、人物注目方向抽出部３に出力する。

【００７５】人物注目方向抽出部３においては、以下の
ように顔領域の画素値の上限値、下限値を修正して使用
する。 vfl ＝(wfl*vfl＋wrl*vl) vfu ＝(wfu*vfu＋wru*vu) …… （２０）ここで、wfl ，wrl ，wfu ，wru は、スケーリングの定
数である。

【００７６】以上の説明では、人物顔領域抽出部１１の
修正方法について述べたが、第１の特徴点抽出部１３に
ついては、Ｑ成分の画像についての画素値の上限値およ
び下限値、第２の特徴点抽出部１４については、Ｓ成分
の画像についての画素値の上限値および下限値、をそれ
ぞれ算出して、前記式（２０）と同様な手法によって形
状抽出特性を修正する。

【００７７】以上説明したように、上記実施の形態によ
れば、以下のような作用効果が期待できる。すなわち、
ＡＴＭ機器や券売機などの社会システム、および、パー
ソナルコンピュータ、ワードプロセッサ、ワークステー
ションは、ＧＵＩを備えてマウス操作を主体とした操作
ができるが、本発明方式を用いることにより、非接触な
インタフェースとして操作ボタンの処理や、表示を変更
（拡大、表示色の変更など）することが可能となるた
め、従来のキーボードを使用しながらマウスのようなポ
インティングデバイスを併用することの煩わしさを軽減
したり、ＰＤＡ（パーソナル・デジタル・アシスタン
ト）などの携帯端末装置を、混雑していて手が使用しに
くい環境で用いる場合の、使用者の負担を軽減し、高度
なＧＵＩを構築することが可能となる。

【００７８】

【発明の効果】以上詳述したように本発明の人物顔動作
検出方式によれば、ビデオカメラなどの画像入力手段で
入力された操作人物の顔画像から、顔内部の目、口、鼻
などの部品の特定の変化（動作）を抽出することによっ
て、これをＧＵＩへのイベントとして使用し、機器の制
御を行なわせることができる。したがって、たとえば、
従来のキーボードを使用しながらマウスのようなポイン
ティングデバイスを併用することの煩わしさを軽減し、
また、携帯端末装置などを混雑している手が使用しにく
い環境で用いる場合の使用者の負担を軽減し、高度なＧ
ＵＩを構築することが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る人物顔動作検出方式
が適用される装置の構成を示すブロック図。

【図２】人物注目方向抽出部の構成を示すブロック図。

【図３】人物注目方向抽出部の処理の流れを説明するフ
ローチャート。

【図４】人物顔領域抽出部の処理の流れを説明するフロ
ーチャート。

【図５】第１の顔特徴点抽出部の処理の流れを説明する
フローチャート。

【図６】第２の顔特徴点抽出部の処理の流れを説明する
フローチャート。

【図７】顔動作検出部の構成を示すブロック図。

【図８】顔動作検出部の処理の流れを説明するフローチ
ャート。

【図９】顔動作イベント判定部の処理の流れを説明する
フローチャート。

【図１０】判定条件設定部の処理の流れを説明するフロ
ーチャート。

【図１１】形状認識修正部の処理の流れを説明するフロ
ーチャート。

【符号の説明】

１……画像入力部、２……画像記憶部、３……人物注目
方向抽出部、４……顔動作検出部、５……顔動作イベン
ト判定部、６……判定条件設定部、７……形状認識修正
部、８……操作デバイス、９……表示部、１１……人物
顔領域抽出部、１２……人物顔輪郭抽出部、１３……第
１の顔特徴点抽出部、１４……第２の顔特徴点抽出部、
１５……人物注目方向算出部、２１……口動作検出部、
２２……左目動作検出部、２３……右目動作検出部。

Claims

【特許請求の範囲】

【請求項１】機器を操作する人物の顔領域を含む画像
を入力し、この入力された画像から前記人物の注目方向
を抽出し、かつ、前記人物の顔内部の部品の特定の変化
を抽出し、この抽出した顔部品の特定の変化があらかじ
め指定される操作コマンドであるか否かを判定し、この
判定結果および前記抽出した人物の注目方向を外部へ出
力することを特徴とする人物顔動作検出方式。
【請求項２】機器を操作する人物の顔領域を含む画像
を連続的に入力する画像入力手段と、この画像入力手段で入力された画像を一時記憶する画像
記憶手段と、この画像記憶手段に記憶された画像から前記人物の注目
方向を抽出する人物注目方向抽出手段と、前記画像記憶手段に記憶された画像から前記人物の顔内
部の部品の特定の変化を検出する顔動作検出手段と、この顔動作検出手段で検出された顔部品の特定の変化が
あらかじめ指定される操作コマンドであるか否かを判定
する判定手段と、を具備したことを特徴とする人物顔動作検出方式。
【請求項３】機器を操作する人物の顔領域を含む画像
を連続的に入力する画像入力手段と、この画像入力手段で入力された画像を一時記憶する画像
記憶手段と、この画像記憶手段に記憶された画像から前記人物の注目
方向を抽出する人物注目方向抽出手段と、前記画像記憶手段に記憶された画像から前記人物の顔内
部の部品の特定の変化を検出する顔動作検出手段と、この顔動作検出手段で検出された顔部品の特定の変化が
あらかじめ指定される操作コマンドであるか否かを判定
する判定手段と、この判定手段の判定結果および前記人物注目方向抽出手
段の抽出結果を外部へ出力する出力手段と、を具備したことを特徴とする人物顔動作検出方式。
【請求項４】前記人物注目方向抽出手段は、前記画像
記憶手段に記憶された画像から前記人物の顔領域を抽出
する人物顔領域抽出手段と、この人物顔領域抽出手段で
抽出された顔領域の周囲の輪郭を抽出する人物顔輪郭抽
出手段と、この人物顔輪郭抽出手段で抽出された顔輪郭
内において前記人物の顔の複数の特徴点を抽出する顔特
徴点抽出手段と、この顔特徴点抽出手段で抽出された各
特徴点に基づき前記人物の注目している方向を算出する
人物注目方向算出手段とからなることを特徴とする請求
項２または３記載の人物顔動作検出方式。
【請求項５】前記人物顔領域抽出手段は、画像入力手
段で入力された画像中の顔領域に相当する色成分を用い
て顔領域を抽出することにより、前記顔特徴点抽出手段
における特徴点抽出を安定化し、前記人物顔輪郭抽出手
段は、人物顔領域抽出手段で抽出された顔領域の周囲と
顔領域との境界を顔輪郭として抽出することにより、前
記顔特徴点抽出手段における特徴点抽出をその輪郭内に
限定することを特徴とする請求項４記載の人物顔動作検
出方式。
【請求項６】前記人物顔領域抽出手段は、顔周囲の候
補領域を外接矩形として抽出する初期領域抽出手段と、
この初期領域抽出手段で抽出された外接矩形上に配置さ
れた探索点と矩形の中心とを結ぶ線上で境界を探索する
環境探索手段と、この環境探索手段で繰り返し探索され
た探索点を所定のルールにしたがって移動させることに
より疑似輪郭の抽出をさけるための探索点再配置処理を
行なう探索点再配置処理手段とからなることを特徴とす
る請求項４記載の人物顔動作検出方式。
【請求項７】前記判定手段は、抽出された特定部品領
域のうち異なるフレームにおいて、前記顔部品領域から
ある位置範囲領域内部に存在する部品領域候補を対応付
けし、その結果から前記部品領域の時間的な変化を一定
時間領域内で計測し、かつ、その変化量を特定の統計量
に変換して評価することにより、顔部品の変化があらか
じめ指定される操作コマンドであるか否かを判定するこ
とを特徴とする請求項２または３記載の人物顔動作検出
方式。
【請求項８】前記判定手段は、さらに、人物顔輪郭抽
出手段によって抽出された顔輪郭の時間変化を特定の統
計量に変換し、これを評価することにより、顔部品の変
化が前記人物の意志によるものか否かを判定することを
特徴とする請求項４記載の人物顔動作検出方式。
【請求項９】前記人物が前記画像入力手段に向かって
所望の顔動作を複数回行なう間に複数個の顔動作データ
を収集し、それらを統合することによって代表値を生成
し、この代表値を変化統計量の評価のための条件として
設定する判定条件設定手段をさらに具備したことを特徴
とする請求項７記載の人物顔動作検出方式。
【請求項１０】顔領域や顔部品の抽出位置、形状の正
解を特定の操作手段を用いて教示させることにより、そ
の結果にしたがって前記人物顔領域抽出手段、人物顔輪
郭抽出手段、顔特徴点抽出手段の各抽出特性を修正する
形状認識修正手段をさらに具備したことを特徴とする請
求項４記載の人物顔動作検出方式。