JPH09147119A

JPH09147119A - 人物注目方向検出方式

Info

Publication number: JPH09147119A
Application number: JP7309083A
Authority: JP
Inventors: Nobuyoshi Enomoto; 暢芳榎本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-11-28
Filing date: 1995-11-28
Publication date: 1997-06-06

Abstract

(57)【要約】【課題】操作人物の状態を自動的に把握し、操作人物の
状態に応じてユーザフレンドリな操作方法の表示などを
行なうことが可能となる人物注目方向検出方式を提供す
る。【解決手段】画像入力部１で操作人物の顔領域を含む画
像を入力し、この入力された画像から人物顔領域抽出部
３で顔領域を抽出し、人物頭髪領域抽出部４で頭髪領域
を抽出し、これら抽出された顔領域と頭髪領域とから人
物頭部領域抽出部５で頭部領域を抽出し、人物顔領域抽
出部３で抽出された顔領域内において第１の顔特徴点抽
出部６で口領域を抽出し、第２の顔特徴点抽出部７で目
領域を抽出し、これら抽出された頭部領域と口領域およ
び目領域との位置関係から方向算出部８で顔の方向を求
め、この求めた顔方向の変化状況から人物操作状態算出
部９で人物の操作状態を推定し、その推定結果を出力部
１０で外部へ出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、たとえば、現金自
動入出金装置や券売機などの会社システム機器、あるい
は、パーソナルコンピュータやワードプロセッサなどの
オフィスオートメーション機器などにおいて、操作人物
の注目している方向として人物の顔の向いている方向を
検出し、注目度や操作人物の状態を推定する人物注目方
向検出方式に関する。

【０００２】

【従来の技術】従来、この種の技術として以下に説明す
る２つの方式が知られている。（１）目尻および口の端点の４特徴点が等脚台形をなす
という仮定により、顔方向を推定した例（文献[1] 青山
宏、河越正弘：顔の面対称性を利用した視線感知法、情
処研報ＣＶ、VOL 61、NO.2参照）、および、顔を各点間
距離が既知の３特徴点からなる三角形と仮定し、各点の
３次元位置を求め、顔方向を推定した例（文献[2] 大村
和典、伴野明、小林幸雄：単眼視画像による顔の向き検
出法の指示入力への応用、信学論、VOL J72-D-11 NO.
9、PP.1441-1447参照）がある。

【０００３】（２）頭全体および顔内部の高輝度変化領
域を抽出し、前者と後者との重心位置のずれによった顔
方向の検出を行ない、実時間による顔方向識別の検討を
行なった例（文献[3] 島田聡：顔画像からの注視方向の
実時間識別法、信学技法IE91-64 、PP.17-23参照）、さ
らに、後者領域の代わりとして特定色相方向彩度によっ
て検出した目および口領域を使用し、照明条件や顔の凹
凸による変動に対するロバスト性の向上を検討した例
（文献[4] 島田聡、安達文夫、石井健一郎：特定色相方
向の彩度による顔方向の識別、1993年春信学全大、D-51
4 、PP.7-275参照）がある。

【０００４】

【発明が解決しようとする課題】上記（１）の両方式に
よれば、特徴点の位置が高精度に検出されていることを
前提としており、一般には、環境変動によって生ずる特
徴点位置の精度に対するロバスト性や、特徴点を正確に
抽出するために費やされる処理時間の点で問題が多い。

【０００５】また、上気（２）の方式では、上述のよう
に、照明条件や顔の凹凸による変動に対するロバスト性
の向上を検討してはいるが、目に髪がかかる場合や、顔
が横方向を向いたときなどの変動によって、特徴点位置
が正確に検出されないなどの状況に対する考慮がなされ
ていない。

【０００６】そこで、本発明は、操作人物の状態を自動
的に把握し、操作人物の状態に応じてユーザフレンドリ
な操作方法の表示などを行なうことが可能となる人物注
目方向検出方式を提供することを目的とする。

【０００７】また、本発明は、グラフィカルユーザイン
タフェース装置において、高度なグラフィカルユーザイ
ンタフェースが構築可能となる人物注目方向検出方式を
提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明の人物注目方向検
出方式は、機器を操作する人物の顔領域を含む画像を入
力し、この入力された画像から操作対象人物の顔領域お
よび顔内部の特徴点位置を特定し、これら特定した顔領
域および顔内部の特徴点位置を用いて顔の方向とその時
間的な統計を検出することによって、操作人物の注目方
向と感情を含む操作状態とを推定することを特徴とす
る。

【０００９】また、本発明の人物注目方向検出方式は、
機器を操作する人物の顔領域を含むカラー画像を連続的
に入力する画像入力手段と、この画像入力手段で入力さ
れた画像を一時記憶する画像記憶手段と、この画像記憶
手段に記憶された画像から人物の顔の領域を抽出する人
物顔領域抽出手段と、前記画像記憶手段に記憶された画
像から人物の頭髪の領域を抽出する人物頭髪領域抽出手
段と、前記人物顔領域抽出手段で抽出された顔領域と前
記人物頭髪領域抽出手段で抽出された頭髪領域とから人
物の頭部領域を抽出する人物頭部領域抽出手段と、前記
人物顔領域抽出手段で抽出された顔領域内において少な
くとも２種類の顔特徴点位置を抽出する顔特徴点抽出手
段と、前記人物頭部領域抽出手段で抽出された頭部領域
と前記顔特徴点抽出手段で抽出された顔特徴点との位置
関係から顔の方向を求める方向算出手段と、この方向算
出手段で求められた顔方向の変化状況から人物の操作状
態を推定する人物操作状態算出手段とを具備している。

【００１０】また、本発明の人物注目方向検出方式は、
機器を操作する人物の顔領域を含むカラー画像を連続的
に入力する画像入力手段と、この画像入力手段で入力さ
れた画像を一時記憶する画像記憶手段と、この画像記憶
手段に記憶された画像から人物の顔の領域を抽出する人
物顔領域抽出手段と、前記画像記憶手段に記憶された画
像から人物の頭髪の領域を抽出する人物頭髪領域抽出手
段と、前記人物顔領域抽出手段で抽出された顔領域と前
記人物頭髪領域抽出手段で抽出された頭髪領域とから人
物の頭部領域を抽出する人物頭部領域抽出手段と、前記
人物顔領域抽出手段で抽出された顔領域内において少な
くとも２種類の顔特徴点位置を抽出する顔特徴点抽出手
段と、前記人物頭部領域抽出手段で抽出された頭部領域
と前記顔特徴点抽出手段で抽出された顔特徴点との位置
関係から顔の方向を求める方向算出手段と、この方向算
出手段で求められた顔方向の変化状況から人物の操作状
態を推定する人物操作状態算出手段と、この人物操作状
態算出手段で推定された人物の操作状態を示す情報を外
部へ出力する出力手段とを具備している。

【００１１】さらに、本発明の人物注目方向検出方式
は、機器を操作する人物の顔領域を含むカラー画像を連
続的に入力する画像入力手段と、この画像入力手段で入
力された画像を一時記憶する画像記憶手段と、この画像
記憶手段に記憶された画像から人物の顔の領域を抽出す
る人物顔領域抽出手段と、前記画像記憶手段に記憶され
た画像から人物の頭髪の領域を抽出する人物頭髪領域抽
出手段と、前記人物顔領域抽出手段で抽出された顔領域
と前記人物頭髪領域抽出手段で抽出された頭髪領域とか
ら人物の頭部領域を抽出する人物頭部領域抽出手段と、
前記人物顔領域抽出手段で抽出された顔領域内において
少なくとも２種類の顔特徴点位置を抽出する顔特徴点抽
出手段と、前記人物頭部領域抽出手段で抽出された頭部
領域と前記顔特徴点抽出手段で抽出された顔特徴点との
位置関係から顔の方向を求める方向算出手段と、この方
向算出手段で求められた顔方向の変化状況から人物の操
作状態を推定する人物操作状態算出手段と、この人物操
作状態算出手段で推定された人物の操作状態を示す情報
をグラフィカルユーザインタフェース装置へ出力する出
力手段とを具備している。

【００１２】本発明によれば、入力された操作人物の顔
領域を含む画像から操作対象人物の顔領域および顔内部
の特徴点位置を特定し、それらを用いて顔の方向とその
時間的な統計を検出することによって操作人物の注目方
向と感情を含む操作状態とを推定することにより、操作
人物の状態を自動的に把握し、操作人物の状態に応じて
ユーザフレンドリな操作方法の表示などを行なうことが
可能となる。

【００１３】すなわち、たとえば、現金自動入出金装置
や券売機などの会社システム機器、あるいは、パーソナ
ルコンピュータやワードプロセッサなどのオフィスオー
トメーション機器などにおいて、一般ユーザが操作方法
を理解できないための問題があるが、本発明方式を用い
ることにより、操作人物の状態を機器側が把握し、操作
人物の状態に応じてユーザフレンドリな操作方法の表示
（ヘルプメニュー）などを行なうことが可能となる。

【００１４】また、現在、パーソナルコンピュータやワ
ークステーションなどのグラフィカルユーザインタフェ
ース装置は、グラフィカルユーザインタフェース（ＧＵ
Ｉ）を備えていて、マウス操作を主体とした操作ができ
るが、本発明方式を用いることにより、注目領域による
操作ボタンの処理や、注目領域の表示を変更（拡大、表
示色の変更など）することによる、高度なグラフィカル
ユーザインタフェースが構築可能となる。

【００１５】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して説明する。なお、本実施の形態では、
ビデオカメラから入力された画像中に含まれる操作人物
の注目している方向として操作人物の顔の向いている方
向を検出し、注目度や操作人物の状態（操作方法に迷っ
ている、操作に疲れてきた等）を推定する装置に適用し
た場合について説明する。

【００１６】図１は、本実施の形態に係る人物注目方向
検出方式が適用される装置の構成を示している。この装
置は、カラーのビデオカメラと、その出力をデジタル化
するＡ／Ｄ変換器とからなり、機器（たとえば、パーソ
ナルコンピュータ）を操作する人物の顔領域を含むカラ
ー画像を時間連続的に入力する画像入力部１、画像入力
部１により数フレームごとに入力されたＲ（赤），Ｇ
（緑），Ｂ（青）各８ビットのデジタル画像データを一
時記憶する画像記憶部２、画像記憶部２に記憶されたカ
ラー画像データ（入力画像）から人物の顔の領域を抽出
する人物顔領域抽出部３、画像記憶部２に記憶されたカ
ラー画像データから人物の頭髪の領域を抽出する人物頭
髪領域抽出部４、人物顔領域抽出部３で抽出された顔領
域と人物頭髪領域抽出部４で抽出された頭髪領域とから
人物の頭部領域を抽出する人物頭部領域抽出部５、人物
顔領域抽出部３で抽出された顔領域内において顔特徴点
として口領域を抽出する第１の顔特徴点抽出部６、人物
顔領域抽出部３で抽出された顔領域内において顔特徴点
として目領域を抽出する第２の顔特徴点抽出部７、人物
頭部領域抽出部５で抽出された頭部領域と第１，第２の
顔特徴点抽出部６，７で抽出された２種類の顔特徴点と
の位置関係から顔の方向を求める方向算出部８、方向算
出部８で求められた顔方向の変化状況から人物の操作状
態を推定する人物操作状態算出部９、および、人物操作
状態算出部９で推定された人物の操作状態を示す情報な
どをグラフィカルユーザインタフェース装置としてのパ
ーソナルコンピュータなどへ出力する出力部１０によっ
て構成されている。

【００１７】すなわち、本実施の形態の装置は、画像入
力部１により数フレームごとに入力されたＲＧＢ各８ビ
ットのデジタル画像データは、画像記憶部２に一時格納
される。画像記憶部２に格納された入力画像に対して、
後で詳細を説明するように、人物顔領域抽出部３、人物
頭髪領域抽出部４、および、人物頭部領域抽出部５をそ
れぞれ適用することにより、人物の顔領域画像、頭部領
域画像の重心位置、および、投影平面内での頭部の傾き
角をそれぞれ抽出する。

【００１８】次に、こうして求められた顔領域画像内部
について、第１の顔特徴点抽出部６、第２の顔特徴点抽
出部７を用いることで、本来顔の正面に位置すると考え
られる顔内部の器官（ここでは、第１の特徴点として
口、第２の特徴点として目を使用）の投影面中での位置
を検出するとともに、各特徴点の重心位置をそれぞれ計
算する。

【００１９】この後、方向算出部８によって、上記のよ
うに算出された頭部の重心位置、平面内での傾き角、お
よび、特徴点の重心位置から顔方向を計算し、さらに、
人物操作状態算出部９によって、各時刻で求められる顔
の方向の時間的統計分布を求めて、人物の注目の度合
い、および、操作人物の状態（操作方法に迷っている、
操作に疲れてきた等）を推定する。

【００２０】この推定結果は、一定時間ごとに出力部１
０によって、算出された顔方向のベクトルに対して注目
度に応じた重みを伴わせたデータと、操作状態のデータ
（注目している、操作に迷っている、操作を中断してい
る）として、パーソナルコンピュータなどへ出力され
る。

【００２１】以下、各部の処理について詳細に説明す
る。まず、人物顔領域抽出部３の処理について、図２に
示すフローチャートを参照して説明する。一般に、ＹＩ
Ｑ表色系（文献[5] 高木、下田：画像解析ハンドブック
PP.103 参照）における、１成分画像の濃度頻度分布
（濃度ヒストグラム）には、肌色部分とそれ以外の部分
とで形状に顕著な差があることが知られている。すなわ
ち、濃度ヒストグラムの濃淡値軸の中位の部位で、他部
位との形状の異なる領域に人物の肌色に近い色が配置さ
れる。

【００２２】本実施の形態では、この知識を用い、ま
ず、画像記憶部２内のＲＧＢのカラー画像をＹＩＱ表色
系のカラー画像に変換する。このときの変換式は、一般
に用いられている以下のような式（１）で差し支えな
い。

【００２３】Ｙ＝０．３０・Ｒ＋０．５９・Ｇ＋０．１１・ＢＩ＝０．６０・Ｒ−０．２８・Ｇ−０．３２・ＢＱ＝０．２１・Ｒ−０．５２・Ｇ＋０．３１・Ｂ …… （１）ただし、Ｒ，Ｇ，Ｂ，Ｙ，Ｉ，Ｑは、それぞれカラー画
像のＲ，Ｇ，Ｂ，Ｙ，Ｉ，Ｑ成分を示す。

【００２４】次に、上述の処理によって抽出された１成
分画像のみの濃度ヒストグラムをとる。ここでは、横軸
を濃淡値（０〜２５５）、縦軸を頻度としたものとして
濃度ヒストグラムを作成する。

【００２５】さらに、この作成した濃度ヒストグラムを
濃度軸上で３領域（クラス）に領域分割し、濃度が中間
のクラスを選択して肌色領域を抽出する。このときのク
ラス分割手法としては、Ｋ−平均アルゴリズムなどの一
般に知られているクラスタリングのアルゴリズムを使用
して差し支えない。

【００２６】以上の処理によって、入力画像中から肌色
をした画像領域を抽出することが可能であるが、入力画
像の中には、たとえば、手などのように、顔以外で肌色
をした領域が存在する可能性があるので、ここでは、あ
らかじめ全画面に対する顔領域の面積比率を求めてお
き、上記で求まった肌色の領域のうちで、面積比率が顔
のそれに最も近いものを選択することで、顔領域を抽出
する。ここでの肌色領域の面積の計算は、連結領域のラ
ベリング手法（文献[6] 高木、下田：画像解析ハンドブ
ック PP.578 参照）や射影抽出の閾値処理による手法な
どを使用して差し支えない。

【００２７】上記処理によって抽出された顔画像領域
は、顔部分の濃淡値を「１」、顔以外の部分の濃淡値を
「０」とした２値デジタル画像（顔領域画像）として出
力される。

【００２８】次に、人物頭髪領域抽出部４の処理につい
て、図３に示すフローチャートを参照して説明する。頭
髪領域の抽出には、画面内での人物の頭髪領域の画面全
体に対する面積比率を既知として利用し、「黒領域で、
画面全体に対する面積比率が既知の値に最も近く、顔領
域の上部に位置するもの」を検出する。

【００２９】この検出においても、顔と同様に、ある種
の色差画像において、ヒストグラム形状に特徴を求める
こととし、Ｙ成分画像を数クラスに分割したときの最小
濃度のクラスを抽出して使用する。これは、変換が容易
な色差成分であるＹ，Ｉ，Ｑのうちで、Ｙ成分での頭髪
部分画素に対する濃度頻度分布（ヒストグラム）が最も
特徴的であり、クラス分離しやすいためである。

【００３０】したがって、ここでは、上述の人物顔領域
抽出部３の処理と同様に、まず、入力画像に対してＲＧ
Ｂ→ＹＩＱ変換を行なう。次に、上述の処理にて抽出さ
れたＹ成分画像のみの濃度ヒストグラムをとり、これを
濃度軸上で領域分割し、濃度が最小の領域（クラス）を
選択して頭髪色領域を抽出する。このときのクラス分割
手法としては、前述のようにＫ−平均アルゴリズムなど
の一般に知られているクラスタリングのアルゴリズムを
使用して差し支えない。さらに、分割クラス数は実験的
に求めた最適な値を使用する。

【００３１】そして、あらかじめ求めておいた頭髪領域
の全画面に対する面積比率により、上記で求まった頭髪
候補領域のうちで、前述した人物顔領域抽出部３で抽出
した顔領域よりも画面上方に位置するもので、顔と面積
比率があらかじめ実験的に求めて登録してある頭髪のそ
れと最も近いものを選択することで、頭髪領域を抽出す
る。

【００３２】ここでの頭髪領域の面積の計算は、前述の
人物顔領域抽出部３と同様の手法を使用して差し支えな
い。上述の処理によって抽出された頭髪領域は、頭髪部
分の濃淡値を「１」、それ以外の部分の濃淡値を「０」
とした２値デジタル画像（頭髪領域画像）として出力さ
れる。

【００３３】次に、人物頭部領域抽出部５の処理につい
て、図４に示すフローチャートを参照して説明する。上
述した人物顔領域抽出部３および人物頭髪領域抽出部４
の各処理によって、画面内の人物の顔領域画像、およ
び、頭髪領域画像の領域を切出すことができ、両領域は
前述のデジタル画像として表現されるため、本人物頭部
領域抽出部５の処理では、まず、これらを図５（ａ）に
示す画像の論理和演算によって合成し、頭部領域画像を
作成する。

【００３４】次に、合成された領域について、以下の式
（２）にしたがって、その重心座標を求める。すなわ
ち、人物頭部領域の２値デジタル画像をｆ（ｘ，ｙ）と
すると、重心座標（ｘｇ，ｙｇ）は、ｘ，ｙ軸方向への
１次モーメントであり、ｘｇ＝∫∫ｘｆ（ｘ，ｙ）ｄｘｄｙｙｇ＝∫∫ｙｆ（ｘ，ｙ）ｄｘｄｙ …… （２）で示される。

【００３５】また、上記合成領域の２次のモーメントか
ら、慣性主軸方向を求め、これを投影平面内での頭部傾
き角度θとする（図５ｂ参照）。すなわち、ｘ，ｙ軸方
向の０，１，２次の慣性モーメントをｍｉｊ（ｉ，ｊ＝
０，１，２）とすると、慣性主軸方向（頭部傾き角度）
θは以下の式（３）にしたがって算出する。

【００３６】 θ＝１／２・ｔａｎ^-1（２・ｍ11／（ｍ02−ｍ20）） …… （３）ここで、ｍ11，ｍ02，ｍ20は、それぞれｍ11＝∫∫ｘｙ
ｆ（ｘ，ｙ）ｄｘｄｙ、ｍ20＝∫∫ｘｆ（ｘ，ｙ）² ｄ
ｘｄｙ、ｍ02＝∫∫ｙｆ（ｘ，ｙ）² ｄｘｄｙである。

【００３７】次に、第１の顔特徴点抽出部６の処理につ
いて、図６に示すフローチャートを参照して説明する。
前述したように、第１の顔特徴点としては口を選択し、
これを抽出する。

【００３８】一般に、ＹＩＱ表色系のＱ成分画像におい
ては、口の領域の濃淡値は特定値付近に集中することが
知られている。この性質を利用して、入力画像のうち、
前述の人物顔領域抽出部３の処理で抽出された顔領域画
像の内部について、Ｑ成分画像の濃度ヒストグラムを計
測し、クラス分けする。さらに、このクラスのうち、口
領域を端的に示すものをあらかじめ教示しておき、その
領域を抽出する。ここでは、分割クラス数は実験的に求
めたものを使用し、このうち口領域として抽出するクラ
スは、濃淡値が最大になるものとした。

【００３９】したがって、前述の人物顔領域抽出部３と
同様に、まず、入力画像に対してＲＧＢ→ＹＩＱ変換を
行なう。次に、上述の処理にて抽出されたＱ成分画像の
みの濃度ヒストグラムをとり、これを濃度軸上で領域分
割し、濃度が最大の領域（クラス）を選択して口候補領
域を抽出する。ここでも、クラスタリング手法は、前述
同様、既存のものを使用して差し支えない。

【００４０】ここまでの処理によって、口領域の候補領
域が抽出されるわけであるが、口以外の領域についても
抽出されてしまう可能性があるため、各候補領域の外接
矩形の内部に対して以下の評価関数値を最小化するもの
を選択して、これらを限定し、口領域周囲の外接矩形の
みを抽出し、その重心座標を求める。すなわち、評価関
数Ｅｍは、Ｅｍ＝−（Ｗｓ・Ｓ＋Ｗｐ・Ｐ＋Ｗｐｐ・ＰＰ） …… （４）である。ただし、Ｓは候補領域の面積、Ｐは候補領域の
高さ方向の位置（大なる程、画面下に位置する）、ＰＰ
は候補領域内の最大幅長、Ｗｓ，Ｗｐ，Ｗｐｐは重み定
数である。

【００４１】次に、第２の顔特徴点抽出部７の処理につ
いて、図７に示すフローチャートを参照して説明する。
前述したように、第２の顔特徴点としては目を選択し、
これを抽出する。

【００４２】一般に、カラー画像を下記数１の色相
（Ｈ）、彩度（Ｓ）（文献[7] 杉山、田辺：動画像を用
いた実時間瞬目抽出法、画像ラボ、1993.9、PP.45-48参
照）で表現したときのＳ成分においては、目の瞳領域の
濃淡値は特定値付近に集中することが知られている。

【００４３】

【数１】

【００４４】ただし、Ｒ，Ｇ，Ｂは０〜２５５とし、ｒ
＝２５５Ｒ／（Ｒ＋Ｇ＋Ｂ）、ｇ＝２５５Ｇ／（Ｒ＋Ｇ
＋Ｂ）とする。この性質を利用して、入力画像のうち、
前述の人物顔領域抽出部３の処理で抽出された顔領域画
像の内部について、Ｓ成分画像の濃度ヒストグラムを計
測し、クラス分けする。さらに、このクラスのうち、瞳
領域を端的に示すものをあらかじめ教示しておき、その
領域を抽出する。

【００４５】しかし、この変換においても、たとえば、
髪の毛が目の部分にかかっている場合は、瞳、髪のＳ成
分画像での濃度が接近しているため、分離が困難とな
る。そのため、ここでは、Ｓ成分画像に対して、評価関
数値の最小化による入力顔画像適応形のテンプレートマ
ッチング手法を用いて、目領域のみの抽出精度を高める
ようにする。

【００４６】マッチングの特徴量は、以下のような目の
領域に関する周囲領域、位置、形状の３つの性質を使用
する。（ａ）周囲領域：画像中の目領域の周囲の画素の濃淡値
は瞳領域のそれとは異なる。

【００４７】（ｂ）位置：目領域は顔の対象軸からあま
り離れていない。（ｃ）形状：瞳領域と目の全体領域それぞれとの顔領域
に対する幅の比率、および、瞳、目全体それぞれの面積
比率はほぼ一定である。これは、複数の人物をサンプル
とするカラー顔画像の計測により求める。

【００４８】したがって、これに基づくマッチングアル
ゴリズムは次に示すようになる。まず、前述の人物顔領
域抽出部３の処理で抽出された顔領域の高さＨｆおよび
幅Ｗｆから、目の領域の高さＨｅおよび幅Ｗｅを下記式
（５）によって推定する。

【００４９】Ｈｅ＝Ｈｆ・ＲｈＷｅ＝Ｗｆ・Ｒｗ …… （５）ここで、ＲｈおよびＲｗは、それぞれ顔高さと目高さと
の比率および顔幅と目幅との比率であり、複数の人物サ
ンプルにおける顔高さおよび幅と目のそれらとの比率の
平均的な値を用いる。

【００５０】次に、顔領域内部において、前記数１にお
けるＳ成分画像を求め、口の抽出と同様、濃淡ヒストグ
ラムを分割し、その内の特定クラスを抽出する。このと
きの分割クラス数は実験的に求め、特定クラスは瞳の濃
度に相当するもので、分割クラスのうち濃度の最小なも
のとした。

【００５１】次に、この濃度クラスのみ抽出された画像
のうち、顔の上方に位置し、顔幅に相当する領域を、式
（５）の目領域の大きさに相当するブロックに分割し、
各ブロック内部での下記式（６）に示す評価関数値Ｅｅ
が最小なるものを選択し、その評価値最小ブロックにつ
いて重心座標を求める。

【００５２】Ｅｅ＝（Ｗｎ・Ｎ＋Ｗｄ・Ｄ＋Ｗｆ・Ｆ） …… （６）ただし、Ｎは注目ブロックの周囲の瞳濃度クラスに属す
る画素数、Ｄは顔の対象軸からの距離（対象軸との傾き
で代用）、Ｆは平均的な人物における瞳領域と目領域と
の面積比からの誤差、Ｗｎ，Ｗｄ，Ｗｆは重み定数であ
る。

【００５３】次に、方向算出部８の処理について説明す
る。方向算出部８は、顔全体の位置に対する顔内部の特
徴点との位置関係によって顔の方向を推定する。これに
は様々な既存手法が考えられるが、本実施の形態では、
従来の技術で説明した頭全体の重心と顔内部の特徴点と
して高輝度変化領域を抽出し、それらの重心同士のずれ
を比較する方式（文献[3] 参照）を応用している。

【００５４】すなわち、頭全体としては、前述の人物頭
部領域抽出部５で抽出された頭部領域を用い、顔内部の
高輝度変化領域の重心の代わりに、前述の第１の顔特徴
点抽出部６、および、第２の顔特徴点抽出部７で抽出さ
れた各特徴点の位置の重心を使用している。

【００５５】次に、人物操作状態算出部９の処理につい
て、図８に示すフローチャートを参照して説明する。人
物操作状態算出部９は、上述の顔方向算出部８によって
算出された顔方向を一定の離散時間で求め、これらの時
間的な変化パターンや統計量を算出し、あらかじめ複数
の被験者を対象として求められ、被験者の状態（注目し
ている、操作に迷っている、操作を中断している等）を
示す標準的な参照データと比較することにより、操作人
物の状態を推定する。

【００５６】すなわち、本実施の形態においては、顔方
向の時間的な統計量としては、顔方向の時間平均θａと
時間分散θｖ、および、顔方向が指定操作範囲（たとえ
ば操作パネル上）外を示した時間θｘを求める。そし
て、これらを、あらかじめ求めておいた、それぞれの閾
値Ｔａ，ＴｖおよびＴｘと比較して、以下の３種類の状
態を決定する。

【００５７】 θａ＞Ｔａかつ θｖ＜Ｔｖ →注目している。 θａ＜Ｔａかつ θｖ＞Ｔｖ →操作に迷っている。 θｘ＞Ｔｘ →操作を中断している。 …… （７）ここで、出力部１０へは、上記θａ，θｖ、および、上
記３状態をステータス信号として出力する。

【００５８】次に、出力部１０の処理について説明す
る。出力部１０は、全体処理でも説明した通り、算出さ
れた顔方向のベクトルに注目度に応じた重みを伴わせた
データと、操作状態のデータ（注目している、操作に迷
っている、操作を中断している）として出力される。こ
こで、注目度Ｎとしては、上述のθａ，θｖを用いて、Ｎ＝Ｗａ・θａ＋Ｗｖ／θｖ …… （８）となる。

【００５９】ここに、Ｗａ，Ｗｖは、表示階調を注目度
に比例するようにスケーリングするための定数である。
また、操作状態の出力としては、人物操作状態算出部９
の処理で示した３状態のステータス信号をそのまま使用
する。

【００６０】次に、人物注目方向によるグラフィカルユ
ーザインタフェース（ＧＵＩ）について説明する。図９
は、図１における符号１〜１０までを１つの処理装置、
すなわち、人物注目方向検出装置１１と考え、出力部１
０からのデータを、グラフィカルユーザインタフェース
装置としての、表示装置１２を備えた汎用のパーソナル
コンピュータ（汎用パソコン）１３に与えることによっ
て、操作人物の顔の方向と注目度とに応じた、表示装置
１２の画面内のアイコンクリック、および、操作メッセ
ージ起動の例を説明する図である。

【００６１】人物注目方向検出装置１１からパーソナル
コンピュータ１３に送られたステータス信号（人物操作
状態算出部９の処理で述べたもの）のそれぞれの状態に
応じて、パーソナルコンピュータ１３の表示装置１２で
は、以下に示す（ａ）〜（ｃ）のようなアクションをお
こし、ユーザとの会話を行なう。このときの画像入力部
１のビデオカメラ１ａと表示装置１２の画面との位置関
係を図１０に示す。

【００６２】（ａ）ステータス信号＝「注目している」
の場合前述の顔重心位置１４を原点とする座標系を考え、そこ
から表示装置１２の画面に向かう前述の方向ベクトルと
画面との交点（ｘｉ，ｙｉ，ｚ）を求め、その位置に最
も近く、現在のユーザ（操作人物）１５のアクションと
して可能性のあるアイコン位置をユーザ１５によるピッ
ク位置とし、対応するアクションを起す。

【００６３】たとえば、ユーザ１５のイエス／ノーの選
択時には、ユーザ１５のピックの探索は、これら２つの
アイコンが、ユーザ１５に選択されたものとしての可能
性がある。なお、Ｚは、あらかじめ設定しておいたユー
ザ１５の顔と表示装置１２の画面との距離である。

【００６４】（ｂ）ステータス信号＝「操作に迷ってい
る」の場合ユーザ１５に対して、たとえば、表示と音声によって
「お困りですか？」というメッセージを出力し、さら
に、たとえば、「上記の質問に答えるためにイエス／ノ
ーの位置を注視してください。」といった、操作のより
詳しいメッセージを表示する。

【００６５】（ｃ）ステータス信号＝「操作を中断して
いる」の場合中断している状態が、非常に長い一定回数だけ続いた場
合には、表示装置１２の画面の焼き付きを保護するため
にスクリーンセイバープログラムを起動する。このプロ
グラムについては、どのようなものを使用してもよい。

【００６６】

【発明の効果】以上詳述したように本発明の人物注目方
向検出方式によれば、入力された操作人物の顔領域を含
む画像から操作対象人物の顔領域および顔内部の特徴点
位置を特定し、それらを用いて顔の方向とその時間的な
統計を検出することによって操作人物の注目方向と感情
を含む操作状態とを推定することにより、操作人物の状
態を自動的に把握し、操作人物の状態に応じてユーザフ
レンドリな操作方法の表示などを行なうことが可能とな
る。

【００６７】すなわち、たとえば、現金自動入出金装置
や券売機などの会社システム機器、あるいは、パーソナ
ルコンピュータやワードプロセッサなどのオフィスオー
トメーション機器などにおいて、一般ユーザが操作方法
を理解できないための問題があるが、本発明方式を用い
ることにより、操作人物の状態を機器側が把握し、操作
人物の状態に応じてユーザフレンドリな操作方法の表示
（ヘルプメニュー）などを行なうことが可能となる。

【００６８】また、現在、パーソナルコンピュータやワ
ークステーションなどのグラフィカルユーザインタフェ
ース装置は、グラフィカルユーザインタフェース（ＧＵ
Ｉ）を備えていて、マウス操作を主体とした操作ができ
るが、本発明方式を用いることにより、注目領域による
操作ボタンの処理や、注目領域の表示を変更（拡大、表
示色の変更など）することによる、高度なグラフィカル
ユーザインタフェースが構築可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る人物注目方向検出方
式が適用される装置の構成を示すブロック図。

【図２】人物顔領域抽出部の処理を説明するフローチャ
ート。

【図３】人物頭髪領域抽出部の処理を説明するフローチ
ャート。

【図４】人物頭部領域抽出部の処理を説明するフローチ
ャート。

【図５】人物頭部領域画像の合成および人物頭部領域画
像の投影面内での傾き角度を説明する図。

【図６】第１の顔特徴点抽出部の処理を説明するフロー
チャート。

【図７】第２の顔特徴点抽出部の処理を説明するフロー
チャート。

【図８】人物操作状態算出部の処理を説明するフローチ
ャート。

【図９】人物注目方向によるグラフィカルユーザインタ
フェースについて説明するブロック図。

【図１０】画像入力部のビデオカメラと表示装置の画面
との位置関係を示す概略図。

【符号の説明】

１……画像入力部、２……画像記憶部、３……人物顔領
域抽出部、４……人物頭髪領域抽出部、５……人物頭部
領域抽出部、６……第１の顔特徴点抽出部、７……第２
の顔特徴点抽出部、８……方向算出部、９……人物操作
状態算出部、１０……出力部、１１……人物注目方向検
出装置、１２……表示装置、１３……パーソナルコンピ
ュータ。

Claims

【特許請求の範囲】

【請求項１】機器を操作する人物の顔領域を含む画像
を入力し、この入力された画像から操作対象人物の顔領
域および顔内部の特徴点位置を特定し、これら特定した
顔領域および顔内部の特徴点位置を用いて顔の方向とそ
の時間的な統計を検出することによって、操作人物の注
目方向と感情を含む操作状態とを推定することを特徴と
する人物注目方向検出方式。
【請求項２】機器を操作する人物の顔領域を含むカラ
ー画像を連続的に入力する画像入力手段と、この画像入力手段で入力された画像を一時記憶する画像
記憶手段と、この画像記憶手段に記憶された画像から人物の顔の領域
を抽出する人物顔領域抽出手段と、前記画像記憶手段に記憶された画像から人物の頭髪の領
域を抽出する人物頭髪領域抽出手段と、前記人物顔領域抽出手段で抽出された顔領域と前記人物
頭髪領域抽出手段で抽出された頭髪領域とから人物の頭
部領域を抽出する人物頭部領域抽出手段と、前記人物顔領域抽出手段で抽出された顔領域内において
少なくとも２種類の顔特徴点位置を抽出する顔特徴点抽
出手段と、前記人物頭部領域抽出手段で抽出された頭部領域と前記
顔特徴点抽出手段で抽出された顔特徴点との位置関係か
ら顔の方向を求める方向算出手段と、この方向算出手段で求められた顔方向の変化状況から人
物の操作状態を推定する人物操作状態算出手段と、を具備したことを特徴とする人物注目方向検出方式。
【請求項３】機器を操作する人物の顔領域を含むカラ
ー画像を連続的に入力する画像入力手段と、この画像入力手段で入力された画像を一時記憶する画像
記憶手段と、この画像記憶手段に記憶された画像から人物の顔の領域
を抽出する人物顔領域抽出手段と、前記画像記憶手段に記憶された画像から人物の頭髪の領
域を抽出する人物頭髪領域抽出手段と、前記人物顔領域抽出手段で抽出された顔領域と前記人物
頭髪領域抽出手段で抽出された頭髪領域とから人物の頭
部領域を抽出する人物頭部領域抽出手段と、前記人物顔領域抽出手段で抽出された顔領域内において
少なくとも２種類の顔特徴点位置を抽出する顔特徴点抽
出手段と、前記人物頭部領域抽出手段で抽出された頭部領域と前記
顔特徴点抽出手段で抽出された顔特徴点との位置関係か
ら顔の方向を求める方向算出手段と、この方向算出手段で求められた顔方向の変化状況から人
物の操作状態を推定する人物操作状態算出手段と、この人物操作状態算出手段で推定された人物の操作状態
を示す情報を外部へ出力する出力手段と、を具備したことを特徴とする人物注目方向検出方式。
【請求項４】前記カラー画像はＲ（赤），Ｇ（緑），
Ｂ（青）のカラー画像であり、前記人物顔領域抽出手段
は、前記画像記憶手段に記憶されたＲ，Ｇ，Ｂのカラー
画像から顔領域を抽出するために、前記Ｒ，Ｇ，Ｂのカ
ラー画像を特定表色系のカラー画像に変換し、頻度分布
上で前記顔領域の有する濃度が他の領域の濃度と有意差
を持つ特定の１種類の色成分画像を使用して、頻度分布
上でのクラス分けによる領域候補の抽出を行なうととも
に、あらかじめ求められた画面内での人物の顔および頭
の全画面に対する面積比率による前記抽出された領域候
補の選択を行なうことを特徴とする請求項２および３記
載の人物注目方向検出方式。
【請求項５】前記カラー画像はＲ（赤），Ｇ（緑），
Ｂ（青）のカラー画像であり、前記人物頭髪領域抽出手
段は、前記画像記憶手段に記憶されたＲ，Ｇ，Ｂのカラ
ー画像から頭髪領域を抽出するために、前記Ｒ，Ｇ，Ｂ
のカラー画像を特定表色系のカラー画像に変換し、頻度
分布上で前記頭髪領域の有する濃度が他の領域の濃度と
有意差を持つ特定の１種類の色成分画像を使用して、頻
度分布上でのクラス分けによる領域候補の抽出を行なう
とともに、あらかじめ求められた画面内での人物の顔お
よび頭の全画面に対する面積比率による前記抽出された
領域候補の選択を行なうことを特徴とする請求項２およ
び３記載の人物注目方向検出方式。
【請求項６】前記顔特徴点抽出手段は、抽出する２種
類の顔特徴点のうちの１種類として口領域を用い、その
口領域を抽出するために、頻度分布上で口領域の濃度が
他の領域の濃度に対して有意差を持つ特定の表色系の１
種類の色成分画像を前記画像記憶手段に記憶された画像
から抽出することにより口候補領域の抽出を行なうとと
もに、口候補領域の面積、位置、幅とからなるコスト評
価関数の最小化により前記抽出された口候補領域の選択
を行なうことを特徴とする請求項２および３記載の人物
注目方向検出方式。
【請求項７】前記顔特徴点抽出手段は、抽出する２種
類の顔特徴点のうちの１種類として目領域を用い、その
目領域を抽出するために、頻度分布上で目のうちの瞳領
域の濃度が他の領域の濃度に対して有意差を持つ特定の
表色系の１種類の色成分画像を前記画像記憶手段に記憶
された画像から抽出することにより目候補領域の抽出を
行なうとともに、目候補領域外における瞳相当領域の面
積と顔との対象軸からの距離と標準的人物の目全体面積
に対する瞳領域面積の比率とからなるコスト評価関数の
最小化により前記抽出された目候補領域の選択を行なう
ことを特徴とする請求項２および３記載の人物注目方向
検出方式。
【請求項８】前記人物操作状態算出手段は、顔方向を
一定の離散時間で求め、これらの時間的な変化パターン
や統計量を算出し、あらかじめ複数の被験者を対象とし
て求められた被験者の操作状態を示す標準的な参照デー
タと比較することにより人物の操作状態を推定すること
を特徴とする請求項２および３記載の人物注目方向検出
方式。
【請求項９】前記出力手段は、前記方向算出手段で求
められたある瞬間の顔方向に対して、前記人物操作状態
算出手段で算出された顔方向の時間変化統計量を用いて
人物のその方向への注目度を推定することにより、人物
の操作状態を方向ベクトルと注目度という２つの量とし
て外部へ出力することを特徴とする請求項８記載の人物
注目方向検出方式。
【請求項１０】機器を操作する人物の顔領域を含むカ
ラー画像を連続的に入力する画像入力手段と、この画像入力手段で入力された画像を一時記憶する画像
記憶手段と、この画像記憶手段に記憶された画像から人物の顔の領域
を抽出する人物顔領域抽出手段と、前記画像記憶手段に記憶された画像から人物の頭髪の領
域を抽出する人物頭髪領域抽出手段と、前記人物顔領域抽出手段で抽出された顔領域と前記人物
頭髪領域抽出手段で抽出された頭髪領域とから人物の頭
部領域を抽出する人物頭部領域抽出手段と、前記人物顔領域抽出手段で抽出された顔領域内において
少なくとも２種類の顔特徴点位置を抽出する顔特徴点抽
出手段と、前記人物頭部領域抽出手段で抽出された頭部領域と前記
顔特徴点抽出手段で抽出された顔特徴点との位置関係か
ら顔の方向を求める方向算出手段と、この方向算出手段で求められた顔方向の変化状況から人
物の操作状態を推定する人物操作状態算出手段と、この人物操作状態算出手段で推定された人物の操作状態
を示す情報をグラフィカルユーザインタフェース装置へ
出力する出力手段と、を具備したことを特徴とする人物注目方向検出方式。
【請求項１１】前記グラフィカルユーザインタフェー
ス装置は、前記出力手段が出力する人物の操作状態を示
す情報を受信することにより、操作人物が操作方法がわ
からずに迷っている状態では、指示メッセージをより細
かく出力するようにするといった指示メッセージの内容
の変化や、指示メッセージの表示色を目立つようにする
といった指示メッセージの方法の変化を起こさせるとい
った、インタフェースのダイナミックかつ状態に応じた
提供を行なうことを特徴とする請求項１０記載の人物注
目方向検出方式。