JPH0981732A - 領域抽出装置及びそれを用いた方向検出装置 - Google Patents

Abstract

(57)【要約】 【課題】 照明条件や入力画像の大きさ、画像中の顔位
置や大きさ、回転、背景などの変化に左右されることな
く、顔領域を抽出する。 【解決手段】 顔領域を表す確率密度分布が格納された
確率密度関数格納部７を参照することにより、入力装置
１により入力された人物画像の顔領域確率画像を生成す
る領域確率計算装置５と、画像全体を覆うように設けら
れる仮想的な網を構成する格子点の位置関係に基づく内
部エネルギーと、顔領域確率画像上の格子点が位置する
ピクセル色の確からしさに基づく画像エネルギーとをそ
れぞれ計算するエネルギー計算装置６とを有する。２つ
のエネルギーの合計値が小さくなる方向へ網を収縮変形
させることにより、顔領域を抽出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力された画像か
ら、顔が存在している位置、顔の輪郭、及び顔部品など
を検出する領域抽出装置、及びそれを用いて頭の方向や
視線方向を検出する方向検出装置に関するものである。

【０００２】

【従来の技術】顔に関する画像処理は、２０数年来とい
う非常に長い間多くの研究がなされてきた。顔に関する
画像処理は、顔の特徴点抽出による個人同定、テンプレ
ートマッチングなどによる顔部品抽出、色情報を利用し
たデータ圧縮、モーフィングなどのアニメーション応
用、位相情報の適用など、非常に広範囲に渡る。その中
でも、入力された画像中で、顔がどこにあるか、そし
て、顔画像から、目、鼻、口といった顔部品を抽出する
問題は、最も基本的、かつ非常に応用範囲の広い有用な
技術である。これは、顔画像処理の最初のキーポイント
であり、従来から様々な手法が提案されてきた。

【０００３】入力画像から顔位置を検出する手法は、画
像の解像度を落として濃淡画像でテンプレートマッチン
グを行う手法や、色情報とセグメンテーションを利用す
る手法などがある。これらのいずれの手法も、光軸方向
の回転やノイズなどに弱く、誤抽出を起こしやすい。

【０００４】顔部品の抽出に関しては、投影を用いる方
法が最もアルゴリズムが単純かつ高速な抽出手法である
が、この方法は照明の強度及び方向、画像中の顔の位置
や大きさや回転などの変動に対して非常に弱く、照明の
被写体までの距離や画質などがかなり制約された環境内
で撮像された画像に対してでないと有効でないことがわ
かっている。また、テンプレートマッチングを利用した
顔部品の抽出法も提案されているが、これは投影を用い
る方法と同様に、照明の変動などにより影が生じたり、
顔の方向、回転の変更や個人差による変動などに非常に
弱いということが言える。以下に投影とテンプレートマ
ッチングについて詳しく説明する。

【０００５】投影とはある画像をある方向から見た画像
へ変換することである。この場合の方向とは３次元的な
方向とは異なる。例えば、本実施の形態の説明に用いる
図８に示す入力顔画像があるとする。これを水平方向に
微分して２値化すると図４７（ａ）に示すようになる。
水平方向に微分するとは、図４８に示すように、ピクセ
ルの明るさを横方向に順に見ていき、あるピクセルの明
るさと、その前のピクセルの明るさとの差を新しいピク
セルの明るさとすることである。従って、明るさが急激
に変化している画像を微分すると、その変化していると
ころで微分値が大きくなっているため、エッジの抽出な
どを行うことができる。

【０００６】この２値化された水平方向の微分画像を水
平方向に投影すると図４７（ｂ）、垂直方向に投影する
と図４７（ｃ）に示すようになる。このとき、水平方向
に投影するとは、２値化した微分画像のピクセルを水平
方向に見ていき、ＯＮになっているピクセル（図４７
（ａ）では黒いピクセル）の数を数えてそれをグラフに
したものである。垂直方向への投影は、２値化した微分
画像のピクセルを垂直に見ていき、ＯＮになっているピ
クセルの数を数えてそれをグラフにしたものである。こ
の投影画像を調べることにより、顔領域や顔部品領域を
抽出することができる。例えば、図４７（ｂ）の水平方
向の投影画像のピークを調べることにより、目の垂直位
置がわかる。また、図４７（ｃ）の垂直方向の投影画像
の左右のピークを調べることにより、顔領域の左右の端
を調べることができる。

【０００７】しかしながら、この手法は、照明条件が変
わると影のでき方が変わるので微分画像が大きく変化す
ると共に、雑音や背景、顔の回転などにより投影画像が
変化するという問題がある。従って、投影の手法では非
常に限られた条件で撮影された画像でないと、顔領域や
顔部品の抽出ができないということがわかる。即ち、照
明や画像の大きさ、画像中の顔位置や大きさ、顔の向き
などが厳密にコントロールされた環境で撮影された画像
に対してでないと、投影の手法は有効でない。

【０００８】次にテンプレートマッチングについて説明
する。テンプレートとは、例えば図４９に示す目の画像
のように、抽出すべき領域の画像を予め記憶させたもの
である。テンプレートマッチングは、テンプレートと入
力画像の対応する領域を比べて、最も点数の高い領域を
そのテンプレートにマッチする領域として抽出するとい
うものである。

【０００９】テンプレートは、入力画像より小さく適当
な大きさの画像である。図５０に示すように、テンプレ
ートの大きさが５×５だとすると、まず、入力画像の左
上の５×５領域と、テンプレートとを比較して評価値を
付ける。比較の方法は、例えば、テンプレートとそれに
対応する入力画像の領域とで、対応するピクセルの明る
さの２乗和の差を点数とする。これは以下のような式と
なる。

【００１０】

【数１】 ここで、Ｖ（ｐ）はあるピクセルＰの明るさ、Ｔ_ijはテ
ンプレートの座標（ｉ，ｊ）におけるピクセル、Ｉ_ijは
テンプレートに対応する領域の座標（ｉ，ｊ）における
ピクセルである。

【００１１】図５１に示すように、入力画像左上の５×
５領域について評価値を計算したら、次に１ピクセル水
平方向にずらした５×５領域について同じように評価値
を計算する。同様にして、右下の５×５領域まで、入力
画像のすべての５×５領域とテンプレートとの間で評価
値を計算する。そして、すべての評価値の中で最も点数
の高いものがテンプレートと最も似ている領域として抽
出される。

【００１２】しかしながら、この手法は、抽出しようと
している領域がテンプレートとずれる場合、例えばテン
プレートより大きかったり小さかったりした場合、ま
た、雑音や背景などの影響でテンプレートに似た領域な
どができた場合に誤った抽出を起こしやすい。この手法
も投影を用いた手法と同様に、照明や画像の大きさ、画
像中の顔位置や大きさ、向きなどが厳密にコントロール
された画像に対してでないと有効でない。

【００１３】上記投影やテンプレートマッチングの欠点
である照明や画像の大きさ、画像中の顔位置や大きさ、
向きなどが厳密にコントロールされた環境で撮像された
画像という前提条件をある程度緩和するものとして、De
formable template と呼ばれる手法を用いた顔部品の抽
出が提案されている。

【００１４】これは、図５２に示すように、抽出しよう
とする領域の特徴を単純な数学的な図形関数の組み合わ
せで表現したテンプレート（図中の点線）と、そのテン
プレートに対応する画像との間でエネルギーを計算し
て、最もエネルギーが小さくなるようにテンプレートを
変形、移動させることによって領域を抽出しようという
ものである。

【００１５】テンプレートは、例えば、次のように設定
されている。図５３に示すように、中心ｘ_c ・半径ｒの
円が瞳に相当する。円周は瞳と白目のエッジに引き寄せ
られる一方、円内部は明るさの落ち込んだ領域に引き寄
せられるようにエネルギーの定義を行う。

【００１６】目の境界は、焦点をｘ_e に持つ上下に凸の
２つの放物線の一部が合わさって形成される。焦点ｘ_e
から目の片端までのまでの幅をｂ’、即ち目の幅を２
ｂ’、上に凸の放物線の高さをａ’、下に凸の放物線の
高さをｃ’、焦点ｘ_e を通る水平線と目の中心線（図
中、焦点ｘ_e を通る点線）とのなす角を回転角θとす
る。エネルギーは、目の境界がエッジに引き寄せられる
ように定義する。

【００１７】瞳により２分割された白目領域のそれぞれ
の中心は、ｘ_e ＋ｐ₁( cosθ， sinθ）、及びｘ_e ＋ｐ
₂( cosθ， sinθ）で表される（ｐ₁ ≧０，ｐ₂ ≦
０）。２つの白目領域の中心が近傍画素の中で最も明る
い領域の中心に引き寄せられるようにエネルギーの定義
を行う。

【００１８】目の境界と瞳の間は白目に相当し、明度の
大きい領域に引き寄せられるようにエネルギーの定義を
行う。

【００１９】これらの要素には、中心ｘ_c と焦点ｘ_e
とは互いに引き寄せ合い、一致したときにエネルギーが
最小となる、目の幅２ｂ’はほぼ半径ｒの４倍とな
る、白目領域の２つの中心点は目の中心線上に乗るよ
うな力が作用する。

【００２０】以上のパラメータを少しずつ変化させ、エ
ネルギー関数Ｅ_c (x_c ,x_e ,p₁,p₂,r,a',b',c',θ）が最
小となるようにテンプレートが変形することにより目に
マッチングする。エネルギー関数Ｅ_c は以下の式で表さ
れる。

【００２１】

【数２】 ここで、Ｅ_v は谷エネルギー、Ｅ_e はエッジエネルギ
ー、Ｅ_i は画像エネルギー、Ｅ_p はピークエネルギー、
Ｅ_int は内部エネルギーであり、次のように定義され
る。

【００２２】

【数３】

【００２３】

【数４】

【００２４】

【数５】

【００２５】

【数６】

【００２６】

【数７】

【００２７】

【数８】 上記の式は、幾何的な構成が最適になったときにそれぞ
れのエネルギーが最小になるように定義されている。こ
の方法は、画像の大きさ、画像面に平行な回転、頭の回
転や照明の影響を受けにくいという特徴がある。

【００２８】上記のように顔領域や顔部品を検出する以
外に、頭部方向や視線方向を検出する技術も開示されて
いる。

【００２９】頭部方向を検出する方法としては、磁気セ
ンサなどを用いた方法がある。これは、図５４に示すよ
うに、利用者が頭部に３つ以上の電磁波を放射する電磁
波放射装置を装着すると共に、電磁波放射装置からの電
磁波を受信する電磁波受信機を床面などに３箇所以上設
置する構成である。これによれば、１つの電磁波放射装
置につき３箇所以上の電磁波受信機が受信する信号の位
相差を利用して、各電磁波放射装置の３次元位置を検出
し、電磁波放射装置が取り付けられている頭部の向きを
検出することができる。

【００３０】また、専用ハードウェアを用いずに頭部位
置を検出する方法もある。これは、図５５に示すよう
に、利用者が頭部の適当な位置に３箇所以上、目立つ色
のシールなどを貼るか、あるいはシールを貼ったヘッド
ギアなどをかぶると共に、２つ以上の撮像装置を備える
構成である。これによれば、シールを撮影した２つ以上
の画像からシールの３次元位置を測定し、頭部の方向を
検出することができる。

【００３１】また、視線を検出するには、普通、装着型
の視線トラッカーを用いる。視線トラッカーには、常に
眼球を捉えて眼球の画像を撮影するために、眼球のすぐ
近くにＣＣＤなどの撮像装置が配置されている。

【００３２】

【発明が解決しようとする課題】しかしながら、上記De
formable template の手法は、抽出しようとしている部
品を表すテンプレートの初期位置を別手法を用いて設定
しなければならないという問題がある。これは、初期位
置として抽出したい領域近くにテンプレートを位置させ
ないと誤抽出が多くなると共に、計算量が莫大になるか
らである。別手法としては上述の投影やテンプレートマ
ッチングなどがあげられるが、テンプレートマッチング
のような従来手法の欠点を克服するための手法が、前提
としてそのような従来技術を用いなければならないこと
が大きな矛盾となっている。

【００３３】結果として、Deformable template の手法
による顔輪郭・顔部品の抽出も、投影やテンプレートマ
ッチングの手法と同じような問題が発生する。即ち、De
formable template の手法は、その抽出の精度と、照明
条件や画像の大きさ、画像中の顔位置や大きさ、回転、
背景などの変化に対して弱く、厳密にコントロールされ
た環境で撮影された画像に対してでないと有効でない。
つまり、普通の環境で人物を撮影する場合、常に同じ照
明を用い、常に同じ背景・方向・向きに設定されている
ことはあり得ず、従って、通常の状態で撮影された画像
に対してそれらの技術を適用すると、誤った領域の抽出
を起こしかねない。また、エネルギーの定義を部品ごと
に定義しなければならないという問題も有している。

【００３４】また、電磁波放射装置を用いて頭部方向を
検出する方法は、電磁波放射装置を頭部に動かないよう
にしっかり固定する必要があり、また、そこに電源を供
給する仕組みも必要となる。さらに、電磁波放射装置か
ら一定距離以上離れた床などに電磁波受信機を固定して
置かなくてはならない。この結果、頭部にハードウェア
を装着しなければならないとうい煩わしさと、コストが
かかるという欠点がある。一方、頭部にシールなどのマ
ーカーを貼る方法は低コストで実現できるが、シールを
貼ったり、あるいはヘッドギア状のものを被ったりとい
う煩わしさを除去することはできないという問題を有し
ている。

【００３５】さらに、視線方向を検出する方法は、顔に
固定して動かないような堅固な構造を持つ視線トラッカ
ーを装着するために、装着感が非常に悪く、また、コス
トもかかるという問題を有している。

【００３６】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の請求項１記載の領域抽出装置は、対象物
を撮像してカラーデジタル画像とする撮像手段（例え
ば、撮像装置）と、上記カラーデジタル画像において均
一に同様の色を持つ所望領域を示す確率密度関数を予め
記憶しておく確率密度関数格納手段（例えば、確率密度
関数格納部）と、上記所望領域を構成する各画素（ピク
セル）の色に基づいて上記確率密度関数を計算すること
により、各画素の色の確からしさを算出する領域確率計
算手段（例えば、領域確率計算装置）と、上記カラーデ
ジタル画像上の任意の３つ以上の点（例えば、格子点）
を接続することにより形成され画像全体を覆うように設
けられる仮想的な網の情報を記憶しておく網情報格納手
段（例えば、顔領域抽出用網情報格納部）と、上記点の
位置関係に基づいて定義される網の内部エネルギーと、
点が位置する画素の色の確からしさに基づいて定義され
る網の画像エネルギーとをそれぞれ計算するエネルギー
計算手段（例えば、エネルギー計算装置）とを有し、１
つの点を移動させたときの網の内部エネルギーと画像エ
ネルギーとの合計値を、上記点を移動させる前の合計値
と比較し、合計値が変化するときは網が収縮する方向へ
点の移動を行い、合計値が変化しなくなった時点で点の
移動を停止することを特徴としている。

【００３７】上記構成によれば、まず、撮像手段により
対象物が撮影され、対象物のカラーデジタル画像が得ら
れる。そして、領域確率計算手段が確率密度関数格納手
段を参照し、カラーデジタル画像における抽出したい領
域を構成する各画素の色の値を確率密度関数に代入して
計算することにより、各画素の色の確からしさが算出さ
れる。このとき、所望領域は均一に同様の色で形成され
ており、かつ確率密度関数も所望領域であることを表す
関数であるので、所望領域の色の確からしさが大きくな
る。

【００３８】次に、入力されたカラーデジタル画像全体
を覆うように設けられた仮想的な網を構成する点を１つ
ずつ移動させ、点を移動する前と後とで網のエネルギー
に変化があるかどうかを調べる。ここで、網のエネルギ
ーとは、エネルギー計算手段により求められた、網の形
状を反映する内部エネルギーと網を構成する点が位置す
る画素の色を反映する画像エネルギーとの合計値であ
る。

【００３９】このエネルギーの合計値に変化がある場合
には網が収縮する方向へ点を移動させ、合計値に変化が
なくなると点の移動を停止させる。即ち、初めに画像全
体を覆っていた網は、色の確からしさが大きい所望領域
に向かって収縮変形し、最終的に所定領域を囲んで停止
することになる。従って、所望領域を抽出することがで
きる。

【００４０】これにより、本領域抽出装置は照明条件の
変化に強い色の確からしさに基づいて所望領域を抽出す
ることができるので、撮影する場所、時間、補助照明の
有無、方向などに左右されることがなくなる。また、網
はどのような形状にもなり得るので、入力画像の大き
さ、及び画像中の顔位置や大きさなどに制限されること
がなくなる。これらの結果、撮影の自由度を増大させる
ことができる。

【００４１】請求項２記載の領域抽出装置は、請求項１
記載の構成に加えて、上記対象物は人物であり、上記所
望領域は人物の顔の領域であることを特徴としている。

【００４２】上記構成によれば、まず、撮像手段により
人物を撮影することにより人物画像が得られる。この画
像に対して仮想的な網を用いると、顔領域に網が収縮し
て顔領域を抽出することができる。

【００４３】これにより、さまざまな家電製品などの機
器に利用することができる。即ち、機器に備えられた領
域抽出装置が顔領域を抽出することにより、機器と利用
者とがどのような位置関係にあるのかを判断することが
できる。そして、機器の前に利用者が存在するか否か、
また存在するのならばどの辺りにいるのかの情報を得る
ことができる。これらの情報を利用して、利用者の位置
による機器の制御を行うことが可能となる。

【００４４】請求項３記載の領域抽出装置は、請求項１
または２記載の構成に加えて、確率密度関数格納手段に
は上記所望領域と異なる色を持つ部分領域を示す確率密
度関数が予め記憶されると共に、網情報格納手段には上
記所望領域を囲んで停止した網の情報が部分領域を抽出
するための部分領域抽出用網の初期値として記憶され、
上記所望領域内に部分領域が１つある場合に、領域確率
計算手段が上記部分領域を構成する各画素の色に基づい
て上記確率密度関数を計算することにより各画素の色の
確からしさを算出して、エネルギー計算手段が部分領域
抽出用網の内部エネルギー及び画像エネルギーと、部分
領域に収束されるように定義された移動エネルギーとを
それぞれ計算することにより、部分領域を抽出すること
を特徴としている。

【００４５】上記構成によれば、請求項１または２にお
いて所定領域（顔領域）を囲んで停止した網の情報が部
分領域を抽出する部分領域抽出用網の初期値として網情
報格納手段に記憶される。また、確率密度関数格納手段
には上記所望領域と異なる色を持つ部分領域を示す確率
密度関数が予め記憶されている。そして、所望領域内に
部分領域が１つある場合に、部分領域の各画素の色の確
からしさを求めた後、部分領域に収束されるように定義
された移動エネルギーを持つ網を動かすことで部分領域
を抽出する。即ち、初めに所定領域を覆っていた網は、
色の確からしさが大きい部分領域に向かって収縮変形・
移動し、最終的に部分領域を囲んで停止することにな
る。

【００４６】これにより、最初の抽出領域に用いた網
を、さらに領域内の別の領域の抽出に用いることができ
るので、領域毎に網の設定を変える必要がない。また、
請求項２においては、顔領域が抽出されると、顔領域と
色の異なる口唇領域や目領域が抽出できる。

【００４７】請求項４記載の領域抽出装置は、請求項３
記載の構成に加えて、部分領域抽出用網の外周を形成す
る点からフレーム重心を求めると共に、画像の明るさを
重みとした部分領域抽出用網が囲む領域の重心を求める
重心計算手段（例えば、重心計算装置）を有し、上記移
動エネルギーを、上記フレーム重心が領域の重心の方向
に引き寄せられるように定義することを特徴としてい
る。

【００４８】上記構成によれば、部分領域抽出用が囲む
領域の重心が画像の明るさを重みとしているので、領域
重心の位置はフレーム重心の位置に比べて抽出したい領
域近くに位置することになる。このとき、フレーム重心
が領域重心の方向に引き寄せられるように移動エネルギ
ーが設定されているので、網は部分領域に向かって移動
する。これにより、所定領域内に部分領域に似た色を持
つ領域があったとしても、その領域に引き寄せられるこ
となく、部分領域を抽出することができる。この結果、
処理速度が速く、高精度の部分領域の抽出が可能とな
る。

【００４９】請求項５記載の領域抽出装置は、請求項２
記載の構成に加えて、網の外周を形成する点からフレー
ム重心を求めると共に、画像の明るさを重みとして網が
囲む領域の重心を求める重心計算手段を有し、確率密度
関数格納手段には口唇領域を示す確率密度関数が予め記
憶されると共に、網情報格納手段には上記顔領域を囲ん
で停止した網の情報が口唇領域及び左右の目領域を抽出
するための網の初期値として記憶され、領域確率計算手
段が、上記口唇領域を構成する各画素の色に基づいて上
記確率密度関数を計算することにより各画素の色の確か
らしさを算出すると共に、上記左右の目領域を構成する
各画素の色に基づいて顔領域あるいは口唇領域の確率密
度関数を計算することにより各画素の色の確からしさを
算出して、エネルギー計算手段が、各領域の内部エネル
ギー及び画像エネルギーと、各々のフレーム重心が各々
の領域重心の方向へ引き寄せられ、かつ、３つの領域の
重心の位置関係が予め測定され記憶された口唇及び左右
の目の位置関係と等しくなるように定義されたバランス
エネルギーとを計算することにより、口唇及び左右の目
領域を抽出することを特徴としている。

【００５０】上記構成によれば、請求項２において顔領
域を囲んで停止した網の情報が口唇領域及び左右の目領
域を抽出するための網の初期値として網情報格納手段に
記憶される。また、確率密度関数格納手段には口唇領域
の確からしさを示す確率密度関数が予め記憶されてい
る。そして、口唇領域の各画素の色の確からしさと、左
右の目領域の各画素の色の確からしさとを求めた後、内
部エネルギー、画像エネルギー、及びバランスエネルギ
ーを持つ３つの網を動かすことで口唇及び左右の目領域
を抽出する。即ち、初めに顔領域を覆っていた網は、色
の確からしさが大きい３つの領域に向かってそれぞれ収
縮変形・移動し、最終的に各領域を囲んで停止すること
になる。

【００５１】これにより、顔領域抽出用網を、口唇領域
抽出用網及び左右の目領域抽出用網とすることができる
ので、領域毎に網の設定を変える必要がない。

【００５２】また、顔領域に対する顔部品の位置がわか
るので、顔の回転角（顔の傾き）を認識することができ
る。顔の回転角がわかると、例えば、人物データベース
を作る際に、写真をスキャナなどで読み込む場合に、写
真の方向などを気にせずに入力することができ、手間が
大いに軽減する。この結果、撮影時、及び処理時の自由
度が増大する。

【００５３】さらに、顔領域と口唇領域とのバランスに
より、顔のおおよその方向を推定することができる。即
ち、口唇領域の中心が顔領域の主軸に近い位置にあるな
らば、利用者は撮像手段の方向を向いており、左右のど
ちらかにずれていればそれぞれの方向に向いていること
になる。

【００５４】請求項６記載の方向検出装置は、請求項５
記載の領域抽出装置を用いて、上記撮像手段が複数個設
けられ、複数の撮像手段から同時に得られる複数の画像
から口唇領域及び左右の目領域をそれぞれ抽出し、互い
に比較することにより口唇及び目の３次元位置情報を導
出することを特徴としている。

【００５５】上記構成によれば、複数の撮像手段により
同時に同じ人物を撮影すると、画面上で人物の位置が異
なる複数の画像が得られる。そして、請求項５記載の構
成の領域抽出装置により複数の画像における口唇領域及
び目領域がそれぞれ抽出される。それらの複数の画像に
おいて、対応する顔部品どうしを互いに比較すると、画
像どうしのずれにより口唇、左目、及び右目それぞれの
３次元空間上の３点が決まる。これにより、頭部がどの
方向に向いているかを検出することが可能となる。

【００５６】このようにして、従来のような専用のハー
ドウェアを用いなくとも、容易に頭部方向を検出するこ
とができる。この結果、ハードウェアなどを装着する煩
わしさを除去することができると共に、装置の低コスト
化が可能となる。

【００５７】請求項７記載の方向検出装置は、請求項６
記載の構成に加えて、抽出された目の画像と、予め測定
して視線方向の情報が付加されて記憶された目の画像と
を比較することにより推定視線方向を算出し、さらに推
定視線方向と検出された頭部の向きとを比較することに
より真の視線方向を検出することを特徴としている。

【００５８】上記構成によれば、予めの測定により黒目
の位置と視線方向との関係がある程度わかっているの
で、請求項６記載の構成にて抽出された目の画像を用い
て、推定視線方向を算出することができる。推定視線方
向が得られると、それをさらに頭部の向きと比較して補
正を行い、真の視線方向を検出することができる。

【００５９】これにより、従来のような専用のハードウ
ェアを用いなくとも、容易に視線方向を検出することが
できる。この結果、ハードウェアなどを装着する煩わし
さを除去することができると共に、装置の低コスト化が
可能となる。

【００６０】

【発明の実施の形態】

〔実施の形態１〕本発明の実施の一形態について図１な
いし図９、図１１ないし図１９に基づいて説明すれば、
以下の通りである。

【００６１】本実施の形態にかかる領域抽出装置は、カ
ラーデジタル画像上の任意の点（ピクセル）を結ぶこと
によって形成される仮想的な網のモデルを用いることに
より、顔領域を抽出する装置である。

【００６２】上記領域抽出装置は、図１に示すように、
人物などの対象物を撮像してカラーデジタル画像とする
ＣＣＤなどの撮像装置（撮像手段）である入力装置１、
各種計算処理を行う演算装置２、データを予め記憶した
り、一時的にデータを記憶する記憶装置３、及び網が目
的の領域に収束した時点の結果を出力する出力装置４に
より構成される。

【００６３】上記演算装置２は、領域確率計算装置（領
域確率計算手段）５及びエネルギー計算装置（エネルギ
ー計算手段）６を有する。領域確率計算装置５は、入力
された画像において目的の領域を抽出する前段階とし
て、後述の確率密度関数格納部７を参照することによ
り、色情報としての領域の確率密度関数を導出し後述の
領域確率画像を生成する装置である。エネルギー計算装
置６は、後述の顔領域抽出用網情報格納部９を参照する
ことにより網の内部エネルギー（Ｅ_int ）を計算すると
共に、顔領域抽出用網情報格納部９及び領域確率画像格
納部８を参照することにより画像エネルギー
（Ｅ_image ）を計算する。

【００６４】記憶装置３は、確率密度関数格納部（確率
密度関数格納手段）７、領域確率画像格納部８、及び顔
領域抽出用網情報格納部（網情報格納手段）９を有す
る。

【００６５】確率密度関数格納部７には予めサンプリン
グすることにより求められた顔領域の肌の色の確率密度
関数が格納されている。領域確率画像格納部８には上記
領域確率計算装置５で生成された領域確率画像が格納さ
れる。

【００６６】顔領域抽出用網情報格納部９には、入力画
像上の複数の点を接続することにより形成され画像全体
を覆うように設けられる仮想的な網の情報が記憶されて
いる。即ち、仮想的な網を構成する格子点の初期座標が
予め格納されている。この初期座標は、入力された画像
に対して均等に位置するように自動的に計算されて設定
される。また、理論的には格子点が３点あれば領域を形
成することができるが、抽出する精度や抽出しようとす
る形、画像の大きさに合わせて格子点の数は設定され
る。また、顔領域抽出用網情報格納部９には網が移動す
ることにより変化した後の格子点の座標も記憶される。
さらに、顔領域抽出用網情報格納部９にはエネルギー計
算装置６により計算され求められた内部エネルギー（Ｅ
_int ）及び画像エネルギー（Ｅ_image ）が格納される。

【００６７】以下に、上記構成による領域抽出装置の動
作、及び網の定義の仕方などを具体的に説明する。

【００６８】まず、顔領域を表す確率密度関数を算出す
るために、人間の顔の皮膚の色分布を調べる。この作業
の工程を図２のフローチャートに基づいて説明する。統
計をとるためにより多くの人物顔の画像を撮影し、手作
業で顔の皮膚だけの画像を作成する（Ｓ１）。例えば、
図３（ａ）に示す入力人物画像に対して、図３（ｂ）の
Ａに示すように、顔の肌色部分のみを取り出す。顔領域
だけを切り出したデジタル画像から適当な数のピクセル
（画素）をランダムに選ぶ。そのピクセルの色をＨＳＶ
表色系で表した場合のＨ（色相）及びＳ（彩度）の出現
回数をカウントし、それらの度数分布を得る（Ｓ２）。

【００６９】色相は、赤・青・黄といった色の違いを区
別する属性で、照明などによる反射や陰影の影響を受け
にくいという特徴がある。また、彩度は色の鮮やかな程
度を表す指標である。人間の顔は比較的彩度が高く、一
方、室内などは比較的彩度が低いもので構成されている
ことが多い。

【００７０】図４は、２４人の人物画像データにより、
１画像につき１０００ピクセルの点をサンプリングした
ときの顔領域の色相の色度数分布を示す。図の縦軸は顔
領域である確からしさを示す確率密度（０〜１の範囲で
示される）である。また、横軸は色相であり、赤を０°
とし、黄・緑の方向を正として＋１８０°まで、マゼン
ダ・青の方向を負として−１８０°までとっている。図
５は、同様にサンプリングしたときの顔領域の彩度の色
度数分布を示す。図の縦軸は顔領域である確からしさを
示す確率密度（０〜１の範囲で示される）であり、横軸
は無彩色を０とし、単色を１００としたときの彩度であ
る。

【００７１】顔領域における色相及び彩度の色度数分布
を得ると、色相と彩度とのバラツキが正規分布に従って
いると仮定して、顔領域を表す２次元の正規確率密度関
数を導出する（Ｓ３）。即ち、μ₁ を色相の平均値、μ
₂ を彩度の平均値とし、σ_ijを色相と彩度の分布の分散
共分散行列とすると、まず、手作業で切り出してカウン
トした色の分布からこれらの値を計算する。

【００７２】２次元の正規確率密度関数は、

【００７３】

【数９】 で表されるので、求められたμ₁ ，μ₂ ，σ_ijを（１）
式に代入することにより顔領域を表す確率密度関数を導
出することができる。この確率密度関数を予め前記確率
密度関数格納部７に記憶させておく。図４及び図５の色
度数分布に基づいて求められた確率密度関数をプロット
したものを図６に示す。図の高さ軸は確率密度、左側軸
は色相、右側軸は彩度を表している。

【００７４】領域確率計算装置５が、求められた確率密
度関数の、ｘ₁ に色相値、ｘ₂ に彩度を代入して計算す
ることにより、入力デジタル画像のすべてのピクセルに
ついて、顔の色の確からしさが０〜１の範囲で求められ
る。そして、そのピクセルの色相と彩度とにより求めた
確からしさの値（０〜１）をピクセルの新しい値とする
ような画像を生成する。このようにして求められた画像
を領域確率画像と称することにする。

【００７５】領域確率画像の生成の過程を図７のフロー
チャートに基づいて説明する。画像が入力されると（Ｓ
１１）、入力画像の左上から順に１つずつピクセルを取
り出す（Ｓ１２）。取り出したピクセルの色相と彩度と
を求め（Ｓ１３）、先に求めた確率密度関数の引数とし
てその色相と彩度を用いて、領域の確からしさを計算す
る。その確からしさの値をピクセルの新しい値とする
（Ｓ１４）。そして、すべてのピクセルの新しい値が得
られたかどうかを判断し（Ｓ１５）、すべてのピクセル
についてまだ計算されていない場合には上記Ｓ１２〜Ｓ
１４の工程を繰り返し、すべてのピクセルに対して計算
が行われたら処理を終了する。これにより、領域確率画
像が生成される。図９は、図８に示される入力画像から
生成された顔領域確率画像を示す。これは、明るいピク
セルほど顔領域である可能性が高いことを表している。

【００７６】次に網のモデルについて説明する。網は、
図１１に示すように、デジタル画像上のピクセルに相当
する黒点を結ぶことにより形成される。この網を形作る
黒点を格子点と呼ぶ。この格子点の位置関係によって網
のエネルギーが定義される。網のエネルギーは、網自身
の形状から生じる内部エネルギーと、網とそれが覆う画
像とで決まる画像エネルギーとの２つのエネルギーを持
っている。この２つのエネルギーの合計値が小さくなる
ように格子点を移動させて網を変形させることにより目
的の領域を抽出する。

【００７７】ある格子点は隣り合う別の格子点と接続関
係を持っており、この点どうしの位置関係によって網の
内部エネルギーが定義される。網の内部エネルギーは、
格子点の距離が小さければ小さいほどエネルギーも小さ
く、また、格子点どうしを結ぶ網を構成するラインが滑
らかであればあるほどエネルギーが小さくなるように、
格子点どうしを結んで構成される格子の向かい合う辺が
平行になるように定義する。また、格子点でのピクセル
の明るさにより画像エネルギーを定義する。つまり、格
子点上にあるピクセルの状態をエネルギーに反映するこ
とにより領域の抽出を行うのである。

【００７８】領域の抽出は、上記のような網のモデルを
前記領域確率計算装置５によって生成された領域確率画
像に対して適用することにより行われる。図１２（ａ）
〜（ｄ）は、網のモデルを用いてある領域を抽出するよ
うすを示している。図１２（ａ）に示す入力画像から領
域確率画像を算出し、同図（ｂ）に示すように、画像全
体を覆うような網をかぶせる。すると、網は目的の領域
に向かって収縮し（同図（ｃ）参照）、最終的にその領
域を囲んで停止する（同図（ｄ）参照）。顔領域を抽出
する場合には、図１３（ａ）〜（ｄ）に示すようにな
る。即ち、顔領域確率画像に対して、画像全体を覆うよ
うな網をまずかぶせる。そして、この網のエネルギーが
小さくなるように格子点を移動させていき、エネルギー
の変化がなくなったところで、格子点の移動を停止させ
る。すると、網は顔領域を囲むような形に変形してい
る。

【００７９】（１）網の形状 上記網の形状は図１４に示すように定義される。ある点
を中心に半径を次第に大きくしていき複数の同心円を作
る。そして、その中心点から放射状に線分を伸ばし、最
も外側の同心円まで伸ばす。同心円の円周と、その放射
状に伸びた線分との交点を格子点とする。従って、格子
点の数は、同心円の数をＴ、放射状線分の数をＳとする
と、Ｔ×Ｓ＋１個になる。ここで、同心円をレイヤー、
放射状線分をスポークと呼ぶことにする。また、一番外
側のレイヤーをレイヤー０とし、内側に向かってレイヤ
ー１、レイヤー２、…とする。一番外側のレイヤー０と
各スポークとの交点を最外郭格子点と呼び、それ以外の
格子点を内部格子点と呼ぶ。なお、網の形状は円形とし
ているが、図１５に示すように、長方形に変形しても格
子点どうしの接続関係は変わらず、同じように扱うこと
ができる。

【００８０】（２）網の内部エネルギー あるレイヤーｔとスポークｓとにより形成される格子点
をｐ(t,s) と表すことにする。あるレイヤーｔより１つ
内側のレイヤーをレイヤー（ｔ＋１）、１つ外側のレイ
ヤーをレイヤー（ｔ−１）とする。もちろん、最外郭格
子点においては、レイヤー（ｔ−１）は存在しない。同
様に、あるスポークｓより時計回り方向の次のスポーク
をスポーク（ｓ＋１）、反時計回り方向の次のスポーク
をスポーク（ｓ−１）とする。

【００８１】格子点ｐ(t,s) の内部エネルギーＥ
_int (t,s) は、次のように表される。なお、本文中及び
図１６のｐはベクトルを表す。

【００８２】

【数１０】

【００８３】

【数１１】

【００８４】

【数１２】

【００８５】

【数１３】

【００８６】

【数１４】

【００８７】

【数１５】 上記Ｅ_t は、図１６（ａ）に示すように、同一スポーク
ｓ上にある隣り合う格子点ｐ(t,s) とｐ(t＋1,s)との距
離を表す。距離が小さいほどＥ_t は小さくなり、ｐ(t,
s) とｐ(t＋1,s)とが一致するとＥ_t ＝０となる。

【００８８】Ｅ_s は、同一レイヤーｔ上にある隣り合う
格子点ｐ(t,s) とｐ(t,s＋1)との距離を表す。距離が小
さいほどＥ_s は小さくなり、ｐ(t,s) とｐ(t,s＋1)とが
一致するとＥ_s ＝０となる。

【００８９】Ｅ_ttは、図１６（ｂ）に示すように、ｐ
(t,s) と、同一スポークｓ上でｐ(t,s) の前後の格子点
ｐ(t−1,s)及びｐ(t＋1,s)とが滑らかに接続されている
かどうかを表す。３つの格子点が直線となる場合、Ｅ_tt
＝０となる。

【００９０】Ｅ_ssは、ｐ(t,s) と、同一レイヤーｔ上で
ｐ(t,s) の左右の格子点ｐ(t,s−1)及びｐ(t,s＋1)とが
滑らかに接続されているかどうかを表す。３つの格子点
が直線となる場合、Ｅ_ss＝０となる。

【００９１】Ｅ_tsは、ｐ(t,s−1)−ｐ(t,s) と、ｐ(t−
1, s−1)−ｐ(t−1,s)とが同じベクトルである、即ち互
いに平行で大きさが同じであるときにＥ_ts＝０となる。

【００９２】ある格子点ｐ(t,s) に注目し、その周囲の
格子点の位置から、上で求められるＥ_int (t,s) を計算
する。これがその格子点の持つ内部エネルギーである。
これをすべての格子点について計算しその和を求める
と、網の内部エネルギーＥ_intが算出される。なお、
（２）式におけるＥ_int (t,s) を構成する各項につい
て、画像の大きさと格子点の数との比や色の確からしさ
の範囲によっては、適当に重みを決めてやってもよい。

【００９３】（３）網の画像エネルギー ある格子点ｐ(t,s) の画像エネルギーＥ_image (t,s)
は、その格子点上のピクセルの状態として、以下のよう
に定義される。

【００９４】

【数１６】 ここで、FRPI(t,s) は、領域確率画像における格子点ｐ
(t,s) 上のピクセルの明るさ（領域の確からしさ）を示
している。即ち、内部格子点（ｔ＞１）においては領域
確率画像における格子点ｐ(t,s) 上のピクセルの明るさ
にマイナス符号を付け、最外郭格子点 (ｔ＝０）におい
ては符号を付けずにそのまま格子点ｐ(t,s) の画像エネ
ルギーとする。

【００９５】ある格子点ｐ(t,s) に注目し、上で求めら
れるＥ_image (t,s) を計算する。これがその格子点の持
つ画像エネルギーである。これをすべての格子点につい
て計算しその和を求めると、網の画像エネルギーＥ
_image が算出される。なお、（３）式におけるＥ_image
(t,s) を構成する各項については、（２）式の場合と同
様に、適当に重みを決めてやってもよい。

【００９６】任意の格子点ｐ(t,s) のエネルギーＥ_net
(t,s) は、格子点の持つ内部エネルギーＥ_int (t,s) と
画像エネルギーＥ_image (t,s) との和で表される。

【００９７】

【数１７】 網全体のエネルギーＥ_net は、（４）式をすべての格子
点について計算し、合計したものであり、次のように表
される。

【００９８】

【数１８】 このようにして、定義した網全体のエネルギーＥ_net を
計算し、このエネルギーの大きさが小さくなるように格
子点を移動させる。エネルギーの変化がなくなった時点
で格子点の動きを止めると、網は顔領域を囲んで収束し
ている（図１３参照）。

【００９９】（４）格子点の移動 次に、格子点をどのように移動させていくかを図１７の
フローチャートに基づいて説明する。

【０１００】まず、上述のように、領域確率計算装置５
により顔領域確率画像を生成する（Ｓ２１）。次に、初
期状態の網を設定する。この設定は、図１３に示すよう
に、入力画像全体を覆うように設定する（Ｓ２２）。最
初に最外郭格子点の中から１つの格子点を選び、その格
子点のエネルギーＥ_net (t,s) を計算する（Ｓ２３）。
そして、図１８に示すように、この格子点が位置するピ
クセルの周りに配置されている８つのピクセル（以下、
８近傍と称する）のいずれかに格子点を移動させる。こ
のとき、格子点を８近傍のそれぞれに移動したときのエ
ネルギーを計算し（Ｓ２４）、その中で最もエネルギー
が小さくなるピクセルに格子点を移動させる（Ｓ２
５）。最初の格子点の位置でのエネルギーが最も小さい
場合は、格子点を移動させる必要はない。

【０１０１】最外郭格子点から内部格子点に順に格子点
を１つずつ、すべての格子点について８近傍のどこに移
動させればエネルギーが最も小さくなるかを調べて、そ
こに格子点を移動させる。すべての格子点についてピク
セル１つ分移動させる移動処理（以下、１単位変形と称
する）が終了したかどうかを調べ（Ｓ２６）、処理が終
了していない場合にはＳ２３の工程に戻り、終了した場
合にはＳ２７の工程へ進む。

【０１０２】Ｓ２７では、各格子点でのエネルギーを合
計した網全体のエネルギーＥ_net が、格子点を移動する
前のエネルギーＥ_net と比較してその大きさに変化が生
じているかどうかを調べる。Ｓ２７で網全体のエネルギ
ーＥ_net に変化がある場合にはＳ２３の工程に戻って再
び上Ｓ２３〜Ｓ２６の処理を行い、Ｓ２７で網全体のエ
ネルギーＥ_net に変化がない場合には格子点の移動を終
了する。格子点の移動が終了したときには、網は顔領域
全体を囲んでいる（図１３参照）。

【０１０３】以上により、本実施の形態における領域抽
出装置は、格子点の位置関係に基づく網の内部エネルギ
ーと、格子点が位置するピクセルの色の確からしさに基
づく画像エネルギーとの合計値が変化しなくなるまで網
を収縮変形させ、合計値が変化しなくなった時点で格子
点の移動を停止する構成である。

【０１０４】従って、入力画像全体を覆っていた網は、
色の確からしさが大きい顔領域に向かって収縮し、最終
的に顔領域を囲んで停止する。この結果、顔領域を抽出
することができる。

【０１０５】このとき、顔領域の色の確からしさは照明
条件に左右されない色相に基づいて求められるので、本
領域抽出装置では常に同じ照明条件で撮影する必要がな
い。即ち、本領域抽出装置は照明条件の変化に強いの
で、撮影する場所、時間、補助照明の有無、方向などを
気にしなくてもよい。なお、従来では採光窓のない室内
の同じ位置で、同じ照明器具を用い、同じ方向から人物
を撮影することによって常に同じ照明条件を設定しなけ
ればならなかった。

【０１０６】また、本領域抽出装置は、網はどのような
形状にもなり得るので、入力画像の大きさがどんなもの
でも対応することができる。一般に領域抽出の処理を行
うためには、画像をデジタルで扱う必要がある。１次的
に入力される画像は、デジタルイメージであっても通常
のフィルム写真であってもどのような形態でもかまわな
いのだが、抽出処理を行う段階ではデジタルイメージで
ある必要がある。従って、入力された画像の形態がいか
なるものであれ、領域抽出処理をする前段階として、デ
ジタルイメージへの変換が必要である。

【０１０７】このとき、画像の大きさによらないという
ことは、例えば１枚のデジタル画像が１００×１００ド
ットでも５１２×５１２ドットでも全く関係ないという
ことである。従来のテンプレートマッチングのような手
法を用いると、抽出しようとしている部品の大きさに合
わせてテンプレートを設定しなければならないので、画
像の大きさにおのずと制限がついてしまう。また、Defo
rmable template による手法でも設定されたテンプレー
トに対応する部品のみしか抽出できない。

【０１０８】一方、本領域抽出装置は画像の大きさによ
らないので、どのような大きさの画像に対してでも対応
することができる。従って、どのような解像度の撮像装
置を用いてもよく、また、アナログ画像をサンプリング
するときにどのようなレートでもよいので、撮影の自由
度が増える。

【０１０９】同様に、本領域抽出装置は画像中の顔位置
や大きさによらないので、顔が映っていれば、人物が画
面いっぱいに映っていたとしても、あるいは、画面の隅
に小さく映っていても顔を抽出することができる。この
結果、人物を好きな位置から好きな構図で撮影すること
ができるので、撮影の自由度が向上する。なお、従来の
テンプレートマッチングの手法では、前述したように、
抽出しようとしている領域に合わせてテンプレートを設
定するため、入力画像の大きさだけでなく、画像中の顔
の大きさにも制限がついてしまう。また、投影を用いる
方法においても、画像中の顔の大きさがある程度わかっ
ていないと、部品の抽出の精度は極端に落ちてしまう。

【０１１０】また、顔領域が抽出されることにより、こ
れを情報圧縮に利用することが可能となる。例えば、顔
領域以外の領域の解像度を下げたり、また、色数を落と
すなどして情報を圧縮し、少ない記憶容量で多くの人物
画像を保存することができる。これは、人物データベー
スなどを作成する際に大きなメリットとなる。また、単
位時間当たりの電送容量が少ない回線で人物中心の画像
を転送する際、人物以外の情報を荒くすることによって
情報量を減らし、狭い回線でもコマ数の多い滑らかな画
像を送ったり、その他の多くの情報を送ることが可能と
なる。これは、テレビ会議、テレビ電話、電子秘書、及
びナビゲーションシステムなどで人物による説明などが
入るようなアプリケーションに適用可能である。

【０１１１】また、本領域抽出装置は、家電製品などの
さまざまな機器の制御などに利用することができる。図
１９は、本領域抽出装置１１を機器１３の制御に適用し
た場合の基本的なブロック図である。機器１３に取り付
けられた撮像装置１２が利用者の姿を捉え、そのデジタ
ル画像を領域抽出装置１１に送る。領域抽出装置１１
は、画像から利用者の顔領域を抽出し、その情報を制御
装置１４に送る。制御装置１４は機器１３に接続されて
おり、領域抽出装置１１から送られてきた情報をもとに
機器１３を制御する。この一連の作業を短時間で繰り返
すことにより、実時間で機器１３の制御を行うことので
きるシステムを構築することができる。

【０１１２】このようにして、機器１３に備えられた領
域抽出装置１１が顔領域を抽出することにより、機器１
３と利用者とがどのような位置関係にあるのかを判断す
ることができる。そして、機器１３の前に利用者が存在
するか否か、また存在するのならばどの辺りにいるのか
の情報を得ることができる。

【０１１３】これにより、家電製品などを人物の向いて
いる方向に向かって制御することが可能となる。例え
ば、エアコンに領域抽出装置を取り付けることにより、
部屋のどの位置に人間がいて、どの位置にいないかを検
出することができるため、人間に向かって風を送った
り、逆に人間を避けて風を送ったりといった制御が可能
となる。また、人間がいないことを検知して、送風をス
トップさせることも可能である。

【０１１４】さらに、テレビやオーディオ製品などに適
用した場合、画面の方向や音の方向を利用者の方向に向
けて制御したり、音量やステレオの場合の左右の音量の
バランスを調整したり、人がいないときにスイッチを切
ると共に人が現れたらスイッチを入れたりするというこ
とも可能となる。

【０１１５】このように、利用者が機器の近くに来るこ
とによって機器のスイッチをＯＮ／ＯＦＦしたり、利用
者の位置によって機器を制御することは、ほとんどの電
気製品に適用することが可能である。これにより、スイ
ッチの入切の手間や、スイッチの切り忘れ、機器の調整
の手間を低減することができる。

【０１１６】なお、電気製品などの人のいる／いないに
あわせて制御するようなアプリケーションにおいては、
従来では人間がスイッチをいちいちオン／オフしたり、
赤外線画像を用いて人のいる／いないを判断したりして
いたが、前者の場合は操作の煩わしさがあり、後者の場
合は認識の精度をあげようとすると、高価な赤外線撮像
装置などを用いなければならず高コストになってしまう
問題があった。本領域抽出装置を用いれば、低コストで
人のいる／いないに関する電気製品の制御が可能とな
る。

【０１１７】〔実施の形態２〕本発明の他の実施の形態
について図３、図８ないし図１０、図２０ないし図３１
に基づいて説明すれば、以下の通りである。なお説明の
便宜上、前記の実施の形態の図面に示した部材と同一の
部材には同一の符号を付記し、その説明を省略する。

【０１１８】本実施の形態にかかる領域抽出装置は、入
力された人物画像により顔領域、及び口唇領域を抽出す
るものである。ここでは、顔領域を抽出した後、その抽
出された顔領域を初期状態とした口唇領域抽出用網を設
定し、それを移動させて口唇領域を抽出する。

【０１１９】上記領域抽出装置は、図２０に示すよう
に、実施の形態１の構成に加えて、演算装置２に重心計
算装置（重心計算手段）２１を、記憶装置３に口唇領域
抽出用網情報格納部（網情報格納手段）２２を有してい
る。

【０１２０】重心計算装置２１は、最外郭格子点の座標
を平均することにより求められる最外郭フレームの重心
（ｇ）と、網内部のピクセルの座標を口唇領域の画像の
明るさを重みとして平均することにより求められる網が
囲む領域の重心（Ｇ）とを算出する装置である。

【０１２１】顔領域抽出用網情報格納部９には重心計算
装置２１により求められた顔領域抽出用網の２つの重心
と、実施の形態１と同様に顔領域抽出用網の内部エネル
ギー（Ｅ_int ）及び画像エネルギー（Ｅ_image ）とが格
納される。また、口唇領域抽出用網情報格納部２２に
は、初期状態として顔領域に収縮した網の座標が格納さ
れる。さらに、口唇領域抽出用網の２つの重心と、口唇
領域抽出用網の内部エネルギー（Ｅ_int ）及び画像エネ
ルギー（Ｅ_image ）と、後述の形状エネルギー
（Ｅ_form）と、上記２つの重心から求められる移動エネ
ルギー（Ｅ_move）とが格納される。また、確率密度関数
格納部７には、顔領域を表す確率密度関数に加えて、口
唇領域を表す確率密度関数が予め格納されている。

【０１２２】上記構成によれば、領域確率計算装置５が
領域確率画像格納部８を参照して、顔領域及び口唇領域
を構成する各ピクセルの色に基づいて確率密度関数を計
算することにより各ピクセルの色の確からしさを算出
し、顔領域確率画像及び口唇領域確率画像を生成する。
次に、実施の形態１と同様に、エネルギー計算装置６が
顔領域抽出用網の内部エネルギー（Ｅ_int ）と画像エネ
ルギー（Ｅ_image ）を計算し、それを顔領域抽出用網情
報格納部９に格納する。これらのエネルギーの合計が小
さくなるように網を収縮変形・移動させ、まず顔領域を
抽出する。この結果が出力装置４に出力される。

【０１２３】重心計算装置２１が、顔領域抽出用網情報
格納部９に格納されている網の座標を参照して最外郭フ
レームの重心（ｇ）を、上記網の座標と領域確率画像格
納部８に格納された顔領域確率画像とを参照して顔領域
抽出用網の囲む領域の重心（Ｇ）を計算し、それぞれ顔
領域抽出用網情報格納部９に格納する。同様にして、重
心計算装置２１が、口唇領域抽出用網情報格納部２２に
格納されている口唇領域抽出用網の座標を参照して最外
郭フレームの重心（ｇ）を、上記網の座標と領域確率画
像格納部８に格納された口唇領域確率画像とを参照して
口唇領域抽出用網の囲む領域の重心（Ｇ）を計算し、そ
れぞれ口唇領域抽出用網情報格納部２２に格納する。

【０１２４】また、エネルギー計算装置６が口唇領域抽
出用網の内部エネルギー（Ｅ_int ）、画像エネルギー
（Ｅ_image ）、形状エネルギー（Ｅ_form）、及び移動エ
ネルギー（Ｅ_move）を計算し、それらを口唇領域抽出用
網情報格納部２２に格納する。これらの口唇領域抽出用
網のエネルギーの合計値が小さくなるように口唇領域抽
出用網を変形収縮・移動し、口唇領域を抽出する。その
結果が出力装置４に出力される。

【０１２５】以下に、上記構成による領域抽出装置の動
作、及び網の定義の仕方などを具体的に説明する。

【０１２６】まず、口唇領域を表す確率密度関数の算出
するために、実施の形態１と同様にして、例えば、図３
（ａ）に示す入力人物画像に対して図３（ｂ）のＢに示
すように口唇のみを取り出して、口唇の色分布を調べ
る。図２１は、２４人の人物画像データにより、１画像
につき１００ピクセルの点をサンプリングしたときの口
唇領域の色相の色度数分布を示す。図２２は、同様にサ
ンプリングしたときの口唇領域の彩度の色度数分布を示
す。なお、各図の縦軸及び横軸は、実施の形態１の図４
及び図５と同じである。

【０１２７】そして、実施の形態１と同様にして求めた
口唇領域を表す２次元の正規確率密度関数をプロットし
たものを図２３に示す。図の高さ軸は確率密度、左側軸
は色相、右側軸は彩度を表している。

【０１２８】前記領域確率計算装置５が、求められた確
率密度関数に色相値及び彩度を代入して計算することに
より、入力デジタル画像のすべてのピクセルについて、
口唇の色の確からしさが０〜１の範囲で求められる。そ
して、そのピクセルの色相と彩度とにより求めた確から
しさの値（０〜１）をピクセルの新しい値とする口唇領
域確率画像を生成する。図１０は、図８に示される入力
画像から生成された口唇領域確率画像であり、明るいピ
クセルほど口唇領域である可能性が高いことを示してい
る。

【０１２９】次に、（１）最外郭フレーム、（２）最外
郭フレームの重心、及び（３）網が囲む領域の重心を定
義する。

【０１３０】最外郭フレームとは、図２４に示すよう
に、最外郭格子点を順に結んでできる輪郭のことであ
り、レイヤー０のことである。即ち、網の外形を表して
いる。

【０１３１】最外郭フレームの重心とは、最外郭格子点
の座標を平均したものである。即ち、最外郭格子点の数
をｎ、ｉ番目の最外郭格子点を表すベクトルをｐｉとす
ると、重心を表すベクトルｇは、次のように表される。

【０１３２】

【数１９】 網が囲む領域の重心とは、図２５に示すように、網内部
のピクセルの座標をその明るさの重みとして平均したも
のである。即ち、網内部にあるピクセルの数をＮ、網内
部のピクセルｊを表すベクトルをｐｊ、ピクセルｊにお
ける明るさをＩ(pj)とすると、網が囲む領域の重心Ｇ
は、次のように定義される。なお、Σは網内部のすべて
のピクセルについて合計している。

【０１３３】

【数２０】 （１）網の内部エネルギー 口唇領域を抽出するための網の内部エネルギーの定義は
以下の通りである。本実施の形態の内部エネルギーは、
実施の形態１の内部エネルギーに、顔幅から推定される
口唇の平均的な形状と大きさとに網が収縮するようなエ
ネルギーを加える。このエネルギーを形状エネルギーＥ
_form(t,s) と呼ぶことにする。

【０１３４】具体的には、まず、図２６に示すように、
顔領域抽出用網の最外郭フレームＦ_f の重心ｇ_f と、口
唇領域抽出用網が囲む領域Ａ_m の重心Ｇ_m を結ぶ線に直
角で、重心ｇ_f を通る直線を引く。これを顔幅直線と呼
ぶ。顔幅直線と最外郭フレームＦ_f との２つの交点Ｆ_a
・Ｆ_b を結ぶ線分の長さを顔幅の推定値Ｆ_abとする。顔
幅の推定値Ｆ_abに一定の比率を掛けることによって、顔
幅に対する口唇の平均的な大きさ、即ち口唇の幅及び高
さを推定する。

【０１３５】そして、図２７に示すように、口唇の形状
を楕円に近いものとして、重心Ｇ_mを中心とし、推定し
た口唇の幅を長径、推定した口唇の高さを短径とし、長
径が顔幅直線と同じ傾きをもつ楕円ｅ_m を考える。

【０１３６】最外郭格子点の形状エネルギーＥ_form(t,
s) は、この楕円ｅ_m の中心（重心Ｇ_m ）から口唇領域
抽出用網の最外郭格子点ｍ₁ の一つに向かって直線を引
いたとき、その直線と楕円ｅ_m との交点と、最外郭格子
点ｍ₁ との距離として計算される。また、内部格子点ｍ
₂ についても最外郭格子点ｍ₁ と同様に、形状エネルギ
ーＥ_form(t,s) が計算されるが、内部格子点ｍ₂ が楕円
ｅ_m の内側にあるときにはＥ_form(t,s) ＝０とする。こ
のようにして求められた形状エネルギーＥ_form(t,s) を
実施の形態１の（１）式に加えたものを口唇領域抽出用
網の内部エネルギーとする。

【０１３７】（２）網の画像エネルギー 画像エネルギーは、口唇領域確率差分画像のピクセルの
明るさ用いる。口唇領域確率差分画像とは、領域確率計
算装置５で生成された口唇領域確率画像と顔領域確率画
像との対応するピクセルの明るさの差をとったものであ
る。口唇領域確率画像のピクセルが顔領域確率画像のピ
クセルより明るい場合には、その明るさの差をとり、そ
うでない場合には０とする。即ち、図２８に示すよう
に、座標（ｘ，ｙ）における口唇領域確率画像のピクセ
ルの明るさをＩ_m (x,y) 、顔領域確率画像のピクセルの
明るさをＩ_f (x,y) 、口唇領域確率差分画像のピクセル
の明るさをＩ_mf(x,y) とすると、次のようになる。

【０１３８】

【数２１】 実際の画像では、図９に示す顔領域確率画像と図１０に
示す口唇領域確率画像との差分をとると、図２９に示す
口唇領域確率差分画像が得られる。このようにして生成
した口唇領域確率差分画像のピクセルの明るさに−１を
掛けたものを内部格子点でのエネルギーとする。最外郭
格子点のエネルギーは、顔領域確率画像のピクセルの明
るさに−１を掛けたものを用いる。即ち、口唇領域抽出
用網の格子点ｐ(t,s) での画像エネルギーは、以下のよ
うになる。

【０１３９】

【数２２】 ここで、MFDRPI(t,s) は口唇領域確率差分画像での格子
点ｐ(t,s) での明るさ、FRPI(t,s) は顔領域確率画像で
の格子点ｐ(t,s) での明るさである。

【０１４０】（３）移動エネルギー 口唇領域抽出用網を動かすために、網の内部エネルギー
及び画像エネルギーの他に網の移動エネルギーを定義す
る。これは、口唇領域を抽出するための網が、精度良く
口唇領域を抽出するために、網全体を口唇領域の方へ動
かすためのエネルギーである。この移動エネルギーＥ
_moveは、以下のように定義する。

【０１４１】

【数２３】 ここで、Ｇ_net は口唇領域抽出用網が囲む領域の重心を
表すベクトル、ｇ_netは口唇領域抽出用網の最外郭フレ
ームの重心を表すベクトルである。即ち、Ｅ_{mo ve}は、２
つの重心が重なるように網を移動させる力をもたらす。
なお、口唇領域抽出用網の最外郭フレームの重心は初期
状態では、顔領域抽出用網の最外郭フレームの重心と一
致している。

【０１４２】次に、上記のように定義された口唇領域抽
出用網が口唇領域を抽出するプロセスを図３０のフロー
チャートに基づいて説明する。

【０１４３】まず、実施の形態１と同様にして顔領域抽
出用網により顔領域を抽出する（Ｓ３１）。従って、仮
想的な網は、図３１の上段に示すように、顔領域を囲む
ような形・大きさになっている。口唇領域は、顔領域の
内部にあるのだから、顔領域が抽出されたときの網を口
唇領域抽出用網の初期値として、口唇領域抽出用網を動
かし始める（Ｓ３２）。顔領域抽出用網のときと同じよ
うにして、すべての格子点について８近傍を移動させ、
網を１単位変形させる（Ｓ３３）。次に、先に挙げた口
唇領域抽出用網が囲む領域の重心Ｇ_net と、口唇領域抽
出用網の最外郭フレームの重心ｇ_net を計算し、それら
の距離が小さくなる方向に網を移動させる（Ｓ３４）。
網全体のエネルギーに変化があるかどうかを調べ（Ｓ３
５）、Ｓ３５でエネルギー変化がある場合にはＳ３３の
工程へ戻り、Ｓ３５でエネルギーに変化がなくなったら
網の変形を停止させる。網が停止したときに網は図３１
の下段に示すように、口唇領域を囲っている。

【０１４４】以上により、本実施の形態における領域抽
出装置は、顔領域を囲む網を初期値とした口唇領域抽出
用網を設定し、格子点の位置関係に基づく網の内部エネ
ルギーと、格子点が位置するピクセルの色の確からしさ
に基づく画像エネルギーと、口唇領域抽出用網の最外郭
フレームの重心と網が囲む領域の重心とが一致するよう
に定義された移動エネルギーとの合計値が変化しなくな
るまで網を収縮変形・移動させ、合計値が変化しなくな
った時点で格子点の移動を停止する構成である。

【０１４５】従って、顔領域を覆っていた網は、色の確
からしさが大きい口唇領域に向かって収縮し、最終的に
口唇領域を囲んで停止する。この結果、口唇領域を抽出
することができる。

【０１４６】また、実施の形態１の効果に加えて、顔領
域の最外郭フレームの重心と口唇領域抽出用網の囲む領
域の重心とを結ぶ直線と、垂直軸とのなす角を求めるこ
とにより、顔の回転角を認識することができる。ここ
で、顔の回転とは顔の傾きのことであり、即ち、撮像装
置から撮影方向に延びた軸の回りの回転を示す。

【０１４７】顔の回転角がわかると、例えば、人物デー
タベースを作る際に、写真をスキャナなどで読み込む場
合に、写真の方向などをきにせずに入力することがで
き、手間が大いに軽減する。また、同様にして、バラバ
ラになった写真の方向を揃えるような装置に適用するこ
とが可能である。さらに、撮影時のブレやフィルムイメ
ージをデジタル化するときなどの方向の間違いを気にし
なくてもよくなる。この結果、撮影時、及び処理時の自
由度が増大する。

【０１４８】さらに、顔領域と口唇領域とのバランスに
より、顔のおおよその方向を推定することができる。即
ち、口唇領域の中心が顔領域の主軸に近い位置にあるな
らば、利用者は撮像装置の方向を向いており、左右のど
ちらかにずれていればそれぞれの方向に向いていること
になる。

【０１４９】また、動画像から口唇領域を連続的に抽出
することにより口唇の動きを検出することができ、マイ
クなどと組み合わせて音声認識の認識精度をあげたり、
マイクが拾った音が利用者が喋っているのか別のところ
から聞こえてきたものかを判断したりすることが可能と
なる。

【０１５０】さらに、本領域抽出装置は、実施の形態１
と同様にさまざまな機器の制御などに利用することがで
きる。

【０１５１】例えば、テレビに本領域抽出装置を取り付
けて、利用者の顔の向きを検出することにより、利用者
がテレビの方を向いていないときだけ画面を暗くして表
示面を保護したり、音センサと組み合わせ、単純な発生
によってスイッチのＯＮ／ＯＦＦを行ったり、単純な機
器の制御を行ったりすることができる。さらに、マイク
で拾った声が利用者のものかどうかを判断できるので、
誤った検出で制御されることを防ぐことができる。

【０１５２】〔実施の形態３〕本発明のその他の実施の
形態について図３２ないし図３８に基づいて説明すれ
ば、以下の通りである。なお説明の便宜上、前記の実施
の形態の図面に示した部材と同一の部材には同一の符号
を付記し、その説明を省略する。

【０１５３】本実施の形態にかかる領域抽出装置は、入
力された人物画像により顔領域、口唇領域、及び左右の
目領域を抽出するものである。ここでは、顔領域を抽出
した後、その抽出された顔領域を初期状態とした口唇領
域抽出用網、左目領域抽出用網、及び右目領域抽出用網
を設定し、それぞれの網の位置関係を考慮に入れながら
それらの網を同時に移動させて口唇領域、及び左右の目
領域を同時に抽出する。

【０１５４】上記領域抽出装置は、図３２に示すよう
に、実施の形態２の構成に加えて、記憶装置３に左目領
域抽出用網情報格納部２３、右目領域抽出用網情報格納
部２４、バランスエネルギー（Ｅ_balance ）格納部２
５、及び顔部品位置関係格納部２６を有している。

【０１５５】左・右目領域抽出用網情報格納部２３・２
４には初期状態として顔領域に収縮した網の座標がそれ
ぞれ格納される。また、左・右目領域抽出用網の２つの
重心と、網の内部エネルギー（Ｅ_int ）、画像エネルギ
ー（Ｅ_image ）、及び形状エネルギー（Ｅ_form）とがそ
れぞれ格納される。バランスエネルギー格納部２５には
３つの網の位置関係の制御を行うバランスエネルギー
（Ｅ_balance ）が格納される。顔部品位置関係格納部２
６にはサンプリングにより予め求められた顔部品の位置
関係が予め格納されている。

【０１５６】上記構成によれば、実施の形態２と同様
に、領域確率計算装置５が領域確率画像格納部８を参照
して、顔領域及び口唇領域を構成する各ピクセルの色に
基づいて確率密度関数を計算することにより各ピクセル
の色の確からしさを算出し、顔領域確率画像及び口唇領
域確率画像を生成する。次に、エネルギー計算装置６が
顔領域抽出用網の内部エネルギー（Ｅ_int ）と画像エネ
ルギー（Ｅ_image ）を計算し、それを顔領域抽出用網情
報格納部９に格納する。これらのエネルギーの合計が小
さくなるように網を収縮変形・移動させ、まず顔領域を
抽出する。この結果が出力装置４に出力される。

【０１５７】重心計算装置２１が、顔領域抽出用網情報
格納部９・口唇領域抽出用網情報格納部２２・左目領域
抽出用網情報格納部２３・右目領域抽出用網情報格納部
２４にそれぞれ格納されている網の座標を参照して最外
郭フレームの重心（ｇ）を計算し、それぞれ格納する。
また、各々の網の座標と領域確率画像格納部８に格納さ
れた顔領域確率画像とを参照して顔領域抽出用網・口唇
領域抽出用網・左右の目領域抽出用網の囲む領域の重心
（Ｇ）をぞれぞれ計算し、顔領域抽出用網情報格納部９
・口唇領域抽出用網情報格納部２２・左目領域抽出用網
情報格納部２３・右目領域抽出用網情報格納部２４に各
々格納する。

【０１５８】また、エネルギー計算装置６が口唇領域抽
出用網・左右の目領域抽出用網の内部エネルギー（Ｅ
_int ）、画像エネルギー（Ｅ_image ）、及び形状エネル
ギー（Ｅ_form）を計算し、それらを口唇領域抽出用網情
報格納部２２・左目領域抽出用網情報格納部２３・右目
領域抽出用網情報格納部２４に格納する。さらに、エネ
ルギー計算装置６が顔部品位置関係格納部２６と４つの
網情報格納部に格納されている重心（ｇ・Ｇ）とを比較
することによりバランスエネルギー（Ｅ_balance）を計
算し、格納する。

【０１５９】口唇領域抽出用網・左右の目領域抽出用網
のエネルギーの合計値がそれぞれ小さくなるように３つ
の網を変形収縮・移動し、口唇領域及び左右の目領域を
抽出する。その結果が出力装置４に出力される。

【０１６０】次に、口唇領域抽出用網、左目領域抽出用
網、及び右目領域抽出用網のエネルギーについて説明す
る。口唇領域抽出用網のエネルギーは実施の形態２と同
様である。

【０１６１】（１）目領域抽出用網の内部エネルギー 左右の目領域抽出用網のエネルギーの内部エネルギーに
ついては、口唇領域抽出用網と同様に、顔幅から推定さ
れる目の平均的な形状と大きさとに網が収縮するような
エネルギーを加える。即ち、顔幅に対して一定の比率を
乗ずることによって得られる長径及び短径を持つ楕円を
想定することによって得られる形状エネルギーＥ_formが
実施の形態１の（１）式に加えられることにより目領域
抽出用網の内部エネルギーが定義される。

【０１６２】（２）目領域抽出用網の画像エネルギー 左右の目領域抽出用網のエネルギーの画像エネルギー
は、目領域抽出画像のピクセルの明るさを用いる。目領
域抽出画像とは、領域確率計算装置５で生成された口唇
領域確率画像と顔領域確率画像との対応するピクセルの
明るさの大きいほうをとったものである。即ち、図３３
に示すように、座標（ｘ，ｙ）における口唇領域確率画
像のピクセルの明るさをＩ_m (x,y) 、顔領域確率画像の
ピクセルの明るさをＩ_f (x,y) 、目領域抽出画像のピク
セルの明るさをＩ_e (x,y) とすると、次のようになる。

【０１６３】

【数２４】 このようにして生成された目領域抽出画像のピクセルの
明るさを内部格子点での画像エネルギーとする。最外郭
格子点の画像エネルギーは、顔領域確率画像のピクセル
の明るさに−１を掛けたものを用いる。即ち、目領域抽
出用網のある格子点ｐ(t,s) での画像エネルギーは、以
下のようになる。

【０１６４】

【数２５】 ここで、ERPI(t,s) は、目領域抽出画像での格子点ｐ
(t,s) での明るさ、FRPI(t,s) は顔領域確率画像での格
子点ｐ(t,s) での明るさである。

【０１６５】以上のようにして、目領域抽出画像の内部
エネルギーと画像エネルギーとが定義される。

【０１６６】（３）網のバランスエネルギー これら左右の目領域抽出用網及び口唇領域抽出用網の３
つの網が協調しながら動くように定義した網のバランス
エネルギーについて説明する。

【０１６７】通常、人間の左右の目と口唇との位置関係
は同じであり、個人差はあるものの例えば、両目の間の
距離や、目及び口唇の高さなどは顔幅に対して一定の比
率を持っている。従って、これらの顔部品の位置関係に
関する先見的知識を用いて、それぞれの領域を抽出する
網の位置関係を制御する。

【０１６８】表１は２４人のサンプルデータより測定し
た顔部品の大きさ及び位置関係に関するデータである。
これは、図３４（ａ）及び（ｂ）に示すように、顔幅ｈ
を１としたときの各測定幅ａ〜ｌの値の平均、分散、及
び標準偏差を示している。各々のデータは、図３４に示
す箇所を測定している。これらのデータにより算出され
た顔部品の位置関係は、前記顔部品位置関係格納部２６
に格納される。

【０１６９】

【表１】 バランスエネルギーＥ_balance は、内部エネルギー及び
画像エネルギーに加えてそれぞれの網の位置関係を特定
の制約条件に拘束するように定義される。バランスエネ
ルギーＥ_balance は、次のように表される。

【０１７０】

【数２６】 図３５に示すように、Ｅ_mgは、口唇領域抽出用網の最外
郭格子点の重心ｇ_m が、その網が囲む領域の重心Ｇ_m に
引き寄せられるようなエネルギーである。

【０１７１】Ｅ_leg は、左の目領域抽出用網の最外郭格
子点の重心ｇ_leが、その網が囲む領域の重心Ｇ_leに引き
寄せられるようなエネルギーである。

【０１７２】 Ｅ_reg は、右の目領域抽出用網の最外郭格
子点の重心ｇ_reが、その網が囲む領域の重心Ｇ_reに引き
寄せられるようなエネルギーである。なお、上記重心ｇ
_m 、重心ｇ_le、及び重心ｇ_reは、初期状態では顔領域抽
出用網の最外郭格子点の重心ｇ_f に一致している。

【０１７３】 Ｅ_iod は、左右の目領域抽出用網が囲む領
域の重心Ｇ_le・Ｇ_re間の距離が、顔幅に対する特定の比
になろうとするエネルギーである。

【０１７４】Ｅ_emh は、左右の目領域抽出用網が囲む領
域の重心Ｇ_leとＧ_reとを結ぶ線分の中点と口唇領域抽出
用網が囲む領域の重心Ｇ_m との距離が顔幅に対する特定
の比率になろうとするエネルギーである。

【０１７５】Ｅ_faは、左右の目領域抽出用網が囲む領域
の重心Ｇ_leとＧ_reとを結ぶ線分の中点と口唇領域抽出用
網が囲む領域の重心Ｇ_m とを結ぶ軸と、顔の傾きを表す
軸とのなす角が０になろうとするエネルギーである。

【０１７６】Ｅ_ema は、左右の目領域抽出用網が囲む領
域の重心Ｇ_leとＧ_reとを結ぶ線分と、その線分の中点と
口唇領域抽出用網が囲む領域の重心Ｇ_m とを結ぶ軸との
なす角が直角になろうとするエネルギーである。

【０１７７】以上のように、口唇・左目・右目領域抽出
用網の内部エネルギー及び画像エネルギーは網を収縮さ
せ、かつ滑らかに保とうとしながら、各領域の画像の特
徴にあわせて各領域に縮んで生き、バランスエネルギー
Ｅ_balance はそれそれの網のバランスを一定の平行状態
に保つ。３つの網がそれぞれの領域に向かって変形・収
縮し、網の位置関係が一定の平衡状態を保つように移動
することにより、それぞれの網は最終的に個々の領域を
囲むように収束する。図３６に、入力画像に対して本領
域抽出装置を適用した結果を示す。同図（ａ）〜（ｃ）
の順に、口唇、左目、及び右目領域抽出用網が各領域を
抽出する様子を示している。

【０１７８】次に、口唇・左目・右目領域抽出用網がそ
れぞれの領域を抽出するプロセスを図３７のフローチャ
ートに基づいて説明する。

【０１７９】まず、実施の形態１と同様にして顔領域抽
出用網により顔領域を抽出する（Ｓ４１）。従って、図
３８の上段に示すように、仮想的な網は、顔領域を囲む
ような形・大きさになっている。口唇領域及び左右の目
領域は、顔領域の内部にあるのだから、顔領域が抽出さ
れたときの網を口唇・左目・右目領域抽出用網の初期値
として、各網を動かし始める（Ｓ４２）。顔領域抽出用
網のときと同じようにして、口唇領域抽出用網のすべて
の格子点について８近傍を移動させ、網が収束している
かどうかを調べ（Ｓ４３）、Ｓ４３で網が収束していな
ければ網を１単位変形させ（Ｓ４４）、Ｓ４３で収束し
ていれば次に左右の目領域抽出用網について同様に調べ
る（Ｓ４５〜Ｓ４８）。

【０１８０】各網が１単位変形変形した後、バランスエ
ネルギーを計算して各網を移動させる（Ｓ４９）。そし
て、口唇領域抽出用網のエネルギーに変化があるかどう
かを調べ（Ｓ５０）、変化がない場合には口唇領域抽出
用網の収束済フラグをＯＮにする（Ｓ５１）。同様にし
て、左右の目領域抽出用網についても調べる（Ｓ５２〜
Ｓ５５）。その後、すべての網のエネルギーに変化があ
るかどうかを調べ（Ｓ５６）、エネルギー変化がある場
合にはＳ４３の工程へ戻り、すべての網のエネルギーに
変化がなくなったら網の変形を停止させる。すべての網
が停止したときには、図３８の下３段に示すように、各
網は各領域を囲っている。

【０１８１】以上により、本実施の形態における領域抽
出装置は、顔領域を囲む網を初期値とした口唇・左右の
目領域抽出用網を設定し、格子点の位置関係に基づく網
の内部エネルギーと、格子点が位置するピクセルの色の
確からしさに基づく画像エネルギーと、３つの領域の重
心の位置関係が予め測定され記憶された口唇及び左右の
目の位置関係と等しくなるように定義されたバランスエ
ネルギーとの合計値が変化しなくなるまで網を収縮変形
・移動させ、合計値が変化しなくなった時点で格子点の
移動を停止する構成である。

【０１８２】従って、顔領域を覆っていた網は、色の確
からしさが大きい口唇・左右の目領域に向かってそれぞ
れ収縮し、最終的に各領域を囲んで停止する。この結
果、口唇及び左右の目領域を抽出することができる。

【０１８３】これにより、実施の形態１及び２の効果に
加えて、口唇・目の形を認識することができ、これらは
個人によって特有な値を持つので、これを利用して個人
同定を行うことができる。即ち、予め複数の人物の画像
を入力しておき、領域抽出装置により各領域を抽出、そ
れぞれの部品の相対位置関係や大きさ、形状を数値化し
て、各人ごとにデータベースに記憶しておく。データベ
ース検索装置に撮像装置と領域抽出装置を取り付けるこ
とにより、撮像装置に映された人物の顔領域、口唇領
域、目領域を抽出して、同じように各部品の位置関係や
大きさを数量化する。得られた数値とデータベースの数
値とでマッチングを取り、入力画像がデータベース中の
どの人物であるかを判断する。これにより、来客の多い
企業の受付やホテルなどで予めデータベースを作ってお
き、来客人物を撮影してデータベースからその人物のプ
ロフィールなどを自動検索し、それによってスムースな
対応をするアプリケーションを想定することができる。

【０１８４】また、顔輪郭だけでなく、顔部品の抽出ま
で行えるようになると、情報の圧縮率はさらに高まるこ
とになる。実施の形態１で述べたように、顔領域を抽出
し、顔以外の解像度や色数を落としたりすることで情報
を圧縮できるが、さらに、顔領域の中で、顔部品の領域
を最も高い解像度・色数にし、次いで顔領域、顔領域以
外、という順序で解像度・色数を落とすことにより、画
像の顔領域の劣化を少なく保ちつつ情報を圧縮すること
が可能となる。さらに、顔部品及び顔領域で利用される
色数は限られており、それぞれ独自の色コードを持つこ
とにより、さらなる情報の圧縮が可能となる。これによ
り、実施の形態１や２よりも少ない容量でより多くの画
像を保存でき、あるいは、狭い帯域幅でよりコマ数の多
い滑らかな画像を電送することが可能となる。

【０１８５】また、人物データベースなどのように、画
像を多くファイリングするような必要があるアプリケー
ションにおいては、ひとつひとつの画像の大きさがその
装置に記憶することのできる画像の数に大きく関わって
くる。上述のように、１枚の人物画像をより少ない容量
で保存することができるなら、低コストで多くの画像を
記憶することのできるデータベースを作成することがで
きる。また、帯域幅を広くしなくとも人物画像を電送で
きるようになる。従って、テレビ会議、テレビ電話、及
び電子秘書などの低コスト化が実現できる。

【０１８６】また、人物データベースを作成する際に、
今までは画像と一緒に検索のためのキーとなるその個人
を表すデータを人間が手作業で単語として登録し、検索
する際もそのキーワードを手で入力したり、あるいは、
データベースを最初から順番に見つかるまで方端から見
なければならなかったが、本領域抽出装置では画像から
顔領域及び顔部品が自動的に抽出できるので、データベ
ースを登録する際に顔部品を抽出して、装置自身がデー
タベース検索装置に接続された撮像装置に映すだけでよ
くなる。この結果、来客や久しぶりに会った人が誰であ
るかを瞬時に見つけ出すといったアプリケーションが可
能となる。

【０１８７】さらに、目や口唇の領域が抽出されると、
表情の認識を行うことが可能となる。人間の表情は、目
や口などの顔部品に特徴が現れるため、目や口の形を領
域抽出することにより調べることによって、その人がど
のような表情をしているのかを判定できるようになる。
これは、人の感情にあわせて対応を変化させるロボット
や精神分析などの自動化などを行うことが可能にする。

【０１８８】同様に、表情の認識ができるということ
は、表情の生成をもできるということになる。目や口の
領域が抽出されると、その領域を感情特有の形に変形さ
せることにより表情を作り出せる。例えば、人が笑って
いるときの典型的な目と口の形状を予め測定してデータ
ベース化しておき、入力画像から抽出された目や口の領
域をそのデータベースにしたがって変形させれば、その
画像中の表情を笑わせることができる。さまざまな表情
を予めデータベース化しておけば、撮像した画像の顔を
自由自在に笑わせたり、怒らせたりといったことが可能
となる。

【０１８９】これは、人間的なやさしいインターフェイ
スを持った機器を開発することを可能にする。従って、
機器の操作説明などで現れる顔の表情を自在に変化さ
せ、利用者にとって親しみ易い機器の提供などを行うこ
とが可能となる。また、ある人間を別の人間、あるい
は、他の動物などに連続的に変化させるアニメーション
など、映像作品における特殊効果的な利用もこの技術を
用いれば全自動で行うことができる。来るべきマルチメ
ディア時代のエンターテイメントコンテンツとしての利
用価値は大きい。

【０１９０】また、表情生成、似顔絵作成などが自動的
にできるようになることは、エンターテイメント分野で
のマルチメディアコンテンツ供給の低コスト化を実現で
きる。従来では手作業と独特のセンス、技術を要求され
るものであったものが、自動的にできるようになるた
め、将来的に増大するであろう需要に対しても対応する
ことが可能となる。

【０１９１】また、実施の形態１及び２と同様に、リア
ルタイムに顔領域及び顔部品を抽出することにより、よ
り細かな機器の制御を行うことが可能となる。例えば、
顔部品の位置関係により顔の傾きを精度良く検出するこ
とが可能となる。顔の傾きの大きさによって、オーディ
オ装置の音量をコントロールしたり、照明の明るさを制
御したりすることが可能となる。あるいは、瞬きなどを
検出して両手が使えない状態、例えば、車の運転中にラ
ジオのチューニングを変えるということが可能となる。

【０１９２】あるいは、顔部品を抽出し個人同定を行う
ことにより、個人の好みに合わせたエアコンの強弱やテ
レビ、オーディオなどの音量などの自動制御や、パソコ
ンのログインや電子ロックといったセキュリティ方面へ
の応用も可能となる。これにより、そのつど機器を調整
しなければならない手間やパスワード入力をする手間、
入力間違いなどが削減される。

【０１９３】なお、上記実施の形態１ないし３では、領
域確率計算装置５により一旦領域確率画像を生成し、こ
の領域確率画像を用いて画像エネルギーを計算している
が、これは、処理が簡単になると共に処理が高速化でき
るという効果がある。しかしながら、画像エネルギーを
計算する際に、格子点上にあるピクセルの色から各領域
の確からしさをそのつど計算することによっても画像エ
ネルギーを計算することができる。この場合は、領域確
率画像を生成しなくてもよいため必要なメモリを減らす
ことができるというメリットがある反面、格子点上のピ
クセルの領域の確からしさをそのつど計算する必要があ
るので処理速度が低下する。

【０１９４】また、上記実施の形態の網のエネルギーは
網の形が顔領域及び顔部品を囲むようになったときにエ
ネルギーが最も小さくなるように定義されているが、網
の形が顔領域及び顔部品を囲むようになったときにエネ
ルギーが最も大きくなるように定義しても同様の効果が
得られる。

【０１９５】また、本実施の形態の網の形状は放射状と
しているが、エネルギーの設定次第で格子状など他の形
状とすることもできる。即ち、点と点との接続関係の情
報があればどのような形状とすることもできる。ただ
し、本実施の形態のように楕円に近い形状を持つ顔、口
唇、目領域などを抽出する場合にはエネルギー設定が行
いやすいので放射状が好ましい。

【０１９６】また、本実施の形態では、格子点を移動さ
せる際に最外郭格子点から移動させているが、これに限
られることはなく、どの格子点から移動させてもよい。
ただし、すべての格子点が１単位移動するまで、同じ格
子点が二重に動かないようにする必要がある。

【０１９７】また、本実施の形態では格子点の移動を８
近傍としているが、これに限られることはなく、例えば
４近傍としてもよい。さらに、隣接するピクセルではな
く、離れたピクセルに移動してもよいが、この場合は、
抽出したい領域の境界部分を飛び越えてしまわない程度
の移動距離にする必要がある。

【０１９８】なお、実施の形態２及び３における内部エ
ネルギーには、楕円を想定することにより得られる形状
エネルギーが設定されているが、抽出しようとする物の
形状がわからない場合には設定しなくともよい。ただ
し、本実施の形態のように、抽出対象の形状がわかって
いる場合は、形状エネルギーを設定した方が精度があが
るので望ましい。

【０１９９】また、実施の形態２における移動エネルギ
ーについても同様に設定しなくてもよいが、設定したほ
うが精度が良くなるので望ましい。

【０２００】〔実施の形態４〕本発明のその他の実施の
形態について図３９ないし図４３に基づいて説明すれ
ば、以下の通りである。なお説明の便宜上、前記の実施
の形態の図面に示した部材と同一の部材には同一の符号
を付記し、その説明を省略する。

【０２０１】本実施の形態に係る方向検出装置は、実施
の形態３の領域抽出装置を利用すると共に２つの撮像装
置を用いて、各撮像装置に映った人物画像よりそれぞれ
顔部品を抽出した後、各画像に映っている顔部品の位置
のずれを調べることにより、頭部の３次元方向を検出す
るものである。

【０２０２】図３９に示すように、機器４３に取り付け
られた撮像装置（撮像手段）４２Ｌ・４２Ｒが利用者の
姿を捉え、そのデジタル画像を領域抽出装置４１に送
る。領域抽出装置４１は、それぞれの画像から利用者の
顔領域を抽出し、その情報を頭部方向検出装置４５に送
る。頭部方向検出装置４５は２つの画像から顔部品の３
次元情報検出することにより頭部の方向を検出し、その
情報を制御装置４４に送る。制御装置４４は機器４３に
接続されており、頭部方向検出装置４５から送られてき
た情報をもとに機器４３を制御する。

【０２０３】上記２つの撮像装置４２Ｌ・４２Ｒを用い
て頭部方向を検出する方法は以下の通りである。まず、
撮像装置４２Ｌ・４２Ｒの配置はエピポーラ拘束に従
う。エピポーラ拘束とは、図４０に示すように、一方の
撮像装置４２Ｌのデジタル画像Ｌに映っているものが、
他方の撮像装置４２Ｒのデジタル画像Ｒにて、走査線に
平行に映っているような制約のことである。即ち、撮像
装置を２台設置する際には、同様の特性を持つ撮像装置
を光軸が同一平面上にのるように設置しなければならな
い。

【０２０４】まず、図４１に示すように、２つの人物画
像である画像Ｌ・Ｒからそれぞれ口唇領域、左右の目領
域を抽出する。次に、画像Ｌにおける３つの顔部品が画
像Ｒにおいてどの位置にあるかを調べる。画像Ｌにおけ
る口唇位置の、画像Ｒにおける口唇位置の水平方向のず
れをｄｍ、画像Ｌにおける左目位置の、画像Ｒにおける
左目位置の水平方向のずれをｄｌｅ、画像Ｌにおける右
目位置の、画像Ｒにおける右目位置の水平方向のずれを
ｄｒｅとする。これらの２つの画像Ｌ・Ｒでの顔部品の
ずれの逆数が、画像面からの顔部品の相対的な距離に相
当する。

【０２０５】そこで、図４２に示すように、画像面の各
顔部品から画像面奥の方へ垂直に向かってそれぞれ１／
ｄｍ、１／ｄｌｅ、１／ｄｒｅだけ離れた距離にある点
をそれぞれｐｍ、ｐｌｅ、ｐｒｅとすると、頭部の３次
元向きはｐｌｅとｐｒｅとを結ぶ線分の中点と、ｐｍと
を通る直線でｐｍから中点に向かう方向となる。

【０２０６】上記方向検出装置のプロセスを図４３のフ
ローチャートに基づいて説明する。まず、２つの撮像装
置４２Ｌ・４２Ｒにより利用者の画像を撮影する（Ｓ６
１）。そして、領域抽出装置４１により各画像から口唇
・左右目領域を抽出する（Ｓ６２）。２つの画像間での
口唇・左目・右目それぞれの顔部品の水平位置のずれを
算出する（Ｓ６３）。各顔部品の画像面からの距離を計
算する（Ｓ６４）。そして、頭部の３次元方向を計算す
る（Ｓ６５）。このプロセスを繰り返すことにより、撮
像装置前の利用者の頭部方向をリアルタイムに検出する
ことが可能となる。

【０２０７】即ち、２つの撮像装置４２Ｌ・４２Ｒによ
り顔画像を同時に撮影し、それぞれの画像の顔領域及び
顔部品を抽出することにより、それぞれの画像の視差に
より口唇、左目、右目、それぞれの３次元空間上の３点
が決まるため、頭部がどの方向を向いているかを検出す
ることができる。

【０２０８】これにより、専用の装置を頭部に装着しな
ければ頭部の方向を検出できなかった従来のものと比較
して、本方向検出装置は専用のハードウェアを用いなく
てもよいので、低コストで製品が実現できると共に装着
する際の煩わしさなどを除去することができる。また、
専用のハードウェアを用いなくても済むので応用範囲が
広がる。

【０２０９】また、顔の方向を検知して利用者が自分の
方を向いているときだけ作動するような仕組みを提供し
たり、例えば、顔の向きでチャンネルや音量が変えられ
るようなテレビやオーディオ製品が可能となる。

【０２１０】また、バーチャルリアリティに応用するこ
とも可能である。即ち、撮像装置の前の人物の頭の位置
・方向に合わせて、コンピュータ上で表現された仮想世
界での仮想的な利用者の位置・方向を決めることがで
き、実際の利用者の頭部の動きと、仮想世界での利用者
の頭部の動きを、特殊なヘッドギアなどを用いずに同調
させることが可能となる。また、３次元ＣＡＤにおい
て、特定の３次元位置の点を指定したり、複数の属性を
持つものを同時に調節、例えば、テレビの色合い、コン
トラスト、明るさなどを同時に調整することも可能とな
る。

【０２１１】なお、撮像装置は２つに限られることはな
く、３つ以上とすることも可能である。この場合、撮像
装置の配置はエピポーラ拘束に従う必要はない。

【０２１２】〔実施の形態５〕本発明のその他の実施の
形態について図４４ないし図４６に基づいて説明すれ
ば、以下の通りである。なお説明の便宜上、前記の実施
の形態の図面に示した部材と同一の部材には同一の符号
を付記し、その説明を省略する。

【０２１３】本実施の形態にかかる方向検出装置は、図
４４に示すように、実施の形態４の構成に加えて、頭部
方向検出装置４５により検出された頭部方向の情報が入
力される視線方向検出装置４６を有する。

【０２１４】視線方向を検出する方法は以下の通りであ
る。まず、実験として、視線の検出精度を設定する。そ
の精度から検出しようとしている方向の数を決め、例え
ば図４５（ａ）〜（ｆ）に示すように、その数だけ被験
者にその方向を注視してもらう。そして、その注視して
いる時の目の画像を撮影する。この目の画像は、人間が
ある方向を見た時に、瞳がどの位置にくるかを示してい
る視線データベースとなる。領域抽出装置によって検出
された目の画像を、この視線データベースと比較するこ
とにより、利用者の視線の方向を推定することができ
る。そして、実施の形態４の頭部方向検出装置４５で検
出された頭部の３次元方向の情報と、この視線方向の情
報とを組み合わせることにより、真の視線方向を検出す
ることが可能となる。

【０２１５】上記方向検出装置のプロセスを図４６のフ
ローチャートに基づいて説明する。まず、頭部検出装置
により、頭部の３次元方向を検出する（Ｓ７１）。この
時点で目の領域はすでに検出されているため、抽出され
た目の領域を視線データベースにある画像にあわせてサ
イズを変更する。そして、変更された目の領域の画像
と、視線データベースの画像との間でマッチングをとる
（Ｓ７２）。このマッチングにはデンプレートマッチン
グなどの手法を用いる。そして、２つの画像の差を取
り、差が最も小さくなるものを選択することにより、視
線方向を推定する（Ｓ７３）。すでに検出されている頭
部の３次元方向と、推定された視線方向とを合わせるこ
とにより、真の視線方向を検出する（Ｓ７４）。

【０２１６】これにより、本方向検出装置は、特別な装
置を用いずに視線方向を検出することができる。この結
果、ハードウェアなどを装着する煩わしさを除去するこ
とができると共に、装置の低コスト化が可能となる。ま
た、情報機器などのポインティングデバイスの代用、例
えば、コンピュータディスプレイの任意の一点をマウス
やペン、あるいは、現存するアイトラッカーのような大
がかりな装置を使用することなく指定することができ、
さまざまな電子機器の制御を行うことが可能となる。ま
た、キーボードを操作しながら注目点を目で追跡したり
することができ、機器の作業の効率をあげることができ
る。さらに、両手が塞がった状態でも他の操作を行うこ
とが可能となる。また、体の不自由な人への適用も考え
られる。

【０２１７】

【発明の効果】以上のように、本発明の請求項１記載の
領域抽出装置は、対象物を撮像してカラーデジタル画像
とする撮像手段と、上記カラーデジタル画像において均
一に同様の色を持つ所望領域を示す確率密度関数を予め
記憶しておく確率密度関数格納手段と、上記所望領域を
構成する各画素の色に基づいて上記確率密度関数を計算
することにより、各画素の色の確からしさを算出する領
域確率計算手段と、上記カラーデジタル画像上の任意の
３つ以上の点を接続することにより形成され画像全体を
覆うように設けられる仮想的な網の情報を記憶しておく
網情報格納手段と、上記点の位置関係に基づいて定義さ
れる網の内部エネルギーと、点が位置する画素の色の確
からしさに基づいて定義される網の画像エネルギーとを
それぞれ計算するエネルギー計算手段とを有し、１つの
点を移動させたときの網の内部エネルギーと画像エネル
ギーとの合計値を、上記点を移動させる前の合計値と比
較し、合計値が変化するときは網が収縮する方向へ点の
移動を行い、合計値が変化しなくなった時点で点の移動
を停止する構成である。

【０２１８】これにより、本領域抽出装置は照明条件の
変化に強い色の確からしさに基づいて所望領域を抽出す
ることができるので、撮影する場所、時間、補助照明の
有無、方向などに左右されることがなくなる。また、網
はどのような形状にもなり得るので、入力画像の大き
さ、及び画像中の顔位置や大きさなどに制限されること
がなくなる。これらの結果、撮影の自由度を増大させる
ことができるという効果を奏する。

【０２１９】請求項２記載の領域抽出装置は、請求項１
記載の構成に加えて、上記対象物は人物であり、上記所
望領域は人物の顔の領域である構成である。

【０２２０】これにより、顔領域を抽出することができ
るので、さまざまな家電製品などの機器の制御に利用す
ることができる。即ち、利用者の位置による機器の制御
を行うことが可能となるという効果を奏する。

【０２２１】請求項３記載の領域抽出装置は、請求項１
または２記載の構成に加えて、確率密度関数格納手段に
は上記所望領域と異なる色を持つ部分領域を示す確率密
度関数が予め記憶されると共に、網情報格納手段には上
記所望領域を囲んで停止した網の情報が部分領域を抽出
するための部分領域抽出用網の初期値として記憶され、
上記所望領域内に部分領域が１つある場合に、領域確率
計算手段が上記部分領域を構成する各画素の色に基づい
て上記確率密度関数を計算することにより各画素の色の
確からしさを算出して、エネルギー計算手段が部分領域
抽出用網の内部エネルギー及び画像エネルギーと、部分
領域に収束されるように定義された移動エネルギーとを
それぞれ計算することにより、部分領域を抽出する構成
である。

【０２２２】これにより、最初の領域抽出に用いた網
を、さらに領域内の別の領域の抽出に用いることができ
るので、領域毎に網の設定を変える必要がないという効
果を奏する。

【０２２３】請求項４記載の領域抽出装置は、請求項３
記載の構成に加えて、部分領域抽出用網の外周を形成す
る点からフレーム重心を求めると共に、画像の明るさを
重みとした部分領域抽出用網が囲む領域の重心を求める
重心計算手段を有し、上記移動エネルギーを、上記フレ
ーム重心が領域の重心の方向に引き寄せられるように定
義する構成である。

【０２２４】これにより、フレーム重心が領域重心の方
向に引き寄せられるように移動エネルギーが設定されて
いるので、部分領域に似た色を持つ領域があったとして
も、その領域に引き寄せられることなく、部分領域を抽
出することができる。この結果、処理速度が速く、高精
度の部分領域の抽出が可能となるという効果を奏する。

【０２２５】請求項５記載の領域抽出装置は、請求項２
記載の構成に加えて、網の外周を形成する点からフレー
ム重心を求めると共に、画像の明るさを重みとして網が
囲む領域の重心を求める重心計算手段を有し、確率密度
関数格納手段には口唇領域を示す確率密度関数が予め記
憶されると共に、網情報格納手段には上記顔領域を囲ん
で停止した網の情報が口唇領域及び左右の目領域を抽出
するための網の初期値として記憶され、領域確率計算手
段が、上記口唇領域を構成する各画素の色に基づいて上
記確率密度関数を計算することにより各画素の色の確か
らしさを算出すると共に、上記左右の目領域を構成する
各画素の色に基づいて顔領域あるいは口唇領域の確率密
度関数を計算することにより各画素の色の確からしさを
算出して、エネルギー計算手段が、各領域の内部エネル
ギー及び画像エネルギーと、各々のフレーム重心が各々
の領域重心の方向へ引き寄せられ、かつ、３つの領域の
重心の位置関係が予め測定され記憶された口唇及び左右
の目の位置関係と等しくなるように定義されたバランス
エネルギーとを計算することにより、口唇及び左右の目
領域を抽出する構成である。

【０２２６】これにより、顔領域抽出用網を、口唇領域
抽出用網及び左右の目領域抽出用網とすることができる
ので、領域毎に網の設定を変える必要がない。また、顔
領域に対する顔部品の位置がわかるので、顔の回転角
（顔の傾き）を認識することができ、撮影時、及び処理
時の自由度が増大する。さらに、顔のおおよその方向を
推定することができるという効果を奏する。

【０２２７】請求項６記載の方向検出装置は、請求項５
記載の領域抽出装置を用いて、上記撮像手段が複数個設
けられ、複数の撮像手段から同時に得られる複数の画像
から口唇領域及び左右の目領域をそれぞれ抽出し、互い
に比較することにより口唇及び目の３次元位置情報を導
出する構成である。

【０２２８】これにより、従来のような専用のハードウ
ェアを用いなくとも、容易に頭部方向を検出することが
できる。この結果、ハードウェアなどを装着する煩わし
さを除去することができると共に、装置の低コスト化が
可能となるという効果を奏する。

【０２２９】請求項７記載の方向検出装置は、請求項６
記載の構成に加えて、抽出された目の画像と、予め測定
して視線方向の情報が付加されて記憶された目の画像と
を比較することにより推定視線方向を算出し、さらに推
定視線方向と検出された頭部の向きとを比較することに
より真の視線方向を検出する構成である。

【０２３０】これにより、従来のような専用のハードウ
ェアを用いなくとも、容易に視線方向を検出することが
できる。この結果、ハードウェアなどを装着する煩わし
さを除去することができると共に、装置の低コスト化が
可能となるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の実施の一形態にかかる領域抽出装置の
構成を示すブロック図である。

【図２】上記領域抽出装置における領域確率計算装置の
動作を示すフローチャートである。

【図３】（ａ）は入力画像を示し、（ｂ）は入力画像か
ら顔の肌色部分と口唇部分とを取り出した状態を示す説
明図である。

【図４】顔領域の色相の色度数分布を示すグラフであ
る。

【図５】顔領域の彩度の色度数分布を示すグラフであ
る。

【図６】顔領域を表す２次元の正規確率密度関数を示す
グラフである。

【図７】領域確率画像の生成の過程を表すフローチャー
トである。

【図８】入力装置に入力される画像を表し、ディスプレ
ー上に表示された中間調画像を示す図面代用写真であ
る。

【図９】図８に示された入力画像から生成された顔領域
確率画像を表し、ディスプレー上に表示された中間調画
像を示す図面代用写真である。

【図１０】図８に示された入力画像から生成された口唇
領域確率画像を表し、ディスプレー上に表示された中間
調画像を示す図面代用写真である。

【図１１】網を形成する格子点を示す説明図である。

【図１２】網のモデルを用いて領域を抽出する様子を示
す説明図であり、（ａ）は入力画像、（ｂ）は網の初期
状態、（ｃ）は収束中の網の状態、（ｄ）は収束後の網
の状態をそれぞれ示す。

【図１３】網のモデルを用いて顔領域を抽出する様子を
示す説明図であり、（ａ）は入力画像、（ｂ）は網の初
期状態、（ｃ）は収束中の網の状態、（ｄ）は収束後の
網の状態をそれぞれ示す。

【図１４】網の形状を示す説明図である。

【図１５】他の網の形状を示す説明図である。

【図１６】（ａ）（ｂ）は、網の内部エネルギーを構成
する各エネルギーの定義を示す説明図である。

【図１７】格子点の移動の仕方を示すフローチャートで
ある。

【図１８】あるピクセルの８近傍を示す説明図である。

【図１９】上記領域抽出装置を機器に利用したときの構
成を示すブロック図である。

【図２０】本発明の他の実施の形態にかかる領域抽出装
置の構成を示すブロック図である。

【図２１】口唇領域の色相の色度数分布を示すグラフで
ある。

【図２２】口唇領域の彩度の色度数分布を示すグラフで
ある。

【図２３】口唇領域を表す２次元の正規確率密度関数を
示すグラフである。

【図２４】最外郭フレーム及び最外郭フレームの重心を
示す説明図である。

【図２５】網が囲む領域の重心を示す説明図である。

【図２６】形状エネルギーの定義に必要な各パラメータ
を示す説明図である。

【図２７】形状エネルギーの定義を示す説明図である。

【図２８】口唇領域確率差分画像の求め方を示す説明図
である。

【図２９】図９に示す顔領域確率画像と図１０に示す口
唇領域確率画像とにより算出された口唇領域確率差分画
像を表し、ディスプレー上に表示された中間調画像を示
す図面代用写真である。

【図３０】口唇領域抽出用網が口唇領域を抽出する過程
を示すフローチャートである。

【図３１】口唇領域抽出用網が口唇領域を抽出する過程
を示す模式図である。

【図３２】本発明のその他の実施の形態にかかる領域抽
出装置の構成を示すブロック図である。

【図３３】目領域抽出画像の求め方を示す説明図であ
る。

【図３４】顔部品の大きさ及び位置関係に関するデータ
を測定したときのデータ測定箇所を示す説明図である。

【図３５】バランスエネルギーの定義に必要な各パラメ
ータを示す説明図である。

【図３６】（ａ）は口唇領域抽出用網、（ｂ）は左目領
域抽出用網、及び（ｃ）は右目領域抽出用網がそれぞれ
収縮する様子を示す説明図である。

【図３７】口唇及び左右の目領域抽出用網が各領域を抽
出する過程を示すフローチャートである。

【図３８】口唇及び左右の目領域抽出用網が各領域を抽
出する過程を示す模式図である。

【図３９】本発明のその他の実施の形態にかかる、領域
抽出装置を利用した方向検出装置の構成を示すブロック
図である。

【図４０】エピポーラ拘束の状態を示す説明図である。

【図４１】２つの画像における顔部品のずれを算出する
過程を示す説明図である。

【図４２】上記ずれの値から算出される顔部品の３次元
位置情報を示す説明図である。

【図４３】上記方向検出装置の頭部検出動作を示すフロ
ーチャートである。

【図４４】本発明のその他の実施の形態にかかる、領域
抽出装置を利用した方向検出装置の構成を示すブロック
図である。

【図４５】（ａ）〜（ｆ）は、視線データベースの一例
を示す説明図である。

【図４６】上記方向検出装置の視線検出動作を示すフロ
ーチャートである。

【図４７】従来の投影による抽出手法を示すものであ
り、（ａ）は図８に示す入力画像を水平方向に微分した
状態を示す説明図、（ｂ）は（ａ）の画像を水平方向へ
投影したときのピクセル数をカウントしたグラフ、
（ｃ）は（ａ）の画像を垂直方向へ投影したときのピク
セル数をカウントしたグラフをそれぞれ示す。

【図４８】上記水平方向の微分処理を示す説明図であ
る。

【図４９】従来のテンプレートによる抽出方法に用いら
れる入力画像とテンプレートとを示す説明図である。

【図５０】５×５の大きさのテンプレートと入力画像と
の比較の状態を示す説明図である。

【図５１】テンプレートと入力画像との比較の順序を示
す説明図である。

【図５２】従来のDeformable template による抽出方法
を用いて目を抽出する様子を示す説明図である。

【図５３】上記抽出方法におけるテンプレートの定義に
必要な各パラメータを示す説明図である。

【図５４】従来の頭部方向の検出方法を示す説明図であ
る。

【図５５】従来の他の頭部方向の検出方法を示す説明図
である。

【符号の説明】

１ 入力装置（撮像手段） ５ 領域確率計算装置（領域確率計算手段） ６ エネルギー計算装置（エネルギー計算手段） ７ 確率密度関数格納部（確率密度関数格納手段） ９ 顔領域抽出用網情報格納部（網情報格納手段） ２１ 重心計算装置（重心計算手段） ２２ 口唇領域抽出用網情報格納部（網情報格納手
段） ２３ 左目領域抽出用網情報格納部（網情報格納手
段） ２４ 右目領域抽出用網情報格納部（網情報格納手
段）

Claims (7)

【特許請求の範囲】
1. 【請求項１】対象物を撮像してカラーデジタル画像とす
   る撮像手段と、 上記カラーデジタル画像において均一に同様の色を持つ
   所望領域を示す確率密度関数を予め記憶しておく確率密
   度関数格納手段と、 上記所望領域を構成する各画素の色に基づいて上記確率
   密度関数を計算することにより、各画素の色の確からし
   さを算出する領域確率計算手段と、 上記カラーデジタル画像上の任意の３つ以上の点を接続
   することにより形成され画像全体を覆うように設けられ
   る仮想的な網の情報を記憶しておく網情報格納手段と、 上記点の位置関係に基づいて定義される網の内部エネル
   ギーと、点が位置する画素の色の確からしさに基づいて
   定義される網の画像エネルギーとをそれぞれ計算するエ
   ネルギー計算手段とを有し、 １つの点を移動させたときの網の内部エネルギーと画像
   エネルギーとの合計値を、上記点を移動させる前の合計
   値と比較し、合計値が変化するときは網が収縮する方向
   へ点の移動を行い、合計値が変化しなくなった時点で点
   の移動を停止することを特徴とする領域抽出装置。
2. 【請求項２】上記対象物は人物であり、上記所望領域は
   人物の顔の領域であることを特徴とする請求項１記載の
   画像処理装置。
3. 【請求項３】確率密度関数格納手段には上記所望領域と
   異なる色を持つ部分領域を示す確率密度関数が予め記憶
   されると共に、網情報格納手段には上記所望領域を囲ん
   で停止した網の情報が部分領域を抽出するための部分領
   域抽出用網の初期値として記憶され、 上記所望領域内に部分領域が１つある場合に、領域確率
   計算手段が上記部分領域を構成する各画素の色に基づい
   て上記確率密度関数を計算することにより各画素の色の
   確からしさを算出して、エネルギー計算手段が部分領域
   抽出用網の内部エネルギー及び画像エネルギーと、部分
   領域に収束されるように定義された移動エネルギーとを
   それぞれ計算することにより、部分領域を抽出すること
   を特徴とする請求項１または２記載の領域抽出装置。
4. 【請求項４】部分領域抽出用網の外周を形成する点から
   フレーム重心を求めると共に、画像の明るさを重みとし
   た部分領域抽出用網が囲む領域の重心を求める重心計算
   手段を有し、 上記移動エネルギーを、上記フレーム重心が領域の重心
   の方向に引き寄せられるように定義することを特徴とす
   る請求項３記載の領域抽出装置。
5. 【請求項５】網の外周を形成する点からフレーム重心を
   求めると共に、画像の明るさを重みとして網が囲む領域
   の重心を求める重心計算手段を有し、 確率密度関数格納手段には口唇領域を示す確率密度関数
   が予め記憶されると共に、網情報格納手段には上記顔領
   域を囲んで停止した網の情報が口唇領域及び左右の目領
   域を抽出するための網の初期値として記憶され、 領域確率計算手段が、上記口唇領域を構成する各画素の
   色に基づいて上記確率密度関数を計算することにより各
   画素の色の確からしさを算出すると共に、上記左右の目
   領域を構成する各画素の色に基づいて顔領域あるいは口
   唇領域の確率密度関数を計算することにより各画素の色
   の確からしさを算出して、 エネルギー計算手段が、各領域の内部エネルギー及び画
   像エネルギーと、各々のフレーム重心が各々の領域重心
   の方向へ引き寄せられ、かつ、３つの領域の重心の位置
   関係が予め測定され記憶された口唇及び左右の目の位置
   関係と等しくなるように定義されたバランスエネルギー
   とを計算することにより、口唇及び左右の目領域を抽出
   することを特徴とする請求項２記載の領域抽出装置。
6. 【請求項６】上記撮像手段が複数個設けられ、複数の撮
   像手段から同時に得られる複数の画像から口唇領域及び
   左右の目領域をそれぞれ抽出し、互いに比較することに
   より口唇及び目の３次元位置情報を導出することを特徴
   とする請求項５記載の領域抽出装置を用いた方向検出装
   置。
7. 【請求項７】抽出された目の画像と、予め測定して視線
   方向の情報が付加されて記憶された目の画像とを比較す
   ることにより推定視線方向を算出し、さらに推定視線方
   向と検出された頭部の向きとを比較することにより真の
   視線方向を検出することを特徴とする請求項６記載の領
   域抽出装置を用いた方向検出装置。