JPH096964A - 顔画像処理方法および顔画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 顔画像の特徴部分の抽出を誤りなく的確に行
い、正確な座標データを出力することを目的としてい
る。 【構成】 ユーザによって左右の目、口が指定されるこ
とにより、その指定されたそれぞれの点の座標データを
基に、前記口、左右の目として指定された点を基準にし
て、顔の特徴部分の抽出するための探索範囲を特徴部分
毎に設定するそれぞれの探索範囲設定部３１〜３４を設
ける。そして、設定された探索範囲内でそれぞれの特徴
部分の領域をそれぞれの抽出部４１〜４４で抽出したの
ち、輪郭を構成する輪郭点の座標データを輪郭点抽出部
５１〜５４により抽出し、前記特徴部分のそれぞれの領
域の所定の点の座標値を基に、抽出された領域の位置関
係を判断して正しく抽出されたか否かの判断を抽出内容
判定部６１〜６４にて行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえば複数の顔画像
を合成する場合や、或る顔画像から個人を特定する場合
などにおいて必要な顔画像の特徴的な部分の座標データ
を出力する顔画像処理方法および顔画像処理装置に関す
る。

【０００２】

【従来の技術】たとえば、２つの顔画像の合成を行う場
合、ワイヤフレームで構成された形状モデルを実際の顔
画像に整合するために、それぞれの顔画像の目、まゆ、
口、輪郭などの特徴部分の抽出を行い、抽出された画像
データをもとに、それぞれの部分の輪郭を構成する代表
的な輪郭点の座標データを求めて、その座標データを画
像合成処理側に渡す必要がある。

【０００３】従来、前記したような特徴部分の抽出方法
として、たとえば、入力した画像データにおける座標デ
ータや白黒の濃度値データを基にして、エッジの検出を
おこない、２値化して抽出処理する方法がある。しか
し、この方法では、処理途中の２値画像にノイズが多
く、豊富な色情報を持った画像を処理するには限界があ
った。そこで、最近では、画像の色情報を用いて特徴部
分を識別して抽出処理する方法も試みられている。

【０００４】この方法は、入力画像データにおける座標
データや色データをもとに、予め設定されたプログラム
に従って処理を行って特徴部分の抽出を行うものであ
る。すなわち、入力画像データを、一旦、画像データ記
憶部に蓄えたのち、まず、最初に口（唇）の抽出を行
い、続いて、目の抽出を行い、次に、まゆの抽出を行う
というように予め設定されたプログラムに従ってそれぞ
れの抽出を行う。たとえば、前記口の抽出は、顔画像全
体の画像データを走査し、唇の色を的確に表現するとさ
れるＹＩＱ表色系Ｑ成分の大きさから、或る値以上のＱ
成分を有する部分のかたまりを口と判断して、口領域の
抽出を行い、その領域をもとに口の輪郭を構成する代表
的な輪郭点の座標データを求めて出力するというような
処理を行う。目やまゆのそれぞれの座標値もこれと同様
な処理行うことで、それぞれの領域の抽出を行い、それ
ぞれの座標値を取り出すようにしている。

【０００５】

【発明が解決しようとする課題】このように、従来の方
法では、顔画像全体の画像データから、予め設定された
プログラムにしたがって特徴部分を抽出してその座標値
を得るようにしている。つまり、口の抽出処理は、Ｑ成
分の大きさをもとに、或る値以上のＱ成分を有する部分
のかたまりを口であると判断して、口領域の抽出を行う
というような処理を行うため、たとえば、顔画像の背景
にＱ成分（赤色系）の大きい部分が所定以上の面積で存
在したり、服に赤い模様が所定以上の面積で存在してい
たりすると、それらの部分が口と判断されてしまう問題
がある。また、顔画像全体の画像データから目、まゆ、
口などをそれぞれ抽出するため、処理に多くの時間を費
やすという問題もあった。

【０００６】そこで、本発明は顔の特徴部分を抽出する
際、限られた範囲の探索領域を設定し、設定された探索
領域内でそれぞれの特徴部分の抽出を行うことで、処理
時間の大幅な短縮化を図り、誤りの少ない確実な抽出を
可能とし、抽出されたそれぞれの特徴部分の輪郭点の抽
出を確実に行うことができ、さらに、抽出内容をチェッ
クする機能を有することで、高精度に特徴部分の抽出を
可能とすることを目的としている。

【０００７】

【課題を解決するための手段】本発明の顔画像処理方法
は、顔画像データをもとに、顔の特徴部分の抽出を行っ
て座標データを出力する顔画像処理方法において、顔画
像において顔の幾つかの特徴部分におけるそれぞれ所定
の点が指定されることにより、その指定されたそれぞれ
点の座標データを基に、前記それぞれの特徴部分の指定
された点を基準にして、顔の特徴部分の領域を抽出する
ための探索範囲を特徴部分毎に設定し、設定された探索
範囲内でそれぞれの特徴部分の領域を抽出することを特
徴としている。

【０００８】そして、前記所定の点が指定される顔の特
徴部分は左右の目と口の３点であり、この３点の座標デ
ータを基に探索範囲が設定された上で領域が抽出される
特徴部分は口、左右の目、まゆ、顔の輪郭であることを
特徴としている。

【０００９】また、前記口領域の探索範囲は、顔画像の
左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、
前記口として指定された点を中心にｘ軸方向およびｙ軸
方向に、前記左右の目として指定されたそれぞれの点の
ｘ座標データの差をもとに、前記口領域を包含する範囲
を設定する。あるいは、前記口領域の探索範囲は、顔画
像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたと
き、前記口として指定された点を中心にｘ軸方向および
ｙ軸方向に、前記左右の目として指定されたそれぞれの
点のｘ座標データの差および左右の目として指定された
それぞれの点のｙ座標と口として指定された点のｙ座標
のそれぞれの差の平均値を基に、前記口領域を包含する
範囲を設定するようにしてもよい。

【００１０】また、前記目領域の探索範囲は、顔画像の
左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、
前記目として指定された点を中心にｘ軸方向およびｙ軸
方向に、前記左右の目として指定されたそれぞれの点の
ｘ座標データの差をもとに、前記目領域を包含する範囲
を設定する。

【００１１】また、前記まゆ領域の探索範囲は、顔画像
の左右方向を座標軸のｘ軸、上下方向をｙ軸としたと
き、前記目として指定された点を基準点にｘ軸方向およ
びｙ軸方向に、前記左右の目として指定されたそれぞれ
の点のｘ座標データの差をもとに、前記まゆ領域を包含
する範囲を設定する。

【００１２】また、前記顔輪郭の探索範囲は、顔画像の
左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、
ｙ軸方向における目の高さに相当する顔輪郭部は、前記
目として指定された点を基準に、左右の目として指定さ
れたそれぞれの点のｙ座標と口として指定された点のｙ
座標のそれぞれの差の平均値を基にその部分の顔輪郭部
が含まれるように設定する。

【００１３】そして、前記顔輪郭の探索範囲において、
顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸とし
たとき、ｙ軸方向における口の高さに相当する顔輪郭部
は、前記口として指定された点を基準に、左右の目とし
て指定されたそれぞれの点のｙ座標と口として指定され
た点のｙ座標のそれぞれの差の平均値を基にその部分の
顔輪郭部が含まれるように設定する。

【００１４】また、前記顔輪郭の探索範囲において、顔
画像の左右方向を座標軸のｘ軸、上下方向をｙ軸とした
とき、ｘ軸方向における口の位置に相当する顔輪郭部
は、前記口として指定された点を基準に、左右の目とし
て指定されたそれぞれの点のｙ座標と口として指定され
た点のｙ座標のそれぞれの差の平均値を基にその部分の
顔輪郭部が含まれるように設定する。

【００１５】また、顔画像データをもとに、顔の特徴部
分の抽出を行って座標データを出力する顔画像処理方法
において、顔画像において顔の幾つかの特徴部分におけ
るそれぞれ所定の点が指定されることにより、その指定
されたそれぞれ点の座標データを基に、前記それぞれの
特徴部分の指定された点を基準にして、顔の特徴部分の
画像データを抽出するための探索範囲を特徴部分毎に設
定し、設定された探索範囲内でそれぞれの特徴部分の領
域を抽出したのち、それぞれの領域から輪郭を構成する
輪郭点の座標データを抽出し、前記特徴部分の領域の所
定の点の座標値を基に、抽出された領域の位置関係を判
断して正しく抽出されたか否かの判断を行うことを特徴
としている。

【００１６】また、前記正しく抽出されたか否かの判断
処理は、前記口領域を抽出するために設定された口領域
探索範囲によって抽出された口領域において、顔画像の
左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、
口領域のｘ軸方向の左右の端点のそれぞれのｙ座標と、
口領域の上端辺におけるｘ軸方向の中間点のｙ座標とを
比較し、ｘ軸方向の中間点のｙ座標が前記口画像のｘ軸
方向の左右の端点のそれぞれのｙ座標より小さい場合
は、抽出された口の画像は口が開いた状態であると判断
するとともに、抽出された口は下唇のみと判断し、上唇
を抽出するための探索範囲を設定するようにする。

【００１７】また、前記正しく抽出されたか否かの判断
処理は、前記抽出された領域が目あるいは口である場
合、目あるいは口が抽出すべきものとして抽出されたか
否かの判断において、抽出された目あるいは口の領域内
に、前記ユーザの指定した点が含まれているか否かによ
って、抽出すべき領域が抽出されたか否かの判断を行
う。

【００１８】また、前記正しく抽出されたか否かの判断
処理は、前記抽出された画像データがまゆである場合、
まゆが抽出すべきものとして抽出されたか否かの判断に
おいて、抽出されたまゆ領域の左右方向の端点の座標
と、目として指定された点の座標とから位置関係を判断
し、抽出すべき領域が抽出されたか否かの判断を行うよ
うにする。

【００１９】また、顔画像データをもとに、顔の特徴部
分の抽出を行って座標データを出力する顔画像処理方法
において、顔画像の左右方向を座標軸のｘ軸、上下方向
をｙ軸としたとき、顔の特徴部分の領域抽出後、その特
徴部分のうち目あるいは口の輪郭を構成する輪郭点を、
前記抽出された領域から、目あるいは口のｘ軸方向にお
ける左右方向両端点のそれぞれの座標を求めたのち、ｙ
軸方向における上下方向両端点の座標を求める場合、前
記左右方向両端点間の中間付近に、左右方向端点間の長
さの所定分の１の幅を有した探索範囲をｘ軸方向に設定
して、その探索範囲内で前記ｙ軸方向における上下方向
両端点を求めることを特徴としている。

【００２０】また、前記求められた左右方向端点および
上下方向端点の４つの端点の間に位置する輪郭点の座標
は、この求めるべき輪郭点を挟む２つの端点のｘ座標の
平均値を、求めるべきｘ座標とするようにする。

【００２１】また、顔画像データをもとに、顔の特徴部
分の抽出を行って座標データを出力する顔画像処理方法
において、顔の特徴部分の画像データ抽出後、その特徴
部分の領域の所定の点の座標値を基に、抽出された領域
の位置関係を判断して正しく抽出されたか否かの判断を
行うことを特徴としている。

【００２２】前記抽出された領域が口である場合、顔画
像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたと
き、口のｘ軸方向における左右方向両端点を結ぶ直線の
傾きが左右の目のそれぞれ所定点を結ぶ直線に対して予
め定めた角度以上傾きを生じているか否かをチェックす
ることで、正しく抽出されたか否かの判断を行う。

【００２３】また、前記抽出された領域が顔輪郭である
場合、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ
軸としたとき、前記顔輪郭を構成する複数の輪郭点にお
いて、隣り合う３つの輪郭点を１つの単位として処理
し、３つの輪郭点のうち、間に挟まれる輪郭点の座標と
両隣の輪郭点の平均座標とを比較して、間に挟まれる輪
郭点の位置が両隣の輪郭点に比べて顔の内側に位置する
と判断された場合には、その間に挟まれる輪郭点の座標
を前記平均座標に置換する。

【００２４】また、本発明の顔画像処理装置は、顔画像
データをもとに、顔の特徴部分の抽出を行って座標デー
タを出力する顔画像処理装置において、顔画像において
顔の幾つかの特徴部分におけるそれぞれ所定の点が指定
されることにより、その指定されたそれぞれ点の座標デ
ータを基に、前記それぞれの特徴部分の指定された点を
基準にして、顔の特徴部分の領域を抽出するための探索
範囲を特徴部分毎に設定するそれぞれの特徴部分探索範
囲設定手段と、これらそれぞれの特徴部分探索範囲設定
手段により設定されたそれぞれの探索範囲内でそれぞれ
の特徴部分領域を抽出するそれぞれの特徴部分抽出手段
とを有することを特徴としている。

【００２５】前記所定の点が指定される顔の特徴部分は
左右の目と口の３点であって、また、前記特徴部分探索
範囲設定手段として、口探索範囲設定手段、目探索範囲
設定手段、まゆ探索範囲設定手段、顔輪郭部探索範囲設
定手段を設け、さらに、前記特徴部分抽出手段として、
口領域抽出手段、目領域抽出手段、まゆ領域抽出手段、
顔輪郭部抽出手段を設け、前記左右の目と口の３点の座
標データを基に、前記それぞれの探索範囲設定手段によ
り、それぞれ探索範囲を設定したのち、口、左右の目、
まゆ、顔の輪郭のそれぞれの部分を前記それぞれの抽出
手段によりそれぞれ抽出することを特徴としている。

【００２６】そして、前記口探索範囲設定手段は、顔画
像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたと
き、前記口として指定された点を中心にｘ軸方向および
ｙ軸方向に、前記左右の目として指定されたそれぞれの
点のｘ座標データの差をもとに、前記口領域を包含する
範囲を口探索範囲として設定する。あるいは、口探索範
囲設定手段は、顔画像の左右方向を座標軸のｘ軸、上下
方向をｙ軸としたとき、前記口として指定された点を中
心にｘ軸方向およびｙ軸方向に、前記左右の目として指
定されたそれぞれの点のｘ座標データの差および左右の
目として指定されたそれぞれの点のｙ座標と口として指
定された点のｙ座標のそれぞれの差の平均値を基に、前
記口領域を包含する範囲を口探索範囲として設定するよ
うにしてもよい。

【００２７】また、前記目探索範囲設定手段は、顔画像
の左右方向を座標軸のｘ軸、上下方向をｙ軸としたと
き、前記目として指定された点を中心にｘ軸方向および
ｙ軸方向に、前記左右の目として指定されたそれぞれの
点のｘ座標データの差をもとに、前記目領域を包含する
範囲を目探索範囲として設定する。

【００２８】また、前記まゆ探索範囲設定手段は、顔画
像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたと
き、前記目として指定された点を基準点にｘ軸方向およ
びｙ軸方向に、前記左右の目として指定されたそれぞれ
の点のｘ座標データの差をもとに、前記まゆ領域を包含
する範囲をまゆ探索範囲として設定する。

【００２９】そして、前記顔輪郭部探索範囲設定手段に
おける顔輪郭部探索範囲設定において、顔画像の左右方
向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方
向における目の高さに相当する顔輪郭部の探索範囲は、
前記目として指定された点を基準に、左右の目として指
定されたそれぞれの点のｙ座標と、口として指定された
点のｙ座標のそれぞれの差の平均値を基にその部分の顔
輪郭部が含まれるように設定する。

【００３０】また、前記顔輪郭部探索範囲設定手段にお
ける顔輪郭部探索範囲設定において、顔画像の左右方向
を座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方向
における口の高さに相当する顔輪郭部の設定は、前記口
として指定された点を基準に、左右の目として指定され
たそれぞれの点のｙ座標と口として指定された点のｙ座
標のそれぞれの差の平均値を基にその部分の顔輪郭部が
含まれるように設定するようにする。

【００３１】また、顔画像データをもとに、顔の特徴部
分の抽出を行って座標データを出力する顔画像処理装置
において、顔画像において顔の幾つかの特徴部分におけ
るそれぞれ所定の点が指定されることにより、その指定
されたそれぞれ点の座標データを基に、前記それぞれの
特徴部分の指定された点を基準にして、顔の特徴部分の
領域を抽出するための探索範囲を特徴部分毎に設定する
それぞれの特徴部分探索範囲設定手段と、これらそれぞ
れの特徴部分探索範囲設定手段により設定されたそれぞ
れの探索範囲内でそれぞれの特徴部分領域を抽出するそ
れぞれの特徴部分抽出手段と、前記特徴部抽出手段で得
られたそれぞれの領域を基に、それぞれの特徴部の輪郭
を構成する輪郭点の座標データを抽出する輪郭点抽出手
段と、前記特徴部分の領域の所定の点の座標値を基に、
抽出された画像の位置関係を判断して正しく抽出された
か否かの判断を行う抽出内容判定手段とを有したことを
特徴としている。

【００３２】前記抽出内容判定手段は、前記口領域抽出
手段によって抽出された口領域において、顔画像の左右
方向を座標軸のｘ軸、上下方向をｙ軸としたとき、口領
域のｘ軸方向の左右の端点のそれぞれのｙ座標と、抽出
された口領域の上端辺におけるｘ軸方向の中間点のｙ座
標とを比較し、ｘ軸方向の中間点のｙ座標が前記口画像
のｘ軸方向の左右の端点のそれぞれのｙ座標より小さい
場合は、抽出された口の画像は口が開いた状態であると
判断するとともに、抽出された口は下唇のみと判断し、
上唇を抽出するための探索領域を設定する。

【００３３】また、前記抽出内容判定手段は、前記抽出
された領域が目あるいは口である場合、抽出された目あ
るいは口の領域内に、前記ユーザの指定した点が含まれ
ているか否かによって、抽出すべき目あるいは口が抽出
されたか否かの判断を行うようにする。

【００３４】また、前記抽出内容判定手段は、前記抽出
された領域がまゆである場合、抽出されたまゆ領域の左
右方向の端点の座標と、目として指定された点の座標と
から位置関係を判断し、抽出すべきまゆが抽出されたか
否かの判断を行うようにする。

【００３５】また、顔画像データをもとに、顔の特徴部
分の抽出を行って座標データを出力する顔画像処理装置
において、顔の特徴部分の領域の抽出を行う特徴部分抽
出手段と、顔画像の左右方向を座標軸のｘ軸、上下方向
をｙ軸としたとき、前記特徴部分抽出手段により抽出さ
れた特徴部分のうち、目あるいは口の輪郭を構成する輪
郭点を、前記抽出された特徴部分の領域から目あるいは
口のｘ軸方向における左右方向両端点のそれぞれの座標
を求めたのち、前記左右方向両端点間の中間付近に、左
右方向両端点間の長さの所定分の１の幅を有した探索範
囲をｘ軸方向に設定して、その探索範囲内で前記ｙ軸方
向における上下方向両端点を求める特徴部分輪郭点抽出
手段を設けたことを特徴としている。

【００３６】前記求められた左右方向端点および上下方
向端点の４つの端点の間に位置する輪郭点の座標は、こ
の求めるべき輪郭点を挟む２つの端点のｘ座標の平均値
を、求めるべきｘ座標とするようにする。

【００３７】また、顔画像データをもとに、顔の特徴部
分の抽出を行って座標データを出力する顔画像処理装置
において、顔の特徴部分の領域を抽出する特徴部分抽出
手段と、この特徴部分抽出手段により抽出された領域を
基に特徴部分の輪郭を構成する輪郭点を求める輪郭点抽
出手段と、特徴部分の領域の所定の点の座標値を基に、
抽出された領域の位置関係を判断して正しく抽出された
か否かの判断を行う抽出内容判定手段とを有したことを
特徴としている。

【００３８】前記抽出内容判定手段は、前記抽出された
部分が口領域である場合、顔画像の左右方向を座標軸の
ｘ軸、上下方向をｙ軸としたとき、口のｘ軸方向におけ
る左右方向両端点を結ぶ直線の傾きが左右の目のそれぞ
れ所定点を結ぶ直線に対して予め定めた角度以上傾きを
生じているか否かをチェックして正しく抽出されたか否
かの判断を行うようにする。

【００３９】また、前記抽出内容判定手段は、前記抽出
された部分が顔輪郭である場合、顔画像の左右方向を座
標軸のｘ軸、上下方向をｙ軸としたとき、前記顔輪郭を
構成する複数の輪郭点において、隣り合う３つの輪郭点
を１つの単位として注目し、間に挟まれる輪郭点の座標
と両隣の輪郭点の平均座標とを比較して、間に挟まれる
輪郭点の位置が両隣の輪郭点に比べて顔の内側に位置す
ると判断された場合には、その間に挟まれる輪郭点の座
標を前記平均座標に置換するようにする。

【００４０】

【作用】本発明は、ユーザによって指定された左右の目
と口の３点の座標を基に、それぞれの探索範囲を設定
し、設定された限られた探索範囲内で特徴部分を探索す
ればよいことから、全体の画像からそれぞれの特徴部分
を抽出する場合に比べて、処理を大幅に簡素化すること
ができ、処理時間も大幅に短縮することができる。ま
た、限られた探索範囲内でそれぞれの特徴部分領域の抽
出を行うため、誤って他の部分が抽出されることが殆ど
なく、取りだそうとする特徴部分を正確に抽出すること
ができる。

【００４１】また、顔の特徴部分の領域抽出後、その特
徴部分のうち目あるいは口の輪郭を構成する輪郭点を、
前記抽出された領域から、目あるいは口のｘ軸方向にお
ける左右方向両端点のそれぞれの座標を求めたのち、ｙ
軸方向における上下方向両端点の座標を求める場合、前
記左右方向両端点間の中間付近に、左右方向端点間の長
さの所定分の１の幅を有した探索範囲をｘ軸方向に設定
して、その探索範囲内で前記ｙ軸方向における上下方向
両端点を求めるようにしている。したがって、輪郭を構
成する代表的な上下方向の端部の輪郭点を求める場合、
ノイズなどに影響されず確実な輪郭点の抽出が可能とな
る。

【００４２】さらに、それぞれの特徴部分の領域抽出
後、その特徴部分領域の所定の点の座標値を基に、抽出
された領域の位置関係を判断して正しく抽出されたか否
かの判断を行うようにしている。したがって、抽出が正
しいか否かのチェックすることができ、誤った抽出がな
された場合も再処理を施すことが可能となり、抽出処理
の誤りをきわめて少なくすることができる。

【００４３】

【実施例】以下、本発明の実施例を図面を参照しながら
説明する。

【００４４】（第１の実施例）図１は本発明の第１の実
施例を説明する構成図である。この実施例の構成は、概
略的には、図１に示すように、画像の取り込みを行う画
像入力部１、取り込んだ画像データを蓄える画像記憶部
２、特徴部分として左右の目、まゆ、口、顔輪郭部など
の探索範囲を設定する特徴部分探索範囲設定手段３、設
定された探索範囲内においてそれぞれの特徴部分の領域
を抽出する特徴部分抽出手段４、抽出されたそれぞれの
特徴部分の領域からそれぞれの輪郭を構成する代表的な
輪郭点を抽出し、その座標データを出力する輪郭点抽出
手段５、抽出された内容が正しいか否かを前記座標デー
タを基に判定する抽出内容判定手段６などから構成され
ている。

【００４５】前記画像入力部１は処理対象となる人物の
顔画像を多階調のカラー画像として取り込む画像入力部
であり、この画像入力部１で取り込んだ画像データは、
画像データ記憶部２に記憶される。図２は処理対象の顔
画像の例であり、この顔画像の画像データが画像記憶部
２に記憶される。

【００４６】また、前記特徴部分探索範囲設定手段３
は、口、左右の目、まゆ、顔の輪郭部のそれぞれの特徴
部分に対応して、口探索範囲設定部３１、目探索範囲設
定部３２、まゆ探索範囲設定部３３、顔輪郭部探索範囲
設定部３４が設けられ、また、特徴部分抽出手段４は、
それぞれ設定された探索範囲内の特徴部分を抽出する口
領域抽出部４１、目領域抽出部４２、まゆ領域抽出部４
３、顔輪郭部抽出部４４が設けられている。また、前記
輪郭点抽出手段５は、それぞれの特徴部分を抽出する抽
出部４１〜４４からの出力を基に、それぞれの領域の輪
郭を構成する代表的な輪郭点を抽出し、その座標データ
抽出を行う口輪郭点抽出部５１、目輪郭点抽出部５２、
まゆ輪郭点抽出部５３、顔輪郭点抽出部５４が設けら
れ、また、前記抽出内容判定手段６は、これら各輪郭点
抽出部５１〜５４に対応して、抽出内容が正しいか否か
の判定を行う口抽出内容判定部６１、目抽出内容判定部
６２、まゆ抽出内容判定部６３、顔輪郭部抽出内容判定
部６４が設けられる。

【００４７】ところで、本発明では、処理対象となる顔
画像の左右の目と口の３つの特徴部分のそれぞれの所定
点（理想的には左右２つの目のそれぞれの中心点と口の
中心点の３つの点）を、ユーザにより指定してもらっ
て、そのユーザの指定した点の座標を基準に、口の探索
範囲、目の探索範囲、まゆの探索範囲を設定する。以
下、これについて順次説明する。

【００４８】たとえばパソコンにより取り込まれてディ
スプレイ上に映し出された図２に示すような顔画像にお
いて、今、ユーザが２つの目ｅ１，ｅ２のそれぞれの中
心点と、口ｍの中心点の３つの点ｐ１，ｐ２，ｐ３をマ
ウスなどで指定したとする。そして、これら３点ｐ１，
ｐ２，ｐ３のそれぞれのｘ軸方向およびｙ軸方向の座標
を、ｐ１は（ｘ１，ｙ１）、ｐ２は（ｘ２，ｙ２）、ｐ
３は（ｘ３，ｙ３）とする。

【００４９】これにより、口探索範囲設定部３１は、次
のような処理を行う。

【００５０】まず、図３に示すように、ｘ軸方向は、口
の中心点（ユーザの指定した点ｐ３）を基準として、左
右の目ｅ１，ｅ２のそれぞれの中心ｐ１，ｐ２のｘ座標
の差、つまり、ｘ２−ｘ１（これをｄｘで表す）ずつを
とり、また、ｙ軸方向は、口の中心点（ユーザの指定し
た点ｐ３）を基準として、左右の目ｅ１，ｅ２のそれぞ
れの中心ｐ１，ｐ２のｘ座標の差の１／２、つまり、
（ｘ２−ｘ１）／２（これをｄｘ／２で表す）ずつをと
る。そして、これらにより囲まれる範囲Ｅ１（図示鎖線
で示す）を口ｍの探索範囲とする。

【００５１】また、他の方法として、図４に示すよう
に、ｘ軸方向は、口の中心点（ユーザの指定した点ｐ
３）を基準として、左右の目ｅ１，ｅ２のそれぞれの中
心（ユーザの指定した点ｐ１，ｐ２）のｘ座標の差ｘ２
−ｘ１（＝ｄｘ）と、左目ｅ１の中心のｙ座標と口の中
心のｙ座標との差ｙ１−ｙ３（これをｄｙ１で表す）
と、右目ｅ２の中心のｙ座標と口の中心のｙ座標との差
ｙ２−ｙ３（これをｄｙ２で表す）との平均、つまり、
（ｄｘ＋ｄｙ１＋ｄｙ２）／３（これをｓ１で表す)ず
つをとり、また、ｙ軸方向は、口の中心点を基準にし
て、ｓ／２ずつをとる。そして、これらにより囲まれる
範囲Ｅ２（図示鎖線で示す）を口ｍの探索範囲とする。

【００５２】次に目探索範囲設定部３２により、目ｅ
１，ｅ２の探索範囲を決定する。探索範囲の設定方法は
左右の目ｅ１，ｅ２ともに同じであるが、ここでは、左
目ｅ１の探索範囲について説明する。左目ｅ１の探索範
囲の設定は、図３に示すように、ｘ軸方向は、左目の中
心点（ユーザの指定した点ｐ１）を基準として、左右の
目ｅ１，ｅ２のそれぞれの中心のｘ座標の差、つまり、
ｘ２−ｘ１（＝ｄｘ）の１／２ずつをとり、また、ｙ軸
方向は、左目の中心点（ユーザの指定した点ｐ１）を基
準として、左右の目ｅ１，ｅ２のそれぞれの中心のｘ座
標の差の１／４、つまり、（ｘ２−ｘ１）／４（＝ｄｘ
／４）ずつをとる。そして、これらにより囲まれる範囲
Ｅ３（図示鎖線で示す）を目ｅ１の探索範囲とする。右
目ｅ２も同様にしてその探索範囲を設定する。

【００５３】続いて、まゆ探索範囲設定部３３により、
左右のまゆｂ１，ｂ２の探索範囲を決定する。探索範囲
の設定方法は左右のまゆｂ１，ｂ２ともに同じである
が、ここでは、左まゆｂ１の探索範囲について説明す
る。なお、まゆの場合は、ユーザがその中心点を指定し
ないため、まゆの中心座標は特定されないことから、目
の中心点（ユーザの指定した点）を基準に設定する。以
下、左まゆｂ１を例にして説明する。

【００５４】左まゆｂ１の探索範囲の設定は、図５に示
すように、ｘ軸方向は、左目の中心点（ユーザの指定し
た点ｐ１）を基準として、顔の内側方向に、左右の目ｅ
１，ｅ２のそれぞれの中心のｘ座標の差の１／３、つま
り、ｘ２−ｘ１（＝ｄｘ）の１／３をとり、顔の外側方
向にはｄｘの１／２をとる。また、ｙ軸方向は、左目の
中心点（ユーザの指定した点ｐ１）を基準として、２ｄ
ｘ／５と、ｄｘ／１０をとる。そして、これらにより囲
まれる範囲Ｅ４（図示鎖線で示す）を左まゆｂ１の探索
範囲とする。右まゆｂ２も同様にしてその探索範囲を設
定する。

【００５５】このようにして、ユーザが左右の目、口の
３点を指定することにより、それぞれの指定した点を基
準として、口、目、眉のそれぞれに対応して探索範囲が
設定される。なお、それぞれの探索範囲における口、
目、まゆのそれぞれの領域の抽出は、以下のようにして
行われる。

【００５６】たとえば、口領域の抽出は、口探索範囲設
定部３１て前記したように口の探索範囲の設定がなされ
ると、口領域抽出部４１にて、予め定められたプログラ
ムにしたがって、その探索範囲内において、たとえば、
ラスタスキャン方式により画素の走査を行い、１つ１つ
の画素について、ＹＩＱのＱ成分の大きさを予め設定し
たしきい値と比較する処理を行い、しきい値以上のＱ成
分を有する画素を検出し、しきい値以上のＱ成分を有す
る画素が或る面積を有してひとかたまりで存在する部分
を口（唇）と判断する。なお、しきい値以上のＱ成分を
有する画素が或る面積を有して存在するかたまり部分が
当該探索範囲内に複数個存在する場合は、その中で最大
の大きさを有するかたまり部分を口と判断する。

【００５７】ただし、笑っている画像などのように、口
をあけている（唇が上唇と下唇が離れている）場合は、
一般的には、下唇の方が大きい場合が多いので、図６に
示すように、下唇のみが口と判断されてしまうことあ
る。このような不都合に対処するために、口抽出内容判
定部６１により、次のような処理を行う。

【００５８】すなわち、図６において、唇として取り出
された画像において、口輪郭点抽出部５１により抽出さ
れた口画像の左端点の座標が（ｘ１１，ｙ１１）、右端
点の座標が（ｘ１２，ｙ１２）とすると、これら、左端
点と右端点のｘ軸方向における中間で、しかも口として
抽出された領域の上端辺の点ｐｍの座標（ｘ１３，ｙ１
３）を取り出し、この点ｐｍの座標のｙ座標ｙ１３と、
前記左端点および右端点のそれぞれのｙ座標ｙ１１，ｙ
１２とのｙ軸方向の位置関係（上下関係）を調べる。そ
して、点ｐｍのｙ座標ｙ１３が、ｙ１１＞ｙ１３、か
つ、ｙ１２＞ｙ１３である場合は、当該抽出された口領
域は開いた状態にあり、かつ、そのとき口として取り出
され領域は下唇であると判断する。

【００５９】この場合は、前記左端点の座標を（ｘ１
１，ｙ１１）、右端点の座標を（ｘ１２，ｙ１２）を基
準として再探索範囲の設定を行う。この再探索範囲は、
具体的には図６の鎖線で示すような探索範囲Ｅ５とな
り、その探索範囲Ｅ５の大きさは、たとえば、図３で示
した口全体の探索範囲Ｅ１においてｙ軸方向の長さを半
分とした領域、つまり、ｘ軸方向は２ｄｘの長さ、ｙ軸
方向はｄｘ／２の長さで構成される範囲とすることが考
えられるが、これに限られるものではなく、最適な範囲
を設定することが可能である。

【００６０】これにより、口をあいた画像でも確実に口
領域全体を取り出すことができ、笑った画像にも対応で
きる。

【００６１】次に、目領域やまゆ領域の取り出しも口の
取り出しと同様、それぞれ目領域抽出部４２、まゆ領域
抽出部４３にて、予め定められたプログラムにしたがっ
て、それぞれの探索範囲内において、たとえば、ラスタ
スキャン方式により画素の走査を行い、１つ１つの画素
について、ＹＩＱのたとえばＩ成分の大きさを予め設定
したしきい値と比較する処理を行い、しきい値以上のＩ
成分を有する画素を検出し、しきい値以上のＩ成分を有
する画素が或る面積を有してひとかたまりで存在する部
分を目（まゆ）と判断する。なお、しきい値以上のＩ成
分を有する画素が或る面積を有して存在するかたまり部
分が当該探索範囲内に複数個存在する場合は、その中で
最大の大きさを有するかたまり部分を目（まゆ）と判断
する。

【００６２】以上のように、ユーザにより入力された左
右の目と口の３点の座標を基準として、左右の目、口、
まゆそれぞれに対応した探索範囲を設定し、その探索範
囲内でそれぞれの領域の探索を行えばよいことから、そ
れぞれの領域の取り出し処理を大幅に簡素化することが
でき、しかも高精度な取り出し処理が行える。

【００６３】次に、顔輪郭部探索範囲設定部３４による
顔輪郭抽出を行うための輪郭部探索範囲設定処理につい
て説明する。まず、目ｅ１，ｅ２の高さ部分における部
分的な顔輪郭線の画像を抽出するための顔輪郭部探索範
囲設定例について説明する。なお、ここでは、左右の目
の中心（ユーザが指定した点）から水平方向（ｘ軸方
向）に延ばした輪郭部の抽出を行う。また、ここでは、
左目ｅ１に対応する輪郭部ｐ１１を抽出するための探索
範囲設定を例にとって説明する。

【００６４】まず、今まで述べたように、左右の目ｅ
１，ｅ２の中心座標を（ｘ１，ｙ１）、（ｘ２，ｙ２）
とし、口ｍの中心座標を（ｘ３，ｙ３）とする。これら
の座標を基に、図７に示すように、前記輪郭部ｐ１１が
含まれるような探索範囲Ｅ６を設定する。この探索範囲
Ｅ６は、前記輪郭部ｐ１１と左目の中心ｐ１を結ぶ線上
において、ｘ軸方向に次のような範囲で設定する。な
お、ｙ軸方向の範囲は特に定めないが、輪郭部ｐ１１を
中心にｙ軸方向に所定の範囲とする。

【００６５】すなわち、左目ｅ１の中心ｐ１を基準にし
て、顔の外側は前記左右の目、口の座標値において、
〔｛（ｙ１−ｙ３）＋（ｙ２−ｙ３）｝÷２〕×３／
４、つまり、左右の目ｅ１，ｅ２と口ｍのそれぞれのｙ
座標の差の平均値（＝ｗ１とする）に３／４倍した値と
し、顔の内側は、〔｛（ｙ１−ｙ３）＋（ｙ２−ｙ
３）｝÷２〕×１／３、つまり、左右の目ｅ１，ｅ２と
口ｍのそれぞれのｙ座標の差の平均値（＝ｗ１）に１／
３倍した値とする。これらにより求められる範囲を輪郭
部ｐ１１の探索範囲とする。以上は左目に対応する輪郭
部を求めるための探索範囲を設定する場合であるが、右
目に対応する輪郭部を求めるための探索範囲の設定も同
様に行う。

【００６６】そして、このようにして設定された探索範
囲において、顔輪郭部抽出部４４にて、画素を走査する
ことにより、輝度差の大きい部分を取り出す処理、いわ
ゆるエッジ処理を行うことにより、輪郭部を抽出するこ
とができる。なお、この場合、探索範囲としては、図７
のＥ６で示すように、輪郭部ｐ１１を基準としてｙ軸方
向にも所定の幅を持たせた範囲で走査を行う。これは、
エッジ検出を行う場合、ノイズなどの影響によって輪郭
におうとつが生じるような場合に平均的な輪郭線を求め
るためである。

【００６７】同様にして、口の高さの部分における部分
的な顔輪郭線を抽出するための輪郭部探索範囲設定例に
ついて説明する。ここでは、口ｍの中心（ユーザが指定
した点ｐ３）から水平方向（ｘ軸方向）に延ばした輪郭
部ｐ１２の抽出を行う。

【００６８】まず、左右の目の中心座標（ｘ１，ｙ
１）、（ｘ２，ｙ２）および、口ｍの中心座標（ｘ３，
ｙ３）を基に、図７に示すように、前記輪郭部ｐ１２が
含まれるような探索範囲Ｅ７を設定する。この探索範囲
Ｅ７は、前記輪郭部ｐ１２と口ｍの中心ｐ３を結ぶ線上
において、ｘ軸方向に次のような範囲で設定する。な
お、ｙ軸方向の範囲は特に定めないが、輪郭部ｐ１２を
中心にｙ軸方向に所定の範囲とする。

【００６９】すなわち、口ｍの中心ｐ３を基準にして、
顔の外側は前記左右の目ｅ１，ｅ２、口ｍの座標値にお
いて、〔｛（ｙ１−ｙ３）＋（ｙ２−ｙ３）｝÷２〕×
１１／１０、つまり、左右の目ｅ１，ｅ２と口ｍのそれ
ぞれのｙ座標の差の平均値（＝ｗ１）に１１／１０倍し
た値とし、顔の内側は、〔｛（ｙ１−ｙ３）＋（ｙ２−
ｙ３）｝÷２〕×３／５、つまり、左右の目ｅ１，ｅ２
と口ｍのそれぞれのｙ座標の差の平均値（＝ｗ１）に３
／５倍した値とする。これらにより求められる範囲を輪
郭部ｐ１２の探索範囲とする。

【００７０】そして、このようにして設定された探索範
囲において、顔輪郭部抽出部４４にて、画素を走査する
ことにより、輝度差の大きい部分を取り出す処理、いわ
ゆるエッジ処理を行うことにより、輪郭画像を抽出する
ことができる。なお、この場合、探索範囲としては、図
７のＥ７で示すように、輪郭部ｐ１２を基準としてｙ軸
方向にも所定の幅を持たせた範囲で走査を行う。これ
は、エッジ検出を行う場合、ノイズなどの影響によって
輪郭におうとつが生じるような場合に平均的な輪郭線を
求めるためである。

【００７１】さらに同様にして、あごの先端部分におけ
る部分的な顔輪郭線を抽出するための輪郭部探索範囲設
定例について説明する。ここでは、口の中心（ユーザが
指定した点ｐ３）から垂直方向（ｙ軸方向）に延ばした
輪郭部ｐ１３の抽出を行う。

【００７２】まず、左右の目の中心座標（ｘ１，ｙ
１）、（ｘ２，ｙ２）および、口ｍの中心座標（ｘ３，
ｙ３）を基に、図７に示すように、前記輪郭点ｐ１３が
含まれるような探索範囲Ｅ８を設定する。この探索範囲
Ｅ８は、前記輪郭部ｐ１３と口ｍの中心ｐ３を結ぶ線上
において、ｙ軸方向に次のような範囲で設定する。な
お、ｘ軸方向の範囲は特に定めないが、輪郭部ｐ１３を
中心にｘ軸方向に所定の範囲とする。

【００７３】すなわち、口ｍの中心ｐ３を基準にして、
顔の外側は前記左右の目、口の座標値において、
〔｛（ｙ１−ｙ３）＋（ｙ２−ｙ３）｝÷２〕×３／
４、つまり、左右の目ｅ１，ｅ２と口ｍのそれぞれのｙ
座標の差の平均値（＝ｗ１）に３／４倍した値とし、顔
の内側は、〔｛（ｙ１−ｙ３）＋（ｙ２−ｙ３）｝÷
２〕×１／２、つまり、左右の目ｅ１，ｅ２と口ｍのそ
れぞれのｙ座標の差の平均値（＝ｗ１）に１／２倍した
値とする。これらにより求められる範囲を輪郭部ｐ１３
の探索範囲とする。

【００７４】そして、このようにして設定された探索範
囲Ｅ８において、顔輪郭部抽出部４４にて、画素を走査
することにより、輝度差の大きい部分を取り出す処理、
いわゆるエッジ処理を行うことにより、輪郭画像を抽出
することができる。なお、この場合、探索範囲として
は、図７のＥ８で示すように、輪郭部ｐ１３を基準とし
てｘ軸方向にも所定の幅を持たせた範囲で走査を行う。
これは、エッジ検出を行う場合、ノイズなどの影響によ
って輪郭におうとつが生じるような場合に平均的な輪郭
線を求めるためである。

【００７５】以上のように、まず、口、目、まゆ、部分
的な顔の輪郭の探索範囲をそれぞれ設定して、それぞれ
の抽出を行うと、次は、それぞれの輪郭を構成する代表
的な輪郭点の座標データ抽出を口輪郭点抽出部５１、目
輪郭点抽出部５２、まゆ輪郭点抽出部５３、顔輪郭点抽
出部５４によって行い、その後、口抽出内容判定部６
１、目抽出内容判定部６２、まゆ抽出内容判定部６３、
顔輪郭抽出内容判定部６４でそれぞれの抽出内容の判定
を行い、抽出内容に誤りがなければ、前記輪郭点抽出部
５１〜５４で抽出されたそれぞれの輪郭点の座標データ
を出力する。

【００７６】ところで、前記それぞれの抽出内容判定部
６１〜６４は、目、口、まゆ、顔の輪郭などの抽出処理
において、抽出された部分が適切かどうかを判断する処
理である。

【００７７】その処理の一例として、たとえば、目、
口、まゆを取り出す処理において、目と口についてそれ
らが正しく取り出されたか否かを判定する処理がある。
この判定処理を行うには、取り出された領域がユーザの
指定した点を含んでいるか否かをチェックすることによ
り、取り出した領域が適切か否かを判断する。たとえ
ば、目を取り出そうとしたとき、ユーザの指定した点が
目の中心ではなく、まゆに近い部分であったような場合
は、まゆを含んだ探索範囲が設定される場合がある。こ
のような場合、画素の走査により、誤って、まゆが取り
出される場合もある。 このように、目を取り出すべき
ものが誤ってまゆが取り出された場合、まゆの領域の中
にユーザが目として指定した点が含まれるか否かをチェ
ックすることにより、取り出したものが正しいか否かの
判断を行う。この場合は、目とまゆのチェックであり、
主にｙ軸方向の位置の違いであるから、ユーザの指定し
た点のｙ座標が、取り出された領域のｙ座標の最大値と
最小値の間に含まれているか否かをチェックすることに
より判断できる。このように、取り出された領域内に、
ユーザの指定した点が含まれていれば、取り出された領
域は正しく、ユーザの指定した点が含まれていなけれ
ば、取り出された領域は正しくないと判断できる。そし
て、正しくないと判断された場合は再処理要求を出して
再処理を行う。

【００７８】口の場合は前記したような下唇のみが抽出
された場合の判定のほか、前記目の場合と同様に、ユー
ザが口として指定した点が、取り出された領域内に含ま
れているか否かで取り出された画像が正しいか否かの判
断が行える。

【００７９】また、まゆの場合は、ユーザが眉の指定を
しないため、目や口のように取り出された領域内にユー
ザの指定した点が含まれているか否かでは判断できな
い。従って、まゆの場合は、ユーザが目として指定した
点を参照して、目として指定した点の座標値と、まゆと
して取り出した結果の領域の座標値とを比較して判断す
る。

【００８０】すなわち、図８（ａ）に示すように、まゆ
として取り出された領域のｘ軸方向の左端点の座標を
（ｘ２１，ｙ２１）、右端点の座標を（ｘ２２，ｙ２
２）とし、ユーザが目として指定した点の座標を（ｘ
１，ｙ１）とすれば、ｘ２１＜ｘ１＜ｘ２２であり、か
つ、ｙ２１＞ｙ１、ｙ２２＞ｙ１である場合は、取り出
した領域はまゆとして正しい画像であると判断し、それ
以外は、誤りとみなして再処理を行う。これにより、た
とえば、図８（ｂ）のように、額の左端に垂れ下がった
髪の毛ｈをまゆとして取り出してしまった場合は、髪の
毛ｈの左端点のｘ座標ｘ３１、右端点のｘ座標ｘ３２
と、ユーザが目として指定した点のｘ座標ｘ１との関係
が同図からも明らかなように、ｘ３１＜ｘ１＜ｘ３２を
満たさないので、取り出された領域はまゆでないと判断
できる。

【００８１】なお、以上説明した第１の実施例におい
て、それぞれの探索範囲を設定する際に用いられる１／
２、２／５、１／１０などここで用いたすべての係数は
あくまで１つの例であって、これに限定されるものでは
ない。

【００８２】（第２の実施例）以上第１の実施例では、
目、口、まゆなどの抽出を行う際、それぞれの探索範囲
を設定して、その探索範囲の中で目、口、まゆなどの抽
出を行い、それぞれの座標データを出力する処理につい
て説明したが、この第２の実施例では、目、口などの輪
郭を構成する代表的な輪郭点の座標データを取り出す際
に、ノイズなどの影響を受けずに確実に輪郭点の座標デ
ータを抽出する処理について説明する。なお、この第２
の実施例における輪郭点の座標データを求める場合に必
要な目、口などの領域の抽出は、前記第１の実施例のよ
うに探索範囲を設定して抽出する方法に限られるもので
はない。以下、この第２の実施例について説明する。

【００８３】図９は、この第２の実施例を説明する概略
的な構成図であり、画像入力部１、画像記憶部２、特徴
部分抽出部４、輪郭点抽出部５、抽出内容判定部６など
から構成されている。前記特徴部分抽出部４は、前記第
１の実施例での図１に示した口領域抽出部４１、目領域
抽出部４２、まゆ領域抽出部４３、顔輪郭部抽出部４４
などに相当するものであり、第１の実施例で説明したよ
うな探索範囲内での画像データを基にして特徴部分の抽
出を行うものでもよいが、それに限られるものではな
い。また、輪郭点抽出部５は、図１における口輪郭点抽
出部５１、目輪郭点抽出部５２、まゆ輪郭点抽出部５
３、顔輪郭点抽出部５４に相当するものであり、抽出内
容判定部６は、図１における口抽出内容判定部６１、目
抽出内容判定部６２、まゆ抽出内容判定部６３、顔輪郭
抽出内容判定部６４に相当するものである。

【００８４】このような構成において、特徴部分抽出部
４にて抽出された領域を基に、たとえば、目（ここでは
片方の目について説明する）においては、図１０に示す
ように、目の輪郭を構成する代表的な輪郭点として、ｐ
２１，ｐ２２，・・・，ｐ３６および眼球を構成する点
ｐ３７のそれぞれの座標値を取り出す必要がある。この
ように、目の輪郭を構成する点ｐ２１，ｐ２２，・・
・，ｐ３６の座標を取り出す際、最初にｘ軸方向の左右
の端点（目として取り出された部分の中で左右方向に最
も長い部分の左右両端点）ｐ２１とｐ２９の座標を取り
出し、次にｙ軸方向の上下の端点（目として取り出され
た部分の中で上下方向に最も長い部分の両端点）ｐ２５
とｐ３３の座標を取り出すという処理を行う場合が多
い。この場合、この第２の実施例では、上下の端点ｐ２
５，ｐ３３の座標を求める際は、左右の端点ｐ２１，ｐ
２９を結ぶ線上の中間付近に、図１０の鎖線で示すよう
な探索範囲Ｅ９を設定し、この探索範囲Ｅ９内のみで上
下の端点ｐ２５，ｐ３３を求めるようにする。

【００８５】この探索範囲Ｅ９の大きさは、たとえば、
ｙ軸方向は目の中心座標（ユーザの指定した点の座標）
を基準に前記第１の実施例で説明したように、ｄｘ／２
づつの範囲（ただし、ｄｘ＝ｘ２−ｘ１）をとり、ｘ軸
方向は目の中心座標を基準に目の左右方向の端点ｐ２
１，ｐ２９の長さの１／１０程度をとり、これらに囲ま
れた範囲とするが、この探索範囲の大きさはこれに限定
されるのもではない。

【００８６】このように、目の左右方向の長さの中心付
近を基準に上下の端点を求めるための探索範囲を或る範
囲に限定するのは、以下の理由によるものである。

【００８７】すなわち、目や口の形は全体的にはほぼ楕
円形に近い形であるのが一般的である。したがって、目
の上下の端点（上下方向に最も長い部分の端点）ｐ２
５，ｐ３３は、図１０に示すように、目の左右方向の中
心付近に位置するのが普通である。ところが、目の左右
方向の端点ｐ２１，ｐ２９付近に、ノイズなどによるい
わゆる“ひげ”といわれるものが外側上下方向に突出し
た状態で存在していると、その部分が上下方向の端点と
みなされて処理されることがある。このノイズなどによ
るひげを上下方向の端点としてその座標を取り出し、そ
の座標データに基づいた処理が行われると、不自然な形
の目となる虞れがある。これに対処するために、上下方
向の端点ｐ２５，ｐ３３の探索範囲を中心付近に限定す
るのである。これは、目だけではなく、口の輪郭を構成
する各点の座標を取り出すときも同じようにして行う。

【００８８】口の場合は、上下方向の端点を探索するた
めに、たとえば、図１１の鎖線の範囲で示すような探索
範囲Ｅ１０を設定する。図１１において、ｐ４１，ｐ４
２，・・・，ｐ５６は口（唇）の外側の輪郭点を示し、
ｐ５７，ｐ５８，・・・，ｐ６８は口（唇）の内側の輪
郭点を示している。なお、この場合、探索範囲Ｅ１０の
大きさは、たとえば、ｙ軸方向は口の中心座標（ユーザ
の指定した点の座標）を基準に前記第１の実施例で説明
したように、ｄｘ／２づつの範囲（ただし、ｄｘ＝ｘ２
−ｘ１）をとり、ｘ軸方向は口の中心座標を基準に口の
左右方向の端点ｐ４１，ｐ４９の間の長さの１／１０程
度をとり、これらに囲まれた範囲とするが、この探索範
囲Ｅ１０の大きさはこれに限定されるものではない。

【００８９】口の場合は、面積が比較的大きいので、上
下方向の端点の探索範囲を図１１のように限定すること
で、上下方向の端点を探索する際の処理時間を大幅に短
くすることができるという効果も得られる。また、唇を
左右に緊張させた画像にあっては、唇の外側の輪郭が水
平となって（図１１において、たとえば、点ｐ４３〜ｐ
４７および点ｐ５１〜ｐ５５までがそれぞれ水平に近く
なる）、上下方向の端点を求める範囲が広くなり、求め
たい端点を正確に特定することが難しかったり、あるい
は、ぞの水平部分にノイズなどによる突出点があると、
その部分を端点とみなして処理してしまう虞れもあっ
た。このような問題に対処するためにも、図１１の鎖線
で示すような探索範囲を設定して、その探索範囲内で上
下方向の端点を求めることが有効となる。

【００９０】そして、左右方向の端点の座標と、上下方
向の端点の座標が求められた後は、その中間の各点の座
標を取り出す。口の場合は、たとえば、次は、点ｐ４３
とそれに対応する（ｘ座標が同じ）点ｐ５５のそれぞれ
の座標、点ｐ４７とそれに対応する（ｘ座標が同じ）点
ｐ５１のそれぞれの座標を取り出すというような処理を
行う。

【００９１】また、左右方向の端点の座標と、上下方向
の端点の座標の中間の各点の座標を取り出す処理におい
て、たとえば、図１２に示すように、目が多少斜めとな
っている画像の場合は、先に求めた左右の端点ｐ２１，
ｐ２９、上下の端点ｐ２５，ｐ３３の座標を基に、以下
のようにしてその中間の点の座標を決める。なお、ここ
では、点ｐ２３とそれに対応する点ｐ３５（ただし、こ
れらは目が斜めとなっているために両者のｘ座標は一致
しない）、点ｐ２７とそれに対応する点ｐ３１（同様
に、両者のｘ座標は一致しない）を求めるようとする中
間点とする。

【００９２】たとえば、図１２において、ｐ２３の点の
座標は、ｐ２１とｐ２５のそれぞれのｘ座標の平均値を
点ｐ２３のｘ座標とし、そのｘ座標における領域の最大
ｙ値をそのｐ２３のｙ座標とする。また、点ｐ３５の座
標は、ｐ２１とｐ３３のそれぞれのｘ座標の平均値を点
ｐ３５のｘ座標とし、そのｘ座標における領域の最大ｙ
値をそのｐ２３のｙ座標とする。点ｐ２７、点ｐ３１も
同様にして求める。

【００９３】以上のようにして、各輪郭点の座標を求め
ることができる。そして、次に、抽出内容判定部６にて
抽出された内容に誤りがあるか否かの判定がなされ、誤
りがなければ、前記のようにして求められた座標データ
はそのまま出力される。

【００９４】前記抽出内容判定部６の判定処理の一例に
ついて説明する。たとえば、口ｍを抽出する場合、図１
３に示すように、光線の影響などで斜線部分Ａ１が欠け
て斜めの口の画像として取り出される場合がある。この
図１３に示す画像は、光線が右側から当たっていて、斜
線部分が陰になって、その陰の部分が欠けて取り出され
た場合の口の画像を示している。本来は、その斜線部分
Ａ１を含んだ形の口が正しい口の形であるが、斜線部分
Ａ１の画素の色データが光線の影響で口とみなされなか
ったため、実際に抽出された口は、実線で示すように左
下がりに斜めに曲がった形となっている。

【００９５】このような状態で取り出された場合、抽出
された口の傾きをチェックすることにより、それが正し
いか否かの判断を行う。すなわち、実際に抽出された口
ｍの左端点ｍ１と右端点ｍ２とを結ぶ直線Ｌ１の傾き
が、左右の目ｅ１，ｅ２の中心を結ぶ直線Ｌ２に対し
て、予め設定した角度以上（実験では、設定角度を±７
°とすると、傾きの判断を行うのに都合のよいことがわ
かった）傾いている場合は、誤った抽出であるとして再
処理を行う。

【００９６】また、顔などの輪郭を構成する点（輪郭
点）の座標を求める場合、抽出された或る輪郭点が、そ
の輪郭点に隣り合う２つの輪郭点に比べて顔の内側に位
置してしまうような場合がある。たとえば、図１４に示
すような場合であり、同図においては、輪郭点ｐ７３が
顔の内側に大きく外れて位置して取り出された様子を示
している。これは、その部分に髭やはっきりとしたしわ
などが存在していたりすると、しきい値以上の輝度がそ
の点で検出されることによって、誤った輪郭点が検出さ
れることによるものである。このような場合、顔の輪郭
は、その部分で大きく内側にへこんだものとなり、不自
然な顔画像となってしまう。

【００９７】これに対処するために、隣り合う２つの輪
郭点のそれぞれの座標値の平均の座標を求め、これら２
つの輪郭点の間の輪郭点の座標が、この平均座標より顔
の内側に位置するか否かを検出して、内側に存在する場
合は、その内側に位置する輪郭点を平均座標の位置に置
き換える。これを図１４の場合を例にとって説明する。
図１４の場合は、輪郭点ｐ７３が隣り合う輪郭点ｐ７２
とｐ７４の平均座標の点ｐ７３’よりも内側に位置して
いることが、それぞれの座標値から判断できる。したが
って、この場合は、輪郭点ｐ７３の座標を簡易的に点ｐ
７３’の座標に置き換える処理を行う。これにより、そ
の部分の顔の輪郭は、輪郭点ｐ７１，ｐ７２，ｐ７
３’，ｐ７４により近似された曲線（一点鎖線で示す。
なお、理想的には図の鎖線で示す曲線である）となり、
自然に近い顔画像が得られる。

【００９８】

【発明の効果】以上説明したように、本発明による顔画
像処理方法は、請求項１によれば、顔画像の幾つかの特
徴部分におけるそれぞれ所定の点が指定されることによ
り、その指定されたそれぞれの点の座標データを基に、
前記それぞれの特徴部分の指定された点を基準にして、
顔の特徴部分の領域を抽出するための探索範囲を特徴部
分毎に設定し、設定された探索範囲内でそれぞれの特徴
部分の領域を抽出するようにしたので、限られた探索範
囲内で特徴部分を探索すればよいことから、全体の画像
からそれぞれの特徴部分を抽出する場合に比べて、処理
を大幅に簡素化することができ、処理時間も大幅に短縮
することができる。また、限られた探索範囲内でそれぞ
れの特徴部分の抽出を行うため、誤って他の部分を抽出
するということを殆どなくすことができ、取りだそうと
する特徴部分を正確に抽出することができる。

【００９９】また、請求項２によれば、前記所定の点が
指定される顔の特徴部分は左右の目と口の３点とし、ま
た、この３点の座標データを基に探索範囲が設定された
上で領域が抽出される特徴部分は口、左右の目、まゆ、
顔の輪郭であるので、点の指定がきわめて簡単であり、
この指定した点の座標に基づいて設定された探索範囲に
より口、左右の目、まゆ、顔の輪郭を抽出するため、顔
の特徴部分の多くを確実にしかも簡単に抽出することが
でき、また、様々な大きさの顔に対応した探索範囲の設
定が行える。

【０１００】また、請求項３によれば、前記口の探索範
囲は、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ
軸としたとき、前記口として指定された点を中心にｘ軸
方向およびｙ軸方向に、前記左右の目として指定された
それぞれの点のｘ座標データの差をもとに、前記口を包
含する範囲としたので、口領域を抽出するのに最適な探
索範囲の設定が可能となり、簡単でしかも確実に口領域
を抽出することができる。

【０１０１】また、請求項４によれば、前記口の探索範
囲は、前記口として指定された点を中心にｘ軸方向およ
びｙ軸方向に、前記左右の目として指定されたそれぞれ
の点のｘ座標データの差および左右の目として指定され
たそれぞれの点のｙ座標と口として指定された点のｙ座
標のそれぞれの差の平均値を基に、前記口を包含する範
囲としたので、口領域を抽出するのに、より一層、最適
な探索範囲の設定が可能となり、簡単でしかも確実に口
画像を抽出することができる。

【０１０２】また、請求項５によれば、前記目の探索範
囲は、前記目として指定された点を中心にｘ軸方向およ
びｙ軸方向に、前記左右の目として指定されたそれぞれ
の点のｘ座標データの差をもとに、前記目を包含する範
囲としたので、目領域を抽出するのに最適な探索範囲の
設定が可能となり、簡単でしかも確実に目領域の抽出を
行うことができる。

【０１０３】また、請求項６によれば、前記まゆの探索
範囲は、前記目として指定された点を基準点にｘ軸方向
およびｙ軸方向に、前記左右の目として指定されたそれ
ぞれの点のｘ座標データの差をもとに、前記まゆを包含
する範囲としたので、まゆ領域を抽出するのに最適な探
索範囲の設定が可能となり、簡単でしかも確実にまゆ領
域を抽出することができる。

【０１０４】また、請求項７によれば、前記顔輪郭の探
索範囲は、ｙ軸方向における目の高さに相当する顔輪郭
部は、前記目として指定された点を基準に、左右の目と
して指定されたそれぞれの点のｙ座標と口として指定さ
れた点のｙ座標のそれぞれの差の平均値を基にその部分
の顔輪郭部が含まれるように設定したので、目の高さ部
分の顔輪郭部を抽出するのに最適な探索範囲の設定が可
能となり、簡単でしかも確実に顔輪郭部を抽出すること
ができる。

【０１０５】また、請求項８によれば、前記顔輪郭の探
索範囲において、ｙ軸方向における口の高さに相当する
顔輪郭部は、前記口として指定された点を基準に、左右
の目として指定されたそれぞれの点のｙ座標と口として
指定された点のｙ座標のそれぞれの差の平均値を基にそ
の部分の顔輪郭部が含まれるように設定したので、口の
高さ部分の顔輪郭を抽出するのに最適な探索範囲の設定
が可能となり、簡単でしかも確実に顔輪郭部を抽出する
ことができる。

【０１０６】また、請求項９によれば、前記顔輪郭の探
索範囲において、ｘ軸方向における口の位置に相当する
顔輪郭部は、前記口として指定された点を基準に、左右
の目として指定されたそれぞれの点のｙ座標と口として
指定された点のｙ座標のそれぞれの差の平均値を基にそ
の部分の顔輪郭部が含まれるように設定したので、あご
の下部分の顔輪郭を抽出するのに最適な探索範囲の設定
が可能となり、簡単でしかも確実に顔輪郭を抽出するこ
とができる。

【０１０７】また、請求項１０によれば、顔画像におい
て顔の幾つかの特徴部分におけるそれぞれ所定の点が指
定されることにより、その指定されたそれぞれの点の座
標データを基に、前記それぞれの特徴部分の指定された
点を基準にして、顔の特徴部分の画像データを抽出する
ための探索範囲を特徴部分毎に設定し、設定された探索
範囲内でそれぞれの特徴部分の領域を抽出したのち、そ
れぞれの領域から輪郭を構成する輪郭点の座標データを
抽出し、前記特徴部分の領域の所定の点の座標値を基
に、抽出された領域の位置関係を判断して正しく抽出さ
れたか否かの判断を行うようにしたので、抽出が正しい
か否かをチェックすることができるため、誤った抽出が
なされても再処理を要求することができ、これにより、
誤りをなくすことができる。

【０１０８】また、請求項１１によれば、前記口領域を
抽出するために設定された口領域探索範囲によって抽出
された口領域において、口領域のｘ軸方向の左右の端点
のそれぞれのｙ座標と、抽出された口領域の上端辺にお
けるｘ軸方向の中間点のｙ座標とを比較し、ｘ軸方向の
中間点のｙ座標が前記口画像のｘ軸方向の左右の端点の
それぞれのｙ座標より小さい場合は、抽出された口の領
域は口が開いた状態であると判断するとともに、抽出さ
れた口は下唇のみと判断し、上唇を抽出するための探索
領域を設定するようにしたので、笑った顔などのように
口が開いた状態にある場合でも、下唇のみが抽出される
という不都合をなくし、開いた状態にある口領域全体を
確実に抽出できる。

【０１０９】また、請求項１２によれば、前記抽出され
た領域が目あるいは口である場合、目あるいは口が抽出
すべきものとして抽出されたか否かの判断において、抽
出された領域内に、前記ユーザの指定した点が含まれて
いるか否かによって、抽出すべきものが抽出されたか否
かの判断を行うようにしたので、目あるいは口が正しく
抽出されたか否かの判定を簡単で確実に行うことができ
る。

【０１１０】また、請求項１３によれば、前記抽出され
た領域がまゆである場合、まゆが抽出すべきものとして
抽出されたか否かの判断において、抽出されたまゆ領域
の左右方向の端点の座標と、目として指定された点の座
標とから位置関係を判断し、抽出すべきものが抽出され
たか否かの判断を行うようにしたので、まゆが正しく抽
出されたか否かの判定を簡単で確実に行うことができ
る。

【０１１１】また、請求項１４によれば、顔の特徴部分
の領域抽出後、その特徴部分のうち目あるいは口の輪郭
を構成する輪郭点を、前記抽出された領域から、目ある
いは口のｘ軸方向における左右方向両端点のそれぞれの
座標を求めたのち、ｙ軸方向における上下方向両端点の
座標を求める場合、前記左右方向両端点間の中間付近
に、左右方向端点間の長さの所定分の１の幅を有した探
索範囲をｘ軸方向に設定して、その探索範囲内で前記ｙ
軸方向における上下方向両端点を求めるようにしたの
で、輪郭を構成する代表的な上下方向の端部の輪郭点を
求める場合、ノイズなどに影響されず確実な輪郭点の抽
出が可能となる。

【０１１２】また、請求項１５によれば、前記求められ
た左右方向端点および上下方向端点の４つの端点の間に
位置する輪郭点は、この求めるべき輪郭点を挟む２つの
端点のｘ座標の平均値を、求めるべきｘ座標として求め
るようにしたので、特に、いわゆるきつね目やたれ目と
いった斜めとなっているような目の端点と端点のあいだ
の輪郭点を抽出する場合、輪郭点の抽出を簡単にしかも
確実に行うことができる。

【０１１３】また、請求項１６によれば、顔画像データ
をもとに、顔の特徴部分の抽出を行って座標データを出
力する顔画像処理方法において、顔の特徴部分の領域抽
出後、その特徴部分の領域の所定の点の座標値を基に、
抽出された領域の位置関係を判断して正しく抽出された
か否かの判断を行うようにしたので、抽出が正しいか否
かのチェックすることができ、誤った抽出がなされても
再処理することにより、誤りをなくすことができる。

【０１１４】また、請求項１７によれば、前記抽出され
た部分が口である場合、口のｘ軸方向における左右方向
両端点を結ぶ直線の傾きが左右の目のそれぞれ所定点を
結ぶ直線に対して予め定めた角度以上傾きを生じている
か否かをチェックすることで、正しく抽出されたか否か
の判断を行うようにしたので、光線の具合により口が部
分的に欠けた状態の場合、曲がった画像として取り出さ
れた場合でも、それを確実に検出でき、しかも左右の目
を結ぶ線を基準に傾き角を検出するので、顔全体が傾い
た画像の場合に対しての誤判定を確実に防止することが
できる。

【０１１５】また、請求項１８によれば、前記抽出され
た部分が顔輪郭である場合、前記顔輪郭を構成する複数
の輪郭点において、隣り合う３つの輪郭点を１つの単位
として処理し、３つの輪郭点のうち、間に挟まれる輪郭
点の座標と両隣の輪郭点の平均座標とを比較して、間に
挟まれる輪郭点の位置が両隣の輪郭点に比べて顔の内側
に位置すると判断された場合には、その間に挟まれる輪
郭点の座標を前記平均座標に置換するようにしたので、
顔に髭やしわなどが存在することで、顔輪郭が内側にへ
こんで取り出された場合の判定を確実に行え、また、そ
の補正も容易に行うことができ、自然に近い顔輪郭を得
ることができる。

【０１１６】また、本発明の顔画像処理装置は、請求項
１９によれば、顔画像において顔の幾つかの特徴部分に
おけるそれぞれ所定の点が指定されることにより、その
指定されたそれぞれ点の座標データを基に、前記それぞ
れの特徴部分の指定された点を基準にして、顔の特徴部
分の領域を抽出するための探索範囲を特徴部分毎に設定
するそれぞれの特徴部分探索範囲設定手段と、これらそ
れぞれの特徴部分探索範囲設定手段により設定されたそ
れぞれの探索範囲内でそれぞれの特徴部分領域を示す領
域を抽出するそれぞれの特徴部分抽出手段とを有した構
成としたので、限られた探索範囲内で特徴部分を探索す
ればよいことから、全体の画像からそれぞれの特徴部分
を抽出する場合に比べて、処理を大幅に簡素化すること
ができ、処理時間も大幅に短縮することができる。ま
た、限られた探索範囲内でそれぞれの特徴部分の抽出を
行うため、誤って他の部分を抽出するということを殆ど
なくすことができ、取りだそうとする特徴部分を正確に
抽出することができる。

【０１１７】また、請求項２０によれば、前記所定の点
が指定される顔の特徴部分は左右の目と口の３点であっ
て、また、前記探索範囲設定手段として、口探索範囲設
定手段、目探索範囲設定手段、まゆ探索範囲設定手段、
顔輪郭探索範囲設定手段を設け、さらに、前記特徴部分
抽出手段として、口領域抽出手段、目領域抽出手段、ま
ゆ領域抽出手段、顔輪郭抽出手段を設け、前記左右の目
と口の３点の座標データを基に、前記それぞれの探索範
囲設定手段により、それぞれ探索範囲を設定したのち、
口、左右の目、まゆ、顔の輪郭のそれぞれの部分を前記
それぞれの抽出手段によりそれぞれ抽出するようにした
ので、点の指定がきわめて簡単であり、この指定した点
の座標に基づいて設定された探索範囲により口、左右の
目、まゆ、顔の輪郭を抽出するため、顔の特徴部分の多
くを確実にしかも簡単に抽出することができ、また、様
々な大きさの顔に対応した探索範囲の設定が行える。

【０１１８】また、請求項２１によれば、前記口探索範
囲設定手段は、顔画像の左右方向を座標軸のｘ軸、上下
方向をｙ軸としたとき、前記口として指定された点を中
心にｘ軸方向およびｙ軸方向に、前記左右の目として指
定されたそれぞれの点のｘ座標データの差をもとに、前
記口を包含する範囲を口探索範囲として設定するように
したので、口領域を抽出するのに最適な探索範囲の設定
が可能となり、簡単でしかも確実に口領域を抽出するこ
とができる。

【０１１９】また、請求項２２によれば、前記口探索範
囲設定手段は、前記口として指定された点を中心にｘ軸
方向およびｙ軸方向に、前記左右の目として指定された
それぞれの点のｘ座標データの差および左右の目として
指定されたそれぞれの点のｙ座標と口として指定された
点のｙ座標のそれぞれの差の平均値を基に、前記口を包
含する範囲を口探索範囲として設定するようにしたの
で、口領域を抽出するのに、より一層、最適な探索範囲
の設定が可能となり、簡単でしかも確実に口領域を抽出
することができる。

【０１２０】また、請求項２３によれば、前記目探索範
囲設定手段は、前記目として指定された点を中心にｘ軸
方向およびｙ軸方向に、前記左右の目として指定された
それぞれの点のｘ座標データの差をもとに、前記目を包
含する範囲を目探索範囲として設定するようにしたの
で、目領域を抽出するのに最適な探索範囲の設定が可能
となり、簡単でしかも確実に目領域を抽出することがで
きる。

【０１２１】また、請求項２４によれば、前記まゆ探索
範囲設定手段は、前記目として指定された点を基準点に
ｘ軸方向およびｙ軸方向に、前記左右の目として指定さ
れたそれぞれの点のｘ座標データの差をもとに、前記ま
ゆを包含する範囲をまゆ探索範囲として設定したので、
まゆ領域を抽出するのに最適な探索範囲の設定が可能と
なり、簡単でしかも確実にまゆ領域を抽出することがで
きる。

【０１２２】また、請求項２５によれば、前記顔輪郭探
索範囲設定手段における顔輪郭探索範囲設定において、
ｙ軸方向における目の高さに相当する顔輪郭部の探索範
囲は、前記目として指定された点を基準に、左右の目と
して指定されたそれぞれの点のｙ座標と、口として指定
された点のｙ座標のそれぞれの差の平均値を基にその部
分の顔輪郭部が含まれるように設定したので、目の高さ
部分の顔輪郭部画像を抽出するのに最適な探索範囲の設
定が可能となり、簡単でしかも確実に顔輪郭部を抽出す
ることができる。

【０１２３】また、請求項２６によれば、前記顔輪郭探
索範囲設定手段における顔輪郭探索範囲設定において、
ｙ軸方向における口の高さに相当する顔輪郭部の設定
は、前記口として指定された点を基準に、左右の目とし
て指定されたそれぞれの点のｙ座標と口として指定され
た点のｙ座標のそれぞれの差の平均値を基にその部分の
顔輪郭部が含まれるように設定したので、口の高さ部分
の顔輪郭画像を抽出するのに最適な探索範囲の設定が可
能となり、簡単でしかも確実に顔輪郭部を抽出すること
ができる。

【０１２４】また、請求項２７によれば、前記顔輪郭探
索範囲設定手段における顔輪郭探索範囲設定において、
ｘ軸方向における口の位置に相当する顔輪郭部の設定
は、前記口として指定された点を基準に、左右の目とし
て指定されたそれぞれの点のｙ座標と口として指定され
た点のｙ座標のそれぞれの差の平均値を基にその部分の
顔輪郭部が含まれるように設定したので、あごの下部分
の顔輪郭画像を抽出するのに最適な探索範囲の設定が可
能となり、簡単でしかも確実に顔輪郭を抽出することが
できる。

【０１２５】また、請求項２８によれば、顔画像におい
て顔の幾つかの特徴部分におけるそれぞれ所定の点が指
定されることにより、その指定されたそれぞれ点の座標
データを基に、前記それぞれの特徴部分の指定された点
を基準にして、顔の特徴部分の領域を抽出するための探
索範囲を特徴部分毎に設定するそれぞれの特徴部分探索
範囲設定手段と、これらそれぞれの特徴部分探索範囲設
定手段により設定されたそれぞれの探索範囲内でそれぞ
れの特徴部分領域を抽出するそれぞれの特徴部分抽出手
段と、前記特徴部抽出手段で得られたそれぞれの領域を
基に、それぞれの特徴部の輪郭を構成する輪郭点の座標
データを抽出する輪郭点抽出部と、前記特徴部分の領域
の所定の点の座標値を基に、抽出された画像の位置関係
を判断して正しく抽出されたか否かの判断を行う抽出内
容判定手段とを有した構成としたので、抽出が正しいか
否かをチェックすることができるため、誤った抽出がな
されても再処理要求を出して再処理を行うことにより、
抽出誤りをなくすことができる。

【０１２６】また、請求項２９によれば、前記抽出内容
判定手段は、前記口画像データ抽出手段によって抽出さ
れた口領域において、口画像のｘ軸方向の左右の端点の
それぞれのｙ座標と、抽出された口領域の上端辺におけ
るｘ軸方向の中間点のｙ座標とを比較し、ｘ軸方向の中
間点のｙ座標が前記口画像のｘ軸方向の左右の端点のそ
れぞれのｙ座標より小さい場合は、抽出された口の画像
は口が開いた状態であると判断するとともに、抽出され
た口は下唇のみと判断し、上唇を抽出するための探索領
域を設定したので、笑った顔などのように口が開いた状
態にある場合でも、下唇のみが抽出されるという不都合
をなくし、開いた状態にある口画像全体を確実に抽出で
きる。

【０１２７】また、請求項３０によれば、前記抽出内容
判定手段は、前記抽出された領域が目あるいは口である
場合、抽出された領域内に、前記ユーザの指定した点が
含まれているか否かによって、抽出すべき目あるいは口
が抽出されたか否かの判断を行うようにしたので、目あ
るいは口が正しく抽出されたか否かの判定を簡単で確実
に行うことができる。

【０１２８】また、請求項３１によれば、前記抽出内容
判定手段は、前記抽出された領域がまゆである場合、抽
出された領域の左右方向の端点の座標と、目として指定
された点の座標とから位置関係を判断し、抽出すべきま
ゆが抽出されたか否かの判断を行うようにしたので、ま
ゆが正しく抽出されたか否かの判定を簡単で確実に行う
ことができる。

【０１２９】また、請求項３２によれば、顔の特徴部分
の領域の抽出を行う特徴部分抽出手段と、前記特徴部分
抽出手段により抽出された特徴部分のうち、目あるいは
口の輪郭を構成する輪郭点を、前記抽出された特徴部分
の領域から目あるいは口のｘ軸方向における左右方向両
端点のそれぞれの座標を求めたのち、前記左右方向両端
点間の中間付近に、左右方向両端点間の長さの所定分の
１の幅を有した探索範囲をｘ軸方向に設定して、その探
索範囲内で前記ｙ軸方向における上下方向両端点を求め
る特徴部分輪郭点抽出手段を設けたので、輪郭を構成す
る代表的な上下方向の端部の輪郭点を求める場合、ノイ
ズなどに影響されず確実な輪郭点の抽出が可能となる。

【０１３０】また、請求項３３によれば、前記求められ
た左右方向端点および上下方向端点の４つの端点の間に
位置する輪郭点は、この求めるべき輪郭点を挟む２つの
端点のｘ座標の平均値を求めるｘ座標として求めるよう
にしたので、特に、いわゆるきつね目やたれ目といった
斜めとなっているような目の端点と端点のあいだの輪郭
点を抽出する場合、輪郭点の抽出を簡単にしかも確実に
行うことができる。

【０１３１】また、請求項３４によれば、顔の特徴部分
の領域を抽出する特徴部分抽出手段と、この特徴部分抽
出手段により抽出された領域を基に特徴部分の輪郭を構
成する輪郭点を求める特徴部分輪郭点抽出手段と、特徴
部分の領域の所定の点の座標値を基に、抽出された画像
の位置関係を判断して正しく抽出されたか否かの判断を
行う抽出内容判断手段とを有したので、抽出が正しいか
否かのチェックすることができ、誤った抽出がなされて
も再処理することにより、誤りをなくすことができる。

【０１３２】また、請求項３５によれば、前記抽出内容
判断手段は、前記抽出された部分が口である場合、口の
ｘ軸方向における左右方向両端点を結ぶ直線の傾きが左
右の目のそれぞれ所定点を結ぶ直線に対して予め定めた
角度以上傾きを生じているか否かをチェックして正しく
抽出されたか否かの判断を行うようにしたので、光線の
具合により口が部分的に欠けた状態の場合、曲がった画
像として取り出された場合でも、それを確実に検出で
き、しかも左右の目を結ぶ線を基準に傾き角を検出する
ので、顔全体が傾いた画像の場合に対しての誤判定を確
実に防止することができる。

【０１３３】また、請求項３６によれば、前記抽出内容
判断手段は、前記抽出された部分が顔輪郭である場合、
前記顔輪郭を構成する複数の輪郭点において、隣り合う
３つの輪郭点を１つの単位として注目し、間に挟まれる
輪郭点の座標と両隣の輪郭点の平均座標とを比較して、
間に挟まれる輪郭点の位置が両隣の輪郭点に比べて顔の
内側に位置すると判断された場合には、その間に挟まれ
る輪郭点の座標を前記平均座標に置換するようにしたの
で、顔に髭やしわなどが存在することで、顔輪郭が内側
にへこんで取り出された場合の判定を確実に行え、ま
た、その補正も容易に行うことができ、自然に近い顔輪
郭を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の構成を説明する図。

【図２】入力画像の一例を示す図。

【図３】第１の実施例における口、目の探索範囲設定を
説明する図。

【図４】第１の実施例おける口の探索範囲設定に他の例
を説明する図。

【図５】第１の実施例におけるまゆの探索範囲設定を説
明する図。

【図６】第１の実施例おいて開いた口の探索範囲設定を
説明する図。

【図７】第１の実施例における顔輪郭部の探索範囲設定
を説明する図。

【図８】第１の実施例における抽出内容の判定の一例を
説明する図。

【図９】本発明の第２の実施例を説明する概略的な構成
図。

【図１０】第２の実施例における目の輪郭を構成する輪
郭点の抽出を説明する図。

【図１１】第２の実施例における口の輪郭を構成する輪
郭点の抽出を説明する図。

【図１２】第２の実施例において斜めの状態の目の輪郭
点の抽出を説明する図。

【図１３】第２の実施例において口画像の抽出内容の判
定を説明する図。

【図１４】第２の実施例において顔輪郭画像の抽出内容
の判定を説明する図。

【符号の説明】

１・・・画像入力部 ２・・・画像記憶部 ３・・・特徴部分探索範囲設定手段 ４・・・特徴部分抽出手段 ５・・・輪郭点抽出手段 ６・・・抽出内容判定手段 ３１・・・口探索範囲設定部 ３２・・・目探索範囲設定部 ３３・・・まゆ探索範囲設定部 ３４・・・顔輪郭部探索範囲設定部 ４１・・・口領域抽出部 ４２・・・目領域抽出部 ４３・・・まゆ領域抽出部 ４４・・・顔輪郭部抽出部 ５１・・・口輪郭点抽出部 ５２・・・目輪郭点抽出部 ５３・・・まゆ輪郭点抽出部 ５４・・・顔輪郭点抽出部 ６１・・・口抽出内容判定部 ６２・・・目抽出内容判定部 ６３・・・まゆ抽出内容判定部 ６４・・・顔輪郭部抽出内容判定部 ｍ・・・口 ｅ１，ｅ２・・・左右の目 ｂ１，ｂ２・・・左右のまゆ Ｅ１〜Ｅ９・・・設定された探索範囲 ｐ１，ｐ２，ｐ３・・・ユーザにより指定された点

Claims (36)

【特許請求の範囲】
1. 【請求項１】 顔画像データをもとに、顔の特徴部分の
   抽出を行って座標データを出力する顔画像処理方法にお
   いて、 顔画像において顔の幾つかの特徴部分におけるそれぞれ
   所定の点が指定されることにより、その指定されたそれ
   ぞれ点の座標データを基に、前記それぞれの特徴部分の
   指定された点を基準にして、顔の特徴部分の領域を抽出
   するための探索範囲を特徴部分毎に設定し、設定された
   探索範囲内でそれぞれの特徴部分の領域を抽出すること
   を特徴とする顔画像処理方法。
2. 【請求項２】 前記所定の点が指定される顔の特徴部分
   は左右の目と口の３点であり、この３点の座標データを
   基に探索範囲が設定された上で領域が抽出される特徴部
   分は口、左右の目、まゆ、顔の輪郭であることを特徴と
   する請求項１記載の顔画像処理方法。
3. 【請求項３】 前記口領域の探索範囲は、顔画像の左右
   方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記
   口として指定された点を中心にｘ軸方向およびｙ軸方向
   に、前記左右の目として指定されたそれぞれの点のｘ座
   標データの差をもとに、前記口領域を包含する範囲を設
   定してなることを特徴とする請求項２記載の顔画像処理
   方法。
4. 【請求項４】 前記口領域の探索範囲は、顔画像の左右
   方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記
   口として指定された点を中心にｘ軸方向およびｙ軸方向
   に、前記左右の目として指定されたそれぞれの点のｘ座
   標データの差および左右の目として指定されたそれぞれ
   の点のｙ座標と口として指定された点のｙ座標のそれぞ
   れの差の平均値を基に、前記口領域を包含する範囲を設
   定してなることを特徴とする請求項２記載の顔画像処理
   方法。
5. 【請求項５】 前記目領域の探索範囲は、顔画像の左右
   方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前記
   目として指定された点を中心にｘ軸方向およびｙ軸方向
   に、前記左右の目として指定されたそれぞれの点のｘ座
   標データの差をもとに、前記目領域を包含する範囲を設
   定してなることを特徴とする請求項２記載の顔画像処理
   方法。
6. 【請求項６】 前記まゆ領域の探索範囲は、顔画像の左
   右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、前
   記目として指定された点を基準点にｘ軸方向およびｙ軸
   方向に、前記左右の目として指定されたそれぞれの点の
   ｘ座標データの差をもとに、前記まゆ領域を包含する範
   囲を設定してなることを特徴とする請求項２記載の顔画
   像処理方法。
7. 【請求項７】 前記顔輪郭部の探索範囲は、顔画像の左
   右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ
   軸方向における目の高さに相当する顔輪郭部は、前記目
   として指定された点を基準に、左右の目として指定され
   たそれぞれの点のｙ座標と口として指定された点のｙ座
   標のそれぞれの差の平均値を基にその部分の顔輪郭部が
   含まれるように設定してなることを特徴とする請求項２
   記載の顔画像処理方法。
8. 【請求項８】 前記顔輪郭部の探索範囲において、顔画
   像の左右方向を座標軸のｘ軸、上下方向をｙ軸としたと
   き、ｙ軸方向における口の高さに相当する顔輪郭部は、
   前記口として指定された点を基準に、左右の目として指
   定されたそれぞれの点のｙ座標と口として指定された点
   のｙ座標のそれぞれの差の平均値を基にその部分の顔輪
   郭部が含まれるように設定してなることを特徴とする請
   求項２記載の顔画像処理方法。
9. 【請求項９】 前記顔輪郭の探索範囲において、顔画像
   の左右方向を座標軸のｘ軸、上下方向をｙ軸としたと
   き、ｘ軸方向における口の位置に相当する顔輪郭部は、
   前記口として指定された点を基準に、左右の目として指
   定されたそれぞれの点のｙ座標と口として指定された点
   のｙ座標のそれぞれの差の平均値を基にその部分の顔輪
   郭部が含まれるように設定してなることを特徴とする請
   求項２記載の顔画像処理方法。
10. 【請求項１０】 顔画像データをもとに、顔の特徴部分
    の抽出を行って座標データを出力する顔画像処理方法に
    おいて、 顔画像において顔の幾つかの特徴部分におけるそれぞれ
    所定の点が指定されることにより、その指定されたそれ
    ぞれ点の座標データを基に、前記それぞれの特徴部分の
    指定された点を基準にして、顔の特徴部分の領域を抽出
    するための探索範囲を特徴部分毎に設定し、設定された
    探索範囲内でそれぞれの特徴部分の領域を抽出したの
    ち、それぞれの領域から輪郭を構成する輪郭点の座標デ
    ータを抽出し、前記特徴部分の領域の所定の点の座標値
    を基に、抽出された画像の位置関係を判断して正しく抽
    出されたか否かの判断を行うことを特徴とする顔画像処
    理方法。
11. 【請求項１１】 前記正しく抽出されたか否かの判断処
    理は、前記口領域を抽出するために設定された口領域探
    索範囲によって抽出された口領域において、顔画像の左
    右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、抽
    出された口領域のｘ軸方向の左右の端点のそれぞれのｙ
    座標と、抽出された口領域の上端辺におけるｘ軸方向の
    中間点のｙ座標とを比較し、そのｘ軸方向の中間点のｙ
    座標が前記口領域のｘ軸方向の左右の端点のそれぞれの
    ｙ座標より小さい場合は、抽出された口領域は口が開い
    た状態であると判断するとともに、抽出された口は下唇
    のみと判断し、上唇を抽出するための探索範囲を設定す
    ることを特徴とする請求項１０記載の顔画像処理方法。
12. 【請求項１２】 前記正しく抽出されたか否かの判断処
    理は、前記抽出された領域が目あるいは口である場合、
    目あるいは口が抽出すべきものとして抽出されたか否か
    の判断において、抽出された目あるいは口の領域内に、
    前記指定された点が含まれているか否かによって、抽出
    すべき領域が抽出されたか否かの判断を行うことを特徴
    とする請求項１０記載の顔画像処理方法。
13. 【請求項１３】 前記正しく抽出されたか否かの判断処
    理は、前記抽出された領域がまゆである場合、まゆが抽
    出すべきものとして抽出されたか否かの判断において、
    抽出されたまゆ領域の左右方向の端点の座標と、目とし
    て指定された点の座標とから位置関係を判断し、抽出す
    べき領域が抽出されたか否かの判断を行うことを特徴と
    する請求項１０記載の顔画像処理方法。
14. 【請求項１４】 顔画像データをもとに、顔の特徴部分
    の抽出を行って座標データを出力する顔画像処理方法に
    おいて、 顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸とし
    たとき、顔の特徴部分の領域抽出後、その特徴部分のう
    ち目あるいは口の輪郭を構成する輪郭点を、前記抽出さ
    れた領域から、目あるいは口のｘ軸方向における左右方
    向両端点のそれぞれの座標を求めたのち、ｙ軸方向にお
    ける上下方向両端点の座標を求める場合、前記左右方向
    両端点間の中間付近に、左右方向端点間の長さの所定分
    の１の幅を有した探索範囲をｘ軸方向に設定して、その
    探索範囲内で前記ｙ軸方向における上下方向両端点を求
    めることを特徴とする顔画像処理方法。
15. 【請求項１５】 前記求められた左右方向端点および上
    下方向端点の４つの端点の間に位置する輪郭点の座標
    は、この求めるべき輪郭点を挟む２つの端点のｘ座標の
    平均値を、求めるべきｘ座標とすることを特徴とする請
    求項１４記載の顔画像処理方法。
16. 【請求項１６】 顔画像データをもとに、顔の特徴部分
    の抽出を行って座標データを出力する顔画像処理方法に
    おいて、 顔の特徴部分の領域抽出後、その特徴部分の領域の所定
    の点の座標値を基に、抽出された領域の位置関係を判断
    して正しく抽出されたか否かの判断を行うことを特徴と
    する顔画像処理方法。
17. 【請求項１７】 前記抽出された領域が口である場合、
    顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸とし
    たとき、口領域のｘ軸方向における左右方向両端点を結
    ぶ直線の傾きが左右の目のそれぞれ所定点を結ぶ直線に
    対して予め定めた角度以上傾きを生じているか否かをチ
    ェックすることで、正しく抽出されたか否かの判断を行
    うことを特徴とする請求項１６記載の顔画像処理方法。
18. 【請求項１８】 前記抽出された領域が顔輪郭である場
    合、顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸
    としたとき、前記顔輪郭を構成する複数の輪郭点におい
    て、隣り合う３つの輪郭点を１つの単位として処理し、
    ３つの輪郭点のうち、間に挟まれる輪郭点の座標と両隣
    の輪郭点の平均座標とを比較して、間に挟まれる輪郭点
    の位置が両隣の輪郭点に比べて顔の内側に位置すると判
    断された場合には、その間に挟まれる輪郭点の座標を前
    記平均座標に置換することを特徴とする請求項１６記載
    の顔画像処理方法。
19. 【請求項１９】 顔画像データをもとに、顔の特徴部分
    の抽出を行って座標データを出力する顔画像処理装置に
    おいて、 顔画像において顔の幾つかの特徴部分におけるそれぞれ
    所定の点が指定されることにより、その指定されたそれ
    ぞれ点の座標データを基に、前記それぞれの特徴部分の
    指定された点を基準にして、顔の特徴部分の領域を抽出
    するための探索範囲を特徴部分毎に設定するそれぞれの
    特徴部分探索範囲設定手段と、 これらそれぞれの特徴部分探索範囲設定手段により設定
    されたそれぞれの探索範囲内でそれぞれの特徴部分の領
    域を抽出するそれぞれの特徴部分抽出手段と、 を有することを特徴とする顔画像処理装置。
20. 【請求項２０】 前記所定の点が指定される顔の特徴部
    分は左右の目と口の３点であって、また、前記特徴部分
    探索範囲設定手段として、口探索範囲設定手段、目探索
    範囲設定手段、まゆ探索範囲設定手段、顔輪郭部探索範
    囲設定手段を設け、さらに、前記特徴部分抽出手段とし
    て、口領域抽出手段、目領域抽出手段、まゆ領域抽出手
    段、顔輪郭領域抽出手段を設け、前記左右の目と口の３
    点の座標データを基に、前記それぞれの探索範囲設定手
    段により、それぞれ探索範囲を設定したのち、口、左右
    の目、まゆ、顔の輪郭のそれぞれの部分を前記それぞれ
    の領域抽出手段によりそれぞれ抽出することを特徴とす
    る請求項１９記載の顔画像処理装置。
21. 【請求項２１】 前記口探索範囲設定手段は、顔画像の
    左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、
    前記口として指定された点を中心にｘ軸方向およびｙ軸
    方向に、前記左右の目として指定されたそれぞれの点の
    ｘ座標データの差をもとに、前記口領域を包含する範囲
    を口探索範囲として設定することを特徴とする請求項２
    ０記載の顔画像処理装置。
22. 【請求項２２】 前記口探索範囲設定手段は、顔画像の
    左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、
    前記口として指定された点を中心にｘ軸方向およびｙ軸
    方向に、前記左右の目として指定されたそれぞれの点の
    ｘ座標データの差および左右の目として指定されたそれ
    ぞれの点のｙ座標と口として指定された点のｙ座標のそ
    れぞれの差の平均値を基に、前記口領域を包含する範囲
    を口探索範囲として設定することを特徴とする請求項２
    ０記載の顔画像処理装置。
23. 【請求項２３】 前記目探索範囲設定手段は、顔画像の
    左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、
    前記目として指定された点を中心にｘ軸方向およびｙ軸
    方向に、前記左右の目として指定されたそれぞれの点の
    ｘ座標データの差をもとに、前記目領域を包含する範囲
    を目探索範囲として設定することを特徴とする請求項２
    ０記載の顔画像処理装置。
24. 【請求項２４】 前記まゆ探索範囲設定手段は、顔画像
    の左右方向を座標軸のｘ軸、上下方向をｙ軸としたと
    き、前記目として指定された点を基準点にｘ軸方向およ
    びｙ軸方向に、前記左右の目として指定されたそれぞれ
    の点のｘ座標データの差をもとに、前記まゆ領域を包含
    する範囲をまゆ探索範囲として設定することを特徴とす
    る請求項２０記載の顔画像処理装置。
25. 【請求項２５】 前記顔輪郭部探索範囲設定手段におけ
    る顔輪郭部探索範囲設定において、顔画像の左右方向を
    座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方向に
    おける目の高さに相当する顔輪郭部の探索範囲は、前記
    目として指定された点を基準に、左右の目として指定さ
    れたそれぞれの点のｙ座標と、口として指定された点の
    ｙ座標のそれぞれの差の平均値を基にその部分の顔輪郭
    部が含まれるように設定することを特徴とする請求項２
    ０記載の顔画像処理装置。
26. 【請求項２６】 前記顔輪郭部探索範囲設定手段におけ
    る顔輪郭部探索範囲設定において、顔画像の左右方向を
    座標軸のｘ軸、上下方向をｙ軸としたとき、ｙ軸方向に
    おける口の高さに相当する顔輪郭部の設定は、前記口と
    して指定された点を基準に、左右の目として指定された
    それぞれの点のｙ座標と口として指定された点のｙ座標
    のそれぞれの差の平均値を基にその部分の顔輪郭部が含
    まれるように設定することを特徴とする請求項２０記載
    の顔画像処理装置。
27. 【請求項２７】 前記顔輪郭部探索範囲設定手段におけ
    る顔輪郭部探索範囲設定において、顔画像の左右方向を
    座標軸のｘ軸、上下方向をｙ軸としたとき、ｘ軸方向に
    おける口の位置に相当する顔輪郭部の設定は、前記口と
    して指定された点を基準に、左右の目として指定された
    それぞれの点のｙ座標と口として指定された点のｙ座標
    のそれぞれの差の平均値を基にその部分の顔輪郭部が含
    まれるように設定することを特徴とする請求項２０記載
    の顔画像処理装置。
28. 【請求項２８】 顔画像データをもとに、顔の特徴部分
    の抽出を行って座標データを出力する顔画像処理装置に
    おいて、 顔画像において顔の幾つかの特徴部分におけるそれぞれ
    所定の点が指定されることにより、その指定されたそれ
    ぞれ点の領域を基に、前記それぞれの特徴部分の指定さ
    れた点を基準にして、顔の特徴部分の領域を抽出するた
    めの探索範囲を特徴部分毎に設定するそれぞれの特徴部
    分探索範囲設定手段と、 これらそれぞれの特徴部分探索範囲設定手段により設定
    されたそれぞれの探索範囲内でそれぞれの特徴部分領域
    を抽出するそれぞれの特徴部分抽出手段と、 前記特徴部分抽出手段で得られたそれぞれの領域を基
    に、それぞれの特徴部の輪郭を構成する輪郭点の座標デ
    ータを抽出する輪郭点抽出手段と、 前記特徴部分の領域の所定の点の座標値を基に、抽出さ
    れた画像の位置関係を判断して正しく抽出されたか否か
    の判断を行う抽出内容判定手段と、 を有したことを特徴とする顔画像処理装置。
29. 【請求項２９】 前記抽出内容判定手段は、前記口領域
    抽出手段によって抽出された口領域において、顔画像の
    左右方向を座標軸のｘ軸、上下方向をｙ軸としたとき、
    抽出された口領域のｘ軸方向の左右の端点のそれぞれの
    ｙ座標と、口領域の上端辺におけるｘ軸方向の中間点の
    ｙ座標とを比較し、そのｘ軸方向の中間点のｙ座標が前
    記口領域のｘ軸方向の左右の端点のそれぞれのｙ座標よ
    り小さい場合は、抽出された口領域の画像は口が開いた
    状態であると判断するとともに、抽出された口領域は下
    唇のみと判断し、上唇を抽出するための探索領域を設定
    することを特徴とする請求項２８記載の顔画像処理装
    置。
30. 【請求項３０】 前記抽出内容判定手段は、前記抽出さ
    れた領域が目あるいは口である場合、抽出された目ある
    いは口の領域内に、前記指定された点が含まれているか
    否かによって、抽出すべき目あるいは口が抽出されたか
    否かの判断を行うことを特徴とする請求項２８記載の顔
    画像処理装置。
31. 【請求項３１】 前記抽出内容判定手段は、前記抽出さ
    れた領域がまゆである場合、抽出されたまゆ領域の左右
    方向の端点の座標と、目として指定された点の座標とか
    ら位置関係を判断し、抽出すべきまゆが抽出されたか否
    かの判断を行うことを特徴とする請求項２８載の顔画像
    処理装置。
32. 【請求項３２】 顔画像データをもとに、顔の特徴部分
    の抽出を行って座標データを出力する顔画像処理装置に
    おいて、 顔の特徴部分の領域の抽出を行う特徴部分抽出手段と、 顔画像の左右方向を座標軸のｘ軸、上下方向をｙ軸とし
    たとき、前記特徴部分抽出手段により抽出された特徴部
    分のうち、目あるいは口の輪郭を構成する輪郭点を、前
    記抽出された特徴部分の領域から目あるいは口のｘ軸方
    向における左右方向両端点のそれぞれの座標を求めたの
    ち、前記左右方向両端点間の中間付近に、左右方向両端
    点間の長さの所定分の１の幅を有した探索範囲をｘ軸方
    向に設定して、その探索範囲内で前記ｙ軸方向における
    上下方向両端点を求める特徴部分輪郭点抽出手段と、 を有したことを特徴とする顔画像処理装置。
33. 【請求項３３】 前記求められた左右方向端点および上
    下方向端点の４つの端点の間に位置する輪郭点の座標
    は、この求めるべき輪郭点を挟む２つの端点のｘ座標の
    平均値を、求めるべきｘ座標とすることを特徴とする請
    求項３２記載の顔画像処理装置。
34. 【請求項３４】 顔画像データをもとに、顔の特徴部分
    の抽出を行って座標データを出力する顔画像処理装置に
    おいて、 顔の特徴部分のそれぞれの領域を抽出する特徴部分抽出
    手段と、 この特徴部分抽出手段により抽出された領域を基に特徴
    部分の輪郭を構成する輪郭点を求める輪郭点抽出手段
    と、 特徴部分の領域の所定の点の座標値を基に、抽出された
    領域の位置関係を判断して正しく抽出されたか否かの判
    断を行う抽出内容判定手段と、 を有したことを特徴とする顔画像処理装置。
35. 【請求項３５】 前記抽出内容判定手段は、前記抽出さ
    れた部分が口である場合、顔画像の左右方向を座標軸の
    ｘ軸、上下方向をｙ軸としたとき、口のｘ軸方向におけ
    る左右方向両端点を結ぶ直線の傾きが左右の目のそれぞ
    れ所定点を結ぶ直線に対して予め定めた角度以上傾きを
    生じているか否かをチェックして正しく抽出されたか否
    かの判断を行うことを特徴とする請求項３４記載の顔画
    像処理装置。
36. 【請求項３６】 前記抽出内容判定手段は、前記抽出さ
    れた部分が顔輪郭である場合、顔画像の左右方向を座標
    軸のｘ軸、上下方向をｙ軸としたとき、前記顔輪郭を構
    成する複数の輪郭点において、隣り合う３つの輪郭点を
    １つの単位として注目し、間に挟まれる輪郭点の座標と
    両隣の輪郭点の平均座標とを比較して、間に挟まれる輪
    郭点の位置が両隣の輪郭点に比べて顔の内側に位置する
    と判断された場合には、その間に挟まれる輪郭点の座標
    を前記平均座標に置換することを特徴とする請求項３４
    記載の顔画像処理装置。