WO2007074844A1

WO2007074844A1 - 顔パーツの位置の検出方法及び検出システム

Info

Publication number: WO2007074844A1
Application number: PCT/JP2006/325972
Authority: WO
Inventors: Hiroshi Ikeda; Keiichi Moriya
Original assignee: Kao Corporation
Priority date: 2005-12-28
Filing date: 2006-12-26
Publication date: 2007-07-05
Also published as: EP1970859B1; EP1970859A1; US8131013B2; TW200809686A; TWI378396B; EP1970859A4; US20100220925A1; CN101390128B; CN101390128A

Abstract

　顔画像から目、口及び鼻の位置を、簡便な手法で信頼性高く自動的に検出できるようにする。　顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、グレースケール画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する方法（フェードイン法）を行い、検出された画素の固まり領域のうち、対となって現れたものの全グレースケール画像にわたる出現度数に基づいて目の位置を特定し、一方、フェードイン法で検出された画素の固まり領域であって漸次現れる画素の成長の停止したものの両目との位置関係等に基づいて口の位置と鼻の位置を特定する。

Description

明細書

顔パーツの位置の検出方法及び検出システム技術分野

[0001] 本発明は、顔画像から目、口、鼻といった顔パーツの位置を自動的に検出する方法に関する。

背景技術

[0002] 顔画像における目、口、鼻と!/、つた顔パーツの位置の検出は、被験者の顔画像の目、口、鼻、その他の顔パーツの部分ないしそれらの周辺領域に色画像などを重ねてメイクアップシミュレーション画像を形成する場合に必要とされている。

[0003] この他、目の位置の検出は、被験者の顔画像に髪型のモデル画像を重ねて髪型シミュレーション画像を形成する場合に、画像の大きさの調整や位置合わせのためになされており、また、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像の作成等にぉヽてもなされて、る。

[0004] 従来、顔画像から目の位置を検出する方法としては、肌色領域の抽出により顔を検出し、さらにパターンマッチング等により目を検出する方法等が使用されている（非特許文献 1、特許文献 1)。

[0005] 非特許文献 1 : 2005年第 5回 LSI IPデザインァワード受賞論文「高速 ·高信頼な顔検出を可能とする顔候補点検出法」（日経 BP社）

特許文献 1：特開 2004 - 94917

発明の開示

発明が解決しょうとする課題

[0006] し力しながら、肌色領域の抽出は照明環境の影響を受ける。そのため、種々の照明環境で撮られた不特定多数の顔画像を対象とする場合には信頼性が問題となる。また、パターンマッチングの手法は、計算量が莫大となるという問題がある。

[0007] これに対し、本発明は、顔画像から目、口及び鼻の位置を、簡便な手法で信頼性高く自動的に検出できるようにすることを目的とする。

課題を解決するための手段 [0008] 本発明者らは、顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、高明度側のフェードアウトした画像力順次フェードインした画像を観察した場合に、フェードアウトした顔領域に最初に現れる画素が瞳領域のものであること、この場合、瞳領域の画素は対になって現れること、対をなして現れた画素領域の全ダレ一スケール画像にわたる出現度数^^積すると、その集積結果に基づいて目の位置を特定できること、この目の位置の特定方法は、静止画だけでなく動画にも適用できること、さらに、フェードアウトした画像力も順次フェードインした画像を観察した場合に得られる画素の固まりのうち、目の位置と特定の関係にあるものを選択し、それら相互の位置関係について条件を付加することにより、口の位置や鼻の位置も特定できることを見出した。

[0009] 即ち、本発明は、顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、

グレースケール画像が高明度でフェードアウトした状態力低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する方法 (以下フェードイン法と!/、う）を行!、、

検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する目の位置の検出方法を提供し、この場合に、顔画像の取得手段が、静止画像又は動画像が撮影可能なカメラである態様を提供する。

[0010] また、本発明は、顔画像にフェードイン法を行い、検出された画素の固まり領域のうち、対となって現れたものを目の位置候補として選択し、各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定し、

フェードイン法で検出された画素の固まり領域であって漸次現れる画素の成長の停止したものを、縦方向の位置が重なるものごとにグループィ匕し、

グループ化した画素の固まり領域ごとに外接矩形を形成し、

該グループごとに形成した外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを口の位置候補とし、口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として特定する顔パーツの位置の検出方法を提供する。

[0011] カロえて、本発明は、上述の方法で口の位置を特定した後、フェードイン法で検出された画素の固まり領域であって漸次現れる画素の成長が停止したものごとに外接矩形を形成し、該画素の固まり領域ごとに形成した外接矩形のうち、両目の位置との位置関係から予測される所定領域内にあるものを鼻の位置候補とし、

鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する顔パーツの位置の検出方法を提供する。

[0012] さらに、本発明は、顔画像の取得手段と演算手段を備えた目の位置の検出システムであって、演算手段が、

顔画像から、明度が逐次変化した複数のグレースケール画像を作成する機能、グレースケール画像が高明度でフェードアウトした状態力低明度へフェードインするのに伴い、フードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、

検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び

各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する機能を備えた演算手段を備えた目の位置の検出システムを提供し、この場合に、顔画像の取得手段が、静止画像又は動画像が撮影可能なカメラである態様を提供する。

[0013] また、本発明は、顔画像の取得手段と演算手段を備えた、顔パーツの位置の検出システムであって、演算手段が、

検出した画素の固まり領域のうち、対となって現れたものを目の位置候補として選択する機能、

各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する機能、

検出した画素の固まり領域であって漸次現れる画素の成長が停止したもののうち、縦方向の位置が重なるものをグループ化する機能、

グループ化した画素の固まり領域ごとに外接矩形を形成する機能、

該グループごとに形成した外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを口の位置候補とする機能、

口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として選択する機能、

検出した画素の固まり領域であって漸次現れる画素の成長が停止したものごとに外接矩形を形成する機能、

該画素の固まり領域ごとに形成した外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを鼻の位置候補とする機能、及び

鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する機能を備えている検出システムを提供し、この場合に、顔画像の取得手段が、静止画像又は動画像が撮影可能なカメラである態様を提供する。

発明の効果

[0014] 本発明の目の位置の検出方法あるいは検出システムによれば、顔画像から、明るさが逐次変化した複数のグレースケール画像を作成し、グレースケール画像が高明度でフェードアウトした状態力低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を目の位置候補として検出し、目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定するので、照明環境、被験者の肌色、被験者の瞳の色、顔画像における顔の向き等にかかわらず、目の位置を信頼性高く検出することができ、さらにパターンマッチングが不要であるため、高速の演算処理により目の位置を検出することができる。

[0015] したがって、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成や、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成等のように、目の位置を基準に用いて複数の画像情報をフィッティングさせることによりシミュレーション画像を形成する場合に、本発明の方法あるいはシステムを用いて目の位置を検出すると、目の位置の検出精度が高いことにより、自然さのあるシミュレーション画像を形成することが可能となる。また、個人情報保護のための目隠し処理のように、目の位置を基準としてモザイク、塗りつぶし等の画像処理を行う場合にも、本発明の方法あるいはシステムを好適に用いることができる。さらに、これらの画像処理を高速で行えることから、これらの画像処理を静止画だけでなく動画においても行うことが可能となる。

[0016] 本発明の目の位置の検出方法あるいは検出システムと同様に、本発明の顔パーツの位置の検出方法あるいは検出システムによれば、まず、顔画像からフェードイン法で得られる画素の固まり領域を目の位置候補として検出し、目の位置候補の全ダレ一スケール画像にわたる出現度数に基づいて目の位置を特定する。次に、フェードイン法で得られる画素の固まり領域であって漸次現れる画素の成長が停止したものをグループ化し、グループ化した画素の固まり領域ごとに外接矩形を想定し、そのグループごとに形成した外接矩形と目との位置関係及び外接矩形の横幅から口の位置を特定する。さらに、フェードイン法で得られる画素の固まり領域であって漸次現れる画素の成長が停止したものごとの外接矩形も想定し、その画素の固まり領域ごとに形成した外接矩形と目との位置関係、口との位置関係及び外接矩形の横幅から鼻の位置を特定する。したがって、照明環境、被験者の肌色、被験者の瞳の色、顔画像における顔の向き等にかかわらず、目、口、鼻の位置を信頼性高く検出することができ、さらにパターンマッチングが不要であるため、高速の演算処理により目、口、鼻の位置を検出することができる。

[0017] よって、化粧後の目、鼻、口といった顔パーツないしそれらの周辺領域の画像を被験者の顔画像にフィッティングさせるメイクアップシミュレーション画像の形成等において、自然さのあるシミュレーション画像を、演算装置を用いて自動的に簡便に形成することが可能となる。図面の簡単な説明

[図 1A]図 1Aは目の位置の検出方法の流れ図である。

[図 1B]図 1Bは動画像における目の位置の検出方法の流れ図である。

[図 1C]図 1Cは顔パーツの位置の検出方法の流れ図である。

[図 2]図 2は目の位置の検出システムのブロック図である。

[図 3]図 3は目の位置の検出対象領域の説明図である。

[図 4]図 4は明度を逐次変化させたグレースケール画像である。

[図 5]図 5は明度を逐次変化させたグレースケール画像の階調反転画像である。

[図 6]図 6はあるフェードイン画像における画素の固まり領域の説明図である。

[図 7]図 7は目の位置候補を、グレースケール画像の全階層にわたって集積した状態の説明図である。

[図 8]図 8は検出した目の位置を表示した元画像である。

[図 9A]図 9Aは傾、て、る顔画像である。

[図 9B]図 9Bは傾きを補正した顔画像である。

[図 10]図 10は口の位置と鼻の位置の検出対象領域の説明図である。

[図 11]図 11は画素の固まり領域の外接矩形及びそのグループ化の説明図である。圆 12]図 12は口又は鼻の位置候補とする外接矩形の選択方法の説明図である。符号の説明

1 撮像装置

2 パソコン本体

3 ディスプレイ

4 イメージスキャナ

5 プリンタ

10 目の位置の検出システム

20 グレースケーノレ顔画像

21 目の位置の検出対象領域とする矩形枠

21，口の位置、鼻の位置の検出対象領域とする矩形枠

30 画素の固まり領域の外接矩形をグループ化した外接矩形 31、 32、 33、 34 画素の固まり領域の外接矩形

40、 41、 42 円

発明を実施するための最良の形態

[0020] 以下、図面を参照しつつ本発明を詳細に説明する。

[0021] 図 1Aは、本発明の目の位置の検出方法の一実施例を示す流れ図、図 1Bは、本発明の目の位置の検出方法を動画像で行う一実施例の流れ図、図 1Cは、目、口、鼻の位置を順次検出する方法の一実施例を示す流れ図であり、図 2は、これらの方法を実施するシステムのブロック図である。

[0022] このシステム 10は、撮像装置 1及びパソコン本体 2から力なっており、パソコン本体 2には、ディスプレイ 3、イメージスキャナ 4、プリンタ 5等が接続されている。

[0023] 撮像装置 1は、被験者の顔画像の取得手段として設けられており、デジタルスチルカメラ、デジタルビデオカメラ、ウェブカメラ等の市販の静止画像又は動画像が撮影可能なカメラを使用することができる。動画像を目の位置の検出対象とする場合には、必要に応じて、撮像装置 1とパソコン本体 2の間にビデオキヤプチヤーを接続する。

[0024] パソコン本体 2は、明度が逐次変化した複数のグレースケール画像 (例えば、 256 階調のグレースケール画像の階層にお、て、画素値が 2〜3階調ずつ変化したもの）を作成する画像処理機能を備えてヽる。

[0025] グレースケール画像の作成手法としては、各画素において、（1)R、 G、 Bの各値の最大値と最小値の平均を利用する方法、（2)R、 G、 Bの各値の平均を利用する方法、 (3)R、 G、 Bの各値に所定の重み付け係数 (NTSC等)を掛けた後、それらの平均をとる方法等がある力本発明においては、（3)の手法において、例えば次式

Y (出力輝度） =0.298912 XR+0.568811 X G + 0.114478 X B

を利用し、階調を 2〜3階調ずつ変化させることが好ましい。このようなグレースケールイ匕の画像処理機能は、例えば、アドビシステム社製フォトショップ等の市販のィメージ処理ソフトをパソコン本体 2に搭載することにより得ることができる。

[0026] また、パソコン本体 2は、明度の変化に伴ってコントラストを変化させる機能 (例えば、明度を高くするにした力 ^、コントラストを下げ、また、明度を低くするにしたがいコントラストをあげる機能）、グレースケール画像の階層を明度の低い又は高い順にリスト番号を付けて管理する機能、グレースケール画像の階層において、明度が高明度でフエードアウトした状態力低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全階層のグレースケール画像にわたる出現度数をカウントし、その値に基づいて目の位置を特定する機能などを有して、る。

[0027] さらに、パソコン本体 2は、顔画像のサイズの調整機能、顔画像に目の位置の検出対象領域を設定する機能、顔画像のぼかし機能、検出する画素の固まり領域の縦方向及び横方向のサイズを予め所定範囲内に設定する機能、目の位置候補から特定の目の位置を特定する際の目の位置条件として目の位置候補相互の位置関係や目の位置候補の幅等を記憶する機能、目の位置候補から目の位置条件を満たすものを選択し、目の位置として特定する機能等を有している。

[0028] この他、動画像を目の位置の検出対象とする場合、パソコン本体 2は、撮像装置 1 力所定のフレームレートで転送されるフレームを必要に応じて選択する機能、あるフレームについて目の位置が特定された場合に、その位置を記憶し、その位置の周辺を次フレームにおける目の位置の検出対象領域とする機能等を有している。

[0029] また、目の位置の検出の他、顔パーツの検出も行う場合には、このパソコン本体 2 は、上述した機能に加え、各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する機能を有し、また、検出した画素の固まり領域であって漸次現れる画素の成長が停止したもののうち、縦方向の位置が重なるものをグループ化する機能、グループ化した画素の固まり領域ごとに外接矩形を形成する機能、このグループごとに形成した外接矩形のうち、両目と特定の位置関係にあるものを口の位置候補とする機能、口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として特定する機能を有し、さらに、検出した画素の固まり領域ごとに外接矩形を形成する機能、この画素の固まり領域ごとに形成した外接矩形のうち、両目と特定の位置関係にあるものを鼻の位置候補とする機能、鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する機能などを有する。 [0030] このシステム 10を用いた静止画像における目の位置の検出方法では、図 1Aの流れ図のように、まず、目の位置の検出対象とする顔画像をパソコン本体 2に取得する。顔画像は、例えば、撮像装置 1で対象者の顔画像を撮り、それをパソコン本体 2〖こ取り込ませてもよぐイメージスキャナ 4を用いて対象者の顔写真を読み取ることによつてもよぐインターネット等の通信回線を利用して取得してもよい。

[0031] 次に、必要に応じて、顔画像の画素数を目の位置の検出処理に適したサイズに調整する。より具体的には、顔画像の画素数が多すぎると検出処理に過度の負担が掛かり、少なすぎると目の位置の検出精度が低下するため、 480 X 360〜320 X 240 程度に画像サイズを変更する。

[0032] また、顔画像がシャープであると、後の画像処理で細か!/、エッジが多数現れ、目の位置候補の検出のノイズとなるので、必要に応じて顔画像にぼかし処理を行う。この場合、ぼ力しの程度は、弱〜中とすることが好ましぐ例えば、各画素について、注目点の画素とその周囲の 25画素に対して 1〜5の重み付ぼかしフィルタを使用して輝度の平均値を出力するぼかし処理を行う。このぼ力し処理は、必要に応じて複数回行っても良い。

[0033] さらに、本発明の目の位置の検出方法においては、顔画像にカラー情報は不要であるため、取得した画像がカラー画像の場合には、後の処理量を低減させるため、グレースケール画像に変換する。

[0034] 次に、取得した顔画像において、目の位置の検出対象領域を予め設定しておくことが好ましい。例えば、図 3のように、グレースケール顔画像 20に対し、目の位置の検出対象領域として矩形枠 21を設定する。この矩形枠 21の設定方法としては、顔画像 20について、縦辺の長さの 1Z8を Aとした場合に、縦 3A、横 4Aの領域を、その領域の中心 O力顔画像 20の中心座標と重なるように形成すればよぐここで、顔画像 20の中心座標は、顔画像 20の横幅の中心線上で顔画像 20の上辺から 3. 5Aの位置とすればよい。このように目の位置の検出対象領域として矩形枠 21を設定する方法は、上半身が写っている任意の画像に対して適用することができる。

[0035] 次に、図 4に示すように、明度が逐次変化した複数のグレースケール画像を形成する。より具体的には、例えば 256階調のグレースケール画像において、完全にフエ一ドアウトした画素値 0の画像力も漸次明度を低下させたフェードイン画像を 30〜： LOO 階層程度作成する。この 30〜： L00階層の画像の中に目の部分が必ず現れる。この場合、明度を上げるにつれてコントラストを下げ、明度を下げるにつれてコントラストをあげると、フェードイン画像中に目の部分がより鮮明に現れるので好ましい。

[0036] 図 4からわ力るように、グレースケール画像の明度をあげて完全にフェードアウトさせた画像力逐次明度を低下させてフェードイン画像の階層を形成していくと、通常、まず最初に瞳に画素の固まりが検出され、次に鼻や口に画素の固まりが検出される。また、瞳領域の画素の固まりは左右一対として現れるので、左右一対の画素の固まりを選択する。階層によっては、瞳の他に口元、眉、額等の領域にも、画素の固まり領域が対になって現れる力この段階では、これらの画素の固まり領域も目の位置候補として選択する。

[0037] なお、画素の固まり領域の検出においては、画像処理を簡便に行えるようにする点から、逐次明度が変化したグレースケール画像の階調を、図 5に示すように反転させることが好ましい。

[0038] また、目の位置候補として検出する画素の固まりの条件として、前述のようにグレースケール顔画像 20の縦辺の長さの 1Z8を Aとした場合に、画素の固まりの領域の大きさを縦 0. 4A〜0. 7A、好ましくは 0. 5A〜0. 7A、横 0. 5A〜1. OA、好ましくは 0 . 7A〜1. OAの範囲内に設定しておく。通常、目の位置にある画素の固まり領域の大きさは、この範囲内の大きさを有するので、このような大きさの条件を設定しておくことにより、目の位置の検出に要する後の処理量を軽減することができる。

[0039] 図 6は、ある階層のフェードイン画像において、顔領域中に現れた画素の固まり領域を矩形で示し、さらにこれらのうち対をなしているものを直線で結んだものである。なお、図 6では、画素の固まり領域の対をわ力りやすくするために画素の固まり領域を外接矩形で囲っているが、目の位置の検出に際し、画素の固まり領域を外接矩形で囲むことは必ずしも必要ではな、。

[0040] 対をなしている画素の固まり領域のうち、目の位置候補として選択するものの条件として、予め次の (1)〜(4)を設定しておくことが好ましい。

(1)左右一対の画素の固まり領域の横方向の距離が一定の範囲にあること (2)左右一対の画素の固まり領域の縦方向の距離が一定の範囲にあること

(3)左右一対の画素の固まり領域のうち、左側の画素の固まり領域が、顔画像の矩形枠 21の左半分の領域にあること

(4)左右一対の画素の固まり領域のうち、右側の画素の固まり領域が、顔画像の矩形枠 21の右半分の領域にあること

[0041] 次に、図 7に示すように、各フェードイン画像毎に現れた一対の目の位置候補を、グレースケール画像の全階層にわたって集積し、その出現度数をカウントし、この力ゥント数の多い順にランキングリストを作成する。このカウントでは、フェードアウトした顔画像力段階的に明度を下げていった場合に最初に現れ、最終段階まで現れ続ける瞳領域の目の位置候補が通常、最大カウント (ランキング第 1位)となる。そこで、原則的には、この最大カウントの目の位置候補の位置を目の位置と特定する。

[0042] ただし、次の (a)〜(c)の条件を全て満たした場合、ある、は (d)の条件を満たした場合には、カウント数が 2番目に多力つた目の位置候補の位置を目の位置として特定する。

(a)ランキング第 2位の目の位置候補が、ランキング第 1位の目の位置候補より上方にある場合

(b)ランキング第 2位の目の位置候補の中心間距離が、ランキング第 1位の目の位置候補の中心間距離より長い場合

(c)ランキング第 2位の目の位置候補の左右の瞳にあたる領域が、共にランキング第 1 位の目候補の左右の瞳にあたる位置よりも外側にある場合

(d)ランキング第 1位の目の位置候補とランキング第 2位の目の位置候補の縦方向の距離が、目と眉の距離程度に離れ、ランキング第 1位の目の位置候補力 Sランキング第 2位の目の位置候補よりも上にある場合

[0043] このうち、（a)〜(c)は、ランキング第 1位がまれに口領域になることがあるのに対し、口の位置を目の位置であると誤判定しないためのものであり、（d)は、目の周りの眉等を目の位置であると誤判定しな、ためのものである。

[0044] 以上により、図 8に示すように、顔画像 (画像処理する前の元画像）において、目の位置 (より正確には瞳の位置）を正確に検出することが可能となる。 [0045] 一方、このシステム 10を用いた動画像における目の位置の検出方法では、図 1Bに示すように、まず、撮像装置 1から転送された動画像のフレームを顔画像として取得し、このフレームにおける目の位置を検出する。目の位置の検出方法自体は、静止画像における目の位置の検出と同様に、グレースケール画像において明度を逐次変化させたフェードイン画像の階層の形成、フェードイン画像に現れる画素の固まりの検出、目の位置候補 (左右一対になって現れた画素の固まり領域)の選択、グレースケール画像の全階層にわたる目の位置候補の集積とその出現度数のカウント、最大カウントによる目の位置の特定、目の位置候補の位置や目と目の中心間距離による特定の修正等を行う。

[0046] ただし、撮像装置 1から転送されたイニシャルフレームにお、ては、目の位置の検出対象領域は、特定の領域に限定することなぐ画像全体とすることが好ましい。

[0047] 次に、特定された目の位置の適否を判断する。この判断方法としては、例えば、画素値 0から 255の間で 100階層のフェードイン画像を作成した場合、最大カウント数力以下のときには目ではないと判断する。なお、この方法で目の位置の適否を判断する場合、フェードイン画像の階層数と、目の適否を判断する最大カウント数とは比例するように決めればよい。したがって、画素値 0から 255の間で作成するフェードィン画像を 200階層にした場合は最大カウント数が 10以下の場合に目でないと判断する。

[0048] 目の位置の適否の判断により、目の位置が適正に検出されたと判断された場合には、このフレームにおける目の位置として登録する。

[0049] そして、撮像装置 1からその後に転送されるフレーム (これをフレーム Nとする）を取得し、登録した目の位置周辺のみを目の位置の検出対象領域として、上述と同様に目の位置を検出する。このフレーム Nでも目の位置が適正に検出されたと判断された場合にはその位置を登録し、さらに次のフレーム N+1では、直近で登録した目の位置周辺を検出対象領域とする。このように目の位置の検出対象領域を限定することにより、処理速度を速めることができる。

[0050] ここで目の位置が適正に検出された場合に、次のフレームで目の位置の検出対象領域とする目の位置周辺の設定は、例えば、目と目の中間点を中心とする矩形であつて、横方向が目と目の中心間距離の 1. 5〜3倍、好ましくは 1. 8〜2. 2倍、縦方向が目と目の中心間距離の 0. 5〜2倍、好ましくは 0. 8〜1. 2倍の範囲とする。

[0051] 一方、イニシャルフレームにおいて、特定された目の位置が不適であると判断された場合には、このフレームでは目の位置をこれ以上検出することなぐ次のフレームでの目の位置の検出に進む。

[0052] また、前述のフレーム Nで検出された目の位置の適否の判断において、不適と判断された場合には、このフレーム Nの画像全体を検出対象領域として目の位置を検出し、それにより目の位置が適正に検出されたと判断された場合には、これを登録し、次のフレーム N+1ではこの直近で登録された目の位置周辺を検出対象領域として目の位置を検出する。これに対し、フレーム Nにおいて画像全体を検出対象領域としても目の位置が適正に検出されなかった場合には、このフレーム Nでは、目の位置をこれ以上検出することなぐ次のフレーム N+1での目の位置の検出に進む。

[0053] なお、目の位置が適正に検出されない原因としては、（0目が画像中に存在しないこと、 (ii)目は存在していても目が閉じられていたこと、 (iii)目の位置が高速で移動したために目の画像がぶれたこと等がある力いずれの場合にも、あるフレームで目の位置が適正に検出されな力つた場合には、次のフレームで目の位置を検出する。

[0054] また、画像のサイズやフレームレートにより、目の位置の検出がフレームの転送に追 V、つかな、場合には、所定のフレーム数毎に目の位置の検出を行う。

[0055] 目の位置が適正に検出されな力つたフレームや、所定のフレーム数ごとに目の位置の検出を行うために目の位置を検出していないフレームでは、画像の内容や目の位置の検出目的に応じて、目の位置が検出されているフレームにおける目の位置を補完することにより目の位置を特定してもよぐまた、目の位置が検出されていないフレームはディスプレイに表示しな、ようにしてもよ！、。

[0056] 本発明の目の位置の検出方法は、目の位置の検出対象とする顔画像の被写体の肌の色、瞳の色、顔の向き、照明環境の変化によらず、精度よぐ簡便な演算方法で、高い処理速度で目の位置を検出することができる。したがって、白人、黒人を問わず、顔画像から目の位置を検出することができる。

[0057] こうして検出された目の位置は、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーシヨン画像の形成、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像の形成など、目の位置の検出が必要とされる種々の場面で利用することができる。

[0058] 本発明において、目の位置の他に、口、鼻という顔パーツの位置を検出する場合、図 1Cに示す流れ図のように、上述の方法で静止画像又は動画像で目の位置を検出した後、口の位置と鼻の位置を順次検出する。この場合、顔画像が図 9Aに示すように傾いている場合には、口の位置と鼻の位置の検出に先立ち、図 9Bに示すように、両目の瞳を結ぶ直線が水平になるように顔画像の座標を回転させ、顔画像の傾きを補正することが好ましい。

[0059] また、顔画像中、口と鼻の検出対象領域とする矩形枠を予め設定しておくことが好ましい。例えば、図 10に示すように、顔画像 20について、縦サイズの 1Z8を Aとした場合に、両目を 2つの頂点とする逆正三角形から上下方向にそれぞれ A、左右方向にそれぞれ 0. 5 Aだけ幅だしした矩形枠 21 'を設定する。

[0060] 口の位置の検出に際しては、目の位置の検出で使用したグレースケールの階層画像において、好ましくは設定した矩形枠 21 '内で、検出された画素の固まり領域であつて漸次現れる画素の成長が停止したものを縦方向の位置が重なるものごとにダループ化する。例えば、図 11に示すように、画素の固まり領域 A、 Bは一つのグループ Cにグループ化される。

[0061] なお、画素の固まり領域をグループィ匕するに際し、グループィ匕後の最大領域は、横方向が、両目の瞳の距離の 1. 1倍、縦方向が両目の瞳の距離の 0. 6倍を超えないようにする。これにより、不要なノイズを、口の位置を検出するための画素の固まり領域のグループ力排除することができる。

[0062] グループ化した画素の固まり領域ごとに外接矩形を形成し、当該グループごとに形成した外接矩形のうち、両目の位置と特定の関係にあるもの、より具体的には、図 12 に示すように、両目の瞳の位置を左右の頂点とする逆正三角形 Tを描き、その逆正三角形 Tの下頂点を中心とする、直径が該逆正三角形の一辺長さの 0. 65〜： L 0倍の円 40を描き、一方、グループ Cの外接矩形 30の中心を円の中心とする外接矩形 3 0に内接する円 41を描き、この円 41が上述の円 40と重なりを有する場合に、その重なりを有する円 41と対応する外接矩形 30を口の位置候補とする。

[0063] そして、口の位置候補とした外接矩形が複数存在する場合、横幅が最大である外接矩形を口の位置として特定する。

[0064] こうして口の位置とする外接矩形 30を特定した後、その特定した外接矩形の横幅を、口を構成する画素の横幅とする。

[0065] ここで、口の位置として選択した外接矩形の横幅が、両目の瞳を結ぶ直線の 2等分線を (逆三角形の下頂点）を跨がない場合には、その 2等分線を中心として、口の位置として選択した外接矩形が左右対称となるように、その外接矩形を横方向に伸張し、その伸張した矩形で口の位置を特定する。

[0066] なお、以上の処理で口の位置とする外接矩形となるものが存在しなかった場合には、フェードイン法による目の位置を次の目の位置候補 (カウントランキングが次の順位の目の位置）に特定して口の検出をやり直す。

[0067] 口の位置を特定した後は、鼻の位置を検出する。鼻の位置の検出に際しては、目の位置の検出で使用したグレースケールの階層画像にぉ、て、好ましくは図 11に示すように、設定した前述の矩形枠 21 '内において、検出された画素の固まり領域を格別グループィ匕することなぐ各画素の固まり領域ごとに外接矩形 31、 32、 33、 34を形成する。そして、形成した外接矩形 31、 32、 33、 34のうち、両目の位置と特定の関係にあるもの、より具体的には、口の位置の検出の場合と同様に、図 12に示すように、両目の位置を左右の頂点とする逆正三角形 Tを描き、その逆正三角形 Tの下頂点を中心とする、直径が該逆正三角形の一辺長さの 0. 5〜0. 7倍の円 42を描き、一方、各外接矩形 31、 32、 33、 34の中心を円の中心とする各外接矩形 31、 32、 33、 34に内接する円を描き、その円が上述の円 42と重なりを有する場合に、その重なりを有する円と対応する外接矩形 32、 33を鼻の位置候補とする。

[0068] そして、鼻の位置候補とした外接矩形 32、 33のうち、その下辺が、口の位置として特定した外接矩形 30の上辺よりも上方にあり、横幅が最大のものを鼻の位置として、より詳細には、鼻の位置として特定した外接矩形の下辺により、鼻の下端の位置と幅を特定する。

[0069] ここで、鼻の位置として特定した外接矩形の横幅が、両目の瞳を結ぶ直線の 2等分線を (逆三角形の下頂点）を跨がない場合には、その 2等分線を中心として、鼻の位置として選択した外接矩形が左右対称となるように、その外接矩形を横方向に伸張し、その伸張した矩形の下辺で鼻の下端の位置と幅を特定する。

[0070] こうして鼻と口の位置を特定するにあたり、図 9Aに示したように、傾いている顔画像を、図 9Bに示したように、傾きを補正した場合には、眼、鼻、口の位置を特定後、座標を逆回転させ、それらの位置を当初の傾いている顔画像における位置に変換する産業上の利用可能性

[0071] 本発明は、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフイツティングさせる髪型シミュレーション画像の形成、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成、顔画像の目隠し処理、顔画像のフレーム処理など、静止画像又は動画像の顔画像の画像処理において、目の位置の検出が必要とされる種々の場面で有用となる。

[0072] また、本発明は、目の位置、口の位置、鼻の位置の検出が必要とされる化粧シミュレーシヨン画像の形成等においても有用となる。

Claims

請求の範囲

[1] 顔画像から、明度が逐次変化した複数のグレースケール画像を作成し、

検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する目の位置の検出方法。

[2] 目の位置候補相互の位置関係又は目の位置候補の横幅に基づ!、て目の位置を特定する請求項 1記載の目の位置の検出方法。

[3] グレースケール画像の階調を反転させ、画素の固まり領域を検出する請求項 1又は

2記載の目の位置の検出方法。

[4] 顔画像が、静止画像又は動画像のフレームである請求項 1〜3のいずれかに記載の目の位置の検出方法。

[5] 動画像の一つのフレームで目の位置が特定された場合に、その後のフレームにお

V、て直近で特定された目の位置の周辺領域を目の位置の検出対象領域とする請求項 4記載の目の位置の検出方法。

[6] 顔画像にフェードイン法を行い、検出された画素の固まり領域のうち、対となって現れたものを目の位置候補として選択し、各目の位置候補の全グレースケール画像にわたる出現度数に基づ、て目の位置を特定し、

該グループごとに形成した外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを口の位置候補とし、

口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として特定する顔パーツの位置の検出方法。

[7] 両目の瞳を左右の頂点とする逆正三角形を描き、その逆正三角形の下頂点を中心とする、直径が該逆正三角形の一辺の長さの 0. 65〜： L 0倍の円を描き、その円と、外接矩形の中心に位置する内接円とが重なる当該外接矩形を口の位置候補とする請求項 6記載の顔パーツの位置の検出方法。

[8] 顔画像が、静止画像又は動画像のフレームである請求項 6又は 7記載の顔パーツの位置の検出方法。

[9] 動画像の一つのフレームで目の位置が特定された場合に、その後のフレームにお

V、て直近で特定された目の位置の周辺領域を目の位置の検出対象領域とする請求項 8記載の顔パーツの位置の検出方法。

[10] 請求項 6〜9の、ずれかに記載の方法で口の位置を特定した後、フェードイン法で検出された画素の固まり領域であって漸次現れる画素の成長が停止したものごとに外接矩形を形成し、

該画素の固まり領域ごとに形成した外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを鼻の位置候補とし、

鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する顔パーツの位置の検出方法。

[11] 両目の瞳を左右の頂点とする逆正三角形を描き、その逆正三角形の下頂点を中心とする、直径が該逆正三角形の一辺の長さの 0. 5〜0. 7倍の円を描き、その円と、画素の固まり領域ごとに形成した外接矩形の中心に位置する内接円とが重なる当該外接矩形を鼻の位置候補とする請求項 10記載の顔パーツの位置の検出方法。

[12] 顔画像の取得手段と演算手段を備えた目の位置の検出システムであって、演算手段が、

各目の位置候補の全グレースケール画像にわたる出現度数に基づいて目の位置を特定する機能を備えた演算手段を備えた目の位置の検出システム。

[13] 演算手段が、目の位置候補相互の位置関係又は目の位置候補の横幅に基づ!、て目の位置を特定する機能を有する請求項 12記載の目の位置の検出システム。

[14] 顔画像の取得手段が、静止画像又は動画像が撮影可能なカメラである請求項 12 又は 13記載の目の位置の検出システム。

[15] 顔画像の取得手段と演算手段を備えた顔パーツの位置の検出システムであって、演算手段が、

口の位置候補とした外接矩形のうち、横幅が最大のものを口の位置として特定する機能、

該画素の固まり領域ごとに形成した外接矩形のうち、両目との位置関係から予測される所定領域内にあるものを鼻の位置候補とする機能、及び鼻の位置候補とした外接矩形のうち、その下辺が、口の位置として特定した外接矩形の上辺よりも上方にあり、横幅が最大のものを鼻の位置として特定する機能を備えている顔パーツの位置の検出システム。

顔画像の取得手段が、静止画像又は動画像が撮影可能なカメラである請求項 15 記載の顔パーツの位置の検出システム。