WO2007013529A1

WO2007013529A1 - 顔画像検出装置、顔画像検出方法および顔画像検出プログラム

Info

Publication number: WO2007013529A1
Application number: PCT/JP2006/314806
Authority: WO
Inventors: Toru Yonezawa; Kozo Kawata
Original assignee: Glory Ltd.
Priority date: 2005-07-27
Filing date: 2006-07-26
Publication date: 2007-02-01
Also published as: CN101228552A; EP1909228A1; JP4410732B2; EP1909228B1; KR20080031031A; CA2616460A1; KR101445281B1; BRPI0614109A2; CN101228552B; US20090041357A1; JP2007034723A; EP1909228A4; US8311291B2

Abstract

　顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数のテンプレート（１２ａ～１２ｃ）に係る情報を記憶し、記憶した異なる複数のテンプレート（１２ａ～１２ｃ）を用いることにより画素を抽出し、抽出した画素の特徴量を用いて画像中の顔パーツ画像を検出し、検出した顔パーツ画像に基づいて画像から顔画像を検出することにより、顔画像の検出精度を向上させるとともに、顔画像の検出処理に要する時間を短縮する。

Description

明細書

顔画像検出装置、顔画像検出方法および顔画像検出プログラム技術分野

[0001] 本発明は、画像中に存在する顔画像を検出する顔画像検出装置、顔画像検出方法および顔画像検出プログラムに関し、特に、顔画像の検出精度を向上させるとともに、検出処理に要する時間を短縮することができる顔画像検出装置、顔画像検出方法および顔画像検出プログラムに関する。

背景技術

[0002] 従来、監視カメラシステムなどにおいて、監視カメラが捉えた画像に人物の顔が映つて、るか否かを自動的に認識させる顔画像検出技術が知られて、る。このような顔画像検出技術の例として、部分空間法によるものや Integral Image法によるものなどがある。

[0003] 部分空間法を用いた顔画像検出技術の例としては、画像中の目や鼻などの顔パーッを部分空間を用いて認識し、さらに各顔パーツの位置の個人差を吸収するよう各顔パーツの認識結果を統合して顔の基準点を算出することにより顔画像検出をおこなうことを可能とした技術がある (特許文献 1を参照)。

[0004] また、 Integral Image法を用いた顔画像検出技術の例としては、画像中に複数の矩形領域を設定し、各矩形領域に含まれるすべての画素の特徴量の合計値を比較することにより顔画像検出をおこなう技術がある (特許文献 2および非特許文献 1を参照

) o

[0005] 特許文献 1：特開 2004— 54442号公報

特許文献 2：特開 2004 - 362468号公報

非特干文献 1： Paul Viola, Michael Jones, Rapid Object Detection using a Boosted Cascade of Simple Features", In Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Volume 1, pp.511— 518, December 20 01

発明の開示発明が解決しょうとする課題

[0006] し力しながら、上述した従来技術では、顔画像の検出処理に要する時間をさらに短縮しつつ、検出精度を向上させることが難しいという問題があった。

[0007] 具体的には、部分空間法を用いた顔画像検出技術においては、顔パーツを認識する際に顔パーツごとに処理が複雑な部分空間法を適用する必要があるため、処理時間が長くなつてしまう。また、顔パーツの認識結果を単に統合することにより顔の基準点を算定して、るため、エッジ部分が多、画像などで顔パーツでな、ものが顔パーッとして誤認識されると顔の検出精度が低くなつてしまう。

[0008] また、 Integral Image法を用いた顔画像検出技術にぉヽては、顔画像の検出処理に要する時間を短縮するため、特徴量の合計値を算出する矩形領域の面積が比較的大きく設定される。ところが、直射日光が顔に当たっている画像などでは矩形領域の面積が大きいと、特徴量の合計値が直射日光の影響により大きく変動し、顔画像検出が正常におこなわれなくなる可能性があった。

[0009] そのため、顔の検出精度を向上させるとともに、検出処理に要する時間を短縮することができる技術の開発が依然重要な課題として残っている。

[0010] この発明は、上述した従来技術による問題点を解消するためになされたものであり、顔画像の検出精度を向上させるとともに、検出処理に要する時間を短縮することができる顔画像検出装置、顔画像検出方法および顔画像検出プログラムを提供することを目的とする。

課題を解決するための手段

[0011] 上述した課題を解決し、目的を達成するため、請求項 1の発明に係る顔画像検出装置は、画像中に存在する顔画像を検出する顔画像検出装置であって、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶手段と、前記抽出パターン記憶手段に記憶された異なる複数の抽出パターンを用いることにより画素を抽出し、抽出した画素の特徴量を用いて画像中の顔パーツ画像を検出する顔パーツ画像検出手段と、前記顔パーツ画像検出手段により検出された顔パーツ画像に基づいて前記画像から顔画像を検出する顔画像検出手段とを備えたことを特徴とする。 [0012] また、請求項 2の発明に係る顔画像検出装置は、請求項 1の発明において、顔パーッ画像の検出に用いられる抽出パターンの機械学習を実行する抽出パターン学習手段をさらに備え、前記抽出パターン記憶手段は、前記抽出パターン学習手段により機械学習がなされた抽出パターンに係る情報を記憶することを特徴とする。

[0013] また、請求項 3の発明に係る顔画像検出装置は、請求項 1または 2の発明において、前記顔パーツ画像検出手段は、ある抽出パターンを用いて顔パーツ画像の検出をおこなった場合に、顔パーツ画像が検出されな力つた際の検出対象であった画素をつぎの抽出パターンを用いて顔パーツ画像の検出をおこなう際の検出対象とする画素から除外することを特徴とする。

[0014] また、請求項 4の発明に係る顔画像検出装置は、請求項 1、 2または 3の発明において、前記顔パーツ検出手段は、抽出した画素の特徴量を用いて画像が顔パーツ画像であるか否かを判別する判別分析を実行し、当該判別分析の結果に基づヽて顔パーツ画像を検出することを特徴とする。

[0015] また、請求項 5の発明に係る顔画像検出装置は、請求項 1〜4のいずれか 1つの発明において、前記顔パーツ画像検出手段は、画像中に含まれる画像パターンの方向および強度を算出し、算出した画像パターンの方向および強度を画素の特徴量として用いることにより画像中の顔パーツ画像を検出することを特徴とする。

[0016] また、請求項 6の発明に係る顔画像検出装置は、請求項 1〜5のいずれか 1つの発明において、前記顔画像検出手段は、前記顔パーツ画像検出手段により検出された顔パーツ画像の位置に基づ、て画像が顔画像である力否かを判定し、判定結果に基づいて前記画像から顔画像を検出することを特徴とする。

[0017] また、請求項 7の発明に係る顔画像検出装置は、請求項 6の発明において、前記顔画像検出手段は、顔パーツ検出手段により検出された顔パーツ画像の位置に基づいて顔画像の代表点を算出し、算出した代表点と前記顔パーツ画像検出手段により検出された顔パーツ画像の位置との間の位置関係に基づいて画像が顔画像であるカゝ否かを判定することを特徴とする。

[0018] また、請求項 8の発明に係る顔画像検出装置は、請求項 7の発明において、前記顔画像検出手段は、前記代表点を基準として画像を複数の領域に分割し、前記顔パーツ画像検出手段により顔パーツ画像が検出された場合の顔パーツ画像が位置する領域の情報に基づいて画像が顔画像であるか否かを判定することにより顔画像を検出することを特徴とする。

[0019] また、請求項 9の発明に係る顔画像検出方法は、請求項 8の発明において、前記顔画像検出手段は、顔パーツ画像の検出対象であった画素が位置する領域の情報を用いて画像が顔画像であるか否かを判別する判別分析を実行し、当該判別分析の結果に基づヽて顔画像を検出することを特徴とする。

[0020] また、請求項 10の発明に係る顔画像検出方法は、画像中に存在する顔画像を検出する顔画像検出方法であって、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶工程と、前記抽出パターン記憶工程において記憶された異なる複数の抽出パターンを用いることにより画素を抽出し、抽出した画素の特徴量を用いて画像中の顔パーツ画像を検出する顔パーツ画像検出工程と、前記顔パーツ画像検出工程により検出された顔パーツ画像に基づいて前記画像力ゝら顔画像を検出する顔画像検出工程とを含んだことを特徴とする。

[0021] また、請求項 11の発明に係る顔画像検出プログラムは、画像中に存在する顔画像を検出する顔画像検出プログラムであって、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶手順と、前記抽出パターン記憶手順にぉ、て記憶された異なる複数の抽出パターンを用いることにより画素を抽出し、抽出した画素の特徴量を用いて画像中の顔パーツ画像を検出する顔パーツ画像検出手順と、前記顔パーッ画像検出手順により検出された顔パーツ画像に基づいて前記画像から顔画像を検出する顔画像検出手順とをコンピュータに実行させることを特徴とする。

発明の効果

[0022] 請求項 1の発明によれば、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数の抽出パターンに係る情報を記憶し、記憶した異なる複数の抽出パターンを用いることにより画素を抽出し、抽出した画素の特徴量を用ヽて画像中の顔パーツ画像を検出し、検出した顔パーツ画像に基づ!ヽて画像力顔画像を検出することとしたので、抽出する画素の数を制御することにより顔パーッ画像の検出処理を高速におこなうことができ、それによつて顔画像の検出に要する時間を短縮することができるとともに、顔画像を検出する際の基となる顔パーツ画像を複数回検出することにより顔の検出精度を向上させることができるという効果を奏する。

[0023] また、請求項 2の発明によれば、顔パーツ画像の検出に用いられる抽出パターンの機械学習を実行し、機械学習がなされた抽出パターンに係る情報を記憶することとしたので、照明変動を受けにくい部分の画素を抽出する抽出パターンなどを効率的に選択することができるという効果を奏する。

[0024] また、請求項 3の発明によれば、ある抽出パターンを用いて顔パーツ画像の検出をおこなった場合に、顔パーツ画像が検出されな力つた際の検出対象であった画素をつぎの抽出パターンを用いて顔パーツ画像の検出をおこなう際の検出対象とする画素から除外することとしたので、顔画像の検出処理に要する時間をさらに短縮することができると!、う効果を奏する。

[0025] また、請求項 4の発明によれば、抽出した画素の特徴量を用いて画像が顔パーツ画像であるか否かを判別する判別分析を実行し、当該判別分析の結果に基づヽて顔パーツ画像を検出することとしたので、画像が顔パーツ画像であるか否かを効率的に判定することができ、顔画像の検出処理に要する時間をさらに短縮することができるという効果を奏する。

[0026] また、請求項 5の発明によれば、画像中に含まれる画像パターンの方向および強度を算出し、算出した画像パターンの方向および強度を画素の特徴量として用いることにより画像中の顔パーツ画像を検出することとしたので、画像パターンの方向および強度を特徴量として用いることによりエッジなどの画像パターンを精度よく検出でき、顔パーツ画像の検出精度を向上させることができるという効果を奏する。

[0027] また、請求項 6の発明によれば、検出した顔パーツ画像の位置に基づ、て画像が顔画像であるか否かを判定し、判定結果に基づヽて画像から顔画像を検出することとしたので、たとえ顔パーツ画像でなヽものを顔パーツ画像として誤検出した場合でも、適切にそれを把握することができ、顔画像の検出精度を向上させることができるという効果を奏する。

[0028] また、請求項 7の発明によれば、検出した顔パーツ画像の位置に基づ、て顔画像の代表点を算出し、算出した代表点と検出した顔パーツ画像との間の位置関係に基づ、て画像が顔画像である力否かを判定することとしたので、画像中の顔画像を代表する点の位置を適切に検出することができ、顔画像の検出精度を向上させることができるという効果を奏する。

[0029] また、請求項 8の発明によれば、代表点を基準として画像を複数の領域に分割し、顔パーツ画像が検出された場合の顔パーツ画像が位置する領域の情報に基づいて画像が顔画像であるカゝ否かを判定することにより顔画像を検出することとしたので、どの領域に顔パーツ画像があるかを調べることにより、顔パーツでないものを顔パーツとして誤検出した場合でも適切かつ効率的にそれを検出することができ、顔画像の検出精度を向上させることができるという効果を奏する。

[0030] また、請求項 9の発明によれば、顔パーツ画像が位置する領域の情報を用いて画像が顔画像であるカゝ否かを判別する判別分析を実行し、当該判別分析の結果に基づヽて顔画像を検出することとしたので、画像が顔画像であるか否かを効率的に判定することができ、顔画像の検出精度を向上させることができるという効果を奏する。

[0031] また、請求項 10の発明によれば、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数の抽出パターンに係る情報を記憶し、記憶した異なる複数の抽出パターンを用いることにより画素を抽出し、抽出した画素の特徴量を用いて画像中の顔パーツ画像を検出し、検出した顔パーツ画像に基づいて画像から顔画像を検出することとしたので、抽出する画素の数を制御すること〖こより顔パーツ画像の検出処理を高速におこなうことができ、それによつて顔画像の検出に要する時間を短縮することができるとともに、顔画像を検出する際の基となる顔パーツ画像を複数回検出することにより顔の検出精度を向上させることができるという効果を奏する。

[0032] また、請求項 11の発明によれば、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数の抽出パターンに係る情報を記憶し、記憶した異なる複数の抽出パターンを用いることにより画素を抽出し、抽出した画素の特徴量を用いて画像中の顔パーツ画像を検出し、検出した顔パーツ画像に基づいて画像から顔画像を検出することとしたので、抽出する画素の数を制御すること〖こより顔パーツ画像の検出処理を高速におこなうことができ、それによつて顔画像の検出に要する時間を短縮することができるとともに、顔画像を検出する際の基となる顔パーツ画像を複数回検出することにより顔の検出精度を向上させることができるという効果を奏する。

図面の簡単な説明

[図 1]図 1は、本発明に係る顔画像検出処理の概念について説明する図である。

[図 2]図 2は、本実施例に係る顔画像検出装置の機能構成を示す図である。

[図 3]図 3は、顔パーツ画像の検出をおこなう場合の顔パーツ画像の検出対象画素の除外処理について説明する図である。

[図 4]図 4は、本実施例に係る顔画像検出処理の処理手順を示すフローチャートである。

[図 5]図 5は、図 4のステップ S103に示した顔パーツ画像の検出処理の処理手順を示すフローチャートである。

[図 6]図 6は、図 2に示した画像処理装置のハードウェア構成を示す図である。

[図 7]図 7は、顔パーツ画像が存在すると予測される位置に顔パーツ画像があるか否かを判定する判定処理について説明する図である。

符号の説明

10 入力画像

11a, l ib, 11c 縮小画像

12a, 12b, 12c テンプレ

13 代表点

14 分割領域

20 入力部

21 表示部

22 学習処理部

23 縮小拡大画像生成部ガボール特徴画像生成部テンプレート選択部

顔パーツ画像検出部

顔画像代表点算出部

顔画像検出用特徴量生成部顔画像検出部

3し'

a 入力画像

b 縮小拡大画像

c ガボール特徴画像

d テンプレート情報

e 顔パーツ画像検出用線形判別式f 顔パーツ画像判別結果g 代表点設定情報

h 顔画像検出用線形判別式i 顔画像判別結果

制御部

a, 40b 存在確率分布

0 キーボード

1 ディスプレイ

2 ROM

3 媒体読取装置

4 ネットワークインターフェース5 CPU

5a 顔画像検出プロセス

6 HDD

7 HD

7a 顔画像検出プログラム 107b 各種データ

108 RAM

108a 各種データ

109 パス

発明を実施するための最良の形態

[0035] 以下に添付図面を参照して、本発明に係る顔画像検出装置、顔画像検出方法および顔画像検出プログラムの好適な実施例を詳細に説明する。

実施例

[0036] まず、本発明に係る顔画像検出処理の概念について説明する。図 1は、本発明に係る顔画像検出処理の概念について説明する図である。

[0037] 図 1に示すように、この顔画像検出処理においては、まず、顔画像が含まれているか否かを検出する対象となる入力画像 10から、縮小率が異なる複数の縮小画像 11a 〜： L ieが生成される。なお、ここでは、縮小画像 l la〜l lcを生成する場合について説明するが、入力画像 10に含まれる顔画像の大きさが所定の大きさよりも小さいとあらかじめ予測される場合には拡大率が異なる複数の拡大画像が生成される。また、入力画像 10に含まれる顔画像の大きさが予測できない場合には、縮小画像 l la〜l lcおよび拡大画像が両方とも生成される。これは、以下で説明するテンプレート 12a 〜 12cを画像に適用可能とするためである。そして、各画像に、右目、左目、鼻、口の顔パーツの画像が含まれている力否かが線形判別分析により判定される。

[0038] 具体的には、画像の各画素の画素値に対してガボールフィルタが適用され、画素ごとにエッジ強度およびエッジ方向が算出される。そして、顔パーツ画像の検出対象となる画素を中心とする四角形のテンプレート 12a〜12cが選択され、上記検出対象となる画素、および、その画素の周辺にある所定の数の画素におけるエッジ強度およびエッジ方向の情報が取得される。

[0039] ここでは、顔パーツ画像の検出対象となる画素の周辺にある画素として、四角形の四隅の点に対応する画素と、四角形の各辺の中点に対応する画素とが抽出され、検出対象となる画素と併せて合計 9つの画素におけるエッジ強度およびエッジ方向の情報が取得される。また、使用されるテンプレート 12a〜12cは、照明変動が少ない顔の部分の画素が選択されるように機械学習がなされたものである。

[0040] その後、取得された 9つの画素におけるエッジ強度およびエッジ方向の情報を用いて、顔パーツ画像の検出対象となる画素に対応する画像部分が顔パーツ画像であるか否かを判別する線形判別分析が実行される。

[0041] 具体的には、画像が顔パーツ画像か否かを判別する線形判別式にエッジ強度およびエッジ方向の値を入力して判別スコアを算出し、その判別スコアの値に基づいて上記判別がおこなわれる。

[0042] このように、 9つ分の画素の情報を用いて画像が顔パーツ画像である力否かを判定するので顔パーツの検出を高速に実行でき、また、 9つの画素間でのエッジ画像の変化を捉えることにより顔パーツの検出を適切におこなうことができる。

[0043] なお、テンプレート 12a〜12cは縦横の長さが異なるものが複数種類用意されており、そのような複数のテンプレート 12a〜 12cを用ヽて顔パーツ画像の検出をおこなうことにより顔パーツ画像の検出精度を向上させる。

[0044] また、ここでは、テンプレート 12a〜12cの形状を四角形にすることとした力四角形に限らず楕円形や円形などの形状にすることとしてもよい。ただし、特定の人の目などの顔パーツの形状にテンプレート 12a〜 12cの形状を依存させると、その他の人の顔パーツの検出精度が悪くなる可能性があるので、テンプレート 12a〜12cの形状を顔パーツの形状に依存しな、形状とするのが望まし、。

[0045] さらに、エッジ強度およびエッジ方向の情報を取得する画素の数は、 9つに限定されるものではない。画素の数を増やせば、顔パーツ画像の検出精度が上がり、画素の数を減らせば顔パーツ画像の処理速度が短縮される。したがって、この画素の数を適切に設定することにより、検出精度と処理速度とのバランスを調整することができる。

[0046] また、あるテンプレート 12a〜12cを用いて顔パーツ画像の検出処理をおこなった際、顔パーツ画像ではないと判定された場合には、顔パーツ画像の検出対象であつた画素を他のテンプレート 12a〜 12cを用、ておこなう顔パーツ画像の検出の検出対象となる画素から除外する。これにより、顔パーツ画像の検出処理に要する時間を大幅に縮小することができ、それによつて顔画像検出処理の処理時間を短縮することができるようになる。

[0047] 上記処理により各顔パーツ画像が検出された場合には、検出された各顔パーツ画像の位置に基づいて、顔画像の位置を代表する代表点 13が決定される。具体的には、各テンプレート 12a〜 12cを用、て顔パーツ画像が検出された検出対象の画素からみて、顔画像の代表点 13が存在する方向、および、距離 (画素数)をあらかじめ設定しておく。

[0048] そして、その方向および距離の設定情報に基づいて、各顔パーツ画像の位置から顔画像の代表点 13の位置の分布を算出し、その分布のピークを求めることにより顔画像の代表点 13を決定する。

[0049] 顔の代表点 13が決定されると、その代表点 13を中心として画像を所定の画素数で区切り、 9つの分割領域 14に分割する。具体的には、右目、左目、鼻、口の 4つの顔パーツ画像がそれぞれ左上、右上、中央、中央下の分割領域 14に含まれるように各分割領域 14の範囲を設定する。

[0050] このように各分割領域 14の範囲を設定すると、画像が顔画像である場合には顔パーッ画像が所定の位置に存在し、他の位置には無いはずであるため、それを確認することにより顔パーツ画像でないものが誤って顔パーツ画像として検出された場合に画像が顔画像ではないと判定でき、顔画像検出の精度を向上させることができる。

[0051] 具体的には、各分割領域 14に位置する右目、左目、鼻、口の 4つの顔パーツ画像の判別スコアの合計値を算出し、その合計値から画像が顔か顔以外かを判定するための 36次元（9領域 X 4顔パーツ）の特徴量を生成する。

[0052] そして、生成した特徴量を用いて、画像が顔画像か顔画像以外かを判定する 36次元の線形判別分析をおこなう。具体的には、線形判別式に特徴量を入力して判別スコアを算出し、その判別スコアが所定の閾値よりも大きい場合に画像が顔画像であると判定する。

[0053] 上述してきたような方法で顔画像検出処理をおこなうことにより、顔画像の検出に要する時間を従来の 10分の 1程度に短縮することができ、また、エッジの多い（高周波成分の多い）画像においては顔画像の検出精度を従来の 10倍程度に向上させることができるようになる。 [0054] つぎに、本実施例に係る顔画像検出装置の機能構成について説明する。図 2は、本実施例に係る顔画像検出装置の機能構成を示す図である。

[0055] 図 2に示すように、この顔画像検出装置は、入力部 20、表示部 21、学習処理部 22 、縮小拡大画像生成部 23、ガボール特徴画像生成部 24、テンプレート選択部 25、顔パーツ画像検出部 26、顔画像代表点算出部 27、顔画像検出用特徴量生成部 28 、顔画像検出処理部 29、記憶部 30および制御部 31を有する。

[0056] 入力部 20は、キーボードやマウスなどの入力デバイスである。表示部 21は、デイスプレイなどの表示デバイスである。学習処理部 22は、顔パーツ画像を検出する際に画像に適したテンプレート 12a〜 12cがどれかを学習する処理部である。具体的には、この学習処理部 22は、ブースティングアルゴリズムを用いて、照明変動が少ない画素などを抽出することができるテンプレート 12a〜12cがどれかを学習する。

[0057] 縮小拡大画像生成部 23は、入力画像 10を受け付けた場合に、その入力画像 10を異なる縮小率で縮小した複数の縮小画像 1 la〜： L lcや異なる拡大率で拡大した複数の拡大画像を生成する生成部である。具体的には、縮小拡大画像生成部 23は、線形補間をおこなうことにより複数の縮小画像 1 la〜l lcや拡大画像を生成する。ここで、入力画像 10を縮小するか拡大するかは、使用するテンプレート 12a〜12cの大きさと、入力画像 10に含まれる顔画像の予測される大きさとの関係により決定される。たとえば、使用するテンプレート 12a〜12cの大きさが縦横 20画素程度であり、予測される顔画像の大きさが縦横 20画素以下である場合には、縮小拡大画像生成部 23は、入力画像 10の拡大画像を生成する。顔画像の大きさが予測できない場合には、縮小拡大画像生成部 23は、縮小画像 l la〜l lcおよび拡大画像の両方を生成する。

[0058] ガボール特徴画像生成部 24は、縮小拡大画像生成部 23により生成された各画像に対してガボールフィルタを適用し、ガボール特徴画像を生成する生成部である。具体的には、ガボール特徴画像生成部 24は、画像から 7画素四方の領域を選択し、領域の 90度ごとの 4つの方向に対してガボールフィルタを適用することによりガボール特徴画像を生成する。なお、 7画素四方という大きさは、顔画像の大きさが 24画素四方のときに画像の右目と左目とが 12画素程度離れていることを仮定して設定されている

[0059] ガボールフィルタは

[数 1]

0 = -k, k = 0〜3

2 のように表される。また、 jは虚数単位であり、 0は方向（角度)であり、 λは波長であり、 σ , σ はスケーノレであり、 kは 90度ごとの 4つの方向である。

1 2

[0060] ガボール特徴画像生成部 24は、ガボールフィルタの実部 g ^realおよび虚部 g ^taagの値を算出し、それらの値力画像中の各画素に対して、以下に示す 5次元の要素 V〜

1

V力もなる特徴量を算出することによりガボール特徴画像を生成する。

5

[0061] ここで、上記特徴量の 1次元目の要素 Vは、

1

[数 2]

∑{(_gk1 + (_gk ^imag/} , k = 0 のように表される。この 1次元目の要素 Vは、画像に含まれるエッジの強度を表す!

1

である。

[0062] また、 2次元目から 5次元目までの要素 Vから Vは、

2 5

[数 3]

のように表される。この 2次元目力 5次元目までの要素は、画像に含まれるエッジの方向を表す量である。

[0063] テンプレート選択部 25は、顔パーツ画像を検出する際に、学習処理部 22により学習された結果を用いて画像に適したテンプレート 12a〜12cを複数選択する選択部である。顔パーツ画像検出部 26は、テンプレート選択部 25により選択されたテンプレート 12a〜 12cを用、て顔パーツ画像を検出する検出部である。

[0064] 具体的には、顔パーツ画像検出部 26は、最初のテンプレート 12a〜12cを用いて画像の画素を 9点ずつ選択し、それらの画素に対応するガボール特徴画像のエッジ強度およびエッジ方向の情報に基づいて画像が顔パーツ画像である力否かを判別する線形判別分析を実行する。

[0065] この線形判別分析で用いられる線形判別式は、

画

I のように表される。ここで、 a， aは係数であり、 wはテンプレート 12a〜12cにより選択

0 i i

された 9点における 5次元の特徴量 V〜Vの値が代入される変数であり、 iは 1から 45

1 5

(9点 X 5次元）までの値をとる。

[0066] 線形判別式の係数 aは、画像が顔パーツ画像か否かを適切に判別できるようにあら力じめ算出されたものである。この線形判別式に 9点における 5次元の特徴量 V〜V

1 5 の値を代入した際の Zの値 (判別スコア）が大きいほど、画像が顔パーツ画像である確度が高いと判定される。 [0067] そして、顔パーツ画像検出部 26は、使用したテンプレート 12a〜 12cの重みと判別スコアとを乗算した値を顔パーツ画像の検出対象である画素ごとに算出して照合値として設定し、照合値が所定の閾値よりも小さ、場合には画像が顔パーツ画像ではないと判定する。

[0068] 照合値が所定の閾値よりも大きい場合には、顔パーツ画像検出部 26は、つぎのテンプレート 12a〜 12cを使用して判別スコアを算出し、使用したテンプレート 12a〜 12 cの重みと判別スコアとを乗算した値を上記照合値に加算して新たな照合値として設定する。ここでも、照合値が所定の閾値よりも小さくなつた場合には、顔パーツ画像検出部 26は、画像が顔パーツ画像ではな!/、と判定する。

[0069] また、顔パーツ画像検出部 26は、画像が顔パーツ画像ではな!/、と判定し、つぎのテンプレート 12a〜12cを用いて新たに顔パーツ画像の検出をおこなう場合に、画像が顔パーツ画像ではないと判定した際の顔パーツ画像の検出対象画素をつぎのテンプレート 12a〜 12cを用、て顔パーツ画像の検出をおこなう際の検出対象画素から除外する。

[0070] 図 3は、顔パーツ画像の検出をおこなう場合の顔パーツ画像の検出対象画素の除外処理について説明する図である。図 3には、右目の画像を検出する場合の例が示されているが、他の顔パーツ画像を検出する場合も同様にして検出対象画素の除外処理がおこなわれる。

[0071] 図 3に示すように、顔パーツ画像検出部 26は、はじめのテンプレート 12a〜12cを適用する場合には、すべての画素のマスク値を「1」に設定し、すべての画素を右目の画像を検出する際の検出対象画素とする。

[0072] そして、顔パーツ画像検出部 26は、はじめのテンプレート 12a〜12cを適用して右目の画像の検出をおこなった結果、右目の画像ではないと判定した際の検出対象画素のマスク値を「0」に設定し、つぎのテンプレート 12a〜 12cを用ヽて右目の画像の検出をおこなう場合の検出対象画素からその画素を除外する処理をおこなう。

[0073] 図 2の説明に戻ると、顔画像代表点算出部 27は、顔パーツ画像検出部 26により検出された各顔パーツ画像の位置力顔画像の位置を代表する代表点 13の位置を算出する算出部である。 [0074] 具体的には、顔画像代表点算出部 27は、各テンプレート 12a〜12cを用いて各顔パーツ画像を検出した際の検出対象画素からみて、顔画像の代表点 13がどの方向に何画素分の距離にあるかを設定した代表点に係る設定情報を取得する。

[0075] そして、顔画像代表点算出部 27は、その代表点に係る情報と各顔パーツ画像の位置の情報とに基づいて、顔画像の代表点 13の位置の分布を算出し、所定のしきい値以上である点を求めることにより顔画像の代表点 13の位置を決定する。

[0076] 顔画像検出用特徴量生成部 28は、画像から顔画像を線形判別分析により検出する際に用いられる特徴量を生成する生成部である。具体的には、顔画像検出用特徴量生成部 28は、顔画像代表点算出部 27により算出された代表点 13を中心として画像を所定の画素数で区切ることにより画像を 9つの分割領域 14に分割する。

[0077] そして、顔画像検出用特徴量生成部 28は、各テンプレート 12a〜12cを適用することにより得られた顔パーツ画像ごとの照合値の合計値を、顔パーツ画像を検出した検出対象画素が位置する分割領域 14ごとに算出し、その合計値から画像が顔画像か顔画像以外かを判定するための 36次元（9領域 X右目、左目、鼻、口の 4つの顔パーッ）の特徴量を生成する。

[0078] 顔画像検出処理部 29は、顔画像検出用特徴量生成部 28により生成された 36次元の特徴量を用いて 36次元の線形判別分析をおこなうことにより画像力も顔画像を検出する処理部である。

[0079] なお、この線形判別分析により用いられる線形判別式は、式 (4)と同様のものである。ただし、この場合、 a , aは画像が顔画像か否かを適切に判別できるようにあらか

0 i

じめ算出された係数であり、 wは 36次元の特徴量の各値が代入される変数であり、 i は 1から 36までの値をとる。

[0080] 記憶部 30は、ハードディスク装置などの記憶デバイスである。この記憶部 30は、入力画像 30a、縮小拡大画像 30b、ガボール特徴画像 30c、テンプレート情報 30d、顔パーツ画像検出用線形判別式 30e、顔パーツ画像判別結果 30f、代表点設定情報 30g、顔画像検出用線形判別式 30h、および、顔画像判別結果 30iなどの各データを記憶する。

[0081] 入力画像 30aは、顔画像が検出される対象となる画像である。縮小拡大画像 30b は、入力画像 30aから生成された縮小率または拡大率が異なる複数の画像である。この縮小拡大画像 30bは、図 1などで説明した縮小画像 l la〜l lcまたは拡大画像に対応する。ガボール特徴画像 30cは、縮小拡大画像 30bに対してガボールフィルタを適用することにより得られた各画素 5次元の特徴情報力なる画像である。

[0082] テンプレート情報 30dは、顔パーツ画像を検出する際に利用されるテンプレート 12 a〜12cの情報である。具体的には、テンプレート情報 30dは、顔パーツ画像の検出対象画素に対する顔パーツ画像の検出時に抽出される 8つの画素の相対位置の情報、および、各テンプレート 12a〜 12cの重みの情報である。

[0083] 顔パーツ画像検出用線形判別式 30eは、顔パーツ画像を検出する際に用いられる線形判別式の情報である。顔パーツ画像判別結果 30fは、顔パーツ画像を検出した際の線形判別分析の結果の情報を記憶したものである。具体的には、顔パーツ画像判別結果 30fは、線形判別分析により検出された各顔パーツ画像を検出した検出対象画素の位置情報や使用したテンプレートの情報 12a〜12c、判別スコア、照合値の情報などを記憶したものである。

[0084] 代表点設定情報 30gは、各顔パーツ画像と顔画像の代表点 13との間の位置関係の設定情報を記憶したものである。具体的には、代表点設定情報 30gは、顔パーツ画像が検出された際の検出対象の画素力もみた場合の代表点 13が存在する方向、および、距離 (画素数)を設定した情報を各顔パーツごとに記憶したものである。

[0085] 顔画像検出用線形判別式 30hは、顔画像を検出する際に用いられる線形判別式の情報である。顔画像判別結果 30iは、顔画像を検出した際の線形判別分析の結果の情報を記憶したものである。具体的には、顔画像判別結果 30iは、顔画像の代表点 13の位置情報や、画像が顔画像であるカゝ否かを線形判別分析により判別した場合の判別スコアの情報などを記憶したものである。

[0086] 制御部 31は、顔画像検出装置を全体制御する制御部であり、顔画像検出装置の各機能部間におけるデータの授受を司る。

[0087] つぎに、本実施例に係る顔画像検出処理の処理手順について説明する。図 4は、本実施例に係る顔画像検出処理の処理手順を示すフローチャートである。

[0088] 図 4に示すように、まず、顔画像検出装置の縮小拡大画像生成部 23は、顔画像の検出がおこなわれる画像の入力を受け付け (ステップ S101)、受け付けた画像から縮小率が異なる複数の縮小画像 l la〜 11cを生成する (ステップ S102)。なお、ここでは、縮小拡大画像生成部 23が縮小画像 l la〜l lcを生成する場合を例として記載しているが、縮小拡大画像生成部 23が拡大画像を生成する場合、あるいは、縮小画像 1 la〜l lcおよび拡大画像の両方を生成する場合も以下に説明する処理と同様の処理がおこなわれる。

[0089] 続、て、ガボール特徴画像生成部 24、テンプレート選択部 25、および、顔パーツ画像検出部 26は、縮小率が異なる複数の縮小画像 l la〜l lcに対して複数のテンプレート 12a〜12cを適用し、線形判別分析により照合値を算出して、右目、左目、鼻、口の各顔パーツ画像を検出する処理をおこなう（ステップ S 103)。この顔パーツ画像の検出処理については、図 5において詳しく説明する。

[0090] そして、顔画像代表点算出部 27は、ガボール特徴画像生成部 24、テンプレート選択部 25、および、顔パーツ画像検出部 26により検出された顔パーツ画像の位置から顔画像の代表点 13の位置を算出する (ステップ S 104)。

[0091] 続いて、顔画像検出用特徴量生成部 28は、顔画像代表点算出部 27により算出された代表点 13を中心として画像を所定の画素数で区切ることにより画像を 9つの分割領域 14に分割し、顔パーツ画像ごとの照合値の合計値を、顔パーツ画像を検出した検出対象画素が位置する分割領域 14ごとに算出し、その合計値から画像が顔画像か顔画像以外かを判定するための 36次元の特徴量を生成する (ステップ S105)。

[0092] その後、顔画像検出処理部 29は、 36次元の特徴量を用いた線形判別分析により画像から顔画像を検出する顔画像検出処理を実行し (ステップ S106)、顔画像の検出結果を出力して (ステップ S 107)、この顔画像検出処理を終了する。

[0093] つぎに、図 4のステップ S103に示した顔パーツ画像の検出処理の処理手順について説明する。図 5は、図 4のステップ S103に示した顔パーツ画像の検出処理の処理手順を示すフローチャートである。

[0094] 図 5に示すように、まず、ガボール特徴画像生成部 24は、式（2)および式（3)を用いて、各画素が 5次元の要素から構成されるガボール特徴画像を生成する (ステップ S201)。そして、顔パーツ画像検出部 26は、はじめに画像を検出する顔パーツを設定する（ステップ S 202)。

[0095] 続いて、顔パーツ画像検出部 26は、すべての画素を顔パーツ画像を検出する検出対象画素とするように、画像のすべての画素のマスク値を「1」に初期化する (ステツプ S203)。そして、テンプレート選択部 25は、学習処理部により学習された結果に基づいて、入力画像 10から顔パーツ画像を検出するのに適したテンプレート 12a〜12 cを選択する（ステップ S204)。

[0096] その後、顔パーツ画像検出部 26は、顔パーツ画像を検出する対象画素を 1つ選択し (ステップ S 205)、選択した画素のマスク値が「1」である力否かを調べる（ステップ S

206)。

[0097] マスク値が「1」である場合には (ステップ S206, Yes)、顔パーツ画像検出部 26は、テンプレート 12a〜12cにより指定された画素のガボール特徴画像における 5次元の特徴量を用いて線形判別分析を実行し (ステップ S 207)、判別スコアと各テンプレート 12a〜 12cの重みとから、画像が顔パーツ画像である力否かの判定に用、られる照合値を算出する (ステップ S208)。

[0098] そして、顔パーツ画像検出部 26は、照合値が所定の閾値以上である力否かを調べ

(ステップ S209)、照合値が所定の閾値以上である場合には (ステップ S209, Yes) 、画像が顔パーツ画像であると判定し (ステップ S210)、その顔パーツ画像を検出した検出対象画素の位置、判別スコア、照合値などの情報を記憶する (ステップ S211

) o

[0099] その後、顔パーツ画像検出部 26は、すべての画素が選択されることにより画像の走査が完了したか否かを調べる（ステップ S214)。ステップ S209において、照合値が所定の閾値以上でな力つた場合には (ステップ S209, No)、顔パーツ画像検出部 26は、画像が顔パーツ画像ではないと判定し (ステップ S212)、検出対象画素を顔パーツ画像を検出する対象画素力除外するよう当該画素のマスク値を「0」に設定し (ステップ S 213)、そのままステップ S 214に移行する。

[0100] また、ステップ S206において、選択された画素のマスク値力「l」でなかった場合には（ステップ S206, No)、そのままステップ S214に移行する。ステップ S214において、画像の走査がまだ完了していない場合には (ステップ S214, No)、顔パーツ画像検出部 26は、顔パーツ画像を検出するつぎの検出対象画素を選択し (ステップ S

215)、ステップ S206に移行して、それ以後の処理を継続する。

[0101] 画像の走査が完了した場合には (ステップ S214, Yes)、顔パーツ画像検出部 26 は、すべてのテンプレート 12a〜12cを使用したか否かを調べる（ステップ S216)。

[0102] すべてのテンプレート 12a〜 12cを使用していない場合には（ステップ S 216, No)

、テンプレート選択部 25は、つぎのテンプレート 12a〜12cを選択し (ステップ S217)

、ステップ S205に移行して、それ以後の処理を継続する。

[0103] すべてのテンプレート 12a〜 12cを使用した場合には（ステップ S 216, Yes)、顔パーッ画像検出部 26は、すべての顔パーツ画像の検出処理が完了したか否かを調べる（ステップ S 218)。

[0104] そして、すべての顔パーツ画像の検出処理が完了していない場合には (ステップ S 218, No)、顔パーツ画像検出部 26は、つぎに画像を検出する顔パーツの設定をおこない（ステップ S219)、ステップ S203に移行して、それ以後の処理を継続する。すベての顔パーツ画像の検出処理が完了した場合には (ステップ S218, Yes)、この顔パーツ画像の検出処理を終了する。

[0105] つぎに、図 2に示した顔画像検出装置のハードウェア構成について説明する。図 6 は、図 2に示した画像処理装置のハードウェア構成を示す図である。図 6に示すように、この顔画像検出装置は、キーボード 100、ディスプレイ 101、 ROM (Read Only Memory) 102、各種プログラムを記録した記録媒体からプログラムを読み取る媒体読取装置 103、ネットワークを介して他のコンピュータとの間でデータの授受をおこなうネットワークインターフェース 104、 CPU (Central Processing Unit) 105、 HDD (Hard 構成となる。

[0106] HDD106が格納および読み出し制御する記憶媒体である HD (Hard Disk) 107には、本実施例で示される顔画像検出方法をコンピュータで実行することにより実現する顔画像検出プログラム 107aが記憶され、実行時に顔画像検出プログラム 107aが HD107から読み出された後、 CPU105によりそれが解析され、顔画像検出プロセス 105aの実行がおこなわれる。 [0107] この顔画像検出プロセス 105aが、図 2に示した学習処理部 22、縮小拡大画像生成部 23、ガボール特徴画像生成部 24、テンプレート選択部 25、顔パーツ画像検出部 26、顔画像代表点算出部 27、顔画像検出用特徴量生成部 28、顔画像検出処理部 29の各機能に対応する。

[0108] また、 HD107には、各種データ 107bが記憶され、顔画像検出プログラム 107aの実行時には各種データ 107bが RAM108に記憶され、 RAM108に記憶された各種データ 108aが CPU105により参照される。

[0109] この各種データ 107bは、図 2に示した入力画像 30a、縮小拡大画像 30b、ガボ一ル特徴画像 30c、テンプレート情報 30d、顔パーツ画像検出用線形判別式 30e、顔パーツ画像判別結果 30f、代表点設定情報 30g、顔画像検出用線形判別式 30h、および、顔画像判別結果 30iなどの各種データに対応する。

[0110] 上述してきたように、本実施例では、顔画像検出装置の記憶部 30が、顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数のテンプレート 12a〜 12cに係る情報を記憶し、顔パーツ画像検出部 26が、記憶部 30に記憶された異なる複数のテンプレート 12a〜12cを用いることにより画素を抽出し、抽出した画素の特徴量を用いて画像中の顔パーツ画像を検出し、顔画像検出部 29が、顔パーツ検出部 26により検出された顔パーツ画像に基づいて画像力も顔画像を検出することとしたので、抽出する画素の数を制御することにより顔パーツ画像の検出処理を高速におこなうことができ、それによつて顔画像の検出に要する時間を短縮することができるとともに、顔画像を検出する際の基となる顔パーツ画像を複数回検出することにより顔の検出精度を向上させることができる。

[0111] また、本実施例では、学習処理部 22が、顔パーツ画像の検出に用いられるテンプレート 12a〜12cの機械学習を実行し、記憶部 30が、機械学習がなされたテンプレート 12a〜12cの情報を記憶することとしたので、照明変動を受けにくい部分の画素を抽出する抽出パターンなどを効率的に選択することができる。

[0112] また、本実施例では、顔パーツ画像検出部 26が、あるテンプレート 12a〜12cを用いて顔パーツ画像の検出をおこなった場合に、顔パーツ画像が検出されな力た画素をつぎのテンプレート 12a〜12cを用いて顔パーツ画像の検出をおこなう場合の検出対象とする画素から除外することとしたので、顔画像の検出処理に要する時間をさらに短縮することができる。

[0113] また、本実施例では、顔パーツ画像検出部 26が、テンプレート 12a〜12cを用いて抽出した画素の特徴量を用いて画像が顔パーツ画像である力否かを判別する判別分析を実行し、当該判別分析の結果に基づヽて顔パーツ画像を検出することとしたので、画像が顔パーツ画像である力否かを効率的に判定することができ、顔画像の検出処理に要する時間をさらに短縮することができる。

[0114] また、本実施例では、ガボール特徴画像生成部 24が、入力画像 10中に含まれるエッジなどの画像パターンの方向および強度を算出し、顔パーツ画像検出部 26が、ガボール特徴画像生成部 24により算出された画像パターンの方向および強度を画素の特徴量として用いることにより画像中の顔パーツ画像を検出することとしたので、画像パターンの方向および強度を特徴量として用いることによりエッジなどのパターンを精度よく検出でき、顔パーツ画像の検出精度を向上させることができる。

[0115] また、本実施例では、顔画像検出部 29が、顔パーツ画像検出部 26により検出された顔パーツ画像の位置に基づ!/ヽて画像が顔画像であるカゝ否かを判定し、判定結果に基づ!/、て画像力顔画像を検出することとしたので、たとえ顔パーツ画像でな、ものを顔パーツ画像として誤検出した場合でも、適切にそれを把握することができ、顔画像の検出精度を向上させることができる。

[0116] また、本実施例では、顔画像代表点算出部 27が、顔パーツ画像検出部 26により検出された顔パーツ画像に基づいて顔の代表点 13を算出し、顔画像検出部 29が、顔画像代表点算出部 27により算出された代表点 13と、顔パーツ画像検出部 26により検出された顔パーツ画像との間の位置関係に基づいて画像が顔画像である力否かを判定することとしたので、画像中の顔画像を代表する点の位置を適切に検出することができ、顔画像の検出精度を向上させることができる。

[0117] また、本実施例では、顔画像検出用特徴量生成部 28が、代表点 13を基準として画像を複数の分割領域 14に分割し、顔画像検出部 29が、顔パーツ画像が検出された場合の顔パーツ画像が位置する分割領域 14の情報に基づいて画像が顔画像である力否かを判定することにより顔画像を検出することとしたので、顔パーツ画像の検出対象であった画素がどの分割領域 14にあるかを調べることにより、顔パーツでないものを顔パーツとして誤検出した場合でも適切にそれを検出することができ、顔画像の検出精度を向上させることができる。

[0118] また、本実施例では、顔画像検出部 29が、顔パーツ画像が位置する分割領域 14 の情報を用いて画像が顔画像であるカゝ否かを判別する判別分析を実行し、当該判別分析の結果に基づヽて顔画像を検出することとしたので、画像が顔画像であるか否かを効率的に判定することができ、顔画像の検出精度を向上させることができる。

[0119] さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施例にて実施されてもよいものである。

[0120] たとえば、上記実施例では、画像を 9つの分割領域 14に分割し、顔パーツ画像がどの分割領域 14で検出されたかを調べることにより、画像が顔画像か否かを判定することとしたが、本発明はこれに限定されるものではなぐ顔パーツ画像が存在すると予測される位置に顔パーツ画像があるカゝ否かを判定することにより画像が顔画像か否かを判定することとしてもょ、。

[0121] 図 7は、顔パーツ画像が存在すると予測される位置に顔パーツ画像があるか否かを判定する判定処理について説明する図である。図 7に示すように、この判定処理においては、顔の代表点 13の位置を基準として顔パーツ画像が存在すると予測される分布（図 7に示す存在確率分布 40a, 40b)をあらかじめ学習しておく。

[0122] そして、顔画像検出部 29は、顔パーツ画像の位置がその分布における閾値以上の範囲に含まれる場合に顔パーツが適切な位置にあるものと判定する。顔画像検出部 29は、この判定処理をすベての顔パーツに対しておこない、すべての顔パーツ画像が適切な位置にあると判定された場合に、画像が顔画像であると判定する。

[0123] この例では、顔画像検出部 29が、顔パーツ画像と代表点 13との間の位置関係に基づ、て画像が顔画像である力否かを判定することとしたので、顔パーツ画像が代表点 13に対してどのような位置関係にあるかを調べることにより、顔パーツ画像でないものを顔パーツ画像として誤検出した場合でも適切にそれを検出することができ、顔画像の検出精度を向上させることができる。 [0124] また、上記実施例では、顔パーツ画像または顔画像を線形判別分析をおこなうことにより検出することとしたが、本発明はこれに限定されるものではなぐ顔パーツ画像または顔画像の検出をその他の統計手法を用いて実行することとしてもよい。その他の統計手法としては、たとえば、非線形判別分析や Support Vector Machine (SVM) 法、ニューラルネットワーク法、部分空間法などを用いた顔パーツ画像または顔画像の識別手法が挙げられる。

[0125] また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

[0126] また、図示した顔画像検出装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、顔画像検出装置の分散 ·統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散 ·統合して構成することができる。

[0127] さらに、顔画像検出装置にて行なわれる各処理機能は、その全部または任意の一部が、 CPUおよび当該 CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

[0128] なお、本実施の形態で説明した顔画像検出方法は、あら力じめ用意されたプロダラムをパーソナル 'コンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。

[0129] このプログラムは、インターネットなどのネットワークを介して配布することができる。

また、このプログラムは、ハードディスク、フレキシブルディスク（FD)、 CD— ROM、 MO、 DVDなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体力読み出されることによって実行することもできる。

産業上の利用可能性以上のように、本発明に係る顔画像検出装置、顔画像検出方法および顔画像検出プログラムは、顔画像の検出精度を向上させるとともに、顔画像の検出処理に要する時間を短縮することが必要な顔画像検出システムに有用である。

Claims

請求の範囲

[1] 画像中に存在する顔画像を検出する顔画像検出装置であって、

顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶手段と、前記抽出パターン記憶手段に記憶された異なる複数の抽出パターンを用いることにより画素を抽出し、抽出した画素の特徴量を用 Vヽて画像中の顔パーツ画像を検出する顔パーツ画像検出手段と、

前記顔パーツ画像検出手段により検出された顔パーツ画像に基づいて前記画像から顔画像を検出する顔画像検出手段と

を備えたことを特徴とする顔画像検出装置。

[2] 顔パーツ画像の検出に用いられる抽出パターンの機械学習を実行する抽出パターン学習手段をさらに備え、前記抽出パターン記憶手段は、前記抽出パターン学習手段により機械学習がなされた抽出パターンに係る情報を記憶することを特徴とする請求項 1に記載の顔画像検出装置。

[3] 前記顔パーツ画像検出手段は、ある抽出パターンを用いて顔パーツ画像の検出をおこなった場合に、顔パーツ画像が検出されな力つた際の検出対象であった画素をつぎの抽出パターンを用いて顔パーツ画像の検出をおこなう際の検出対象とする画素力除外することを特徴とする請求項 1または 2に記載の顔画像検出装置。

[4] 前記顔パーツ検出手段は、抽出した画素の特徴量を用いて画像が顔パーツ画像であるか否かを判別する判別分析を実行し、当該判別分析の結果に基づ！ヽて顔パーッ画像を検出することを特徴とする請求項 1、 2または 3に記載の顔画像検出装置

[5] 前記顔パーツ画像検出手段は、画像中に含まれる画像パターンの方向および強度を算出し、算出した画像パターンの方向および強度を画素の特徴量として用いることにより画像中の顔パーツ画像を検出することを特徴とする請求項 1〜4のいずれ力 1つに記載の顔画像検出装置。

[6] 前記顔画像検出手段は、前記顔パーツ画像検出手段により検出された顔パーツ画像の位置に基づ、て画像が顔画像であるか否かを判定し、判定結果に基づ、て前記画像から顔画像を検出することを特徴とする請求項 1〜5のいずれか 1つに記載の顔画像検出装置。

[7] 前記顔画像検出手段は、顔パーツ検出手段により検出された顔パーツ画像の位置に基づいて顔画像の代表点を算出し、算出した代表点と前記顔パーツ画像検出手段により検出された顔パーツ画像との間の位置関係に基づいて画像が顔画像であるか否かを判定することを特徴とする請求項 6に記載の顔画像検出装置。

[8] 前記顔画像検出手段は、前記代表点を基準として画像を複数の領域に分割し、前記顔パーツ画像検出手段により顔パーツ画像が検出された場合の顔パーツ画像が位置する領域の情報に基づいて画像が顔画像である力否かを判定することにより顔画像を検出することを特徴とする請求項 7に記載の顔画像検出装置。

[9] 前記顔画像検出手段は、顔パーツ画像が位置する領域の情報を用いて画像が顔画像であるか否かを判別する判別分析を実行し、当該判別分析の結果に基づヽて顔画像を検出することを特徴とする請求項 8に記載の顔画像検出装置。

[10] 画像中に存在する顔画像を検出する顔画像検出方法であって、

顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶工程と、前記抽出パターン記憶工程において記憶された異なる複数の抽出パターンを用いることにより画素を抽出し、抽出した画素の特徴量を用いて画像中の顔パーツ画像を検出する顔パーツ画像検出工程と、

前記顔パーツ画像検出工程により検出された顔パーツ画像に基づいて前記画像から顔画像を検出する顔画像検出工程と

を含んだことを特徴とする顔画像検出方法。

[11] 画像中に存在する顔画像を検出する顔画像検出プログラムであって、

顔パーツ画像の検出対象とする画素の周辺画素のうち所定の数の画素を抽出する異なる複数の抽出パターンに係る情報を記憶する抽出パターン記憶手順と、前記抽出パターン記憶手順において記憶された異なる複数の抽出パターンを用いることにより画素を抽出し、抽出した画素の特徴量を用いて画像中の顔パーツ画像を検出する顔パーツ画像検出手順と、前記顔パーツ画像検出手順により検出された顔パーツ画像に基づいて前記画像から顔画像を検出する顔画像検出手順と

をコンピュータに実行させることを特徴とする顔画像検出プログラム。