JP5796185B2 - 対象物判定装置 - Google Patents

Description

本発明は、特徴量を用いた統計量的学習に基づくパターン認識により画像内に対象物（例えば人の顔）が含まれているか否かを判定する対象物判定装置に関する。

特徴量を用いた統計量的学習により対象物を検出する装置として、例えば非特許文献１や特許文献１で開示されているものがある。非特許文献１に記載された特徴量は、Ｈａａｒ−ｌｉｋｅ特徴量と呼ばれ、１対のブロック領域内の画素の平均輝度同士の大小関係より得ている。図１６は、非特許文献１に記載された特徴量の一例（例１，２）を説明するための図である。同図に示すように、例１，２のいずれにおいても、１対のブロックＡ，Ｂのブロック領域内画素の平均輝度Ａ_ａｖ，Ｂ_ａｖの大小関係が、Ａ_ａｖ＜Ｂ_ａｖであれば、特徴量Ｐ＝０とし、Ａ_ａｖ≧Ｂ_ａｖであれば、特徴量Ｐ＝１としている。

非特許文献１で開示された装置では、顔検出器に上述したＨａａｒ−ｌｉｋｅ特徴量を用い、Ｂｏｏｓｔｉｎｇにより学習を行っている。この顔検出器は、複数の強判別器で構成され、各強判別器は、顔画像に高い通過率を持ち、非顔画像を一定の値で排除する。各強判別器は、複数の弱判別器を有し、各弱判別器は特徴量に対するスコアを返し、そのスコアの合計が所定の閾値を超えるかどうかによって、強判別器が顔・非顔の判定を行う。各弱判別器は、所定のサイズの入力画像から特徴量を作成し、上記Ｂｏｏｓｔｉｎｇ学習結果を用いて特徴量ごとのスコアを強判別器に返す。

他方、特許文献１に記載された特徴量は、全ブロックＡ_０〜Ａ_５のブロック領域内画素の平均輝度と、各ブロック領域内画素の平均輝度同士の大小関係より得ている。図１７は、特許文献１に記載された特徴量の一例を説明するための図である。同図に示すように、全ブロックＡ_０〜Ａ_５のブロック領域内画素の平均輝度Ａ_ｒｅｆと、各ブロック領域内画素の平均輝度Ａ_０ａｖ〜Ａ_５ａｖ同士の大小関係が、Ａ_ｉａｖ（ｉ＝０〜５）＜Ａ_ｒｅｆであれば、特徴量Ｐ_ｉ（ｉ＝０〜５）＝０とし、Ａ_ｉａｖ（ｉ＝０〜５）≧Ａ_ｒｅｆであれば、特徴量Ｐ_ｉ（ｉ＝０〜５）＝１としている。

Paul Viola、Michael Jones、「Rapid Object Detection Using a Boosted Cascade of Simple Features」、IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR)、2001年12月、ISSN: 1063-6919, Vol.1、P.511-518

特開２００６−３５０６４５号公報

しかしながら、上述した非特許文献１で開示された技術では、ブロック同士の大小関係が１対しかないため、輝度の空間的分布（配置）情報の量が少な過ぎて、ノイズや文字でも人の顔と判定してしまうといった誤判定が起こり易い。なお、この課題は、専用の判別器（顔用、ノイズ用、文字用等）を用いることで改善可能であるが、専用の判別器を用いることでアルゴリズムが複雑になるとともにコスト高となる。

上述した特許文献１で開示された技術では、比較参照値（基準となるブロックＡ_ｒｅｆ）が全ブロックの領域内画素の平均輝度であるため、大域的過ぎる傾向がある。例えば、一般的に学習する顔画像（頭部は除き、眉、目、鼻、口を含む）のサイズは２４×２４ほどである。図１７に示す特許文献１の特徴量の各ブロック領域のサイズが２×２〜４×４であれば、全ブロック領域のサイズは６×４〜１２×８となり、顔画像の１／２４〜１／６もの範囲を覆う大域的な領域となる。このため、比較参照値とする同全ブロックの領域内画素の平均輝度には顔パーツ（目、鼻、口等）およびその一部の特徴があまり残されず、これらの情報に基づいて顔を検出する顔検出および顔パーツの検出の検出性能が向上しない。また、このように全ブロック領域のサイズが大きいため、部分隠蔽された顔（例えば、帽子を被って片方の目が隠れているときの顔）の場合、同領域が隠蔽部分の画素値を含む可能性が高くなり、この結果、隠蔽部分の影響を受けやすくなる。このため、部分隠蔽された顔の検出にも向かない。

本発明は、係る事情に鑑みてなされたものであり、比較参照値が大局的過ぎることなく、対象物が例えば人の顔であれば、顔の各パーツ（目、鼻、口等）の特徴を多く残すことができ、また隠蔽領域にかかる可能性の低い対象物判定装置を提供することを目的とする。

本発明の対象物判定装置は、画像上に複数の矩形ブロックから構成されるテンプレートを１乃至複数個所設定し、各テンプレートの各々において、当該テンプレートに含まれる各矩形ブロックの輝度の平均値をブロック輝度値として求めるブロック輝度算出手段と、各テンプレートの各々において、当該テンプレートに含まれる各矩形ブロックのうちいずれか２つを１対とするブロック対を複数設定するブロック対設定手段と、前記ブロック対の各々においてブロック輝度値同士の大小関係を求める比較手段と、当該テンプレートに設定された複数のブロック対の各々のブロック輝度値の大小関係によって、前記テンプレート内に対象物の一部が含まれる度合いを示すスコアをテンプレート毎に保持するスコア保持手段と、を備え、前記各テンプレートの複数ブロック対の各々のブロック輝度値の大小関係から、前記スコア保持手段を参照して、全テンプレートのスコアの総和値を求め、同総和値により、前記画像内に対象物が含まれるか否かを判定することを特徴とする。

上記構成によれば、１つのテンプレートに含まれる複数の矩形ブロックのうちいずれか２つを１対とするブロック対を複数設定し、各ブロック対のブロック輝度値の大小関係によって、当該テンプレート内に対象物の一部が含まれる度合いを示すスコアを保持し、この処理を全てのテンプレートに対して行い、全テンプレートのスコアの総和値により、画像内に対象物が含まれるか否かを判定する。特に、本発明では、１つのテンプレートに含まれる複数の矩形ブロックのいずれか１つを比較参照値にできるので、特許文献１で開示された技術と比べて、比較参照値の領域サイズが小さいため（大局的過ぎないため）、対象物が例えば人の顔であれば、顔の各パーツ（目、鼻、口等）の特徴を多く残すことができ、また隠蔽領域にかかる可能性が低くなる。これにより、顔検出および顔の各パーツ検出の検出性能が向上し、部分隠蔽に強くなる。比較参照値は、固定にする場合もあれば、非固定にする場合もある。固定にする場合とは、例えば、１つのテンプレートが６つの矩形ブロックＡ_０〜Ａ_５で構成されているとし、例えばＡ_４を比較参照値として固定する。一方、非固定にする場合とは、例えば矩形ブロックＡ_０とＡ_３を比較するときは、比較参照値が矩形ブロックＡ_３となり、矩形ブロックＡ_１とＡ_４を比較するときは、比較参照値が矩形ブロックＡ_４となる場合である。

上記構成において、前記矩形ブロックは、互いに重なり合っていることを特徴とする。

上記構成によれば、矩形ブロックが互いに重なり合っていても、対象物が例えば人の顔であれば、顔の各パーツの特徴を多く残し、また隠蔽領域にかかる可能性が低くなる。

上記構成において、前記矩形ブロックは、互いに接触していることを特徴とする。

上記構成によれば、矩形ブロックが互いに接触していても、対象物が例えば人の顔であれば、顔の各パーツの特徴を多く残し、また隠蔽領域にかかる可能性が低くなる。

本発明によれば、比較参照値が大局的過ぎることなく、対象物が例えば人の顔であれば、顔の各パーツ（目、鼻、口等）の特徴を多く残すことができ、また隠蔽領域にかかる可能性を低くできる。

本発明の実施の形態１に係る対象物判定装置の概略構成を示すブロック図 図１の対象物判定装置の特徴量生成部の概略構成を示すブロック図 図１の対象物判定装置において画像に設定されるテンプレートの一例を示す図 図１の対象物判定装置において、矩形ブロックＡ_１のブロック輝度値を比較参照値Ａ_{ｋ[１]ａｖ}として固定した例を示す図 図１の対象物判定装置において、矩形ブロックＡ_１のブロック輝度値を比較参照値Ａ_{ｋ[１]ａｖ}としたときの特徴量Ｐ_ｉ（ｉ＝０〜５）より得られる特徴パターンの一例を示す図 図１の対象物判定装置において、矩形ブロックＡ_１を比較参照値（Ａ_ｒｅｆ）とした場合の特徴パターンを模式的に示した図 図１の対象物判定装置において、矩形ブロックＡ_１のブロック輝度値を比較参照値Ａ_{ｋ[１]ａｖ}としたときの特徴パターン及び各特徴パターンを合計して平均化したときの特徴パターンの平均画像の一例を示す図 本発明の特徴［１］を説明するための図であって、矩形ブロックＡ_１のブロック輝度値を比較参照値Ａ_{ｋ[ｉ]ａｖ}（ｉ＝０〜５）としたときの特徴パターンの平均画像の一例を示す図 本発明の特徴［１］を説明するための図であって、特徴パターンの平均画像の一例を示す図 特許文献１で開示された特徴量による特徴パターンの平均画像を示す図 本発明の特徴［２］を説明するための図 図１の対象物判定装置の動作を説明するためのフローチャート 本発明の実施の形態２に係る対象物判定装置において、強度を含めた場合の特徴量を求める工程を模式的に示した図 本発明の実施の形態２に係る対象物判定装置において、矩形ブロックＡ_１を比較参照値（Ａ_ｒｅｆ）とした場合の特徴パターンを模式的に示した図 本発明の実施の形態２に係る対象物判定装置において、矩形ブロックＡ_１を比較参照値（Ａ_ｒｅｆ）としたときの各矩形ブロックＡ_０，Ａ_２，Ａ_３，Ａ_４，Ａ_５の平均輝度と、特徴パターンとを示す図 非特許文献１に記載された特徴量の一例（例１，２）を説明するための図 特許文献１に記載された特徴量の一例を説明するための図

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る対象物判定装置の概略構成を示すブロック図である。同図において、実施の形態１の対象物判定装置１は、入力部１０と、縮小・拡大部１１と、画像ウインドウ切り出し部１２と、特徴量生成部１３と、尤度算出部１４と、学習データ記憶部１５と、比較部１６とを備える。入力部１０は、例えばカメラで撮像して得られた画像情報の取り込みを行う。縮小・拡大部１１は、入力部１０で取り込まれた画像に対して縮小や拡大等の処理を行う。画像ウインドウ切り出し部１２は、縮小・拡大部１１で処理された画像から部分画像を切り出す。特徴量生成部１３は、画像ウインドウ切り出し部１２で切り出された画像に対して設定した各テンプレートの特徴量として特徴パターンを求める。この特徴量生成部１３が行う処理の詳細については後述する。学習データ記憶部１５には、Ｂｏｏｓｔｉｎｇなどにより事前に学習した人の顔に関する学習データが記憶されている。この学習データは、各テンプレートごとに存在する、当該テンプレートの特徴量（特徴パターン）に対するスコアの対比表となっている。尤度算出部１４はこの学習データにより各テンプレートの特徴量（特徴パターン）から同テンプレートのスコアを求め、各テンプレートのスコアを総和することにより、顔らしさの尤度を算出する。比較部１６は、尤度算出部１４で算出された尤度と所定の尤度閾値を比較して、顔位置情報（切り出された画像が顔であるか否かの情報）を出力する。

図２は、上述した特徴量生成部１３の概略構成を示すブロック図である。同図において、特徴量生成部１３は、ブロック輝度算出部１３１と、ブロック対設定部１３２と、比較部１３３と、特徴量保持部１３４とを備える。ブロック輝度算出部１３１は、画像ウインドウ切り出し部１２で切り出された画像上に複数の矩形ブロックから構成されるテンプレートを１乃至複数個所設定し、各テンプレートにおいて、当該テンプレートに含まれる各矩形ブロックの輝度の平均値をブロック輝度値として求める。ここで、図３は、テンプレートの一例を示す図である。図３の（ａ）に示すテンプレート１００は、６つの矩形ブロックＡ_０〜Ａ_５から構成され、１つの矩形ブロックは他の３つの矩形ブロックと接触している。図３の（ｂ）のテンプレート１０１は、図３の（ａ）に示すテンプレート１００と同様に６つの矩形ブロックＡ_０〜Ａ_５から構成されるが、１つの矩形ブロックは他の３つの矩形ブロックと重なり合うように接している。図３の（ｃ）のテンプレート１０２は、図３の（ａ）に示すテンプレート１００と同様に６つの矩形ブロックＡ_０〜Ａ_５から構成されるが、矩形ブロック同士が不規則に重なり合っている。例えば、矩形ブロックＡ_３と矩形ブロックＡ_４及び矩形ブロックＡ_２と矩形ブロックＡ_５がそれぞれ重なり合っている。このようなテンプレートが画像ウインドウ切り出し部１２で切り出された画像上に設定される。

図２に戻り、ブロック対設定部１３２は、各テンプレートのそれぞれにおいて、当該テンプレートに含まれる各矩形ブロックのうちいずれか２つを１対とするブロック対を複数設定する。比較部１３３は、ブロック対の各々においてブロック輝度値同士の大小関係を求めることにより特徴パターンを生成する。そして、その特徴パターンは特徴量保持部１３４に保持される。

なお、図３に示すテンプレートは一例であり、テンプレート内の各ブロックは、離れていても、接していても、重なりあっていてもよい。また、各ブロックのそれぞれのサイズは同じであってもよく、異なっていてもよい。また、テンプレート内のブロックの数は図３のように６に限定するわけではなく、２ブロックを１対として少なくとも２対以上のブロック、つまり３以上であればよい。

また、ブロック数、各ブロックの配置位置、各ブロックのサイズ、１対とするブロック同士の組み合わせは、複数あるそれぞれのテンプレートにおいて、同じであっても、異なっていてもよい。各テンプレートにおける、ブロック数、各ブロックの配置位置、各ブロックのサイズ、１対とするブロック同士の組みあわせ、更には、各テンプレートの位置は、Ｂｏｏｓｔｉｎｇなどの学習により事前に決定する。

実施の形態１の対象物判定装置１では、複数の矩形ブロックのうちのいずれか１つを比較参照値Ａ_{ｋ[ｉ]ａｖ}（ｉ＝０〜５）にして特徴パターンＰ_ｉを求めるようにしている。ここで、“ａｖ”は平均値であることを示す。
Ｐ_ｉ＝０ （Ａ_ｉａｖ＜Ａ_{ｋ[ｉ]ａｖ}） ｉ＝０〜５
Ｐ_ｉ＝１ （Ａ_ｉａｖ≧Ａ_{ｋ[ｉ]ａｖ}） ｉ＝０〜５

テンプレートを構成する複数の矩形ブロックのブロック輝度値はブロック輝度算出部１３１で算出される。そして、例えば、テンプレートとして、図３に示すものを使用した場合、特徴パターンＰ_ｉ（ｉ＝０〜５）は、各矩形ブロックＡ_０〜Ａ_５のブロック輝度値Ａ_ｉａｖ（ｉ＝０〜５）と比較参照値Ａ_{ｋ[ｉ]ａｖ}（ｉ＝０〜５）の大小関係が、Ａ_ｉａｖ＜Ａ_{ｋ[ｉ]ａｖ}であれば“０”となり、Ａ_ｉａｖ≧Ａ_{ｋ[ｉ]ａｖ}であれば“１”となる。

比較参照値Ａ_{ｋ[ｉ]ａｖ}を固定とする（矩形ブロックＡ_０〜Ａ_５のうちどれか１つを定める）以外に、非固定としても良い。図４は、テンプレート１００を使用し、矩形ブロックＡ_１のブロック輝度値を比較参照値Ａ_{ｋ[１]ａｖ}として固定した例を示す図である。この図で示す例では、比較参照値Ａ_{ｋ[１]ａｖ}とした矩形ブロックＡ_１のブロック輝度値が、矩形ブロックＡ_０，Ａ_２〜Ａ_５それぞれのブロック輝度値と比較される。

一方、比較参照値Ａ_{ｋ[ｉ]ａｖ}を非固定とする場合、例えば、矩形ブロックＡ_０と矩形ブロックＡ_３の比較において、矩形ブロックＡ_０のブロック輝度値を比較参照値Ａ_{ｋ[０]ａｖ}として、矩形ブロックＡ_３のブロック輝度値と比較し、また矩形ブロックＡ_１と矩形ブロックＡ_４の比較において、矩形ブロックＡ_１のブロック輝度値を比較参照値Ａ_{ｋ[１]ａｖ}として、矩形ブロックＡ_４のブロック輝度値と比較し、また矩形ブロックＡ_２と矩形ブロックＡ_５の比較において、矩形ブロックＡ_２のブロック輝度値を比較参照値Ａ_{ｋ[２]ａｖ}として、矩形ブロックＡ_５のブロック輝度値と比較する、といったようになる。

図５は、テンプレート１００を使用した場合において、矩形ブロックＡ_１のブロック輝度値を比較参照値Ａ_{ｋ[１]ａｖ}としたときの特徴パターンＰ_ｉ（ｉ＝０〜５）の一例を示す図である。また、図６は、画像例１５０上に設定したテンプレート１００において、矩形ブロックＡ_１を比較参照値（Ａ_ｒｅｆ）とした場合の特徴パターンを模式的に示した図である。矩形ブロックＡ_１を比較参照値（Ａ_ｒｅｆ）として、他の矩形ブロックＡ_０，Ａ_２，Ａ_３，Ａ_４，Ａ_５それぞれの輝度値とを比較することで、同図に示すような特徴パターン１１０−１，１１０−２，…が得られる。なお、各テンプレート１００に隣接して付随する数（０，１００，…）はスコア２００である。同図における特徴パターン１１０−１，１１０−２，…,とスコア２００の対比表が、図１における学習データ記憶部１５に記憶されている学習データである。Ｂｏｏｓｔｉｎｇ学習などにより、各テンプレートにおいて、顔の一部を示す特徴パターンであるほど高いスコアになっている。また、図６において、各テンプレート１００を構成する６個の矩形ブロックＡ_０〜Ａ_５において、色が黒になるに従って輝度が暗くなっている。

図７は、テンプレート１００で、矩形ブロックＡ_１のブロック輝度値を比較参照値Ａ_{ｋ[１]ａｖ}としたときの特徴パターン及び各特徴パターンを合計して平均化したときの特徴パターンの平均画像の一例を示す図である。図７の（ａ）に示す特徴パターンはテンプレートの位置（Ｘ,Ｙ）が（３×ｋ×ｍ、３×ｋ×ｎ）にある（ｍ、ｎは整数、ｋは矩形ブロックのサイズ）特徴パターンである。図７の（ｂ）に示す特徴パターンはテンプレートの位置（Ｘ,Ｙ）が（３×ｋ×ｍ＋ｋ、ｋ×ｎ）にある特徴パターンである。図７の（ｃ）に示す特徴パターンはテンプレートの位置（Ｘ,Ｙ）が（３×ｋ×ｍ＋２×ｋ、ｋ×ｎ）にある特徴パターンである。図７の（ｄ）に示す特徴パターンはテンプレートの位置（Ｘ,Ｙ）が（３×ｋ×ｍ、ｋ×ｎ＋ｋ）にある特徴パターンである。図７の（ｅ）に示す特徴パターンはテンプレートの位置（Ｘ,Ｙ）が（３×ｋ×ｍ＋ｋ、ｋ×ｎ＋ｋ）にある特徴パターンである。図７の（ｆ）に示す特徴パターンはテンプレートの位置（Ｘ,Ｙ）が（３×ｋ×ｍ＋２×ｋ、ｋ×ｎ＋ｋ）にある特徴パターンである。図７の（ａ）〜（ｆ）の各特徴パターンを合計して平均すると、図７の（ｇ）に示す特徴パターンの平均画像が得られる。

次に、図８〜図１１を参照して本発明の特徴について説明する。
（特徴［１］）
図８〜図１０は、本発明の特徴［１］を説明するための図である。図８は、テンプレート１００で、矩形ブロックＡ_ｉのブロック輝度値を比較参照値Ａ_{ｋ[ｉ]ａｖ}（ｉ＝０〜５）としたときの特徴パターンの平均画像の一例を示す図である。図８の（ａ）は、矩形ブロックＡ_０のブロック輝度値を比較参照値Ａ_{ｋ[０]ａｖ}としたときの特徴パターンの平均画像、図８の（ｂ）は、矩形ブロックＡ_１のブロック輝度値を比較参照値Ａ_{ｋ[１]ａｖ}としたときの特徴パターンの平均画像、図８の（ｃ）は、矩形ブロックＡ_２のブロック輝度値を比較参照値Ａ_{ｋ[２]ａｖ}としたときの特徴パターンの平均画像、図８の（ｄ）は、矩形ブロックＡ_３のブロック輝度値を比較参照値Ａ_{ｋ[３]ａｖ}としたときの特徴パターンの平均画像、図８の（ｅ）は、矩形ブロックＡ_４のブロック輝度値を比較参照値Ａ_{ｋ[４]ａｖ}としたときの特徴パターンの平均画像、図８の（ｆ）は、矩形ブロックＡ_５のブロック輝度値を比較参照値Ａ_{ｋ[５]ａｖ}としたときの特徴パターンの平均画像である。図８に示すように、特徴パターンに各方向や細かなエッジ（端）があり、顔パーツの特徴を多く残しているのが分る。

図９は、テンプレート１０１を用いたときの特徴パターンの平均画像の一例を示す図である。図３の（ｂ）のテンプレート１０１のように、各矩形ブロックＡ_０〜Ａ_５が互いに重なり合っていている場合、図９に示すように、より細かなエッジ情報が含まれることになる。

図１０は、前述した特許文献１で開示された特徴量による特徴パターンの平均画像を示す図である。図１０に示す特徴パターンの平均画像と図７の（ｇ）に示す本発明の特徴量による特徴パターンの平均画像とを比較すると、本発明の特徴量による特徴パターンの平均画像では、鼻輪郭情報３００が有るが、特許文献１で開示された特徴量による特徴パターンの平均画像では鼻輪郭情報３００が欠落しているのが分る。このように、本発明は、特徴量に各方向のエッジ情報が含まれるという特徴［１］を有している。

（特徴［２］）
図１１は、本発明の特徴［２］を説明するための図である。図１１に示すように、本発明では、異なる顔の向きの各々に共通なテンプレートで、顔／非顔判定が行える可能性が高くなる。図１１の（ａ）は左向き、（ｂ）は正面、（ｃ）は右向き、（ｄ）は左回転、（ｅ）は右回転である。これらの顔の向きに対して、共通の位置関係にある矩形ブロックＡ_０〜Ａ_７が設定される。そして、以下に示す関係であればスコアを高く、そうでなければスコアを低くする（Ｂｏｏｓｔｉｎｇなどの学習によってそのように設定される）。

正面：矩形ブロックＡ_３の輝度値＞矩形ブロックＡ_１の輝度値、矩形ブロックＡ_３の輝度値＞矩形ブロックＡ_５の輝度値、…、矩形ブロックＡ_２の輝度値＜矩形ブロックＡ_６の輝度値、矩形ブロックＡ_４の輝度値＜矩形ブロックＡ_０の輝度値

左向き：矩形ブロックＡ_３の輝度値＜矩形ブロックＡ_１の輝度値、矩形ブロックＡ_３の輝度値＜矩形ブロックＡ_５の輝度値、矩形ブロックＡ_４の輝度値＞矩形ブロックＡ_２の輝度値、矩形ブロックＡ_２の輝度値＜矩形ブロックＡ_６の輝度値、…

右向き：矩形ブロックＡ_３の輝度値＜矩形ブロックＡ_１の輝度値、矩形ブロックＡ_３の輝度値＜矩形ブロックＡ_５の輝度値、矩形ブロックＡ_４の輝度値＜矩形ブロックＡ_２の輝度値、…、矩形ブロックＡ_２の輝度値＜矩形ブロックＡ_０の輝度値

左回転：矩形ブロックＡ_３の輝度値＜矩形ブロックＡ_１の輝度値、矩形ブロックＡ_３の輝度値＜矩形ブロックＡ_５の輝度値、…、矩形ブロックＡ_４の輝度値＞矩形ブロックＡ_０の輝度値

右回転：矩形ブロックＡ_３の輝度値＜矩形ブロックＡ_１の輝度値、矩形ブロックＡ_３の輝度値＜矩形ブロックＡ_５の輝度値、…、矩形ブロックＡ_２の輝度値＞矩形ブロックＡ_６の輝度値、…

なお、上述した条件の全てを必ずしも満足する必要はない。例えば、右目をつぶっている場合などを想定し、正面であれば、矩形ブロックＡ_３の輝度値および矩形ブロックＡ_１の輝度値の大小関係だけが満足していない場合などであっても、スコアを高くしても良い（右目をつぶっている顔画像を学習に加えれば、Ｂｏｏｓｔｉｎｇなどの学習によってそのように設定される）。

一般的な顔検出では、異なる顔向きごとにテンプレートが異なるために、それぞれの顔向きの特徴量を算出する必要があった。本発明では、異なる顔向きの各々に共通なテンプレートを用いるために、一度に異なる顔向きに対する特徴量である特徴パターンが生成でき、効率的である。このように、本発明は、各顔の向きで共通の特徴パターンで顔／非顔を効率的に分離することができるという特徴［２］を有している。

次に、実施の形態１の対象物判定装置１の動作を説明する。
図１２は、実施の形態１の対象物判定装置１の動作を説明するためのフローチャートである。同図において、まずブロック輝度算出部１３１が、画像上に複数の矩形ブロックから構成されるテンプレートを１乃至複数個設定すると共に、テンプレート内の各矩形ブロックの輝度の平均値（ブロック輝度値）を算出する（ステップＳ１）。次いで、ブロック対設定部１３２が、各テンプレートにおいて、当該テンプレートに含まれる各矩形ブロックのうちいずれか２つを１対とするブロック対を複数設定する（ステップＳ２）。次いで、比較部１３３が、ブロック対設定部１３２で設定された複数のブロック対の各々においてブロック輝度値同士の大小関係を示す特徴パターンを求め、特徴量保持部１３４に保持する（ステップＳ３）。次いで、尤度算出部１４が、学習データ１５を参照して各テンプレートの特徴パターンに対するスコアを求め、更に、全テンプレートのスコアを総和して尤度を求める（ステップＳ４）。最後に、比較部１６が、尤度により、画像内に対象物である人の顔（または顔パーツなどの顔の一部）が含まれるか否かを判定する（ステップＳ５）。

このように、実施の形態１の対象物判定装置１によれば、１つのテンプレートに含まれる複数の矩形ブロックのうちいずれか２つを１対とするブロック対を複数設定し、各ブロック対のブロック輝度値の大小関係によって、当該テンプレート内に対象物の一部が含まれる度合いを示すスコアを保持し、この処理を全てのテンプレートに対して行い、全テンプレートのスコアの総和値により、画像内に対象物が含まれるか否かを判定する。特に、本発明では、１つのテンプレートに含まれる複数の矩形ブロックのいずれか１つを比較参照値にできるので、特許文献１で開示された技術と比べて、比較参照値の領域サイズが小さいため（大局的過ぎないため）、対象物が例えば人の顔であれば、顔の各パーツ（目、鼻、口等）の特徴を多く残すことができ、また隠蔽領域にかかる可能性が低くなる。これにより、部分的特徴検出にも向くとともに、部分隠蔽に強くなる。

なお、実施の形態１の対象物判定装置１のハード構成としては、通常のコンピュータを用いることもできる。即ち、対象物判定装置１は、ＣＰＵ、ＲＡＭ等の揮発性メモリ、及びＲＯＭ等の不揮発性メモリ、及びハードディスク又はＳＳＤ（Solid State Drive）等の大容量記憶装置等を備えたコンピュータによって構成できる。

また、実施の形態１の対象物判定装置１における処理を記述したプログラムを、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して配布することも可能である。

また、本実施の形態では、テンプレート内の各ブロックは矩形であるとしたが、これが三角形、多角形、円などであっても同様の効果が得られることは言うまでもない。

（実施の形態２）
前述した実施の形態１の対象物判定装置１では、特徴量を特徴パターンＰ_ｉのみとしたが、実施の形態２の対象物判定装置１Ａ（図１参照）では、特徴量は、特徴パターンと、比較参照値（Ａ_ｒｅｆ）に対する明暗差を示す値（この値を“強度”と呼ぶ）の組としている。強度を含む特徴量は、特徴量生成部１３Ａ（図１参照）で生成される。明暗差を示す強度は、比較参照値（Ａ_ｒｅｆ）の矩形ブロックの明るさに対する明（明るい）の矩形ブロック（Ａ_ｎ＜Ａ_ｒｅｆ）と、暗（暗い）の矩形ブロック（Ａ_ｎ＞Ａ_ｒｅｆ）の振れ幅（即ち、明の矩形ブロックＡ_ｎと暗の矩形ブロックＡ_ｎの差）を示す値とする。これにより、強度Ｋは、輝度変化量が少なければ小さく、輝度変化量が多ければ大きい値をとり、目、口、鼻それぞれの境界等にあるエッジの強さを示すことになる。なお、特徴パターンを空間的周波数と捉えるならば、強度はその振幅と考えられる。

矩形ブロックが６つある場合の強度Ｋは以下のようにして求まる。ここで、“ａｖ”は平均値であることを示す。
Ｄ_ｉ＝１ （Ａ_ｉａｖ＜Ａ_{ｋ[ｉ]ａｖ}） ｉ＝０〜５
Ｄ_ｉ＝０ （Ａ_ｉａｖ≧Ａ_{ｋ[ｉ]ａｖ}） ｉ＝０〜５
Ｂ_ｉ＝０ （Ａ_ｉａｖ＜Ａ_{ｋ[ｉ]ａｖ}） ｉ＝０〜５
Ｂ_ｉ＝１ （Ａ_ｉａｖ≧Ａ_{ｋ[ｉ]ａｖ}） ｉ＝０〜５
Ｋ＝（ΣＢ_ｉ×Ａ_ｉａｖ）÷ΣＢ_ｉ−（ΣＤ_ｉ×Ａ_ｉａｖ）÷ΣＤ_ｉ

図１３は、強度を含めた場合の特徴量を求める工程を模式的に示した図である。図１３の（ａ）は、前述した図３の（ａ）と同様の６つの矩形ブロックＡ_０〜Ａ_５から構成されるテンプレート１００を示しており、このテンプレート１００において、図１３の（ｂ）に示すように、矩形ブロックＡ_０の輝度値を「１２９」、矩形ブロックＡ_１の輝度値を「１２０」、矩形ブロックＡ_２の輝度値を「１４６」、矩形ブロックＡ_３の輝度値を「１２２」、矩形ブロックＡ_４の輝度値を「１１０」、矩形ブロックＡ_５の輝度値を「１０７」とし、矩形ブロックＡ_１を比較参照値（Ａ_ｒｅｆ）としてパターン化すると、図１３の（ｃ）に示すような特徴パターン１１０が得られる。即ち、矩形ブロックＡ_０の輝度値「１２９」と比較参照値（Ａ_ｒｅｆ）「１２０」との比較においては、１２９＞１２０であるので、「１」となる。また、矩形ブロックＡ_２の輝度値「１４６」と比較参照値（Ａ_ｒｅｆ）「１２０」との比較においては、１４６＞１２０であるので、「１」となる。また、矩形ブロックＡ_３の輝度値「１２２」と比較参照値（Ａ_ｒｅｆ）「１２０」との比較においては、１２２＞１２０であるので、「１」となる。また、矩形ブロックＡ_４の輝度値「１１０」と比較参照値（Ａ_ｒｅｆ）「１２０」との比較においては、１１０＜１２０であるので、「０」となる。また、矩形ブロックＡ_５の輝度値「１０７」と比較参照値（Ａ_ｒｅｆ）「１２０」との比較においては、１０７＜１２０であるので、「０」となる。

このようにして得られた特徴パターン１１０から明の矩形ブロックの平均と暗の矩形ブロックの平均をそれぞれ求める。明の矩形ブロックの平均は、特徴量が「１」になっている矩形ブロックの輝度値より、（１２９＋１４６＋１２２）／３≒１３２．２３となる。また、暗の矩形ブロックの平均は、特徴量が「０」になっている矩形ブロックの輝度値より、（１１０＋１０７）／２＝１０８．５となる。そして、強度は、明の矩形ブロックの輝度平均値−暗の矩形ブロックの輝度平均値≒２３．８３３となる。この強度（２３．８３３）と特徴パターン１１０の組が特徴量となる。このようにしてエッジ強度を含めた特徴量が得られ、この特徴量を用いることで顔検出の性能の向上が図れる。

図１４は、画像例１５０上に設定したテンプレート１００において、矩形ブロックＡ_１を比較参照値（Ａ_ｒｅｆ）とした場合の特徴パターンを模式的に示した図である。矩形ブロックＡ_１を比較参照値（Ａ_ｒｅｆ）として、他の矩形ブロックＡ_０，Ａ_２，Ａ_３，Ａ_４，Ａ_５それぞれの輝度値とを比較することで、同図に示すような特徴パターン１１０−１，１１０−２，…が得られる。なお、各テンプレート１００に隣接して付随する数（０，３０，７０，１００，…）はスコア２００である。同図における特徴パターン１１０−１，１１０−２，…,と強度とスコア２００の対比表が、実施の形態１同様、図１における学習データ記憶部１５に記憶されている学習データである。また、各テンプレート１００を構成する６個の矩形ブロックＡ_０〜Ａ_５において、色が黒になるに従って輝度が暗くなっている。

図１５は、画像上の人の顔の鼻を含む位置にテンプレート１００を設定し、矩形ブロックＡ_１を比較参照値（Ａ_ｒｅｆ）としたときの各矩形ブロックＡ_０，Ａ_２，Ａ_３，Ａ_４，Ａ_５の平均輝度と、特徴パターン１１０とを示す図である。同図に示すように、人物画像の両目部分が両目間の部分よりも暗くなっており、鼻と鼻を中心とした両側部分が両目間の部分よりも明るくなっているので、特徴パターン１１０は同図に示すようになる。両目と両目直下部分との輝度変化量が大きくなっている。

このように、実施の形態２の対象物判定装置１Ａによれば、エッジ強度を含む特徴量を有するので、顔検出の性能向上が図れる。

なお、実施の形態２の対象物判定装置１Ａにおいて、強度は、明暗差を示す値であれば良く、明の矩形ブロック及び暗の矩形ブロックそれぞれの最大値の差でも良い。また、上述した強度は、連続値であるが、これをＮ段階に量子化しても良い。量子化幅は固定値でも良いが、各矩形ブロックの値から算出された分散値に基づいた値でも良い。

また、実施の形態２の対象物判定装置１Ａにおいても、ハード構成として、実施の形態１の対象物判定装置１と同様に、通常のコンピュータを用いることもできる。

また、実施の形態２の対象物判定装置１Ａにおいても、処理を記述したプログラムを、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記憶媒体に格納して配布することも可能である。

本発明は、比較参照値が大局的過ぎることなく、対象物が例えば人の顔であれば、顔の各パーツ（目、鼻、口等）の特徴を多く残すことができ、また隠蔽領域にかかる可能性を低くできるといった効果を有し、監視カメラ装置等への適用が可能である。

１，１Ａ 対象物判定装置
１０ 入力部
１１ 縮小・拡大部
１２ 画像ウインドウ切り出し部
１３，１３Ａ 特徴量生成部
１４ 尤度算出部
１５ 学習データ記憶部
１６ 比較部
１００，１０１，１０２ テンプレート
１１０−１〜１１０−５ 特徴パターン
１３１ ブロック輝度算出部
１３２ ブロック対設定部
１３３ 比較部
１３４ 特徴量保持部
１５０ 画像例
２００ スコア
３００ 鼻輪郭情報
Ａ_０，Ａ_１，Ａ_２，Ａ_３，Ａ_４，Ａ_５ 矩形ブロック

Claims (3)

1. 画像上に複数の矩形ブロックから構成されるテンプレートを１乃至複数個所設定し、各テンプレートの各々において、当該テンプレートに含まれる各矩形ブロックの輝度の平均値をブロック輝度値として求めるブロック輝度算出手段と、
   各テンプレートの各々において、当該テンプレートに含まれる各矩形ブロックのうちいずれか２つを１対とするブロック対を複数設定するブロック対設定手段と、
   前記ブロック対の各々においてブロック輝度値同士の大小関係を求める比較手段と、
   当該テンプレートに設定された複数のブロック対の各々のブロック輝度値の大小関係によって、前記テンプレート内に対象物の一部が含まれる度合いを示すスコアをテンプレート毎に保持するスコア保持手段と、を備え、
   前記各テンプレートの複数ブロック対の各々のブロック輝度値の大小関係から、前記スコア保持手段を参照して、全テンプレートのスコアの総和値を求め、同総和値により、前記画像内に対象物が含まれるか否かを判定することを特徴とする対象物判定装置。
2. 前記矩形ブロックは、互いに重なり合っていることを特徴とする請求項１に記載の対象物判定装置。
3. 前記矩形ブロックは、互いに接触していることを特徴とする請求項１に記載の対象物判定装置。