JP6088792B2 - 画像検出装置及び制御プログラム並びに画像検出方法 - Google Patents

Description

本発明は、処理対象画像から検出対象画像を検出する技術に関する。

特許文献１〜４には、処理対象画像から検出対象画像を検出する技術が開示されている。特許文献１及び２には、処理対象画像から人の顔画像を検出する技術が開示されている。特許文献３及び４には、処理対象画像から移動体画像を検出する技術が開示されている。

特開２００７−１２８１２７号公報 特開２０１１−１９３１１５号公報 特開２０１２−１６０９７７号公報 特許第４７６４４８７号公報

さて、処理対象画像から検出対象画像を検出する際には、その検出精度の向上が望まれている。

そこで、本発明は上述の点に鑑みて成されたものであり、検出対象画像についての検出精度を向上させることが可能な技術を提供することを目的とする。

上記課題を解決するため、本発明に係る画像検出装置の一態様は、処理対象画像から検出対象画像を検出する画像検出装置であって、前記処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する第１マップ生成部と、前記エントロピーマップに基づいて、前記処理対象画像での前記検出対象画像の存在確率の分布を示す検出対象存在確率マップを生成する第２マップ生成部と、前記処理対象画像において前記検出対象画像の検出を行う領域を前記検出対象存在確率マップに基づいて決定し、当該領域に対して前記検出対象画像の検出を行う検出部とを備え、前記第１マップ生成部は、前記輝度ヒストグラムのエントロピーの評価値で構成された前記エントロピーマップを生成し、前記第１マップ生成部は、前記処理対象画像に含まれるある領域での前記輝度ヒストグラムのエントロピーである第１エントロピーがしきい値以上の場合には、前記処理対象画像よりも前に撮像された前画像における、当該ある領域と同じ位置の領域での前記輝度ヒストグラムのエントロピーである第２エントロピーの前記評価値を、当該第１エントロピーに基づいて更新することによって、当該第１エントロピーの前記評価値を求める。

また、本発明に係る画像検出装置の一態様は、前記処理対象画像よりも前に撮像された前画像と前記処理対象画像との差分画像を生成する差分画像生成部と、前記処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する第１マップ生成部と、前記エントロピーマップに基づいて、前記処理対象画像での前記検出対象画像の存在確率の分布を示す検出対象存在確率マップを生成する第２マップ生成部と、前記処理対象画像において前記検出対象画像の検出を行う領域を前記検出対象存在確率マップに基づいて決定し、当該領域に対して前記検出対象画像の検出を行う検出部とを備え、前記第１マップ生成部は、前記差分画像に基づいて、前記処理対象画像において前記前画像から変化した変化領域を特定し、前記第１マップ生成部は、前記処理対象画像についての前記エントロピーマップを生成する際には、前記処理対象画像のうち前記変化領域以外の領域での輝度ヒストグラムのエントロピーの分布については、前記前画像での輝度ヒストグラムのエントロピーの分布を使用し、前記処理対象画像のうち前記変化領域での輝度ヒストグラムのエントロピーの分布については、あらたに求める。

また、本発明に係る画像検出装置の一態様は、処理対象画像から検出対象画像を検出する画像検出装置であって、前記処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する第１マップ生成部と、前記エントロピーマップに基づいて、前記処理対象画像での前記検出対象画像の存在確率の分布を示す検出対象存在確率マップを生成する第２マップ生成部と、前記処理対象画像において前記検出対象画像の検出を行う領域を前記検出対象存在確率マップに基づいて決定し、当該領域に対して前記検出対象画像の検出を行う検出部と、前記処理対象画像での背景画像の存在確率の分布を示す背景存在確率マップを生成する第３マップ生成部と備え、前記第２マップ生成部は、前記エントロピーマップ及び前記背景存在確率マップに基づいて、前記検出対象存在確率マップを生成する。

また、本発明に係る画像検出装置の一態様では、前記処理対象画像よりも前に撮像された前画像と前記処理対象画像との差分画像を生成する差分画像生成部がさらに設けられ、前記第３マップ生成部は、前記差分画像に基づいて、前記処理対象画像において前記前画像から変化した変化領域を特定し、前記第３マップ生成部は、前記処理対象画像についての前記背景存在確率マップを生成する際には、前記処理対象画像のうち前記変化領域以外の領域での背景画像の存在確率の分布については、前記前画像での背景画像の存在確率の分布を使用し、前記処理対象画像のうち前記変化領域での背景画像の存在確率の分布については、あらたに求める。

また、本発明に係る画像検出装置の一態様では、前記検出対象画像は、人の顔画像である。

また、本発明に係る制御プログラムの一態様は、処理対象画像から検出対象画像を検出する画像検出装置を制御するための制御プログラムであって、前記画像検出装置に、（ａ）前記処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する工程と、（ｂ）前記処理対象画像での背景画像の存在確率の分布を示す背景存在確率マップを生成する工程と、（ｃ）前記エントロピーマップ及び前記背景存在確率マップに基づいて、前記処理対象画像での前記検出対象画像の存在確率の分布を示す検出対象存在確率マップを生成する工程と、（ｄ）前記処理対象画像において前記検出対象画像の検出を行う領域を前記検出対象存在確率マップに基づいて決定し、当該領域に対して前記検出対象画像の検出を行う工程とを実行させるためのものである。

また、本発明に係る画像検出方法の一態様は、処理対象画像から検出対象画像を検出する画像検出方法であって、（ａ）前記処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する工程と、（ｂ）前記処理対象画像での背景画像の存在確率の分布を示す背景存在確率マップを生成する工程と、（ｃ）前記エントロピーマップ及び前記背景存在確率マップに基づいて、前記処理対象画像での前記検出対象画像の存在確率の分布を示す検出対象存在確率マップを生成する工程と、（ｄ）前記処理対象画像において前記検出対象画像の検出を行う領域を前記検出対象存在確率マップに基づいて決定し、当該領域に対して前記検出対象画像の検出を行う工程とを備える。

本発明によれば、検出対象画像についての検出精度を向上させることができる。

画像検出装置の構成を示す図である。 画像検出装置が備える複数の機能ブロックの構成を示す図である。 処理対象画像の一例を示す図である。 前画像の一例を示す図である。 差分画像の一例を示す図である。 輝度ヒストグラムの一例を示す図である。 エントロピーマップを画像化した様子の一例を図である。 背景存在確率マップの生成処理を説明するための図である。 背景存在確率マップの生成処理を説明するための図である。 背景存在確率マップの生成処理を説明するための図である。 背景存在確率マップの生成処理を説明するための図である。 背景存在確率マップの生成処理を説明するための図である。 背景存在確率マップを画像化した様子の一例を図である。 検出対象存在確率マップを画像化した様子の一例を示す図である。 処理対象画像に対して画像化した検出対象存在確率マップを重ねた様子を示す図である。 検出部の構成を示す図である。 検出部の動作を説明するための図である。 検出部の動作を説明するための図である。 検出部の動作を説明するための図である。 検出部の動作を説明するための図である。 出力値マップの生成処理を説明するための図である。 出力値マップの生成処理を説明するための図である。 出力値マップの生成処理を説明するための図である。 出力値マップの生成処理を説明するための図である。 本実施の形態に係る出力値マップを示す図である。 本実施の形態とは別の方法で生成された出力値マップを示す図である。

図１は実施の形態に係る画像検出装置１の構成を示す図である。本実施の形態に係る画像検出装置１は、入力される画像データが示す画像から検出対象画像を検出する。画像検出装置１は、例えば、監視カメラシステム、デジタルカメラシステム等で使用される。本実施の形態では、検出対象画像は、例えば人の顔画像である。以後、単に「顔画像」と言えば、人の顔画像を意味するものとする。また、検出対象画像の検出処理を行う対象の画像を「処理対象画像」と呼ぶ。

図１に示されるように、画像検出装置１は、ＣＰＵ（Central Processing Unit）１０及び記憶部１１を備えている。記憶部１１は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等で構成されている。記憶部１１には、画像検出装置１の動作を制御するための制御プログラム１２等が記憶されている。画像検出装置１の各種機能は、ＣＰＵ１０が記憶部１１内の制御プログラム１２を実行することによって実現される。画像検出装置１では、制御プログラム１２が実行されることによって、図２に示されるような複数の機能ブロックが形成される。

図２に示されるように、画像検出装置１は、機能ブロックとして、画像入力部２と、差分画像生成部３と、エントロピーマップ生成部４と、第１確率マップ生成部５とを備えている。さらに、画像検出装置１は、機能ブロックとして、第２確率マップ生成部６と、検出部７と、出力値マップ生成部８とを備えている。以下では、画像検出装置１が備える各機能ブロックの概略動作を説明した後に、当該各機能ブロックの詳細動作について説明する。

＜画像検出装置の概略動作説明＞
画像入力部２には、監視カメラシステム等が備える撮像部で順次撮像された複数枚の画像をそれぞれ示す複数の画像データが順次入力される。画像入力部２は、処理対象画像を示す画像データを出力する。画像入力部２は、撮像部で得られる各画像を処理対象画像としても良いし、撮像部で得られる画像のうち、数秒毎に得られる画像を処理対象画像としても良い。撮像部では、例えば、１秒間にＬ枚（Ｌ≧２）の画像が撮像される。つまり、撮像部での撮像フレームレートは、Ｌｆｐｓ(frame per second）である。

差分画像生成部３は、画像入力部２から出力される画像データを使用して、現在の処理対象画像と、当該処理対象画像よりも前に撮像された前画像、具体的には当該処理対象画像よりも一つ前の処理対象画像との差分を示す１枚の差分画像を生成する。そして、差分画像生成部３は、差分画像を示す画像データをエントロピーマップ生成部４に出力する。

エントロピーマップ生成部４は、画像入力部２及び差分画像生成部３から出力される画像データに基づいて、処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する。

第１確率マップ生成部５は、画像入力部２及び差分画像生成部３から出力される画像データを使用して、処理対象画像での背景画像の存在確率（以後、「背景存在確率」と呼ぶ）の分布を示す背景存在確率マップを生成する。

第２確率マップ生成部６は、画像入力部２から出力される画像データと、エントロピーマップ生成部４で生成されたエントロピーマップと、第１確率マップ生成部５で生成された背景存在確率マップとに基づいて、処理対象画像での顔画像の存在確率（以後、「顔存在確率」と呼ぶ）の分布を示す検出対象存在確率マップを生成する。

検出部７は、画像入力部２から出力される画像データを使用して、処理対象画像に対して顔画像の検出を行う。このとき、検出部７は、処理対象画像において顔画像の検出を行う領域を、第２確率マップ生成部６で生成された検出対象存在確率マップに基づいて決定し、当該領域に対して顔画像の検出を行う。

出力値マップ生成部８は、検出部７での検出結果をマップにした出力値マップを生成する。

このように、本実施の形態では、検出部７が、処理対象画像において顔画像の検出を行う領域を、第２確率マップ生成部６で生成された検出対象存在確率マップに基づいて決定していることから、処理対象画像のうち顔画像が存在する確率の高い領域に対してのみ顔画像の検出を行うことができる。よって、処理対象画像での不要な領域に対して顔画像の検出が行われることを抑制できる。その結果、顔画像についての検出精度が向上する。

＜画像検出装置の詳細動作説明＞
＜差分画像生成処理＞
差分画像生成部３は、処理対象画像と前画像とのそれぞれを、行列状に複数の第１ブロックに分割する。各第１ブロックでは、例えば、行方向に５個のピクセルが並び、列方向に５個のピクセルが並び、各第１ブロックは、合計２５個のピクセルで構成されている。以後、行方向にｍ個（ｍ≧１）のピクセルが並び、列方向にｎ個（ｎ≧１）のピクセルが並ぶ領域の大きさをｍｐ×ｎｐで表す（ｐはピクセルの意味）。また、画像の左上を基準にして第ｍ行目であって第ｎ列目に位置するブロックをｍ×ｎ番目のブロックと呼ぶ。処理対象画像では、行方向にＭ個（Ｍ≧２）のピクセルが並び、列方向にＮ個（Ｎ≧２）のピクセルが並んでいることから、処理対象画像の大きさは、Ｍｐ×Ｎｐとなっている。また、差分画像の大きさはＭｐ×Ｎｐとなっている。

差分画像生成部３は、処理対象画像に含まれるｍ×ｎ番目の第１ブロック内に存在する複数のピクセルについての平均輝度を求める。同様に、差分画像生成部３は、前画像に含まれるｍ×ｎ番目の第１ブロック内に存在する複数のピクセルについての平均輝度を求める。なお、本実施の形態では、ピクセルの輝度は８ビットで表現されており、十進数表現で“０”から“２５５”の値をとる。

差分画像生成部３は、処理対象画像のｍ×ｎ番目の第１ブロックの平均輝度と、前画像のｍ×ｎ番目の第１ブロックの平均輝度との差分値の絶対値がしいき値以上であれば、両ブロックは異なる画像であるとして、差分画像に含まれる、第１ブロックと同じ位置に存在し、かつ同じ大きさのブロックを構成する各ピクセルの輝度を“２５５”に設定する。一方で、差分画像生成部３は、処理対象画像のｍ×ｎ番目の第１ブロックの平均輝度と、前画像のｍ×ｎ番目の第１ブロックの平均輝度との差分値の絶対値がしいき値未満であれば、両ブロックは同じ画像であるとして、差分画像に含まれる、第１ブロックと同じ位置に存在し、かつ同じ大きさのブロックを構成する各ピクセルの輝度を“０”に設定する。差分画像生成部３は、このようにして、差分画像を構成する複数のピクセルのそれぞれの輝度を求める。これにより、処理対象画像と前画像との差分を示す、２値化された差分画像が生成される。

図３及び図４は処理対象画像２０及び前画像２１の一例をそれぞれ示す図である。図５は、処理対象画像２０と前画像２１の差分を示す差分画像（２値化画像）２２を示す図である。図３，４では、処理対象画像２０及び前画像２１がグレースケール画像となっているが、実際にはカラー画像である。

図５に示される差分画像２２では、黒色領域（輝度＝０）が処理対象画像２０と前画像２１とで一致している領域を示しており、白色領域（輝度＝２５５）が処理対象画像２０と前画像２１とで相違している領域を示している。差分画像２２での白色領域は、動体領域を示していると言える。また、差分画像２２での白色領域は、処理対象画像２０において前画像２１から変化している変化領域を示していると言える。

上記の例では、差分画像生成部３は、処理対象画像と前画像と間においてブロックごとに輝度を比較したが、ピクセルごとに輝度を比較しても良い。具体的には、差分画像生成部３は、処理対象画像の注目ピクセルの輝度と、前画像における、当該注目ピクセルと同じ位置でのピクセルの輝度との差分値の絶対値を求めて、当該絶対値がしきい値以上であるかを判定する。差分画像生成部３は、当該絶対値がしきい値以上であると判定すると、差分画像における、当該注目ピクセルと同じ位置でのピクセルの輝度を“２５５”とする。一方で、差分画像生成部３は、当該絶対値がしきい値未満であると判定すると、差分画像における、当該注目ピクセルと同じ位置でのピクセルの輝度を“０”とする。差分画像生成部３は、このようにして、差分画像を構成する複数のピクセルの輝度を求めて、２値化された差分画像を生成する。なお、ブロックごとに輝度を比較して差分画像を生成する場合には、差分画像に含まれるノイズ成分を低減することができる。

＜エントロピーマップ生成処理＞
一般的に人の顔画像は様々な輝度を有している。したがって、顔画像の輝度ヒストグラムの分布は偏っておらず、ばらついている。よって、処理対象画像において、輝度ヒストグラムの分布が偏っている領域については、顔画像でない可能性が高い。言い換えれば、処理対象画像において、輝度ヒストグラムの分布がばらついている領域については、顔画像である可能性が高い。

一方で、輝度ヒストグラムの分布の偏りを表す指標として、エントロピーを使用することができる。つまり、輝度ヒストグラムのエントロピーは、当該輝度ヒストグラムの分布のばらつきを表す指標であると言える。輝度ヒストグラムのエントロピーが小さければ、当該輝度ヒストグラムの分布は偏っている。言い換えれば、輝度ヒストグラムのエントロピーが大きければ、当該輝度ヒストグラムの分布はばらついている。

以上の点に鑑みて、本実施の形態に係るエントロピーマップ生成部４は、処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する。このエントロピーマップを参照することによって、輝度ヒストグラムの分布が偏っている領域を特定することが可能となる。よって、エントロピーマップから、処理対象画像において顔画像が存在しない確率が高い領域を特定することができる。言い換えれば、エントロピーマップから、処理対象画像において顔画像が存在する確率が高い領域を特定することができる。以下にエントロピーマップの生成方法について説明する。

エントロピーマップ生成部４は、処理対象画像を行列状に複数の第２ブロックに分割する。この複数の第２ブロックのそれぞれの大きさは、例えば１６ｐ×１６ｐである。次に、エントロピーマップ生成部４は、処理対象画像に含まれるｍ×ｎ番目の第２ブロックについての輝度ヒストグラムを求める。具体的には、エントロピーマップ生成部４は、ｍ×ｎ番目の第２ブロックを構成する複数のピクセルの輝度を取得し、これらの輝度の分布を示す輝度ヒストグラムを生成する。

図６はｍ×ｎ番目の第２ブロックの輝度ヒストグラムの一例を示す図である。図６の横軸は輝度を示している。図６の縦軸は、ｍ×ｎ番目の第２ブロック内において横軸に示される輝度を有するピクセルの数、つまり頻度を示している。

エントロピーマップ生成部４は、ｍ×ｎ番目の第２ブロックの輝度ヒストグラムを生成すると、当該輝度ヒストグラムのエントロピーＥを以下の式（１）を用いて算出する。

ここで、式（１）中のＰｉは、輝度“ｉ”の出現確率を示している。出現確率Ｐｉは、ｍ×ｎ番目の第２ブロックにおいて輝度が“ｉ”であるピクセルの数Ｋｉと、ｍ×ｎ番目の第２ブロック内のピクセルの総数Ｋｔｏｔａｌを用いて、以下の式（２）で表される。

本例では、各第２ブロックの大きさが１６ｐ×１６ｐであることから、Ｋｔｏｔａｌ＝２５６となる。したがって、ｍ×ｎ番目の第２ブロックにおいて、輝度が“２５５”であるピクセルの数Ｋ２５５＝１０であるとすると、Ｐ２５５＝１０／２５６となる。

エントロピーマップ生成部４は、ｍ×ｎ番目の第２ブロックについての輝度ヒストグラムのエントロピーＥを算出すると、当該エントロピーＥの評価値ＥＶを求める。評価値ＥＶは、輝度と同様に８ビットで表される。つまり、評価値ＥＶは“０”〜“２５５”までの値をとる。本実施の形態では、エントロピーＥの評価値ＥＶが大きいほど、当該エントロピーＥが小さいことを意味している。つまり、輝度ヒストグラムのエントロピーＥの評価値ＥＶが大きいほど、当該輝度ヒストグラムの分布が偏っており、ｍ×ｎ番目の第２ブロック内に顔画像が存在しない確率が高くなっている。

エントロピーマップ生成部４は、ｍ×ｎ番目の第２ブロックについての輝度ヒストグラムのエントロピーＥがしきい値ＴＨ未満の場合には、当該エントロピーＥの評価値ＥＶを以下の式（３）を用いて求める。つまり、ｍ×ｎ番目の第２ブロックについての輝度ヒストグラムのエントロピーＥがしきい値ＴＨ未満の場合には、当該エントロピーＥの評価値ＥＶ＝２５５となる。

このように、輝度ヒストグラムのエントロピーＥが小さい場合には、つまり、輝度ヒストグラムの分布が偏っている場合には、評価値ＥＶは最大値となる。評価値ＥＶが最大値であるということは、ｍ×ｎ番目の第２ブロック内に顔画像が存在しない確率が非常に高いと言える。

一方で、ｍ×ｎ番目の第２ブロックについての輝度ヒストグラムのエントロピーＥがしきい値ＴＨ以上の場合には、エントロピーマップ生成部４は、当該エントロピーＥの評価値ＥＶを以下の式（４）を用いて求める。

式（４）中のＥＶｐは、前画像、つまり現在の処理対象画像よりも一つ前の処理対象画像に含まれるｍ×ｎ番目の第２ブロックについての輝度ヒストグラムのエントロピーＥの評価値ＥＶを示している。また、式（４）中のＪは定数であって、Ｊ＞ＴＨである。以後、ＥＶｐを「前評価値ＥＶｐ」と呼ぶ。式（４）に示されるように、エントロピーＥがしきい値ＴＨ以上の場合には、当該エントロピーＥに基づいて前評価値ＥＶｐが更新されることによってあらたな評価値ＥＶが求められる。なお、前評価値ＥＶｐが存在しない場合には、式（４）ではＥＶｐ＝０となる。

ここで、エントロピーＥがしきい値ＴＨ以上であれば、ｍ×ｎ番目の第２ブロック内に顔画像が存在する確率は高いものの、ｍ×ｎ番目の第２ブロック内に顔画像が存在しない可能性は零ではない。本実施の形態では、エントロピーＥがしきい値ＴＨ以上であったとしても、ｍ×ｎ番目の第２ブロック内に顔画像が存在しない可能性があることを考慮して、式（４）に示されるように、エントロピーＥがしきい値ＴＨ以上であっても、定数Ｊ（＞ＴＨ）よりも小さい場合には評価値ＥＶを大きくしている。つまり、エントロピーＥがしきい値ＴＨと同じか少し大きい場合には評価値ＥＶを大きくしている。そして、エントロピーＥが定数Ｊよりも大きい場合には、つまり、エントロピーＥがしきい値ＴＨよりも非常に大きい場合には、評価値ＥＶを小さくしている。これにより、評価値ＥＶによって特定される、ｍ×ｎ番目の第２ブロック内に顔画像が存在しない確率の精度を高めることができる。言い換えれば、評価値ＥＶによって特定される、ｍ×ｎ番目の第２ブロック内に顔画像が存在する確率の精度を高めることができる。

本実施の形態では、顔画像についての輝度ヒストグラムのエントロピーＥがとるであろう範囲と、非顔画像（顔画像ではない画像）についての輝度ヒストグラムのエントロピーＥがとるであろう範囲とを求めて、両方の範囲の境界部分に含まれる値を定数Ｊとしている。具体的には、様々な顔画像を用意して、各顔画像についての輝度ヒストグラムのエントロピーＥを求める。また、様々な非顔画像を用意して、各非顔画像についての輝度ヒストグラムのエントロピーＥを求める。そして、算出した顔画像についてのエントロピーＥがとる範囲と、算出した非顔画像についてのエントロピーＥがとる範囲との境界部分に含まれる値を定数Ｊとして採用している。これにより、エントロピーＥが定数Ｊよりも小さい場合には、ｍ×ｎ番目の第２ブロック内に顔画像が存在しない可能性が高くなり、エントロピーＥが定数Ｊよりも大きい場合には、ｍ×ｎ番目の第２ブロック内に顔画像が存在する可能性が高くなる。よって、上述の式（４）に示されるように、エントロピーＥが定数Ｊよりも小さい場合には評価値ＥＶを大きくし、エントロピーＥが定数Ｊよりも大きい場合には評価値ＥＶを小さくすることによって、評価値ＥＶによって特定される、ｍ×ｎ番目の第２ブロック内に顔画像が存在しない確率の精度を高めることができる。

以上のようにして、エントロピーマップ生成部４は、ｍ×ｎ番目の第２ブロックについての輝度ヒストグラムのエントロピーＥの評価値ＥＶを算出する。

本実施の形態では、エントロピーマップ生成部４は、処理対象画像を構成する複数の第２ブロックのそれぞれについて、評価値ＥＶをあらたに求めるのではなく、当該複数の第２ブロックのうち、前画像から変化している第２ブロックについてだけ、上述のようにして評価値ＥＶを求めている。そして、エントロピーマップ生成部４は、処理対象画像を構成する複数の第２ブロックのうち、前画像から変化していない第２ブロックの評価値ＥＶについては、前画像での同じ位置での第２ブロックの評価値ＥＶをそのまま採用している。

エントロピーマップ生成部４は、差分画像生成部３で生成された差分画像に基づいて、処理対象画像を構成する複数の第２ブロックにおいて前画像から変化している第２ブロックを特定する。具体的には、エントロピーマップ生成部４は、処理対象画像を構成する複数の第２ブロックのうち、処理対象画像に含まれる、差分画像の動体領域（輝度が“２５５”である領域）と同じ位置の領域の少なくとも一部を含む第２ブロックについては、前画像から変化している第２ブロックであるとする。

このようにして、処理対象画像を構成する複数の第２ブロックのそれぞれについての評価値ＥＶが得られると、エントロピーマップ生成部４は、行列状に配置された複数の評価値ＥＶで構成されたエントロピーマップを生成する。エントロピーマップでの評価値ＥＶの配列は、処理対象画像でのピクセルの配列と同じであって、行方向にＭ個の評価値ＥＶが並び、列方向にＮ個の評価値ＥＶが並んでいる。そして、エントロピーマップにおいて、処理対象画像のｍ×ｎ番目の第２ブロックと同じ位置のブロック内の各評価値ＥＶが、当該第２ブロックについて求められた評価値ＥＶとなっている。このようなエントロピーマップを参照することによって、処理対象画像での輝度ヒストグラムのエントロピーの分布を特定することができる。以後、エントロピーマップのように、値が行列状に並んでいるマップにおいて、左上を基準にして第ｍ行目であって第ｎ列目に位置する値を、ｍ×ｎ番目の値と呼ぶ。

図７は、エントロピーマップでの各評価値ＥＶを輝度とすることによって、エントロピーマップを画像化して得られるグレースケールのエントロピーマップ画像３０を示す図である。図７に示されるエントロピーマップ画像３０は、図３に示される処理対象画像２０についてのエントロピーマップを示している。図７に示されるエントロピーマップ画像３０において、白色に近い領域ほど、輝度ヒストグラムのエントロピーが小さく、当該領域において顔画像が存在する確率が低くなっている。つまり、黒色に近い領域ほど、輝度ヒストグラムのエントロピーが大きく、当該領域において顔画像が存在する確率が高くなっている。

以上のように、処理対象画像を構成する複数の第２ブロックのうち、前画像から変化していない第２ブロックの評価値ＥＶについては、前画像での同じ位置での第２ブロックの評価値ＥＶがそのまま採用されていることから、本実施の形態に係るエントロピーマップ生成部４は、処理対象画像のうち、前画像から変化している変化領域以外の領域での輝度ヒストグラムのエントロピーの分布については、前画像での輝度ヒストグラムのエントロピーの分布を使用していると言える。また、本実施の形態では、処理対象画像を構成する複数の第２ブロックのうち、前画像から変化している第２ブロックについてだけ評価値ＥＶがあらたに求められていることから、エントロピーマップ生成部４は、処理対象画像のうち、前画像から変化している変化領域での輝度ヒストグラムのエントロピーの分布については、あらたに求めていると言える。

このように、処理対象画像のうち、前画像から変化している変化領域以外の領域での輝度ヒストグラムのエントロピーの分布については、前画像での輝度ヒストグラムのエントロピーの分布を使用し、処理対象画像のうち、前画像から変化している変化領域での輝度ヒストグラムのエントロピーの分布については、あらたに求めることによって、エントロピーマップの生成処理を簡素化できるととともに、当該生成処理にかかる時間を短縮することができる。

また、本実施の形態では、式（４）に示されるように、エントロピーＥがしきい値ＴＨ以上の場合には、前評価値ＥＶｐが更新されることによってあらたな評価値ＥＶが求められることから、エントロピーマップ生成部４は、処理対象画像に含まれるある領域（具体的には、エントロピーＥがしきい値ＴＨ以上の領域）での輝度ヒストグラムのエントロピーの分布を、前画像における、当該ある領域と同じ位置の領域での輝度ヒストグラムのエントロピーの分布を更新することによって求めていると言える。

このように、処理対象画像に含まれるある領域での輝度ヒストグラムのエントロピーの分布を、一から求めるのではなく、前画像における、当該ある領域と同じ位置の領域での輝度ヒストグラムのエントロピーの分布を更新することによって求めることによって、当該ある領域での輝度ヒストグラムのエントロピーの分布に含まれるノイズ成分を低減することができる。

＜背景存在確率マップ生成処理＞
地面の画像、木の画像、空の画像などの背景画像については、その画像内において同じような模様が続いている場合が多い。したがって、処理対象画像を複数のブロックに分割すると、処理対象画像内での背景画像においては、互いに隣接する複数のブロックについての輝度ヒストグラムは互いに類似すると考えられる。

そこで、本実施の形態に係る第１確率マップ生成部５は、処理対象画像を複数のブロックに分割し、互いに隣接する複数のブロックについての輝度ヒストグラムの類似度を求めている。そして、第１確率マップ生成部５は、求めた類似度に基づいて、処理対象画像での背景存在確率の分布を示す背景存在確率マップを生成している。以下に第１確率マップ生成部５の動作について詳細に説明する。

図８〜１２は第１確率マップ生成部５での背景存在確率マップの生成処理を説明するための図である。第１確率マップ生成部５は、まず、処理対象画像２０を複数の第３ブロックに分割する。この複数の第３ブロックのそれぞれの大きさは、例えば１６ｐ×１６ｐである。

次に第１確率マップ生成部５は、図８に示されるように、処理対象画像２０を構成する複数の第３ブロックのうちの１×１番目の第３ブロックを注目ブロック２００として、当該注目ブロック２００の輝度ヒストグラムを生成する。また、第１確率マップ生成部５は、注目ブロック２００に隣接する複数の隣接ブロック２０１のそれぞれの輝度ヒストグラムを生成する。複数の隣接ブロック２０１は、注目ブロック２００の右横の第３ブロック、注目ブロック２００の右下の第３ブロック及び注目ブロック２００の真下の第３ブロックの３つの第３ブロックで構成されている。

次に第１確率マップ生成部５は、３つの隣接ブロック２０１のそれぞれについて、当該隣接ブロック２０１の輝度ヒストグラムと、注目ブロック２００の輝度ヒストグラムとの類似度を求める。ヒストグラム間の類似度、言い換えればヒストグラム間の距離としては、Bhattacharyya距離あるいは相関係数などを使用することができる。そして、第１確率マップ生成部５は、３つの隣接ブロック２０１において、その輝度ヒストグラムと、注目ブロック２００の輝度ヒストグラムとの類似度がしきい値以上である隣接ブロック２０１が存在する場合には、その隣接ブロック２０１と、注目ブロック２００とのそれぞれを背景画像（背景領域）であると認定する。

次に第１確率マップ生成部５は、図９に示されるように、注目ブロック２００を一つ右の第３ブロックとする。つまり、第１確率マップ生成部５は、処理対象画像２０を構成する複数の第３ブロックのうちの１×２番目の第３ブロックを注目ブロック２００とする。そして、第１確率マップ生成部５は、注目ブロック２００に隣接する３つの隣接ブロック２０１のうち、いまだ背景画像であると認定されていない隣接ブロック２０１であって、かついまだ輝度ヒストグラムが生成されていない隣接ブロック２０１の輝度ヒストグラムを生成する。なお、現在の注目ブロック２００は、前回の注目ブロック２００についての隣接ブロック２０１であるため、現在の注目ブロック２００の輝度ヒストグラムはすでに生成されている。

次に第１確率マップ生成部５は、３つの隣接ブロック２０１のうち、いまだ背景画像である認定されていない各隣接ブロック２０１について、当該隣接ブロック２０１の輝度ヒストグラムと、注目ブロック２００の輝度ヒストグラムとの類似度を求める。そして、第１確率マップ生成部５は、３つの隣接ブロック２０１のうち、いまだ背景画像であると認定されていない隣接ブロック２０１において、その輝度ヒストグラムと、注目ブロック２００の輝度ヒストグラムとの類似度がしきい値以上である隣接ブロック２０１が存在する場合には、その隣接ブロック２０１を背景画像（背景領域）であると認定し、注目ブロック２００がいまだ背景画像であると認定されていない場合には、注目ブロック２００を背景画像であると認定する。

次に第１確率マップ生成部５は、注目ブロック２００をさらに一つ右の第３ブロックとして、同様にして、注目ブロック２００及び３つの隣接ブロック２０１において背景画像を特定する。その後、第１確率マップ生成部５は、同様に処理を行って、図１０に示されるように、処理対象画像２０の右端から２つ目の第３ブロックを注目ブロック２００として背景画像の特定を行うと、図１１に示されるように、処理対象画像２０の左端の上から２番目の第３ブロック、つまり２×１番目の第３ブロックを注目ブロック２００として背景画像の特定を行う。その後、第１確率マップ生成部５は、同様に処理を行って、図１２に示されるように、処理対象画像２０の右端から２つ目であって、下から２つ目の第３ブロックを注目ブロック２００として背景画像の特定を行うと、処理対象画像２０の全領域において背景画像が特定される。

次に第１確率マップ生成部５は、処理対象画像２０を構成する複数の第３ブロックにおいて、背景画像であると特定した各第３ブロックについての背景存在確率の評価値（以後、「背景存在確率評価値」と呼ぶ）を“２５５”とする。また、第１確率マップ生成部５は、処理対象画像２０を構成する複数の第３ブロックにおいて、背景画像であると特定されていない各第３ブロックについての背景存在確率評価値を“０”とする。このようにして、第１確率マップ生成部５は、処理対象画像２０を構成する複数の第３ブロックのそれぞれについての背景存在確率評価値を求める。そして、第１確率マップ生成部５は、行列状に配置された複数の背景存在確率評価値で構成された背景存在確率マップを生成する。背景存在確率マップでの背景存在確率評価値の配列は、処理対象画像でのピクセルの配列と同じであって、行方向にＭ個の背景存在確率評価値が並び、列方向にＮ個の背景存在確率評価値が並んでいる。そして、背景存在確率マップにおいて、処理対象画像のｍ×ｎ番目の第３ブロックと同じ位置のブロック内の各背景存在確率評価値が、当該第３ブロックについて求められた背景存在確率評価値となっている。このような背景存在確率マップを参照することによって、処理対象画像での背景存在確率の分布を特定することができる。

本実施の形態に係る背景存在確率マップでは、背景存在確率評価値が“０”と“２５５”の２値で示されている。背景存在確率マップにおいて、背景存在確率評価値が“２５５”の領域では、そこに背景画像が存在する確率が高くなっており、背景存在確率評価値が“０”の領域では、そこに背景画像が存在する確率が低くなっている。

なお、本実施の形態のように、エントロピーマップ生成部４において使用される第２ブロックと、第１確率マップ生成部５において使用される第３ブロックとが同じ大きさであって、背景存在確率マップがエントロピーマップよりも後に生成される際には、背景存在確率マップの生成を開始する時点において、処理対象画像を構成する複数の第３ブロックのそれぞれについての輝度ヒストグラムは求められていることになる。したがって、このような場合には、背景存在確率マップを生成する際に、第３のブロックの輝度ヒストグラムをあらたに生成する必要はない。

また、エントロピーマップが生成される場合と同様にして、第１確率マップ生成部５は、背景存在確率マップを生成する際には、処理対象画像を構成する複数の第３ブロックのうち、前画像から変化している第３ブロックについてのみ、背景存在確率評価値をあらたに求めても良い。以下に、この場合の第１確率マップ生成部５の動作について詳細に説明する。

第１確率マップ生成部５は、差分画像生成部３で生成された差分画像に基づいて、処理対象画像を構成する複数の第３ブロックのうち、前画像から変化している第３ブロックを特定する。具体的には、第１確率マップ生成部５は、処理対象画像を構成する複数の第３ブロックのうち、処理対象画像に含まれる、差分画像の動体領域と同じ位置の領域の少なくとも一部を含む第３ブロックについては、前画像から変化している第３ブロックであるとする。そして、第１確率マップ生成部５は、処理対象画像を構成する複数の第３ブロックのうち、前画像から変化している第３ブロックのみを注目ブロック２００として、上記と同様の処理を行う。このとき、第１確率マップ生成部５は、処理対象画像を構成する複数の第３ブロックのうち前画像から変化している第３ブロックにおいて、背景画像であると特定した第３ブロックについては、その背景存在確率評価値を“２５５”とし、背景画像であると特定しなかった第３ブロックについては、その背景存在確率評価値を“０”とする。そして、第１確率マップ生成部５は、処理対象画像を構成する複数の第３ブロックのうち、前画像から変化している第３ブロック以外の各第３ブロックについては、その背景存在確率評価値として、前画像での同じ位置での第３ブロックの背景存在確率評価値を使用する。これにより、背景存在確率マップが生成される際には、処理対象画像のうち、前画像から変化している変化領域以外の領域での背景存在確率の分布については、前画像での背景存在確率の分布が使用され、処理対象画像のうち当該変化領域での背景存在確率の分布については、あらたに求められるようになる。

このように、処理対象画像のうち、前画像から変化している変化領域以外の領域での背景存在確率の分布については、前画像での背景存在確率の分布を使用し、処理対象画像のうち当該変化領域での背景存在確率の分布については、あらたに求めることによって、背景存在確率マップの生成処理を簡素化できるととともに、当該生成処理にかかる時間を短縮することができる。

図１３は、背景存在確率マップでの各評価値を輝度とすることによって、背景存在確率マップを画像化して得られる背景存在確率マップ画像４０を示す図である。図１３に示される背景存在確率マップ画像４０は、２値化画像であって、図３に示される処理対象画像２０についての背景存在確率マップを示している。図１３に示される背景存在確率マップ画像４０において、白色領域では、背景存在確率評価値が大きく、そこに背景画像が存在する確率が高くなっており、黒色領域では、背景存在確率評価値が小さく、そこに背景画像が存在する確率が低くなっている。

＜検出対象存在確率マップ生成処理＞
第２確率マップ生成部６は、エントロピーマップ生成部４で生成されたエントロピーマップと、第１確率マップ生成部５で生成された背景存在確率マップとに基づいて、処理対象画像での顔存在確率の分布を示す検出対象存在確率マップを生成する。検出部７では、この検出対象存在確率マップが使用されて処理対象画像に対して顔画像の検出が行われる。検出対象存在確率マップは、行列状の複数の顔存在確率の評価値（以後、「顔存在確率評価値」と呼ぶ）で構成されている。検出対象存在確率マップでの顔存在確率評価値の配列は、処理対象画像でのピクセルの配列と同じであって、行方向にＭ個の顔存在確率評価値が並び、列方向にＮ個の顔存在確率評価値が並んでいる。

第２確率マップ生成部６は、エントロピーマップでのｍ×ｎ番目の評価値と、背景存在確率マップでのｍ×ｎ番目の評価値との加算値を求める。加算値の上限は“２５５”となっており、求めた加算値が“２５５”よりも大きい場合には、当該加算値は“２５５”とされる。そして、第２確率マップ生成部６は、求めた加算値がしきい値以上であれば、検出対象存在確率マップでのｍ×ｎ行目の顔存在確率評価値を“２５５”とする。一方で、第２確率マップ生成部６は、求めた加算値がしきい値未満であれば、検出対象存在確率マップでのｍ×ｎ行目の顔存在確率評価値を“０”とする。第２確率マップ生成部６は、同様にして、検出対象存在確率マップを構成する複数の顔存在確率評価値のそれぞれを求める。このような検出対象存在確率マップを参照することによって、処理対象画像での顔存在確率の分布を特定することができる。

図１４は、検出対象存在確率マップでの各評価値を輝度とすることによって、検出対象存在確率マップを画像化して得られる検出対象存在確率マップ画像５０を示す図である。図１４に示される検出対象存在確率マップ画像５０は、２値化画像であって、図３に示される処理対象画像２０についての検出対象存在確率マップを示している。図１４に示される検出対象存在確率マップ画像５０において、白色領域５０ａでは、顔存在確率評価値が大きく、そこに顔画像が存在する確率が低くなっており、黒色領域５０ｂでは、顔存在確率評価値が小さく、そこに顔画像が存在する確率が高くなっている。

図１５は、図３の処理対象画像２０に対して、図１４の検出対象存在確率マップ画像５０の白色領域５０ａを重ねた様子を示す図である。図１５では、図１４の白色領域５０ａを斜線で示している。図１５に示されるように、処理対象画像２０において、地面の画像など、顔画像が存在しない領域が、白色領域５０ａ（顔画像が存在する確率が低いと判定された領域）で覆われている。

＜顔検出処理＞
検出部７は、処理対象画像に対して検出枠を移動させながら当該検出枠内の部分画像に対して顔画像の検出を行う。検出部７は、検出枠の各位置において顔画像の検出を行うか否かを、第２確率マップ生成部６で生成された検出対象存在確率マップに基づいて決定する。これにより、処理対象画像において顔画像の検出が行われる領域が検出対象存在確率マップに基づいて決定される。

また、本実施の形態では、処理対象画像における様々な大きさの顔画像を検出するために、検出部７では、処理対象画像に対する相対的な大きさが異なる複数種類の検出枠が使用される。本実施の形態では、例えば３種類の検出枠が使用される。以後、この３種類の検出枠を、処理対象画像に対する相対的な大きさが小さいもの順に、第１検出枠、第２検出枠及び第３検出枠とそれぞれ呼ぶことがある。

図１６は検出部７の構成を示す図である。図１６に示されるように、検出部７は、実行決定部７０と、位置決定部７１と、検出処理実行部７２とを備えている。検出処理実行部７２は、特徴量抽出部７２０及び識別器７２１を備えている。

位置決定部７１は、処理対象画像に対する検出枠の枠位置を決定する。実行決定部７０は、位置決定部７１で決定された枠位置での検出枠内の部分画像に対して顔検出を行うか否かを検出対象存在確率マップに基づいて決定する。以後、顔検出を行うと決定された検出枠内の部分画像を「対象検出枠画像」と呼ぶ。

検出処理実行部７２は、対象検出枠画像に対して顔検出を行う。具体的には、検出処理実行部７２の特徴量抽出部７２０が、対象検出枠画像から、例えばＨａａｒ−ｌｉｋｅ特徴量やＬＢＰ （Local Binary Pattern）特徴量などの特徴量を抽出する。そして、識別器７２１が、特徴量抽出部７２０で抽出された特徴量と学習データに基づいて、対象検出枠画像に対して顔検出を行った結果として、対象検出枠画像が顔画像である確からしさを示す検出確度値を実数値として出力する。つまり、検出部７から出力される検出確度値は、対象検出枠画像についての顔画像らしさ（顔らしさ）を示していると言える。識別器７２１としては、例えば、ＳＶＭ（Support Vector Machine）あるいはＡｄａｂｏｏｓｔが使用される。

次に、検出部７が処理対象画像に対して検出枠を移動させながら、当該検出枠内の部分画像に対して顔画像の検出を行う際の当該検出部７の一連の動作について説明する。図１７〜２０は、検出部７の当該動作を説明するための図である。検出部７は、検出枠をラスタスキャンさせながら、当該検出枠内の部分画像に対して顔画像の検出を行う。

図１７に示されるように、検出部７の位置決定部７１は、処理対象画像２０の左上に検出枠１００を設定する。また、実行決定部７０は、図１７に示されるように、検出対象存在確率マップ１５０に対して、検出枠１００と同じ大きさの判定枠１１０を検出枠１００と同じ位置に設定する。そして、実行決定部７０は、判定枠１１０内の複数の評価値（顔存在確率評価値）の総和を求めて、当該総和がしきい値以上であるかを判定する。実行決定部７０は、当該総和がしきい値以上である場合には、検出枠１００内に顔画像が存在しない可能性が高いと判定して、検出枠１００内の部分画像に対して顔検出を実行しないと決定する。一方で、実行決定部７０は、当該総和がしきい値未満である場合には、検出枠１００内に顔画像が存在する可能性が高いと判定して、検出枠１００内の部分画像に対して顔検出を実行すると決定する。検出処理実行部７２は、実行決定部７０が、検出枠１００内の部分画像に対して顔検出を実行すると決定すると、上述のようにして、当該部分画像に対して顔検出を行って検出確度値を出力する。以後、検出枠内の部分画像に対して顔検出が行われると決定された際の当該検出枠の位置を「検出実行位置」と呼ぶ。

次に位置決定部７１は、処理対象画像２０において検出枠１００を少し右に移動させる。位置決定部７１は、例えば、１ピクセル分あるいは数ピクセル分だけ右に検出枠１００を移動させる。そして、実行決定部７０は、検出対象存在確率マップ１５０において判定枠１１０を検出枠１００と同様に移動させる。その後、実行決定部７０は、上記と同様にして、判定枠１１０内の複数の評価値の総和がしきい値以上である場合には、検出枠１００内の部分画像に対して顔検出を実行しないと決定する。一方で、実行決定部７０は、当該総和がしきい値未満である場合には、検出枠１００内の部分画像に対して顔検出を実行すると決定する。検出処理実行部７２は、実行決定部７０が、検出枠１００内の部分画像に対して顔検出を実行すると決定すると、当該部分画像に対して顔検出を行って検出確度値を出力する。

その後、検出部７は同様に動作して、図１８に示されるように、検出枠１００が処理対象画像の右端まで移動し、判定枠１１０が検出対象存在確率マップ１５０の右端まで移動すると、実行決定部７０は、判定枠１１０内の複数の評価値の総和がしきい値以上であるかを判定する。そして、検出部７は、同様に動作して、検出枠１００内の部分画像に対して顔検出を実行すると決定されると検出確度値を出力する。

次に、位置決定部７１は、図１９に示されるように、検出枠１００を少し下げつつ処理対象画像２０の左端に移動させる。位置決定部７１が、上下方向（列方向）において例えば１ピクセル分あるいは数ピクセル分だけ下に検出枠１００を移動させる。そして、実行決定部７０は、検出対象存在確率マップ１５０において判定枠１１０を検出枠１００と同様に移動させる。その後、検出部７は、同様に動作して、検出枠１００内の部分画像に対して顔検出を実行すると決定されると検出確度値を出力する。

その後、検出部７は同様に動作して、図２０に示されるように、検出枠１００が処理対象画像の右下まで移動し、判定枠１１０が検出対象存在確率マップ１５０の右下まで移動すると、実行決定部７０は、判定枠１１０内の複数の評価値の総和がしきい値以上であるかを判定する。そして、検出部７は、同様に動作して、検出枠１００内の部分画像に対して顔検出を実行して検出確度値を出力する。

このように検出部７が動作することによって、処理対象画像のすべての領域に対して顔画像の検出が行われるのではなく、処理対象画像の一部の領域に対して顔画像の検出が行われるようになる。

検出部７は、以上のような顔検出処理を、処理対象画像に対する相対的な大きさが異なる第１検出枠、第２検出枠及び第３検出枠のそれぞれを用いて行う。本実施の形態では、検出部７は、第１検出枠を使用する際には、上述のように、本来の大きさの処理対象画像（画像サイズがＭｐ×Ｎｐの処理対象画像）である基準処理対象画像に対して第１検出枠を移動させながら、当該第１検出枠内の部分画像に対して顔検出を行う。また、検出部７は、第２検出枠を使用する際には、その絶対的な大きさを第１検出枠よりも大きくするのではなく、基準処理対象画像を縮小して得られる第１縮小処理対象画像に対して、第１検出枠と絶対的な大きさが同じである第２検出枠を移動させながら、当該第２検出枠内の部分画像に対して顔検出を行う。そして、検出部７は、第３検出枠を使用する際には、その絶対的な大きさを第１及び第２検出枠よりも大きくするのではなく、基準処理対象画像を縮小して得られる第２縮小処理対象画像に対して、第１及び第２検出枠と絶対的な大きさが同じである第３検出枠を移動させながら、当該第３検出枠内の部分画像に対して顔検出を行う。第２縮小処理対象画像の大きさは第１縮小処理対象画像よりも小さくなっている。本実施の形態では、第１乃至第３検出枠の絶対的な大きさは、例えば、１６ｐ×１６ｐに設定される。

以上のように、検出部７が、第１乃至第３検出枠のそれぞれを用いて顔検出を行うことによって、第１検出枠についての複数の検出実行位置にそれぞれ対応した複数の検出確度値が得られ、第２検出枠についての複数の検出実行位置にそれぞれ対応した複数の検出確度値が得られ、第３検出枠についての複数の検出実行位置にそれぞれ対応した複数の検出確度値が得られる。

＜出力値マップ生成処理＞
出力値マップ生成部８は、検出部７での検出結果に基づいて、顔画像である確からしさ（顔画像らしさ）を示す検出確度値についての処理対象画像での分布を示す出力値マップを生成する。以下に、出力値マップの生成方法について詳細に説明する。

出力値マップ生成部８は、処理対象画像（基準処理対象画像）と同様に、行方向にＭ個の値が並び、列方向にＮ個の値が並ぶ、合計（Ｍ×Ｎ）個の値から成る第１マップ３００を考える。

出力値マップ生成部８は、第１検出枠についてのある検出実行位置を、対象検出実行位置として、第１マップ３００に対して、対象検出実行位置と同じ位置に、第１検出枠と同じ大きさの第１の枠３１０を設定する。図２１は、第１マップ３００に対して第１の枠３１０を設定した様子を示す図である。

次に出力値マップ生成部８は、第１マップ３００における、第１の枠３１０外の各値については“０”とし、第１の枠３１０内の各値については、対象検出実行位置に対応する検出確度値を用いて決定する。本実施の形態では、第１検出枠の大きさは１６ｐ×１６ｐであることから、第１の枠３１０内には、行方向に１６個、列方向に１６個、合計２５６個の値が存在する。図２２は、第１の枠３１０内の各値を決定する方法を説明するための図である。

出力値マップ生成部８は、第１の枠３１０内の中心３１１の値を、検出部７で求められた、対象検出実行位置に対応する検出確度値とする。そして、出力値マップ生成部８は、第１の枠３１０内のそれ以外の複数の値を、第１の枠３１０の中心３１１の値を最大値とした正規分布曲線に従って第１の枠３１０内の中心３１１から外側に向けて値が徐々に小さくなるようにする。これにより、第１マップ３００を構成する複数の値のそれぞれが決定されて、対象検出実行位置に対応する第１マップ３００が完成する。出力値マップ生成部８は、第１検出枠についての複数の検出実行位置にそれぞれ対応する複数の第１マップ３００を生成する。

また出力値マップ生成部８は、第１縮小処理対象画像を構成する複数のピクセルと同じ数及び同じ配列の複数の値で構成された第１縮小マップ４００を考える。第１縮小処理対象画像の大きさがＭ１ｐ×Ｎ１ｐであるとすると、第１縮小マップ４００では、行方向のＭ１個の値が並び、列方向にＮ１個の値が並び、合計（Ｍ１×Ｎ１）個の値が存在することになる。

次に出力値マップ生成部８は、第２検出枠についてのある検出実行位置を、対象検出実行位置として、第１縮小マップ４００に対して、対象検出実行位置と同じ位置に、第２検出枠と同じ大きさの第１の縮小枠４１０を設定する。図２３は、第１縮小マップ４００に対して第１の縮小枠４１０を設定した様子を示す図である。

次に出力値マップ生成部８は、第１の縮小枠４１０が設定された第１縮小マップ４００を、基準処理対象画像を縮小して第１縮小処理対象画像を生成した際の縮小率の逆数だけ拡大して得られる第２マップ４５０を考える。図２４は、第２マップ４５０を示す図である。第２マップ４５０では、拡大後の第１の縮小枠４１０である第２の枠４６０が設定されている。第２マップ４５０は、第１マップ３００と同様に、行方向にＭ個の値が並び、列方向にＮ個の値が並ぶ、合計（Ｍ×Ｎ）個の値で構成されている。また第２の枠４６０内には、例えば、行方向に１８個、列方向に１８個、合計３２４個の値が存在する。

次に出力値マップ生成部８は、第２マップ４５０における、第２の枠４６０外の各値については“０”とし、第２の枠４６０内の各値については、対象検出実行位置に対応する検出確度値を用いて決定する。出力値マップ生成部８は、第１の枠３１０内の各値を決定する場合と同様にして、第２の枠４６０内の各値を決定する。具体的には、出力値マップ生成部８は、第２の枠４６０内の中心の値を、検出部７で求められた、対象検出実行位置に対応する検出確度値とする。そして、出力値マップ生成部８は、第２の枠４６０内のそれ以外の複数の値を、第２の枠４６０の中心の値を最大値とした正規分布曲線に従って第２の枠４６０内の中心から外側に向けて値が徐々に小さくなるようにする。これにより、第２マップ４５０を構成する複数の値のそれぞれが決定されて、対象検出実行位置に対応する第２マップ４５０が完成する。出力値マップ生成部８は、第２検出枠についての複数の検出実行位置にそれぞれ対応する複数の第２マップ４５０を生成する。

また出力値マップ生成部８は、第２マップ４５０と同様にして、第３検出枠についての複数の検出実行位置にそれぞれ対応する複数の第３マップを生成する。具体的には、出力値マップ生成部８は、まず、第２縮小処理対象画像を構成する複数のピクセルと同じ数及び同じ配列の複数の値で構成された第２縮小マップを考える。第２縮小処理対象画像の大きさがＭ２ｐ×Ｎ２ｐであるとすると、第２縮小マップでは、行方向のＭ２個の値が並び、列方向にＮ２個の値が並び、合計（Ｍ２×Ｎ２）個の値が存在することになる。

次に出力値マップ生成部８は、第３検出枠についてのある検出実行位置を、対象検出実行位置として、第２縮小マップに対して、対象検出実行位置と同じ位置に、第３検出枠と同じ大きさの第２の縮小枠を設定する。

次に出力値マップ生成部８は、第２の縮小枠が設定された第２縮小マップを、基準処理対象画像を縮小して第２縮小処理対象画像を生成した際の縮小率の逆数だけ拡大して得られる第３マップを考える。第３マップでは、拡大後の第２の縮小枠である第３の枠が設定されている。第３マップは、第１及び第２マップと同様に、行方向にＭ個の値が並び、列方向にＮ個の値が並ぶ、合計（Ｍ×Ｎ）個の値で構成されている。また第３の枠内には、例えば、行方向に２０個、列方向に２０個、合計４００個の値が存在する。

次に出力値マップ生成部８は、第３マップにおける、第３の枠外の各値については“０”とし、第３の枠内の各値については、対象検出実行位置に対応する検出確度値を用いて決定する。出力値マップ生成部８は、第１及び第２の枠内の各値を決定する場合と同様にして、第３の枠内の各値を決定する。具体的には、出力値マップ生成部８は、第３の枠内の中心の値を、検出部７で求められた、対象検出実行位置に対応する検出確度値とする。そして、出力値マップ生成部８は、第３の枠内のそれ以外の複数の値を、第３の枠の中心の値を最大値とした正規分布曲線に従って第３の枠内の中心から外側に向けて値が徐々に小さくなるようにする。これにより、第３マップを構成する複数の値のそれぞれが決定されて、対象検出実行位置に対応する第３マップが完成する。出力値マップ生成部８は、第３検出枠についての複数の検出実行位置にそれぞれ対応する複数の第３マップを生成する。

出力値マップ生成部８は、第１検出枠についての複数の検出実行位置にそれぞれ対応する複数の第１マップと、第２検出枠についての複数の検出実行位置にそれぞれ対応する複数の第２マップと、第３検出枠についての複数の検出実行位置にそれぞれ対応する複数の第３マップとを生成すると、これらのマップを合成して出力値マップを生成する。具体的には、出力値マップ生成部８は、複数の第１マップと、複数の第２マップと、複数の第３マップとのｍ×ｎ番目の値を加算し、それによって得られた加算値を出力値マップのｍ×ｎ番目の検出確度値とする。出力値マップ生成部８は、このようにして、出力値マップを構成する各検出確度値を求める。これにより、処理対象画像での検出確度値の分布を示す出力値マップが生成される。出力値マップを参照すれば、処理対象画像において顔画像らしさが高い領域を特定することができる。つまり、出力値マップを参照することによって、処理対象画像に含まれる顔画像を特定することができる。

図２５は、上述の図３の処理対象画像２０とは別の処理対象画像２０についての出力値マップを当該処理対象画像２０に重ねて示す図である。図２５では、理解し易いように、検出確度値の大きさを例えば第１段階から第５段階の５段階に分けて出力値マップを示している。図２５に示される出力値マップにおいては、検出確度値が、最も大きい第５段階に属する領域については縦線のハッチングが示されており、２番目に大きい第４段階に属する領域については砂地のハッチングが示されている。また、図２５での出力値マップにおいては、検出確度値が、３番目に大きい第３段階に属する領域については右上がりのハッチングが示されており、４番目に大きい第２段階に属する領域については左上がりのハッチングが示されている。そして、図２５に示される出力値マップにおいては、検出確度値が、最も小さい第１段階に属する領域についてはハッチングが示されていない。図２５に示される出力値マップにおいては、処理対象画像２０での顔画像に対応する領域での検出確度値が高くなっている。

図２６は、本実施の形態とは異なり、検出部７が、処理対象画像２０に対して検出枠を移動させながら当該検出枠内の部分画像に対して顔画像の検出を行う際に、検出対象存在確率マップを使用せずに、検出枠のすべての位置において顔画像の検出を行った場合に生成される出力値マップを示す図である。つまり、図２６は、本実施の形態とは異なり、検出対象存在確率マップを使用せずに、処理対象画像２０のすべての領域に対して顔画像の検出を行った場合に生成される出力値マップを示す図である。図２６においても、図２５と同様に、検出確度値の大きさが５段階に分けられて出力値マップが示されている。図２６に示されるように、検出対象存在確率マップを使用せずに、処理対象画像２０のすべての領域に対して顔画像の検出を行った場合に生成される出力値マップにおいては、検出確度値が大きくなっている、処理対象画像２０での非顔画像に対応する領域が多くなっている。図２６の出力値マップでは、例えば、処理対象画像２０の下側部分に存在する植栽の画像に対応する領域での検出確度値が高くなっている。したがって、処理対象画像２０のすべての領域に対して顔画像の検出を行った場合には、顔画像を誤検出する可能性が高くなる。

画像検出装置１は、出力値マップを生成すると、当該出力値マップに基づいて、処理対象画像での顔画像を特定する。具体的には、画像検出装置１は、出力値マップにおいて、検出確度値がしきい値以上である領域を特定し、処理対象画像での当該領域と同じ位置に存在する領域を顔画像であると認定する。そして、画像検出装置１は、処理対象画像を表示装置で表示する際に、当該処理対象画像での顔画像を四角枠等が囲うようにする。

また、画像検出装置１は、予め登録された顔画像と、処理対象画像において特定した顔画像とを比較し、両者が一致するか否かを判定しても良い。そして、画像検出装置１は、予め登録された顔画像と、処理対象画像において特定した顔画像と一致しない場合には、処理対象画像での当該顔画像に対してモザイク処理を行った上で、当該処理対象画像を表示装置に表示しても良い。これにより、本実施の形態に係る画像検出装置１を監視カメラシステムに使用した場合において、監視カメラによって隣家の人の顔画像が撮影された場合であっても、当該顔画像を認識できないようにすることができる。つまり、プライバシーマスクを実現することができる。

以上のように、本実施の形態では、検出部７が、処理対象画像において検出対象画像の検出を行う領域を検出対象存在確率マップに基づいて決定していることから、処理対象画像での不要な領域、つまり検出対象画像が存在しない可能性が高い領域に対して検出対象画像の検出が行われることを抑制できる。その結果、検出対象画像についての検出精度が向上する。

また、本実施の形態のようにエントロピーマップ、背景存在確率マップ及び検出対象存在確率マップを生成することによって、これらのマップの生成処理にかかる時間を、検出対象存在確率マップを使用せずに処理対象画像のすべての領域に対して検出対象画像の検出を行う処理にかかる時間と比べて非常に小さくすることができる。したがって、本実施の形態のように、処理対象画像において検出対象画像が存在しない可能性が高い領域に対して検出対象画像の検出を行うことを抑制することによって、言い換えれば、検出枠内の部分画像に対する検出対象画像の検出処理の実行回数を低減することによって、処理対象画像に対する検出対象画像の検出結果が得られるまでにかかるトータル時間を大幅に低減することができる。

なお、上記の例では、検出対象画像を顔画像としていたが、顔画像と同様に、輝度ヒストグラムの分布がばらついている画像であるならば、その画像を検出対象画像とすることができる。

また、上記の例では、第２確率マップ生成部６は、検出対象存在確率マップを、エントロピーマップ及び背景存在確率マップに基づいて生成したが、エントロピーマップだけに基づいて生成しても良い。この場合には、第２確率マップ生成部６は、エントロピーマップ生成部４が生成したエントロピーマップの各評価値を２値化することによって検出対象存在確率マップを生成する。具体的には、第２確率マップ生成部６は、エントロピーマップのｍ×ｎ行目の評価値がしきい値以上であれば、検出対象存在確率マップでのｍ×ｎ行目の顔存在確率評価値を“２５５”とする。一方で、第２確率マップ生成部６は、エントロピーマップのｍ×ｎ行目の評価値がしきい値未満であれば、検出対象存在確率マップでのｍ×ｎ行目の顔存在確率評価値を“０”とする。第２確率マップ生成部６は、同様にして、検出対象存在確率マップを構成する複数の顔存在確率評価値のそれぞれを求める。

このように、第２確率マップ生成部６が、検出対象存在確率マップをエントロピーマップに基づいて生成する場合であっても、処理対象画像において検出対象画像が存在しない可能性が高い領域に対して検出対象画像の検出が行われることを抑制することができる。よって、検出対象画像についての検出精度を向上させることができる。

また、上述の実施の形態のように、検出対象存在確率マップが、エントロピーマップ及び背景存在確率マップに基づいて生成される際には、検出対象存在確率マップの精度を向上することができることから、検出対象画像についての検出精度をさらに向上させることができる。

１ 画像検出装置
４ エントロピーマップ生成部
５ 第１確率マップ生成部
６ 第２確率マップ生成部
７ 検出部
１２ 制御プログラム

Claims (7)

1. 処理対象画像から検出対象画像を検出する画像検出装置であって、
   前記処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する第１マップ生成部と、
   前記エントロピーマップに基づいて、前記処理対象画像での前記検出対象画像の存在確率の分布を示す検出対象存在確率マップを生成する第２マップ生成部と、
   前記処理対象画像において前記検出対象画像の検出を行う領域を前記検出対象存在確率マップに基づいて決定し、当該領域に対して前記検出対象画像の検出を行う検出部と
   を備え、
   前記第１マップ生成部は、前記輝度ヒストグラムのエントロピーの評価値で構成された前記エントロピーマップを生成し、
   前記第１マップ生成部は、
   前記処理対象画像に含まれるある領域での前記輝度ヒストグラムのエントロピーである第１エントロピーがしきい値以上の場合には、前記処理対象画像よりも前に撮像された前画像における、当該ある領域と同じ位置の領域での前記輝度ヒストグラムのエントロピーである第２エントロピーの前記評価値を、当該第１エントロピーに基づいて更新することによって、当該第１エントロピーの前記評価値を求める、画像検出装置。
2. 処理対象画像から検出対象画像を検出する画像検出装置であって、
   前記処理対象画像よりも前に撮像された前画像と前記処理対象画像との差分画像を生成する差分画像生成部と、
   前記処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する第１マップ生成部と、
   前記エントロピーマップに基づいて、前記処理対象画像での前記検出対象画像の存在確率の分布を示す検出対象存在確率マップを生成する第２マップ生成部と、
   前記処理対象画像において前記検出対象画像の検出を行う領域を前記検出対象存在確率マップに基づいて決定し、当該領域に対して前記検出対象画像の検出を行う検出部と
   を備え、
   前記第１マップ生成部は、前記差分画像に基づいて、前記処理対象画像において前記前画像から変化した変化領域を特定し、
   前記第１マップ生成部は、
   前記処理対象画像についての前記エントロピーマップを生成する際には、
   前記処理対象画像のうち前記変化領域以外の領域での輝度ヒストグラムのエントロピーの分布については、前記前画像での輝度ヒストグラムのエントロピーの分布を使用し、
   前記処理対象画像のうち前記変化領域での輝度ヒストグラムのエントロピーの分布については、あらたに求める、画像検出装置。
3. 処理対象画像から検出対象画像を検出する画像検出装置であって、
   前記処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する第１マップ生成部と、
   前記エントロピーマップに基づいて、前記処理対象画像での前記検出対象画像の存在確率の分布を示す検出対象存在確率マップを生成する第２マップ生成部と、
   前記処理対象画像において前記検出対象画像の検出を行う領域を前記検出対象存在確率マップに基づいて決定し、当該領域に対して前記検出対象画像の検出を行う検出部と、
   前記処理対象画像での背景画像の存在確率の分布を示す背景存在確率マップを生成する第３マップ生成部と
   を備え、
   前記第２マップ生成部は、前記エントロピーマップ及び前記背景存在確率マップに基づいて、前記検出対象存在確率マップを生成する、画像検出装置。
4. 請求項３に記載の画像検出装置であって、
   前記処理対象画像よりも前に撮像された前画像と前記処理対象画像との差分画像を生成する差分画像生成部をさらに備え、
   前記第３マップ生成部は、前記差分画像に基づいて、前記処理対象画像において前記前画像から変化した変化領域を特定し、
   前記第３マップ生成部は、
   前記処理対象画像についての前記背景存在確率マップを生成する際には、
   前記処理対象画像のうち前記変化領域以外の領域での背景画像の存在確率の分布については、前記前画像での背景画像の存在確率の分布を使用し、
   前記処理対象画像のうち前記変化領域での背景画像の存在確率の分布については、あらたに求める、画像検出装置。
5. 請求項１乃至請求項４のいずれか一つに記載の画像検出装置であって、
   前記検出対象画像は、人の顔画像である、画像検出装置。
6. 処理対象画像から検出対象画像を検出する画像検出装置を制御するための制御プログラムであって、
   前記画像検出装置に、
   （ａ）前記処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する工程と、
   （ｂ）前記処理対象画像での背景画像の存在確率の分布を示す背景存在確率マップを生成する工程と、
   （ｃ）前記エントロピーマップ及び前記背景存在確率マップに基づいて、前記処理対象画像での前記検出対象画像の存在確率の分布を示す検出対象存在確率マップを生成する工程と、
   （ｄ）前記処理対象画像において前記検出対象画像の検出を行う領域を前記検出対象存在確率マップに基づいて決定し、当該領域に対して前記検出対象画像の検出を行う工程と
   を実行させるための制御プログラム。
7. 処理対象画像から検出対象画像を検出する画像検出方法であって、
   （ａ）前記処理対象画像での輝度ヒストグラムのエントロピーの分布を示すエントロピーマップを生成する工程と、
   （ｂ）前記処理対象画像での背景画像の存在確率の分布を示す背景存在確率マップを生成する工程と、
   （ｃ）前記エントロピーマップ及び前記背景存在確率マップに基づいて、前記処理対象画像での前記検出対象画像の存在確率の分布を示す検出対象存在確率マップを生成する工程と、
   （ｄ）前記処理対象画像において前記検出対象画像の検出を行う領域を前記検出対象存在確率マップに基づいて決定し、当該領域に対して前記検出対象画像の検出を行う工程と
   を備える、画像検出方法。