JP6731360B2 - 顔検出装置及びプログラム - Google Patents

Description

本発明は、宅内映像の場合のように顔が小さく且つ背景が複雑な画像であっても高精度に顔検出を行うことのできる顔検出装置及びプログラムに関する。

近年、画像・映像から顔を検出する技術はデジタルカメラやOpenCV（非特許文献６）などオープンソースで広く実現されている。具体的には例えば、以下のような各種の顔検出手法がある。

非特許文献１では、Haar-like特徴を用いたブースティングされた分類器のカスケードを用いて、Haar-likeとよばれる明暗で構成される矩形のパターンを検出に使う。また、非特許文献２では、Normalized Pixel Difference (NPD、正規化ピクセル差分)という特徴量を提案し、deep quadratic tree（深層の四分木）で最適なNPD特徴量の組合せを学習する。非特許文献２では、逆光や暗い環境で顔をロバストに検出できる手法を提案している。また、特許文献１では、被写体の顔のサイズ、顔の向き、及び天地方向等の顔検出を行う条件に応じて顔検出を行う。さらに、非特許文献３では、コンテキスト（肩など顔の周りの情報）を利用し、複数の分類器により大きい顔から小さい顔まで幅広く検出可能とする手法を提案している。また、動き情報を用いる手法として、非特許文献５では、正面を向いた顔画像を対象として、オプティカルフローを用いて動き情報を算出することを提案している。

特開2012-185846号公報

Viola, P and Jones, M,"Rapid object detection using a boosted cascade of simple features", CVPR,vol.1,pp.511-518,(2001). S. Liao, A. K. Jain and S. Z. Li, "A Fast and Accurate Unconstrained Face Detector," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 38, no. 2, pp. 211-223, Feb. 1 2016 Peiyun Hu, and Deva Ramanan, "Finding Tiny Faces," CoRR, vol.abs/ 1612.04402, 2016. Zivkovic, Z., "Improved adaptive Gaussian mixture model for background subtraction," Pattern Recognition, 2004. ICPR 2004. Proceedings of the 17th International Conference on , vol.2, no., pp.28,31 Vol.2, 23-26 Aug. 2004 Inoue Makiko,Oda Eisuke,Ito Akira,Terada Kazunori、オプティカルフローとニューラルネットを用いた顔の動き情報検出、情報科学技術フォーラム講演論文集 7(3), 461-462, 2008-08-20 Kari Pulli, Anatoly Baksheev, Kirill Kornyakov, and Victor Eruhimov. 2012. Real-time computer vision with OpenCV. Commun. ACM 55, 6 (June 2012), 61-69.

しかしながら、以上のような従来技術においては、例えば宅内映像のように、顔領域が小さく、且つ、様々な家具類その他が映るといった事情から背景が複雑であるといった性質を有する映像から顔検出を行う場合に、誤検出が多いという課題があった。

具体的に例えば、顔領域が小さい場合に対処しようとすると、非特許文献３のようにコンテキストを利用した上で専用分類器を学習させること、または顔検出の閾値を低めに設定することが必要となる。しかしながらこのように対処すると、単純な背景の場合には特に問題はないものの、複雑な背景の場合には誤検出をしてしまう。当該誤検出は、背景と前景のようなセマンティックス情報を利用しないことによる精度低下に起因している。

また、例えば非特許文献５のように動き情報としてのオプティカルフローを利用するアプローチも考えられるが、オプティカルフローの算出は、複雑な背景であり且つ顔領域が小さい場合には利用困難である。さらに、非特許文献５の手法は正面の顔画像を対象とするという制約もある。

以上のような従来技術の課題に鑑み、本発明は、宅内映像の場合のように顔が小さく且つ背景が複雑な画像であっても高精度に顔検出を行うことのできる顔検出装置及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明は、顔検出装置であって、映像内フレームとしての画像に対して動き解析を適用することで、動きがあると判定される前景領域と動きがないと判定される背景領域とを分離する分離部と、前記前景領域に対しては第一条件を設定し、且つ、前記背景領域に対しては前記第一条件よりも厳しい第二条件を設定する設定部と、前記前景領域に対しては前記第一条件のもとで顔検出器を適用し、前記背景領域に対しては前記第二条件のもとで前記顔検出器を適用することにより、前記画像から顔検出を行う検出部と、を備えることを特徴とする。また、コンピュータを前記顔検出装置として機能させるプログラムであることを特徴とする。

本発明によれば、動きの有無で前景・背景領域を区別して当該領域ごとに顔検出の条件の厳しさを変えたうえで顔検出を行うことにより、顔が小さく且つ背景が複雑な画像であっても高精度に顔検出を行うことができる。

一実施形態に係る顔検出装置の機能ブロック図である。 設定部における処理を説明するための模式的な各領域の例を[1]〜[3]と分けて示す図である。

図１は、一実施形態に係る顔検出装置の機能ブロック図である。図示するように、顔検出装置10は、分離部1、設定部2及び検出部3を備える。各部の概略的な処理は以下の通りである。

分離部1では、映像における各時刻tのフレーム画像F(t)(t=1,2,3,...)を読み込み、当該フレーム画像F(t)（以下、特に断りのない限り適宜、当該フレーム画像F(t)を単に「画像」などのように略称することとする。）をその動き情報に基づいて解析することにより当該画像を前景領域と背景領域とにセグメント（領域分割）し、当該セグメント結果を設定部2へと出力する。ここで、当該セグメントした後にさらにマージ処理等でノイズ除去を施したものを設定部2へと出力するようにしてもよい。

設定部2は、分離部1から得られる現時刻tの画像F(t)の前景・背景へのセグメント結果と、検出部3から得られる現時刻tよりも前（すなわち過去）の時刻における顔検出結果（画像内のどの領域で顔が検出されたかという結果）と、に基づき現時刻tの画像F(t)内における領域の区別を行うと共に、当該区別された領域ごとに顔検出の条件（顔検出の判定をどの程度だけ厳しくするか、またその逆に緩和するかという条件）を設定し、当該得られた領域ごとの検出条件を検出部3へと出力する。

検出部3では、現時刻tの画像F(t)に対して、設定部2より得られた領域ごとの検出条件に従って顔検出を行うことで当該画像F(t)の顔検出結果を得る。当該得られた検出結果は顔検出装置10からの出力となるほか、設定部2へも出力されることにより、現時刻tよりもさらに未来の時刻における設定部2の処理の際の参照に供される。

以下、各部1〜3の詳細を説明する。

分離部1では、以下の第一〜第二処理を順に実施することで、前景領域及び背景領域を分離して設定部2へと出力する。

第一処理として、既存手法である背景差分法を適用することで、映像の各時刻の画像につき前景領域を検出する。ここで、背景差分法としては種々のものが利用可能であるが、例えば前掲の非特許文献４に開示のものを利用することができる。非特許文献４においては、混合正規分布(Mixture of Gaussian Distribution, MoG)を用いて背景をモデル化し、新たに観測された画像を用いて逐次的に背景モデルを更新しながら、当フレームの前景領域（動きのある領域）を検出している。

第一処理はまた、上記の混合正規分布その他による背景差分法に代えて、前掲の非特許文献５その他に開示の既存手法であるオプティカルフローの計算を行い、当該オプティカルフローの値（ベクトルの絶対値）が閾値を超えると判定される箇所を前景領域として検出するようにしてもよい。

第二処理として、上記の第一処理で得た前景領域は本来の移動対象の領域の他にも、いわゆるゴマ塩状の領域等をノイズとして含んでいるので、当該ノイズ影響を低減するために、第一処理で得た前景領域に対してさらに、2値画像におけるノイズ低減処理として周知の膨張・収縮処理を適用する。ここで、膨張(erode)処理は以下の式(1)で示され、収縮(dilate)処理は以下の式(2)で示される。

なお、式(1),(2)において、dst(x,y)は膨張・収縮処理のそれぞれにおける出力画像（出力される前景領域）の構成画素を、src(x,y)は入力画像（入力される前景領域）の構成画素を表す。(x,y)は当該画像（すなわち領域）内に含まれる座標であり、画像処理分野において慣用的に用いられているのと同様に、画像の左上の頂点を原点とし、右方向にx軸を、下方向にy軸を取ればよい。

式(1),(2)では各画素位置(x,y)に関して、2値画像処理の分野で行われているように、当該位置に前景領域が存在すれば0の値（最小値の黒）を定義し、存在しなければ1の値（最大値の白）を定義するものとする。こうして、式(1),(2)では共に各画素位置(x,y)の所定近傍の一連の画素(x+x', y+y')を参照することで、式(1)では画素位置(x,y)の所定近傍内に1つでも0すなわち前景領域に属している画素があれば当該位置(x,y)を前景領域に置き換えることで膨張処理が実施され、式(2)ではこの逆の処理（近傍に1つでも背景領域があれば背景領域に置き換える処理）によって収縮処理が実施される。ここで、近傍については所定距離内などを採用すればよい。

設定部2では、以下の第一処理〜第二処理を順次行うことで、領域ごとの顔検出の条件を求めて検出部3へと出力する。

図２は、設定部2における処理を説明するための模式的な各領域の例を[1]〜[3]と分けて示す図である。図２では、画像全体の領域Pの内部において設定部2により区別される領域、すなわち設定部2がその顔検出の条件と共に現時刻のフレーム（画像）に関して出力する領域の例が[3]に示されている。図２ではまた、当該[3]の領域を得るための入力データの例として、[1]に検出部3によって前フレームに関して検出された顔領域の例が、[2]に分離部1によって現時刻フレームに関して分離された前景・背景領域の例が、それぞれ示されている。

図２において具体的に[1]では、過去フレームにおいて２つの顔領域FC1,FC2が検出されている例が示されている。また、[2]では現時刻フレームが２つの前景領域FG1,FG2と、当該前景領域でないと判定された背景領域BGと、に分離された例が示されている。なお、[2]では以下の説明の便宜上、当該前景・背景領域の分離結果にさらに[1]の顔領域を重ねて描いている。すなわち、顔領域FC1の左側部分は前景領域FG1に重なっており、顔領域FC1の右側部分は背景領域BGに重なっている。一方、顔領域FC2はその全体が背景領域BG内部に属している。なお、図２の例では模式例として各領域の形状が全て矩形として描かれているが、各領域の形状や向きは必ずしもこのような矩形である必要はない。

以下、図２の例を適宜参照しながら、設定部2における第一処理及び第二処理の詳細を説明する

第一処理として、設定部2では分離部1から得られる現時刻のフレームに関する前景・背景の分離結果と、検出部3から得られる過去時刻のフレームにおける顔検出結果と、を参照することにより、現時刻のフレームの領域を以下のように第一〜第五領域へと分離する。

第一領域に関しては、次のものを第一領域として決定する。すなわち、現時刻のフレームF(t)において分離部1において前景領域として求まっている領域FG(t,i)(i=1,2,...)のうち、過去時刻のフレームにおいて検出部3により顔領域として検出された領域FC(j)(j=1,2,...)のうち少なくとも１つFC(j)に対する重複面積の割合が所定割合r以上であるものを第一領域とする。式で表現すれば、以下の式(3)を満たす過去検出の顔領域FC(j)が少なくとも１つ存在している現時刻tの前景領域FG(t,i)が、第一領域として決定される。

上記の式(3)において、絶対値記号「||」により領域Sの面積を|S|のように表している。当該面積は領域に属する画素数として求めてもよい。また、「∩」は積集合である。すなわち、「A∩B」で領域A,Bの共通部分を表す。所定割合rは例えばr=3/4等と設定すればよい。

図２の例では、[2]に示す前景領域FG1がそのまま、[3]に示すように第一領域R1として決定される。なぜならば、[2]に示すように前景領域FG1に少なくとも一部がオーバーラップしている顔領域FC1が存在し、顔領域FC1内で前景領域FG1の占める割合は所定割合r以上となっており、式(3)を満たすためである。

第二領域に関しては、次のものを第二領域として決定する。すなわち、現時刻のフレームF(t)において分離部1において前景領域として求まっている領域FG(t,i)(i=1,2,...)のうち、上記の第一領域には該当しなかったものを、第二領域として決定する。

図２の例では、[2]に示す前景領域FG2がそのまま、[3]に示すように第二領域R2として決定される。なぜならば、前景領域FG2に対してはオーバーラップしている顔領域が存在しないため、式(3)を満たすような顔領域が前景領域FG2に関して存在しないためである。

第三領域に関しては、次のものを第三領域として決定する。すなわち、過去フレームにおいて顔領域として検出された領域のうち、その全体が現時刻のフレームにおいて背景領域として検出されているものを、第三領域として決定する。（あるいは、その全体ではなく割合(1-r)よりも多くが背景領域として検出されているものを第三領域として決定してもよい。）

図２の例では、[1]及び[2]に示す顔領域FC2がそのまま、[3]に示すように第三領域R3として決定される。なぜならば、[2]に示すように顔領域FC2はその全体が背景領域BG内に属しているからである。一方、顔領域FC1はその一部分が前景領域FC1にオーバーラップすることによって、その全体が背景領域BG内に属してはいないため、第三領域としては決定されない。

第四領域に関しては、次のものを第四領域として決定する。すなわち、以上の第一ないし第三領域として決定された領域の周囲にある所定範囲を、第四領域として決定する。当該所定範囲は各領域の境界からの距離が所定値以内にある範囲などとして定めればよい。

図２の例では[3]に示すように、第一領域R1の周囲所定範囲として第四領域R41が決定され、第二領域R2の周囲所定範囲として第四領域R41が決定され、第三領域R3の周囲所定範囲として第四領域R43が決定され、合計で3個の第四領域R41,R42,R43が決定されている。

第五領域に関しては、次のものを第五領域として決定する。すなわち、以上の第一ないし第四領域のいずれにも該当しなかった領域を、第五領域として決定する。

図２の例では[3]に示すように、第一ないし第四領域のいずれにも該当しなかった領域が第五領域R5として決定されている。

以上、第一処理によって第一ないし第五領域を決定して現時刻のフレームを当該各領域に分離した後、設定部2ではさらに第二処理において当該分離された各領域に対して顔検出の条件を設定する。

前述の通り、当該設定する条件は後段側の検出部3による顔検出の条件の厳しさの程度を表すものである。以下の説明では、検出部3が所定種類の顔検出器を用いて対象領域が顔に該当する度合いを出力し、当該度合いに対して閾値判定を行うことで対象領域が顔に該当するか否かを判断するものとし、設定部2では検出部3が顔に該当するか否かを当該判断するために用いる閾値を、顔検出条件として出力するものとして説明する。すなわち、閾値が大きいほど顔検出の条件は厳しく、閾値が小さいほど顔検出の条件は弱いことを、当該閾値は意味している。

第二処理において、設定部2では第一ないし第五領域の区別が設けられた各領域について顔検出条件としての閾値を設定する。まず、第一領域の仮閾値（暫定的な閾値）として所定値temp_th1(＞0)を設定したうえでさらに、第二ないし第四領域の仮閾値を以下の式(4-2)〜(4-5)のように設定する。temp_th2は第二領域の仮閾値であり、temp_th3は第三領域の仮閾値であり、temp_th4は第四領域の仮閾値であり、temp_th5は第五領域の仮閾値である。
temp_th2=k2*temp_th1 …(4-2)
temp_th3=k3*temp_th1 …(4-3)
temp_th4=k4*temp_th1 …(4-4)
temp_th5=k5*temp_th1 …(4-5)

ここで、上記のようにtemp_th1に乗ずる係数k2〜k5は、以下の式(5)の関係を満たすような所定係数である。
k5>k4>k3,k2>1 …(5)
なお、式(5)は以下の式(6)を意味している。すなわち、k3とk2との大小関係は問わないが、k4はk3,k2のいずれよりも大きく、k3,k2はいずれも1よりも大きい。
k5>k4>max(k3,k2)≧min(k3,k2)>1 …(6)

すなわち、以上のように設定する仮閾値は、第一領域において最小値（顔検出の条件が最も弱く、緩和されている）であり、第五領域において最大値（顔検出の条件が最も厳しい）であり、第N領域から第N+1領域に移るにつれその値が大きくなる（第N領域よりも第N+1領域の方が顔検出の条件を厳しくする）ような値となる。

設定部2ではさらに、第一領域及び第二領域に対してその動きの激しさに応じて、各領域の閾値を調整したうえで、最終閾値（検出部3へ出力する最終結果としての閾値）を求める。

具体的には、第一領域及び第二領域を構成している前景領域ごとにその動き情報として領域中心の移動速度vを算出する。この際、距離を画素間のユークリッド距離で算出したうえで、移動速度vを求めればよい。第一領域または第２領域の移動速度が閾値v0よりも大きい場合、最終閾値を以下の式(7-1),(7-2)により仮閾値よりも値を小さくしたものとして算出する。一方、当該速度が閾値v0以下の場合、最終閾値を以下の式(7-3),(7-4)のように、仮閾値の値をそのまま採用したものとして算出する。
th1=k*temp_th1 （当該領域の速度v>v0の場合） …(7-1)
th2=k*temp_th2 （当該領域の速度v>v0の場合） …(7-2)
th1= temp_th1 （当該領域の速度v≦v0の場合） …(7-3)
th2=temp_th2 （当該領域の速度v≦v0の場合） …(7-4)

上記の式(7-1)〜(7-4)において、th1は第一領域の最終閾値であり、th2は第二領域の最終閾値である。乗数kは0<k<1の範囲の所定値であり、最終閾値を仮閾値よりも小さな値とするための乗数である。

なお、第一領域及び第二領域がそれぞれ複数ある場合、領域ごとに上記の式(7-1)〜(7-4)により仮閾値に対して乗数kを乗ずるか否かが判断され、最終閾値が算出されることに注意されたい。例えば第一領域が2個あり、一方はその速度vがv0よりも大きいために式(7-1)によって最終閾値が算出され、もう一方はその速度vがv0以下であるために式(7-3)によって最終閾値が算出される、といったことが起こりうる。

また、上記の式(7-1)〜(7-4)において、閾値の速度v0は学習データなどを解析して所定値を予め定めておけばよい。例えば、普段の歩き速度に相当するものとして速度v0を定めておけばよい。なお、各領域の速度vに関しては、分離部1において動き情報に基づいて前景領域を分離した際に、前景領域ごとにその値を求めておくことができる。従って設定部2では当該求めておいた速度を参照することで、上記の式(7-1)〜(7-4)による最終閾値の算出を行うことができる。

設定部2ではまた、第三ないし第五領域に対しては、式(4-3)〜(4-5)で既に求めてある仮閾値をそのまま最終閾値とする。すなわち以下の式(8-3)〜(8-5)のように最終閾値を算出する。ここで、th3は第三領域の最終閾値であり、th4は第四領域の最終閾値であり、th5は第五領域の最終閾値である。
th3= temp_th3 …(8-3)
th4= temp_th4 …(8-4)
th5= temp_th5 …(8-5)

検出部3では、設定部2が以上のように現時刻のフレームF(t)において第一〜第五領域の区別を設け、且つ、当該領域ごとに求めた顔検出の閾値を用いて、当該領域ごとに顔を検出し、検出した顔位置及びサイズ（すなわち顔領域）を出力する。前述の通り当該出力は顔検出装置10からの出力となるほか、設定部2にも出力されることで未来の時刻のフレームにおける設定部2の処理に利用される。

検出部3による顔検出の手法は、例えば前掲の非特許文献２に開示されている手法のような、既存手法の顔検出器を利用することができる。

以上、本発明によれば、設定部2において第一ないし第五領域の区別を設け、領域ごとの閾値（第一及び第二領域に関してはさらに、その動きも考慮した閾値）を設定して検出部3により顔検出を行うので、顔領域が小さく且つ背景が複雑な場合であっても高精度に顔を検出することが可能となる。

以下、本発明における補足的事項を説明する。

（１）以上の説明では第一ないし第五領域の区別を設けて、式(5)の係数k2,k3,k4,k5によって、仮閾値に関して以下の制約１〜４の全てを同時に満たすように計算した。
[制約１] 第一領域よりも第二領域及び第三領域の仮閾値を高く設定する。
[制約２] 第二領域と第三領域との仮閾値の大小には特に制約なし。
[制約３] 第二領域及び第三領域よりも第四領域の仮閾値を高く設定する。
[制約４] 第四領域よりも第五領域の仮閾値を高く設定する。

本発明の変形例として、以上の制約１〜４の任意の一部分のみを利用して仮閾値を計算するようにしてもよい。換言すれば、式(5)に現れる不等号「>」（及びカンマ「,」）の一部を等号「=」に置き換えたものを式(5)の代わりに採用するようにしてもよい。あるいは換言すれば、任意の第N領域と第N+1領域とを、同じ領域として併合して扱い、同じ仮閾値を設定するようにしてもよい。

例えば式(5)に代えて、以下の式(5A)を採用してもよい。
k5>k4>k3=k2=1 …(5A)
式(5A)の場合、第一ないし第三領域の仮閾値は同じ値（temp_th1_3とする）として算出され、第四領域の仮閾値temp_th4は「temp_th4> temp_th1_3」の範囲のものとして算出され、第五領域の仮閾値temp_th5は「temp_th5>temp_th4」の範囲のものとして算出される。

また例えば式(5)に代えて、以下の式(5B)を採用してもよい。
k5=k4=k3>k2=1 …(5B)
式(5B)の場合、分離部1で分離された前景領域と背景領域との区別だけを採用し、前景領域過の方をより緩和した条件で顔検出し、背景領域の方をより厳しい条件で顔検出することとなる。すなわち、式(5B)の場合は過去検出の顔領域の情報は利用されず、また、周辺領域としての第四領域の区別も行われないこととなる。

（２）第一ないし第五領域において式(5)の係数で大小関係を定めて算出する仮閾値の意義は次の通りである。

まず、第一領域は、過去に顔検出されており且つ現在フレーム内で動きがあると判断されている領域であるため、顔検出の可能性が最も高い。そこで、最低の仮閾値temp_th1を設定することで顔検出の条件を最も緩和したものとすることが顔検出精度向上の観点から望ましい。

一方、第二領域は第一領域における過去に顔検出されたという条件のみが欠けた領域であり、第三領域は第一領域における動きありという条件のみが欠けた領域である。従って、第二及び第三領域は、第一領域よりは顔検出の可能性は低いものの、ある程度の顔検出される可能性は残っている領域として、第一領域に次いだ条件を設定することが顔検出精度向上の観点から望ましい。特に、第三領域は、顔は存在するものの静止していることが想定される領域として、第一領域に次ぐ条件を設定している。

第四領域は、顔領域に動きがあることによって以上の第一〜第三領域の周辺所定範囲で顔が検出される可能性が残ることから、以上の第一〜第三領域に次ぐ条件を設定する領域である。なお、本発明の変形例として第四領域を設定しないことも可能であり、この場合、第四領域に相当する領域も第五領域として扱うようにすればよい。

第五領域は、背景領域であり、以上の第一〜第四領域のいずれにも該当しない領域として、最高の閾値を設定して顔検出の条件を最も厳しくしている。これにより、背景の細かい模様を小さな顔であるものとして誤検出してしまうような可能性を下げることで、顔検出精度の向上に寄与する。

さらに、第一領域と第二領域とに関して、式(7-1)〜(7-4)により動きが激しいと判断される場合にその最終閾値を仮閾値よりも小さな値とすることの意義は次の通りである。すなわち、動きが激しい場合は顔領域がボケることが想定されるので、閾値を下げ顔検出の条件を緩和することにより、より確実に顔が検出されるようにする。

（３）検出部3が必ずしも閾値判定によらず顔判定を行う場合であっても、以上説明したように設定部2が閾値の大小によって設定したのと同様にして、顔検出の条件の厳しい／弱いに関する程度を設定することができる。

（４）図１には不図示の、分離部1へと入力する各時刻のフレーム画像（映像）の撮像を行う撮像部（カメラ）をさらに備えて顔検出装置10を構成してもよい。当該カメラはネットワーク経由で分離部1に映像を出力するものであってもよい。

（５）設定部2において第一ないし第五領域の決定のために参照する検出部3から得られる過去フレームの顔領域に関しては、現時刻tの直近の過去時刻t-1フレームにおける検出結果のみとしてもよいし、2フレーム以上のnフレーム前（n≧2）の過去時刻t-nにおいて顔検出されたが、以降の一連の時刻t-n+1, t-n+2, t-n+3, ..., t-2, t-1のフレームでは当該検出結果が継続して得られることはなかったような過去時刻t-nにおける検出結果をさらに含めたものとしてもよい。当該過去時刻t-nのnの値には上限を設けてもよい。

（６）従って、検出部3から得られる過去フレームの顔領域が存在しない場合も起こりうる。このような場合、現時刻tのフレームF(t)に関して第一領域と第三領域が設定されることはないが、顔検出装置10は全く同様に動作可能である。

（７）検出部3においては一般に、所定の特徴量が定義される矩形その他のウィンドウ類（カスケード方式の場合も含む）を領域内を移動（スキャン）させながら当該位置の当該領域に顔が検出されるか否かを判断する。本発明において第一〜第五領域を対象として当該ウィンドウ類をスキャンさせる場合は、当該ウィンドウ類によって定義される所定位置（例えばウィンドウ内の中心位置）あるいは当該ウィンドウ類の少なくとも一部分が各領域内にある範囲でスキャンを行うようにしてよい。（従って、例えばある1つの第一領域内をスキャンしている際に、ウィンドウ類の一部分が当該領域の外部に出るような場合があってもよい。）当該スキャンを許容することで、設定部2で区別された領域の境界部分に顔領域が存在するような場合であっても、当該顔領域を検出することが可能となる。

（８）顔検出装置10は一般的な構成のコンピュータとして実現可能である。すなわち、CPU（中央演算装置）、当該CPUにワークエリアを提供する主記憶装置、ハードディスクやSSDその他で構成可能な補助記憶装置、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース、ネットワークに接続して通信を行うための通信インタフェース、表示を行うディスプレイ、カメラ及びこれらを接続するバスを備えるような、一般的なコンピュータによって顔検出装置10を構成することができる。さらに、図１に示す顔検出装置10の各部の処理はそれぞれ、当該処理を実行させるプログラムを読み込んで実行するCPUによって実現することができるが、任意の一部の処理を別途の専用回路等において実現するようにしてもよい。

10…顔検出装置、1…分離部、2…設定部、3…検出部

Claims (6)

1. 映像内フレームとしての画像に対して動き解析を適用することで、動きがあると判定される前景領域と動きがないと判定される背景領域とを分離する分離部と、
   前記前景領域に対しては第１の１条件又は第１の２条件を設定し、且つ、前記背景領域に対しては前記第１の１条件及び前記第１の２条件よりも厳しい第２条件を設定する設定部と、
   前記前景領域に対しては前記第１の１条件又は第１の２条件のもとで顔検出器を適用し、前記背景領域に対しては前記第２条件のもとで前記顔検出器を適用することにより、前記画像から顔検出を行う検出部と、を備え、
   前記設定部はさらに、前記検出部が過去画像において検出した顔領域を参照することで、前記前景領域のうち、当該顔領域が重複していると判定される領域に対して前記第１の１条件を設定したうえで前記検出部による顔検出を行わせ、当該重複していると判定されない領域に対して前記第１の１条件より厳しい前記第１の２条件を設定したうえで前記検出部による顔検出を行わせることを特徴とする顔検出装置。
2. 映像内フレームとしての画像に対して動き解析を適用することで、動きがあると判定される前景領域と動きがないと判定される背景領域とを分離する分離部と、
   前記前景領域に対しては第１の１条件又は第１の２条件を設定し、且つ、前記背景領域に対しては前記前記第１の１条件及び前記第１の２条件よりも厳しい第２条件を設定する設定部と、
   前記前景領域に対しては前記前記第１の１条件又は前記第１の２条件のもとで顔検出器を適用し、前記背景領域に対しては前記第２条件のもとで前記顔検出器を適用することにより、前記画像から顔検出を行う検出部と、を備え、
   前記設定部はさらに、前記分離部が分離した前景領域における動き情報を参照することで、前記前景領域のうち、当該動き情報が小さいと判定される領域に対して前記第１の１条件を設定したうえで前記検出部による顔検出を行わせ、当該動き情報が大きいと判定される領域に対して前記第１の１条件より緩和した前記第１の２条件を設定したうえで前記検出部による顔検出を行わせることを特徴とする顔検出装置。
3. 映像内フレームとしての画像に対して動き解析を適用することで、動きがあると判定される前景領域と動きがないと判定される背景領域とを分離する分離部と、
   前記前景領域に対しては第１条件を設定し、且つ、前記背景領域に対しては前記第１条件よりも厳しい第２の１条件又は第２の２条件を設定する設定部と、
   前記前景領域に対しては前記第１条件のもとで顔検出器を適用し、前記背景領域に対しては前記第２の１条件又は前記第２の２条件のもとで前記顔検出器を適用することにより、前記画像から顔検出を行う検出部と、を備え、
   前記設定部はさらに、前記検出部が過去画像において検出した顔領域を参照することで、前記背景領域のうち、当該顔領域が重複していると判定される領域に対して前記第２の１条件を設定したうえで前記検出部による顔検出を行わせ、当該重複していると判定されない領域に対して前記第２の１条件より厳しい前記第２の２条件を設定したうえで前記検出部による顔検出を行わせることを特徴とする顔検出装置。
4. 映像内フレームとしての画像に対して動き解析を適用することで、動きがあると判定される前景領域と動きがないと判定される背景領域とを分離する分離部と、
   前記前景領域に対しては第１条件を設定し、且つ、前記背景領域に対しては前記第１条件よりも厳しい第２条件を設定する設定部と、
   前記前景領域に対しては前記第１条件のもとで顔検出器を適用し、前記背景領域に対しては前記第２条件のもとで前記顔検出器を適用することにより、前記画像から顔検出を行う検出部と、を備え、
   前記設定部はさらに、
   前記前景領域の周辺領域に対して、及び／又は、
   前記検出部が過去画像において検出した顔領域を参照することで、当該顔領域の周辺領域に対して、
   前記第１条件及び前記第２条件の中間の厳しさの第３条件を設定し、
   前記検出部は、当該周辺領域に対して、前記第３条件のもとで前記顔検出器を適用することを特徴とする顔検出装置。
5. 前記分離部では、前記動き解析によって前景領域及び背景領域を分離したうえでさらに当該各領域にノイズ低減処理を施すことにより、前景領域及び背景領域を得ることを特徴とする請求項１ないし４のいずれかに記載の顔検出装置。
6. コンピュータを請求項１ないし５のいずれかに記載の顔検出装置として機能させることを特徴とするプログラム。