JPWO2009130899A1

JPWO2009130899A1 - 画像処理装置、画像処理方法、及び画像処理用集積回路

Info

Publication number: JPWO2009130899A1
Application number: JP2010509079A
Authority: JP
Inventors: 裕史杉澤; 冨田　裕人; 裕人冨田
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-04-25
Filing date: 2009-04-22
Publication date: 2011-08-11
Anticipated expiration: 2029-04-22
Also published as: US8265339B2; US20100183193A1; CN101690168A; WO2009130899A1; JP5247798B2

Abstract

所定時間毎に撮像され順次入力される撮像画像において、特定処理の対象となる画像範囲を特定する画像処理装置であって、入力された１つの撮像画像に基づいて、Ｋ（Ｋ≧１）種の倍率の縮小画像を前記所定時間内に生成する処理能力を有し、撮像画像が入力される毎に、各々異なるＬ（Ｌ＞Ｋ）種の倍率のうち、当該撮像画像についてのＭ（Ｍ≦Ｋ）種以下の倍率を、当該撮像画像の前に入力された撮像画像について指定した倍率に基づいて選択し、選択したＭ種以下の倍率で生成した各縮小画像とテンプレート画像とを照合し、照合結果に基づいて前記画像範囲を特定する。

Description

本発明は、画像処理技術に関し、特に、撮像画像から一定条件に合致する画像範囲を特定する技術に関する。

デジタルカメラ等において、所定時間（例えば、３３ｍｓ）毎に撮像した撮像画像（フレーム画像）から、その撮像画像よりサイズが小さい特定画像（例えば顔画像）が含まれる範囲を特定し、特定した範囲に、枠を表示したり、ピントを合わせたりといった特定処理を行うものが知られている。

この特定画像が含まれる範囲を特定する方法に、特定画像を検出するためのテンプレート画像（撮像画像より小さい一定サイズのもの）と、撮像画像に基づいて段階的に縮小率を変えて生成した複数の縮小画像とを照合して特定画像を検出する方法がある。つまり、矩形である縮小画像の左上の画素から右下の画素までテンプレート画像をずらしながら照合する処理を各縮小画像に対して行うことで特定画像を検出し、この結果に基づいて特定画像が含まれる範囲を特定する。

ここで、複数の縮小画像を生成する際の各縮小率は、生成された複数の縮小画像とテンプレート画像とを照合することで、撮像画像中に含まれている様々な大きさの特定画像を検出することができるように予め設定される。

しかしながら、この縮小画像を生成する処理は、一般的に比較的長い時間を要する処理であるため、１つの撮像画像から生成する縮小画像の数が多くなる程、撮像間隔時間（この例では、３３ｍｓ）内に特定画像が検出できないケースが生じることになる。

特に、移動する被写体を撮像している場合において、例えば、撮像のフレームレートと同じレートで表示するときに、ある撮像画像について、撮像間隔時間を経過した後に特定画像が検出されたとすると、特定した画像範囲と、実際に被写体が写っている範囲とが比較的大きくずれてしまうという問題が生じうる。例えば、特定処理として、特定した画像範囲に枠を表示する処理を行う場合には、実際に被写体が写っている位置とは異なる位置に枠が表示されてしまうことになる。

これに対しては、縮小画像の生成の順番をデジタルカメラの撮影モードに応じて切り替えることで、撮像間隔時間内に特定画像を検出する可能性を高める方法が知られている（例えば、特許文献１）。

特許文献１に係る撮像装置は、原画像Ｇ０を段階的に縮小した縮小画像Ｇ１〜Ｇ７（この例では、Ｇ１、Ｇ２、・・・、Ｇ７の順でサイズが小さくなる）を生成することが可能であり、人物を撮影するモード等、少人数の近景撮影が予測されるモードでは、撮像画像に含まれる顔画像のサイズが大きくなることが多いため、Ｇ７、Ｇ６、・・・、Ｇ０の順で縮小画像を生成しテンプレート画像と照合する。また、風景を撮影するモード等、遠景撮影が予定されるモードでは、撮像画像に含まれる顔画像のサイズが小さくなることが多いため、Ｇ０、Ｇ１、・・・、Ｇ７の順で縮小画像を生成しテンプレート画像と照合する。

この結果、撮像間隔時間内に全種類の縮小画像とテンプレートとの照合が完了しないまま、次の撮像画像についての処理に移らなければならない場合でも、撮像間隔時間内に特定画像を検出する可能性を高めることができる。

特開２００７−１３５１１５号公報

しかしながら、近年、高フレームレート撮影に対するユーザのニーズが高まっている。このようなニーズに応えようとすれば、上述の問題、即ち、撮像間隔時間を経過した後に特定画像が検出されることによって、特定した画像範囲と、実際に被写体が写っている範囲とが比較的大きくずれてしまうという問題がより生じやすくなる。

この問題を解決するために、より短い時間で各縮小画像を生成できるような高スペックのハードウェアを用いて高速に処理する方法も考えられるが、これには、比較的大きな設計変更を伴うため、現状のハードウェア資源を用いて解決できる方が望ましい。

そこで、本発明はかかる問題に鑑みてなされたものであり、現状のハードウェア資源を用いつつ、従来とは異なる方法で、撮像間隔時間内に、特定画像を検出することが可能な画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、所定時間毎に撮像され順次入力される撮像画像において、特定処理の対象となる画像範囲を特定する画像処理装置であって、入力された１つの撮像画像に基づいて、Ｋ（Ｋ≧１）種の倍率の縮小画像を前記所定時間内に生成する処理能力を有し、各々異なるＬ（Ｌ＞Ｋ）種の倍率のうち指定された倍率の縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された各縮小画像とテンプレート画像とを照合し、照合結果を送出する照合手段と、前記照合手段から送出された照合結果に基づいて、前記画像範囲を特定する特定手段と、撮像画像が入力される毎に、当該撮像画像についてのＭ（Ｍ≦Ｋ）種以下の倍率を、当該撮像画像の前に入力された撮像画像について指定した倍率に基づいて選択し、選択したＭ種以下の倍率を前記縮小画像生成手段に指定して各縮小画像を生成させて、生成された各縮小画像を前記照合手段に照合させ、少なくともその照合結果に基づいて、当該撮像画像についての前記画像範囲を前記特定手段に特定させる制御手段とを備えることを特徴とする。

上述の構成を備える本発明に係る画像処理装置は、各撮像画像について、Ｌ種の倍率のうちの、自装置の処理能力（所定時間内に生成できる縮小画像の種類数Ｋ）以下のＭ種以下の倍率で各縮小画像を生成し、各縮小画像とテンプレート画像とを照合するので、所定時間内にテンプレート画像に対応する画像を検出できる可能性を高めることができる。

また、前記制御手段は、撮像画像が入力される毎に、前記Ｌ種の倍率を昇順又は降順に並べた場合における先頭からの順番が奇数番目となる各倍率のうちＮ（Ｎ≦Ｍ）個の倍率を含むＭ個以下の倍率と、偶数番目となる各倍率のうちＮ個の倍率とを含むＭ個以下の倍率とを交互に、前記Ｍ種以下の倍率として前記縮小画像生成手段に指定することとしてもよい。

これにより、Ｌ種の倍率を昇順又は降順に並べた場合における先頭からの順番が奇数番目になる倍率で生成した各縮小画像と、偶数番目になる倍率で生成した各縮小画像とを交互に用いてテンプレート画像との照合を行うので、Ｌ種の倍率から任意のＭ種以下の倍率を選択する場合と比較し、各撮像画像に含まれる様々な大きさの、テンプレート画像に対応する画像を検出できる可能性を高めることができる。

また、前記制御手段は、一の撮像画像の前に入力された撮像画像について指定したＭ種以下の倍率のうちの１つ以上の倍率を、前記照合手段から送出された、当該撮像画像についての、テンプレート画像に対応する画像を検出した旨を示す照合結果に基づいて選択し、選択した倍率を、前記縮小画像生成手段に指定する、前記一の撮像画像についての前記Ｍ種以下の倍率に含ませることとしてもよい。

これにより、一の撮像画像の前に入力された撮像画像についての各縮小画像の生成に用いた各倍率のうち、テンプレート画像に対応する画像を検出した際の倍率を選択することにより、その検出に係る倍率を用いて一の撮像画像についての縮小画像を生成することになる。従って、一の撮像画像とその前に入力された撮像画像とが類似した画像になるケースにおいて、一の撮像画像に含まれるテンプレート画像に対応する画像を検出できる可能性を更に高めることができる。

ここで、一の撮像画像とその前に入力された撮像画像とが類似した画像になるケースとは、例えば、所定時間を十分短い時間（例えば３３ｍｓ）とした場合や、被写体が静止している場合が考えられる。

また、前記制御手段は、一の撮像画像の前に入力された撮像画像について指定したＭ種以下の倍率のうちの１つ以上の倍率を、前記照合手段から送出された、当該撮像画像についての、テンプレート画像に対応する画像を検出した旨を示す照合結果に基づいて選択し、前記Ｌ種の倍率を昇順又は降順に並べた場合における先頭からの順番が、選択した倍率についての順番の直前又は直後となる倍率を、前記一の撮像画像についての前記Ｎ個の倍率に含ませることとしてもよい。

これにより、一の撮像画像の前に入力された撮像画像についての縮小画像の生成に用いた倍率のうち、テンプレート画像に対応する画像を検出した際の倍率を選択することにより、その選択した倍率の近傍の倍率を用いて一の撮像画像についての縮小画像を生成することになる。従って、一の撮像画像とその前に入力された撮像画像とが類似した画像になるケースにおいて、一の撮像画像に含まれるテンプレート画像に対応する画像を検出できる可能性を更に高めることができる。

一の撮像画像とその前に入力された撮像画像とが類似した画像になるケースでは、一の撮像画像の前に入力された撮像画像において検出できた倍率の近傍の倍率で、一の撮像画像に含まれるテンプレート画像に対応する画像を検出できる可能性が高いためである。

また、前記照合手段は、各縮小画像とテンプレート画像とを照合することにより、当該テンプレート画像に対応する画像範囲を検出した場合に、検出した各画像範囲を示す各範囲情報を前記照合結果として送出し、前記特定手段は、前記照合手段から送出された、一の撮像画像についての各範囲情報及び当該撮像画像の前に入力された撮像画像についての各範囲情報に基づいて前記特定を行うこととしてもよい。

これにより、一の撮像画像について、予め用意されているＬ種の倍率のうちのＭ種以下の倍率で生成した各縮小画像とテンプレート画像とを照合して検出した各画像範囲を示す各範囲情報だけでなく、その一の撮像画像の前に入力された撮像画像についての各範囲情報とに基づいて一の撮像画像についての画像範囲を特定するので、誤差の影響を抑えて画像範囲を特定できる可能性を高めることができる。

また、前記特定手段は、前記照合手段から送出された、前記一の撮像画像についての各範囲情報及び前記前に入力された撮像画像についての各範囲情報のうち、所定基準で定まる近接した位置関係にある各画像範囲を示す各範囲情報に基づいて、１つの画像範囲を特定することとしてもよい。

これにより、近接した位置関係にある各画像範囲を示す、一の撮像画像及びその前に入力された撮像画像についての各範囲情報に基づいて１つの画像範囲を特定するので、誤差の影響を抑えて画像範囲を特定できる。

また、前記制御手段は、前記縮小画像生成手段に指定する、一の撮像画像についての前記Ｍ種以下の倍率を、前記照合手段から送出された、当該撮像画像より前に入力された撮像画像についての照合結果に基づいて決定することとしてもよい。

これにより、一の撮像画像の前に入力された撮像画像についての縮小画像の生成に用いた倍率のうち、例えば、テンプレート画像に対応する画像を検出した際の倍率を選択した場合には、その検出に係る倍率を用いて一の撮像画像についての縮小画像を生成するので、一の撮像画像とその前に入力された撮像画像とが類似した画像になるケースにおいて、一の撮像画像に含まれるテンプレート画像に対応する画像を検出できる可能性を更に高めることができる。

また、前記画像処理装置は、前記テンプレート画像の候補となる複数のテンプレート候補画像を保持しており、前記照合手段は、一の撮像画像の前に入力された撮像画像についての照合結果に基づいて、当該一の撮像画像についての照合に用いる前記テンプレート画像を前記テンプレート候補画像の中から選択することとしてもよい。
これにより、例えば、一の撮像画像の前に入力された撮像画像についてテンプレート画像に対応する画像を検出した場合に、そのテンプレート画像を一の撮像画像の照合に用いることによって、一の撮像画像とその前に入力された撮像画像とが類似した画像になるケースにおいて、より短時間で、一の撮像画像に含まれるテンプレート画像に対応する画像を検出できる可能性を高めることができる。

また、前記画像処理装置は、更に撮像画像が入力される毎に、当該撮像画像を表示すると共に、当該撮像画像について前記特定手段が特定した画像範囲に対応する当該撮像画像上の位置に、当該画像範囲を示す枠を表示する表示手段を備えることとしてもよい。

入力された撮像画像について特定された画像範囲の位置に枠が表示されるので、ユーザは、特定処理の対象となっている画像範囲を容易に認識することができる。

画像処理装置１００の機能ブロック図である。顔検出装置１８０による顔検出方法を説明するための図である。縮小ＩＤと縮小率等の対応の一例を示す図である。撮像画像１０００の画像メモリ１３０上の配置を説明するための図である。画像処理装置１００の動作を示すフローチャートである。特定回路１８４による顔画像範囲の特定処理を示すフローチャートである。画像処理装置１００が顔画像範囲を特定していく様子を時系列で説明するための図である。従来の画像処理装置が顔画像範囲を特定していく様子を時系列で説明するための図である。変形例に係る画像処理装置の動作を示すフローチャートである。実施の形態で説明した顔検出装置１８０を含む半導体集積回路２００の構成例を示す図である。

以下、本発明に係る画像処理装置の一実施形態を説明する。

≪実施の形態≫
＜概要＞
実施の形態に係る画像処理装置は、所定時間（例えば、３３ｍｓ）毎に撮像され生成された各撮像画像から顔画像が含まれる画像範囲（以下、「顔画像範囲」という）を特定するものである。

各撮像画像は、４ＶＧＡ（１２８０×９６０画素）サイズであり、比較的サイズが大きいことから、この画像処理装置は、その一部の領域の画像（以下、「検出対象画像」という）に絞り込んで顔画像の検出処理を行う。ここで、検出対象画像は、従来から行われているエッジ検出等の方法で、何らかの物体があると検出された領域の画像である。

この画像処理装置は、検出対象画像を既定サイズ毎に処理して顔画像を検出する。つまり、この既定サイズの画像（以下、「照合対象画像」という）を、段階的に縮小した各縮小画像を生成し、生成した各縮小画像と顔画像のテンプレート画像とを照合することで、顔画像を検出する。

各縮小画像を生成する際の縮小率として、この画像処理装置は、段階的に縮小の程度が大きくなるように設定された１２種類の縮小率を用いることが可能であるが、撮像画像毎に、１２種類の縮小率全てではなく、このうちの６種類の縮小率を用いて各縮小画像を生成する。

なお、本実施の形態では、この画像処理装置は、所定時間以内に、６種類の縮小率で縮小画像を生成することが可能な処理能力を有するものと想定している。

また、この画像処理装置は、連続して撮像された２つの撮像画像についてのテンプレート画像との照合結果を用いて、顔画像範囲を特定する。

このように、この画像処理装置は、１２種類の縮小率のうちの６種類の縮小率で各縮小画像を生成するので、各撮像画像に対する縮小画像の生成及び照合にかかる処理量は抑えつつも、連続して撮像された２つの撮像画像についての照合結果を用いて顔画像範囲を特定するので、１２種類の縮小画像を生成しそれぞれと照合する処理を行う場合と比較しても大きく精度を落とすことなく顔画像範囲を特定できる。

＜構成＞
まず、画像処理装置１００の構成について説明する。

図１は、画像処理装置１００の機能ブロック図である。

画像処理装置１００は、同図に示す通り、カメラ１１０、カメラ入力回路１２０、画像メモリ１３０、ＬＣＤ（Liquid Crystal Display）１４０、ＬＣＤ出力回路１５０、物体検出回路１６０、プロセッサ１７０、顔検出装置１８０を備える。

プロセッサ１７０とその他の構成要素とのデータの授受は、プロセッサバス１０１を介して行われ、また、画像メモリ１３０への、カメラ１１０を除く他の構成要素からのアクセスは、メモリバス１０２を介して行われる。

ここで、カメラ１１０は、一定のフレームレート（例えば、３０ｆｐｓ（frame per second））で撮像を行い、順次生成した４ＶＧＡサイズの撮像画像（データ）をカメラ入力回路１２０に送出する機能を有する。

カメラ入力回路１２０は、カメラ１１０から受領した撮像画像に対し、高画質化のための各種フィルタ処理を施し、画像メモリ１３０に格納する機能を有する。フィルタ処理後の撮像画像を画像メモリ１３０へ格納すると、カメラ入力回路１２０はその旨をプロセッサ１７０へ通知する。

画像メモリ１３０は、フィルタ処理後の撮像画像を記憶するためのメモリ領域である。

ＬＣＤ１４０は、液晶ディスプレイ（ＬＣＤ）を含み、ＬＣＤ出力回路１５０の指示に応じて、画像を表示する機能を有する。

ＬＣＤ出力回路１５０は、撮像のフレームレートと同じフレームレートで、画像メモリ１３０に記憶されている撮像画像を読み出してＬＣＤ１４０に表示させると共に、プロセッサ１７０からの指示に応じて特定した顔画像範囲を示す矩形の枠をＬＣＤ１４０に表示させる機能を有する。

物体検出回路１６０は、プロセッサ１７０からの指示に応じて、画像メモリ１３０に記憶されている撮像画像を読み出し、物体の検出処理を行い、検出の有無を示す情報を含む検出結果をプロセッサ１７０に送出する機能を有する。

この物体の検出は、例えば、物体が写っていない状態の撮像画像と画像メモリ１３０に記憶されている撮像画像とのエッジ検出結果を比較することにより行い、特に、物体を検出した場合には、検出した物体が含まれる矩形の検出対象画像の座標値（例えば、左上端及び右下端の座標値）を検出結果に含めてプロセッサ１７０に送出する。

プロセッサ１７０は、内部メモリ（不図示）に記憶されている制御プログラムを実行することにより、画像処理装置１００全体の制御や装置内の各ブロックへの指示や通知を行う機能を有する。

特に、プロセッサ１７０は、物体検出回路１６０から検出した旨の情報を含む検出結果を受領した場合に、検出対象画像の座標値（その検出結果に含まれる座標値）及び各縮小画像を生成する際の縮小率を顔検出装置１８０に通知し、物体検出回路１６０から検出しなかった旨の情報を含む検出結果を受領した場合には、その旨を顔検出装置１８０に通知する。

また、プロセッサ１７０は、顔検出装置１８０から受領した、特定した顔画像範囲を示す座標値等に基づいて、ＬＣＤ出力回路１５０に特定した顔画像範囲を示す矩形の枠を表示させる機能を有する。

顔検出装置１８０は、プロセッサ１７０から通知された座標値が示す検出対象画像を、既定サイズ（ＱＶＧＡサイズ（３２０×２４０画素））単位で処理して顔画像範囲を特定する機能を有する。より詳細には、この既定サイズの画像（照合対象画像）を縮小した各縮小画像と各テンプレート画像とを照合することにより顔画像を検出し、照合結果に基づいて顔画像範囲を特定する。

ここで、各テンプレート画像は、各々顔の向きが異なるものであり、各テンプレート画像を用いて照合することで、縮小画像に含まれる様々な方向を向いた顔画像を検出することができる。

顔検出装置１８０は、結果メモリ１８１と、解像度変換回路１８２と、顔検出回路１８３と、特定回路１８４とを備える。

ここで、結果メモリ１８１は、顔検出装置１８０が処理中の撮像画像についての各照合結果のリスト（以下、「結果リスト」という）と、その撮像画像の１つ前に撮像された撮像画像についての結果リストとを格納するためのメモリ領域である。

解像度変換回路１８２は、プロセッサ１７０から通知された座標値が示す検出対象画像の中で、縮小画像の生成対象とする照合対象画像（ＱＶＧＡサイズ）を決定し、決定した照合対象画像をプロセッサ１７０から通知された各縮小率で縮小した各縮小画像を生成して顔検出回路１８３に送出する機能を有する。

なお、照合対象画像は、例えば、ＰＣＴ／ＪＰ２００８／０００９６１において開示されている、検出対象画像の中を左上から右下までオーバラップ領域を設けるように決定する方法を用いて同様に決定することができるため、ここでは詳細な説明は省略する。

また、本実施の形態での縮小率は、照合対象画像のサイズ（ＱＶＧＡサイズ）を「１」とした際の、縮小後の画像のサイズの割合で示す。従って縮小率が大きい（例えば、０．８２）ということは、縮小の程度が小さいということを意味し、逆に縮小率が小さい（例えば、０．１１）ということは、縮小の程度が大きいということを意味する。

また、本実施の形態では、縮小率が１．０の場合、つまり、縮小画像が照合対象画像そのものである場合も含めて縮小画像と呼ぶこととする。

顔検出回路１８３は、解像度変換回路１８２から受領した縮小画像と、各テンプレート画像（それぞれ２４×２４画素の一定サイズ）とを照合することにより、縮小画像に含まれている顔画像を検出する回路である。

より詳細には、受領した縮小画像の中で、左上の画素から右下の画素までテンプレート画像をずらしながらこのテンプレート画像と照合する処理を各テンプレート画像について行い、各照合結果を顔検出装置１８０が処理中の撮像画像についての結果リストとして結果メモリ１８１に格納する。

上述の照合結果には、検出の有無を示す情報の他、特に、顔画像を検出した場合には、検出した矩形の顔画像の左上端の座標値（縮小画像上の座標値）を撮像画像上の座標に変換した座標値と、検出した顔画像を含む縮小画像についての縮小率を示す情報（以下、「縮小ＩＤ」という）と、検出に用いたテンプレートの顔の向きを示す情報（以下、「テンプレートＩＤ」という）とが含まれる。

以下では、顔検出回路１８３は、一例として、顔の向きが正面、右向き、左向きの３つのテンプレート画像を用いて照合を行うものする。また、顔の向きが正面、右向き、左向きの３つのテンプレート画像のテンプレートＩＤはそれぞれ「０」、「１」、「２」であるものとする。

また、上述の縮小画像上の座標値から撮像画像上の座標値への変換は、縮小画像と撮像画像とが相似の関係にあることから、両画像の水平方向サイズ及び垂直方向サイズの比率を用いて単純な比例計算を行うことで実現できるため、詳細な説明は省略する。

特定回路１８４は、顔検出装置１８０が処理中の撮像画像及びその１つ前に撮像された撮像画像についての結果メモリ１８１に格納されている各結果リストに含まれる各照合結果に基づいて顔画像範囲を特定し、特定した顔画像範囲を示す座標値等をプロセッサ１７０に送出する機能を有する。顔画像範囲の特定方法は後に詳細に説明する。

＜顔検出＞
次に、顔検出装置１８０による顔検出方法について説明する。

図２は、顔検出装置１８０による顔検出方法を説明するための図である。

同図において、照合対象画像１０２１及び照合対象画像１０２２は、それぞれ顔画像を含み、照合対象画像１０２１に含まれる顔画像の方が、照合対象画像１０２２に含まれる顔画像より大きいものになっている。

照合対象画像１０２１と、一定サイズ（例えば２４×２４画素）のテンプレート画像とを照合し顔画像を検出するためには、照合対象画像１０２１に含まれる顔画像の大きさを、テンプレート画像の顔画像の大きさと同程度にまで縮小する必要がある。縮小画像１０３１は、この縮小後の画像を示している。

顔検出回路１８３は、縮小画像１０３１の中で、左上の画素から右下の画素まで、テンプレート画像をずらしながら照合することで、顔画像を検出する。

照合対象画像１０２２から顔画像を検出する場合も同様に、顔検出回路１８３は、照合対象画像１０２２を縮小した縮小画像１０３２とテンプレート画像とを照合する。

ここで、縮小画像１０３２のサイズは、縮小画像１０３１のサイズより大きく、つまり、縮小画像１０３２は、縮小画像１０３１より縮小の程度が低いことが分かる。照合対象画像１０２２に含まれている顔画像の大きさは、照合対象画像１０２１に含まれているものより小さいため、より低い縮小の程度でテンプレート画像の顔画像の大きさと同程度にまで縮小できるためである。

このように、照合対象画像から顔画像を検出するためには、照合対象画像に含まれる顔画像の大きさに応じた縮小率で縮小した縮小画像とテンプレート画像と照合する必要がある。しかしながら、実際に検出を行う時点では、照合対象画像に含まれる顔画像の大きさは分からないため、顔検出回路１８３は、縮小率を段階的に変えた各縮小画像とテンプレート画像とを照合することにより顔画像を検出している。

各縮小画像の縮小率は、例えば、図３に示すように１／１．２２倍ずつ段階的に変えるように決定することができる。

図３は、縮小ＩＤと縮小率等の対応の一例を示す図である。

同図において、「（１／１．２２）＾ｎ」の記載は、（１／１．２２）のｎ乗であることを示している。

同図は、例えば、縮小ＩＤが「０」である場合の縮小率は「（１／１．２２）＾０、つまり１．０」であり、対応する縮小率で照合対象画像を縮小した場合の縮小画像の水平方向サイズは「３２０画素」で、垂直方向サイズは「２４０画素」であることを示している。

また、縮小ＩＤが「１１」である場合の縮小率は「（１／１．２２）＾１１倍」であり、縮小画像の水平方向サイズは「３３画素」で、垂直方向サイズは「２５画素」であることを示している。

なお、縮小画像のサイズが、テンプレート画像のサイズ（この実施の形態の例では２４×２４画素）より小さくなると、照合ができなくなることから、この例では、縮小ＩＤが「１１」である場合の縮小率が最も小さく、つまり、この場合が、縮小の程度が最も高いものとなっている。

＜データ＞
次に、撮像画像の画像メモリ１３０上の配置について説明する。

図４は、撮像画像１０００の画像メモリ１３０上の配置を説明するための図である。

撮像画像１０００は、上述したように４ＶＧＡ（１２８０×９６０画素）サイズの画像データであり、撮像画像１０００を構成する各画素の画素値データは、画像メモリ１３０上の連続領域に連続して記憶される。つまり、同図に示す画素１００１、・・・、１００２、１００３、・・・、１００４、・・・、１００５の順で連続領域に記憶される。

ここで、画素１００１が記憶される画像メモリ１３０上の領域のアドレス値をＢＡＳＥと表現すると、各画素データが記憶される領域のアドレス値は、次の数式で算出される。なお、数式中の水平方向サイズとは、撮像画像１０００の水平方向サイズ、つまり１２８０である。また、ここでは、画素１００１の座標値を（０，０）とし、右方向にＸ軸を、下方向にＹ軸を取っている。また、１アドレスを、１画素分の画素データが格納される画像メモリ１３０上の領域を示すものとして説明する。

［数１］
アドレス値＝ＢＡＳＥ＋水平方向サイズ×Ｙ座標＋Ｘ座標
例えば、座標値が（６４０，２４０）である画素１００４が記憶される画像メモリ１３０上の領域のアドレス値は、「ＢＡＳＥ＋１２８０×２４０＋６４０」である。

顔検出装置１８０の解像度変換回路１８２は、決定した照合対象画像の座標値から算出したアドレス値を用いて、この照合対象画像を画像メモリ１３０から読み出すことができる。

＜動作＞
次に、上記構成を備え、上記データを取り扱う画像処理装置１００の動作について説明する。

図５は、画像処理装置１００の動作を示すフローチャートである。

プロセッサ１７０は、カメラ入力回路１２０から撮像画像を画像メモリ１３０へ格納した旨の通知を受領すると、撮像回数をカウントアップすると共に、物体検出回路１６０に検出処理を開始させ、その物体検出回路１６０から検出結果を受領すると、その検出結果が物体を検出した旨の情報を含むか否かを判定する（ステップＳ１）。

物体を検出した旨の情報が含まれている場合には（ステップＳ１：ＹＥＳ）、プロセッサ１７０は、その検出に係る撮像画像の撮像順が偶数番目か否かを上述の撮像回数に基づいて判定する（ステップＳ２）。例えば、撮像回数が１であれば否定的な判定を行い、撮像回数が２であれば肯定的な判定を行う。

プロセッサ１７０は、１２種類の縮小ＩＤのうち、検出に係る撮像画像の撮像順が偶数番目である場合には（ステップＳ２：ＹＥＳ）、偶数の縮小ＩＤ（０、２、４、・・・、１０）を選択し（ステップＳ３）、検出に係る撮像画像の撮像順が奇数番目である場合には（ステップＳ２：ＮＯ）、奇数の縮小ＩＤ（１、３、５、・・・、１１）を選択する（ステップＳ４）。

プロセッサ１７０は、選択した各縮小ＩＤと、受領した検出結果に含まれる検出対象画像の座標値とを顔検出装置１８０に通知する（ステップＳ５）。

顔検出装置１８０の解像度変換回路１８２は、プロセッサ１７０により通知された座標値が示す検出対象画像の中で１つの照合対象画像を決定し（ステップＳ６）、決定した照合対象画像が記憶されている画像メモリ１３０上のアドレス値を数１に示す数式に従って算出し、その照合対象画像を画像メモリ１３０から読み出す（ステップＳ７）。

解像度変換回路１８２は、ステップＳ５で通知された各縮小ＩＤのうちの１つの縮小ＩＤを選択し、選択した縮小ＩＤに対応する縮小率で読み出した照合対象画像を縮小した縮小画像を生成し、顔検出回路１８３に送出する（ステップＳ８）。ここで、解像度変換回路１８２は、例えば、まだ選択していない各縮小ＩＤのうち、最小の縮小ＩＤを選択するものとする。

顔検出回路１８３は、顔検出装置１８０が処理中の撮像画像についての空の結果リストを結果メモリ１８１に生成し、各テンプレート画像について、そのテンプレート画像を、解像度変換回路１８２から受領した縮小画像の中で左上の画素から右下の画素までずらしながら照合し、照合結果を、生成した結果リストに登録する（ステップＳ９）。

解像度変換回路１８２は、ステップＳ５で通知された全ての縮小ＩＤを選択したか否かを判定し（ステップＳ１０）、全ての縮小ＩＤを選択していない場合には（ステップＳ１０：ＮＯ）、未選択の縮小ＩＤで縮小画像を生成するために、再びステップＳ７から処理を行う。

一方、全ての縮小ＩＤを選択している場合には（ステップＳ１０：ＹＥＳ）、検出対象画像全体を処理したか否かを判定し（ステップＳ１１）、検出対象画像全体を処理していない場合には（ステップＳ１１：ＮＯ）、次の照合対象画像を処理するために、再びステップＳ６から処理を行う。

また、ステップＳ１１で検出対象画像全体を処理している場合には（ステップＳ１１：ＹＥＳ）、特定回路１８４は、結果メモリ１８１に格納されている２つの結果リストに含まれる各照合結果に基づいて、顔画像範囲の特定処理を行う（ステップＳ１２）。

一方、ステップＳ１において、物体検出回路１６０から受領した検出結果に物体を検出しなかった旨の情報が含まれている場合には（ステップＳ１：ＮＯ）、プロセッサ１７０は、その旨を顔検出装置１８０に通知し、顔検出回路１８３は、顔検出装置１８０が処理中の撮像画像についての空の結果リストを結果メモリ１８１に生成し、特定回路１８４は、上記同様に、顔画像範囲の特定処理を行う（ステップＳ１２）。

ステップＳ１２の処理の結果として特定回路１８４から送出された特定した顔画像範囲についての情報に基づき、プロセッサ１７０は、撮像画像上に描画すべき顔画像範囲の座標値（左上端の座標値及び右下端の座標値）をＬＣＤ出力回路１５０に通知し、ＬＣＤ出力回路１５０は、画像メモリ１３０から読み出した撮像画像上にプロセッサ１７０から通知された顔画像範囲を示す矩形を描画してＬＣＤ１４０に表示させ、一連の処理を終了する。なお、ステップＳ１２の処理結果として特定回路１８４から顔画像範囲を特定できなかった旨の通知を受領した場合、プロセッサ１７０は、ＬＣＤ出力回路１５０への上述の座標値の通知を行わないこととしてもよいし、直近に特定回路１８４から受領した特定した顔画像範囲についての情報に基づき上記の座標値の通知を行うようにしてもよい。

以下、ステップＳ１２の顔画像範囲の特定処理について説明する。

図６は、特定回路１８４による顔画像範囲の特定処理を示すフローチャートである。

特定回路１８４は、結果メモリ１８１に格納されている２つの結果リストそれぞれに含まれる各照合結果について、その照合結果に含まれる検出した顔画像の左上端の座標値（撮像画像上の座標値）と縮小ＩＤに基づいて、検出した顔画像の中心点を算出する（ステップＳ１３）。

例えば、検出した顔画像の左上端の座標値が（９２，４８）で、縮小ＩＤが「２」であるとした場合に、顔画像のサイズは、テンプレート画像のサイズ（２４×２４画素）と、縮小ＩＤに対応する縮小率（（１／１．２２）＾２）に基づいて「３６×３６画素」と求めることができる。従って、この検出した顔画像の中心点は、（９２＋３６／２，４８＋３６／２）、つまり（１１０，６６）と求めることができる。

なお、物体検出回路１６０により物体が検出されなかった場合（ステップＳ１：ＮＯ）には、上述の通り、空の結果リストが生成されるだけで、その結果リストには照合結果が含まれていない。また、顔検出回路１８３により顔画像が全く検出されなかった場合には、結果リストに含まれる各照合結果には座標値が含まれていない。従って、結果として、１つの結果リストに含まれる各照合結果についてだけ中心点を算出する場合がある。

また、特に図示していないが、いずれの結果リストにも検出した顔画像の左上端の座標値が含まれていない場合には、特定回路１８４は、顔画像範囲を特定できなかった旨をプロセッサ１７０に通知し、特定処理を終了する。

特定回路１８４は、算出した各中心点のうち、グループが決定していない点があるか否かを判定し（ステップＳ１４）、グループが決定していない中心点がある場合には（ステップＳ１４：ＹＥＳ）、そのグループが決定してない中心点のうちの１つの中心点を選択する（ステップＳ１５）。以下、この中心点を「選択点」という。なお、特定回路１８４は、例えば、まだグループが決定していない中心点のうち、最小の縮小ＩＤを含む照合結果に含まれている座標値と対応する中心点を選択するものとする。

特定回路１８４は、選択点以外の、グループが決定していない他の中心点のうち、その選択点の縮小ＩＤと所定範囲（例えば、±２以内）の縮小ＩＤの中心点を、その選択点が所属するグループに所属する中心点の候補とする（ステップＳ１６）。以下、この候補となった各中心点を「候補点」という。

例えば、選択点の縮小ＩＤが「２」である場合には、縮小ＩＤが「０」〜「４」の中心点が、候補点となる。

特定回路１８４は、選択点と各候補点との距離を算出し（ステップＳ１７）、算出した距離が所定値（例えば、２０）以内である候補点を、選択点と同一のグループに所属するものと決定する（ステップＳ１８）。

例えば、選択点の座標値が（１１０，６６）であり、候補点の座標値が（１１８，６８）であるとすると、両点の距離は「８．２」であり、この候補点は、選択点と同一のグループに所属するものと決定される。

特定回路１８４は、同一のグループに所属する各中心点の座標値及び各顔画像の大きさに基づいて、１つの顔画像範囲を特定し、この特定した顔画像範囲の左上端の座標値及び大きさをプロセッサ１７０に送出する（ステップＳ１９）。

より詳細には、例えば、上述の例で、同一のグループと決定された２つの中心点（１１０，６６）と（１１８，６８）とがある場合に、各中心点の座標の平均値は（１１４，６７）である。

また、（１１０，６６）を中心点とした顔画像の大きさは、上述の通り「３６×３６画素」であり、（１１８，６８）を中心点とした顔画像の大きさを、例えば、「４４×４４画素」であるとすると、これらの顔画像の大きさの平均値は、「４０×４０画素」である。

特定回路１８４は、中心点が、算出した各中心点の座標の平均値（１１４，６７）であり、大きさが、算出した顔画像の大きさの平均値「４０×４０画素」である画像範囲を１つの顔画像範囲と特定し、特定した顔画像範囲の左上端の座標値（１１４−４０／２，６７−４０／２）、つまり（９４，４７）と、大きさ「４０×４０画素」をプロセッサ１７０に送出する。

ステップＳ１９の処理が完了すると、特定回路１８４は、再びステップＳ１４から処理し、グループが決定していない中心点がない場合には（ステップＳ１４：ＮＯ）、顔検出装置１８０が処理中の撮像画像の１つ前の撮像画像についての結果リストを結果メモリ１８１から削除し、顔画像範囲の特定処理を終了する。

＜考察＞
以下では、画像処理装置１００及び従来の画像処理装置それぞれが顔画像範囲を特定していく様子を図７、図８を用いて比較して説明する。

＜画像処理装置１００＞
まず、画像処理装置１００について説明する。

図７は、画像処理装置１００が顔画像範囲を特定していく様子を時系列で説明するための図である。

ここで、撮像画像は、３３ｍｓ間隔でカメラ１１０により撮像され生成された撮像画像１０１１〜１０１３を示している。撮像画像１０１１〜１０１３の撮像順はｎ〜ｎ＋２であり、ｎは偶数であるものとする。

また、表示画像は、３３ｍｓ間隔でＬＣＤ１４０に表示される表示画像１０４１〜１０４３を示している。

まず、Ｔ１において、撮像画像１０１１が生成されると、この例では撮像画像１０１１の撮像順は偶数番目なので、Ｔ２までに、偶数の縮小ＩＤ（０、２、・・・、１０）を用いて各縮小画像が生成され各テンプレートとの照合処理が行われる。

次に、Ｔ２において、撮像画像１０１２が生成されると、この撮像画像１０１２について、奇数の縮小ＩＤ（１、３、・・・、１１）を用いて、Ｔ１における撮像画像１０１１と同様に縮小処理及び照合処理が行われると共に、撮像画像１０１１について、顔画像範囲の特定処理が行われる。

この顔画像範囲の特定は、撮像画像１０１１についての各照合結果と、撮像画像１０１１の１つ前に撮像された撮像画像についての各照合結果に基づいて行われ、特定された顔画像範囲を示す矩形の枠Ｓ１が、撮像画像１０１１上に描画され（表示画像１０４１）、Ｔ３まで表示が継続される。

なお、表示画像１０４１上には、点線で表す楕円Ｃ０、Ｃ１と点線で表す各矩形とが図示されているが、これらは説明のためのものであり実際には表示されない。このことは、表示画像１０４２、１０４３においても同様である。

ここで、点線で表す各矩形は検出した各顔画像を示しており、楕円Ｃ０は、撮像画像１０１１の１つ前に撮像された撮像画像で検出された各顔画像が含まれる範囲を示しており、楕円Ｃ１は、撮像画像１０１１で検出された各顔画像が含まれる範囲を示している。

つまり、撮像画像１０１１についての顔画像範囲の特定は、楕円Ｃ１に含まれる各顔画像と楕円Ｃ０に含まれる各顔画像とに基づいて行われる。

次に、Ｔ３において、撮像画像１０１３が生成されると、この撮像画像１０１３について、偶数の縮小ＩＤ（０、２、・・・、１０）を用いて、Ｔ１における撮像画像１０１１と同様に縮小処理及び照合処理が行われ、撮像画像１０１２について、Ｔ２における撮像画像１０１１と同様に、顔画像範囲の特定処理が行われ、特定された顔画像範囲を示す矩形の枠Ｓ２が、撮像画像１０１２上に描画され（表示画像１０４２）。Ｔ４まで表示が継続される。

この撮像画像１０１２についての顔画像範囲の特定は、撮像画像１０１２で検出された各顔画像（楕円Ｃ２に含まれる各顔画像）と撮像画像１０１１で検出された各顔画像（楕円Ｃ１に含まれる各顔画像）とに基づいて行われる。

以降、撮像画像１０１３についても同様に処理される。

このようにして表示された表示画像１０４１〜１０４３の各矩形の枠Ｓ１〜Ｓ３は、実際に表示されている顔画像の付近に表示できていることが分かる。

＜従来の画像処理装置＞
続いて、１つの撮像画像について、１２種類の縮小率全てを用いて生成した各縮小画像と各テンプレート画像とを照合する従来の画像処理装置について説明する。

図８は、従来の画像処理装置が顔画像範囲を特定していく様子を時系列で説明するための図である。

ここで、撮像画像は、図７で説明したのと同様、３３ｍｓ間隔で撮像され生成された撮像画像２０１１〜２０１５を示しており、２０１１〜２０１３については、図７の１０１１〜１０１３と全く同じ画像である。また、各撮像画像の撮像順はｎ〜ｎ＋４であるものとする。

また、表示画像は、３３ｍｓ間隔で表示される表示画像２０２１〜２０２５を示している。

以下では、従来の画像処理装置が１つの撮像画像についての縮小処理と照合処理とを完了するためにかかる時間が、６６ｍｓであるものとして説明する。

まず、Ｔ１において、撮像画像２０１１が生成されると、Ｔ３までの間に全縮小ＩＤ（０、２、・・・、１１）を用いて各縮小画像が生成され各テンプレートとの照合処理が行われる。

次に、Ｔ２においては、まだ、撮像画像２０１１についての全縮小画像との照合が完了していないので、撮像画像２０１１だけがそのまま表示される（表示画像２０２１）。また、Ｔ２において、撮像画像２０１２が生成されるが、撮像画像２０１１についての全縮小画像との照合が完了していないため、ここでは、撮像画像２０１２についての縮小処理及び照合処理は行われないこととしている。

次に、Ｔ３においては、Ｔ１〜Ｔ３での撮像画像２０１１についての照合結果に基づいて、撮像画像２０１１について顔画像範囲の特定処理が行われ、特定された顔画像範囲を示す矩形の枠Ｓ１０が撮像画像２０１２上に描画され（表示画像２０２２）、Ｔ４まで表示が継続される。なお、この従来の画像処理装置は、検出された各顔画像の座標値及び大きさそれぞれの平均値を取ることで、顔画像範囲を特定している。

また、Ｔ３において、撮像画像２０１３が生成されると、撮像画像２０１３について、全縮小ＩＤ（０、２、・・・、１１）を用いて、Ｔ１における撮像画像２０１１と同様に、Ｔ５まで縮小処理及び照合処理が行われる。

次に、Ｔ４において、まだ、撮像画像２０１３についての全縮小画像との照合が完了していないので、撮像画像２０１１について特定された顔画像範囲を示す矩形の枠Ｓ１０がそのまま撮像画像２０１３上に描画され（表示画像２０２３）、Ｔ５まで表示が継続される。

以降、同様に、撮像画像２０１３について特定された顔画像範囲を示す矩形の枠Ｓ１１が、撮像画像２０１４及び撮像画像２０１５上にそれぞれ描画され（表示画像２０２４、２０２５）、表示画像２０２４はＴ５〜Ｔ６で、表示画像２０２５はＴ６〜Ｔ７で表示される。

このように従来の画像処理装置では、全縮小ＩＤを用いて各縮小画像を生成して各テンプレート画像と照合する結果、この縮小処理と照合処理とにかかる時間が、撮像間隔時間（この例では３３ｍｓ）より長くなってしまい、逆に顔画像の検出の精度が低下してしまっている。特に、前回特定した顔画像範囲を示す矩形の枠をそのまま表示している表示画像２０２３、２０２５において実際に表示されている顔画像の位置と矩形の枠の位置とが、大きくずれてしまうという不具合が生じている。

このように、本発明の実施の形態に係る画像処理装置１００は、自装置の処理能力に応じて、１２種類の縮小率のうち、６種類の偶数の縮小ＩＤに対応する各縮小率と、６種類の奇数の縮小ＩＤに対応する各縮小率とを、撮像画像毎に交互に用いて各縮小画像を生成するので、各撮像画像に対する縮小処理と照合処理とを、撮像間隔時間（この例では３３ｍｓ）以内に行うことができ、従来の画像処理装置のような不具合が生じない。

また、各撮像画像についての顔画像範囲を、その撮像画像、及びその１つ前に撮像された撮像画像の各照合結果を用いて特定するので、誤差の影響を抑えて、精度よく顔画像範囲を特定できる。

≪変形例≫
以下では、画像処理装置が各縮小画像を生成する際に用いる各縮小率の選択方法を替えた一変形例を説明する。

変形例に係る画像処理装置（以下、「変形画像処理装置」という）は、上述の画像処理装置１００のプロセッサ１７０の機能及び顔検出回路１８３の機能を若干変更したものであるため、ここでは、変更部分についてのみ説明する。

＜動作＞
変形画像処理装置の動作について説明する。

図９は、変形画像処理装置の動作を示すフローチャートである。

同図に示すように、変形画像処理装置の動作は、図５のステップＳ９の処理に替えてステップＳ２２の処理を含む点で、画像処理装置１００の場合と異なる。

ここで、ステップＳ２２の処理は、変形例に係る顔検出回路が、照合結果を、結果メモリ１８１に生成した結果リストに登録するだけでなく、変形例に係るプロセッサにも送出する点で、ステップＳ９の処理とは異なる。

また、変形画像処理装置の動作は、図５に示す各処理に加え、ステップＳ２０及びＳ２１の処理を含む点で、画像処理装置１００の場合と異なる。

ここで、変形例に係るプロセッサは、物体検出回路１６０から受領した検出結果に物体を検出した旨の情報が含まれている場合に（ステップＳ１：ＹＥＳ）、処理中の撮像画像の１つ前に撮像された撮像画像で顔画像を検出したか否かを、上述のステップＳ２１で変形例に係る顔検出回路から送出された照合結果に基づいて判定する（ステップＳ２０）。つまり、この照合結果に検出した旨の情報が含まれている場合にのみ肯定的な判定を行う。なお、１つ前に撮像された撮像画像について物体検出回路１６０から受領した検出結果に物体を検出しなかった旨の情報が含まれている場合には、否定的な判定を行う。

１つ前に撮像された撮像画像で顔画像を検出していない場合には（ステップＳ２０：ＮＯ）、ステップＳ２の処理を行い、処理結果に応じて、ステップＳ３又はＳ４で縮小ＩＤの選択を行う。

また、１つ前に撮像された撮像画像で顔画像を検出している場合には（ステップＳ２０：ＹＥＳ）、検出した旨の情報を含む各照合結果に含まれている各縮小ＩＤ及びそれらの縮小ＩＤの周辺の縮小ＩＤのうち６つ以下の縮小ＩＤを選択する（ステップＳ２１）。

例えば、検出した旨の情報を含む照合結果に含まれている縮小ＩＤが「２」である場合、その周辺の縮小ＩＤは「１」及び「３」である。従って、この例では縮小ＩＤとして「１」〜「３」を選択する。

なお、選択した縮小ＩＤの数が６つ未満である場合には、選択した縮小ＩＤの数が６つになるように、更に任意の縮小ＩＤを選択するようにしてもよい。

このようにして、ステップＳ２１、ステップＳ３、又はステップＳ４で選択した縮小ＩＤと、受領した検出結果に含まれる検出対象画像の座標値とを変形例に係る顔検出装置に通知し（ステップＳ５）、その後は、図５について説明したのと同様に処理する。

＜補足＞
以上、本発明に係る画像処理装置について、実施の形態及び変形例に基づいて説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態及び変形例に示した通りの画像処理装置に限られないことは勿論である。
（１）実施の形態及び変形例において説明した各構成要素のうち、全部又は一部をコンピュータプログラムで実現してもよいし、１チップ又は複数チップの集積回路で実現してもよい。

図１０は、実施の形態で説明した顔検出装置１８０に対応する半導体集積回路を含む半導体集積回路２００の構成例を示す図である。

同図に示す通り、半導体集積回路２００は、顔検出装置１８０に対応する半導体集積回路を含み、半導体集積回路２００が適用される装置の用途によって、その他、ＲＯＭ２１０、画像符号化回路２２０、音声処理部２３０等を含む。

半導体集積回路２００は、一般的にはＣＭＯＳなどのＭＯＳトランジスタで構成され、ＭＯＳトランジスタの接続構成により、特定の論理回路を実現する。近年、半導体集積回路の集積度が進み、非常に複雑な論理回路を、一つないしは数個の半導体集積回路で実現できるため、顔検出装置１８０を小型化でき、また、低消費電力化することができる。

なお、半導体集積回路２００は、実施の形態に係る顔検出装置１８０に対応する半導体集積回路を含むものとして説明したが、変形例に係る顔検出装置に対応する半導体集積回路を含むこととしてもよい。

（２）実施の形態及び変形例では、撮像画像に複数の顔画像が含まれている場合、つまり、検出対象画像が複数検出された場合について特に取り上げて説明しなかったが、複数の検出対象画像それぞれについて顔画像を検出する処理を行ってもよい。

（３）実施の形態及び変形例では、撮像画像のサイズを４ＶＧＡサイズとし、照合対象画像のサイズをＱＶＧＡサイズとし、テンプレート画像のサイズを２４×２４画素として説明したが、これに限定されるものではなく、それぞれ任意のサイズとしてもよい。

（４）実施の形態及び変形例においてテンプレート画像は３種類であるものとして説明したが、テンプレート画像の数はこれに限られない。即ち、正面向きのテンプレート画像のみの１種類にしてもよいし、顔の角度毎に３種類より多くのテンプレート画像を用いて照合するようにしてもよい。

（５）実施の形態及び変形例に係る顔検出装置は、縮小画像と複数のテンプレート画像それぞれを照合するものとして説明したが、結果メモリ１８１に格納されている１つ前の撮像画像についての結果リスト内の照合結果に基づいて、照合に用いるテンプレート画像を絞るようにしてもよい。

即ち、１つ前の撮像画像についての検出した旨の情報を含む照合結果に含まれているテンプレートＩＤが示すテンプレート画像と照合を行うようにしてもよい。

（６）実施の形態及び変形例では、顔画像を検出したか否かに関わらず、検出対象画像における全照合対象画像を照合するものとして説明したが、一定の基準（例えば、テンプレート画像との一致度が既定の閾値以上であること）の下、顔画像を検出したと判断した場合には、その撮像画像に対する検出処理を終了するようにしてもよい。

（７）実施の形態及び変形例では、顔画像を検出するものとして説明したが、顔画像以外の特定画像を検出するようにしてもよい。特定画像としては、例えば、人や物に付けられた識別タグなどとしてもよく、この場合、検出した識別タグの情報から個人や物の種類を識別するといった利用も考えられる。

（８）実施の形態及び変形例に係る物体検出回路１６０は、物体が写っていない状態の撮像画像と画像メモリ１３０に記憶されている撮像画像とのエッジ検出結果を比較することにより物体を検出するものとして説明したが、これは一例であり、例えば、連続して生成された撮像画像の画素値の差分を取ることにより検出することとしてもよい。

（９）実施の形態及び変形例では、図３に示すように（１／１．２２）＾ｎ倍ずつ縮小率が変化する例を説明したが、これは一例であり、最も小さい縮小率で縮小した際の画像（つまり、最も縮小の程度が高い画像）のサイズがテンプレート画像のサイズより大きくなるように各縮小率を設定すればよく、例えば（１／１．２５）＾ｎ倍ずつ変化させるようにしてもよい。

（１０）実施の形態及び変形例では、画像処理装置の動作として、図５及び図９のステップＳ６〜Ｓ８に示すように、決定した１つの照合対象画像について、順番に縮小ＩＤを変えながら縮小画像を生成する例を説明したが、１つの縮小ＩＤについて、順番に照合対象画像の位置を変えながら縮小画像を生成するようにしてもよい。

（１１）実施の形態及び変形例では、図５、図９のステップＳ７に示すように、解像度変換回路１８２は、各縮小画像を生成する際に毎回、画像メモリ１３０から照合対象画像を読み出すものとして説明したが、生成した縮小画像を記憶しておき、記憶してある縮小画像を用いて他の縮小率の縮小画像を生成するようにしてもよい。例えば、プロセッサ１７０から偶数の縮小ＩＤが通知されている場合には、一度、照合対象画像を画像メモリ１３０から読み出し、縮小ＩＤが０に対応する縮小率で縮小画像を生成し、以降は、生成した縮小画像を（１／１．２２）＾２倍することで縮小ＩＤが２、４、・・・、１０に対応する縮小画像を生成できる。

（１２）実施の形態及び変形例では、画像処理装置の動作として、図５及び図９のステップＳ２〜Ｓ４に示すように、撮像画像の撮像順が偶数番目である場合には（ステップＳ２：ＹＥＳ）、偶数の縮小ＩＤを選択し（ステップＳ３）、検出に係る撮像画像の撮像順が奇数番目である場合には（ステップＳ２：ＮＯ）、奇数の縮小ＩＤを選択する（ステップＳ４）ものとして説明したが、この逆であってもよい。つまり、ステップＳ３とＳ４とを入れ替えてもよい。

（１３）実施の形態及び変形例においては、物体検出回路１６０及びプロセッサは顔検出装置に含まれないものとして説明したが、物体検出回路１６０及びプロセッサの全部又は一部を顔検出装置に含めることとしてもよい。

（１４）実施の形態及び変形例では、図５及び図９に示す照合対象画像の決定処理（ステップＳ６）を、解像度変換回路１８２が行うものとして説明したが、プロセッサが行い、決定した照合対象画像の座標値を解像度変換回路１８２に通知するようにしてもよい。

（１５）実施の形態及び変形例に係るプロセッサは、全ての撮像画像について、物体検出回路１６０に検出処理を行わせるものとして説明したが、物体検出回路１６０が一旦検出した後は、一定数分の撮像画像については物体検出回路１６０に検出処理を行わせず、その一定数分を経過した次の撮像画像から再び検出処理を行わせるようにしてもよい。

この場合、プロセッサは、物体検出回路１６０に検出処理を行わせない間の各撮像画像については、物体検出回路１６０から直近に受領した検出結果に含まれている検出対象画像の座標値を顔検出装置に通知するようにしてもよい。

また、プロセッサは、この間、検出対象画像の座標値を顔検出装置に通知しないこととし、顔検出装置は、一旦プロセッサから通知された検出対象画像の座標値を、次にプロセッサから検出対象画像の座標値が通知されるまで記憶しておき、その座標値が示す照合対象画像の中で照合対象画像を決定するようにしてもよい。

また、顔検出回路は、顔画像を検出した際に、その検出に係る照合対象画像の撮像画像中における座標値を記憶しておき、プロセッサから検出対象画像の座標値が通知されない間、処理対象の撮像画像については、記憶している座標値が示す照合対象画像についてのみ処理することとしてもよい。

（１６）また、実施の形態及び変形例に係るプロセッサは、全ての撮像画像について、物体検出回路１６０に検出処理を行わせるものとして説明したが、一旦検出した後は、顔検出装置から顔画像範囲を特定できなかった旨の通知を受領するまで、物体検出回路１６０に検出処理を行わせないようにしてもよい。この間の照合処理に係る各照合対象画像の決定方法は、上記（１５）と同様のバリエーションが考えられる。

（１７）実施の形態及び変形例に係る特定回路１８４は、特定した顔画像範囲の左上端の座標値及び大きさをプロセッサに送出するものとして説明したが、顔画像範囲を特定できれば他の情報を送出してもよく、例えば、右下端の座標値及び大きさを送出してもよいし、左上端及び右下端の座標値を送出してもよい。

また、プロセッサは、検出対象画像の左上端及び右下端の座標値を顔検出装置に通知するものとして説明したが、同様に検出対象画像を特定できれば他の情報を通知してもよく、例えば、左上端又は右下端の座標値及びその画像の大きさを通知するようにしてもよい。

また、物体検出回路１６０が検出結果に含めてプロセッサに送信する検出対象画像の左上端及び右下端の座標値についても同様である。

（１８）実施の形態における＜考察＞では、図７に示すように、Ｔ１〜Ｔ２において、撮像画像１０１１についての縮小処理及び照合処理を行い、Ｔ２から撮像画像１０１１についての顔画像範囲の特定処理を開始するものとして説明したが、画像処理装置１００の処理能力に余裕がある場合には、１つの撮像画像についての縮小処理及び照合処理と特定処理とを撮像間隔時間（上述の例では３３ｍｓ）内に行うようにしてもよい。

また、画像処理装置１００が生成する縮小画像の数を減らすことで、同様に撮像間隔時間内に縮小処理及び照合処理と特定処理とを行うようにしてもよい。なお、生成する縮小画像の数を減らせば、一般的に顔画像を検出する際の精度が低下することになるため、この変形例は、生成する縮小画像の数を減らした場合でも、この画像検出装置が許容できる精度の範囲になることが前提である。

これらの変形は、変形画像処理装置に適用してもよい。

（１９）実施の形態及び変形例に係る画像処理装置は、各撮像画像について、１２種類の縮小ＩＤのうちの６種類以下の縮小ＩＤを用いて縮小画像を生成するものとして説明したが、例えば、１２種類の縮小ＩＤ全てを用いるモードと、６種類以下の縮小ＩＤを用いるモードとのいずれかをユーザが選択できるようにし、その選択結果に応じた数の縮小画像を生成するようにしてもよい。

実施の形態及び変形例に係る画像処理装置の処理能力では、所定時間（この例では３３ｍｓ）以内に１２種類の縮小画像全てを生成することはできないものと想定しているが、ほぼ静止状態の被写体に関しては、この所定時間を経過した後に特定画像が検出されたとしても、特定した画像範囲と、実際に被写体が写っている範囲とが大きくずれてしまうという問題は生じない。従って、ユーザは、例えば、静止している人を撮像する場合に、１２種類の縮小ＩＤ全てを用いるモードを選択することによって、より正確に顔画像範囲を特定させることができる。

（２０）実施の形態及び変形例に係る特定回路１８４は、一の撮像画像とその１つ前の撮像画像についての２つの結果リストに含まれる各照合結果に基づいて、その一の撮像画像に含まれる顔画像範囲を特定するものとして説明したが、３つ以上の結果リストに含まれる各照合結果に基づいて、その一の撮像画像に含まれる顔画像範囲を特定することとしてもよい。例えば、更に２つ前の撮像画像についての各照合結果に基づいて特定してもよい。その場合、結果メモリ１８１には２つ前の撮像画像についての結果リストも記憶しておく必要がある。

また、実施の形態及び変形例では、一の撮像画像の前に入力された撮像画像として１つ前の撮像画像を用いる例を説明したが、これに限られず、例えば、一の撮像画像の２つ前の撮像画像を用いてもよい。つまり、一の撮像画像とその２つ前の撮像画像についての２つの結果リストに含まれる各照合結果に基づいて、その一の撮像画像に含まれる顔画像範囲を特定するような変形も考えられる。

（２１）実施の形態及び変形例に係るプロセッサは、撮像画像毎に、１２種類の縮小ＩＤの中から縮小画像を生成するための縮小ＩＤを選択するものとして説明したが、選択元となる縮小ＩＤは１２種類に限らないのはもちろんである。即ち、１２種類より多くても少なくてもよい。

また、実施の形態に係るプロセッサは、撮像画像毎に、６種類の縮小ＩＤを選択するものとして説明したが、選択する縮小ＩＤの数はこれに限らないのはもちろんである。即ち、画像処理装置が所定時間以内に生成可能な縮小画像数以下の数の縮小ＩＤを選択するようにすれば、選択する縮小ＩＤの数はいくつでもよいし、撮像画像毎に選択する縮小ＩＤの数を変えてもよい。

（２２）変形例に係るプロセッサは、図９に示すように、撮像画像毎に、その撮像画像の１つ前の撮像画像について顔画像が検出されていないときは（ステップＳ２０：ＮＯ）、撮像順に応じて偶数の縮小ＩＤと奇数の縮小ＩＤとを交互に選択する（ステップＳ２〜４）ものとして説明したが、任意の６種類以下の縮小ＩＤを選択するようにしてもよい。

（２３）変形例に係るプロセッサは、図９のステップＳ２１に示すように、１つ前の撮像画像で顔画像を検出した際の縮小ＩＤとその周辺の縮小ＩＤとを選択するものとして説明したが、検出した際の縮小ＩＤだけ、あるいは、その周辺の縮小ＩＤだけを選択するようにしてもよい。このとき、選択した縮小ＩＤの数が６つ未満の場合には、選択する縮小ＩＤの数を６つにするために、任意の縮小ＩＤを選択してもよいし、０〜１１までの縮小ＩＤを順番に選択するようにしてもよい。このことは、変形例のステップＳ２１で選択した縮小ＩＤの数が６つ未満の場合にも同様に適用できる。

（２４）実施の形態及び変形例では、撮像画像毎に、１２種類の縮小ＩＤ（この項では「候補ＩＤ」という）のうちの６種類以下の縮小ＩＤ（この項では「選択ＩＤ」という）で縮小画像を生成する例をそれぞれ説明したが、以下のような変形も可能である。

（ａ）候補ＩＤの数Ｌが偶数であり、選択ＩＤの数Ｍ（Ｍ＜Ｌ）がＬ／２より大きい場合には、撮像画像毎に、Ｌ／２種類の偶数の縮小ＩＤ及びＭ−Ｌ／２種類の奇数の縮小ＩＤと、Ｌ／２の奇数の縮小ＩＤ及びＭ−Ｌ／２種類の偶数の縮小ＩＤとを交互に選択するようにしてもよい。

例えば、Ｌが１２で、Ｍが７の場合に、撮像画像毎に、６種類の偶数の縮小ＩＤ及び１種類の奇数の縮小ＩＤと、６種類の奇数の縮小ＩＤ及び１種類の偶数の縮小ＩＤを交互に選択することになる。

また、１つの撮像画像について選択する縮小ＩＤの数がＭ以下になれば、撮像画像毎に選択する偶数の縮小ＩＤと奇数の縮小ＩＤの数を任意に調節してよく、例えば、撮像画像毎に選択する偶数の縮小ＩＤと奇数の縮小ＩＤの数の内訳を変えてもよい。このとき、それぞれ選択する偶数の縮小ＩＤ、奇数の縮小ＩＤは、全ての偶数の縮小ＩＤ、奇数の縮小ＩＤのうちの任意のものを選択してもよいし、順番に選択してもよい。

（ｂ）候補ＩＤの数Ｌが奇数であり、選択ＩＤの数Ｍ（Ｍ＜Ｌ）がＬ／２より大きい場合には、撮像画像毎に、（Ｌ＋１）／２種類の偶数の縮小ＩＤ及びＭ−（Ｌ＋１）／２種類の奇数の縮小ＩＤと、（Ｌ−１）／２の奇数の縮小ＩＤ及びＭ−（Ｌ−１）／２種類の偶数の縮小ＩＤとを交互に選択するようにしてもよい。

このとき、Ｍ−（Ｌ＋１）／２種類の奇数の縮小ＩＤは、全ての奇数の縮小ＩＤのうちの任意のものを選択してもよいし、順番に選択してもよい。また、Ｍ−（Ｌ−１）／２種類の偶数の縮小ＩＤについても同様である。

例えば、Ｌが１１でＭが６の場合に、撮像画像毎に、６種類の偶数の縮小ＩＤと、５種類の奇数の縮小ＩＤ及び１種類の偶数の縮小ＩＤを交互に選択することになる。

また、１つの撮像画像について選択する縮小ＩＤの数がＭ以下になれば、撮像画像毎に選択する偶数の縮小ＩＤと奇数の縮小ＩＤの数を任意に調節してよいのは、上記（ａ）の場合と同様である。

（ｃ）選択ＩＤの数Ｍ（Ｍ＞Ｌ）が候補ＩＤの数Ｌ／２より小さい場合には、撮像画像毎に、Ｍ種類以下の偶数の縮小ＩＤと、Ｍ種類以下の奇数の縮小ＩＤとを交互に選択するようにしてもよい。このＭ種類以下の偶数の縮小ＩＤ、Ｍ種類以下の奇数の縮小ＩＤは、それぞれ全ての偶数の縮小ＩＤ，全ての奇数の縮小ＩＤのうちの任意のものを選択してもよいし、順番に選択してもよい。

例えば、Ｌが１２で、Ｍが５の場合に、撮像画像毎に、任意の５種類以下の偶数の縮小ＩＤと、任意の５種類以下の奇数の縮小ＩＤとを交互に選択することになる。

（２５）本発明に係る画像処理装置における縮小画像生成手段は、実施の形態及び変形例に係る解像度変換回路１８２に相当し、照合手段は顔検出回路に相当し、特定手段は特定回路１８４に相当し、制御手段はプロセッサに相当し、表示手段は、プロセッサとＬＣＤ出力回路１５０とＬＣＤ１４０とに相当する。

本発明に係る画像処理装置は、デジタルカメラ等における顔画像の検出に利用できる。

１００画像処理装置
１０１プロセッサバス
１０２メモリバス
１１０カメラ
１２０カメラ入力回路
１３０画像メモリ
１４０ＬＣＤ
１５０ＬＣＤ出力回路
１６０物体検出回路
１７０プロセッサ
１８０顔検出装置
１８１結果メモリ
１８２解像度変換回路
１８３顔検出回路
１８４特定回路
２００半導体集積回路

デジタルカメラ等において、所定時間（例えば、３３ｍｓ）毎に撮像した撮像画像（フレーム画像）から、その撮像画像よりサイズが小さい特定画像（例えば顔画像）が含まれる範囲を特定し、特定した範囲に、枠を表示したり、ピントを合わせたりといった特定処理を行うものが知られている。
この特定画像が含まれる範囲を特定する方法に、特定画像を検出するためのテンプレート画像（撮像画像より小さい一定サイズのもの）と、撮像画像に基づいて段階的に縮小率を変えて生成した複数の縮小画像とを照合して特定画像を検出する方法がある。つまり、矩形である縮小画像の左上の画素から右下の画素までテンプレート画像をずらしながら照合する処理を各縮小画像に対して行うことで特定画像を検出し、この結果に基づいて特定画像が含まれる範囲を特定する。

ここで、複数の縮小画像を生成する際の各縮小率は、生成された複数の縮小画像とテンプレート画像とを照合することで、撮像画像中に含まれている様々な大きさの特定画像を検出することができるように予め設定される。
しかしながら、この縮小画像を生成する処理は、一般的に比較的長い時間を要する処理であるため、１つの撮像画像から生成する縮小画像の数が多くなる程、撮像間隔時間（この例では、３３ｍｓ）内に特定画像が検出できないケースが生じることになる。

これに対しては、縮小画像の生成の順番をデジタルカメラの撮影モードに応じて切り替えることで、撮像間隔時間内に特定画像を検出する可能性を高める方法が知られている（例えば、特許文献１）。
特許文献１に係る撮像装置は、原画像Ｇ０を段階的に縮小した縮小画像Ｇ１〜Ｇ７（この例では、Ｇ１、Ｇ２、・・・、Ｇ７の順でサイズが小さくなる）を生成することが可能であり、人物を撮影するモード等、少人数の近景撮影が予測されるモードでは、撮像画像に含まれる顔画像のサイズが大きくなることが多いため、Ｇ７、Ｇ６、・・・、Ｇ０の順で縮小画像を生成しテンプレート画像と照合する。また、風景を撮影するモード等、遠景撮影が予定されるモードでは、撮像画像に含まれる顔画像のサイズが小さくなることが多いため、Ｇ０、Ｇ１、・・・、Ｇ７の順で縮小画像を生成しテンプレート画像と照合する。

特開２００７−１３５１１５号公報

しかしながら、近年、高フレームレート撮影に対するユーザのニーズが高まっている。このようなニーズに応えようとすれば、上述の問題、即ち、撮像間隔時間を経過した後に特定画像が検出されることによって、特定した画像範囲と、実際に被写体が写っている範囲とが比較的大きくずれてしまうという問題がより生じやすくなる。
この問題を解決するために、より短い時間で各縮小画像を生成できるような高スペックのハードウェアを用いて高速に処理する方法も考えられるが、これには、比較的大きな設計変更を伴うため、現状のハードウェア資源を用いて解決できる方が望ましい。

上述の構成を備える本発明に係る画像処理装置は、各撮像画像について、Ｌ種の倍率のうちの、自装置の処理能力（所定時間内に生成できる縮小画像の種類数Ｋ）以下のＭ種以下の倍率で各縮小画像を生成し、各縮小画像とテンプレート画像とを照合するので、所定時間内にテンプレート画像に対応する画像を検出できる可能性を高めることができる。
また、前記制御手段は、撮像画像が入力される毎に、前記Ｌ種の倍率を昇順又は降順に並べた場合における先頭からの順番が奇数番目となる各倍率のうちＮ（Ｎ≦Ｍ）個の倍率を含むＭ個以下の倍率と、偶数番目となる各倍率のうちＮ個の倍率とを含むＭ個以下の倍率とを交互に、前記Ｍ種以下の倍率として前記縮小画像生成手段に指定することとしてもよい。

ここで、一の撮像画像とその前に入力された撮像画像とが類似した画像になるケースとは、例えば、所定時間を十分短い時間（例えば３３ｍｓ）とした場合や、被写体が静止している場合が考えられる。
また、前記制御手段は、一の撮像画像の前に入力された撮像画像について指定したＭ種以下の倍率のうちの１つ以上の倍率を、前記照合手段から送出された、当該撮像画像についての、テンプレート画像に対応する画像を検出した旨を示す照合結果に基づいて選択し、前記Ｌ種の倍率を昇順又は降順に並べた場合における先頭からの順番が、選択した倍率についての順番の直前又は直後となる倍率を、前記一の撮像画像についての前記Ｎ個の倍率に含ませることとしてもよい。

一の撮像画像とその前に入力された撮像画像とが類似した画像になるケースでは、一の撮像画像の前に入力された撮像画像において検出できた倍率の近傍の倍率で、一の撮像画像に含まれるテンプレート画像に対応する画像を検出できる可能性が高いためである。
また、前記照合手段は、各縮小画像とテンプレート画像とを照合することにより、当該テンプレート画像に対応する画像範囲を検出した場合に、検出した各画像範囲を示す各範囲情報を前記照合結果として送出し、前記特定手段は、前記照合手段から送出された、一の撮像画像についての各範囲情報及び当該撮像画像の前に入力された撮像画像についての各範囲情報に基づいて前記特定を行うこととしてもよい。

また、前記特定手段は、前記照合手段から送出された、前記一の撮像画像についての各範囲情報及び前記前に入力された撮像画像についての各範囲情報のうち、所定基準で定まる近接した位置関係にある各画像範囲を示す各範囲情報に基づいて、１つの画像範囲を特定することとしてもよい。
これにより、近接した位置関係にある各画像範囲を示す、一の撮像画像及びその前に入力された撮像画像についての各範囲情報に基づいて１つの画像範囲を特定するので、誤差の影響を抑えて画像範囲を特定できる。

また、前記制御手段は、前記縮小画像生成手段に指定する、一の撮像画像についての前記Ｍ種以下の倍率を、前記照合手段から送出された、当該撮像画像より前に入力された撮像画像についての照合結果に基づいて決定することとしてもよい。
これにより、一の撮像画像の前に入力された撮像画像についての縮小画像の生成に用いた倍率のうち、例えば、テンプレート画像に対応する画像を検出した際の倍率を選択した場合には、その検出に係る倍率を用いて一の撮像画像についての縮小画像を生成するので、一の撮像画像とその前に入力された撮像画像とが類似した画像になるケースにおいて、一の撮像画像に含まれるテンプレート画像に対応する画像を検出できる可能性を更に高めることができる。

また、前記画像処理装置は、更に撮像画像が入力される毎に、当該撮像画像を表示すると共に、当該撮像画像について前記特定手段が特定した画像範囲に対応する当該撮像画像上の位置に、当該画像範囲を示す枠を表示する表示手段を備えることとしてもよい。
入力された撮像画像について特定された画像範囲の位置に枠が表示されるので、ユーザは、特定処理の対象となっている画像範囲を容易に認識することができる。

以下、本発明に係る画像処理装置の一実施形態を説明する。
≪実施の形態≫
＜概要＞
実施の形態に係る画像処理装置は、所定時間（例えば、３３ｍｓ）毎に撮像され生成された各撮像画像から顔画像が含まれる画像範囲（以下、「顔画像範囲」という）を特定するものである。

各撮像画像は、４ＶＧＡ（１２８０×９６０画素）サイズであり、比較的サイズが大きいことから、この画像処理装置は、その一部の領域の画像（以下、「検出対象画像」という）に絞り込んで顔画像の検出処理を行う。ここで、検出対象画像は、従来から行われているエッジ検出等の方法で、何らかの物体があると検出された領域の画像である。
この画像処理装置は、検出対象画像を既定サイズ毎に処理して顔画像を検出する。つまり、この既定サイズの画像（以下、「照合対象画像」という）を、段階的に縮小した各縮小画像を生成し、生成した各縮小画像と顔画像のテンプレート画像とを照合することで、顔画像を検出する。

各縮小画像を生成する際の縮小率として、この画像処理装置は、段階的に縮小の程度が大きくなるように設定された１２種類の縮小率を用いることが可能であるが、撮像画像毎に、１２種類の縮小率全てではなく、このうちの６種類の縮小率を用いて各縮小画像を生成する。
なお、本実施の形態では、この画像処理装置は、所定時間以内に、６種類の縮小率で縮小画像を生成することが可能な処理能力を有するものと想定している。

また、この画像処理装置は、連続して撮像された２つの撮像画像についてのテンプレート画像との照合結果を用いて、顔画像範囲を特定する。
このように、この画像処理装置は、１２種類の縮小率のうちの６種類の縮小率で各縮小画像を生成するので、各撮像画像に対する縮小画像の生成及び照合にかかる処理量は抑えつつも、連続して撮像された２つの撮像画像についての照合結果を用いて顔画像範囲を特定するので、１２種類の縮小画像を生成しそれぞれと照合する処理を行う場合と比較しても大きく精度を落とすことなく顔画像範囲を特定できる。

＜構成＞
まず、画像処理装置１００の構成について説明する。
図１は、画像処理装置１００の機能ブロック図である。
画像処理装置１００は、同図に示す通り、カメラ１１０、カメラ入力回路１２０、画像メモリ１３０、ＬＣＤ（Liquid Crystal Display）１４０、ＬＣＤ出力回路１５０、物体検出回路１６０、プロセッサ１７０、顔検出装置１８０を備える。

プロセッサ１７０とその他の構成要素とのデータの授受は、プロセッサバス１０１を介して行われ、また、画像メモリ１３０への、カメラ１１０を除く他の構成要素からのアクセスは、メモリバス１０２を介して行われる。
ここで、カメラ１１０は、一定のフレームレート（例えば、３０ｆｐｓ（frame per second））で撮像を行い、順次生成した４ＶＧＡサイズの撮像画像（データ）をカメラ入力回路１２０に送出する機能を有する。

カメラ入力回路１２０は、カメラ１１０から受領した撮像画像に対し、高画質化のための各種フィルタ処理を施し、画像メモリ１３０に格納する機能を有する。フィルタ処理後の撮像画像を画像メモリ１３０へ格納すると、カメラ入力回路１２０はその旨をプロセッサ１７０へ通知する。
画像メモリ１３０は、フィルタ処理後の撮像画像を記憶するためのメモリ領域である。

ＬＣＤ１４０は、液晶ディスプレイ（ＬＣＤ）を含み、ＬＣＤ出力回路１５０の指示に応じて、画像を表示する機能を有する。
ＬＣＤ出力回路１５０は、撮像のフレームレートと同じフレームレートで、画像メモリ１３０に記憶されている撮像画像を読み出してＬＣＤ１４０に表示させると共に、プロセッサ１７０からの指示に応じて特定した顔画像範囲を示す矩形の枠をＬＣＤ１４０に表示させる機能を有する。

物体検出回路１６０は、プロセッサ１７０からの指示に応じて、画像メモリ１３０に記憶されている撮像画像を読み出し、物体の検出処理を行い、検出の有無を示す情報を含む検出結果をプロセッサ１７０に送出する機能を有する。
この物体の検出は、例えば、物体が写っていない状態の撮像画像と画像メモリ１３０に記憶されている撮像画像とのエッジ検出結果を比較することにより行い、特に、物体を検出した場合には、検出した物体が含まれる矩形の検出対象画像の座標値（例えば、左上端及び右下端の座標値）を検出結果に含めてプロセッサ１７０に送出する。

プロセッサ１７０は、内部メモリ（不図示）に記憶されている制御プログラムを実行することにより、画像処理装置１００全体の制御や装置内の各ブロックへの指示や通知を行う機能を有する。
特に、プロセッサ１７０は、物体検出回路１６０から検出した旨の情報を含む検出結果を受領した場合に、検出対象画像の座標値（その検出結果に含まれる座標値）及び各縮小画像を生成する際の縮小率を顔検出装置１８０に通知し、物体検出回路１６０から検出しなかった旨の情報を含む検出結果を受領した場合には、その旨を顔検出装置１８０に通知する。

また、プロセッサ１７０は、顔検出装置１８０から受領した、特定した顔画像範囲を示す座標値等に基づいて、ＬＣＤ出力回路１５０に特定した顔画像範囲を示す矩形の枠を表示させる機能を有する。
顔検出装置１８０は、プロセッサ１７０から通知された座標値が示す検出対象画像を、既定サイズ（ＱＶＧＡサイズ（３２０×２４０画素））単位で処理して顔画像範囲を特定する機能を有する。より詳細には、この既定サイズの画像（照合対象画像）を縮小した各縮小画像と各テンプレート画像とを照合することにより顔画像を検出し、照合結果に基づいて顔画像範囲を特定する。

ここで、各テンプレート画像は、各々顔の向きが異なるものであり、各テンプレート画像を用いて照合することで、縮小画像に含まれる様々な方向を向いた顔画像を検出することができる。
顔検出装置１８０は、結果メモリ１８１と、解像度変換回路１８２と、顔検出回路１８３と、特定回路１８４とを備える。

ここで、結果メモリ１８１は、顔検出装置１８０が処理中の撮像画像についての各照合結果のリスト（以下、「結果リスト」という）と、その撮像画像の１つ前に撮像された撮像画像についての結果リストとを格納するためのメモリ領域である。
解像度変換回路１８２は、プロセッサ１７０から通知された座標値が示す検出対象画像の中で、縮小画像の生成対象とする照合対象画像（ＱＶＧＡサイズ）を決定し、決定した照合対象画像をプロセッサ１７０から通知された各縮小率で縮小した各縮小画像を生成して顔検出回路１８３に送出する機能を有する。

なお、照合対象画像は、例えば、ＰＣＴ／ＪＰ２００８／０００９６１において開示されている、検出対象画像の中を左上から右下までオーバラップ領域を設けるように決定する方法を用いて同様に決定することができるため、ここでは詳細な説明は省略する。
また、本実施の形態での縮小率は、照合対象画像のサイズ（ＱＶＧＡサイズ）を「１」とした際の、縮小後の画像のサイズの割合で示す。従って縮小率が大きい（例えば、０．８２）ということは、縮小の程度が小さいということを意味し、逆に縮小率が小さい（例えば、０．１１）ということは、縮小の程度が大きいということを意味する。

また、本実施の形態では、縮小率が１．０の場合、つまり、縮小画像が照合対象画像そのものである場合も含めて縮小画像と呼ぶこととする。
顔検出回路１８３は、解像度変換回路１８２から受領した縮小画像と、各テンプレート画像（それぞれ２４×２４画素の一定サイズ）とを照合することにより、縮小画像に含まれている顔画像を検出する回路である。

より詳細には、受領した縮小画像の中で、左上の画素から右下の画素までテンプレート画像をずらしながらこのテンプレート画像と照合する処理を各テンプレート画像について行い、各照合結果を顔検出装置１８０が処理中の撮像画像についての結果リストとして結果メモリ１８１に格納する。
上述の照合結果には、検出の有無を示す情報の他、特に、顔画像を検出した場合には、検出した矩形の顔画像の左上端の座標値（縮小画像上の座標値）を撮像画像上の座標に変換した座標値と、検出した顔画像を含む縮小画像についての縮小率を示す情報（以下、「縮小ＩＤ」という）と、検出に用いたテンプレートの顔の向きを示す情報（以下、「テンプレートＩＤ」という）とが含まれる。

以下では、顔検出回路１８３は、一例として、顔の向きが正面、右向き、左向きの３つのテンプレート画像を用いて照合を行うものする。また、顔の向きが正面、右向き、左向きの３つのテンプレート画像のテンプレートＩＤはそれぞれ「０」、「１」、「２」であるものとする。
また、上述の縮小画像上の座標値から撮像画像上の座標値への変換は、縮小画像と撮像画像とが相似の関係にあることから、両画像の水平方向サイズ及び垂直方向サイズの比率を用いて単純な比例計算を行うことで実現できるため、詳細な説明は省略する。

特定回路１８４は、顔検出装置１８０が処理中の撮像画像及びその１つ前に撮像された撮像画像についての結果メモリ１８１に格納されている各結果リストに含まれる各照合結果に基づいて顔画像範囲を特定し、特定した顔画像範囲を示す座標値等をプロセッサ１７０に送出する機能を有する。顔画像範囲の特定方法は後に詳細に説明する。
＜顔検出＞
次に、顔検出装置１８０による顔検出方法について説明する。

図２は、顔検出装置１８０による顔検出方法を説明するための図である。
同図において、照合対象画像１０２１及び照合対象画像１０２２は、それぞれ顔画像を含み、照合対象画像１０２１に含まれる顔画像の方が、照合対象画像１０２２に含まれる顔画像より大きいものになっている。
照合対象画像１０２１と、一定サイズ（例えば２４×２４画素）のテンプレート画像とを照合し顔画像を検出するためには、照合対象画像１０２１に含まれる顔画像の大きさを、テンプレート画像の顔画像の大きさと同程度にまで縮小する必要がある。縮小画像１０３１は、この縮小後の画像を示している。

顔検出回路１８３は、縮小画像１０３１の中で、左上の画素から右下の画素まで、テンプレート画像をずらしながら照合することで、顔画像を検出する。
照合対象画像１０２２から顔画像を検出する場合も同様に、顔検出回路１８３は、照合対象画像１０２２を縮小した縮小画像１０３２とテンプレート画像とを照合する。
ここで、縮小画像１０３２のサイズは、縮小画像１０３１のサイズより大きく、つまり、縮小画像１０３２は、縮小画像１０３１より縮小の程度が低いことが分かる。照合対象画像１０２２に含まれている顔画像の大きさは、照合対象画像１０２１に含まれているものより小さいため、より低い縮小の程度でテンプレート画像の顔画像の大きさと同程度にまで縮小できるためである。

各縮小画像の縮小率は、例えば、図３に示すように１／１．２２倍ずつ段階的に変えるように決定することができる。
図３は、縮小ＩＤと縮小率等の対応の一例を示す図である。
同図において、「（１／１．２２）＾ｎ」の記載は、（１／１．２２）のｎ乗であることを示している。

同図は、例えば、縮小ＩＤが「０」である場合の縮小率は「（１／１．２２）＾０、つまり１．０」であり、対応する縮小率で照合対象画像を縮小した場合の縮小画像の水平方向サイズは「３２０画素」で、垂直方向サイズは「２４０画素」であることを示している。
また、縮小ＩＤが「１１」である場合の縮小率は「（１／１．２２）＾１１倍」であり、縮小画像の水平方向サイズは「３３画素」で、垂直方向サイズは「２５画素」であることを示している。

なお、縮小画像のサイズが、テンプレート画像のサイズ（この実施の形態の例では２４×２４画素）より小さくなると、照合ができなくなることから、この例では、縮小ＩＤが「１１」である場合の縮小率が最も小さく、つまり、この場合が、縮小の程度が最も高いものとなっている。
＜データ＞
次に、撮像画像の画像メモリ１３０上の配置について説明する。

図４は、撮像画像１０００の画像メモリ１３０上の配置を説明するための図である。
撮像画像１０００は、上述したように４ＶＧＡ（１２８０×９６０画素）サイズの画像データであり、撮像画像１０００を構成する各画素の画素値データは、画像メモリ１３０上の連続領域に連続して記憶される。つまり、同図に示す画素１００１、・・・、１００２、１００３、・・・、１００４、・・・、１００５の順で連続領域に記憶される。

［数１］
アドレス値＝ＢＡＳＥ＋水平方向サイズ×Ｙ座標＋Ｘ座標
例えば、座標値が（６４０，２４０）である画素１００４が記憶される画像メモリ１３０上の領域のアドレス値は、「ＢＡＳＥ＋１２８０×２４０＋６４０」である。
顔検出装置１８０の解像度変換回路１８２は、決定した照合対象画像の座標値から算出したアドレス値を用いて、この照合対象画像を画像メモリ１３０から読み出すことができる。

＜動作＞
次に、上記構成を備え、上記データを取り扱う画像処理装置１００の動作について説明する。
図５は、画像処理装置１００の動作を示すフローチャートである。
プロセッサ１７０は、カメラ入力回路１２０から撮像画像を画像メモリ１３０へ格納した旨の通知を受領すると、撮像回数をカウントアップすると共に、物体検出回路１６０に検出処理を開始させ、その物体検出回路１６０から検出結果を受領すると、その検出結果が物体を検出した旨の情報を含むか否かを判定する（ステップＳ１）。

物体を検出した旨の情報が含まれている場合には（ステップＳ１：ＹＥＳ）、プロセッサ１７０は、その検出に係る撮像画像の撮像順が偶数番目か否かを上述の撮像回数に基づいて判定する（ステップＳ２）。例えば、撮像回数が１であれば否定的な判定を行い、撮像回数が２であれば肯定的な判定を行う。
プロセッサ１７０は、１２種類の縮小ＩＤのうち、検出に係る撮像画像の撮像順が偶数番目である場合には（ステップＳ２：ＹＥＳ）、偶数の縮小ＩＤ（０、２、４、・・・、１０）を選択し（ステップＳ３）、検出に係る撮像画像の撮像順が奇数番目である場合には（ステップＳ２：ＮＯ）、奇数の縮小ＩＤ（１、３、５、・・・、１１）を選択する（ステップＳ４）。

プロセッサ１７０は、選択した各縮小ＩＤと、受領した検出結果に含まれる検出対象画像の座標値とを顔検出装置１８０に通知する（ステップＳ５）。
顔検出装置１８０の解像度変換回路１８２は、プロセッサ１７０により通知された座標値が示す検出対象画像の中で１つの照合対象画像を決定し（ステップＳ６）、決定した照合対象画像が記憶されている画像メモリ１３０上のアドレス値を数１に示す数式に従って算出し、その照合対象画像を画像メモリ１３０から読み出す（ステップＳ７）。

顔検出回路１８３は、１回目の処理で、顔検出装置１８０が処理中の撮像画像についての空の結果リストを結果メモリ１８１に生成し、各テンプレート画像について、そのテンプレート画像を、解像度変換回路１８２から受領した縮小画像の中で左上の画素から右下の画素までずらしながら照合し、照合結果を、生成した結果リストに登録する（ステップＳ９）。
解像度変換回路１８２は、ステップＳ５で通知された全ての縮小ＩＤを選択したか否かを判定し（ステップＳ１０）、全ての縮小ＩＤを選択していない場合には（ステップＳ１０：ＮＯ）、未選択の縮小ＩＤで縮小画像を生成するために、再びステップＳ７から処理を行う。

一方、全ての縮小ＩＤを選択している場合には（ステップＳ１０：ＹＥＳ）、検出対象画像全体を処理したか否かを判定し（ステップＳ１１）、検出対象画像全体を処理していない場合には（ステップＳ１１：ＮＯ）、次の照合対象画像を処理するために、再びステップＳ６から処理を行う。
また、ステップＳ１１で検出対象画像全体を処理している場合には（ステップＳ１１：ＹＥＳ）、特定回路１８４は、結果メモリ１８１に格納されている２つの結果リストに含まれる各照合結果に基づいて、顔画像範囲の特定処理を行う（ステップＳ１２）。

以下、ステップＳ１２の顔画像範囲の特定処理について説明する。
図６は、特定回路１８４による顔画像範囲の特定処理を示すフローチャートである。
特定回路１８４は、結果メモリ１８１に格納されている２つの結果リストそれぞれに含まれる各照合結果について、その照合結果に含まれる検出した顔画像の左上端の座標値（撮像画像上の座標値）と縮小ＩＤに基づいて、検出した顔画像の中心点を算出する（ステップＳ１３）。

また、特に図示していないが、いずれの結果リストにも検出した顔画像の左上端の座標値が含まれていない場合には、特定回路１８４は、顔画像範囲を特定できなかった旨をプロセッサ１７０に通知し、特定処理を終了する。
特定回路１８４は、算出した各中心点のうち、グループが決定していない点があるか否かを判定し（ステップＳ１４）、グループが決定していない中心点がある場合には（ステップＳ１４：ＹＥＳ）、そのグループが決定してない中心点のうちの１つの中心点を選択する（ステップＳ１５）。以下、この中心点を「選択点」という。なお、特定回路１８４は、例えば、まだグループが決定していない中心点のうち、最小の縮小ＩＤを含む照合結果に含まれている座標値と対応する中心点を選択するものとする。

特定回路１８４は、選択点以外の、グループが決定していない他の中心点のうち、その選択点の縮小ＩＤと所定範囲（例えば、±２以内）の縮小ＩＤの中心点を、その選択点が所属するグループに所属する中心点の候補とする（ステップＳ１６）。以下、この候補となった各中心点を「候補点」という。
例えば、選択点の縮小ＩＤが「２」である場合には、縮小ＩＤが「０」〜「４」の中心点が、候補点となる。

特定回路１８４は、選択点と各候補点との距離を算出し（ステップＳ１７）、算出した距離が所定値（例えば、２０）以内である候補点を、選択点と同一のグループに所属するものと決定する（ステップＳ１８）。
例えば、選択点の座標値が（１１０，６６）であり、候補点の座標値が（１１８，６８）であるとすると、両点の距離は「８．２」であり、この候補点は、選択点と同一のグループに所属するものと決定される。

特定回路１８４は、同一のグループに所属する各中心点の座標値及び各顔画像の大きさに基づいて、１つの顔画像範囲を特定し、この特定した顔画像範囲の左上端の座標値及び大きさをプロセッサ１７０に送出する（ステップＳ１９）。
より詳細には、例えば、上述の例で、同一のグループと決定された２つの中心点（１１０，６６）と（１１８，６８）とがある場合に、各中心点の座標の平均値は（１１４，６７）である。

また、（１１０，６６）を中心点とした顔画像の大きさは、上述の通り「３６×３６画素」であり、（１１８，６８）を中心点とした顔画像の大きさを、例えば、「４４×４４画素」であるとすると、これらの顔画像の大きさの平均値は、「４０×４０画素」である。
特定回路１８４は、中心点が、算出した各中心点の座標の平均値（１１４，６７）であり、大きさが、算出した顔画像の大きさの平均値「４０×４０画素」である画像範囲を１つの顔画像範囲と特定し、特定した顔画像範囲の左上端の座標値（１１４−４０／２，６７−４０／２）、つまり（９４，４７）と、大きさ「４０×４０画素」をプロセッサ１７０に送出する。

ステップＳ１９の処理が完了すると、特定回路１８４は、再びステップＳ１４から処理し、グループが決定していない中心点がない場合には（ステップＳ１４：ＮＯ）、顔検出装置１８０が処理中の撮像画像の１つ前の撮像画像についての結果リストを結果メモリ１８１から削除し、顔画像範囲の特定処理を終了する。
＜考察＞
以下では、画像処理装置１００及び従来の画像処理装置それぞれが顔画像範囲を特定していく様子を図７、図８を用いて比較して説明する。

＜画像処理装置１００＞
まず、画像処理装置１００について説明する。
図７は、画像処理装置１００が顔画像範囲を特定していく様子を時系列で説明するための図である。
ここで、撮像画像は、３３ｍｓ間隔でカメラ１１０により撮像され生成された撮像画像１０１１〜１０１３を示している。撮像画像１０１１〜１０１３の撮像順はｎ〜ｎ＋２であり、ｎは偶数であるものとする。

また、表示画像は、３３ｍｓ間隔でＬＣＤ１４０に表示される表示画像１０４１〜１０４３を示している。
まず、Ｔ１において、撮像画像１０１１が生成されると、この例では撮像画像１０１１の撮像順は偶数番目なので、Ｔ２までに、偶数の縮小ＩＤ（０、２、・・・、１０）を用いて各縮小画像が生成され各テンプレートとの照合処理が行われる。

次に、Ｔ２において、撮像画像１０１２が生成されると、この撮像画像１０１２について、奇数の縮小ＩＤ（１、３、・・・、１１）を用いて、Ｔ１における撮像画像１０１１と同様に縮小処理及び照合処理が行われると共に、撮像画像１０１１について、顔画像範囲の特定処理が行われる。
この顔画像範囲の特定は、撮像画像１０１１についての各照合結果と、撮像画像１０１１の１つ前に撮像された撮像画像についての各照合結果に基づいて行われ、特定された顔画像範囲を示す矩形の枠Ｓ１が、撮像画像１０１１上に描画され（表示画像１０４１）、Ｔ３まで表示が継続される。

なお、表示画像１０４１上には、点線で表す楕円Ｃ０、Ｃ１と点線で表す各矩形とが図示されているが、これらは説明のためのものであり実際には表示されない。このことは、表示画像１０４２、１０４３においても同様である。
ここで、点線で表す各矩形は検出した各顔画像を示しており、楕円Ｃ０は、撮像画像１０１１の１つ前に撮像された撮像画像で検出された各顔画像が含まれる範囲を示しており、楕円Ｃ１は、撮像画像１０１１で検出された各顔画像が含まれる範囲を示している。

つまり、撮像画像１０１１についての顔画像範囲の特定は、楕円Ｃ１に含まれる各顔画像と楕円Ｃ０に含まれる各顔画像とに基づいて行われる。
次に、Ｔ３において、撮像画像１０１３が生成されると、この撮像画像１０１３について、偶数の縮小ＩＤ（０、２、・・・、１０）を用いて、Ｔ１における撮像画像１０１１と同様に縮小処理及び照合処理が行われ、撮像画像１０１２について、Ｔ２における撮像画像１０１１と同様に、顔画像範囲の特定処理が行われ、特定された顔画像範囲を示す矩形の枠Ｓ２が、撮像画像１０１２上に描画され（表示画像１０４２）、Ｔ４まで表示が継続される。

この撮像画像１０１２についての顔画像範囲の特定は、撮像画像１０１２で検出された各顔画像（楕円Ｃ２に含まれる各顔画像）と撮像画像１０１１で検出された各顔画像（楕円Ｃ１に含まれる各顔画像）とに基づいて行われる。
以降、撮像画像１０１３についても同様に処理される。
このようにして表示された表示画像１０４１〜１０４３の各矩形の枠Ｓ１〜Ｓ３は、実際に表示されている顔画像の付近に表示できていることが分かる。

＜従来の画像処理装置＞
続いて、１つの撮像画像について、１２種類の縮小率全てを用いて生成した各縮小画像と各テンプレート画像とを照合する従来の画像処理装置について説明する。
図８は、従来の画像処理装置が顔画像範囲を特定していく様子を時系列で説明するための図である。

ここで、撮像画像は、図７で説明したのと同様、３３ｍｓ間隔で撮像され生成された撮像画像２０１１〜２０１５を示しており、２０１１〜２０１３については、図７の１０１１〜１０１３と全く同じ画像である。また、各撮像画像の撮像順はｎ〜ｎ＋４であるものとする。
また、表示画像は、３３ｍｓ間隔で表示される表示画像２０２１〜２０２５を示している。

以下では、従来の画像処理装置が１つの撮像画像についての縮小処理と照合処理とを完了するためにかかる時間が、６６ｍｓであるものとして説明する。
まず、Ｔ１において、撮像画像２０１１が生成されると、Ｔ３までの間に全縮小ＩＤ（０、１、・・・、１１）を用いて各縮小画像が生成され各テンプレートとの照合処理が行われる。

また、Ｔ３において、撮像画像２０１３が生成されると、撮像画像２０１３について、全縮小ＩＤ（０、１、・・・、１１）を用いて、Ｔ１における撮像画像２０１１と同様に、Ｔ５まで縮小処理及び照合処理が行われる。
次に、Ｔ４において、まだ、撮像画像２０１３についての全縮小画像との照合が完了していないので、撮像画像２０１１について特定された顔画像範囲を示す矩形の枠Ｓ１０がそのまま撮像画像２０１３上に描画され（表示画像２０２３）、Ｔ５まで表示が継続される。

以降、同様に、撮像画像２０１３について特定された顔画像範囲を示す矩形の枠Ｓ１１が、撮像画像２０１４及び撮像画像２０１５上にそれぞれ描画され（表示画像２０２４、２０２５）、表示画像２０２４はＴ５〜Ｔ６で、表示画像２０２５はＴ６〜Ｔ７で表示される。
このように従来の画像処理装置では、全縮小ＩＤを用いて各縮小画像を生成して各テンプレート画像と照合する結果、この縮小処理と照合処理とにかかる時間が、撮像間隔時間（この例では３３ｍｓ）より長くなってしまい、逆に顔画像の検出の精度が低下してしまっている。特に、前回特定した顔画像範囲を示す矩形の枠をそのまま表示している表示画像２０２３、２０２５において実際に表示されている顔画像の位置と矩形の枠の位置とが、大きくずれてしまうという不具合が生じている。

また、各撮像画像についての顔画像範囲を、その撮像画像、及びその１つ前に撮像された撮像画像の各照合結果を用いて特定するので、誤差の影響を抑えて、精度よく顔画像範囲を特定できる。
≪変形例≫
以下では、画像処理装置が各縮小画像を生成する際に用いる各縮小率の選択方法を替えた一変形例を説明する。

変形例に係る画像処理装置（以下、「変形画像処理装置」という）は、上述の画像処理装置１００のプロセッサ１７０の機能及び顔検出回路１８３の機能を若干変更したものであるため、ここでは、変更部分についてのみ説明する。
＜動作＞
変形画像処理装置の動作について説明する。

図９は、変形画像処理装置の動作を示すフローチャートである。
同図に示すように、変形画像処理装置の動作は、図５のステップＳ９の処理に替えてステップＳ２２の処理を含む点で、画像処理装置１００の場合と異なる。
ここで、ステップＳ２２の処理は、変形例に係る顔検出回路が、照合結果を、結果メモリ１８１に生成した結果リストに登録するだけでなく、変形例に係るプロセッサにも送出する点で、ステップＳ９の処理とは異なる。

また、変形画像処理装置の動作は、図５に示す各処理に加え、ステップＳ２０及びＳ２１の処理を含む点で、画像処理装置１００の場合と異なる。
ここで、変形例に係るプロセッサは、物体検出回路１６０から受領した検出結果に物体を検出した旨の情報が含まれている場合に（ステップＳ１：ＹＥＳ）、処理中の撮像画像の１つ前に撮像された撮像画像で顔画像を検出したか否かを、上述のステップＳ２２で変形例に係る顔検出回路から送出された照合結果に基づいて判定する（ステップＳ２０）。つまり、この照合結果に検出した旨の情報が含まれている場合にのみ肯定的な判定を行う。なお、１つ前に撮像された撮像画像について物体検出回路１６０から受領した検出結果に物体を検出しなかった旨の情報が含まれている場合には、否定的な判定を行う。

１つ前に撮像された撮像画像で顔画像を検出していない場合には（ステップＳ２０：ＮＯ）、ステップＳ２の処理を行い、処理結果に応じて、ステップＳ３又はＳ４で縮小ＩＤの選択を行う。
また、１つ前に撮像された撮像画像で顔画像を検出している場合には（ステップＳ２０：ＹＥＳ）、検出した旨の情報を含む各照合結果に含まれている各縮小ＩＤ及びそれらの縮小ＩＤの周辺の縮小ＩＤのうち６つ以下の縮小ＩＤを選択する（ステップＳ２１）。

例えば、検出した旨の情報を含む照合結果に含まれている縮小ＩＤが「２」である場合、その周辺の縮小ＩＤは「１」及び「３」である。従って、この例では縮小ＩＤとして「１」〜「３」を選択する。
なお、選択した縮小ＩＤの数が６つ未満である場合には、選択した縮小ＩＤの数が６つになるように、更に任意の縮小ＩＤを選択するようにしてもよい。

このようにして、ステップＳ２１、ステップＳ３、又はステップＳ４で選択した縮小ＩＤと、受領した検出結果に含まれる検出対象画像の座標値とを変形例に係る顔検出装置に通知し（ステップＳ５）、その後は、図５について説明したのと同様に処理する。
＜補足＞
以上、本発明に係る画像処理装置について、実施の形態及び変形例に基づいて説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態及び変形例に示した通りの画像処理装置に限られないことは勿論である。
（１）実施の形態及び変形例において説明した各構成要素のうち、全部又は一部をコンピュータプログラムで実現してもよいし、１チップ又は複数チップの集積回路で実現してもよい。

図１０は、実施の形態で説明した顔検出装置１８０に対応する半導体集積回路を含む半導体集積回路２００の構成例を示す図である。
同図に示す通り、半導体集積回路２００は、顔検出装置１８０に対応する半導体集積回路を含み、半導体集積回路２００が適用される装置の用途によって、その他、ＲＯＭ２１０、画像符号化回路２２０、音声処理部２３０等を含む。

半導体集積回路２００は、一般的にはＣＭＯＳなどのＭＯＳトランジスタで構成され、ＭＯＳトランジスタの接続構成により、特定の論理回路を実現する。近年、半導体集積回路の集積度が進み、非常に複雑な論理回路を、一つないしは数個の半導体集積回路で実現できるため、顔検出装置１８０を小型化でき、また、低消費電力化することができる。
なお、半導体集積回路２００は、実施の形態に係る顔検出装置１８０に対応する半導体集積回路を含むものとして説明したが、変形例に係る顔検出装置に対応する半導体集積回路を含むこととしてもよい。

（２）実施の形態及び変形例では、撮像画像に複数の顔画像が含まれている場合、つまり、検出対象画像が複数検出された場合について特に取り上げて説明しなかったが、複数の検出対象画像それぞれについて顔画像を検出する処理を行ってもよい。
（３）実施の形態及び変形例では、撮像画像のサイズを４ＶＧＡサイズとし、照合対象画像のサイズをＱＶＧＡサイズとし、テンプレート画像のサイズを２４×２４画素として説明したが、これに限定されるものではなく、それぞれ任意のサイズとしてもよい。

（４）実施の形態及び変形例においてテンプレート画像は３種類であるものとして説明したが、テンプレート画像の数はこれに限られない。即ち、正面向きのテンプレート画像のみの１種類にしてもよいし、顔の角度毎に３種類より多くのテンプレート画像を用いて照合するようにしてもよい。
（５）実施の形態及び変形例に係る顔検出装置は、縮小画像と複数のテンプレート画像それぞれを照合するものとして説明したが、結果メモリ１８１に格納されている１つ前の撮像画像についての結果リスト内の照合結果に基づいて、照合に用いるテンプレート画像を絞るようにしてもよい。

即ち、１つ前の撮像画像についての検出した旨の情報を含む照合結果に含まれているテンプレートＩＤが示すテンプレート画像と照合を行うようにしてもよい。
（６）実施の形態及び変形例では、顔画像を検出したか否かに関わらず、検出対象画像における全照合対象画像を照合するものとして説明したが、一定の基準（例えば、テンプレート画像との一致度が既定の閾値以上であること）の下、顔画像を検出したと判断した場合には、その撮像画像に対する検出処理を終了するようにしてもよい。

（７）実施の形態及び変形例では、顔画像を検出するものとして説明したが、顔画像以外の特定画像を検出するようにしてもよい。特定画像としては、例えば、人や物に付けられた識別タグなどとしてもよく、この場合、検出した識別タグの情報から個人や物の種類を識別するといった利用も考えられる。
（８）実施の形態及び変形例に係る物体検出回路１６０は、物体が写っていない状態の撮像画像と画像メモリ１３０に記憶されている撮像画像とのエッジ検出結果を比較することにより物体を検出するものとして説明したが、これは一例であり、例えば、連続して生成された撮像画像の画素値の差分を取ることにより検出することとしてもよい。

（１０）実施の形態及び変形例では、画像処理装置の動作として、図５及び図９のステップＳ６〜Ｓ８に示すように、決定した１つの照合対象画像について、順番に縮小ＩＤを変えながら縮小画像を生成する例を説明したが、１つの縮小ＩＤについて、順番に照合対象画像の位置を変えながら縮小画像を生成するようにしてもよい。
（１１）実施の形態及び変形例では、図５、図９のステップＳ７に示すように、解像度変換回路１８２は、各縮小画像を生成する際に毎回、画像メモリ１３０から照合対象画像を読み出すものとして説明したが、生成した縮小画像を記憶しておき、記憶してある縮小画像を用いて他の縮小率の縮小画像を生成するようにしてもよい。例えば、プロセッサ１７０から偶数の縮小ＩＤが通知されている場合には、一度、照合対象画像を画像メモリ１３０から読み出し、縮小ＩＤが０に対応する縮小率で縮小画像を生成し、以降は、生成した縮小画像を（１／１．２２）＾２倍することで縮小ＩＤが２、４、・・・、１０に対応する縮小画像を生成できる。

（１３）実施の形態及び変形例においては、物体検出回路１６０及びプロセッサは顔検出装置に含まれないものとして説明したが、物体検出回路１６０及びプロセッサの全部又は一部を顔検出装置に含めることとしてもよい。
（１４）実施の形態及び変形例では、図５及び図９に示す照合対象画像の決定処理（ステップＳ６）を、解像度変換回路１８２が行うものとして説明したが、プロセッサが行い、決定した照合対象画像の座標値を解像度変換回路１８２に通知するようにしてもよい。

（１５）実施の形態及び変形例に係るプロセッサは、全ての撮像画像について、物体検出回路１６０に検出処理を行わせるものとして説明したが、物体検出回路１６０が一旦検出した後は、一定数分の撮像画像については物体検出回路１６０に検出処理を行わせず、その一定数分を経過した次の撮像画像から再び検出処理を行わせるようにしてもよい。
この場合、プロセッサは、物体検出回路１６０に検出処理を行わせない間の各撮像画像については、物体検出回路１６０から直近に受領した検出結果に含まれている検出対象画像の座標値を顔検出装置に通知するようにしてもよい。

また、プロセッサは、この間、検出対象画像の座標値を顔検出装置に通知しないこととし、顔検出装置は、一旦プロセッサから通知された検出対象画像の座標値を、次にプロセッサから検出対象画像の座標値が通知されるまで記憶しておき、その座標値が示す照合対象画像の中で照合対象画像を決定するようにしてもよい。
また、顔検出回路は、顔画像を検出した際に、その検出に係る照合対象画像の撮像画像中における座標値を記憶しておき、プロセッサから検出対象画像の座標値が通知されない間、処理対象の撮像画像については、記憶している座標値が示す照合対象画像についてのみ処理することとしてもよい。

（１７）実施の形態及び変形例に係る特定回路１８４は、特定した顔画像範囲の左上端の座標値及び大きさをプロセッサに送出するものとして説明したが、顔画像範囲を特定できれば他の情報を送出してもよく、例えば、右下端の座標値及び大きさを送出してもよいし、左上端及び右下端の座標値を送出してもよい。
また、プロセッサは、検出対象画像の左上端及び右下端の座標値を顔検出装置に通知するものとして説明したが、同様に検出対象画像を特定できれば他の情報を通知してもよく、例えば、左上端又は右下端の座標値及びその画像の大きさを通知するようにしてもよい。

また、物体検出回路１６０が検出結果に含めてプロセッサに送信する検出対象画像の左上端及び右下端の座標値についても同様である。
（１８）実施の形態における＜考察＞では、図７に示すように、Ｔ１〜Ｔ２において、撮像画像１０１１についての縮小処理及び照合処理を行い、Ｔ２から撮像画像１０１１についての顔画像範囲の特定処理を開始するものとして説明したが、画像処理装置１００の処理能力に余裕がある場合には、１つの撮像画像についての縮小処理及び照合処理と特定処理とを撮像間隔時間（上述の例では３３ｍｓ）内に行うようにしてもよい。

これらの変形は、変形画像処理装置に適用してもよい。
（１９）実施の形態及び変形例に係る画像処理装置は、各撮像画像について、１２種類の縮小ＩＤのうちの６種類以下の縮小ＩＤを用いて縮小画像を生成するものとして説明したが、例えば、１２種類の縮小ＩＤ全てを用いるモードと、６種類以下の縮小ＩＤを用いるモードとのいずれかをユーザが選択できるようにし、その選択結果に応じた数の縮小画像を生成するようにしてもよい。

（２１）実施の形態及び変形例に係るプロセッサは、撮像画像毎に、１２種類の縮小ＩＤの中から縮小画像を生成するための縮小ＩＤを選択するものとして説明したが、選択元となる縮小ＩＤは１２種類に限らないのはもちろんである。即ち、１２種類より多くても少なくてもよい。
また、実施の形態に係るプロセッサは、撮像画像毎に、６種類の縮小ＩＤを選択するものとして説明したが、選択する縮小ＩＤの数はこれに限らないのはもちろんである。即ち、画像処理装置が所定時間以内に生成可能な縮小画像数以下の数の縮小ＩＤを選択するようにすれば、選択する縮小ＩＤの数はいくつでもよいし、撮像画像毎に選択する縮小ＩＤの数を変えてもよい。

（２２）変形例に係るプロセッサは、図９に示すように、撮像画像毎に、その撮像画像の１つ前の撮像画像について顔画像が検出されていないときは（ステップＳ２０：ＮＯ）、撮像順に応じて偶数の縮小ＩＤと奇数の縮小ＩＤとを交互に選択する（ステップＳ２〜４）ものとして説明したが、任意の６種類以下の縮小ＩＤを選択するようにしてもよい。
（２３）変形例に係るプロセッサは、図９のステップＳ２１に示すように、１つ前の撮像画像で顔画像を検出した際の縮小ＩＤとその周辺の縮小ＩＤとを選択するものとして説明したが、検出した際の縮小ＩＤだけ、あるいは、その周辺の縮小ＩＤだけを選択するようにしてもよい。このとき、選択した縮小ＩＤの数が６つ未満の場合には、選択する縮小ＩＤの数を６つにするために、任意の縮小ＩＤを選択してもよいし、０〜１１までの縮小ＩＤを順番に選択するようにしてもよい。このことは、変形例のステップＳ２１で選択した縮小ＩＤの数が６つ未満の場合にも同様に適用できる。

（２４）実施の形態及び変形例では、撮像画像毎に、１２種類の縮小ＩＤ（この項では「候補ＩＤ」という）のうちの６種類以下の縮小ＩＤ（この項では「選択ＩＤ」という）で縮小画像を生成する例をそれぞれ説明したが、以下のような変形も可能である。
（ａ）候補ＩＤの数Ｌが偶数であり、選択ＩＤの数Ｍ（Ｍ＜Ｌ）がＬ／２より大きい場合には、撮像画像毎に、Ｌ／２種類の偶数の縮小ＩＤ及びＭ−Ｌ／２種類の奇数の縮小ＩＤと、Ｌ／２の奇数の縮小ＩＤ及びＭ−Ｌ／２種類の偶数の縮小ＩＤとを交互に選択するようにしてもよい。

例えば、Ｌが１２で、Ｍが７の場合に、撮像画像毎に、６種類の偶数の縮小ＩＤ及び１種類の奇数の縮小ＩＤと、６種類の奇数の縮小ＩＤ及び１種類の偶数の縮小ＩＤを交互に選択することになる。
また、１つの撮像画像について選択する縮小ＩＤの数がＭ以下になれば、撮像画像毎に選択する偶数の縮小ＩＤと奇数の縮小ＩＤの数を任意に調節してよく、例えば、撮像画像毎に選択する偶数の縮小ＩＤと奇数の縮小ＩＤの数の内訳を変えてもよい。このとき、それぞれ選択する偶数の縮小ＩＤ、奇数の縮小ＩＤは、全ての偶数の縮小ＩＤ、奇数の縮小ＩＤのうちの任意のものを選択してもよいし、順番に選択してもよい。

（ｂ）候補ＩＤの数Ｌが奇数であり、選択ＩＤの数Ｍ（Ｍ＜Ｌ）がＬ／２より大きい場合には、撮像画像毎に、（Ｌ＋１）／２種類の偶数の縮小ＩＤ及びＭ−（Ｌ＋１）／２種類の奇数の縮小ＩＤと、（Ｌ−１）／２の奇数の縮小ＩＤ及びＭ−（Ｌ−１）／２種類の偶数の縮小ＩＤとを交互に選択するようにしてもよい。
このとき、Ｍ−（Ｌ＋１）／２種類の奇数の縮小ＩＤは、全ての奇数の縮小ＩＤのうちの任意のものを選択してもよいし、順番に選択してもよい。また、Ｍ−（Ｌ−１）／２種類の偶数の縮小ＩＤについても同様である。

例えば、Ｌが１１でＭが６の場合に、撮像画像毎に、６種類の偶数の縮小ＩＤと、５種類の奇数の縮小ＩＤ及び１種類の偶数の縮小ＩＤを交互に選択することになる。
また、１つの撮像画像について選択する縮小ＩＤの数がＭ以下になれば、撮像画像毎に選択する偶数の縮小ＩＤと奇数の縮小ＩＤの数を任意に調節してよいのは、上記（ａ）の場合と同様である。

例えば、Ｌが１２で、Ｍが５の場合に、撮像画像毎に、任意の５種類以下の偶数の縮小ＩＤと、任意の５種類以下の奇数の縮小ＩＤとを交互に選択することになる。
また、１つの撮像画像について選択する縮小ＩＤの数がＭ以下になれば、撮像画像毎に選択する偶数の縮小ＩＤと奇数の縮小ＩＤの数を任意に調節してよいのは、上記（ａ）の場合と同様である。

Claims

所定時間毎に撮像され順次入力される撮像画像において、特定処理の対象となる画像範囲を特定する画像処理装置であって、
入力された１つの撮像画像に基づいて、Ｋ（Ｋ≧１）種の倍率の縮小画像を前記所定時間内に生成する処理能力を有し、各々異なるＬ（Ｌ＞Ｋ）種の倍率のうち指定された倍率の縮小画像を生成する縮小画像生成手段と、
前記縮小画像生成手段により生成された各縮小画像とテンプレート画像とを照合し、照合結果を送出する照合手段と、
前記照合手段から送出された照合結果に基づいて、前記画像範囲を特定する特定手段と、
撮像画像が入力される毎に、当該撮像画像についてのＭ（Ｍ≦Ｋ）種以下の倍率を、当該撮像画像の前に入力された撮像画像について指定した倍率に基づいて選択し、選択したＭ種以下の倍率を前記縮小画像生成手段に指定して各縮小画像を生成させて、生成された各縮小画像を前記照合手段に照合させ、少なくともその照合結果に基づいて、当該撮像画像についての前記画像範囲を前記特定手段に特定させる制御手段とを備える
ことを特徴とする画像処理装置。
前記制御手段は、
撮像画像が入力される毎に、前記Ｌ種の倍率を昇順又は降順に並べた場合における先頭からの順番が奇数番目となる各倍率のうちＮ（Ｎ≦Ｍ）個の倍率を含むＭ個以下の倍率と、偶数番目となる各倍率のうちＮ個の倍率とを含むＭ個以下の倍率とを交互に、前記Ｍ種以下の倍率として前記縮小画像生成手段に指定する
ことを特徴とする請求項１記載の画像処理装置。
前記制御手段は、
一の撮像画像の前に入力された撮像画像について指定したＭ種以下の倍率のうちの１つ以上の倍率を、前記照合手段から送出された、当該撮像画像についての、テンプレート画像に対応する画像を検出した旨を示す照合結果に基づいて選択し、選択した倍率を、前記縮小画像生成手段に指定する、前記一の撮像画像についての前記Ｍ種以下の倍率に含ませる
ことを特徴とする請求項２記載の画像処理装置。
前記制御手段は、
一の撮像画像の前に入力された撮像画像について指定したＭ種以下の倍率のうちの１つ以上の倍率を、前記照合手段から送出された、当該撮像画像についての、テンプレート画像に対応する画像を検出した旨を示す照合結果に基づいて選択し、前記Ｌ種の倍率を昇順又は降順に並べた場合における先頭からの順番が、選択した倍率についての順番の直前又は直後となる倍率を、前記一の撮像画像についての前記Ｎ個の倍率に含ませる
ことを特徴とする請求項２記載の画像処理装置。
前記照合手段は、
各縮小画像とテンプレート画像とを照合することにより、当該テンプレート画像に対応する画像範囲を検出した場合に、検出した各画像範囲を示す各範囲情報を前記照合結果として送出し、
前記特定手段は、
前記照合手段から送出された、一の撮像画像についての各範囲情報及び当該撮像画像の前に入力された撮像画像についての各範囲情報に基づいて前記特定を行う
ことを特徴とする請求項２記載の画像処理装置。
前記特定手段は、
前記照合手段から送出された、前記一の撮像画像についての各範囲情報及び前記前に入力された撮像画像についての各範囲情報のうち、所定基準で定まる近接した位置関係にある各画像範囲を示す各範囲情報に基づいて、１つの画像範囲を特定する
ことを特徴とする請求項５記載の画像処理装置。
前記制御手段は、
前記縮小画像生成手段に指定する、一の撮像画像についての前記Ｍ種以下の倍率を、前記照合手段から送出された、当該撮像画像より前に入力された撮像画像についての照合結果に基づいて決定する
ことを特徴とする請求項１記載の画像処理装置。
前記画像処理装置は、
前記テンプレート画像の候補となる複数のテンプレート候補画像を保持しており、
前記照合手段は、
一の撮像画像の前に入力された撮像画像についての照合結果に基づいて、当該一の撮像画像についての照合に用いる前記テンプレート画像を前記テンプレート候補画像の中から選択する
ことを特徴とする請求項１記載の画像処理装置。
前記照合手段は、
各縮小画像とテンプレート画像とを照合することにより、当該テンプレート画像に対応する画像範囲を検出した場合に、検出した各画像範囲を示す各範囲情報を前記照合結果として送出し、
前記特定手段は、
前記照合手段から送出された、一の撮像画像についての各範囲情報及び当該撮像画像の前に入力された撮像画像についての各範囲情報に基づいて前記特定を行う
ことを特徴とする請求項１記載の画像処理装置。
前記特定手段は、
前記照合手段から送出された、前記一の撮像画像についての各範囲情報及び前記前に入力された撮像画像についての各範囲情報のうち、所定基準で定まる近接した位置関係にある各画像範囲を示す各範囲情報に基づいて、１つの画像範囲を特定する
ことを特徴とする請求項９記載の画像処理装置。
前記画像処理装置は、更に
撮像画像が入力される毎に、当該撮像画像を表示すると共に、当該撮像画像について前記特定手段が特定した画像範囲に対応する当該撮像画像上の位置に、当該画像範囲を示す枠を表示する表示手段を備える
ことを特徴とする請求項１記載の画像処理装置。
所定時間毎に撮像され順次入力される撮像画像において、特定処理の対象となる画像範囲を特定する画像処理装置における画像処理方法であって、
入力された１つの撮像画像に基づいて、Ｋ（Ｋ≧１）種の倍率の縮小画像を前記所定時間内に生成する処理能力を有し、各々異なるＬ（Ｌ＞Ｋ）種の倍率のうち指定された倍率の縮小画像を生成する縮小画像生成ステップと、
前記縮小画像生成ステップにより生成された各縮小画像とテンプレート画像とを照合し、照合結果を送出する照合ステップと、
前記照合ステップから送出された照合結果に基づいて、前記画像範囲を特定する特定ステップと、
撮像画像が入力される毎に、当該撮像画像についてのＭ（Ｍ≦Ｋ）種以下の倍率を、当該撮像画像の前に入力された撮像画像について指定した倍率に基づいて選択し、選択したＭ種以下の倍率を前記縮小画像生成ステップに指定して各縮小画像を生成させて、生成された各縮小画像を前記照合ステップに照合させ、少なくともその照合結果に基づいて、当該撮像画像についての前記画像範囲を前記特定ステップに特定させる制御ステップとを含む
ことを特徴とする画像処理方法。
所定時間毎に撮像され順次入力される撮像画像において、特定処理の対象となる画像範囲を特定する画像処理用集積回路であって、
入力された１つの撮像画像に基づいて、Ｋ（Ｋ≧１）種の倍率の縮小画像を前記所定時間内に生成する処理能力を有し、各々異なるＬ（Ｌ＞Ｋ）種の倍率のうち指定された倍率の縮小画像を生成する縮小画像生成手段と、
前記縮小画像生成手段により生成された各縮小画像とテンプレート画像とを照合し、照合結果を送出する照合手段と、
前記照合手段から送出された照合結果に基づいて、前記画像範囲を特定する特定手段と、
撮像画像が入力される毎に、当該撮像画像についてのＭ（Ｍ≦Ｋ）種以下の倍率を、当該撮像画像の前に入力された撮像画像について指定した倍率に基づいて選択し、選択したＭ種以下の倍率を前記縮小画像生成手段に指定して各縮小画像を生成させて、生成された各縮小画像を前記照合手段に照合させ、少なくともその照合結果に基づいて、当該撮像画像についての前記画像範囲を前記特定手段に特定させる制御手段とを備える
ことを特徴とする画像処理用集積回路。