JP5389592B2 - 特定被写体検出方法及び装置 - Google Patents

Description

本発明は、撮像された画像の一部の対象領域の画像に対して辞書データに登録した登録画像を照合して被写体の顔を検出する顔検出機能を備えたカメラの顔検出方法及び装置に関するものである。

近年、電子カメラ等の撮像装置においては、被写体の顔を認識する技術が登場したことにより、該認識された顔に対してピントを合わせたり、顔が適正露出となるように露出条件を設定する技術がある（特許文献１）。

しかしながら、従来の顔認識は、人間の顔、それも正面の顔などある特定の向きから撮像された場合のみを対象としており、横顔やサングラスの装着時などは認識することができなかった。また、人間以外の顔、例えば、猫や犬などの顔は認識することができなかった。

そこで、被写体の顔を認識する顔認識モードを複数種類備え、複数種類の顔認識モードの中からいずれかの種類の顔認識モードを予め設定するようにした撮像装置が知られている（特許文献２）。

特開２００７−０８１９９１ 特開２００９−０６０３７９

しかしながら、特許文献２に記載の撮像装置では、顔認識モードを予め決めておかないと、所望する被写体の顔を検出することができない。また、最初に決めた顔認識モードで被写体の顔が認識されなかった場合、他の種類のモードに切り替えることが考えられる。顔認識の場合、対象領域の画像に対して登録画像（パターン画像）を照合して顔画像が存在するか否かを判断する。よって、顔認識モードを切り替える場合、被写体の種類毎に用意した辞書データを切り替えることが必要になる。辞書データは、検出精度を上げるために多くの登録画像が登録されており、大容量になっている。辞書データを順番に切り替えて読み出し、シリアル的に照合していくのは、照合処理に時間がかかる。また、辞書データを決まりなくたんに順番に切り替えるのでは、検出対象の辞書データに当たる確立が低く、検出に時間がかかる。電子カメラでは、スルー画像表示中に被写体の顔を検出して、検出結果を顔検出枠等で表示するため、顔検出に時間がかかると、スルー画像表示中の被写体の顔の位置と、顔検出枠の位置とがずれてしまうという問題が生じる。

本発明は、複数の辞書データから特定の辞書データの読み出しを迅速に行え、かつ顔検出の対象となる辞書データを迅速に選択して読み込むように工夫したカメラの顔検出方法及び装置を提供することを目的とする。

一つの観点によれば、特定被写体検出装置は、被写体を撮像する撮像手段と、撮像手段により撮像して得られる撮像画像内の一部の対象領域の画像と複数の登録画像とを照合して撮像画像内に含まれる特定被写体の画像を認識する認識手段と、予め決めた被写体の種類毎に登録画像が登録されている辞書データを複数格納している辞書記憶手段と、シャッタレリーズ毎にその時点又は直前で認識手段が特定被写体の画像を認識した時に使用した登録画像を含む被写体の種類を記憶するメモリと、対象領域を撮像画像内で移動する時又は撮像画像内の全部を対象領域が移動した後に辞書記憶手段に格納されている複数の辞書データの中から認識手段が照合するための辞書データとしてメモリに記憶される被写体の種類に対応する辞書データを選択する辞書入替え制御手段と、を備えたものである。

別の観点によれば、特定被写体検出方法は、予め決めた被写体の種類毎に複数の登録画像が登録されている辞書データを辞書記憶手段に複数格納しており、被写体を撮像して得られる撮像画像内の一部の対象領域の画像と辞書データに登録されている複数の登録画像とを照合して撮像画像内に含まれる特定被写体の画像を認識するとともに、シャッタレリーズ毎にその時点又は直前で特定被写体の画像を認識した時に使用した登録画像を含む被写体の種類を記憶しておき、対象領域を撮像画像内で移動する時、又は撮像画像内の全部を対象領域が移動した後に、辞書記憶手段に格納されている複数の辞書データの中から、前記記憶した被写体の種類に対応する辞書データを選択する。

また、辞書データ毎に登録画像を読み込むのではなく、各辞書データのそれぞれから登録画像を選択してもよい。この場合には、読み出した登録画像の全ての容量が辞書データのファイルサイズと略同じになるように、各辞書データから選択する登録画像の個数を決めるのが好適である。この場合、各辞書データのファイルサイズが同じで、登録画像の個数も同じと仮定し、辞書データの数を「ｎ」、辞書データに登録している登録画像の数を「Ｘ」とすると、Ｘ／ｎの式から算出される個数の登録画像を各辞書データからそれぞれ選択するのが好適である。

この場合、認識手段としては、各辞書データからそれぞれ選択した少量の登録画像を照合するため、検出精度が低くなるおそれがある。そこで、最初の照合（プレ照合）では、各辞書データからそれぞれ選択した少量の登録画像を照合して、一致と判断した登録画像の個数、又は相関度に基づいて被写体の種類を特定し、後の照合（本照合）で、その種類に対応する辞書データの登録画像を全部読み込んで照合して顔検出を行うようにしてもよい。

例えば、前記辞書メモリに格納されている各辞書データから、前記辞書データと略同じファイルサイズとなるように登録画像をそれぞれ選択し、選択した登録画像と、対象領域の画像とを照合し、各照合結果により一致と判断した登録画像の個数、又は類似度に基づいて、次に照合する登録画像が属する辞書データを選択し、その選択により辞書データが一つになるまで辞書データを絞り込むプレ選択手段と；一つに絞り込まれた辞書データに登録されている登録画像を選択する本選択手段と；で構成してもよい。つまり、プレ選択手段は、認識手段での照合結果に基づいて選択した登録画像が、一つの辞書データに属する登録画像になるまでプレ選択をする。

プレ選択としては、絞り込んだ辞書データの数が複数の場合、絞り込んだ各辞書データから、前回辞書メモリから選択した登録画像を含む登録画像を、前記辞書データと略同じファイルサイズとなるようにそれぞれ選択してもよい。

さらに、プレ選択手段は、絞り込んだ辞書データの数が複数の場合、絞り込んだ各辞書データから、前回辞書メモリから選択した登録画像とは異なる登録画像を、前記辞書データと略同じファイルサイズとなるように、それぞれ選択してもよい。

また、シャッタボタンの操作が行われておらず、かつ画像をカメラの外部に設けた画面表示部に表示するスルー画像表示状態のときには、プレ選択手段により選択された登録画像に基づく照合（プレ照合）のみで顔検出を行い、シャッタボタンの半押し操作がなされたときに直前のプレ選択手段により選択された１つの辞書データの登録画像に基づく照合（本照合）を行うようにしてもよい。

本件開示の特定被写体検出方法及び装置では、複数の辞書データの中から照合対象となる辞書データを迅速に選択して特定被写体の画像を正確に検出することができる。

カメラの電気的構成を示すブロック図である。 第２辞書メモリに記録されている辞書データの種類を示す説明図である。 画像表示部に表示されているスルー画像中に顔検出枠を重ねて表示した状態を示す説明図である。 顔検出機能の動作手順を示すフローチャート図である。 対象領域の移動方向を説明する説明図である。 対象領域毎に、第１辞書メモリに読み込まれる辞書データの移り変わりを説明する説明図である。 プレ照合、本照合を行う［第２実施形態］のＣＰＵの構成を示すブロック図である。 図７で説明した登録画像入替え制御部の構成を示すブロック図である。 プレ照合、及び本照合の動作手順を示すフローチャート図である。 プレ照合時に第１辞書メモリに読み込まれる登録画像の内容を説明する説明図である。 プレ照合により一つの辞書に絞り込まれるまでに第１辞書メモリに読み込まれる登録画像の移り変わりを簡単に説明した説明図である。 第１辞書メモリに重複しないように登録画像を読み込むようにした［第３実施形態］の動作手順を示すフローチャート図である。 ［第３実施形態］において、プレ照合により一つの辞書に絞り込まれるまでに第１辞書メモリに読み込まれる登録画像の移り変わりを簡単に説明した説明図である。 スルー画像表示中はプレ照合の結果に基づいて顔領域を判定し、シャッタボタンの半押し操作に応答して直前のプレ照合により絞り込まれた辞書データに基づいて本照合を行って顔領域を判定するようにした［第４実施形態］のＣＰＵの構成を示すブロック図である。 図１４で説明した第４実施形態での顔検出の動作手順を説明するフローチャート図である。 アダブースティングアルゴリズムを用いた認識処理手段の他の例を示すブロック図である。 図１６で説明した認識処理手段を構成する部分画像生成手段がサブウィンドウを走査する様子を示す説明図である。 図１６で説明した認識処理手段により検出される正面顔、及び横顔の一例を示す説明図である。 図１６で説明した認識処理手段を構成する顔判別器により部分画像から特徴量を抽出する様子を示す説明図である。 図１６で説明した認識処理手段を構成する顔判別器が有するヒストグラムの一例を示すグラフである。

［実施形態１］
本発明の撮像装置を内蔵する電子カメラ１０は、図１に示すように、撮影レンズ１１、レンズ駆動ブロック１２、絞り１３、ＣＣＤ１４、ドライバ１５、ＴＧ（timing generator）１６、ユニット回路１７、画像生成部１８、ＣＰＵ１９、操作部２０、メモリ２１、ＤＲＡＭ２２、フラッシュメモリ２３、画像表示部２４、バス２５、第１辞書メモリ２７、Ｉ／Ｆ（インターフェース）２８、及び第２辞書メモリ２９を備えている。

撮影レンズ１１は、複数のレンズ群から構成されるフォーカスレンズ（図示なし）、ズームレンズ（図示なし）等を含む。レンズ駆動ブロック１２は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に沿って駆動させるフォーカスモータ（図示なし）、ズームモータ（図示なし）、ＣＰＵ１９から送られてくる制御信号にしたがってフォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ（図示なし）、及びズームモータドライバ（図示なし）から構成されており、撮影レンズ１１の変倍及び合焦を制御する。

絞り１３は、図示しない駆動回路を含み、駆動回路はＣＰＵ１９から送られてくる制御信号にしたがって絞り１３を動作させる。絞り１３は、撮影レンズ１１から入ってくる光の量を制御する。

ＣＣＤ１４は、ドライバ１５によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路１７に出力する。このドライバ１５、ユニット回路１７の動作タイミングはＴＧ１６を介してＣＰＵ１９により制御される。なお、ＣＣＤ１４は、ベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ１５、ＴＧ１６を介してＣＰＵ１９によって制御される。

ユニット回路１７には、ＴＧ１６が接続されており、ＣＣＤ１４から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ１４から出力された撮像信号はユニット回路１７を経てデジタル信号として画像生成部１８に送られる。

画像生成部１８は、ユニット回路１７から送られてきた画像データに対してγ補正処理、ホワイトバランス処理等の画像処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成する。該生成された輝度色差信号の画像データは、ＤＲＡＭ（バッファメモリ）２２に記憶される。

ＣＰＵ１９は、ＣＣＤ１４への撮像制御、画像データの圧縮・伸張処理、フラッシュメモリ２３への記録処理、画像データの表示処理を行うスルー画像表示機能、及び顔画像検出機能の一部を有するとともに、電子カメラ１０の各部を制御する。また、ＣＰＵ１９は、クロック回路を含み、タイマーとしての機能も有する。

操作部２０は、半押し全押し可能なシャッタボタン、電源ボタン、モード切替キー、十字キー、決定キー等の複数の操作キーを含み、ユーザーのキー操作に応じた操作信号をＣＰＵ１９に出力する。

ＤＲＡＭ２２は、ＣＣＤ１４によって撮像された後、ＣＰＵ１９に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１９のワーキングメモリとして使用される。フラッシュメモリ２３は、圧縮された画像データを保存する記録媒体である。

画像表示部２４は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ１４によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ２３から読み出され、伸張された記録画像を表示させる。

顔画像検出機能は、認識処理部３０、第１辞書メモリ２７、辞書入替え制御部３１、及び、条件判定部３２、及び第２辞書メモリ２９で構成されている。第１辞書メモリ２７は、ＣＰＵ１９が直接書き込み及び読み出しが行える少容量で高速な内部メモリである。第１辞書メモリ２７としては、一度書き込んだデータは電源を切らないかぎり記憶され、再書き込み（リフレッシュ）の必要がない、例えばＳＲＡＭ（static random access memory）が望ましい。

第２辞書メモリ２９は、第１辞書メモリ２７に対して大容量で低速なメモリであり、Ｉ／Ｆ２８、及びバス２５を介してＣＰＵ１９に接続されている。この第２辞書メモリ２９としては、例えばＤＲＡＭやＲＯＭとなっている。なお、Ｉ／Ｆ２８に着脱自在に接続されるカードメモリやＵＳＢ等の外部メモリを用いてもよい。第２辞書メモリ２９を追記可能のメモリにすることで、記録されている辞書データに対して登録画像の更新や追加を簡便に行える。第１辞書メモリ２７、及び第２辞書メモリ２９は、辞書記憶手段の一例である。

第２辞書メモリ２９には、被写体と検出する種類毎に予め用意した複数の辞書データ、例えば図２に示すように、人物用辞書データ３５、犬用辞書データ３６、猫用辞書データ３７、及び花用辞書データ３８等が順に記録されている。各辞書データ３５〜３８は、登録画像領域、インデックス領域を有している。登録画像領域には、パターンの異なる複数の登録画像（パターン画像）が登録されている。インデックス領域には、各登録画像のアドレスが記録されている。人物用辞書データ３５の登録画像は、様々な人物、方向の顔で、特徴点となる瞳、鼻孔等が含まれている一定画素サイズ、例えば３０×３０ピクセルの登録画像が複数登録されている。犬用辞書データ３６や猫用辞書データ３７も同様に犬や猫の様々な種類、方向の顔で、特徴点となる目、鼻孔、耳等が含まれている一定画素サイズの登録画像が複数登録されている。花用辞書データ３８は、様々な種類、方向の顔で、特徴点となる花びらの位置及び数、花びらの色等を含む一定サイズの登録画像が登録されている。

辞書入替え制御部３１は、第２辞書メモリ２９に記憶された辞書データ３５〜３８の格納先のアドレス等を管理しており、アドレスを指定することで第２辞書メモリ２９から一つの辞書データ３５〜３８を選択し、選択した辞書データに記録されている登録画像をアドレス順、又は書き込み順に読み出して、第１辞書メモリ２７に書き込む。

認識処理部３０は、ＤＲＡＭ２２から取り込んだ画像データ（以下「スルー画像」と称す）を、予め指定されたサイズの対象領域でもってラスター走査と同様に走査する。対象領域の画像に対して第１辞書メモリ２７に読み込んだ登録画像を順に照合して、両者の相関値（類似度）を調べ、相関値が予め決められた閾値を越える場合に両者が一致と判断し、全照合数（登録画像の数）に対する、一致と判断した登録画像の数の割合（相関スコア）が予め決めた閾値を越える場合に、その対象領域に、辞書データの種類に該当する被写体の顔領域が存在すると認定する。なお、顔領域の大きさの変化に対応するために、前述した照合は、対象領域の画像を３段階にスケール変化させて行う。被写体の顔領域は、特定被写体の画像の一例である。

条件判定部３２は、電子カメラ１０の電源操作を監視しており、電源ボタンがオフされることに応答して、最後の顔検出で検出した被写体の種類に対応する辞書データの種類をメモリ２１に記憶し、次回電源ボタンをオンした後の、対象領域をスルー画像内の最初の位置に設定する毎（スルー画像を取り込む毎）、及び対象領域を移動する毎に、メモリ２１に記憶した辞書データの種類を読み取り、それに対応する辞書データの登録画像を第１辞書メモリ２７に最初に読み出すように、辞書入替え制御部３１を制御する。

認識処理部３０は、第１辞書メモリ２７に読み込んだ登録画像に対して相関スコアが閾値を越えない場合には、辞書入替え制御部３１の制御によって入れ替えられた辞書データの登録画像に対して再び照合してゆく。全ての辞書データに対して照合して相関スコアが閾値を越えない場合には、その対象領域には辞書データの種類に相当する被写体が存在しないと判断し、スルー画像の画面内で対象領域の位置を移動して照合していく。

認識処理部３０は、スルー画像の画面内の全ての領域を調べた後に、スルー画像の画面内で認定した全ての顔領域の位置、及び大きさの情報を出力する。ＣＰＵ１９は、認識処理部３０から取得した顔領域の位置、及び大きさの情報に基づいて、図３に示すように、ＡＦやＡＥの対象エリアとする顔検出枠３９をスルー画像４０中に重ねて画像表示部２４に表示するように制御する。

上記構成の作用を、図４を参照しながら説明する。電子カメラ１０の電源をＯＮにすると、ＣＰＵ１９は、ＣＣＤ１４に所定のフレームレートで被写体を撮像させる。ＣＣＤ１４により順次撮像された画像データは、画像生成部１８に取り込まれ、画像生成部１８により生成された輝度色差信号の画像データ（フレーム画像データ）がＤＲＡＭ２２に記憶される。ＤＲＡＭ２２に記録された画像データに対して表示処理が行われ、表示処理が行われた画像データが画像表示部２４に送られてスルー画像として表示される。

また、ＤＲＡＭ２２に記憶した画像データに基づくスルー画像は、認識処理部３０に取り込まれ、顔検出が行われる。

辞書入替え制御部３１は、電子カメラ１０の電源ボタンをＯＮした後に、メモリ２１に記憶した辞書データの種類、すなわち、前回最後に顔領域を認識したときに使用した辞書データの種類を読み出し、その辞書データの登録画像を第１辞書メモリ２７に読み込む。

認識処理部３０は、スルー画像の画面の最初の位置に設定した対象領域内の画素値を取得し、対象領域の画像に対して第１辞書メモリ２７に読み込まれている登録画像を順に照合する。照合した結果、対象領域に顔画像が存在しないと判断した場合、辞書入替え制御部３１が前回第１辞書メモリ２７に読み出した登録画像を破棄して、次の辞書データの登録画像を第１辞書メモリ２７に読み出す。

認識処理部３０は、対象領域の画像に対して全ての辞書データの登録画像を照合していく。最終的に顔画像が存在しないと判断した場合には、認識処理部３０が対象領域を移動してその対象領域内の画素値を取得し、次の対象領域の画像に対して辞書データの登録画像を順に照合していく。

対象領域の移動方向としては、例えば、図５に示すように、対象領域４１を、スルー画像４２の画面内の左上コーナから水平方向に移動して右端に到達すると、左端下方の位置に戻って水平方向に行うのが好適である。水平及び垂直方向の移動量は、対象領域の１辺のサイズの１／１０程度が好適である。なお、この方向や移動量に限らない。例えば移動方句としては、スルー画像の中心から右回り、あるいは左回りに略渦巻き状に移動させてもよい。

認識処理部３０での認定は、対象領域の画像と登録画像を照合し、両者の相関値を調べ、相関値が予め決めた閾値を越えている場合に両者が一致すると判断する。次に、一致する登録画像の数の全照合数に対する割合を表す相関スコア（類似度）を算出して、相関スコアが予め決めた閾値を越えない場合には、照合した登録画像が属する辞書データの種類に相当する被写体の顔画像が存在しないと判断し、辞書データを入れ替えて再び照合してゆく。越える場合には、その対象領域に被写体の顔画像が存在すると判断する。

相関値は、例えば０〜１０００の範囲で出力される。一致すると判断する条件は、相関値が閾値（Ａ）、例えば７００を越えた場合とする。

相関スコアは、例えば辞書データの登録画像の数（Ｘ）に対して一致と判断された登録画像の個数（Ｂ）の割合（式：（Ｂ／Ｘ））で算出され、顔領域であるとの認定は、例えば相関スコア（Ｂ／Ｘ）が閾置（Ｃ）、例えば７０％を越えた場合としている。なお、パターンマッチングの一致度の判定としては、前述した以外に、周知の正規化相関などの手法を用いてもよい。

次に読み込む辞書データの順番は、第２辞書メモリ２９のアドレス順、又は記録順に基づいて選択するのが望ましい。また、各辞書データ３５〜３８に頻度領域を設け、頻度領域に、顔領域を認識したときに使用した使用頻度の情報を更新記録してゆき、使用頻度の高い順に辞書データを入れ替えてもよい。また、各辞書データ３５〜３８の頻度領域に対して、対象領域の画像に対して一致する登録画像の一致頻度の情報を記録していき、登録画像を読み込む順番を一致頻度の高い順に行うようにしてもよい。

第１辞書メモリ２７に読み込んだ辞書データに対して照合を行って、相関スコア（Ｂ／Ｘ）が閾値（Ｃ）を越えた場合には、その対象領域に顔画像が存在すると認定し、残りの辞書データに対して照合を行わずに、対象領域を次の位置に移動して次の対象領域の画像に対して照合していく。このとき、第１辞書メモリ２７には、前回顔領域であると認識したときに使用した辞書データの登録画像が読み込まれたままになっている。対象領域を移動した場合には、その登録画像を全て破棄して、メモリ２１に記憶した種類の辞書データの登録画像を再び第１辞書メモリ２７に読み込んで照合する。

例えば、メモリ２１に記憶されている辞書データの種類が「人物用」となっている場合、図６に示すように、対象領域をスルー画像の最初の位置（対象領域回数「１」）にセットしたときには、人物用辞書データ３５の登録画像が第１辞書メモリ２７に読み込まれ、照合した結果、顔画像が存在しない場合、犬用、猫用、そして花用の辞書データの登録画像を順に読み込んで照合していく。全ての辞書データ３５〜３８に対して照合して顔画像が存在しないと判断した場合には、対象領域を次の位置（対象領域移動回数「２」）に移動して照合を開始する。このとき、第１辞書メモリ２７には、前回の最後に利用した花用辞書データの登録画像が読み込まれているが、メモリ２１に記憶した辞書データの種類が「人物用」になっているため、対象領域の移動に応答して人物用辞書データの登録画像が読み込まれる。なお、対象領域を移動する前に、人物用辞書データの登録画像を読み込んでもよい。また、図６では、対象領域の移動量を図５に示した点線枠毎に移動すると仮定しており、また、図６に示す「対象領域移動回数」の値は、図５に示すスルー画像内を対象領域が移動する順番に対応している。

認識処理部３０は、スルー画像内で認識した全ての顔領域の位置、及び大きさの情報を出力し、画像表示部２４には、図３に示すように、認識処理部３０から取得した顔領域の位置、及び大きさの情報に基づいた範囲に顔検出枠３９がスルー画像中に重ねて表示される。そして、顔検出枠３９に対してＡＦ・ＡＥ処理が実行される。シャッタボタンの半押し操作により認識処理部３０で改めて前述したと同様な顔検出が行われ、顔領域に合焦しているか否かが確認される。シャッタボタンの全押し操作により静止画撮影処理を行い、撮影処理により得られた画像データが圧縮されてフラッシュメモリ２３に記録される。

スルー画像の全画面に対して照合が完了して顔領域が存在しない場合には、スルー画像の画面内に対して「顔画像無し」の情報を出力し、次のスルー画像の取り込みを待つ。

［実施形態１の変形例１］
なお、スルー画像を取り込む時、及び対象領域を移動する時に、最初に読み出す登録画像が属する辞書データとしては、ユーザーがカメラの初期設定操作等により予め選択した種類の辞書データにしてもよい。この場合には、モード切替キーと十字キーの操作により「初期設定」−「最初に使用する辞書データの選択」の設定項目を指定することで、第２辞書メモリに記録されている辞書データの種類を画像表示部に表示するようにＣＰＵ１９が制御し、選択枠を十字キーで操作することで複数表示されている中から所望する辞書データを選択し、決定キーの操作によりユーザーに所望する辞書データの種類を選ばせる。そして、選択された辞書データの種類をメモリ２１に記録しておけばよい。

［実施形態１の変形例２］
また、撮影毎に、その時点で顔領域を認識した際に使用した辞書データの種類をメモリ２１に随時記録し、最後の撮影時に使用した辞書データの登録画像を、スルー画像の取り込む時、及び対象領域を移動する時に、最初に読み込むようにしてもよい。この例では、同じ種類の被写体を連続して撮影する場合に最も適している。

［第１実施形態の変形例３］
画像表示部２４にタッチセンサを設け、スルー画像を表示中に表示される顔検出枠３９のいずれかを画像タッチにより選択することで、選択された顔検出枠３９の被写体に相当する辞書データの種類をメモリ２１に記憶し、次回のスルー画像の取り込み時からメモリ２１に記憶した種類の辞書データの登録画像を最初に読み出すようにしてもよい。

［第２実施形態］
上記第１実施形態では、辞書データ毎の登録画像を読み込んで照合を行っているが、この第２実施形態では、予め決められたファイルサイズ、例えば辞書データと同じファイルサイズとなるように、各辞書データから予め決めた条件で任意の個数の登録画像をそれぞれ選択して第１辞書メモリに読み込んで照合し、辞書データの種類を絞り込むプレ照合を行い、辞書データの種類が１つに絞り込まれた後には、その辞書データのみの登録画像を読み込んで照合（以下「本照合」と称す）を行う。

図７に示すように、ＣＰＵ４５は、登録画像入替え制御部４６、認識処理部３０、及び記憶部４７を有している。認識処理部３０は第１実施形態で説明したと同じ構成である。記憶部４７には、第２辞書メモリ２９に記録されている辞書データの数、及び各辞書データ３５〜３８に記録されている登録画像の数、認識処理部３０でパターンマッチングを処理した結果、つまり相関値や相関スコアの結果等が記憶される。

登録画像入替え制御部４６は、図８に示すように、登録画像選択部４８、辞書絞り込み部４９、及び判定部５０とから構成されている。登録画像選択部４８は、予め決めたファイルサイズとなるように、辞書データ３５〜３８から予め決めた条件で登録画像を選択して第１辞書メモリ２７に読み込む。

予め決められたファイルサイズとしては、第１辞書メモリ２７に読み込めるサイズであればよく、例えば辞書データ３５〜３８のファイルサイズと略同じにするのが望ましい。辞書データ３５〜３８毎でファイルサイズが異なる場合には、そのうち最大のファイルサイズと略同じにするのが好適である。

登録画像選択部４８が各辞書データ３５〜３８から登録画像を選択する条件には、登録画像の読み出し順番と、読み出し個数との２つの条件がある。読み出し順番としては、第２辞書メモリ２９のアドレス順、又は書き込み順、あるいは一致度順で行うのが好適である。

一致度順は、各辞書データ３５〜３８に頻度領域を設け、頻度領域に対して、登録画像の一致した回数（頻度）の情報を記録してゆき、一致度の高い順に行う例である。このような一致度順の例は、一般的に、学習機能と呼ばれている。この学習機能は、一般的な撮影環境下ではヒット率が高いが、撮影環境が変わるとヒット率が極端に悪くなり検出速度が落ちるおそれがある。このため、学習機能を有効・無効に切り替える操作部を設けておくのが望ましい。カメラの初期設定の項目で学習機能の有効・無効を選択するようにしてもよい。

辞書絞り込み部４９は、認識処理部３０での照合結果により一致と判断した登録画像に基づいて次の照合で必要とされる辞書データの種類を絞り込む。判定部５０は、辞書絞り込み部４９で絞り込んだ辞書データの種類の個数を判定し、その結果を登録画像選択部４８に送る。前述した登録画像選択部４８で登録画像を選択するための予め決めた条件である読み出し個数は、判定部５０で判定した辞書データの絞り込み個数に基づいて決められる。

次に、第２実施形態の作用を、図９を参照しながら説明する。画像処理部３０がスルー画像を取り込むと、登録画像入替え制御部４６は、第２辞書メモリ２９に記録されている辞書データの数、及び各辞書データに収録されている登録画像の数を予め調べ、記憶部４７に記憶しておき、各辞書データ３５〜３８と同じファイルサイズとなるように、各辞書データ３５〜３８から登録画像を第１辞書メモリ２７にそれぞれ読み込む。なお、スルー画像を取り込む前に登録画像を読み込んでもよい。

各辞書データ３５〜３８から登録画像を読み込む個数は、第１辞書メモリ２７に読み込んだ登録画像の全部のファイルサイズが、辞書データ３５〜３８のファイルサイズと同じになるように決められる。

例えば、各辞書データ３５〜３８のファイルサイズが略同じで、登録画像の全個数も同じと仮定した場合、各辞書データ３５〜３８から第１辞書メモリ２７に読み込む登録画像の個数を、各辞書データ３５〜３８に登録されている登録画像の個数に合わせることで、ファイルサイズが略同じになる。各辞書データ３５〜３８から読み出す個数は、均等になる個数、つまり、辞書データ３５〜３８の登録画像の個数（Ｘ）を、絞り込んだ辞書データの数（ｎ）で割って算出する。なお、割り切れない場合には、小数点以下を切り捨てた値とする。

詳しく説明すると、図１０に示すように、個数人物用辞書データ３５からＸ１／ｎ個の登録画像を、犬用辞書データ３５からＸ２／ｎ個の登録画像を、猫用辞書データ３５からＸ３／ｎ個の登録画像を、そして、花用辞書データ３５からＸ４／ｎ個の登録画像をそれぞれ読み込む。ここで、「Ｘ１」は人物用辞書データ３５に記録されている登録画像の全個数、「Ｘ２」は犬用辞書データ３６に記録されている登録画像の全個数、「Ｘ３」は猫用辞書データ３７に記録されている登録画像の全個数、「Ｘ４」は花用辞書データ３８に記録されている登録画像の全個数、そして、「ｎ」は辞書データ３５〜３８の数、この例では「４」である。

辞書データ３５〜３８の登録画像の全個数（Ｘ）を「１６」と仮定すると、図１１に示すように、各辞書データ３５〜３８から第１辞書メモリ２７に読み込む登録画像の個数（Ｌ）が「４」に設定され、各辞書データ３５〜３８から４個ずつの登録画像が第１辞書メモリ２７に読み込まれる。この例では、４個の登録画像は、第２辞書メモリ２９のアドレス順、又は書き込み順で読み出される。同図では、読み出される登録画像を、「登録画像１」、「登録画像２」、「登録画像３」、「登録画像４」で記載している。

認識処理部３０は、最初にプレ照合を行う。プレ照合は、第１実施形態で説明したと同じように、対象領域の画像に対して第１辞書メモリ２７に読み込んだ登録画像を順に照合し、照合結果から得られた相関値に基づいて両者が一致しているか否かを調べる。図１１には、「登録画像１」、「登録画像２」、「登録画像３」、「登録画像４」の下に「○」又は「×」で照合結果を示している。「○」は一致すると判断した登録画像、「×」は一致しないと判断した登録画像である。

相関値の判断がなされた後には、辞書絞り込み部４９は、１回目のプレ照合の結果、つまり一致する登録画像の個数に基づいて次の照合で必要とする辞書データの種類を絞り込む。絞り込みは、一致と判断した登録画像の個数を辞書データ毎の照合数で割った相関スコアを辞書データ毎に算出し、相関スコア（類似度）が閾値を越えた辞書データ、つまり次の照合で必要と判断される辞書データの登録画像のみを第１辞書メモリ２７に読み込む。

図１１では、人物用辞書データ３５の「登録画像１〜４」が全て一致すると判断されているから相関スコアが「１００％」、犬用辞書データ３６の場合には「登録画像１〜３」が一致すると判断されているから相関スコアが「７５％」である。残り２つの辞書データ３７，３８に対しては、相関スコアが閾値（７０％）以下であるので、不必要と判断される。これにより、次の照合で必要とする辞書データは２つに絞られる。

したがって、２回目のプレ照合の前には、辞書データのファイルサイズに合うように、絞られた人物用辞書データ３５、及び犬用辞書データ３６から登録画像がそれぞれ読み込まれる。このときの登録画像の読み込み個数も、ファイルサイズが辞書データ３５〜３８のファイルサイズと同じとなるように、各辞書データ３５〜３８から選択して決められる。前述したように、個数合わせで決める場合には、辞書データ３５〜３８の登録画像の全個数（Ｘ）が「１６」、絞り込んだ辞書データの個数（ｎ１）が「２」であるので、式「Ｘ／（ｎ１）」から算出した値、つまり８個ずつに決められる。読み込む登録画像の数を辞書データの全個数に合わせることで、読み込む登録画像のトータルのファイルサイズが辞書データ３５〜３８と略同じファイルサイズになる。このときの登録画像の読み込み順も、前述したと同じに、第２辞書メモリ２９のアドレス順、又は書き込み順、あるいは一致度順に基づいて読み込まれる。この場合、前回読み込んだ登録画像１〜４を再び読み込む。

２回目のプレ照合の結果では、人物用辞書データ３５の登録画像１〜８が全て一致すると判断されているから相関スコアが「１００％」、犬用辞書データ３６の場合には登録画像１〜３のみが一致すると判断されているから相関スコアが「３７．５％（３／８×１００）」、つまり閾値以下であるので、不要と判断される。これにより、辞書データ３５〜３８の種類が１つに絞られる。なお、プレ照合は、辞書データ３５〜３８の種類が一つに絞り込まれるまで繰り返し行われる。

辞書データ３５〜３８を一つに絞り込むと、その辞書データ３５の登録画像の全てを第１辞書メモリ２７に読み込み、本照合を行う。この本照合の結果に基づいて対象領域に顔画像が存在するか否かを認定する。

なお、本照合の結果、顔画像が存在しないと認定された場合には、辞書データ３５〜３８のファイルサイズと同じになるように、各辞書データ３５〜３８から次の登録画像を選択して読み込む。そして、辞書データ３５〜３８の種類が一つに絞られるまでプレ照合が繰り返しを行われる。ここで、次の登録画像とは、前回のときに各辞書データ３５〜３８から登録画像１〜４を読み込んでいた場合にはアドレス順、又は書き込み順、あるいは一致度順での次の登録画像、この例では登録画像５〜８になる。

また、１回目のプレ照合の結果、顔画像が存在しない場合も、辞書データ３５〜３８のファイルサイズと同じになるように、各辞書データ３５〜３８から次の登録画像を読み込む。そして、必要な辞書データ３５〜３８が一つに絞られるまで再びプレ照合を行う。

全ての登録画像に対してプレ照合を行って顔画像が存在しないと判断した場合には、スルー画像の全画面に対してプレ照合しているか否かが判断され、プレ照合をしていない場合には、対象領域を次の位置に移動して再びプレ照合を行う。プレ照合をしている場合には、スルー画像の画面内に対して「顔画像無し」の情報を出力し、次のスルー画像の取り込みを待つ。

認識処理部３０は、スルー画像内で認識した全ての顔領域の位置、及び大きさの情報を出力する。画像表示部２４には、図３で説明したように、認識処理部３０から取得した顔領域の位置、及び大きさの情報に基づいた範囲に顔検出枠３９がスルー画像中に重ねて表示される。そして、顔検出枠３９に対してＡＦ・ＡＥ処理が実行される。シャッタボタンの半押し操作により認識処理部３０等で改めて前述したと同様なプレ照合、及び本照合が行われ、顔領域に合焦しているか否かが確認される。シャッタボタンの全押し操作により静止画撮影処理を行い、撮影処理により得られた画像データが圧縮されてフラッシュメモリ２３に記録される。

［第３実施形態］
第２実施形態では、２回目以降のプレ照合で読み込まれる登録画像には、直前のプレ照合のときに読み込んだ登録画像と重複する登録画像（図１１で説明した登録画像１〜４）が再び読み込まれている。第３実施形態では、同じ対象領域での照合において、２回目以降のプレ照合、及び本照合の際に、第１辞書メモリ２７に一度読み込まれた登録画像は読み込まず、残りの登録画像を読み込むようにしている。

第３実施形態の特徴を、図１２及び図１３に参照しながら説明すると、最初のプレ照合の結果により必要とする辞書データが２つに絞り込まれた場合、辞書データのファイルサイズに合うように、絞り込まれた２つの辞書データ、図１３に示す例では人物用辞書データ３５、及び犬用辞書データ３６から登録画像がそれぞれ読み込まれる。読み込み個数は、第２実施例で説明したように、辞書データ３５〜３８の登録画像の全個数（Ｘ）を、絞り込んだ辞書データの個数（ｎ１）で割って算出した個数、つまり、８個ずつとなっている。このとき、一度第１辞書メモリ２７に読み込まれた登録画像以外の残りの登録画像から選択して読み込む。つまり、登録画像選択部４８は、一度読み込んだ登録画像を記憶しており、一度も読み込まれていない登録画像の中から次に読み込む登録画像を選択する。このときも各辞書データ３５〜３８の記録順、又はアドレス順に基づいて読み込まれる。したがって、図１３に記載のように、人物用及び犬用の辞書データ３５，３６から「登録画像５〜１２」がそれぞれ読み込まれる。

２回目のプレ照合の結果、必要とする辞書データが１つに絞られる。辞書データが一つに絞り込まれると、本照合を行う。本照合では、絞り込んだ辞書データの登録画像のうち、一度も第１辞書メモリ２７に読み込まれていない登録画像、つまり、図１３に示す例では「登録画像１３〜１８」が選択されて第１辞書メモリ２７に読み込まれる。そして、第１辞書メモリ２７に読み込んだ登録画像に対して対象領域の画像と照合して、顔画像が存在するか否かの認定を行う。なお、図１３に示す例では、辞書データ３５〜３８に登録した登録画像の個数を１８個に仮定しているため、本照合では、残りの登録画像が６個しかなく、よって、本照合時に読み込んだ登録画像のトータルのファイルサイズが辞書データのサイズよりも少なくなっている。残りの登録画像が多数ある場合には、辞書データと同じファイルサイズとなるように個数が選択される。

このように、第３実施形態では、同じ対象領域での照合において、一度照合した登録画像を使用しないから、プレ照合を行えば行うほど検出精度が向上する。

［第４実施形態］
上記第２、及び第３実施形態では、スルー画像表示中、及びシャッタボタンの半押し操作時に、プレ照合と本照合との両方を必ず行って顔検出をしているが、カメラが撮影モードでスルー画像を表示している状態、つまりシャッタボタンの半押し操作、及び全押し操作を行っていない状態では、プレ照合の結果のみを利用して顔検出を行い、シャッタボタンの半押し操作時には、その直前のプレ照合の結果に基づいて本照合を行うようにしてもよい。

詳しくは、図１４及び図１５に示すように、ＣＰＵ５５は、スルー画表示中か否かの状態を監視する条件判定部５６を有している。条件判定部５６は、シャッタボタンの半押し操作を監視しており、シャッタボタンの半押し操作が行われていないときには、登録情報入替え制御部５７、及び認識処理部５８に対してスルー画像表示中の情報を送り、半押し操作が行われることに応答して半押し情報を送る。

登録情報入替え制御部５７及び認識処理部５８は、スルー画像表示中の情報を受け取っている間、プレ照合のみを行ってその結果により辞書データが一つに絞り込まれることで、対象領域に顔画像が存在すると認定する。スルー画像の全ての画面に対してプレ照合を行うことで、辞書データが一つに絞り込まれた領域に対して顔領域が存在すると認定し、顔領域情報を出力する。ＣＰＵ５５は、顔領域の情報に基づいて画像表示部２４に表示中のスルー画像に重ねて顔検出枠３９を表示するとともに、顔領域に対してＡＦ・ＡＥ処理を施す。

登録情報入替え制御部５７及び認識処理部５８は、半押し情報を受け取ることで、直前のスルー画像に対するプレ照合の結果により絞り込まれた１つの辞書データの登録画像を、第１辞書メモリ２７に全て読み出して、対象領域の画像に対して第１辞書メモリ２７に読み込んだ登録画像を照合していく。ＣＰＵ５５は、その照合結果により認定された顔領域に対してＡＦ・ＡＥ処理を行う。そのままシャッタボタンの全押し操作が行われると、本照合で用いたスルー画像に基づく静止画像データを記録する。シャッタボタンの全押し操作の前に半押し操作が解除されると、スルー画像を表示する状態に戻るため、再びプレ照合による顔検出が行われる。

上記各実施形態では、辞書データ３５〜３８の種類を人物用、犬用、猫用、及び花用としているが、本発明ではこれらに種類や数に限らず、例えば犬や猫以外の動物や、昆虫、背景等の辞書データを用意してもよい。選択する優先順位としては、例えば人物用、犬用、猫用、及び花用というように予め決めておいてもよい。

また、顔を一画面内で検出する個数を、被写体の種類、すなわち辞書データの種類に応じて制限してもよい。例えば人用辞書データを用いて一画面内で人の顔を検出する個数を１０個まで、犬用辞書データを用いて一画面内で犬の顔を検出する個数を５個までというように、被写体の種類に応じて検出個数を制限すると、顔検出の処理時間を迅速にすることができる。

上記各実施形態では、複数の辞書データを第２辞書メモリに記憶する構成としているが、本発明ではこれに限らず、一つの辞書データの中に、種類の異なる登録画像を複数記憶しておき、検出対象の被写体の種類を示す種類情報を記録する領域をその辞書データに設け、その領域に記載の種類情報に基づいてその時点で読み込む対象となる種類の登録画像のみを選択して読み出すようにしてもよい。また、第２辞書メモリに、複数の登録画像データを記憶しておき、各登録画像データに被写体の種類を示す種類情報を記録した領域を設け、読み出すときに種類情報を参照しながら必要な登録画像データを読み出すようにしてもよい。

また、上記実施形態では、対象領域毎に各辞書データの登録画像を順次照合しているが、本発明ではこれに限らず、最初の辞書データに登録されている登録画像に対して画面内を対象領域でもって全スキャンして照合した後に、次の辞書データを選択し、選択した辞書データの登録画像に対して再び対象領域でもって画面内で全スキャンして照合するようにしてもよい。

さらに、上記各実施形態の認識処理部での顔検出方法としては、エッジ検出、色相検出、及び肌色検出等の公知の方法を利用することができる。また、対象領域から特徴点を抽出し、抽出した特徴点に対し被写体の種類毎に用意した辞書データに登録した複数の特徴点（基準パターン）を順に比較して顔領域が存在するか否かを調べても良い。

例えば、認識処理部としては、スルー画像の全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち、辞書データに基づいて顔である部分画像を検出する複数の弱判別器による複数の判別結果を用いて、部分画像が顔であるか否かを判別する顔判別器とを備えたものであれば、精度良く効率的に顔の検出を行うことができる。この場合、辞書データの中身は、登録画像ではなく、特徴量を記載したデータで構成される。例えば人物用の辞書データの場合には、人の正面顔、及び横顔の特徴量を記載したデータとなる。

詳しく説明すると、認識処理部５９は、図１６に示すように、全体画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段６１と、部分画像生成手段６１により生成された複数の部分画像ＰＰから正面顔である部分画像を検出する正面顔判別手段６２Ａ、及び横顔である部分画像を検出する横顔判別手段６２Ｂとを有している。

なお、部分画像生成手段６１に入力される全体画像Ｐは、前処理手段６０により前処理が施されている。前処理手段６０は、全体画像Ｐに対し図１７（Ａ）〜（Ｄ）に示すように、全体画像Ｐを多重解像度化して解像度の異なる複数の全体画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有している。さらに、前処理手段６０は、生成した複数の全体画像Ｐに対して、局所的な領域におけるコントラストのばらつきを抑制し全体画像Ｐの全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。

部分画像生成手段６１は、図１７（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有する対象領域（以下、「サブウィンドウ」と称す）Ｗを全体画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。また、部分画像生成手段６１は、図１７（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。

正面顔判別手段６２Ａおよび横顔判別手段６２Ｂは、アダブースティングアルゴリズム（ＡｄａｂｏｏｓｔｉｎｇＡｌｇｏｒｉｔｈｍ）を用いて顔画像Ｆを検出するものである。正面顔判別手段６２Ａは、面内回転している正面顔を検出する機能を有しており（図１８（Ａ）参照）、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の正面顔判別器６３−１〜６３−１２を有している。なお、各正面顔判別器６３−１〜６３−１２は、回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を判別できるようになっている。横顔判別手段６２Ｂは、面内回転している横顔を検出する機能を有しており（図１８（Ｂ）参照）、例えば−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の横顔判別器６４−１〜６４−７を有している。なお、横顔判別手段６２Ｂは、さらに画面内の顔の向きが回転している画像（面外回転）を検出する横顔判別器をさらに備えていても良い。

正面顔判別器６３−１〜６３−１２、及び横顔判別器６４−１〜６４−７は、部分画像ＰＰが顔であるか非顔かの２値判別を行う機能を有し、複数の弱判別器ＣＦ１〜ＣＦＭ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ１〜ＣＦＭは、それぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を備える。そして、各顔判別器６２Ａ、６２Ｂは、弱判別器ＣＦ１〜ＣＦＭにおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。

具体的には、各弱判別器ＣＦ１〜ＣＦＭは、図１９に示すように、部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度値等を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度値等をそれぞれ抽出する。その後、前述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量ｘとする。各弱判別器ＣＦ１〜ＣＦＭ毎にそれぞれ異なる特徴量が用いられるものであり、例えば弱判別器ＣＦ１では、座標Ｐ１ａ、Ｐ１ｃにおける輝度の差分を特徴量として用い、弱判別器ＣＦ２では、座標Ｐ２ａ，Ｐ２ｂにおける輝度の差分を特徴量として用いるようになっている。

なお、各弱判別器ＣＦ１〜ＣＦＭがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ１〜ＣＦＭに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。

各弱判別器ＣＦ１〜ＣＦＭは、図２０に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ１（ｘ）〜ｆＭ（ｘ）を出力する。さらに、各弱判別器ＣＦ１〜ＣＦＭは、判別性能を示す信頼度β１〜βＭを有している。各弱判別器ＣＦ１〜ＣＦＭは、スコアｆ１（ｘ）〜ｆＭ（ｘ）と信頼度β１〜βＭとを用いて判定スコアβｍ・ｆｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦｍの判定スコアβｍ・ｆｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを認識し、設定しきい値以上であるときに顔であると判別する（βｍ・ｆｍ（ｘ）≧Ｓｒｅｆ）。

ここで、各弱判別器ＣＦ１〜ＣＦＭは、それぞれカスケード構造を有しており、各弱判別器ＣＦ１〜ＣＦＭのすべてが顔であると判別した部分画像ＰＰのみを顔画像Ｆとして出力するようになっている。つまり、弱判別器ＣＦｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦｍ＋１による判別を行い、弱判別器ＣＦｍで非顔であると判別された部分画像ＰＰは、下流側の弱判別器ＣＦｍ＋１による判別は行わない。これにより、下流側の弱判別器ＣＦｍ＋１において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。なお、カスケード構造を有する判別器の詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月に開示されている。

なお、各判別器６３−１〜６３−１２、６４−１〜６４−７は、それぞれ判別すべき所定の角度で面内回転された正面顔もしくは横顔を正解サンプル画像として学習された弱判別器を有しているものである。また、各弱判別器ＣＦ１〜ＣＦＭから出力された判定スコアＳ１〜ＳＭをそれぞれ個別に判定スコアしきい値Ｓｒｅｆ以上であるか否かを認識するのではなく、弱判別器ＣＦｍにおいて判別を行う際、弱判別器ＣＦｍの上流側の弱判別器ＣＦ１〜ＣＦｍ−１での判定スコアの和Σｒ=1ｍβｒ・ｆｒが判定スコアしきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い（Σｒ=1ｍβｒ・ｆｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。

また、認識処理部３０として前述した例では、アダブースティングアルゴリズムを用いて顔を検出する例を説明しているが、公知のＳＶＭ（Support Vector Machine）アルゴリズムやMing-Hsuan Yang, David J. Kriegman, Narendra Ahuja: “Detecting faces in images: a survey”, IEEE transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-58, 2002に記載された顔検出方法等の公知の顔検出アルゴリズムを用いて顔の検出を行うようにしても良い。

さらに、アダブースト（Ａｄａｂｏｏｓｔ）アルゴリズムを用いて顔認識する方法以外としては、例えば顔画像の局所特徴量を用いて顔認識する方法、グラフマッチング法、テンプレートマッチング法等の公知の顔認識技術を用いることができ、詳細については、W. Y. Zhao, R. Chellappa, A.Rosenfeld, P. J. Phillips: “Face recognition: A literature survey”, UMD CfAR Technical Report CAR-TR-948,2000.,労世紅、山口修、平山高嗣、“画像処理による顔検出と顔認識“、ＣＶＩＭ２００５年５月（第１４９回）研究会、坂野鋭、“パターン認識における主成分分析“、統計数理、vol. 49, no. 1, pp. 23-42,2001等の文献に記載されている。

１９ ＣＰＵ
２７ 第１辞書メモリ
２９ 第２辞書メモリ
３９ 顔検出枠
４１ 対象領域

Claims (13)

1. 被写体を撮像する撮像手段と、
   前記撮像手段により撮像して得られる撮像画像内の一部の対象領域の画像と複数の登録画像とを照合して前記撮像画像内に含まれる特定被写体の画像を認識する認識手段と、
   予め決めた被写体の種類毎に前記登録画像が登録されている辞書データを複数格納している辞書記憶手段と、
   シャッタレリーズ毎に、その時点又は直前で前記認識手段が特定被写体の画像を認定した時に使用した登録画像が含まれる被写体の種類を記憶するメモリと、
   前記対象領域を前記撮像画像内で移動する時、又は前記撮像画像内の全部を前記対象領域が移動した後に、前記辞書記憶手段に格納されている複数の辞書データの中から、前記認識手段が照合するための辞書データとして、前記メモリに記憶された被写体の種類に対応する辞書データを選択する辞書入替え制御手段と、
   を備えたことを特徴とする特定被写体検出装置。
2. 前記撮像画像をスルー画像として画面に表示する画像表示部と、
   前記画像表示部に表示中のスルー画像内の、前記認識手段が認識した特定被写体の画像を含む範囲に検出枠を重ねて表示する検出枠表示手段と、
   前記スルー画像に重ねて表示される検出枠のうちのいずれか一つの検出枠を選択する選択手段と、を備えるとともに、
   前記メモリは、前記選択手段で選択される検出枠に含まれる特定被写体の画像を認定した時に使用した登録画像を含む被写体の種類を記憶することを特徴とする請求項１記載の特定被写体検出装置。
3. 被写体を撮像する撮像手段と、
   前記撮像手段により撮像して得られる撮像画像内の一部の対象領域の画像に対して複数の登録画像を照合して特定被写体の画像を認識する認識手段と、
   予め決めた被写体の種類毎に前記登録画像が登録されている辞書データを複数格納している辞書記憶手段と、
   前記辞書記憶手段に格納されている複数の辞書データの中から、前記認識手段が照合するための登録画像を、前記辞書データと略同じファイルサイズとなるように各辞書データからそれぞれ選択する登録画像入替え制御手段と、
   を備えたことを特徴とする特定被写体検出装置。
4. 前記登録画像入替え制御手段は、前記複数の辞書データのファイルサイズが異なる場合、そのうちの最大のファイルサイズとなるように各辞書データから登録画像を選択することを特徴とする請求項３記載の特定被写体検出装置。
5. 前記辞書データの数を「ｎ」、前記辞書データに登録されている登録画像の数を「Ｘ」とすると、前記登録画像入替え制御手段は、Ｘ／ｎの式から算出される個数の登録画像を各辞書データからそれぞれ選択することを特徴とする請求項３記載の特定被写体検出装置。
6. 前記認識手段は、前記登録画像入替え制御手段により選択された複数の登録画像に基づいて照合するとともに、
   前記登録画像入替え制御手段は、
   前記認識手段が照合して略一致と判断する登録画像の数に基づいて、次の照合で選択する登録画像が含まれる被写体の種類に対応する辞書データを絞り込むプレ選択手段と、
   前記プレ選択手段の絞り込みにより辞書データが一つに絞り込まれることに応じて、一つに絞り込まれた辞書データに含まれる登録画像を選択する本選択手段と、
   を有することを特徴とする請求項３から５のいずれか１項に記載の特定被写体検出装置。
7. 前記プレ選択手段は、絞り込まれる辞書データが複数の場合、絞り込まれる複数の辞書データから、前回選択した登録画像を含む登録画像を、前記辞書データと略同じファイルサイズとなるように、それぞれ選択することを特徴とする請求項６記載の特定被写体検出装置。
8. 前記プレ選択手段は、絞り込まれる辞書データが複数の場合、絞り込まれる複数の辞書データから、前回選択した登録画像とは異なる登録画像を、前記辞書データと略同じファイルサイズとなるように、それぞれ選択することを特徴とする請求項６記載の特定被写体検出装置。
9. 予め決めた被写体の種類毎に複数の登録画像が登録されている辞書データを辞書記憶手段に複数格納しており、
   被写体を撮像して得られる撮像画像内の一部の対象領域の画像と前記辞書データに登録されている複数の登録画像とを照合して前記撮像画像内に含まれる特定被写体の画像を認識するとともに、
   シャッタレリーズ毎に、その時点又は直前で前記特定被写体の画像を認定した時に使用した登録画像を含む被写体の種類を記憶しておき、
   前記対象領域を前記撮像画像内で移動する時、又は前記撮像画像内の全部を前記対象領域が移動した後に、前記辞書記憶手段に格納されている複数の辞書データの中から、前記記憶した被写体の種類に対応する辞書データを選択することを特徴とする特定被写体検出方法。
10. 予め決めた被写体の種類毎に複数の登録画像が登録されている辞書データを辞書記憶手段に複数格納しており、
    被写体を撮像して得られる撮像画像内の一部の対象領域の画像と前記辞書データに登録されている複数の登録画像とを照合して前記撮像画像内に含まれる特定被写体の画像を認識し、
    前記認識された特定被写体の画像を含む範囲に検出枠を、前記撮像画像に基づいて生成されるスルー画像に重ねて画像表示部に表示するとともに、
    前記対象領域を前記撮像画像内で移動する時、又は前記撮像画像内の全部を前記対象領域が移動した後に、前記辞書記憶手段に格納されている複数の辞書データの中から、前記照合するための辞書データとして、前記検出枠のうちの一つに選択された検出枠に含まれる特定被写体の画像を認定した時に使用した登録画像を含む被写体の種類に対応する辞書データを選択することを特徴とする特定被写体検出方法。
11. 予め決めた被写体の種類毎に複数の登録画像が登録されている辞書データを辞書記憶手段に複数格納しており、
    被写体を撮像して得られる撮像画像内の一部の対象領域の画像と前記辞書データに登録されている複数の登録画像とを照合して前記撮像画像内に含まれる特定被写体の画像を認識し、
    前記辞書記憶手段に格納されている複数の辞書データの中から、前記一部の対象領域の画像と照合するための登録画像を、前記辞書データと略同じファイルサイズとなるように各辞書データからそれぞれ選択することを特徴とする特定被写体検出方法。
12. 前記複数の辞書データのファイルサイズが異なる場合には、そのうちの最大のファイルサイズとなるように前記各辞書データから前記登録画像を選択することを特徴とする請求項１１に記載の特定被写体検出方法。
13. 前記辞書データの数を「ｎ」、前記辞書データに登録している登録画像の数を「Ｘ」とすると、「Ｘ／ｎ」の式から算出される個数の登録画像を各辞書データからそれぞれ選択することを特徴とする請求項１１に記載の特定被写体検出方法。

Images