JP5881932B2 - 顔画像データ生成装置、顔画像データ生成方法及びプログラム - Google Patents

Description

本発明は、顔画像データ生成装置、顔画像データ生成方法及びプログラムに関する。

従来、データベース自動更新方法を用いた顔検証装置及びそのシステムに関する技術において、顔検証したい人物の顔画像データを検証システムに登録すると、その顔画像データの両目の座標対を検出し、その座標対の中心点を計算して登録顔画像を正規化し、その座標対を基準に上下左右や対角方向にその座標対を移動させ、所定の演算処理を通して特徴分類器を作成することにより顔検証の精度を上げるという顔検証方法及びシステムの発明が知られている（例えば、特許文献１参照）。

特開２００３−３１７１０１号公報

しかしながら、上記特許文献１の顔検証方法及びシステムは、正面顔のみの経年変化を想定したものであり、個人の顔についてあらゆる角度から見た場合の検証には適していない。このため、近年のデジタルカメラ等に利用される個人の顔の顔検出技術に適用し難いという問題がある。

そこで、本発明の課題は、このような問題に鑑みてなされたもので、正面以外の角度や方向の画像でも個人の顔の顔検出に適用することができる顔画像データ生成装置、顔画像データ生成方法及びプログラムを提供することにある。

上記課題を解決するため、本発明の顔画像データ生成装置は、顔認識用画像データを記憶する画像記憶手段と、
第１の記憶手段に記憶された複数の顔画像データの中から、前記画像記憶手段に記憶された顔認識用画像データと類似する顔画像データを検索する検索手段と、
前記検索手段により検索された顔画像データに基づいて、前記画像記憶手段に記憶されるべき顔認識用画像データを新たに生成する生成手段と、
前記検索手段による検索の結果、類似する顔画像データが得られたか否かを判断する第１の判断手段と、
前記第１の判断手段により類似する顔画像データが得られなかったと判断されると、新たに顔画像データを取得するよう報知する第１の報知手段と、
を備えることを特徴としている。

本発明によれば、簡単な操作で顔画像データの生成を行うことができ、正面以外の角度や方向の画像でも個人の顔の顔検出に適用することができる。

本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 簡易顔認識用データ及び詳細顔認識用データの一例を模式的に示す図である。 図１の撮像装置による顔認識画像補正処理に係る動作の一例を示すフローチャートである。 図３の顔認識画像補正処理の続きを示すフローチャートである。

以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。

本実施形態の撮像装置１００は、記憶媒体９に記憶された複数の画像データの中から、ユーザによる操作入力部１１の所定操作に基づいて指定された特定の画像データに対応する簡易顔認識用データｄ１（図２参照）と類似する類似画像データを検索し、検索の結果得られた類似画像データが補正処理に利用されるデータとして指定されたと判定されると、当該類似画像データと特定の画像データとに基づいて、顔認識データ用メモリ５に記憶すべき顔画像データを補正して詳細顔認識用データｄ２（図２参照）を生成する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、画像データ生成部２と、顔検出処理部３と、画像処理部４と、顔認識データ用メモリ５と、表示制御部６と、表示部７と、記憶媒体制御部８と、記憶媒体９と、通信制御部１０と、操作入力部１１と、中央制御部１２とを備えている。また、撮像装置１００は、通信ネットワークＮに接続された外部データベースＤＢと通信可能に構成されている。

撮像部１は、被写体を撮像して画像フレームを生成する。具体的には、撮像部１は、図示は省略するが、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、レンズ部を通過する光の量を調整する絞りと、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。
また、撮像部１は、図示は省略するが、タイミング発生器、ドライバなどから構成された撮像制御部を備えている。そして、撮像制御部は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつ画像フレームを読み出して画像データ生成部２に出力させる。
また、撮像制御部は、撮像条件の調整制御として、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）等を行う。

画像データ生成部２は、電子撮像部から転送された画像データのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶ色空間の画像データ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリにＤＭＡ転送される。

顔検出処理部３は、画像検索部３ａと、検索判断部３ｂと、報知制御部３ｃと、指示検出判断部３ｄと、装着判断部３ｅと、起動制御部３ｆと、検索指示部３ｇと、指定判定部３ｈとを具備している。

画像検索部３ａは、顔認識処理の登録対象となる人物に係る簡易顔認識用データｄ１（後述）を用いて、当該簡易顔認識用データｄ１と類似する画像データを検索する。
具体的には、画像検索部３ａは、顔認識画像補正処理にて、画像処理部４の顔認識用データ生成部４ａ（後述）により生成された簡易顔認識用データｄ１を用いて、記憶媒体９に記憶されている複数の画像データの中から、当該簡易顔認識用データｄ１と類似する画像データを検索する。そして、画像検索部３ａは、記憶媒体９に記憶されている複数の画像データのうち、簡易顔認識用データｄ１との類似度が所定値以上の画像データを類似画像データ（候補顔画像データ）として特定する。即ち、画像検索部３ａは、記憶媒体９に記憶された複数の画像データの中から、ユーザによる操作入力部１１の所定操作に基づいて指定された顔認識処理の登録対象となる人物の画像データ（顔画像データ）に対応して生成された簡易顔認識用データｄ１との類似度が所定値以上の画像データを候補顔画像データとして検索する。
また、画像検索部３ａは、装着済みの記憶媒体９とは異なる新たな記憶媒体が装着されると、この新たな記憶媒体から簡易顔認識用データｄ１と類似する画像データを検索する。
なお、画像検索部３ａによる画像検索の手法は、如何なる認識アルゴリズムを用いても良いし、さらに、このアルゴリズムは学習機能を具備していても良く、例えば、主成分分析を用いた手法が挙げられる。
ここで、画像検索部３ａは、記憶媒体９に記憶された複数の画像データの中から、ユーザによる操作入力部１１の所定操作に基づいて指定された顔認識処理の登録対象となる人物の画像データ（顔画像データ）と類似する画像データ（顔画像データ）を検索する検索手段を構成している。

検索判断部３ｂは、画像検索部３ａによる画像検索の結果、簡易顔認識用データｄ１と類似する類似画像データ（顔画像データ）が得られたか否かを判断する。即ち、検索判断部３ｂは、第１の判断手段として、顔認識処理の登録対象となる人物の顔画像データと類似する顔画像データが得られたか否かを判断する。

報知制御部３ｃは、検索判断部３ｂにより簡易顔認識用データｄ１と類似する類似画像データが得られなかったと判断された場合に、他の方法での類似画像の検索指示の報知を制御する。
具体的には、報知制御部３ｃは、表示制御部６を制御して、新たな画像データ（顔画像データ）の撮像による取得を指示するメッセージや、装着済みの記憶媒体９とは異なる新たな記憶媒体の装着を指示するメッセージや、当該撮像装置１００外部の外部データベース（装置外部の記憶手段）ＤＢに記憶されている画像データ（顔画像データ）の検索を指示するメッセージ等を表示部７に報知表示させる。
ここで、報知制御部３ｃ、表示制御部６及び表示部７は、撮像により新たに顔画像データを取得するよう報知する第１の報知手段、記憶媒体９とは異なる新たな記憶媒体を装着するよう報知する第２の報知手段、当該撮像装置１００外部の記憶手段に記憶されている顔画像データを検索するよう報知する第３の報知手段を構成している。

指示検出判断部３ｄは、報知制御部３ｃの制御下における他の方法での類似画像の検索指示の報知後に、ユーザによる操作入力部１１の所定操作に基づいて他の方法で類似画像を取得する旨の指示を検出したか否かを判断する。
具体的には、報知制御部３ｃの制御下にて、新たな画像データの撮像による取得を指示するメッセージが表示部７に報知表示された後、ユーザによる操作入力部１１の所定操作に基づいて出力された新たな画像データの撮像による取得に係る信号が入力されるか否かに応じて、指示検出判断部（第１の検出判断手段）３ｄは、撮像により新たに画像データ（顔画像データ）を取得する旨の指示を検出したか否かを判断する。
また、報知制御部３ｃの制御下にて、撮像装置１００外部の外部データベース（記憶手段）ＤＢに記憶されている画像データの検索を指示するメッセージが表示部７に報知表示された後、ユーザによる操作入力部１１の所定操作に基づいて出力された当該撮像装置１００外部の画像データの検索に係る信号が入力されるか否かに応じて、指示検出判断部（第２の検出判断手段）３ｄは、撮像装置１００外部の外部データベースＤＢを検索する旨の指示を検出したか否かを判断する。

装着判断部３ｅは、報知制御部３ｃの制御下における他の方法での類似画像の検索指示の報知後に、ユーザによる所定操作に基づいて新たな記憶媒体が装着されたか否かを判断する。
即ち、報知制御部３ｃの制御下にて、装着済みの記憶媒体９とは異なる新たな記憶媒体の装着を指示するメッセージが表示部７に報知表示された後、装着判断部３ｅは、第２の判断手段として、ユーザによる記憶媒体９の着脱操作に基づいて記憶媒体制御部８から出力された信号が入力されたか否かに応じて新たな記憶媒体が装着されたか否かを判断する。

起動制御部３ｆは、指示検出判断部３ｄによって撮像により新たに画像データを取得する旨の指示が検出された判断されると、撮像部１を起動させるよう制御する。
具体的には、起動制御部３ｆは、当該撮像装置１００の動作モードとして撮影モードの起動を指示する信号を撮像部１に出力して当該撮像部１を起動させ、当該撮像部１により被写体を撮像させる。このとき、画像検索部３ａは、撮像部１による撮像により生成されたライブビュー画像から、簡易顔認識用データｄ１と類似する画像データ（顔画像データ）を検索する。
ここで、起動制御部３ｆは、指示検出判断部３ｄによって撮像により新たに顔画像データを取得する旨の指示が検出されたと判断されると、撮像部１を起動させるよう制御する起動制御手段を構成している。

検索指示部３ｇは、指示検出判断部３ｄによって撮像装置１００外部の記憶手段を検索する旨の指示が検出されたと判断されると、通信制御部１０を起動させた後、当該通信制御部１０から撮像装置１００外部の記憶手段に対して簡易顔認識用データｄ１と類似する画像データの検索を指示する。
具体的には、検索指示部３ｇは、通信制御部１０に対して起動を指示する信号を出力して当該通信制御部１０を起動させた後、通信制御部１０から通信ネットワークＮを介して外部データベースＤＢにアクセスさせて、簡易顔認識用データｄ１と類似する画像データ（顔画像データ）の検索指示を送信させる。
ここで、検索指示部３ｇは、指示検出判断部３ｄによって撮像装置１００外部の記憶手段を検索する旨の指示が検出されたと判断されると、通信制御部１０を起動させ、当該撮像装置１００外部の外部データベース（記憶手段）ＤＢに対して顔認識処理の登録対象となる人物の顔画像データと類似する顔画像データの検索を指示する検索指示手段を構成している。

指定判定部３ｈは、検索の結果得られた類似画像データ（顔画像データ）が詳細顔認識用データｄ２の生成処理（補正処理）に利用されるデータとして指定されたか否かを判定する。
具体的には、画像検索部３ａや外部データベースＤＢによる検索の結果として表示部７に表示された類似画像の中で、ユーザによる操作入力部１１の所定操作に基づいて出力された少なくとも何れか一の類似画像の指定に係る信号が入力されるか否かに応じて、指定判定部３ｈは、詳細顔認識用データｄ２の生成処理に利用されるデータとして指定されたか否かを判定する。
ここで、指定判定部３ｈは、検索手段による検索の結果として得られた顔画像データが補正処理に利用されるデータとして指定されたか否かを判定する判定手段を構成している。

画像処理部４は、簡易顔認識用データｄ１や詳細顔認識用データｄ２を生成する顔認識用データ生成部４ａを具備している。
顔認識用データ生成部４ａは、顔認識画像補正処理にて、ユーザによる操作入力部１１の所定操作に基づいて、表示部７に表示されている複数の画像の中から顔認識処理の対象となる人物の登録画像として何れか一の画像が指定されると、当該画像に対して所定の変換処理（例えば、ズーム、平行移動、回転等）を施して、顔のサイズや目の位置を正規化することで簡易顔認識用データ（図２参照）ｄ１を生成する。
なお、正規化は、ユーザが手動で行なっても良いし、或いは、顔検出及びパーツ認識を用いて自動的に行なっても良い。

また、顔認識用データ生成部４ａは、ユーザによる操作入力部１１の所定操作に基づいて、顔認識処理の対象となる人物の登録画像として選択指定された画像データと、詳細顔認識用データｄ２（図２参照）の生成処理に利用されるデータとして指定された少なくとも一の類似画像データとに基づいて、詳細顔認識用データｄ２を生成する。
具体的には、指定判定部３ｈによって何れかの類似画像データが詳細顔認識用データｄ２の生成処理に利用されるデータとして指定されたと判定されると、顔認識用データ生成部（生成手段）４ａは、人物の登録画像として選択指定された画像データと類似画像データとを用いて、顔認識データ用メモリ５に記憶される新たな顔画像データとして詳細顔認識用データｄ２を生成する。なお、顔認識用データ生成部４ａは、人物の登録画像として選択指定された画像データと類似画像データとに基づいて、簡易顔認識用データｄ１に対して補正処理を施すことにより詳細顔認識用データｄ２を生成するようにしても良い。
ここで、顔認識用データ生成部４ａは、指定判定部３ｈによって詳細顔認識用データｄ２の生成処理（補正処理）に利用されるデータとして類似画像データ（顔画像データ）が指定されたと判定されると、当該類似画像データと人物の登録画像として選択指定された画像データ（顔画像データ）とに基づいて、顔認識データ用メモリ（記憶手段）５に記憶すべき顔画像データを補正する補正手段を構成している。

顔認識データ用メモリ５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、簡易顔認識用データｄ１や詳細顔認識用データｄ２（図２参照）等を記憶している。
図２に示すように、簡易顔認識用データｄ１や詳細顔認識用データｄ２は、人物の氏名（例えば、「Ａさん」、「Ｂさん」、「Ｃさん」等）と対応付けて記憶されている。また、簡易顔認識用データｄ１は、人物の簡易的な顔認識処理に用いられるデータであり、例えば、白黒２値の１ビットの色データである。また、詳細顔認識用データｄ２は、人物の高精度な顔認識処理に用いられるデータであり、例えば、顔の陰影の濃淡を表したグレースケールのデータや、その人物の様々な顔の角度のデータ等である。
なお、簡易顔認識用データｄ１や詳細顔認識用データｄ２は、一例であってこれらに限られるものではなく、顔画像の特徴に係り顔認識処理に用いられるものであれば如何なるデータであっても良い。
ここで、顔認識データ用メモリ５は、少なくとも一の顔画像データとしての簡易顔認識用データｄ１や詳細顔認識用データｄ２を記憶する記憶手段を構成している。

表示制御部６は、メモリに一時的に記憶されている表示用の画像データを読み出して表示部７に表示させる制御を行う。
具体的には、表示制御部６は、ＶＲＡＭ、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１２の制御下にてメモリから読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部７に出力する。

表示部７は、例えば、液晶表示装置であり、表示制御部６からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部７は、静止画撮像モードや動画撮像モードにて、撮像部１による被写体の撮像により生成された複数の画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部７は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。

また、表示部７は、表示手段として、顔検出処理部３の画像検索部３ａにより検索された類似画像データ（顔画像データ）を表示する。このとき、表示部７は、表示制御部６の制御下にて、類似画像の中で簡易顔認識用データｄ１と類似していると判別した箇所を矩形枠で囲んだ状態で表示する。

記憶媒体制御部８は、中央制御部１２の制御下にて、記憶媒体９に対するデータの書き込みや記憶媒体９からのデータの読み出しを制御する。

記憶媒体９は、当該撮像装置１００本体に対して着脱可能に構成されたメモリカード等である。また、記憶媒体９は、画像処理部４の符号化部（図示略）により所定の圧縮形式で符号化された複数の記録用の静止画像データや複数の画像フレームからなる動画像データを記憶している。

通信制御部１０は、例えば、通信アンテナや通信回路（図示略）等を具備し、無線ＬＡＮ（Local Area Network）等の所定の通信規格により、通信ネットワークＮを介して接続された外部データベースＤＢとの間で情報の通信制御を行う。
ここで、通信制御部１０は、当該撮像装置１００外部の外部データベース（通信装置）ＤＢと通信する通信手段を構成している。

なお、通信ネットワークＮは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークＮであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。
また、外部データベースＤＢは、例えば、ユーザが使用可能なＰＣ、所定の業者により管理されている画像管理サーバ等に備えられているものであり、通信制御部や画像検索部（何れも図示略）等を具備している。外部データベースＤＢの通信制御部は、上記通信制御部１０と略同様の構成をなし、通信ネットワークＮを介して接続された撮像装置１００との間で情報の通信制御を行う。
外部データベースＤＢの画像検索部は、上記画像検索部３ａと略同様の構成をなし、通信制御部により受信した簡易顔認識用データｄ１を用いて、当該簡易顔認識用データｄ１と類似する画像データを検索して、簡易顔認識用データｄ１との類似度が所定値以上の画像データを類似画像データとして特定する。そして、外部データベースＤＢの通信制御部は、画像検索部により検索された類似画像データを通信ネットワークＮを介して撮像装置１００に送信する。

操作入力部１１は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部１１は、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等を備え（何れも図示略）、これらのボタンの操作に応じて所定の操作信号を中央制御部１２に出力する。

また、操作入力部１１の選択決定ボタンは、顔認識画像補正処理にて、ユーザによるメニューボタンの所定操作に基づいて記憶媒体９から読み出されて表示部７に表示される複数の画像（顔画像）の中から、顔認識処理の対象となる人物の登録画像として何れか一の画像（特定の顔画像）の指定指示を入力する。そして、操作入力部１１は、当該選択決定ボタンの操作に応じて所定の指定信号を中央制御部１２に出力する。
中央制御部１２は、入力された指定信号に従って、記憶媒体９に記憶されている少なくとも一の画像データの中から、ユーザ所望の画像データを顔画像データとして指定する。
ここで、操作入力部１１及び中央制御部１２は、記憶媒体（記憶手段）９に記憶された少なくとも一の顔画像データの中で特定の顔画像データを指定する指定手段を構成している。

中央制御部１２は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１２は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。

次に、顔認識画像補正処理について図３及び図４を参照して説明する。
図３及び図４は、顔認識画像補正処理に係る動作の一例を示すフローチャートである。
顔認識画像補正処理は、ユーザによる操作入力部１１の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の撮像モードの中から顔認識処理の画像登録モードが選択指示された場合に実行される処理である。

図３に示すように、記憶媒体９から読み出されて表示部７に表示される複数の画像の中から、ユーザによる操作入力部１１の所定操作に基づいて、顔認識処理の対象として登録したい人物の何れか一の画像（顔画像）が指定されると（ステップＳ１）、画像処理部４の顔認識用データ生成部４ａは、当該顔画像に対して所定の変換処理を施して、顔のサイズや目の位置を正規化することで簡易顔認識用データｄ１（図２参照）を生成する（ステップＳ２）。

次に、顔検出処理部３の画像検索部３ａは、生成された簡易顔認識用データｄ１を用いて、記憶媒体９に記憶されている複数の画像データの中から、当該簡易顔認識用データｄ１と類似する画像データを検索して、簡易顔認識用データｄ１との類似度が所定値以上の画像データを類似画像データとして特定する（ステップＳ３）。
続けて、顔検出処理部３の検索判断部３ｂは、画像検索部３ａによる画像検索の結果、簡易顔認識用データｄ１と類似する類似画像データが得られたか否かを判断する（ステップＳ４）。
ここで、類似画像データが得られたと判断されると（ステップＳ４；ＹＥＳ）、表示制御部６は、類似画像中の簡易顔認識用データｄ１と類似していると判別した箇所を矩形枠で囲んだ状態で当該類似画像を表示部７に表示させる（ステップＳ５）。

次に、顔検出処理部３の指定判定部３ｈは、ユーザによる操作入力部１１の所定操作に基づいて、詳細顔認識用データｄ２の生成処理に利用される類似画像データを指定する指示が入力されたか否かを判定する（ステップＳ６）。
ここで、類似画像データを指定する指示が入力されたと判定されると（ステップＳ６；ＹＥＳ）、画像処理部４の顔認識用データ生成部４ａは、人物の登録画像として選択指定された画像データと類似画像データとに基づいて、簡易顔認識用データｄ１に対して所定の補正処理を施すことにより詳細顔認識用データｄ２を生成して（ステップＳ７）、顔画像補正処理を終了する。

一方、ステップＳ４にて、類似画像データが得られなかったと判断されるか（ステップＳ４；ＮＯ）、或いは、類似画像データを指定する指示が入力されなかったと判定されると（ステップＳ６；ＮＯ）、図４に示すように、報知制御部３ｃは、他の方法での類似画像の検索指示を報知する（ステップＳ８）。具体的には、報知制御部３ｃは、表示制御部６を制御して、新たな画像データの撮像による取得を指示するメッセージや、装着済みの記憶媒体９とは異なる新たな記憶媒体の装着を指示するメッセージや、当該撮像装置１００外部の外部データベースＤＢに記憶されている画像データの検索を指示するメッセージ等を表示部７に報知表示させる。

続けて、中央制御部１２は、新たな画像データの撮像による取得、外部データベースＤＢに記憶されている画像データの検索、記憶媒体９の差し替え等のユーザの操作に応じて処理を分岐させる（ステップＳ９）。
即ち、ステップＳ９にて、ユーザによる操作入力部１１の選択決定ボタン等の所定操作に基づいて、新たな画像データの撮像による取得が選択されると、当該ユーザによる操作入力部１１の所定操作に基づいて出力された信号が顔検出処理部３の指示検出判断部３ｄに入力される。そして、当該指示検出判断部３ｄは、撮像により新たに画像データを取得する旨の指示を検出したと判断して、顔検出処理部３の起動制御部３ｆは、撮影モードの起動を指示する信号を撮像部１に出力して当該撮像部１を起動させる（ステップＳ９１Ａ）。
続けて、表示制御部６は、撮像部１による被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を表示部７の表示画面に表示させるとともに、画像検索部３ａは、簡易顔認識用データｄ１を用いて、ライブビュー画像の中から当該簡易顔認識用データｄ１と類似する画像データを順次検索する（ステップＳ９１Ｂ）。

次に、中央制御部１２は、ユーザによる操作入力部１１のシャッタボタンの所定操作に基づいて撮像指示が入力されたか否かを判定する（ステップＳ９１Ｃ）。ここで、撮像指示が入力されたと判定されると（ステップＳ９１Ｃ；ＹＥＳ）、中央制御部１２は、撮像部１の撮像制御部に撮像条件を調整させて、被写体の光学像を所定の条件で撮像部１の電子撮像部により撮像させて、画像データ生成部２に、電子撮像部から転送された撮像画像のＹＵＶデータを生成させる（ステップＳ９１Ｄ）。
続けて、画像検索部３ａは、被写体の撮像画像データと簡易顔認識用データｄ１との類似度が所定値以上であるか否かを判定し、当該判定結果に基づいて、検索判断部３ｂは、簡易顔認識用データｄ１と類似する類似画像データが得られたか否かを判断する（ステップＳ９１Ｅ）。即ち、画像検索部３ａにより簡易顔認識用データｄ１との類似度が所定値以上であると判定された場合には、検索判断部３ｂは、類似画像データとしての撮像画像データが得られたと判断する。一方、画像検索部３ａにより簡易顔認識用データｄ１との類似度が所定値未満であると判定された場合には、検索判断部３ｂは、類似画像データとしての撮像画像データが得られなかったと判断する。

ステップＳ９１Ｅにて、類似画像データが得られたと判断されると（ステップＳ９１Ｅ；ＹＥＳ）、中央制御部１２は、処理をステップＳ５（図３参照）に移行させて、それ以降の処理を実行させる。即ち、図３に示すように、表示制御部６は、新たに撮像された撮像画像（類似画像）中の簡易顔認識用データｄ１と類似していると判別した箇所を矩形枠で囲んだ状態で当該類似画像を表示部７に表示させる（ステップＳ５）。
なお、ステップＳ６以降の処理は、上記に説明した処理内容と略同様であり、その説明は省略する。
一方、ステップＳ９１Ｅにて、類似画像データが得られなかったと判断されると（ステップＳ９１Ｅ；ＮＯ）、中央制御部１２は、処理をステップＳ８に移行させて、それ以降の処理を実行させる。

また、ステップＳ９にて、ユーザによる操作入力部１１の選択決定ボタン等の所定操作に基づいて、外部データベースＤＢに記憶されている画像データの検索が選択されると、当該ユーザによる操作入力部１１の所定操作に基づいて出力された信号が顔検出処理部３の指示検出判断部３ｄに入力される。そして、当該指示検出判断部３ｄは、外部データベースＤＢに記憶されている画像データを検索する旨の指示を検出したと判断して、顔検出処理部３の検索指示部３ｇは、通信制御部１０に対して起動を指示する信号を出力して当該通信制御部１０を起動させた後、通信制御部１０から通信ネットワークＮを介して外部データベースＤＢにアクセスさせて、簡易顔認識用データｄ１と類似する画像データの検索指示を送信させる（ステップＳ９２Ａ）。
その後、撮像装置１００の中央制御部１２は、通信制御部１０により外部データベースＤＢから送信された類似画像データが受信できたか否かを判定する（ステップＳ９２Ｂ）。
即ち、外部データベースＤＢは、ステップＳ９２Ａにて通信制御部１０から送信された検索指示を受信すると、簡易顔認識用データｄ１と類似する画像データの検索を行う。そして、当該検索処理によって類似画像データが特定された場合には、外部データベースＤＢから通信ネットワークＮを介して類似画像データが送信され、当該類似画像データが撮像装置１００の通信制御部１０により受信されると、中央制御部１２は、通信制御部１０により外部データベースＤＢから送信された類似画像データが受信できたと判定する（ステップＳ９２Ｂ；ＹＥＳ）。一方、外部データベースＤＢにて、簡易顔認識用データｄ１と類似する画像データの検索が行われても類似画像データが特定されなかった場合には、外部データベースＤＢから類似画像データの送信が行われないため、撮像装置１００の通信制御部１０により類似画像データが受信されず、中央制御部１２は、通信制御部１０により外部データベースＤＢから送信された類似画像データが受信できなかったと判定する（ステップＳ９２Ｂ；ＮＯ）。

ステップＳ９２Ｂにて、通信制御部１０により外部データベースＤＢから送信された類似画像データが受信できたと判定されると（ステップＳ９２Ｂ；ＹＥＳ）、中央制御部１２は、処理をステップＳ５（図３参照）に移行させて、それ以降の処理を実行させる。即ち、図３に示すように、表示制御部６は、通信制御部１０により受信された類似画像データを取得して、外部データベースＤＢにて検索された類似画像中の簡易顔認識用データｄ１と類似していると判別した箇所を矩形枠で囲んだ状態で当該類似画像を表示部７に表示させる（ステップＳ５）。
なお、ステップＳ６以降の処理は、上記に説明した処理内容と略同様であり、その説明は省略する。
一方、ステップＳ９２Ｂにて、通信制御部１０により外部データベースＤＢから送信された類似画像データが受信できなかったと判定されると（ステップＳ９２Ｂ；ＮＯ）、中央制御部１２は、処理をステップＳ８に移行させて、それ以降の処理を実行させる。

また、ステップＳ９にて、ユーザによる所定操作に基づいて記憶媒体９の差し替えが選択されると、当該ユーザによる記憶媒体９の着脱操作に基づいて記憶媒体制御部８から出力された信号が顔検出処理部３の装着判断部３ｅに入力される。これにより、当該装着判断部３ｅは、新たな記憶媒体が装着されたと判断する。
次に、中央制御部１２は、処理をステップＳ３（図３参照）に移行させて、それ以降の処理を実行させる。即ち、図３に示すように、画像検索部３ａは、新たに装着された記憶媒体の中から、簡易顔認識用データｄ１と類似する画像データを検索して、簡易顔認識用データｄ１との類似度が所定値以上の画像データを類似画像データとして特定する（ステップＳ３）。
なお、ステップＳ４以降の処理は、上記に説明した処理内容と略同様であり、その説明は省略する。

以上のように、本実施形態の撮像装置１００によれば、記憶媒体９に記憶された複数の画像データの中から、ユーザによる操作入力部１１の所定操作に基づいて指定された特定の画像データに対応する簡易顔認識用データｄ１と類似する類似画像データを検索して、当該類似画像データと特定の画像データとに基づいて、顔認識データ用メモリ５に記憶すべき顔画像データを補正して、人物の高精度の顔認識処理に用いられる詳細顔認識用データｄ２を生成することができるので、簡単な操作で顔画像データの補正を行うことができる。さらに、詳細顔認識用データｄ２を用いることで顔認識処理の精度の向上を図ることができ、顔認識処理用に登録される画像が正面以外の角度や方向の画像であっても個人の顔の顔検出に適用することができる。

また、簡易顔認識用データｄ１との類似度が所定値以上の画像データを候補顔画像データ（類似画像データ）として特定し、当該類似画像データは詳細顔認識用データｄ２の生成に利用されるデータとして指定可能となっている。より具体的には、候補顔画像データとして特定された類似画像データを表示部７に表示して、表示された類似画像データの中からユーザ所望の類似画像データを選択指定することができ、顔認識処理により検出される顔画像にユーザの意向を反映させることができる。
さらに、類似画像データを複数指定することもでき、これにより、複数の類似画像データを用いて精度の良い詳細顔認識用データｄ２を生成することができ、顔認識処理のより高精度化を図ることができる。

また、画像検索処理にて類似画像データが得られなかった場合に、撮像により新たに画像データを取得するよう報知するので、撮像により新たな画像データを取得することができ、顔認識画像補正処理にて、記憶媒体９中に簡易顔認識用データｄ１に類似する類似画像データが記憶されていないために、当該顔認識画像補正処理が中断してしまい、詳細顔認識用データｄ２の生成を行うことができないといったことを防止することができる。
特に、撮像により新たに画像データを取得する旨の指示が検出されると、撮像部１を起動させるので、撮像による新たな画像データの取得を簡便に行うことができ、ユーザによる当該撮像装置１００の操作に係る負担を軽減させることができる。

また、画像検索処理にて類似画像データが得られなかった場合に、装着済みの記憶媒体９とは異なる新たな記憶媒体を装着するよう報知するので、新たな記憶媒体から新たな画像データを取得することができ、顔認識画像補正処理にて、記憶媒体９中に簡易顔認識用データｄ１に類似する類似画像データが記憶されていないために、当該顔認識画像補正処理が中断してしまい、詳細顔認識用データｄ２の生成を行うことができないといったことを防止することができる。
特に、新たな記憶媒体が装着されたと判断されると、この新たな記憶媒体から簡易顔認識用データｄ１と類似する画像データを検索するので、新たな記憶媒体からの新たな画像データの取得を簡便に行うことができ、ユーザによる当該撮像装置１００の操作に係る負担を軽減させることができる。

また、画像検索処理にて類似画像データが得られなかった場合に、当該撮像装置１００外部の外部データベースＤＢに記憶されている顔画像データを検索するよう報知するので、外部データベースＤＢの検索により新たな画像データを取得することができ、顔認識画像補正処理にて、記憶媒体９中に簡易顔認識用データｄ１に類似する類似画像データが記憶されていないために、当該顔認識画像補正処理が中断してしまい、詳細顔認識用データｄ２の生成を行うことができないといったことを防止することができる。
特に、外部データベースＤＢに記憶されている顔画像データを検索する旨の指示が検出されると、外部データベースＤＢに対して簡易顔認識用データｄ１と類似する顔画像データの検索を指示するので、外部データベースＤＢからの新たな画像データの取得を簡便に行うことができ、ユーザによる当該撮像装置１００の操作に係る負担を軽減させることができる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、画像検索処理にて類似画像データが得られなかった場合に、簡易顔認識用データｄ１と類似する類似画像データの取得を行うために、新たな画像データの撮像による取得、外部データベースＤＢに記憶されている画像データの検索、記憶媒体９の差し替え等の報知を行うようにしたが、これらの報知を行うか否かは適宜任意に変更することができる。
また、ユーザによる所定操作に基づいて指定された上記の何れかの処理を行うようにしたが、これに限られるものではなく、ユーザにより指定された所定の順序で自動的に行うようにしても良い。即ち、画像検索処理にて類似画像データが得られなかった場合には、撮像部１による被写体の撮像に係る機能を制限しない外部データベースＤＢからの類似画像データの検索を実行させ、当該検索処理でも類似画像データが得られなかった場合には、新たな画像データの撮像を行わせるようにしても良い。また、外部データベースＤＢからの類似画像データの検索処理と被写体の撮像処理とを並行して行わせるようにしても良い。

また、新たな画像データの撮像による取得、外部データベースＤＢに記憶されている画像データの検索、記憶媒体９の差し替え等を報知するために、表示部７に所定のメッセージを表示させるようにしたが、報知の態様はこれに限られるものではなく、例えば、音声で所定のメッセージを出力するようにしても良い。

また、処理対象画像の撮像は、当該撮像装置１００とは異なる撮像装置にて行い、この撮像装置１００から転送された処理対象画像の画像データを取得して、顔認識画像補正処理を行う顔画像補正装置であっても良い。

加えて、上記実施形態にあっては、指定手段、検索手段、判定手段、補正手段としての機能を、中央制御部１２の制御下にて、操作入力部１１、顔検出処理部３の画像検索部３ａ、指定判定部３ｈ、画像処理部４の顔認識用データ生成部４ａが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１２のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、指定処理ルーチン、検索処理ルーチン、判定処理ルーチン、補正処理ルーチンを含むプログラムを記憶しておく。そして、指定処理ルーチンにより中央制御部１２のＣＰＵを、記憶手段に記憶された少なくとも一の顔画像データの中で特定の顔画像データを指定する指定手段として機能させるようにしても良い。また、検索処理ルーチンにより中央制御部１２のＣＰＵを、記憶媒体９に記憶された複数の画像データの中から、指定手段によって指定された特定の顔画像データと類似する顔画像データを検索する検索手段として機能させるようにしても良い。また、判定処理ルーチンにより中央制御部１２のＣＰＵを、検索手段による検索の結果として得られた顔画像データが補正処理に利用されるデータとして指定されたか否かを判定する判定手段として機能させるようにしても良い。また、補正処理ルーチンにより中央制御部１２のＣＰＵを、判定手段によって補正処理に利用されるデータとして顔画像データが指定されたと判定されると、当該顔画像データと指定手段によって指定された特定の顔画像データとに基づいて、記憶手段に記憶すべき顔画像データを補正する補正手段として機能させるようにしても良い。

１００ 撮像装置
１ 撮像部
３ 顔検出処理部
３ａ 画像検索部
３ｂ 検索判断部
３ｃ 報知制御部
３ｄ 指示検出判断部
３ｅ 装着判断部
３ｆ 起動制御部
３ｇ 検索指示部
３ｈ 指定判定部
４ 画像処理部
４ａ 顔認識用データ生成部
５ 顔認識データ用メモリ
７ 表示部
９ 記憶媒体
１０ 通信制御部
１２ 中央制御部
ＤＢ 外部データベース

Claims (14)

1. 顔認識用画像データを記憶する画像記憶手段と、
   第１の記憶手段に記憶された複数の顔画像データの中から、前記画像記憶手段に記憶された顔認識用画像データと類似する顔画像データを検索する検索手段と、
   前記検索手段により検索された顔画像データに基づいて、前記画像記憶手段に記憶されるべき顔認識用画像データを新たに生成する生成手段と、
   前記検索手段による検索の結果、類似する顔画像データが得られたか否かを判断する第１の判断手段と、
   前記第１の判断手段により類似する顔画像データが得られなかったと判断されると、新たに顔画像データを取得するよう報知する第１の報知手段と、
   を備えることを特徴とする顔画像データ生成装置。
2. 前記生成手段は、前記検索手段により検索された顔画像データと、前記検索手段による検索時に利用された前記画像記憶手段に記憶された顔認識用画像データとに基づいて、前記画像記憶手段に記憶された顔画像データを補正して、新たに前記画像記憶手段に記憶される顔認識用画像データを生成することを特徴とする請求項１に記載の顔画像データ生成装置。
3. 前記画像記憶手段は、簡易顔認識データと詳細顔認識用データとを記憶し、
   前記検索手段は、前記第１の記憶手段に記憶された複数の顔画像データの中から、前記簡易顔画像データと類似する顔画像データを検索し、
   前記生成手段は、前記検索手段により検索された顔画像データと前記簡易顔画像データとに基づいて、前記詳細顔認識用データを生成することを特徴とする請求項１又は２に記載の顔画像データ生成装置。
4. 前記検索手段は、
   前記第１の記憶手段に記憶された複数の顔画像データの中から、前記画像記憶手段に記憶された顔認識用画像データとの類似度が所定値以上の顔画像データを候補顔画像データとして検索し、
   前記検索手段により検索された候補顔画像データから、特定の顔画像データを指定する第１の指定手段を備え、
   前記生成手段は、前記第１の指定手段により指定された特定の顔画像データに基づいて、前記画像記憶手段に記憶された顔認識用画像データを生成する
   ことを特徴とする請求項１〜３の何れか１項に記載の顔画像データ生成装置。
5. 前記第１の報知手段は、前記第１の判断手段により類似する顔画像データが得られなかったと判断されると、撮像により新たに顔画像データを取得するよう報知することを特徴とする請求項１〜４の何れか一項に記載の顔画像データ生成装置。
6. 撮像手段と、
   前記第１の報知手段による報知に基づいて、撮像により新たに顔画像データを取得する旨の指示を検出したか否かを判断する第１の検出判断手段と、
   前記第１の検出判断手段により前記指示が検出されたと判断されると、前記撮像手段を起動させるよう制御する起動制御手段と、
   を更に備えることを特徴とする請求項１〜５の何れか一項に記載の顔画像データ生成装置。
7. 前記第１の記憶手段は、当該装置本体に対して着脱可能に構成され、
   前記第１の判断手段により類似する顔画像データが得られなかったと判断されると、前記第１の記憶手段とは異なる第２の記憶手段を新たに装着するよう報知する第２の報知手段を更に備えることを特徴とする請求項１〜６の何れか一項に記載の顔画像データ生成装置。
8. 前記第２の報知手段による報知後に、第２の記憶手段が新たに装着されたか否かを判断する第２の判断手段を更に備え、
   前記検索手段は更に、
   前記第２の判断手段により第２の記憶手段が装着されたと判断されると、前記第２の記憶手段に記憶された複数の顔画像データの中から、前記画像記憶手段に記憶された顔認識用画像データとの類似度が所定値以上の顔画像データを候補顔画像データとして検索することを特徴とする請求項７に記載の顔画像データ生成装置。
9. 前記第１の判断手段により類似する顔画像データが得られなかったと判断されると、当該装置外部の第３の記憶手段に記憶されている顔画像データを検索するよう報知する第３の報知手段を更に備えることを特徴とする請求項１〜８の何れか一項に記載の顔画像データ生成装置。
10. 当該装置外部の通信装置と通信する通信手段と、
    前記第３の報知手段による報知に基づいて、当該装置外部の前記第３の記憶手段を検索する旨の指示を検出したか否かを判断する第２の検出判断手段と、
    前記第２の検出判断手段により前記指示が検出されたと判断されると、前記通信手段を起動させ、前記第３の記憶手段に対し前記第２の記憶手段に記憶された複数の顔画像データの中から、前記画像記憶手段に記憶された顔認識用画像データとの類似度が所定値以上の顔画像データを候補顔画像データとして検索すること
    を指示する検索指示手段と、
    を更に備えることを特徴とする請求項９に記載の顔画像データ生成装置。
11. 前記画像記憶手段に記憶された少なくとも一の顔画像データの中で特定の顔画像データを指定する第２の指定手段を備え、
    前記検索手段は、前記第２の指定手段により指定された特定の顔画像データと類似する顔画像データを検索する
    ことを特徴とする請求項１〜１０の何れか一項に記載の顔画像データ生成装置。
12. 前記検索手段により検索された顔画像データを表示する表示手段を更に備えたことを特徴とする請求項１〜１１の何れか一項に記載の顔画像データ生成装置。
13. 所定の記憶手段に記憶された複数の顔画像データの中から、画像記憶手段により記憶された顔認識用画像データと類似する顔画像データを検索する検索処理と、
    前記検索処理により検索された顔画像データに基づいて、前記画像記憶手段に記憶するべき顔認識用画像データを新たに生成する生成処理と、
    前記検索処理による検索の結果、類似する顔画像データが得られたか否かを判断する判断処理と、
    前記第１の判断処理により類似する顔画像データが得られなかったと判断されると、新たに顔画像データを取得するよう報知する報知処理と、
    を実行することを特徴とする顔画像データ生成方法。
14. コンピュータを、
    所定の記憶手段に記憶された複数の顔画像データの中から、画像記憶手段により記憶された顔認識用画像データと類似する顔画像データを検索する検索手段、
    前記検索手段により検索された顔画像データに基づいて、前記画像記憶手段に記憶するべき顔認識用画像データを新たに生成する生成手段、
    前記検索手段による検索の結果、類似する顔画像データが得られたか否かを判断する判断手段、
    前記判断手段により類似する顔画像データが得られなかったと判断されると、新たに顔画像データを取得するよう報知する報知手段、
    として機能させることを特徴とするプログラム。
    

Images