JP6161279B2 - 認証装置、撮像装置、認証方法およびプログラム - Google Patents

Description

本発明は、認証装置、撮像装置、認証方法およびプログラムに関する。

取り込まれた個人の認証要素データ（人物の顔、声、指紋など）を予め記憶された認証要素データ（辞書データ）と比較してこれを識別する個人認証手法は知られている。例えば、デジタルカメラでは被写体が映っている領域を特定し、予め登録された顔画像と比較し、一致しているか否かを判定する。この判定結果を用いてフォーカス等の制御に用いる。

また個人認証とは別に、顔画像をよりきれいに見せるため、顔の器官（目、鼻、口）や肌を加工する技術が知られている。例えば、特許文献１には、目を加工（補正）する画像処理方法が開示されている。特許文献２は、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ（ＬＢＰ）から特徴情報を生成する方法を開示している。

特開２００７−１５７１７６号公報 特開２００９−０８６９２６号公報

ところで、顔画像を用いた個人認証手法において、顔画像に加工を行う場合、加工による特徴の変化が個人認証に大きな影響を与える。

本発明は、画像加工による認証精度の低下を防ぐことが可能な認証装置を提供することを目的とする。

本発明の認証装置および撮像装置は、画像において被写体を検出する被写体検出手段と、予め定められた複数の加工処理方法から加工処理方法を選択する選択手段と、前記被写体検出手段によって検出された前記被写体の少なくとも一部を前記選択した画像処理方法に基づいて加工する画像処理を施す画像加工処理手段と、前記被写体に固有の情報を辞書データとして登録する辞書データ記憶手段と、前記画像加工処理手段による加工と同様の加工を前記辞書データ記憶手段の前記辞書データに行う辞書データ加工処理手段と、前記被写体検出手段によって検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定手段と、を有することを特徴とする。
さらに、本発明の認証装置および撮像装置は、画像において被写体を検出する被写体検出手段と、前記被写体検出手段によって検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理手段と、前記被写体に固有の情報を辞書データとして登録する辞書データ記憶手段と、前記画像加工処理手段による加工に対応する加工を前記辞書データ記憶手段の前記辞書データに行う辞書データ加工処理手段と、前記被写体検出手段によって検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定手段と、を有し、前記辞書データ加工処理手段は、前記画像加工処理手段による加工が所定の加工であれば、前記辞書データを加工しないことを特徴とする。
さらに、本発明の認証装置および撮像装置は、画像において被写体を検出する被写体検出手段と、前記被写体検出手段によって検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理手段と、前記被写体に固有の情報を辞書データとして登録する辞書データ記憶手段と、前記画像加工処理手段による加工に対応する加工を前記辞書データ記憶手段の前記辞書データに行う辞書データ加工処理手段と、前記被写体検出手段によって検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定手段と、を有し、前記辞書データ加工処理手段は、前記画像加工処理手段による加工処理の度合いが閾値以上である場合に前記辞書データを加工することを特徴とする。
さらに、本発明の認証装置および撮像装置は、画像において被写体を検出する被写体検出手段と、前記被写体検出手段によって検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理手段と、前記被写体に固有の情報を辞書データとして登録する辞書データ記憶手段と、前記画像加工処理手段による加工に対応する加工を前記辞書データ記憶手段の前記辞書データに行う辞書データ加工処理手段と、前記被写体検出手段によって検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定手段と、を有し、前記辞書データは一または複数の分類情報を含み、各分類情報は一または複数の前記被写体の情報を含み、前記認証判定手段による認証は分類情報ごとに行われ、前記辞書データ加工処理手段は、前記画像加工処理手段による加工の種類に応じて、加工後の辞書データを加工前の辞書データとは異なる分類情報で管理するか、同じ分類情報で管理するかを決定することを特徴とする。
さらに、本発明の認証方法は、画像において被写体を検出する被写体検出ステップと、前記被写体検出ステップにおいて検出された前記被写体の少なくとも一部を、複数の加工処理方法の中からユーザによって選択された１つ以上の加工処理方法に基づいて加工する画像処理を施す画像加工処理ステップと、前記被写体に固有の情報を辞書データとして登録する辞書データ記憶ステップと、前記１つ以上の加工処理方法に基づいて必要と判断された加工を前記辞書データ記憶ステップにて登録された前記辞書データに行う辞書データ加工処理ステップと、前記被写体検出ステップにて検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定ステップと、を有することを特徴とする。
さらに、本発明の認証方法は、画像において被写体を検出する被写体検出ステップと、前記被写体検出ステップにおいて検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理ステップと、前記被写体に固有の情報を辞書データとして登録する辞書データ記憶ステップと、前記画像加工処理ステップによる加工に対応する加工を前記辞書データ記憶ステップにて登録された前記辞書データに行う辞書データ加工処理ステップと、前記被写体検出ステップにて検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定ステップと、を有し、前記辞書データ加工処理ステップは、前記画像加工処理ステップによる加工が所定の加工であれば、前記辞書データを加工しないことを特徴とする。
さらに、本発明の認証方法は、画像において被写体を検出する被写体検出ステップと、前記被写体検出ステップにおいて検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理ステップと、前記被写体に固有の情報を辞書データとして登録する辞書データ記憶ステップと、前記画像加工処理ステップによる加工に対応する加工を前記辞書データ記憶ステップにて登録された前記辞書データに行う辞書データ加工処理ステップと、前記被写体検出ステップにて検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定ステップと、を有し、前記辞書データ加工処理ステップは、前記画像加工処理ステップによる加工処理の度合いが閾値以上である場合に前記辞書データを加工することを特徴とする。
さらに、本発明の認証方法は、画像において被写体を検出する被写体検出ステップと、前記被写体検出手段において検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理ステップと、前記被写体に固有の情報を辞書データとして登録する辞書データ記憶ステップと、前記画像加工処理ステップによる加工に対応する加工を前記辞書データ記憶ステップにて登録された前記辞書データに行う辞書データ加工処理ステップと、前記被写体検出ステップにて検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定ステップと、を有し、前記辞書データは一または複数の分類情報を含み、各分類情報は一または複数の前記被写体の情報を含み、前記認証判定ステップにおける認証は分類情報ごとに行われ、前記辞書データ加工処理ステップは、前記画像加工処理ステップによる加工の種類に応じて、加工後の辞書データを加工前の辞書データとは異なる分類情報で管理するか、同じ分類情報で管理するかを決定することを特徴とする。
さらに、本発明のコンピュータで実行可能なプログラムは、上記認証方法が記述されていることを特徴とする。

本発明によれば、画像加工による認証精度の低下を防ぐことが可能な認証装置および撮像装置を提供することができる。

本実施形態のデジタルカメラ（個人認証装置）のブロック図である。 図１に示すデジタルカメラで実行される辞書データ記憶処理方法を示すフローチャートである。 図２に示す辞書データ記憶処理方法を説明するための図である。 図１に示すデジタルカメラで実行される加工画像の辞書データ記憶処理方法を示すフローチャートである。 図４に示す被写体の加工処理の一例を説明するための図と、被写体の加工前の特徴情報と加工後の特徴情報を説明する図である。 図４のＳ４０９における辞書データの加工処理方法を示すフローチャートである。 図４のＳ４１０の加工辞書データの追加登録方法を説明するためのフローチャートである。 加工辞書データの追加記憶された状態を示す図である。 加工辞書データの削除方法を示すフローチャートである。

図１は、本実施形態の個人認証装置を適用可能なデジタルカメラ（撮像装置）１００のブロック図である。なお、撮像装置の種類はデジタルスチルカメラ、デジタルビデオカメラ、携帯電話、タブレット端末、ＰＤＡ、ゲーム機など限定されない。

図１において、１０３はフォーカスレンズを含む撮影レンズ、１０１は絞り機能を備えるシャッター、１２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部（撮像手段）である。１２３はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１２３は、撮像部１２２から出力されるアナログ信号をデジタル信号に変換する。１０２はバリアであり、撮影レンズ１０３を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部１２２を含む撮像系の汚れや破損を防止する。

１２４は画像処理部であり、Ａ／Ｄ変換器１２３からのデータ、又は、メモリ制御部１１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部１２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１５０が露光制御、焦点検出制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１２４では、更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行う。

Ａ／Ｄ変換器１２３からの出力データは、画像処理部１２４及びメモリ制御部１１５を介して、或いは、メモリ制御部１１５を介してメモリ１３２に直接書き込まれる。メモリ１３２は、撮像部１２２によって得られ、Ａ／Ｄ変換器１２３によりデジタルデータに変換された画像データや、表示部１２８に表示するための画像データを格納する。メモリ１３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。メモリ１３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。

１１３はＤ／Ａ変換器であり、メモリ１３２に格納されている画像表示用のデータをアナログ信号に変換して表示部１２８に供給する。こうして、メモリ１３２に書き込まれた表示用の画像データはＤ／Ａ変換器１１３を介して表示部１２８により表示される。表示部１２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１３からのアナログ信号に応じた表示を行う。

不揮発性メモリ１５６は、電気的に消去・記録可能なメモリであり、例えば、ＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

１５０はシステム制御部であり、デジタルカメラ１００全体を制御する。不揮発性メモリ１５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。１５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１５２には、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１５６から読み出したプログラム等を展開する。また、システム制御部１５０はメモリ１３２、Ｄ／Ａ変換器１１３、表示部１２８等を制御することにより表示制御も行う。

モード切替スイッチ１６０、シャッターボタン１６１、第一シャッタースイッチ１６２、第二シャッタースイッチ１６３、操作部１７０はシステム制御部１５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ１６０は、システム制御部１５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。

第一シャッタースイッチ１６２は、デジタルカメラ１００に設けられたシャッターボタン１６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第一シャッタースイッチ信号ＳＷ１を発生する。シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ１６３は、シャッターボタン１６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部１５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部１２２からの信号読み出しから記録媒体１０４に画像データを書き込むまでの一連の撮影処理の動作を開始する。システム制御部１５０は、マイクロコンピュータ（プロセッサ）から構成される制御手段である。

操作部１７０の各操作部材は、表示部１２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１２８に表示される。利用者は、表示部１２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

１８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１８０は、その検出結果及びシステム制御部１５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１０４を含む各部へ供給する。

１３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。１１８はメモリカードやハードディスク等の記録媒体１０４とのインターフェースである。記録媒体１０４は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。１７２は電源スイッチであり、電源オン、電源オフを切り替える。

デジタルカメラ１００では、中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。

１９０は画像において顔（被写体）を検出する顔検出部（被写体検出手段）である。顔検出部１９０は、画像データに含まれる被写体から、目、口等のエッジを検出して人物の顔の特徴部分を検出する。すなわち、顔が占める画像データの領域（顔位置と顔の大きさ）、顔の確からしさ（顔信頼度）から、その画像領域のデータを顔画像データとして検出する顔検出処理や識別処理を実行する。なお、被写体は顔に限定されず、指紋、上半身、体全体であってもよい。

１９１は特徴情報抽出処理部（特徴情報抽出処理手段）であり、顔検出部１９０で検出された顔画像データから、個人認証の際に用いる特徴情報を抽出する。個人認証のために必要な特徴情報は、特許文献２に開示されているように、顔領域より、目、鼻、口の器官を中心とする小領域を設定し、設定された小領域に対して、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ（ＬＢＰ）を計算することによって得られる。

１９２は被写体（登場人物）に固有の情報を辞書データとして登録する辞書データ記憶部（辞書データ記憶手段）であり、照合に用いるデータを記憶する。「辞書データ」とは、特徴情報抽出処理部１９１で算出される特徴情報である。

１９３は類似度算出処理部であり、顔検出部１９０で検出された顔画像データから特徴情報抽出処理部１９１にて抽出された特徴情報と、辞書データ記憶部１９２に記憶されている辞書データをパターンマッチングで比較する。そして、検出された顔画像データと辞書データ記憶部の顔画像データの類似度を算出する。

１９４は認証判定部（認証判定手段）である。認証判定部１９４では、類似度算出処理部１９３で算出された類似度と既定の認証用閾値とを比較し、類似度が閾値以上のときに顔検出部１９０で検出された顔画像が辞書データ記憶部１９２に記憶された人物であると識別、即ち、個人認証成功の判定を行う。言い換えれば、認証判定部１９４は、顔検出部１９０によって検出される任意の画像の顔と辞書データ加工処理部１９７によって加工される辞書データに基づいて、任意の画像の被写体が辞書データに登録されているかどうかを判定する。

１９５は分類情報設定部である。分類情報設定部１９５では、辞書データ記憶部に特徴情報を記憶させる際に、前もって辞書データ記憶部に記憶された同一人物の特徴情報を類似度算出処理部１９３で算出した類似度と、予め設定した分類用の閾値を比較する。類似度が閾値以上のときに辞書データ記憶部に記憶させる特徴情報に辞書データ記憶部１９２に記憶された特徴情報と同一の分類情報を関連付け、類似度が閾値未満のときは、辞書データ記憶部に記憶させる特徴情報に新規の分類情報を関連付ける。

１９６は画像加工処理部（画像加工処理手段）である。画像加工処理部１９６は、顔検出部１９０で検出された器官の位置情報に基づいて、顔領域の少なくとも一部を、目の拡大処理、美肌処理等によって加工する画像処理（以下、「加工処理」と呼ぶ）を施す。加工する被写体の一部は、顔の輪郭、皺、目、鼻、体形など限定されない。

１９７は辞書データ加工処理部（辞書データ加工処理手段）であり、画像加工処理部１９６による被写体の顔領域の加工と同様の加工を辞書データに登録された被写体について行って辞書データ記憶部１９２に追加で登録する。辞書データ加工処理部１９７は、辞書データが画像の場合は画像加工処理部１９６と同様の処理を行い、辞書データが特徴情報の場合は顔画像が加工処理されるのと等価な変換処理を特徴情報に施す。

なお、図１に示して説明した構成は、個人認証装置の一例であり、これに限定されるものではない。

図２は、本実施形態の個人認証装置によって実行される辞書データ記憶処理方法のフローチャートである。図２において、「Ｓ」はステップの略であり、図２に示す方法はコンピュータに各ステップの機能を実現させるプログラムとして具現化可能であるが、これは他のフローチャートでも同様である。図３は、本実施形態の辞書データ記憶処理方法を説明するための図である。各ステップを実行する処理主体は、「処理部」と記載されていない限り、システム制御部１５０である。

処理の開始後に、ユーザにより静止画記録モードと再生モードが選択される（Ｓ２０１）。静止画記録モードが選択された場合は、顔画像登録モードを設定し（Ｓ２０２）、顔写真を撮影する（Ｓ２０３）。再生モードが選択された場合は、記録媒体１０４に記憶された画像データより顔画像を選択する（Ｓ２０４）。

次に、Ｓ２０３またはＳ２０４の後で、顔検出部１９０により、Ｓ２０４で選択した画像データ、若しくはＳ２０３で撮影した画像データに含まれる顔に顔検出処理が実行される（Ｓ２０５）。検出された顔は辞書データ記憶部１９２に記憶させる顔（ここでは、図３（ａ）の左上に示す「顔３００」とする）であり、辞書データ３９０に記憶させる。辞書データ３９０は一または複数の分類情報３８１〜３８４を含み、各分類情報は一または複数の特徴情報３１１〜３４１を含む。顔３００は特徴情報３０１を有する。図３（ａ）の右側は辞書データ３９０を示している。

次に、Ｓ２０５で検出した顔３００の画像データから特徴情報抽出処理部１９１で辞書データに用いる特徴情報３０１を抽出する（Ｓ２０６）。

次に、ユーザは辞書データ記憶部１９２に記憶されている特徴情報のうち、顔３００と同一人物がいるか否かを判断する（Ｓ２０７）。この際、顔３００と同一人物の特徴情報が記憶されていないと選択された場合は新規登録となり（Ｓ２０７のＹｅｓ）、どの人物かを特定する情報とその人物の顔を分類する情報とを持った新規の分類情報を特徴情報３０１に関連付ける（Ｓ２０８）。その後、特徴情報３０１と、特徴情報に関連付けられた新規の分類情報を辞書データ記憶部１９２に記憶し、処理を終了する。

新規の分類情報に関連付けした場合の処理終了後の辞書データを図３（ｂ）に示す。図３（ｂ）では、新規の分類情報に関連付けしたため、人物３０７として新しく分類情報３８５が追加されて記憶されている。

一方、顔３００と同一人物の特徴情報が記憶されている場合は（Ｓ２０７のＮｏ）、追加登録とし、ユーザにより同一人物である人物３０５が辞書データ記憶部１９２に記憶されている人物から選択される（Ｓ２０９）。Ｓ２０９以降は、顔３００の特徴情報３０１を、同一人物に関する既存の特徴情報に分類するか、新規な特徴情報に分類するかを決定するフローである。

次に、選択された人物３０５の顔から抽出した特徴情報を１つ選択する（Ｓ２１０）。図３（ａ）では、辞書データ３９０に記憶されている人物３０５の特徴情報である特徴情報３１１、特徴情報３２１、特徴情報３３１の中から特徴情報３１１を選択したとする。

次に、選択した特徴情報３１１と特徴情報抽出処理部１９１で算出した顔３００の特徴情報３０１の類似度算出処理部１９３により類似度３９１を算出する（Ｓ２１１）。

次に、辞書データ記憶部１９２に記憶された人物３０５の顔から抽出した全ての特徴情報と顔３００の特徴情報３０１により各類似度を算出するまで、Ｓ２１０、Ｓ２１１を繰り返す（Ｓ２１２のＮｏのループ）。図３（ａ）では、顔３００の特徴情報３０１と人物３０５の特徴情報である特徴情報３２１及び、特徴情報３３１の各類似度を算出するまで繰り返す。

次に、人物３０５の全ての特徴情報で類似度が算出されると（Ｓ２１２のＹｅｓ）、Ｓ２１１で算出した各類似度の中から最も高い類似度を選択し、また、最も高い類似度の算出に利用した特徴情報も選択する（Ｓ２１３）。

次に、分類情報設定部１９５において、Ｓ２１３で選択した類似度と分類用の閾値の比較を行う（Ｓ２１４）。類似度が分類用の閾値以上である場合には（Ｓ２１４のＹｅｓ）、選択した特徴情報と同一の分類情報を特徴情報３０１に関連付ける（Ｓ２１５）。類似度が分類用の閾値以下の場合には（Ｓ２１４のＮｏ）、選択された人物３０５の新規の分類情報を特徴情報３０１に関連付ける（Ｓ２１６）。

その後、特徴情報３０１と、特徴情報に関連付けられた分類情報を辞書データ記憶部１９２に記憶し、処理を終了する。図３（ａ）における、類似度３９１が最も高い類似度として選択され分類用の閾値を越えた場合、分類情報３８１を特徴情報３０１に関連付け、辞書データ３９０に記憶する。類似度３９２が最も高い類似度として選択され、閾値を越えた場合は分類情報３８２を特徴情報３０１に関連付け、辞書データ３９０に記憶する。類似度３９３についても同様である。

図３（ｃ）に類似度３９１が最も高い類似度として選択され分類用の閾値を越えた場合の処理終了後の辞書データを示す。図３（ｃ）では、類似度３９１が分類用の閾値を越えた場合なので、類似度３９１の算出に利用した特徴情報３１１に関連付けされた分類情報３８１が特徴情報３０１に関連付けされて、記憶されている。

図３（ｄ）では、類似度３９１が最も高い類似度として選択され分類用の閾値を超えなかった場合の処理終了後の辞書データを示す。全ての類似度が閾値を超えなかったので、選択された同一人物である人物３０５の新規の分類情報として分類情報３８６が特徴情報３０１に関連付けされて、記憶されている。

分類情報は、認証単位を決定する情報である。即ち、認証判定部１９４による認証は分類情報ごとに（より詳しくは各分類情報に含まれる被写体の特徴情報ごとに）なされる。認証には、（１）本人を本人として認証すること、（２）他人を本人として認証しないこと、の２つの側面が含まれる。図３（ｃ）（および後述する図８（ａ））に示すように、１つの分類情報に含まれる被写体（の特徴情報）の情報量を増やすと、その分類情報を使用した場合に、本人を本人として認証する可能性は高くなるが、同時に他人を本人として認証する可能性も高くなる。図３（ｄ）（および後述する図８（ｂ））に示すように、分類情報の数を増やすと、各分類情報を使用した場合に、本人を本人として認証する可能性は低いが、他人を本人として認証する誤認証の可能性も低いままである。つまり、ある被写体の特徴情報を既存の分類情報に含めるか、新しい分類情報に含めるかは、上記２つの側面の効果を上げるというトレードオフの関係から決定されるものである。

図４は、本実施形態の個人認証装置において、画像加工処理を行う際の個人認証辞書データの追加登録方法を示すフローチャートである。

処理の開始後に、ユーザにより静止画記録モードまたは再生モードが選択される（Ｓ４０１）。静止画記録モードが選択された場合は撮像部１２２より画像データを取得し（４０２）、再生モードが選択された場合は記録媒体１０４に記憶された画像データから画像データを選択する（Ｓ４０３）。その後、顔検出部１９０が、Ｓ４０２若しくはＳ４０３で取得した画像データに顔検出を行う（Ｓ４０４）。

次に、顔領域が検出されたか否かの判定を行う（Ｓ４０５）。顔領域が検出されなかった場合（Ｓ４０５のＮｏ）、Ｓ４０１に戻り、再度、撮像部１２２または記録媒体１０４から画像データを取得する。顔領域が検出された場合（Ｓ４０５のＹｅｓ）、顔領域の位置、サイズ及び、顔の器官（目、鼻、口）の位置情報を検出された顔数の分だけ取得し、顔検出に成功した結果を示す顔枠を表示部１２８に表示する。

次に、検出された顔領域から加工を行いたい顔がユーザにより選択され（Ｓ４０６）、選択された顔に行う少なくとも１つ以上の加工処理がユーザにより選択される（Ｓ４０７）。加工処理の度合いもユーザが選択してもよい。その後、Ｓ４０７で選択された加工処理をＳ４０６で選択された顔領域に対して実行する（Ｓ４０８）。

次に、Ｓ４０７で選択された加工処理に基づいて辞書データ記録部１９３に登録された辞書データに後述する加工処理を行い（Ｓ４０９）、辞書データ記録部１９３に加工処理を施した辞書データを追加で記録する（Ｓ４１０）。

次に、画像データにＳ４０６で選択した顔以外に加工処理を行いたい顔があるか否かがユーザにより判断される（Ｓ４１１）。加工処理を行いたい顔が更にある場合は（Ｓ４１１のＹｅｓ）、Ｓ４０６に戻り、加工処理を行いたい顔がない場合は（Ｓ４１１のＮｏ）処理を終了する。

図５（ａ）は、加工処理として細顔と目の拡大処理を行った場合を説明する図である。顔画像５０１は加工処理前の画像、顔画像５０２は加工処理後の画像である。顔画像５０１には細顔処理と目の拡大処理が施され、顔画像５０２は顔画像５０１と比較し細顔になっており、また目が拡大されている。

顔画像５０１の画像データをＫ（ｘ，ｙ）、細顔処理後の顔画像５０２の画像データをＨＫ（ｋｘ，ｋｙ）とすると、細顔処理は次式で表現される。

ｋｘ＝ａ・ｘ（但し、ａは１より小さい数） （１）
ｋｙ＝ｙ （２）
また、顔画像５０１の目の画像データがＥ（ｘ，ｙ）、目の拡大処理後の顔画像５０２の目の画像データがＫＥ（ｋｘ，ｋｙ）とすると、目の拡大処理は次式で表現される。

ｋｘ＝ｂ・ｘ（但し、ｂは１より大きい数） （３）
ｋｙ＝ｃ・ｙ（但し、ｃは１より大きい数） （４）
なお、この加工処理は一実施形態にすぎず加工処理の対象、処理内容は限定されない。

図５（ｂ）は加工前の特徴情報６０１〜６１４と加工後の特徴情報６２１〜６３４の位置情報を示す図である。加工前後では特徴情報の位置がずれている。特徴情報６０１〜６１４や特徴情報６２１〜６３４は、ある固定の大きさ、傾きに正規化された後の顔画像上の座標Ｐ（ｘ，ｙ）で表される。特徴情報６０１〜６１４は座標Ｐ１〜Ｐ１４、特徴情報６２１〜６３４は座標ＫＰ１〜ＫＰ１４である。個人認証に用いる辞書データが加工前の特徴情報６０１〜６１４のみの場合、加工処理が静止画撮影用のライブビュー表示画像や再生画像に施された上で個人認証を行うと認証精度が低下する。なお、これらの特徴情報は一実施形態に過ぎず、個人認証方法は限定されない。

次に、本実施形態の個人認証装置による辞書データの加工処理について説明する。顔画像５０１の特徴情報がＰＫ（ｘ，ｙ）、細顔処理後の顔画像５０２の特徴情報がＰＨＫ（ｋｘ，ｋｙ）とすると、細顔処理後の特徴情報は数式１、２で表現される。また、顔画像５０１の目の特徴情報がＰＥ（ｘ，ｙ）、目の拡大処理後の顔画像５０２の目の画像データがＰＫＥ（ｋｘ，ｋｙ）とすると、目の拡大処理後の特徴情報は数式３、４で表現される。

特徴情報の加工処理を行った辞書データを個人認証に使用すると、加工処理が静止画撮影用のライブビュー表示画像や再生画像に施された場合でも認証精度を維持することができる。なお、特徴情報の加工処理は一実施形態に過ぎず、加工処理の対象、処理内容は限定されない。辞書データは顔画像データのような画像データでもよく、辞書データの加工処理は本画像の加工処理と同様の加工処理を行い、辞書データを作成してもよい。

図６は、図４のＳ４０９における辞書データの加工処理方法のフローチャートである。

まず、辞書加工対象の初期化が行われ、最初は“”（なし）である（Ｓ６０１）。次に、加工種類を示す番号Ｎの初期化が行われ、Ｎ＝１とされる（Ｓ６０２）。次に、加工処理（Ｎ）がユーザに選択されているかどうかが判断される（Ｓ６０３）。図４のＳ４０７でユーザが行った画像の加工処理の選択と加工処理の度合いは、システムメモリ１５２や不揮発性メモリ１５６あるいは不図示のメモリに保存される、表１に示す管理表で管理される。

加工処理（Ｎ）がユーザによって選択されている場合には（Ｓ６０３のＹｅｓ）、加工処理（Ｎ）が新規辞書作成対象であるかどうかが判断される（Ｓ６０４）。表２のような加工の種類ごとに新規辞書データの作成判断のための管理表が、システムメモリ１５２や不揮発性メモリ１５６あるいは不図示のメモリに保存されて管理されている。

本実施形態のＳ６０４は表２を使用して新規辞書データの作成対象か否かを判断する。表２では、例えば、「髪の色」の新規辞書データが「不要」となっている。つまり、髪の色を変更する加工を行った場合でも辞書データの加工は不要であるということである。辞書データ加工処理部１９７は、原則として、画像加工処理部１９６による加工と同様の加工を、辞書データに対して行うが、その加工が個人認証に影響しない所定の加工であれば辞書データを変更しないこととしている。これにより、省電力化、辞書データの容量増加の防止や認証時間の増加防止を図ることができる。

表２で管理される新規辞書作成の判断や、加工度合いの閾値は、加工の種類ごとに加工処理内容の特徴に応じて個人認証に適正となるよう予め決まっている。加工処理（Ｎ）が新規辞書作成対象の場合は（Ｓ６０４のＹｅｓ）、表２を参照して加工処理（Ｎ）の度合いが閾値以上であるかどうかが判断される（Ｓ６０５）。閾値以上の場合は（Ｓ６０５のＹｅｓ）、加工対象（Ｎ）を辞書加工対象に追加する（Ｓ６０６）。

Ｓ６０６の後で、あるいは、加工対象（Ｎ）がユーザに選択されていない場合（Ｓ６０３のＮｏ）、新規辞書作成対象ではない場合（Ｓ６０４のＮｏ）、若しくは、その度合いが閾値未満である場合（Ｓ６０５のＮｏ）、Ｓ６０７が行われる。Ｓ６０７では、Ｎが最後か否かが判断され、最後でない場合には（Ｓ７０７のＮｏ）、Ｎを１増やし（Ｓ７０８）、Ｓ７０３に戻り、最後の場合には（Ｓ７０７のＹｅｓ）、辞書加工対象が“”（なし）かどうかが判別される（Ｓ６０９）。辞書加工対象が無い場合は（Ｓ６０９のＹｅｓ）新たな辞書データは作成せずに終了し、辞書加工対象が１つでもあった場合は辞書加工対象の内容に従って前述したように加工処理を行う（Ｓ６１０）。

図７は、図４のＳ４１０における加工した辞書データの追加登録方法を示すフローチャートである。Ｓ７０１では、「辞書加工対象」に「分類情報は新規」が１つでも含まれているかどうかを判断する。表３は加工の種類ごとに分類情報の扱いが「新規」であるか「通常」であるかを管理する管理表であり、Ｓ７０１はこれに基づいて判断される。表３は、システムメモリ１５２や不揮発性メモリ１５６あるいは不図示のメモリに保存される。表３において、「新規」とするか「通常」とするかの基準は、上述したトレードオフの関係に基づいて決定されたものである。

表３で管理されている分類情報の取り扱いは、加工の種類ごとに「新規」か「通常」か、加工処理の特徴に応じて個人認証に適正となるように、予め決まっている。「辞書加工対象」に、１つも分類情報の扱いが「新規」が含まれていない場合、加工辞書データは、「通常」と同じ分類情報に追加記憶される（Ｓ７０２）。また、１つでも「新規」が含まれている場合、加工辞書データを新規の分類情報として追加記憶する（Ｓ７０３）。

図８（ａ）は、図７のＳ７０２において「通常」と同じ分類情報に加工辞書データが追加記憶された状態を示す図である。

８０１は人物「Ａさん」の加工前の辞書データ、分類情報（１）８０２は人物「Ａさん」に属する辞書データの分類情報、特徴情報８０３、８０４は人物「Ａさん」８０１に登録された特徴情報である。

８１１は人物「Ａさん」の加工後の辞書データ、分類情報（１）８１２は人物「Ａさん」に属する辞書データの分類情報、特徴情報８１３、８１４は人物「Ａさん」８０１に加工前に登録された特徴情報である。また、特徴情報８１５、８１６は加工処理によって新規生成された新規辞書データである。このように、図７のＳ７０２の場合、新規辞書データ８１５、８１６は、「通常」と同じ分類情報、即ち、加工前の特徴情報の属する分類情報（１）８１２に追加記憶する。

図８（ｂ）は、図７のＳ７０３において「新規」の分類情報として加工辞書データが追加記憶された状態を示す図である。

８５１は人物「Ａさん」の加工前の辞書データ、分類情報（１）８５２は人物「Ａさん」に属する辞書データの分類情報、特徴情報８５３、８５４は人物「Ａさん」８５１に登録された特徴情報である。

８６１は人物「Ａさん」の加工後の辞書データを示す。分類情報（１）８６２は人物「Ａさん」に属する辞書データの分類情報であり、特徴情報８６３、８６４は人物「Ａさん」１３１１に加工前に登録された特徴情報である。分類情報（２）８７２は人物「Ａさん」に属する辞書データとして新規に追加された分類情報であり、特徴情報８７３、８７４は加工処理によって新規生成された新規辞書データである。

このように、図７のＳ７０３の場合、人物「Ａさん」８６１に属する新規の分類情報として「通常」の分類情報（１）８６２とは別の分類情報（２）８７２が追加され、この分類情報（２）８７２に、新規辞書データ８７３、８７４を追加記憶する。

以上、被写体の画像処理に合わせて、これに適した辞書データを生成することにより、個人認証の精度低下を防ぐことができる。

図９は、辞書データ加工処理部１９７による加工辞書データの削除方法を示すフローチャートである。Ｓ９０１では、加工辞書データが個人認証に成功した人物に使用されたかを判別する。個人認証で認証された人物に使用された場合は（Ｓ９０１のＹｅｓ）処理が終了し、認証に使用されていない場合は（Ｓ９０１のＮｏ）、加工辞書データを辞書データ記憶部から削除する（Ｓ９０２）。

本処理フローは、辞書データが一定量を超えた場合、装置の電源を切る時、装置の動作モードを切り替える時、ある一定の時間が経過した時、ライブビュー画像に写っている全ての人物の認証を終了した時などのタイミングで実施されることが考えられる。もちろんこれらのタイミングは例示に過ぎず、これらに限定されない。本処理フローは、辞書データの中で認証に使用されたデータ以外のデータを削除するので、辞書データの記憶領域の圧迫を無くし、さらに個人認証の処理時間の増大を防ぐことができる。

本実施形態のソフトウェアのプログラムコードは、それを格納したコンピュータ可読媒体を介して、あるいは、ネットワークを介して、個人認証システムや個人認証装置に供給されてもよい。このようなコンピュータ可読媒体は、各種のディスクや半導体メモリ等を含む。また、コンピュータが読み出したプログラムコードを実行することで、本実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実施形態の機能を実現する処理の一部または全部を行ってもよい。更に、プログラムコードは、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれて実施されてもよい。したがって、書込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ってもよい。

更に、本実施形態の認証装置は、人物以外の動物その他の生物を認証してもよい。また、クラウドコンピューティングなどインターネットに接続されたコンピュータが認証を行ってもよい。

以上、本実施形態について説明したが、本発明は本実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

個人認証装置は、デジタルカメラやデジタルビデオ等の撮像装置に適用可能である。

１９０…顔検出部（被写体検出手段）、１９２…辞書データ記憶部（辞書データ記憶手段）、１９４…認証判定部（認証判定手段）、１９６…画像加工処理部（画像加工処理手段）、１９７…辞書データ加工処理部（辞書データ加工処理手段）、３９０…辞書データ

Claims (14)

1. 画像において被写体を検出する被写体検出手段と、
   前記被写体検出手段によって検出された前記被写体の少なくとも一部を、複数の加工処理方法の中からユーザによって選択された１つ以上の加工処理方法に基づいて加工する画像処理を施す画像加工処理手段と、
   前記被写体に固有の情報を辞書データとして登録する辞書データ記憶手段と、
   前記１つ以上の加工処理方法に基づいて必要と判断された加工を前記辞書データ記憶手段の前記辞書データに行う辞書データ加工処理手段と、
   前記被写体検出手段によって検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定手段と、
   を有することを特徴とする認証装置。
2. 画像において被写体を検出する被写体検出手段と、
   前記被写体検出手段によって検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理手段と、
   前記被写体に固有の情報を辞書データとして登録する辞書データ記憶手段と、
   前記画像加工処理手段による加工に対応する加工を前記辞書データ記憶手段の前記辞書データに行う辞書データ加工処理手段と、
   前記被写体検出手段によって検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定手段と、
   を有し、
   前記辞書データ加工処理手段は、前記画像加工処理手段による加工が所定の加工であれば、前記辞書データを加工しないことを特徴とする認証装置。
3. 画像において被写体を検出する被写体検出手段と、
   前記被写体検出手段によって検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理手段と、
   前記被写体に固有の情報を辞書データとして登録する辞書データ記憶手段と、
   前記画像加工処理手段による加工に対応する加工を前記辞書データ記憶手段の前記辞書データに行う辞書データ加工処理手段と、
   前記被写体検出手段によって検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定手段と、
   を有し、
   前記辞書データ加工処理手段は、前記画像加工処理手段による加工処理の度合いが閾値以上である場合に前記辞書データを加工することを特徴とする認証装置。
4. 画像において被写体を検出する被写体検出手段と、
   前記被写体検出手段によって検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理手段と、
   前記被写体に固有の情報を辞書データとして登録する辞書データ記憶手段と、
   前記画像加工処理手段による加工に対応する加工を前記辞書データ記憶手段の前記辞書データに行う辞書データ加工処理手段と、
   前記被写体検出手段によって検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定手段と、
   を有し、
   前記辞書データは一または複数の分類情報を含み、各分類情報は一または複数の前記被写体の情報を含み、前記認証判定手段による認証は分類情報ごとに行われ、
   前記辞書データ加工処理手段は、前記画像加工処理手段による加工の種類に応じて、加工後の辞書データを加工前の辞書データとは異なる分類情報で管理するか、同じ分類情報で管理するかを決定することを特徴とする認証装置。
5. 前記画像加工処理手段による加工の種類に応じて、加工後の辞書データを加工前の辞書データとは異なる分類情報で管理するか、同じ分類情報で管理するかを決定する表を保存したメモリを更に有し、前記辞書データ加工処理手段は前記メモリに保存された前記表を参照することを特徴とする請求項４に記載の認証装置。
6. 前記辞書データは、前記被写体検出手段によって検出された前記被写体の画像であることを特徴とする請求項１乃至５のいずれか１項に記載の認証装置。
7. 前記被写体の特徴を表す特徴情報を抽出する特徴情報抽出手段を更に有し、
   前記辞書データは、前記被写体の画像から前記特徴情報抽出手段によって抽出された前記特徴情報であることを特徴とする請求項１乃至５のいずれか１項に記載の認証装置。
8. 前記辞書データ加工処理手段は、前記辞書データの中で認証に使用されたデータ以外のデータを前記辞書データ記憶手段から消去することを特徴とする請求項１乃至７のいずれか１項に記載の認証装置。
9. 前記画像を撮像する撮像手段と、
   請求項１乃至８のうちいずれか１項の認証装置と、
   を有することを特徴とする撮像装置。
10. 画像において被写体を検出する被写体検出ステップと、
    前記被写体検出ステップにおいて検出された前記被写体の少なくとも一部を、複数の加工処理方法の中からユーザによって選択された１つ以上の加工処理方法に基づいて加工する画像処理を施す画像加工処理ステップと、
    前記被写体に固有の情報を辞書データとして登録する辞書データ記憶ステップと、
    前記１つ以上の加工処理方法に基づいて必要と判断された加工を前記辞書データ記憶ステップにて登録された前記辞書データに行う辞書データ加工処理ステップと、
    前記被写体検出ステップにて検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定ステップと、
    を有することを特徴とする認証方法。
11. 画像において被写体を検出する被写体検出ステップと、
    前記被写体検出ステップにおいて検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理ステップと、
    前記被写体に固有の情報を辞書データとして登録する辞書データ記憶ステップと、
    前記画像加工処理ステップによる加工に対応する加工を前記辞書データ記憶ステップにて登録された前記辞書データに行う辞書データ加工処理ステップと、
    前記被写体検出ステップにて検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定ステップと、
    を有し、
    前記辞書データ加工処理ステップは、前記画像加工処理ステップによる加工が所定の加工であれば、前記辞書データを加工しないことを特徴とする認証方法。
12. 画像において被写体を検出する被写体検出ステップと、
    前記被写体検出ステップにおいて検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理ステップと、
    前記被写体に固有の情報を辞書データとして登録する辞書データ記憶ステップと、
    前記画像加工処理ステップによる加工に対応する加工を前記辞書データ記憶ステップにて登録された前記辞書データに行う辞書データ加工処理ステップと、
    前記被写体検出ステップにて検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定ステップと、
    を有し、
    前記辞書データ加工処理ステップは、前記画像加工処理ステップによる加工処理の度合いが閾値以上である場合に前記辞書データを加工することを特徴とする認証方法。
13. 画像において被写体を検出する被写体検出ステップと、
    前記被写体検出手段において検出された前記被写体の少なくとも一部を加工する画像処理を施す画像加工処理ステップと、
    前記被写体に固有の情報を辞書データとして登録する辞書データ記憶ステップと、
    前記画像加工処理ステップによる加工に対応する加工を前記辞書データ記憶ステップにて登録された前記辞書データに行う辞書データ加工処理ステップと、
    前記被写体検出ステップにて検出される任意の画像の被写体が前記辞書データに登録されているかどうかを判定する認証判定ステップと、
    を有し、
    前記辞書データは一または複数の分類情報を含み、各分類情報は一または複数の前記被写体の情報を含み、前記認証判定ステップにおける認証は分類情報ごとに行われ、
    前記辞書データ加工処理ステップは、前記画像加工処理ステップによる加工の種類に応じて、加工後の辞書データを加工前の辞書データとは異なる分類情報で管理するか、同じ分類情報で管理するかを決定することを特徴とする認証方法。
14. 請求項１０乃至１３のいずれか１項に記載の認証方法が記述されたコンピュータで実行可能なプログラム。