JP6140976B2 - 撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、個人認証処理を行う撮像装置に関する。

従来から、複数の人物の顔などの認証データ（認証情報）を予め辞書データとして記憶し、取り込まれた個人の認証データと辞書データとして記憶された認証データとを比較して、取り込まれた個人の認証データを識別する個人認証方法が知られている。例えば、デジタルカメラは、被写体領域を特定し、この被写体領域と予め登録された顔画像とを比較して、これらが一致しているか否かを判定する。撮影時には、この判定結果をフォーカスなどの制御に用いる。このような個人認証方法は、画像の再生時にも利用されている。

一方、人物の顔をきれいに見せるため、顔画像を加工する技術が知られている。特許文献１には、人物の目を加工（補正）する画像処理方法が開示されている。

ところで、顔画像を用いた個人認証方法において、顔画像に加工を行う場合、画像加工に伴う特徴の変化が個人認証に大きな影響を与え、認証の一致度を低下させてしまうことがある。特許文献２には、画像を加工した場合における認証の一致度を予め算出し、認証に影響を与えない範囲で画像を加工する方法が開示されている。

特開２００７−１５７１７６号公報 特開２００５−３３３３４３号公報

一般的に、顔を利用した個人認証方法では、特徴的な部位である目、鼻、口を認証データ（認証要素データ）として用いることが多い。このため、特許文献２に開示されている方法では、個人認証処理の精度劣化を防ぐために所望の画像加工を行うことができない場合がある。

そこで本発明は、画像を加工した場合でも個人認証処理の精度劣化を低減する撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラムを提供する。

本発明の一側面としての撮像装置は、画像データから顔を検出する顔検出手段と、前記画像データから前記顔の特徴情報を抽出する抽出手段と、前記画像データのうち前記顔を含む少なくとも一部の画像領域に対する加工処理を行って加工後の画像データを生成する画像加工処理手段と、前記加工処理を行う前の前記画像データから抽出した前記顔の特徴情報を、前記加工処理を行って生成された前記加工後の画像データに付加する付加手段と、前記顔に関して予め保持された認証情報と、前記加工後の画像データに付加された前記顔の特徴情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行う認証手段と、を有する。

本発明の他の側面としての撮像装置の制御方法は、画像データから顔を検出するステップと、前記画像データから前記顔の特徴情報を抽出するステップと、前記画像データのうち前記顔を含む少なくとも一部の画像領域に対する加工処理を行って加工後の画像データを生成するステップと、前記加工処理を行う前の前記画像データから抽出した前記顔の特徴情報を、前記加工処理を行って生成された前記加工後の画像データに付加するステップと、前記顔に関して予め保持された認証情報と、前記加工後の画像データに付加された前記顔の特徴情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップと、を有する。

本発明の他の側面としての画像処理装置は、顔を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後の画像データに付加された、前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記顔に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行う認証手段と、を有する。

本発明の他の側面としての画像処理方法は、顔を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後の画像データに付加された、前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記顔に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップと、を有する。

本発明の他の側面としての画像処理プログラムは、顔を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後の画像データに付加された、前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記顔に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップと、を情報処理装置に実行させるように構成されている。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、画像を加工した場合でも個人認証処理の精度劣化を低減する撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラムを提供することができる。

実施例１における撮像装置のブロック図である。 実施例１における個人認証に用いられる辞書データの登録方法を示すフローチャートである。 実施例１における撮影時の個人認証処理および画像加工処理を示すフローチャートである。 実施例１における再生時の個人認証処理および画像加工処理を示すフローチャートである。 実施例１における加工前後の画像および付帯情報の説明図である。 実施例１における加工前画像の生成方法を示すフローチャートである。 実施例２における加工前後の画像および付帯情報の説明図である。 実施例２における加工前画像の生成方法を示すフローチャートである。 実施例１における画像データと付帯情報との関係図である。 実施例３における加工前後の画像および付帯情報の説明図である。 実施例３における再生時の個人認証処理および画像加工処理を示すフローチャートである。 実施例３における加工前後の画像および付帯情報の説明図である。 実施例１における個人認証処理の際に用いられる閾値の決定方法を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

まず、本発明の実施例１における撮像装置について説明する。図１は、本実施例におけるデジタルカメラ１００（撮像装置）の構成を示すブロック図である。図１において、１０３はフォーカスレンズを含む撮影レンズ、１０１は絞り機能を備えるシャッター、１２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳなどで構成される撮像部（撮像素子）である。１２３はＡ／Ｄ変換器であり、撮像部１２２から出力されたアナログ信号をデジタル信号に変換する。１０２はバリアであり、撮影レンズ１０３を覆うことにより、撮影レンズ１０３、シャッター１０１、および、撮像部１２２を含む撮像系の汚れや破損を防止する。

１２４は画像処理部であり、Ａ／Ｄ変換器１２３からのデータまたはメモリ制御部１１５からのデータに対して、所定の画素補間、縮小などのリサイズ処理、および、色変換処理を行う。また画像処理部１２４は、撮像した画像データ（撮影画像）を用いて所定の演算処理を行う。システム制御部１５０は、画像処理部１２４の演算結果に基づいて、露光制御や測距制御（焦点検出制御）を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。更に画像処理部１２４は、撮像した画像データを用いて所定の演算処理を行い、その演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理を行う。

Ａ／Ｄ変換器１２３からの出力データは、画像処理部１２４およびメモリ制御部１１５を介してメモリ１３２に書き込まれるか、または、メモリ制御部１１５を介してメモリ１３２に直接書き込まれる。メモリ１３２は、撮像部１２２により得られてＡ／Ｄ変換器１２３によりデジタルデータに変換された画像データや、表示部１２８に表示するための画像データを格納する。メモリ１３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。またメモリ１３２は、画像表示用のメモリ（ビデオメモリ）を兼ねている。

１１３はＤ／Ａ変換器であり、メモリ１３２に格納されている画像表示用のデータをアナログ信号に変換して表示部１２８に供給する。このようにして、メモリ１３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１１３を介して表示部１２８により表示される。表示部１２８は、ＬＣＤなどの表示器上に、Ｄ／Ａ変換器１１３からのアナログ信号に応じた表示を行う。不揮発性メモリ１５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数やプログラムなどが記憶される。ここでプログラムとは、例えば、本実施例において後述する各種フローチャートを実行するためのプログラムである。

１５０はシステム制御部であり、デジタルカメラ１００の全体を制御する。システム制御部１５０は、前述の不揮発性メモリ１５６に記録されたプログラムを実行することにより、後述する本実施例の各処理を実現する。１５２はシステムメモリであり、例えばＲＡＭである。システムメモリ１５２には、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１５６から読み出されたプログラムなどを展開する。またシステム制御部１５０は、メモリ１３２、Ｄ／Ａ変換器１１３、表示部１２８などを制御することにより表示制御を行う。

モード切替スイッチ１６０、シャッターボタン１６１、第一シャッタースイッチ１６２、第二シャッタースイッチ１６３、および、操作部１７０は、システム制御部１５０に対して各種の動作指示を入力するための操作手段である。モード切替スイッチ１６０は、システム制御部１５０の動作モードを切り替え、静止画記録モード、動画記録モード、再生モードなどのいずれかを選択する。

第一シャッタースイッチ１６２は、デジタルカメラ１００に設けられたシャッターボタン１６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり、第一シャッタースイッチ信号ＳＷ１を発生させる。シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理などの動作が開始する。第２シャッタースイッチ１６３は、シャッターボタン１６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生させる。システム制御部１５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部１２２からの信号読み出しから記録媒体１０４に画像データを書き込むまでの一連の撮影処理の動作が開始する。

操作部１７０の各操作部材は、表示部１２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、終了ボタン、戻りボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタンなどがある。例えばメニューボタンが押されると、各種の設定可能なメニュー画面が表示部１２８に表示される。利用者は、表示部１２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて、直感的に各種設定を行うことができる。

１８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などにより構成され、電池の装着の有無、電池の種類、および、電池残量の検出を行う。また電源制御部１８０は、その検出結果およびシステム制御部１５０の指示に基づいて、ＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間だけ記録媒体１０４を含む各部へ供給する。

１３０は電源部であり、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、Ｌｉ電池などの二次電池、ＡＣアダプターなどを備えて構成される。１１８はメモリカードやハードディスクなどの記録媒体１０４とのインターフェースである。記録媒体１０４は、メモリカードなどの記録媒体であり、半導体メモリや磁気ディスクなどから構成される。１７２は電源スイッチであり、電源のオン／オフを切り替える。

本実施例のデジタルカメラ１００は、中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは、撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは、顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。

１９０は顔検出部（被写体検出手段）である。顔検出部１９０は、画像データから被写体（顔）を検出する。より具体的には、顔検出部１９０は、画像データに含まれる被写体から、目、口などのエッジを検出して人物の顔の特徴部分を検出する。すなわち顔検出部１９０は、顔が占める画像データの領域（顔位置と顔の大きさ）、顔の確からしさ（顔信頼度）に基づいて、その画像データから顔領域を検出する顔検出処理や識別処理を実行する。また顔検出部１９０は、検出された顔領域から、顔の器官（目、鼻、口など）の位置情報を検出する。

１９１は画像加工処理部（画像加工処理手段）であり、顔検出部１９０で検出された顔の器官の位置情報に基づいて、画像データの顔領域に対し、目の拡大処理や美肌処理などの顔領域を加工する画像処理（以下、「加工処理」という。）を行う。すなわち画像加工処理部１９１は、画像データのうち被写体（顔）を含む少なくとも一部の画像領域に対する加工処理を行って加工後画像を生成する。

１９２は特徴情報抽出部であり、顔検出部１９０で検出された顔領域から、個人認証の際に用いられる特徴情報を抽出する。１９３は辞書データ記録部であり、個人認証の照合時に用いられる辞書データを記録する。ここで、辞書データとは、特徴情報抽出部１９２で抽出された特徴情報である。辞書データ記録部１９３は、不揮発性メモリ１５６で代用することも可能である。１９４は、辞書データ記録部１９３に記録された辞書データから、個人認証に用いられる辞書データを選択する辞書データ選択部である。

１９５は認証判定部（認証判定手段）である。認証判定部１９５は、被写体（顔）に関して予め保持された認証情報（登録された特徴情報）と加工前画像（の特徴情報）とを用いて認証を行う。すなわち認証判定部１９５は、システム制御部１５０より辞書データ記録部１９３から読み出された辞書データと、顔検出部１９０で検出された顔領域から特徴情報抽出部１９２により抽出された特徴情報とを、パターンマッチングで比較する。そして認証判定部１９５は、パターンマッチングで算出された類似度と予め設定された閾値（所定の閾値）とを比較する。認証判定部１９５は、この類似度が所定の閾値以上である場合、顔検出部１９０で検出された顔領域が辞書データ記録部１９３に記録された人物であると識別、すなわち個人認証が成功したと判定する。

１９６は加工前画像生成部（加工前画像生成手段）である。加工前画像生成部１９６は、画像加工処理部１９１により加工された画像（加工後画像）に所定の処理を行い、加工前の画像（加工前画像）を生成する。このとき、加工前画像生成部１９６は、加工後画像から加工前画像を生成する際に、後述の付帯情報を用いる。または、加工前画像生成部１９６は、付帯情報のみを用いて加工前画像を生成するように構成される。このように加工前画像生成部１９６は、少なくとも付帯情報を用いて（付帯情報および加工後画像を用いて、または、付帯情報のみを用いて）加工前画像を生成する。

１９７は付帯情報付加部（付帯情報付加手段）である。付帯情報付加部１９７は、加工前画像生成部１９６が加工前画像を生成するのに必要な付帯情報（加工処理に関する付帯情報）を、加工後画像に付加する。なお、図１を参照して説明した撮像装置（デジタルカメラ１００）の構成は一例であり、以下に説明される動作を実行可能であれば、撮像装置の構成は、図１に示される構成に限定されるものではない。

次に、図２を参照して、本実施例の撮像装置において個人認証に用いられる辞書データの登録方法について説明する。図２は、個人認証に用いられる辞書データの登録方法（記憶処理）を示すフローチャートである。図２の各ステップは、主に、システム制御部１５０の指令に基づいて実行される。

まずステップＳ２０１において、ユーザは、デジタルカメラ１００の動作モードとして、静止画記録モードまたは再生モードのいずれかを選択する。ステップＳ２０１にて静止画記録モードが選択された場合、ステップＳ２０２に進み、撮像部１２２は画像データを取得する。一方、再生モードが選択された場合、ステップＳ２０３に進み、記録媒体１０４に記録された画像データの中から加工処理を行う画像データを選択する。

続いてステップＳ２０４において、顔検出部１９０は、ステップＳ２０２またはステップＳ２０３で取得された画像データに対し、顔検出処理を行う。そしてステップＳ２０５において、顔検出部１９０は、画像データにおいて顔（顔領域）が検出されたか否かを判定する。ステップＳ２０５にて顔領域が検出されない場合、ステップＳ２０１に戻り、再度、撮像部１２２より画像データが取得されるか、または、記録媒体１０４に記録された画像データの中から一つの画像データを選択する。

一方、ステップＳ２０５にて少なくとも一つの顔領域が検出された場合、システム制御部１５０は、検出された複数の顔領域のそれぞれに関して、顔領域の位置、サイズ、および、顔の器官（目、鼻、口など）の位置情報を取得する。また、顔検出成功の結果として、例えば、顔検出に成功していることを示す顔枠を表示部１２８に表示する。そしてステップＳ２０６において、ユーザは、検出された複数の顔（顔領域）の中から辞書データへ登録を行う顔を選択する。

次にステップＳ２０７において、システム制御部１５０（特徴情報抽出部１９２）は、ユーザにより選択された顔の特徴情報を算出し、辞書データ記録部１９３はこの特徴情報を辞書データとして登録する。続いてステップＳ２０８において、画像データ内に検出された複数の顔のうち、ステップＳ２０６にて選択された顔以外に登録を行いたい顔があるか否かをユーザに選択させる。既に選択された顔以外に登録を行いたい顔がある場合、ステップＳ２０６に戻り、再度、検出された顔（顔領域）から登録を行いたい顔を選択する。一方、登録を行いたい顔がない場合、本フローを終了する。

次に、図３を参照して、本実施例における撮像装置による撮影時の個人認証処理および画像加工処理について説明する。図３は、撮像装置（デジタルカメラ１００）による撮影時の個人認証処理および画像加工処理を示すフローチャートである。図３の各ステップは、主に、システム制御部１５０の指令に基づいて実行される。

ユーザがデジタルカメラ１００の動作モードとして撮影モードを選択すると、本フローの処理が開始する。まずステップＳ３０１において、撮像部１２２は画像データを取得する。続いてステップＳ３０２において、顔検出部１９０は、ステップＳ３０１にて取得された画像データに含まれる顔に対して顔検出処理を行う。そしてステップＳ３０３において、顔検出部１９０は、少なくとも一つの顔領域が検出されたか否かを判定する。ステップＳ３０３にて顔領域が検出されない場合、ステップＳ３０４に進み、システム制御部１５０は、画像データ（ライブビュー画像）を表示部１２８に表示する。その後、ステップＳ３０１に戻り、次の画像データを撮像部１２２より取得する。一方、ステップＳ３０３にて少なくとも一つ以上の顔領域が検出された場合、システム制御部１５０は、検出された複数の顔領域のそれぞれに関して、顔領域の位置、サイズ、および、顔の器官（目、鼻、口など）の位置情報を取得する。

次にステップＳ３０５において、検出された顔領域のそれぞれに適用される加工処理（加工処理情報）が既に設定されているか否かを判定する。この加工処理が設定されていない場合、ステップＳ３０６に進み、システム制御部１５０は、その画像データにおいて検出された顔領域のうち少なくとも一つの顔領域に適用される加工処理（加工処理情報）をユーザに選択させる。このとき、設定される加工処理を顔領域ごとに変更することも可能である。続いてステップＳ３０７において、辞書データ選択部１９４は、辞書データ記録部１９３に記録された辞書データの中から個人認証に用いられる辞書データを選択して読み出す。

次にステップＳ３０８において、認証判定部１９５は、ステップＳ３０７にて読み出された辞書データを用いて、ステップＳ３０２にて検出された顔領域に対して個人認証を行う。ここで、個人認証を行う顔領域は、加工前の画像である。また、個人認証の利用方法として、個人認証の判定結果を例えばＡＦ（オートフォーカス）処理の制御に用いることが可能である。

続いてステップＳ３０９において、画像加工処理部１９１は、ステップＳ３０２にて検出された顔領域に対して、ステップＳ３０６で設定された加工処理（加工処理情報に基づく処理）を実行する。そしてステップＳ３１０において全ての囲う処理が実行されたか否かを判定し、全ての加工処理が完了するまでステップＳ３０９の処理を繰り返し実行する。

続いてステップＳ３１１において、ステップＳ３０９にて加工処理された画像データ（加工後の画像データ）をライブビュー画像として表示部１２８に表示する。続いてステップＳ３１２において、付帯情報付加部１９７は、加工処理を施した画像データ（加工後の画像データ）に加工処理に関する付帯情報を付加する。付帯情報に関しては追って詳述する。その後、ステップＳ３０１に戻り、ライブビューが終了するまで、ステップＳ３０１〜Ｓ３１２を繰り返す。

次に、図４を参照して、本実施例における撮像装置による再生時の個人認証処理および画像加工処理について説明する。図４は、撮像装置（デジタルカメラ１００）による再生時の個人認証処理および画像加工処理を示すフローチャートである。図４の各ステップは、主に、システム制御部１５０の指令に基づいて実行される。

ユーザがデジタルカメラ１００の動作モードとして再生モードを選択すると、本フローの処理が開始する。まずステップＳ４０１において、システム制御部１５０は、記録媒体１０４から画像データを取得する。続いてステップＳ４０２において、顔検出部１９０は、ステップＳ４０１にて取得された画像データに含まれる顔に対して顔検出処理を行う。そしてステップＳ４０３において、顔検出部１９０は、少なくとも一つの顔領域が検出されたか否かを判定する。ステップＳ４０３にて顔領域が検出されない場合、ステップＳ４０４に進み、システム制御部１５０は、画像データ（ライブビュー画像）を表示部１２８に表示する。その後、ステップＳ４０１に戻り、次の画像データを記録媒体１０４から取得する。一方、ステップＳ４０３にて少なくとも一つ以上の顔領域が検出された場合、システム制御部１５０は、検出された複数の顔領域のそれぞれに関して、顔領域の位置、サイズ、および、顔の器官（目、鼻、口など）の位置情報を取得する。

次にステップＳ４０５において、システム制御部１５０は、検出された顔領域のそれぞれに対して加工処理が実行されているか否かを判定する。顔領域に加工処理が実行されていない場合、ステップＳ４０７に進む。一方、顔領域に加工処理が実行されている場合、ステップＳ４０６に進む。ステップＳ４０６において、加工前画像生成部１９６は、付帯情報付加部１９７により付加された付帯情報を用いて、画像データにおいて検出された顔領域のうち少なくとも一つの顔領域に対して加工前の画像データ（加工前画像）を生成する。加工前画像の生成方法については、追って詳述する。続いてステップＳ４０７において、辞書データ選択部１９４は、辞書データ記録部１９３に記録された辞書データの中から個人認証に用いられる辞書データを選択して読み出す。

次にステップＳ４０８において、認証判定部１９５は、ステップＳ４０７にて読み出された辞書データを用いて、ステップＳ４０６にて生成された加工前画像に対して個人認証を行う。ここで、個人認証の利用方法として、個人認証の判定結果を例えば検索時の特定被写体の抽出処理の制御に用いることが可能である。続いてステップＳ４０９において、ステップＳ４０１にて取得された画像データをライブビュー画像として表示部１２８に表示する。

次に、図５を参照して、本実施例における加工画像の付帯情報について説明する。図５は、加工前後の画像（加工前画像、加工後画像）および加工処理に関する付帯情報の説明図であり、図５（ａ）は加工前画像、図５（ｂ）加工後画像をそれぞれ示している。図５（ｂ）の加工後画像では、主被写体に対して小顔化処理および美肌処理が施されている。図５（ｃ）は、加工前画像生成部１９６が加工前画像を生成するために必要な付帯情報の一例である。付帯情報として、加工内容（加工処理の内容）、処理中心座標、処理領域、および、加工処理ごとのパラメータ（歪みパラメータ、美肌パラメータ）が、加工の順に示されている。本実施例では、最初に小顔化処理を施し、続いて美肌処理を施しているため、図５（ｃ）に示されるように各加工処理に関する付帯情報が表示されている。小顔化処理は例えばアフィン変換を用いて実行されるため、パラメータとしてアフィン変換のパラメータ（歪みパラメータ）が表示されている。また、美肌処理は例えばカラーマトリクス変換を用いて実行されるため、パラメータとしてカラーマトリクス変換のパラメータ（美肌パラメータ）が表示される。このように、本実施例の付帯情報は、加工前画像と加工後画像とを変換するためのパラメータを含む。

なお、本実施例における付帯情報は、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａｓ）規格に準拠し、画像ファイルのヘッダ領域に保持（記録）される。ただし付帯情報の保持方法はこれに限定されるものではなく、別のファイルや別のフォーマット形式を採用してもよい。また、図５では被写体が単数（１名）であり、１名分の付帯情報が保持されているが、被写体が複数である場合、複数被写体分の付帯情報を保持するようにしてもよい。また、付帯情報をそのままの状態で保持すると、第三者が画像データの被写体に対して加工処理が施されているか否かを調べることができる。このため本実施例では、第三者に加工処理が施されているか否かを知られたくない場合、暗号化処理を施してもよい。この場合、付帯情報付加部１９７は、付帯情報を暗号化して加工後画像に付加する。なお暗号化処理の方法は、公知の方法を用いることができるため、ここでの詳細な説明は省略する。

次に、図６を参照して、加工前画像生成部１９６による加工前画像の生成方法について述べる。図６は、加工前画像の生成方法を示すフローチャートである。加工前画像生成部１９６による加工前画像の生成は、システム制御部１５０の指令に基づいて行われる。

まずステップＳ６０１において、システム制御部１５０は、付帯情報付加部１９７により画像データ（加工後画像）に付加された付帯情報を読み出して取得する。続いてステップＳ６０２において、この付帯情報に暗号化処理が施されているか否かを判定する。付帯情報に暗号化処理が施されている場合、ステップＳ６０３において、暗号の復号化処理を行うことが可能であるか否かを判定する。例えば撮影に用いられたカメラと別のカメラで画像データを再生する場合、暗号化手段を判定することができず復号化処理を行うことができないことがある。ステップＳ６０３にて復号化処理が可能である場合、ステップＳ６０４において暗号の復号化処理を行う。一方、復号化処理できない場合、本フローの処理を終了する。

次にステップＳ６０５において、画像データ（加工後画像）に対して加工処理（他の加工処理）を施したか否かを判定する。複数の加工処理が施されている場合、最後に施された加工処理を選択し、ステップＳ６０６に進む。一方、他の画像処理が施されていない場合、本フローの処理を終了する。

ステップＳ６０６において、ステップＳ６０５にて選択された加工処理内容（加工内容）に応じて、加工後画像から加工前画像を生成するために用いられる逆変換パラメータを算出する。図５を参照して説明した例では、最後に施された加工処理は美肌処理である。このため、カラーマトリクス変換の逆変換パラメータを算出する。続いてステップＳ６０７において、画像データ（加工後データ）に対して逆変換を行い、一つ加工前の画像データを生成する。この画像データが生成されると、ステップＳ６０５に戻り、まだ逆変換を行っていない加工処理があるか否かを判定し、そのうち最後に施した加工処理を選択する。

二巡目のステップＳ６０５では、小顔化処理が選択される。このため、ステップＳ６０６にてアフィン変換の逆変換パラメータを算出し、ステップＳ６０７にて逆変換を行う。また三巡目のステップＳ６０５では、この画像データに対して加工処理は施されていない。このため、加工前画像が生成された状態となり、本フローの処理を終了する。

本実施例において、付帯情報付加部１９７が加工処理に用いられる変換パラメータを算出し、加工前画像生成部１９６が加工前画像の生成に用いられる逆変換パラメータを算出する。ただし本実施例はこれに限定されるものではなく、例えば、付帯情報付加部１９７が逆変換パラメータを予め算出しておき、この逆変換パラメータを加工前画像の生成の際に用いるように構成してもよい。この場合、例えば再生時のステップＳ４０６における逆変換パラメータの算出処理（ステップＳ６０６）を省略することができる。また他の方法として、付帯情報付加部１９７は、特徴情報抽出部１９２で抽出された特徴情報を画像データに直接付加してもよい。この場合、再生時のステップＳ４０８の認証処理において、直接、辞書データとのマッチングを行うことができる。

次に、加工後画像の個人認証方法における特徴的な部分について説明する。前述のように、撮影時はステップＳ３０８、再生時はステップＳ４０８がそれぞれ個人認証処理である。撮影時には、加工前画像から算出された特徴情報と辞書データとのパターンマッチングを行う。再生時には、暗号の復号化処理ができない場合など加工前画像を生成できない場合、加工後画像から特徴情報を算出してもよい。

認証判定部１９５は、パターンマッチングの結果、画像データ中の特徴情報と辞書データとの類似度を算出する。この類似度は閾値（所定の閾値）と比較される。この類似度が所定の閾値以上である場合、本人（同一人）であると判定される。一方、類似度が所定の閾値未満である場合、他人であると判定される。このため、類似度と比較される閾値を高く設定すると、他人拒否率は向上する。ただし、この場合、本人拒否率も高くなる。

また、加工処理を施した画像（加工後画像）に対してパターンマッチングを行う場合、この閾値を一定値以上に設定すると本人拒否率が高くなり、適切な認証を行うことができない場合がある。このため本実施例では、加工後画像に対する個人認証処理の際に、加工前画像を利用できる場合と利用できない可能性がある場合とにより、この閾値を変更することが好ましい。

図９は、画像データと付帯情報との関係図である。図９（ａ）〜（ｄ）において、上側に画像データ、下側に付帯情報がそれぞれ示されている。図９（ａ）は画像加工が施されていない場合、図９（ｂ）は画像加工が施されている場合をそれぞれ示す。また、図９（ｃ）は画像加工が施されており、かつ、暗号の復号化処理が可能である場合、図９（ｄ）は画像加工が施されており、かつ、暗号の復号化処理ができない場合をそれぞれ示す。

次に、図１３を参照して、パターンマッチング（個人認証処理）の際に用いられる閾値の決定方法について説明する。図１３は、個人認証処理の際に用いられる閾値の決定方法を示すフローチャートである。図１３の各ステップは、システム制御部１５０の指令に基づいて行われる。

まずステップＳ１３０１において、システム制御部１５０（認証判定部１９５）は、付帯情報が暗号化されているか否かを判定する。付帯情報が暗号化されていない場合、ステップＳ１３０４に進む。

一方、ステップＳ１３０１にて付帯情報が暗号化されている場合、ステップＳ１３０２に進む。そしてステップＳ１３０２において、システム制御部１５０（認証判定部１９５）は、暗号の復号化処理が可能であるか否かを判定する。復号化できない場合、ステップＳ１３０３に進み、閾値Ｔｈｒｅｓｈ３（第３の閾値）を設定する。

一方、ステップＳ１３０２にて復号化が可能である場合、ステップＳ１３０４に進む。そしてステップＳ１３０４において、加工前画像生成部１９６は、加工前画像を生成するための逆変換ができたか否かを判定する。実施例４にて説明するように、加工前画像生成部１９６を備えた装置が、画像データの加工に用いられた画像加工処理部１９１を備えた装置と異なる場合、加工前画像を生成するための逆変換に失敗することもある。また、複数の加工処理が施されている場合、複数の逆変換が必要となる。ステップＳ１３０４において、全ての逆変換が成功した場合、ステップＳ１３０５に進み、閾値Ｔｈｒｅｓｈ１（第１の閾値）を設定する。一方、少なくとも一つの逆変換が失敗した場合、ステップＳ１３０６に進み、閾値Ｔｈｒｅｓｈ２（第２の閾値）を設定する。

前述の図９との関係では、図９（ａ）の状態では閾値Ｔｈｒｅｓｈ１が設定（選択）される。また、図９（ｂ）および図９（ｃ）の状態において、全ての逆変換が成功した場合には閾値Ｔｈｒｅｓｈ１が設定され、少なくとも一つの逆変換が失敗した場合には閾値Ｔｈｒｅｓｈ２が設定（選択）される。また、図９（ｄ）の状態では閾値Ｔｈｒｅｓｈ３が設定（選択）される。

本実施例において、閾値Ｔｈｒｅｓｈ１、Ｔｈｒｅｓｈ２、Ｔｈｒｅｓｈ３は、Ｔｈｒｅｓｈ１＞Ｔｈｒｅｓｈ２＞Ｔｈｒｅｓｈ３の関係を満たすように設定される。閾値Ｔｈｒｅｓｈ２は、少なくとも一つの逆変換が失敗しているため、閾値Ｔｈｒｅｓｈ１よりも低い値に設定される。また、暗号の復号化処理を行うことができない場合、画像データに対して画像加工が施されているか否かを判定することができない。画像加工を施されている場合、認証精度が大きく劣化する可能性があるため、閾値Ｔｈｒｅｓｈ３は、閾値Ｔｈｒｅｓｈ２よりも低い値に設定される。

このように本実施例において、認証判定部１９５は、加工前画像生成部１９６により生成された加工前画像の状態（本来な加工前画像が取得できたか否か）に応じて、認証情報に対する加工前画像の閾値を変更する。より具体的には、認証判定部１９５が暗号化された付帯情報の複合化処理を行うことができたか否か、または、加工後画像に対する全ての逆変換が成功して本来の加工前画像を取得することができたか否かに応じて閾値を調整する。これにより、付帯情報の状況に応じて柔軟な対応が可能である。

次に、本発明の実施例２について説明する。本実施例は、撮像装置による加工画像の付帯情報および加工前画像の生成方法が実施例１と異なり、他の構成は実施例１と同様である。このため、実施例１と異なる箇所についてのみ説明し、実施例１と同様の箇所についての説明は省略する。

まず、図７を参照して、本実施例における撮像装置による加工前後の画像（加工前画像および加工後画像）および付帯情報について説明する。図７は、加工前後の画像および付帯情報の説明図であり、図７（ａ）は加工前画像、図７（ｂ）は加工後画像をそれぞれ示している。図７（ｂ）の画像データでは、主被写体に対して小顔化処理および美肌処理が施されている。図７（ｃ）は、加工前画像生成部１９６が加工前画像を生成する際に用いられる付帯情報である。本実施例の付帯情報として、加工処理の領域（加工領域）、および、加工領域と同じサイズの加工前画像（加工前データ）が保持されている。このように、本実施例の付帯情報は、少なくとも一部の画像領域（加工処理が施された顔領域）における加工前画像である。すなわち本実施例において、加工前画像生成部１９６は、加工前画像そのものを示す付帯情報を用いて加工前画像を生成する。

次に、図８を参照して、加工前画像生成部１９６により行われる加工前画像の生成方法について説明する。図８は、加工前画像の生成方法を示すフローチャートである。本実施例における加工前画像の生成方法（図８）は、複数種類の加工処理を施した場合のイタレーション処理が無い点、および、加工前画像の生成が差し替え処理により行われる点で、実施例１における加工前画像の生成方法（図６）と異なる。

まずステップＳ８０１において、システム制御部１５０（加工前画像生成部１９６）は、撮影時に付帯情報付加部１９７により付加された付帯情報を読み出して取得する。続いてステップＳ８０２において、付帯情報に対して暗号化処理が施されているか否かを判定する。暗号化処理が施されていない場合、ステップＳ８０５に進む。

一方、暗号化処理が施されている場合、ステップＳ８０３に進む。そしてステップＳ８０３において、暗号の復号化処理を行うことができるか否かを判定する。復号化処理を行うことができない場合、本フローの処理を終了する。

一方、復号化処理を行うことができる場合、ステップＳ８０４に進み、暗号の復号化処理を行う。そしてステップＳ８０５において、画像データに対してステップＳ８０１にて取得された付帯情報により特定される処理領域（画像加工処理が施された領域）を、付帯情報により特定される加工前画像の対応領域（処理領域に相当する領域）と入れ替える。このように本実施例の構成によれば、複数種類の画像加工処理が施されている場合でも、一括で加工前画像を生成することができる。

次に、本発明の実施例３について説明する。本実施例は、撮像装置による加工画像の付帯情報および加工前画像の生成方法が実施例１と異なり、他の構成は実施例１と同様である。このため、実施例１と異なる箇所についてのみ説明し、実施例１と同様の箇所についての説明は省略する。

まず、図１０を参照して、本実施例における撮像装置による加工前後の画像（加工前画像および加工後画像）および付帯情報について説明する。図１０は、加工前後の画像および付帯情報の説明図であり、図１０（ａ）は加工前画像、図１０（ｂ）は加工後画像をそれぞれ示している。また図１０（ｂ）では、主被写体に対して小顔化処理および美肌処理が施されている。図１０（ｃ）は、加工前画像生成部１９６が加工前画像を生成する際に用いられる付帯情報である。本実施例の付帯情報として、顔領域の座標、および、認証判定部１９５で辞書データとのパターンマッチングを行うために用いられる特徴情報が保持されている。このように、本実施例の付帯情報は、認証の際に用いられる被写体（顔）の特徴情報である。

次に、図１１を参照して、本実施例の撮像装置による再生時の個人認証処理および加工処理について説明する。図１１は、再生時の個人認証処理および画像加工処理を示すフローチャートである。図１１において、ステップＳ１１０６（加工前の特徴情報の読み出し）、および、ステップＳ１１０８（加工処理前の特徴情報と個人認証）が実施例１の図４におけるステップＳ４０６、Ｓ４０８とそれぞれ異なる。図１１のステップＳ１１０１〜Ｓ１１０５、Ｓ１１０７、Ｓ１１０９は、図４のステップＳ４０１〜Ｓ４０５、Ｓ４０７、Ｓ４０９とそれぞれ同様であるため、これらの説明は省略する。

ステップＳ１１０６において、認証判定部１９５は、加工前の特徴情報、すなわち辞書データとのパターンマッチングを行うために用いられる特徴情報を読み出す。またステップＳ１１０８において、認証判定部１９５は、ステップＳ１１０６にて読み出された特徴情報に対して個人認証を行う。すなわち認証判定部１９５は、特徴情報と辞書データとのパターンマッチングを行うことにより個人認証を行う。本実施例において、特徴情報が暗号化されている場合、実施例１または実施例２と同様に、暗号の復号化処理を行うステップを追加してもよい。

また、本実施例の別の実施形態として、撮像装置による加工後画像の付帯情報として、撮影時の個人認証処理で認証した個人ＩＤを保持してもよい。図１２は、別の実施形態における加工前後の画像および付帯情報の説明図であり、図１２（ａ）は加工前画像、図１２（ｂ）は加工後画像をそれぞれ示している。また図１２（ｂ）では、主被写体に対して小顔化処理および美肌処理が施されている。図１２（ｃ）は、加工前画像生成部１９６が加工前画像を生成する際に用いられる付帯情報である。本実施例の付帯情報として、顔領域の座標、および、撮影時の個人認証処理で認証した個人ＩＤが保持されている。このように、本実施例の付帯情報は、認証の際に用いられる被写体の個人ＩＤである。本実施形態によれば、ステップＳ１１０８の加工処理前の特徴情報および個人ＩＤを用いて個人認証処理を行うことができる。

次に、本発明の実施例４について説明する。実施例１〜３では、撮像装置による撮影時または再生時の個人認証処理について説明しているが、撮像装置を用いずに再生時の個人認証処理を行ってもよい。例えば、画像処理装置を備えたコンピュータ（情報処理装置）を用いて撮影画像（画像データ）を再生する場合においても、同様の処理により本発明の効果を達成することができる。

また、各実施例の機能を実現するソフトウェアのプログラムコード（画像処理プログラム）をコンピュータで読み取り可能な記憶媒体を、システムあるいは装置（画像処理装置）に供給することもできる。このとき、各実施例の機能は、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコード（画像処理プログラム）を読み出して実行することにより達成可能である。

この場合、記憶媒体から読み出されたプログラムコード自体が各実施例の機能を実現し、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また各実施例は、コンピュータが読み出したプログラムコードを実行することで、各実施例の機能が実現される場合に限定されるものではない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが各実施例の機能を実現する処理の一部または全部を行う場合にも、このようなプログラムコードは本発明の実施例に含まれる。

また、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれて実施することも可能である。したがって、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

上記各実施例によれば、画像を加工した場合でも個人認証処理の精度劣化を低減する撮像装置、撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ デジタルカメラ
１９０ 顔検出部
１９１ 画像加工処理部
１９５ 認証判定部
１９６ 加工前画像生成部
１９７ 付帯情報付加部

Claims (6)

1. 画像データから顔を検出する顔検出手段と、
   前記画像データから前記顔の特徴情報を抽出する抽出手段と、
   前記画像データのうち前記顔を含む少なくとも一部の画像領域に対する加工処理を行って加工後の画像データを生成する画像加工処理手段と、
   前記加工処理を行う前の前記画像データから抽出した前記顔の特徴情報を、前記加工処理を行って生成された前記加工後の画像データに付加する付加手段と、
   前記顔に関して予め保持された認証情報と、前記加工後の画像データに付加された前記顔の特徴情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行う認証手段と、を有することを特徴とする撮像装置。
2. 前記付加手段は、前記顔の特徴情報を暗号化して前記加工後の画像データに付加することを特徴とする請求項１に記載の撮像装置。
3. 顔を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後の画像データに付加された、前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記顔に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行う認証手段と、を有することを特徴とする画像処理装置。
4. 画像データから顔を検出するステップと、
   前記画像データから前記顔の特徴情報を抽出するステップと、
   前記画像データのうち前記顔を含む少なくとも一部の画像領域に対する加工処理を行って加工後の画像データを生成するステップと、
   前記加工処理を行う前の前記画像データから抽出した前記顔の特徴情報を、前記加工処理を行って生成された前記加工後の画像データに付加するステップと、
   前記顔に関して予め保持された認証情報と、前記加工後の画像データに付加された前記顔の特徴情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップと、を有することを特徴とする撮像装置の制御方法。
5. 顔を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後の画像データに付加された、前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記顔に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップと、を有することを特徴とする画像処理方法。
6. 顔を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後の画像データに付加された、前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記顔に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップと、を情報処理装置に実行させるように構成されていることを特徴とする画像処理プログラム。