JP6097632B2 - 撮像装置及びその制御方法、プログラム並びに記憶媒体 - Google Patents

Description

本発明は、被写体や撮影者を認証する機能を有する撮像装置に関する。

最近のデジタルカメラ等の撮像装置には、顔認識機能や顔辞書機能といった特定の被写体を認証する機能を備えるものが存在する。顔認識機能は、撮像画像中から人物の顔領域を識別する機能であり、被写体に人物が含まれているかの判定や、焦点を自動で人物に合わせる機能等に応用されて、撮影者が快適に撮影するための補助的手段として活用されている。顔辞書機能は、顔認識機能により認識された人物の顔の特徴量を抽出し、予め登録された人物の特徴量と比較することによって人物を特定する機能であり、撮影後の画像データの整理や検索等に応用されている。

これらの機能を応用した技術として、例えば、特許文献１には、撮影者側の被写体を撮影するサブカメラを備え、サブカメラで撮影された画像から撮影者を認識し、撮影者が変更されたことに応じてカメラの設定を自動で切り替える技術が記載されている。

特開２００９−２９０２６０号公報

例えば、顔辞書機能を備えるカメラを複数のユーザが共有している状況を想定した場合、面識のない撮影者であっても顔辞書に登録されていれば特定の被写体として認証されてしまう。また、顔の特徴量が類似している撮影者がいた場合、全く知らない人物と誤認してしまうことが考えられる。

また、上記特許文献１では、撮影者ごとに適切な撮影環境を提供できるようになるが、撮影後の画像データの整理や選別には有用性はない。

上記課題を解決するために、本発明の撮像装置は、画像を撮像する撮像手段と、撮像画像の中の被写体を検出する検出手段と、撮影者の特徴情報が登録された第１の辞書データを用いて撮影者を認証する第１の認証手段と、撮影者ごとに被写体の特徴情報が登録された第２の辞書データを用いて撮像画像の中の被写体を認証する第２の認証手段と、前記第１の認証手段により認証された撮影者に応じて前記第２の認証手段が使用する第２の辞書データを切り替える切替手段と、を有する。

本発明によれば、面識のない撮影者に対して不要な被写体認証を実行することや、顔の特徴量が類似している撮影者を全く知らない人物と誤認することを抑制できるようになる。

また、撮影者ごとに人物名を用いて画像データを整理や選別をすることができるようになる。

本実施形態の撮像装置の構成を示すブロック図。 本実施形態の顔認識機能及び顔辞書機能を実現する機能ブロック図。 本実施形態の顔辞書データベースの構成を示す図。 本実施形態の顔辞書データベースの顔辞書のデータ形式を示す図。 本実施形態の撮像装置による撮影者及び被写体の顔認証処理を示すフローチャート。 本実施形態の撮像装置のメインカメラとサブカメラを用いた撮影動作を説明する図。 本実施形態の撮像装置による撮影者及び被写体の顔認証処理を説明する図。 本実施形態の撮像装置による撮影者の顔認証処理を示すフローチャート。 実施形態２の撮像装置の構成を示す外観図。 実施形態２の撮像装置による撮影者の認証処理を実現する機能ブロック図。 実施形態２の撮像装置による撮影者の認証処理を示すフローチャート。 実施形態３の撮像装置において、ユーザが特定の撮影者を指定するためのＵＩ画面を例示する図。 実施形態４の撮像装置による撮影者の顔認証処理を説明する図。 実施形態４の撮像装置による撮影者の顔認証処理を示すフローチャート。 実施形態４の撮像装置による撮影者の顔認証処理を示すフローチャート。 実施形態５の撮像装置において、撮影者が自分の情報を顔辞書に登録するためのＵＩ画面を例示する図。 実施形態５の撮像装置において、撮影者が自分の情報を顔辞書に登録する処理を示すフローチャート。 実施形態６の撮像装置において、ユーザが既存の顔辞書を他の機器にコピーするためのＵＩ画面を例示する図。 実施形態６の撮像装置において、ユーザが既存の顔辞書を他の機器にコピーする場合のコピー先の撮像装置のＵＩ画面を例示する図。 実施形態６の撮像装置において、撮影者ごとの顔辞書のデータ形式を示す図。 実施形態６の撮像装置において、撮影者ごとに個別に顔辞書をコピーするための処理を示すフローチャート。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

［実施形態１］以下、本発明を、例えば、顔認識機能及び顔辞書機能を有するデジタルカメラ等に適用した実施形態について説明するが、これに限られない。本発明を、例えば携帯電話や携帯型のメディアプレーヤ、いわゆるタブレットデバイス、パーソナルコンピュータなどの情報処理装置に適用することもできる。

＜装置構成＞図１を参照して、本実施形態の撮像装置の構成及び機能の概略について説明する。

図１に示す撮像装置１０１において、ＣＰＵ１０２は装置全体の制御と各種情報処理を行う制御部である。計時部１０３は画像の撮影日時を記録するためのタイマーである。シャッターボタン１０４は撮影を指示するための操作部である。表示部１０５は撮影時の被写体の表示や撮影後の画像を再生するためのＬＣＤ画面等であり、タッチパネルを介してユーザの入力操作を受け付けることが可能である。メインカメラ１０６は第１の撮像手段として被写体側を撮影するためのカメラモジュールである。サブカメラ１０７は第２の撮像手段として撮影者側の被写体を撮影するためのカメラモジュールである。メモリ１０８は、上記カメラモジュールにより撮影された画像データを一時的に保持する。メモリインタフェース１０９は、装置本体に装着されたメモリカードなどの記憶媒体にアクセス可能であり、撮影された画像データ等が保存される。生体認証部１１０は、例えば指紋センサや音声認識処理のためのマイク、虹彩パターン判定のためのファインダ用カメラ等であり、撮影者を認証するための生体情報を読み取る読取手段として用いられる。

＜被写体認証モジュール＞次に、図２を参照して、本実施形態の撮像装置が顔認識機能及び顔辞書機能を実現するためのソフトウェアモジュールの構成について説明する。

図２において、信号処理部２０１は、メインカメラ１０６及びサブカメラ１０７により受光された光学像を電気信号に変換する。信号処理部２０１で光電変換された電気信号は、画像処理部２０２により画像データとして扱うことを可能とするデジタル形式の情報に変換される。

画像処理部２０２により生成された画像データは、画像ファイル生成処理部２０３でコンピュータ等に保存される形式の画像ファイルに変換されてメモリ１０８に記録される。

顔検出処理部２０４は、画像処理部２０２で生成された画像データの中に人物の顔として認識できる部分を検索する。顔認証処理部２０５は第２の認証手段として、人物の顔の特徴情報（以下、特徴量）が登録された顔辞書データベース（ＤＢ）２０６を参照することにより、顔検出処理部２０４で認識された顔の人物名を認証し、認証結果を提示する。

顔辞書ＤＢ２０６は、顔検出処理部２０４により認識された人物の顔の特徴量が人物名と関連付けられて登録されており、メモリ１０８にロードされるデータの集合体である。

以上が一般的な被写体認証機能を有するソフトウェアモジュールの構成であるが、本実施形態では更に、撮影者認証処理部２０７及び顔辞書切替処理部２０８が追加されている。

撮影者認証処理部２０７は、第１の認証手段として、例えばサブカメラ１０７で撮影された画像から撮影者の顔の特徴量を解析し、顔辞書ＤＢ２０６を参照することにより撮影者を特定する。ここで、撮影者を特定する方法は、これ以外に、例えば撮影者がタッチパネル等を介して直接入力した情報や、生体認証部１１０に入力された生体情報を用いて判定することも含まれる。

顔辞書切替処理部２０８は、撮影者認証処理部２０７により特定された撮影者に応じて顔認証処理部２０５が参照する顔辞書ＤＢ２０６を切り替える。

＜顔辞書ＤＢの構成＞次に、図３を参照して、本実施形態の顔辞書ＤＢ２０６で管理される撮影者ごとの顔辞書の構成について説明する。

図３において、撮像装置１０１の顔辞書ＤＢには、撮影者Ｘの顔辞書３０２、撮影者Ｙの顔辞書３０３、撮影者Ｚの顔辞書３０４が、各々の撮影者に応じて用意されている。

撮影者ごとの顔辞書３０２、３０３、３０４には夫々異なる被写体の特徴量が登録されている。すなわち、撮影者Ｘの顔辞書３０２は、被写体Ａ（３０５）、被写体Ｂ（３０６）、被写体Ｃ（３０７）の特徴量を保持している。撮影者Ｙの顔辞書３０３は、被写体Ａ（３０８）被写体Ｃ（３０９））の特徴量を保持している。撮影者Ｚの顔辞書３０４は、被写体Ｂ（３１０）及び被写体Ｄ（３１１）の特徴量を保持している。

撮影者ごとの顔辞書３０２〜３０４は、撮影者認証処理部２０７により認証された撮影者に応じて、顔辞書切替処理部２０８により切り替えられて顔認証処理部２０５で参照される。

＜顔辞書のデータ形式＞次に、図４を参照して、本実施形態の顔辞書ＤＢ２０６が有する顔辞書のデータ形式について説明する。

図４において、４０１は顔辞書ＤＢであり、４０２はプログラム上の管理のためのＩＤ番号で、撮影者に見せるためのものではなく、後述する被写体の顔の特徴量と顔辞書に登録される名前との関連による人物（被写体）の単位を示すものである。４０３は顔の特徴量として抽出された情報であり、同情報と被写体の人物の特徴量と比較して人物を特定するために使用される。４０４、４０５、４０６は顔辞書ＤＢ２０６で管理されている人物に対して一意的に指定された名前（登録名）により構成される登録名テーブルであり、撮影者ごとにテーブルが用意されている。撮影者が表示部１０５上でタッチパネル操作を行うことで名前の文字列を入力することができる。

顔辞書切替処理部２０８により顔辞書（撮影者）が切り替えられると、対象となった撮影者に応じた登録名テーブルが改めてメモリ１０８にロードされて顔認証処理部２０５で参照される。

＜顔認証処理＞次に、図５を参照して、本実施形態の撮像装置による撮影者及び被写体の顔認証処理について説明する。なお、本処理は、ＲＯＭ等の不揮発性メモリに記録されたプログラムをメモリ１０８に展開してＣＰＵ１０２が実行することにより実現する。

図５において、Ｓ５０１では、ＣＰＵ１０２は、撮影者認証処理部２０７により撮影者の認証処理を行い、撮影者が認証された場合はＳ５０２に進み、認証されない場合はＳ５０３に進む。

Ｓ５０２では、ＣＰＵ１０２は、顔辞書切替処理部２０８により認証された撮影者の顔辞書が顔辞書ＤＢ２０６からメモリ１０８にロードされて顔認証処理部２０５で参照可能にされる。

一方、Ｓ５０３では、ＣＰＵ１０２は、撮影者を特定しない共通の顔辞書がメモリ１０８にロードされる状態か、顔辞書がロードされない（使われない）状態にするが、いずれの状態にするかはプログラムの初期設定によって決定される。

Ｓ５０４では、ＣＰＵ１０２は、シャッターボタン１０４が押下されて撮影処理が実施されたか判定し、押下された場合はＳ５０５に進み、押下されない場合はＳ５０１に戻る。

Ｓ５０５では、ＣＰＵ１０２は、顔辞書がメモリ１０８にロードされ参照可能な状態であるか判定し、参照可能な状態の場合はＳ５０６に進み、参照できない状態の場合は本処理を終了する。

Ｓ５０６では、ＣＰＵ１０２は、顔検出処理部２０４により撮像画像データ（スルー画像データ）の解析を行い、画像中に顔が存在することが認識された場合はＳ５０７に進み、認識されていない場合は本処理を終了する。

Ｓ５０７では、ＣＰＵ１０２は、顔認証処理部２０５により顔辞書を参照して、顔検出処理部２０４で認識された顔の人物名を認証し、認証結果を画像の属性情報として記録する。ここで、画像の属性情報には、撮影者の名前、撮影者の顔辞書に登録されている被写体の名前が含まれる。

なお、上記Ｓ５０７で記録された属性情報に基づいて、画像を再生する場合に被写体の顔を囲むように枠を表示するとともに、枠の近傍に被写体の名前を表示するように構成してもよい。また、上記顔認証処理をシャッターが押下される前のスルー画像に対して行い、上記と同様に枠や名前の表示を行ってもよい。

以上のように、撮影時の撮影者に応じた顔辞書が参照されるように制御される。

＜顔認証処理＞次に、図６乃至図８を参照して、本実施形態の撮像装置による撮影者及び被写体の顔認証処理について説明する。

図６において、６０２はサブカメラ１０７による撮影された画像（以下、サブカメラ画像）であり、顔検出処理部２０４により検出された撮影者の顔に枠６０３が表示されている。６０４はメインカメラ１０６により撮影された画像（以下、メインカメラ画像）であり、顔検出処理部２０４により検出された複数の被写体の顔に枠６０５〜６０７が表示されている。

顔検出処理部２０４によりサブカメラ画像６０２から撮影者の顔が検出されると、撮影者認証処理部２０７が撮影者の認証処理を行い、顔辞書切替処理部２０８が認証された撮影者の顔辞書に切り替え、メモリ１０８にロードされる。そして、顔認証処理部２０５がメモリ１０８にロードされた顔辞書を参照してメインカメラ画像６０４に存在する被写体の顔認証処理を行う。

なお、上述したように、上記被写体の顔認証処理の結果に基づいて、メインカメラ画像６０４の被写体の顔の枠６０５〜６０７の近傍に被写体の名前を表示するように構成してもよい。また、上記顔認証処理をシャッターが押下される前のスルー画像に対して行い、上記と同様に枠や名前の表示を行ってもよい。さらに、メインカメラ画像６０４の一部にサブカメラ画像６０２を表示し、上記撮影者の顔認証処理の結果に基づいて、サブカメラ画像６０２の撮影者の顔の枠６０３の近傍に撮影者の名前を表示するように構成してもよい。

図７は本実施形態の顔認証処理に用いられる顔辞書の構成を例示している。

図７において、図３と同様に、第２の辞書データとしての撮影者ごとの顔辞書には、撮影者Ｘの顔辞書７０６、撮影者Ｙの顔辞書７０７、撮影者Ｚの顔辞書７０８が用意されている。更に、図７では、第１の辞書データとしての撮影者認証用顔辞書７０２が用意されていて、撮影者の顔辞書に登録されている各撮影者Ｘ、Ｙ、Ｚに関する顔の特徴量７０３、７０４、７０５が登録されている。

撮影者ごとの顔辞書７０６〜７０８は撮影者に依存せずに管理され、メモリ１０８にロードされて、どの撮影者でも共通に参照されることが可能となっている。

図８は、図５のＳ５０１における撮影者の顔認証処理を示すフローチャートである。

図８において、Ｓ８０１では、ＣＰＵ１０２は、サブカメラ１０７により画像を撮影する。

Ｓ８０２では、ＣＰＵ１０２は、顔検出処理部２０４によりサブカメラ画像６０２の中の顔の部分の存在の有無を判定する。Ｓ８０２で顔の部分が存在すると判定された場合はＳＳ８０３に進み、顔の部分が存在しないと判定された場合は本処理を終了する。

Ｓ８０３では、ＣＰＵ１０２は、顔認証処理部２０５により撮影者認証用顔辞書７０２が参照される。

Ｓ８０４では、ＣＰＵ１０２は、撮影者認証処理部２０７が顔検出処理部２０４により認識された顔が撮影者認証用顔辞書に登録されているか判定し、登録されている場合はＳ８０５に進み、登録されていない場合は撮影者の更新は行わずに本処理を終了する。

Ｓ８０５では、ＣＰＵ１０２は、撮影者認証処理部２０７により認証された人物を撮影者として後の処理で利用できるように、メモリ１０８にプログラム変数として記録する。

［実施形態２］次に、実施形態２の撮像装置による撮影者認証処理について説明する。

本実施形態では、生体認証部１１０に指紋センサを用いて撮影者認証処理を行う。

図９は、実施形態２の撮像装置の背面の外観図である。

図９において、装置本体の背面９０１には、表示部１０５としての液晶パネル９０２が配置されている。液晶パネル９０２は、メインカメラ１０６により撮影された画像の表示、カメラの設定等のための操作画面の表示、メモリカード等に保存された画像データの表示等に使用される。液晶パネル９０２の近傍には、円環状の十字方向ボタン９０３、決定ボタン９０４、キャンセルボタン９０５、指紋センサ９０６、メニューボタン９０７が配置されている。十字方向ボタン９０３は、ユーザが上下左右の方向に押下することにより、液晶パネル９０２に表示された操作画面の制御や表示画像の変更等の様々な指示を入力できる。決定ボタン９０４は、ユーザが押下することにより液晶パネル９０２に表示された操作画面の項目の選択と指示を入力できる。キャンセルボタン９０５は、ユーザが押下することにより液晶パネル９０２に表示された操作画面の項目のキャンセルの指示を入力できる。指紋センサ９０６は、撮影者の指の腹部をスライドさせることにより指紋の読み取りを行うことができる。メニューボタン９０７は、ユーザが押下することにより液晶パネル９０２上に画像の撮影や再生のためのカメラの設定メニューを表示することができる。

図９の構成では、撮影者が装置を操作する場合に、まず指紋センサ９０６により指紋を読み取らせて撮影者を認証することが可能である。

図１０は、実施形態２の撮像装置における、図２の２０７に対応する撮影者認証処理部のソフトウェアモジュールの構成を示している。

図１０において、生体認証処理部１００１は、指紋センサ９０６により読み取られた指紋からなる生体情報について、生体情報ＤＢ１００２を参照することにより撮影者を特定する。生体情報ＤＢ１００２には、装置に登録されている全ての撮影者に関する生体情報が登録されている。生体情報ＤＢ１００２は、生体認証処理部１００１により参照可能にメモリ１０８に展開されて、生体認証部１１０から入力された生体情報に合致する人物を撮影者として、後の処理で利用できるように、メモリ１０８にプログラム変数として記録する。

本実施形態では、生体情報として指紋を用いた例を説明するが、静脈パターン、虹彩パターン、声紋等の人物を特定できる情報であれば、他の情報を用いることもでき、扱う生体情報に応じた生体認証部１１０及び生体情報ＤＢ１００２を用意することになる。

図１１は、図５のＳ５０１における撮影者認証処理を示すフローチャートである。

図１１において、Ｓ１１０１では、ＣＰＵ１０２は、生体認証部１１０としての指紋センサ９０６により生体情報を読み取る。

Ｓ１１０２では、ＣＰＵ１０２は、読み取られた生体情報を生体認証処理部１００１により解析する。

Ｓ１１０３では、ＣＰＵ１０２は、解析された生体情報が生体情報ＤＢ１００２に登録されているか判定し、登録されている場合はＳ１１０４に進み、登録されていない場合は撮影者の更新は行わずに本処理を終了する。

Ｓ１１０４では、ＣＰＵ１０２は、生体情報ＤＢ１００２に登録されている生体情報に合致する人物を撮影者として、後の処理で利用できるように、メモリ１０８にプログラム変数として記録する。

本実施形態のその他の構成は実施形態１と同様であるので説明は省略する。

［実施形態３］次に、実施形態３の撮像装置による撮影者の顔辞書選択処理について説明する。

本実施形態では、撮影者が所定の操作を入力することにより撮影者の顔辞書を選択する処理を行う。

図１２は、図９の液晶パネル９０２に表示される操作画面１２０１を例示しており、ユーザが図９のメニューボタン９０７や十字方向ボタン９０３を押下することにより表示される。

選択ボタン１２０２、１２０３、１２０４はそれぞれ、ユーザが撮影者Ｘ、撮影者Ｙ、撮影者Ｚのいずれかを指定するためのものであり、撮影者として予め登録されている人物名が表示されている。ユーザは十字方向ボタン９０３を押下することにより、選択される撮影者を切り替えることができる。

戻る（キャンセル）ボタン１２０５は、ユーザが選択することで操作画面１２０１で行った設定状態を無効と見なして、その状態を反映させないようにすることができる。

ＯＫ（セット）ボタン１２０６は、ユーザが選択することで操作画面１２０１で行った設定状態を有効と見なして、その状態を後の処理に反映させることができる。

ある人物が撮像装置を使用するときは、まずメニューボタン９０７を操作して操作画面１２０１を表示させた後に、十字方向ボタン９０３及びＯＫボタン１２０６を操作することで、操作画面１２０１に表示された候補から撮影者を特定することが可能である。

本実施形態のその他の構成は実施形態１と同様であるので説明は省略する。

［実施形態４］次に、実施形態４の撮像装置による撮影者の顔認証処理について説明する。

本実施形態では、上述した実施形態によっては撮影者が特定できない場合に、メインカメラ１０６により撮影された画像から検出された被写体の顔から撮影者の顔認証処理を行う。ここで、撮影者を特定できない場合とは、例えば、セルフタイマーを使用して撮影する場合や、一時的に他人にシャッターボタンの押下を依頼する場合であり、メインカメラ画像内に撮影者自身が含まれるような状況を想定している。

図１３は、実施形態４の撮影者の顔認証処理を説明する図である。

図１３において、セルフタイマー撮影では、撮影者１３０２は、撮像装置１０１にセルフタイマーの設定を行った後に、メインカメラ側に入り込み、他の被写体１３０４〜１３０６と共に画像１３０３に映り込む。この場合、シャッターレリーズの瞬間には誰もサブカメラ側に存在しないため、例えば、上記実施形態１のようにサブカメラ１０７で撮影された画像を用いて撮影者を特定することができない。このため、メインカメラ画像から認識される人物から撮影者の認証を行うものである。

図１４は、実施形態４の撮像装置による、撮影者の顔認証処理を示すフローチャートである。

図１４において、Ｓ１４０１では、ＣＰＵ１０２は、サブカメラ１０７により画像を撮影し、顔検出処理部２０４によりサブカメラ画像の中の顔領域の有無を判定する。Ｓ１４０１で顔領域が存在すると判定された場合はＳ１４０２に進み、顔領域が存在しないと判定された場合はＳ１４０５に進む。

Ｓ１４０２では、ＣＰＵ１０２は、顔認証処理部２０５が顔辞書ＤＢ２０６を参照することにより撮影者を特定できたか判定する。Ｓ１４０２で撮影者を特定できた場合はＳ１４０３に進み、Ｓ１４０１で認識された顔が顔辞書ＤＢ２０６に登録されていないため特定できない場合はＳ１４０５へ進む。

Ｓ１４０３以降の処理は、図５のＳ５０２以降と同様である。

一方、Ｓ１４０５では、ＣＰＵ１０２は、メインカメラ１０６により画像を撮影し、顔検出処理部２０４によりメインカメラ画像の中の顔領域の有無を判定する。Ｓ１４０５で顔領域が存在すると判定された場合はＳ１４０６に進み、顔領域が存在しないと判定された場合はＳ１４０７に進む。

Ｓ１４０６では、ＣＰＵ１０２は、顔認証処理部２０５が顔辞書ＤＢ２０６を参照することにより、Ｓ１４０５で認識された顔領域から撮影者を特定できたか判定する。Ｓ１４０６で撮影者を特定できた場合はＳ１４０３に進み、Ｓ１４０５で認識された顔が顔辞書ＤＢ２０６に登録されていないため特定できない場合はＳ１４０７へ進む。

Ｓ１４０７の処理は、図５のＳ５０３と同様である。

本実施形態では、サブカメラ画像から撮影者を特定することができない場合に、メインカメラ画像から認識される人物から撮影者の認証を行う例を説明したが、以下のように、直前に撮影者として認証された人物を継続して撮影者として扱うことも可能である。

図１５は、実施形態４の撮像装置において、撮影時に撮影者を特定できない場合に直前に撮影者として認証された人物を撮影者とする処理を示すフローチャートである。

図１５において、Ｓ１５０１では、ＣＰＵ１０２は、前回の撮影者の顔認証処理結果をリセットする。具体的には、メモリ１０８にロードした撮影者の名前と顔辞書データを初期化する。初期化処理は電源スイッチがオンされた時や初期設定時等のように撮影者が変更されると考えられるタイミングで実施されるものであり、同じ撮影者が連続して複数枚の撮影を実施するような場合には省略可能である。

Ｓ１５０２では、ＣＰＵ１０２は、上述した何れかの方法により撮影者の顔認証処理を行い、撮影者が認証された場合はＳ１５０３に進み、認証されない場合はＳ１５０４に進む。

Ｓ１５０３では、ＣＰＵ１０２は、Ｓ１５０２で特定された撮影者の顔辞書が顔辞書ＤＢ２０６からメモリ１０８にロードされて顔認証処理部２０５で参照可能にされる。

一方、Ｓ１５０８では、ＣＰＵ１０２は、ステップＳ１５０２で撮影者の認証ができなかったので、前回の処理で認証された撮影者用の顔辞書をメモリ１０８にロードする。これにより、新たな撮影者の認証が行われない限り、顔認証がなされた時点での撮影者の顔辞書が保持される。

Ｓ１５０４以降の処理は、図５のＳ５０４以降と同様である。

以上のように、Ｓ１５０２で撮影者の特定が行われない場合は、今までの状態を変更せずにＳ１５０４に移行して撮影に備える。すなわち、新たな撮影者の特定が行われない限り、直前に認証された撮影者用の状態が保持されることになる。このようにして、直前に認証された撮影者を撮影時の撮影者として活用することが可能になる。

［実施形態５］次に、実施形態５の撮像装置による顔辞書の登録処理について説明する。

本実施形態では、同一の被写体に対して撮影者ごとの顔辞書に異なる名前を登録する処理を行う。

図４で説明したように、本実施形態の顔辞書は、同じＩＤ４０２で管理される共通の特徴量４０３を持つ被写体に対して、撮影者ごとに用意されたテーブル４０５〜４０７に被写体の名前が登録可能となっている。つまり、顔辞書ＤＢには、同一の被写体に対して撮影者ごとに独立した名前を登録できるようになっている。

そこで、以下では、撮影者が自身の顔辞書に対して新規の被写体の名前を登録する方法について説明する。

図１６は、図９の液晶パネル９０２に表示される操作画面１６０１を例示しており、上述した被写体の顔認証処理が実行されたときに、ユーザが図９のメニューボタン９０７や十字方向ボタン９０３を押下することにより表示される。

操作画面１６０１において、１６０２は被写体の名前入力欄であり、被写体が既に登録済みの場合にはその名前が表示され、未登録の場合は空の状態で表示される。ユーザはタッチパネル等の文字入力手段により名前入力欄１６０２に被写体の新規または変更後の名前を入力することができる。１６０３は戻るボタンであり、押下すると名前入力欄１６０２の入力内容は破棄されて登録処理から抜けることができる。１６０４はＯＫボタンであり、押下すると名前入力欄１６０２の入力内容が操作している撮影者の顔辞書に反映されて登録処理を終えることができる。

図１７は、実施形態５の撮像装置による、撮影者が自身の顔辞書に被写体の名前を登録する処理を示すフローチャートである。

図１７において、Ｓ１７０１では、ＣＰＵ１０２は、ユーザが図１６の操作画面１６０１の名前入力欄１６０２に被写体の名前を登録し、ＯＫボタン１６０４が押下されことを確認すると、Ｓ１７０２に進み、撮影者自身の顔辞書の内容を確認する。

Ｓ１７０３では、ＣＰＵ１０２は名前入力欄１６０２に入力された名前が撮影者自身の顔辞書に既に登録済みであるか判定し、登録済みであった場合はＳ１７０４に進み、そうでなかった場合はＳ１７０７に進む。

Ｓ１７０４では、ＣＰＵ１０２は、操作画面１６０１に登録名の変更を促すための文字等の情報を表示する。この場合、操作画面１６０１の名前入力欄１６０２には既に登録されている名前が表示されており、ユーザが編集により変更可能となっている。

Ｓ１７０５では、ＣＰＵ１０２は、名前入力欄１６０２の内容が変更されたか判定し、内容が変更された場合はＳ１７０６に進み、戻るボタン１６０３の押下等により既存の内容のまま変更されない場合は本処理を終了する。

一方、Ｓ１７０３で撮影者の顔辞書に既に登録済みの名前ではない場合には、Ｓ１７０７に進み、ＣＰＵ１０２は、他の撮影者の顔辞書の内容を確認する。

Ｓ１７０８では、ＣＰＵ１０２は、他の撮影者の顔辞書にも該当する名前が登録済みでない場合にはＳ１７０９に進み、登録済みである場合にはＳ１７１０に進む。

Ｓ１７０９では、ＣＰＵ１０２は、入力された名前に対して新規のＩＤ４０２を生成し、Ｓ１７１０では、ＣＰＵ１０２は、顔辞書ＤＢ４０１に新規のＩＤを追加し、操作画面１６０１の名前入力欄１６０２に入力された名前を登録して本処理を終了する。

また、Ｓ１７０８で他の撮影者の顔辞書に該当する名前が登録済みである場合には、ＣＰＵ１０２は、Ｓ１７０９でのＩＤ４０２の生成を省略し、Ｓ１７１０で撮影者自身の顔辞書に、名前入力欄１６０２に入力された名前を新規に登録して処理を終了する。

以上のように、本実施形態によれば、同一の被写体に対して撮影者ごとの顔辞書に異なる名前を個別に登録することが可能である。

［実施形態６］次に、実施形態６の撮像装置による顔辞書のコピー処理について説明する。

本実施形態では、同一の撮影者に関する顔辞書を他の機器にコピーし使用可能にする処理を行う。

図１８は、コピー元の機器の表示部に表示される操作画面を例示し、図１９は、コピー先の機器の表示部に表示される操作画面を例示している。本実施形態では、コピー先の機器でも読み書きが可能な記憶媒体としてＳＤ（登録商標）カード等のメモリカードを使用してコピー元の機器の顔辞書をコピーする方法について説明するが、有線或いは無線等の他の通信手段を用いてコピー元からコピー先へ顔辞書データを転送してもよい。

図１８（ａ）の操作画面１８０１は、ユーザが図９のメニューボタン９０７や十字方向ボタン９０３により顔辞書のコピーを指定すると図９の液晶パネル９０２に表示される。１８０２はコピー元の機器で管理されている撮影者ごとの顔辞書のリストであり、ユーザは所望の撮影者の顔辞書を選択可能である。１８０３は現在の操作を中断するための戻るボタン、１８０４は現在までの操作を反映するためのＯＫボタンである。

図１８（ａ）のように、ユーザが操作画面１８０１の１８０２の撮影者Ｘを選択してＯＫボタン１８０４をタッチすると、選択された撮影者Ｘの顔辞書データがメモリインタフェース１０９を介してカードスロットに挿入されたメモリカードにコピーされる。コピーが完了すると、図１８（ｂ）に示す操作画面１８０５に切り替わり、ユーザに対してメモリカードをコピー先の機器に挿入することを促すためのメッセージ等の情報を表示する。ユーザがＯＫボタン１８０６をタッチすることでコピー元の機器での操作が完了する。

図１９（ａ）の操作画面１９０１は、ユーザがコピー先の機器にメモリカードを挿入すると表示される。操作画面１９０１には、ユーザに対してメモリカードに保存された顔辞書データをコピーするか否かを選択させるためのメッセージ等の情報が表示される。ユーザがＯＫボタン１９０３をタッチすることでコピー先の機器への顔辞書データのコピーが完了する一方、戻るボタン１９０２をタッチするとコピーは行われない。コピーが完了すると、図１９（ｂ）に示す操作画面１９０４に切り替わり、ユーザに対して顔辞書データのコピーが完了したことを通知するためのメッセージ等の情報を表示し、ユーザがＯＫボタン１９０３をタッチすることでコピー先の機器での操作が完了する。

図２０は、実施形態６によりコピー元の機器からメモリカードにコピーされる顔辞書データの構成を例示している。

図２０において、２００１は操作画面１８０１で選択された撮影者Ｘに関する顔辞書データを示している。２００２は被写体ごとのＩＤ番号、２００３は被写体の顔の特徴量、２００４は選択された撮影者に対して、被写体の顔の特徴量と顔辞書に登録される名前との関連による人物（被写体）の単位をそれぞれ示している。

選択された撮影者Ｘの顔辞書データ２００１は、図４に示した顔辞書ＤＢ４０１から撮影者Ｘの情報部分が抽出されて構成されており、未選択の撮影者の顔辞書データは除外されている。

図２１は、実施形態６の撮像装置による顔辞書のコピー処理を示すフローチャートである。

図２１において、Ｓ２１０１では、ＣＰＵ１０２は、図１８（ａ）の操作画面１８０１においてユーザによりコピー元の撮影者が選択されると、Ｓ２１０２でメモリカードに対して選択された撮影者の名前と顔辞書データ２００１をコピーする。

Ｓ２１０３では、コピー先の機器において、顔辞書データがコピーされたメモリカードが挿入され、操作画面１９０１においてコピー先の機器への顔辞書データの書き込みが指示されると、Ｓ２１０４でコピー先の機器の顔辞書ＤＢ４０１に同じ撮影者の顔辞書データが登録済みであるか判定する。そして、同じ撮影者の顔辞書データが登録済みである場合はＳ２１０６に進み、未登録の場合にはＳ２１０５に進む。

Ｓ２１０５では、コピー先の機器において、未登録の撮影者の顔辞書を新規に顔辞書ＤＢ４０１に作成する。

Ｓ２１０６では、コピー先の機器において、メモリカードに保存された顔辞書データ２００１の被写体の顔の特徴量２００３の中に、コピー先の機器の顔辞書ＤＢに登録されていない被写体の顔の特徴量が存在するか判定する。そして、未登録の被写体が存在しない場合はＳ２１０８に進み、未登録の被写体が存在する場合にはＳ２１０７に進む。

Ｓ２１０７では、コピー先の機器において、未登録の被写体に新規のＩＤ番号を付与して、その被写体の顔の特徴量を顔辞書ＤＢに追加する。

Ｓ２１０８では、コピー先の機器において、メモリカードに保存された顔辞書データをコピーする。

以上のように、本実施形態によれば、ユーザが選択した撮影者の顔辞書のみを他の機器にコピーし使用可能にすることができる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (15)

1. 画像を撮像する撮像手段と、
   撮像画像の中の被写体を検出する検出手段と、
   撮影者の特徴情報が登録された第１の辞書データを用いて撮影者を認証する第１の認証手段と、
   撮影者ごとに被写体の特徴情報が登録された第２の辞書データを用いて撮像画像の中の被写体を認証する第２の認証手段と、
   前記第１の認証手段により認証された撮影者に応じて前記第２の認証手段が使用する第２の辞書データを切り替える切替手段と、を有することを特徴とする撮像装置。
2. 前記撮像手段により生成された画像データを記録する記録手段と、
   前記第２の認証手段による認証結果を、画像データの属性情報として前記記録手段に記録するように制御する制御手段と、をさらに有することを特徴とする請求項１に記載の撮像装置。
3. 前記画像データの属性情報には、撮影者の名前、前記撮影者の第２の辞書データに登録されている被写体の名前が含まれることを特徴とする請求項２に記載の撮像装置。
4. 前記撮像手段により生成された画像データを表示する表示手段をさらに有し、
   前記制御手段は、前記第２の認証手段による認証結果を、前記表示手段に表示された画像の近傍に表示するように制御することを特徴とする請求項２または３に記載の撮像装置。
5. 前記制御手段は、前記第２の認証手段による認証結果に基づいて、前記画像の中の被写体の顔を囲むように枠を表示するとともに、枠の近傍に被写体の名前を表示するように制御することを特徴とする請求項４に記載の撮像装置。
6. 前記撮像手段は、被写体を撮影する第１の撮像手段と、撮影者を撮影する第２の撮像手段と、を含むことを特徴とする請求項１ないし５のいずれか１項に記載の撮像装置。
7. 撮影者の生体情報を読み取る読取手段をさらに有し、
   前記第１の認証手段は、前記読取手段により読み取られた生体情報を用いて撮影者の認証を行うことを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
8. 前記第１の認証手段により撮影者が認証されなかった場合には、前記第２の認証手段は前回の処理で認証された撮影者の前記第２の辞書データを用いて被写体の認証を行うことを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
9. 前記第１の認証手段により撮影者が認証されなかった場合には、前記第２の認証手段が前記第２の辞書データに登録された被写体の特徴情報を用いて撮影者の認証を行うことを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
10. 前記撮影者の名前を指定することにより前記第１の辞書データを選択可能な選択手段をさらに有することを特徴とする請求項１ないし９のいずれか１項に記載の撮像装置。
11. 前記第２の辞書データに対して、同一の被写体について撮影者ごとに被写体の名前を個別に登録する登録手段をさらに有することを特徴とする請求項１ないし１０のいずれか１項に記載の撮像装置。
12. 前記第２の辞書データは、指定された撮影者ごとに他の機器にコピーすることが可能であることを特徴とする請求項１ないし１１のいずれか１項に記載の撮像装置。
13. 画像を撮像する撮像装置の制御方法であって、
    撮像画像の中の被写体を検出する検出工程と、
    撮影者の特徴情報が登録された第１の辞書データを用いて撮影者を認証する第１の認証工程と、
    撮影者ごとに被写体の特徴情報が登録された第２の辞書データを用いて撮像画像の中の被写体を認証する第２の認証工程と、
    前記第１の認証工程により認証された撮影者に応じて前記第２の認証工程で使用する第２の辞書データを切り替える切替工程と、を有することを特徴とする制御方法。
14. コンピュータを、請求項１ないし１２のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。
15. コンピュータを、請求項１ないし１２のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラムを記憶した記憶媒体。

Images