JP6097632B2 - 撮像装置及びその制御方法、プログラム並びに記憶媒体 - Google Patents

撮像装置及びその制御方法、プログラム並びに記憶媒体 Download PDF

Info

Publication number
JP6097632B2
JP6097632B2 JP2013100705A JP2013100705A JP6097632B2 JP 6097632 B2 JP6097632 B2 JP 6097632B2 JP 2013100705 A JP2013100705 A JP 2013100705A JP 2013100705 A JP2013100705 A JP 2013100705A JP 6097632 B2 JP6097632 B2 JP 6097632B2
Authority
JP
Japan
Prior art keywords
photographer
subject
face
authentication
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013100705A
Other languages
English (en)
Other versions
JP2014220773A5 (ja
JP2014220773A (ja
Inventor
滋之 三谷
滋之 三谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013100705A priority Critical patent/JP6097632B2/ja
Priority to US14/270,010 priority patent/US9756238B2/en
Publication of JP2014220773A publication Critical patent/JP2014220773A/ja
Publication of JP2014220773A5 publication Critical patent/JP2014220773A5/ja
Application granted granted Critical
Publication of JP6097632B2 publication Critical patent/JP6097632B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、被写体や撮影者を認証する機能を有する撮像装置に関する。
最近のデジタルカメラ等の撮像装置には、顔認識機能や顔辞書機能といった特定の被写体を認証する機能を備えるものが存在する。顔認識機能は、撮像画像中から人物の顔領域を識別する機能であり、被写体に人物が含まれているかの判定や、焦点を自動で人物に合わせる機能等に応用されて、撮影者が快適に撮影するための補助的手段として活用されている。顔辞書機能は、顔認識機能により認識された人物の顔の特徴量を抽出し、予め登録された人物の特徴量と比較することによって人物を特定する機能であり、撮影後の画像データの整理や検索等に応用されている。
これらの機能を応用した技術として、例えば、特許文献1には、撮影者側の被写体を撮影するサブカメラを備え、サブカメラで撮影された画像から撮影者を認識し、撮影者が変更されたことに応じてカメラの設定を自動で切り替える技術が記載されている。
特開2009−290260号公報
例えば、顔辞書機能を備えるカメラを複数のユーザが共有している状況を想定した場合、面識のない撮影者であっても顔辞書に登録されていれば特定の被写体として認証されてしまう。また、顔の特徴量が類似している撮影者がいた場合、全く知らない人物と誤認してしまうことが考えられる。
また、上記特許文献1では、撮影者ごとに適切な撮影環境を提供できるようになるが、撮影後の画像データの整理や選別には有用性はない。
上記課題を解決するために、本発明の撮像装置は、画像を撮像する撮像手段と、撮像画像の中の被写体を検出する検出手段と、撮影者の特徴情報が登録された第1の辞書データを用いて撮影者を認証する第1の認証手段と、撮影者ごとに被写体の特徴情報が登録された第2の辞書データを用いて撮像画像の中の被写体を認証する第2の認証手段と、前記第1の認証手段により認証された撮影者に応じて前記第2の認証手段が使用する第2の辞書データを切り替える切替手段と、を有する。
本発明によれば、面識のない撮影者に対して不要な被写体認証を実行することや、顔の特徴量が類似している撮影者を全く知らない人物と誤認することを抑制できるようになる。
また、撮影者ごとに人物名を用いて画像データを整理や選別をすることができるようになる。
本実施形態の撮像装置の構成を示すブロック図。 本実施形態の顔認識機能及び顔辞書機能を実現する機能ブロック図。 本実施形態の顔辞書データベースの構成を示す図。 本実施形態の顔辞書データベースの顔辞書のデータ形式を示す図。 本実施形態の撮像装置による撮影者及び被写体の顔認証処理を示すフローチャート。 本実施形態の撮像装置のメインカメラとサブカメラを用いた撮影動作を説明する図。 本実施形態の撮像装置による撮影者及び被写体の顔認証処理を説明する図。 本実施形態の撮像装置による撮影者の顔認証処理を示すフローチャート。 実施形態2の撮像装置の構成を示す外観図。 実施形態2の撮像装置による撮影者の認証処理を実現する機能ブロック図。 実施形態2の撮像装置による撮影者の認証処理を示すフローチャート。 実施形態3の撮像装置において、ユーザが特定の撮影者を指定するためのUI画面を例示する図。 実施形態4の撮像装置による撮影者の顔認証処理を説明する図。 実施形態4の撮像装置による撮影者の顔認証処理を示すフローチャート。 実施形態4の撮像装置による撮影者の顔認証処理を示すフローチャート。 実施形態5の撮像装置において、撮影者が自分の情報を顔辞書に登録するためのUI画面を例示する図。 実施形態5の撮像装置において、撮影者が自分の情報を顔辞書に登録する処理を示すフローチャート。 実施形態6の撮像装置において、ユーザが既存の顔辞書を他の機器にコピーするためのUI画面を例示する図。 実施形態6の撮像装置において、ユーザが既存の顔辞書を他の機器にコピーする場合のコピー先の撮像装置のUI画面を例示する図。 実施形態6の撮像装置において、撮影者ごとの顔辞書のデータ形式を示す図。 実施形態6の撮像装置において、撮影者ごとに個別に顔辞書をコピーするための処理を示すフローチャート。
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
[実施形態1]以下、本発明を、例えば、顔認識機能及び顔辞書機能を有するデジタルカメラ等に適用した実施形態について説明するが、これに限られない。本発明を、例えば携帯電話や携帯型のメディアプレーヤ、いわゆるタブレットデバイス、パーソナルコンピュータなどの情報処理装置に適用することもできる。
<装置構成>図1を参照して、本実施形態の撮像装置の構成及び機能の概略について説明する。
図1に示す撮像装置101において、CPU102は装置全体の制御と各種情報処理を行う制御部である。計時部103は画像の撮影日時を記録するためのタイマーである。シャッターボタン104は撮影を指示するための操作部である。表示部105は撮影時の被写体の表示や撮影後の画像を再生するためのLCD画面等であり、タッチパネルを介してユーザの入力操作を受け付けることが可能である。メインカメラ106は第1の撮像手段として被写体側を撮影するためのカメラモジュールである。サブカメラ107は第2の撮像手段として撮影者側の被写体を撮影するためのカメラモジュールである。メモリ108は、上記カメラモジュールにより撮影された画像データを一時的に保持する。メモリインタフェース109は、装置本体に装着されたメモリカードなどの記憶媒体にアクセス可能であり、撮影された画像データ等が保存される。生体認証部110は、例えば指紋センサや音声認識処理のためのマイク、虹彩パターン判定のためのファインダ用カメラ等であり、撮影者を認証するための生体情報を読み取る読取手段として用いられる。
<被写体認証モジュール>次に、図2を参照して、本実施形態の撮像装置が顔認識機能及び顔辞書機能を実現するためのソフトウェアモジュールの構成について説明する。
図2において、信号処理部201は、メインカメラ106及びサブカメラ107により受光された光学像を電気信号に変換する。信号処理部201で光電変換された電気信号は、画像処理部202により画像データとして扱うことを可能とするデジタル形式の情報に変換される。
画像処理部202により生成された画像データは、画像ファイル生成処理部203でコンピュータ等に保存される形式の画像ファイルに変換されてメモリ108に記録される。
顔検出処理部204は、画像処理部202で生成された画像データの中に人物の顔として認識できる部分を検索する。顔認証処理部205は第2の認証手段として、人物の顔の特徴情報(以下、特徴量)が登録された顔辞書データベース(DB)206を参照することにより、顔検出処理部204で認識された顔の人物名を認証し、認証結果を提示する。
顔辞書DB206は、顔検出処理部204により認識された人物の顔の特徴量が人物名と関連付けられて登録されており、メモリ108にロードされるデータの集合体である。
以上が一般的な被写体認証機能を有するソフトウェアモジュールの構成であるが、本実施形態では更に、撮影者認証処理部207及び顔辞書切替処理部208が追加されている。
撮影者認証処理部207は、第1の認証手段として、例えばサブカメラ107で撮影された画像から撮影者の顔の特徴量を解析し、顔辞書DB206を参照することにより撮影者を特定する。ここで、撮影者を特定する方法は、これ以外に、例えば撮影者がタッチパネル等を介して直接入力した情報や、生体認証部110に入力された生体情報を用いて判定することも含まれる。
顔辞書切替処理部208は、撮影者認証処理部207により特定された撮影者に応じて顔認証処理部205が参照する顔辞書DB206を切り替える。
<顔辞書DBの構成>次に、図3を参照して、本実施形態の顔辞書DB206で管理される撮影者ごとの顔辞書の構成について説明する。
図3において、撮像装置101の顔辞書DBには、撮影者Xの顔辞書302、撮影者Yの顔辞書303、撮影者Zの顔辞書304が、各々の撮影者に応じて用意されている。
撮影者ごとの顔辞書302、303、304には夫々異なる被写体の特徴量が登録されている。すなわち、撮影者Xの顔辞書302は、被写体A(305)、被写体B(306)、被写体C(307)の特徴量を保持している。撮影者Yの顔辞書303は、被写体A(308)被写体C(309))の特徴量を保持している。撮影者Zの顔辞書304は、被写体B(310)及び被写体D(311)の特徴量を保持している。
撮影者ごとの顔辞書302〜304は、撮影者認証処理部207により認証された撮影者に応じて、顔辞書切替処理部208により切り替えられて顔認証処理部205で参照される。
<顔辞書のデータ形式>次に、図4を参照して、本実施形態の顔辞書DB206が有する顔辞書のデータ形式について説明する。
図4において、401は顔辞書DBであり、402はプログラム上の管理のためのID番号で、撮影者に見せるためのものではなく、後述する被写体の顔の特徴量と顔辞書に登録される名前との関連による人物(被写体)の単位を示すものである。403は顔の特徴量として抽出された情報であり、同情報と被写体の人物の特徴量と比較して人物を特定するために使用される。404、405、406は顔辞書DB206で管理されている人物に対して一意的に指定された名前(登録名)により構成される登録名テーブルであり、撮影者ごとにテーブルが用意されている。撮影者が表示部105上でタッチパネル操作を行うことで名前の文字列を入力することができる。
顔辞書切替処理部208により顔辞書(撮影者)が切り替えられると、対象となった撮影者に応じた登録名テーブルが改めてメモリ108にロードされて顔認証処理部205で参照される。
<顔認証処理>次に、図5を参照して、本実施形態の撮像装置による撮影者及び被写体の顔認証処理について説明する。なお、本処理は、ROM等の不揮発性メモリに記録されたプログラムをメモリ108に展開してCPU102が実行することにより実現する。
図5において、S501では、CPU102は、撮影者認証処理部207により撮影者の認証処理を行い、撮影者が認証された場合はS502に進み、認証されない場合はS503に進む。
S502では、CPU102は、顔辞書切替処理部208により認証された撮影者の顔辞書が顔辞書DB206からメモリ108にロードされて顔認証処理部205で参照可能にされる。
一方、S503では、CPU102は、撮影者を特定しない共通の顔辞書がメモリ108にロードされる状態か、顔辞書がロードされない(使われない)状態にするが、いずれの状態にするかはプログラムの初期設定によって決定される。
S504では、CPU102は、シャッターボタン104が押下されて撮影処理が実施されたか判定し、押下された場合はS505に進み、押下されない場合はS501に戻る。
S505では、CPU102は、顔辞書がメモリ108にロードされ参照可能な状態であるか判定し、参照可能な状態の場合はS506に進み、参照できない状態の場合は本処理を終了する。
S506では、CPU102は、顔検出処理部204により撮像画像データ(スルー画像データ)の解析を行い、画像中に顔が存在することが認識された場合はS507に進み、認識されいない場合は本処理を終了する。
S507では、CPU102は、顔認証処理部205により顔辞書を参照して、顔検出処理部204で認識された顔の人物名を認証し、認証結果を画像の属性情報として記録する。ここで、画像の属性情報には、撮影者の名前、撮影者の顔辞書に登録されている被写体の名前が含まれる。
なお、上記S507で記録された属性情報に基づいて、画像を再生する場合に被写体の顔を囲むように枠を表示するとともに、枠の近傍に被写体の名前を表示するように構成してもよい。また、上記顔認証処理をシャッターが押下される前のスルー画像に対して行い、上記と同様に枠や名前の表示を行ってもよい。
以上のように、撮影時の撮影者に応じた顔辞書が参照されるように制御される。
<顔認証処理>次に、図6乃至図8を参照して、本実施形態の撮像装置による撮影者及び被写体の顔認証処理について説明する。
図6において、602はサブカメラ107による撮影された画像(以下、サブカメラ画像)であり、顔検出処理部204により検出された撮影者の顔に枠603が表示されている。604はメインカメラ106により撮影された画像(以下、メインカメラ画像)であり、顔検出処理部204により検出された複数の被写体の顔に枠605〜607が表示されている。
顔検出処理部204によりサブカメラ画像602から撮影者の顔が検出されると、撮影者認証処理部207が撮影者の認証処理を行い、顔辞書切替処理部208が認証された撮影者の顔辞書に切り替え、メモリ108にロードされる。そして、顔認証処理部205がメモリ108にロードされた顔辞書を参照してメインカメラ画像604に存在する被写体の顔認証処理を行う。
なお、上述したように、上記被写体の顔認証処理の結果に基づいて、メインカメラ画像604の被写体の顔の枠605〜607の近傍に被写体の名前を表示するように構成してもよい。また、上記顔認証処理をシャッターが押下される前のスルー画像に対して行い、上記と同様に枠や名前の表示を行ってもよい。さらに、メインカメラ画像604の一部にサブカメラ画像602を表示し、上記撮影者の顔認証処理の結果に基づいて、サブカメラ画像602の撮影者の顔の枠603の近傍に撮影者の名前を表示するように構成してもよい。
図7は本実施形態の顔認証処理に用いられる顔辞書の構成を例示している。
図7において、図3と同様に、第2の辞書データとしての撮影者ごとの顔辞書には、撮影者Xの顔辞書706、撮影者Yの顔辞書707、撮影者Zの顔辞書708が用意されている。更に、図7では、第1の辞書データとしての撮影者認証用顔辞書702が用意されていて、撮影者の顔辞書に登録されている各撮影者X、Y、Zに関する顔の特徴量703、704、705が登録されている。
撮影者ごとの顔辞書706〜708は撮影者に依存せずに管理され、メモリ108にロードされて、どの撮影者でも共通に参照されることが可能となっている。
図8は、図5のS501における撮影者の顔認証処理を示すフローチャートである。
図8において、S801では、CPU102は、サブカメラ107により画像を撮影する。
S802では、CPU102は、顔検出処理部204によりサブカメラ画像602の中の顔の部分の存在の有無を判定する。S802で顔の部分が存在すると判定された場合はSS803に進み、顔の部分が存在しないと判定された場合は本処理を終了する。
S803では、CPU102は、顔認証処理部205により撮影者認証用顔辞書702が参照される。
S804では、CPU102は、撮影者認証処理部207が顔検出処理部204により認識された顔が撮影者認証用顔辞書に登録されているか判定し、登録されている場合はS805に進み、登録されていない場合は撮影者の更新は行わずに本処理を終了する。
S805では、CPU102は、撮影者認証処理部207により認証された人物を撮影者として後の処理で利用できるように、メモリ108にプログラム変数として記録する。
[実施形態2]次に、実施形態2の撮像装置による撮影者認証処理について説明する。
本実施形態では、生体認証部110に指紋センサを用いて撮影者認証処理を行う。
図9は、実施形態2の撮像装置の背面の外観図である。
図9において、装置本体の背面901には、表示部105としての液晶パネル902が配置されている。液晶パネル902は、メインカメラ106により撮影された画像の表示、カメラの設定等のための操作画面の表示、メモリカード等に保存された画像データの表示等に使用される。液晶パネル902の近傍には、円環状の十字方向ボタン903、決定ボタン904、キャンセルボタン905、指紋センサ906、メニューボタン907が配置されている。十字方向ボタン903は、ユーザが上下左右の方向に押下することにより、液晶パネル902に表示された操作画面の制御や表示画像の変更等の様々な指示を入力できる。決定ボタン904は、ユーザが押下することにより液晶パネル902に表示された操作画面の項目の選択と指示を入力できる。キャンセルボタン905は、ユーザが押下することにより液晶パネル902に表示された操作画面の項目のキャンセルの指示を入力できる。指紋センサ906は、撮影者の指の腹部をスライドさせることにより指紋の読み取りを行うことができる。メニューボタン907は、ユーザが押下することにより液晶パネル902上に画像の撮影や再生のためのカメラの設定メニューを表示することができる。
図9の構成では、撮影者が装置を操作する場合に、まず指紋センサ906により指紋を読み取らせて撮影者を認証することが可能である。
図10は、実施形態2の撮像装置における、図2の207に対応する撮影者認証処理部のソフトウェアモジュールの構成を示している。
図10において、生体認証処理部1001は、指紋センサ906により読み取られた指紋からなる生体情報について、生体情報DB1002を参照することにより撮影者を特定する。生体情報DB1002には、装置に登録されている全ての撮影者に関する生体情報が登録されている。生体情報DB1002は、生体認証処理部1001により参照可能にメモリ108に展開されて、生体認証部110から入力された生体情報に合致する人物を撮影者として、後の処理で利用できるように、メモリ108にプログラム変数として記録する。
本実施形態では、生体情報として指紋を用いた例を説明するが、静脈パターン、虹彩パターン、声紋等の人物を特定できる情報であれば、他の情報を用いることもでき、扱う生体情報に応じた生体認証部110及び生体情報DB1002を用意することになる。
図11は、図5のS501における撮影者認証処理を示すフローチャートである。
図11において、S1101では、CPU102は、生体認証部110としての指紋センサ906により生体情報を読み取る。
S1102では、CPU102は、読み取られた生体情報を生体認証処理部1001により解析する。
S1103では、CPU102は、解析された生体情報が生体情報DB1002に登録されているか判定し、登録されている場合はS1104に進み、登録されていない場合は撮影者の更新は行わずに本処理を終了する。
S1104では、CPU102は、生体情報DB1002に登録されている生体情報に合致する人物を撮影者として、後の処理で利用できるように、メモリ108にプログラム変数として記録する。
本実施形態のその他の構成は実施形態1と同様であるので説明は省略する。
[実施形態3]次に、実施形態3の撮像装置による撮影者の顔辞書選択処理について説明する。
本実施形態では、撮影者が所定の操作を入力することにより撮影者の顔辞書を選択する処理を行う。
図12は、図9の液晶パネル902に表示される操作画面1201を例示しており、ユーザが図9のメニューボタン907や十字方向ボタン903を押下することにより表示される。
選択ボタン1202、1203、1204はそれぞれ、ユーザが撮影者X、撮影者Y、撮影者Zのいずれかを指定するためのものであり、撮影者として予め登録されている人物名が表示されている。ユーザは十字方向ボタン903を押下することにより、選択される撮影者を切り替えることができる。
戻る(キャンセル)ボタン1205は、ユーザが選択することで操作画面1201で行った設定状態を無効と見なして、その状態を反映させないようにすることができる。
OK(セット)ボタン1206は、ユーザが選択することで操作画面1201で行った設定状態を有効と見なして、その状態を後の処理に反映させることができる。
ある人物が撮像装置を使用するときは、まずメニューボタン907を操作して操作画面1201を表示させた後に、十字方向ボタン903及びOKボタン1206を操作することで、操作画面1201に表示された候補から撮影者を特定することが可能である。
本実施形態のその他の構成は実施形態1と同様であるので説明は省略する。
[実施形態4]次に、実施形態4の撮像装置による撮影者の顔認証処理について説明する。
本実施形態では、上述した実施形態によっては撮影者が特定できない場合に、メインカメラ106により撮影された画像から検出された被写体の顔から撮影者の顔認証処理を行う。ここで、撮影者を特定できない場合とは、例えば、セルフタイマーを使用して撮影する場合や、一時的に他人にシャッターボタンの押下を依頼する場合であり、メインカメラ画像内に撮影者自身が含まれるような状況を想定している。
図13は、実施形態4の撮影者の顔認証処理を説明する図である。
図13において、セルフタイマー撮影では、撮影者1302は、撮像装置101にセルフタイマーの設定を行った後に、メインカメラ側に入り込み、他の被写体1304〜1306と共に画像1303に映り込む。この場合、シャッターレリーズの瞬間には誰もサブカメラ側に存在しないため、例えば、上記実施形態1のようにサブカメラ107で撮影された画像を用いて撮影者を特定することができない。このため、メインカメラ画像から認識される人物から撮影者の認証を行うものである。
図14は、実施形態4の撮像装置による、撮影者の顔認証処理を示すフローチャートである。
図14において、S1401では、CPU102は、サブカメラ107により画像を撮影し、顔検出処理部204によりサブカメラ画像の中の顔領域の有無を判定する。S1401で顔領域が存在すると判定された場合はS1402に進み、顔領域が存在しないと判定された場合はS1405に進む。
S1402では、CPU102は、顔認証処理部205が顔辞書DB206を参照することにより撮影者を特定できたか判定する。S1402で撮影者を特定できた場合はS1403に進み、S1401で認識された顔が顔辞書DB206に登録されていないため特定できない場合はS1405へ進む。
S1403以降の処理は、図5のS502以降と同様である。
一方、S1405では、CPU102は、メインカメラ106により画像を撮影し、顔検出処理部204によりメインカメラ画像の中の顔領域の有無を判定する。S1405で顔領域が存在すると判定された場合はS1406に進み、顔領域が存在しないと判定された場合はS1407に進む。
S1406では、CPU102は、顔認証処理部205が顔辞書DB206を参照することにより、S1405で認識された顔領域から撮影者を特定できたか判定する。S1406で撮影者を特定できた場合はS1403に進み、S1405で認識された顔が顔辞書DB206に登録されていないため特定できない場合はS1407へ進む。
S1407の処理は、図5のS503と同様である。
本実施形態では、サブカメラ画像から撮影者を特定することができない場合に、メインカメラ画像から認識される人物から撮影者の認証を行う例を説明したが、以下のように、直前に撮影者として認証された人物を継続して撮影者として扱うことも可能である。
図15は、実施形態4の撮像装置において、撮影時に撮影者を特定できない場合に直前に撮影者として認証された人物を撮影者とする処理を示すフローチャートである。
図15において、S1501では、CPU102は、前回の撮影者の顔認証処理結果をリセットする。具体的には、メモリ108にロードした撮影者の名前と顔辞書データを初期化する。初期化処理は電源スイッチがオンされた時や初期設定時等のように撮影者が変更されると考えられるタイミングで実施されるものであり、同じ撮影者が連続して複数枚の撮影を実施するような場合には省略可能である。
S1502では、CPU102は、上述した何れかの方法により撮影者の顔認証処理を行い、撮影者が認証された場合はS1503に進み、認証されない場合はS1504に進む。
S1503では、CPU102は、S1502で特定された撮影者の顔辞書が顔辞書DB206からメモリ108にロードされて顔認証処理部205で参照可能にされる。
一方、S1508では、CPU102は、ステップS1502で撮影者の認証ができなかったので、前回の処理で認証された撮影者用の顔辞書をメモリ108にロードする。これにより、新たな撮影者の認証が行われない限り、顔認証がなされた時点での撮影者の顔辞書が保持される。
S1504以降の処理は、図5のS504以降と同様である。
以上のように、S1502で撮影者の特定が行われない場合は、今までの状態を変更せずにS1504に移行して撮影に備える。すなわち、新たな撮影者の特定が行われない限り、直前に認証された撮影者用の状態が保持されることになる。このようにして、直前に認証された撮影者を撮影時の撮影者として活用することが可能になる。
[実施形態5]次に、実施形態5の撮像装置による顔辞書の登録処理について説明する。
本実施形態では、同一の被写体に対して撮影者ごとの顔辞書に異なる名前を登録する処理を行う。
図4で説明したように、本実施形態の顔辞書は、同じID402で管理される共通の特徴量403を持つ被写体に対して、撮影者ごとに用意されたテーブル405〜407に被写体の名前が登録可能となっている。つまり、顔辞書DBには、同一の被写体に対して撮影者ごとに独立した名前を登録できるようになっている。
そこで、以下では、撮影者が自身の顔辞書に対して新規の被写体の名前を登録する方法について説明する。
図16は、図9の液晶パネル902に表示される操作画面1601を例示しており、上述した被写体の顔認証処理が実行されたときに、ユーザが図9のメニューボタン907や十字方向ボタン903を押下することにより表示される。
操作画面1601において、1602は被写体の名前入力欄であり、被写体が既に登録済みの場合にはその名前が表示され、未登録の場合は空の状態で表示される。ユーザはタッチパネル等の文字入力手段により名前入力欄1602に被写体の新規または変更後の名前を入力することができる。1603は戻るボタンであり、押下すると名前入力欄1602の入力内容は破棄されて登録処理から抜けることができる。1604はOKボタンであり、押下すると名前入力欄1602の入力内容が操作している撮影者の顔辞書に反映されて登録処理を終えることができる。
図17は、実施形態5の撮像装置による、撮影者が自身の顔辞書に被写体の名前を登録する処理を示すフローチャートである。
図17において、S1701では、CPU102は、ユーザが図16の操作画面1601の名前入力欄1602に被写体の名前を登録し、OKボタン1604が押下されことを確認すると、S1702に進み、撮影者自身の顔辞書の内容を確認する。
S1703では、CPU102は名前入力欄1602に入力された名前が撮影者自身の顔辞書に既に登録済みであるか判定し、登録済みであった場合はS1704に進み、そうでなかった場合はS1707に進む。
S1704では、CPU102は、操作画面1601に登録名の変更を促すための文字等の情報を表示する。この場合、操作画面1601の名前入力欄1602には既に登録されている名前が表示されており、ユーザが編集により変更可能となっている。
S1705では、CPU102は、名前入力欄1602の内容が変更されたか判定し、内容が変更された場合はS1706に進み、戻るボタン1603の押下等により既存の内容のまま変更されない場合は本処理を終了する。
一方、S1703で撮影者の顔辞書に既に登録済みの名前ではない場合には、S1707に進み、CPU102は、他の撮影者の顔辞書の内容を確認する。
S1708では、CPU102は、他の撮影者の顔辞書にも該当する名前が登録済みでない場合にはS1709に進み、登録済みである場合にはS1710に進む。
S1709では、CPU102は、入力された名前に対して新規のID402を生成し、S1710では、CPU102は、顔辞書DB401に新規のIDを追加し、操作画面1601の名前入力欄1602に入力された名前を登録して本処理を終了する。
また、S1708で他の撮影者の顔辞書に該当する名前が登録済みである場合には、CPU102は、S1709でのID402の生成を省略し、S1710で撮影者自身の顔辞書に、名前入力欄1602に入力された名前を新規に登録して処理を終了する。
以上のように、本実施形態によれば、同一の被写体に対して撮影者ごとの顔辞書に異なる名前を個別に登録することが可能である。
[実施形態6]次に、実施形態6の撮像装置による顔辞書のコピー処理について説明する。
本実施形態では、同一の撮影者に関する顔辞書を他の機器にコピーし使用可能にする処理を行う。
図18は、コピー元の機器の表示部に表示される操作画面を例示し、図19は、コピー先の機器の表示部に表示される操作画面を例示している。本実施形態では、コピー先の機器でも読み書きが可能な記憶媒体としてSD(登録商標)カード等のメモリカードを使用してコピー元の機器の顔辞書をコピーする方法について説明するが、有線或いは無線等の他の通信手段を用いてコピー元からコピー先へ顔辞書データを転送してもよい。
図18(a)の操作画面1801は、ユーザが図9のメニューボタン907や十字方向ボタン903により顔辞書のコピーを指定すると図9の液晶パネル902に表示される。1802はコピー元の機器で管理されている撮影者ごとの顔辞書のリストであり、ユーザは所望の撮影者の顔辞書を選択可能である。1803は現在の操作を中断するための戻るボタン、1804は現在までの操作を反映するためのOKボタンである。
図18(a)のように、ユーザが操作画面1801の1802の撮影者Xを選択してOKボタン1804をタッチすると、選択された撮影者Xの顔辞書データがメモリインタフェース109を介してカードスロットに挿入されたメモリカードにコピーされる。コピーが完了すると、図18(b)に示す操作画面1805に切り替わり、ユーザに対してメモリカードをコピー先の機器に挿入することを促すためのメッセージ等の情報を表示する。ユーザがOKボタン1806をタッチすることでコピー元の機器での操作が完了する。
図19(a)の操作画面1901は、ユーザがコピー先の機器にメモリカードを挿入すると表示される。操作画面1901には、ユーザに対してメモリカードに保存された顔辞書データをコピーするか否かを選択させるためのメッセージ等の情報が表示される。ユーザがOKボタン1903をタッチすることでコピー先の機器への顔辞書データのコピーが完了する一方、戻るボタン1902をタッチするとコピーは行われない。コピーが完了すると、図19(b)に示す操作画面1904に切り替わり、ユーザに対して顔辞書データのコピーが完了したことを通知するためのメッセージ等の情報を表示し、ユーザがOKボタン1903をタッチすることでコピー先の機器での操作が完了する。
図20は、実施形態6によりコピー元の機器からメモリカードにコピーされる顔辞書データの構成を例示している。
図20において、2001は操作画面1801で選択された撮影者Xに関する顔辞書データを示している。2002は被写体ごとのID番号、2003は被写体の顔の特徴量、2004は選択された撮影者に対して、被写体の顔の特徴量と顔辞書に登録される名前との関連による人物(被写体)の単位をそれぞれ示している。
選択された撮影者Xの顔辞書データ2001は、図4に示した顔辞書DB401から撮影者Xの情報部分が抽出されて構成されており、未選択の撮影者の顔辞書データは除外されている。
図21は、実施形態6の撮像装置による顔辞書のコピー処理を示すフローチャートである。
図21において、S2101では、CPU102は、図18(a)の操作画面1801においてユーザによりコピー元の撮影者が選択されると、S2102でメモリカードに対して選択された撮影者の名前と顔辞書データ2001をコピーする。
S2103では、コピー先の機器において、顔辞書データがコピーされたメモリカードが挿入され、操作画面1901においてコピー先の機器への顔辞書データの書き込みが指示されると、S2104でコピー先の機器の顔辞書DB401に同じ撮影者の顔辞書データが登録済みであるか判定する。そして、同じ撮影者の顔辞書データが登録済みである場合はS2106に進み、未登録の場合にはS2105に進む。
S2105では、コピー先の機器において、未登録の撮影者の顔辞書を新規に顔辞書DB401に作成する。
S2106では、コピー先の機器において、メモリカードに保存された顔辞書データ2001の被写体の顔の特徴量2003の中に、コピー先の機器の顔辞書DBに登録されていない被写体の顔の特徴量が存在するか判定する。そして、未登録の被写体が存在しない場合はS2108に進み、未登録の被写体が存在する場合にはS2107に進む。
S2107では、コピー先の機器において、未登録の被写体に新規のID番号を付与して、その被写体の顔の特徴量を顔辞書DBに追加する。
S2108では、コピー先の機器において、メモリカードに保存された顔辞書データをコピーする。
以上のように、本実施形態によれば、ユーザが選択した撮影者の顔辞書のみを他の機器にコピーし使用可能にすることができる。
[他の実施形態]本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (15)

  1. 画像を撮像する撮像手段と、
    撮像画像の中の被写体を検出する検出手段と、
    撮影者の特徴情報が登録された第1の辞書データを用いて撮影者を認証する第1の認証手段と、
    撮影者ごとに被写体の特徴情報が登録された第2の辞書データを用いて撮像画像の中の被写体を認証する第2の認証手段と、
    前記第1の認証手段により認証された撮影者に応じて前記第2の認証手段が使用する第2の辞書データを切り替える切替手段と、を有することを特徴とする撮像装置。
  2. 前記撮像手段により生成された画像データを記録する記録手段と、
    前記第2の認証手段による認証結果を、画像データの属性情報として前記記録手段に記録するように制御する制御手段と、をさらに有することを特徴とする請求項1に記載の撮像装置。
  3. 前記画像データの属性情報には、撮影者の名前、前記撮影者の第2の辞書データに登録されている被写体の名前が含まれることを特徴とする請求項2に記載の撮像装置。
  4. 前記撮像手段により生成された画像データを表示する表示手段をさらに有し、
    前記制御手段は、前記第2の認証手段による認証結果を、前記表示手段に表示された画像の近傍に表示するように制御することを特徴とする請求項2または3に記載の撮像装置。
  5. 前記制御手段は、前記第2の認証手段による認証結果に基づいて、前記画像の中の被写体の顔を囲むように枠を表示するとともに、枠の近傍に被写体の名前を表示するように制御することを特徴とする請求項4に記載の撮像装置。
  6. 前記撮像手段は、被写体を撮影する第1の撮像手段と、撮影者を撮影する第2の撮像手段と、を含むことを特徴とする請求項1ないし5のいずれか1項に記載の撮像装置。
  7. 撮影者の生体情報を読み取る読取手段をさらに有し、
    前記第1の認証手段は、前記読取手段により読み取られた生体情報を用いて撮影者の認証を行うことを特徴とする請求項1ないし6のいずれか1項に記載の撮像装置。
  8. 前記第1の認証手段により撮影者が認証されなかった場合には、前記第2の認証手段は前回の処理で認証された撮影者の前記第2の辞書データを用いて被写体の認証を行うことを特徴とする請求項1ないし7のいずれか1項に記載の撮像装置。
  9. 前記第1の認証手段により撮影者が認証されなかった場合には、前記第2の認証手段が前記第2の辞書データに登録された被写体の特徴情報を用いて撮影者の認証を行うことを特徴とする請求項1ないし7のいずれか1項に記載の撮像装置。
  10. 前記撮影者の名前を指定することにより前記第1の辞書データを選択可能な選択手段をさらに有することを特徴とする請求項1ないし9のいずれか1項に記載の撮像装置。
  11. 前記第2の辞書データに対して、同一の被写体について撮影者ごとに被写体の名前を個別に登録する登録手段をさらに有することを特徴とする請求項1ないし10のいずれか1項に記載の撮像装置。
  12. 前記第2の辞書データは、指定された撮影者ごとに他の機器にコピーすることが可能であることを特徴とする請求項1ないし11のいずれか1項に記載の撮像装置。
  13. 画像を撮像する撮像装置の制御方法であって、
    撮像画像の中の被写体を検出する検出工程と、
    撮影者の特徴情報が登録された第1の辞書データを用いて撮影者を認証する第1の認証工程と、
    撮影者ごとに被写体の特徴情報が登録された第2の辞書データを用いて撮像画像の中の被写体を認証する第2の認証工程と、
    前記第1の認証工程により認証された撮影者に応じて前記第2の認証工程で使用する第2の辞書データを切り替える切替工程と、を有することを特徴とする制御方法。
  14. コンピュータを、請求項1ないし12のいずれか1項に記載された撮像装置の各手段として機能させるためのプログラム。
  15. コンピュータを、請求項1ないし12のいずれか1項に記載された撮像装置の各手段として機能させるためのプログラムを記憶した記憶媒体。
JP2013100705A 2013-05-10 2013-05-10 撮像装置及びその制御方法、プログラム並びに記憶媒体 Active JP6097632B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013100705A JP6097632B2 (ja) 2013-05-10 2013-05-10 撮像装置及びその制御方法、プログラム並びに記憶媒体
US14/270,010 US9756238B2 (en) 2013-05-10 2014-05-05 Image capturing apparatus for performing authentication of a photographer and organizing image data for each photographer and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013100705A JP6097632B2 (ja) 2013-05-10 2013-05-10 撮像装置及びその制御方法、プログラム並びに記憶媒体

Publications (3)

Publication Number Publication Date
JP2014220773A JP2014220773A (ja) 2014-11-20
JP2014220773A5 JP2014220773A5 (ja) 2016-06-16
JP6097632B2 true JP6097632B2 (ja) 2017-03-15

Family

ID=51864519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013100705A Active JP6097632B2 (ja) 2013-05-10 2013-05-10 撮像装置及びその制御方法、プログラム並びに記憶媒体

Country Status (2)

Country Link
US (1) US9756238B2 (ja)
JP (1) JP6097632B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5814700B2 (ja) * 2011-08-25 2015-11-17 キヤノン株式会社 画像処理システム及び画像処理方法
JP2017037375A (ja) * 2015-08-07 2017-02-16 キヤノン株式会社 撮像装置及びその制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266151A (ja) * 2000-03-17 2001-09-28 Toshiba Corp 個人識別装置および個人識別方法
JP2007110262A (ja) * 2005-10-11 2007-04-26 Nikon Corp 画像鑑賞用ソフトウェア及び画像蓄積装置
US20070140532A1 (en) * 2005-12-20 2007-06-21 Goffin Glen P Method and apparatus for providing user profiling based on facial recognition
JP2009290260A (ja) 2008-05-27 2009-12-10 Fujifilm Corp 撮影装置およびその制御方法並びにプログラム
JP2010049357A (ja) * 2008-08-19 2010-03-04 Fujitsu Ltd 認証装置、認証システム及び認証方法
JP2010134910A (ja) * 2008-11-07 2010-06-17 Fujifilm Corp ペット画像検出システムおよびその動作制御方法
JP4816717B2 (ja) * 2008-12-09 2011-11-16 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5383207B2 (ja) * 2009-01-07 2014-01-08 キヤノン株式会社 情報処理装置、制御方法、コンピュータプログラム、および記憶媒体
JP5570079B2 (ja) * 2010-03-18 2014-08-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ データ処理装置およびデータ処理方法
JP5679687B2 (ja) * 2010-03-29 2015-03-04 キヤノン株式会社 情報処理装置およびその動作方法
US8854491B2 (en) * 2011-06-05 2014-10-07 Apple Inc. Metadata-assisted image filters
US9055276B2 (en) * 2011-07-29 2015-06-09 Apple Inc. Camera having processing customized for identified persons
JP5869805B2 (ja) * 2011-08-25 2016-02-24 キヤノン株式会社 情報処理装置、撮像装置、およびそれらの制御方法、プログラム、並びに記憶媒体
TWI511056B (zh) * 2011-09-20 2015-12-01 Altek Corp 特徵資料壓縮裝置、多方向人臉偵測系統及其偵測方法
US9253433B2 (en) * 2012-11-27 2016-02-02 International Business Machines Corporation Method and apparatus for tagging media with identity of creator or scene
US20140330729A1 (en) * 2013-05-03 2014-11-06 Patrick Colangelo Payment processing using biometric identification

Also Published As

Publication number Publication date
US9756238B2 (en) 2017-09-05
US20140333792A1 (en) 2014-11-13
JP2014220773A (ja) 2014-11-20

Similar Documents

Publication Publication Date Title
JP6360558B2 (ja) ファイルロック方法、ファイルロック装置、プログラム、及び記録媒体
KR100883100B1 (ko) 이동 단말의 영상 파일 저장 방법 및 장치
US9041832B2 (en) Imaging apparatus and method for controlling the same
US10057479B2 (en) Electronic apparatus and method for switching touch operations between states
JP2006186589A (ja) 表示制御装置及び表示制御方法
JP5868164B2 (ja) 撮像装置、情報処理システム、制御方法、及びプログラム
JP2007310813A (ja) 画像検索装置およびカメラ
JP2009105816A (ja) カメラ、および画像記録プログラム
US9621790B2 (en) Imaging device, imaging method and storage medium
JP6097632B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP5856436B2 (ja) コンテンツ管理システム、記録装置、操作装置、およびそれらの制御方法、記憶媒体、プログラム
JP6873397B2 (ja) 画像表示装置、画像表示制御方法及びプログラム
JP5796737B2 (ja) 撮像装置及び撮像方法並びにプログラム
KR101449862B1 (ko) 촬영 영상을 음성 인식된 정보와 매칭시켜 저장하기 위한 촬영 장치, 그 제어방법 및, 기록 매체
KR100884280B1 (ko) 이동 단말의 영상 파일 저장 방법 및 장치
KR101477535B1 (ko) 이미지 검색 방법 및 장치, 이를 이용한 디지털 촬영 장치
US12075153B2 (en) Imaging apparatus and control method of the same
JP2013138315A (ja) 撮像装置およびその制御方法
JP5818634B2 (ja) コンテンツ管理装置、記録装置、操作装置、コンテンツ管理システムおよびそれらの制御方法
CN113261302B (zh) 电子装置
JP5950571B2 (ja) 撮像装置およびその制御方法
EP4187913A1 (en) Imaging apparatus and control method of the same
KR20100098117A (ko) 얼굴 인식을 이용한 영상 분류 방법 및 장치
JP5621757B2 (ja) 撮影装置、その制御方法、及びプログラム
JP6104059B2 (ja) 画像処理装置、撮像装置、被写体の認識方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170220

R151 Written notification of patent or utility model registration

Ref document number: 6097632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151