JP6140976B2 - 撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラム Download PDF

Info

Publication number
JP6140976B2
JP6140976B2 JP2012242558A JP2012242558A JP6140976B2 JP 6140976 B2 JP6140976 B2 JP 6140976B2 JP 2012242558 A JP2012242558 A JP 2012242558A JP 2012242558 A JP2012242558 A JP 2012242558A JP 6140976 B2 JP6140976 B2 JP 6140976B2
Authority
JP
Japan
Prior art keywords
processing
face
image
image data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012242558A
Other languages
English (en)
Other versions
JP2014093639A (ja
Inventor
大輔 若宮
大輔 若宮
寧司 大輪
寧司 大輪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012242558A priority Critical patent/JP6140976B2/ja
Publication of JP2014093639A publication Critical patent/JP2014093639A/ja
Application granted granted Critical
Publication of JP6140976B2 publication Critical patent/JP6140976B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、個人認証処理を行う撮像装置に関する。
従来から、複数の人物の顔などの認証データ(認証情報)を予め辞書データとして記憶し、取り込まれた個人の認証データと辞書データとして記憶された認証データとを比較して、取り込まれた個人の認証データを識別する個人認証方法が知られている。例えば、デジタルカメラは、被写体領域を特定し、この被写体領域と予め登録された顔画像とを比較して、これらが一致しているか否かを判定する。撮影時には、この判定結果をフォーカスなどの制御に用いる。このような個人認証方法は、画像の再生時にも利用されている。
一方、人物の顔をきれいに見せるため、顔画像を加工する技術が知られている。特許文献1には、人物の目を加工(補正)する画像処理方法が開示されている。
ところで、顔画像を用いた個人認証方法において、顔画像に加工を行う場合、画像加工に伴う特徴の変化が個人認証に大きな影響を与え、認証の一致度を低下させてしまうことがある。特許文献2には、画像を加工した場合における認証の一致度を予め算出し、認証に影響を与えない範囲で画像を加工する方法が開示されている。
特開2007−157176号公報 特開2005−333343号公報
一般的に、顔を利用した個人認証方法では、特徴的な部位である目、鼻、口を認証データ(認証要素データ)として用いることが多い。このため、特許文献2に開示されている方法では、個人認証処理の精度劣化を防ぐために所望の画像加工を行うことができない場合がある。
そこで本発明は、画像を加工した場合でも個人認証処理の精度劣化を低減する撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラムを提供する。
本発明の一側面としての撮像装置は、画像データからを検出する検出手段と、前記画像データから前記顔の特徴情報を抽出する抽出手段と、前記画像データのうち前記を含む少なくとも一部の画像領域に対する加工処理を行って加工後画像データを生成する画像加工処理手段と、前記加工処理を行う前の前記画像データから抽出した前記顔の特徴情報を、前記加工処理を行って生成された前記加工後画像データに付加する付加手段と前記に関して予め保持された認証情報と、前記加工後の画像データに付加された前記顔の特徴情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行う認証手段とを有する。
本発明の他の側面としての撮像装置の制御方法は、画像データからを検出するステップと、前記画像データから前記顔の特徴情報を抽出するステップと、前記画像データのうち前記を含む少なくとも一部の画像領域に対する加工処理を行って加工後画像データを生成するステップと、前記加工処理を行う前の前記画像データから抽出した前記顔の特徴情報を、前記加工処理を行って生成された前記加工後画像データに付加するステップと前記に関して予め保持された認証情報と、前記加工後の画像データに付加された前記顔の特徴情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップとを有する。
本発明の他の側面としての画像処理装置は、を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後画像データに付加された前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行う認証手段とを有する。
本発明の他の側面としての画像処理方法は、を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後画像データに付加された前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップとを有する。
本発明の他の側面としての画像処理プログラムは、を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後画像データに付加された前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップと、を情報処理装置に実行させるように構成されている。
本発明の他の目的及び特徴は、以下の実施例において説明される。
本発明によれば、画像を加工した場合でも個人認証処理の精度劣化を低減する撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラムを提供することができる。
実施例1における撮像装置のブロック図である。 実施例1における個人認証に用いられる辞書データの登録方法を示すフローチャートである。 実施例1における撮影時の個人認証処理および画像加工処理を示すフローチャートである。 実施例1における再生時の個人認証処理および画像加工処理を示すフローチャートである。 実施例1における加工前後の画像および付帯情報の説明図である。 実施例1における加工前画像の生成方法を示すフローチャートである。 実施例2における加工前後の画像および付帯情報の説明図である。 実施例2における加工前画像の生成方法を示すフローチャートである。 実施例1における画像データと付帯情報との関係図である。 実施例3における加工前後の画像および付帯情報の説明図である。 実施例3における再生時の個人認証処理および画像加工処理を示すフローチャートである。 実施例3における加工前後の画像および付帯情報の説明図である。 実施例1における個人認証処理の際に用いられる閾値の決定方法を示すフローチャートである。
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
まず、本発明の実施例1における撮像装置について説明する。図1は、本実施例におけるデジタルカメラ100(撮像装置)の構成を示すブロック図である。図1において、103はフォーカスレンズを含む撮影レンズ、101は絞り機能を備えるシャッター、122は光学像を電気信号に変換するCCDやCMOSなどで構成される撮像部(撮像素子)である。123はA/D変換器であり、撮像部122から出力されたアナログ信号をデジタル信号に変換する。102はバリアであり、撮影レンズ103を覆うことにより、撮影レンズ103、シャッター101、および、撮像部122を含む撮像系の汚れや破損を防止する。
124は画像処理部であり、A/D変換器123からのデータまたはメモリ制御部115からのデータに対して、所定の画素補間、縮小などのリサイズ処理、および、色変換処理を行う。また画像処理部124は、撮像した画像データ(撮影画像)を用いて所定の演算処理を行う。システム制御部150は、画像処理部124の演算結果に基づいて、露光制御や測距制御(焦点検出制御)を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュプリ発光)処理が行われる。更に画像処理部124は、撮像した画像データを用いて所定の演算処理を行い、その演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
A/D変換器123からの出力データは、画像処理部124およびメモリ制御部115を介してメモリ132に書き込まれるか、または、メモリ制御部115を介してメモリ132に直接書き込まれる。メモリ132は、撮像部122により得られてA/D変換器123によりデジタルデータに変換された画像データや、表示部128に表示するための画像データを格納する。メモリ132は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。またメモリ132は、画像表示用のメモリ(ビデオメモリ)を兼ねている。
113はD/A変換器であり、メモリ132に格納されている画像表示用のデータをアナログ信号に変換して表示部128に供給する。このようにして、メモリ132に書き込まれた表示用の画像データは、D/A変換器113を介して表示部128により表示される。表示部128は、LCDなどの表示器上に、D/A変換器113からのアナログ信号に応じた表示を行う。不揮発性メモリ156は、電気的に消去・記録可能なメモリであり、例えばEEPROMが用いられる。不揮発性メモリ156には、システム制御部150の動作用の定数やプログラムなどが記憶される。ここでプログラムとは、例えば、本実施例において後述する各種フローチャートを実行するためのプログラムである。
150はシステム制御部であり、デジタルカメラ100の全体を制御する。システム制御部150は、前述の不揮発性メモリ156に記録されたプログラムを実行することにより、後述する本実施例の各処理を実現する。152はシステムメモリであり、例えばRAMである。システムメモリ152には、システム制御部150の動作用の定数、変数、不揮発性メモリ156から読み出されたプログラムなどを展開する。またシステム制御部150は、メモリ132、D/A変換器113、表示部128などを制御することにより表示制御を行う。
モード切替スイッチ160、シャッターボタン161、第一シャッタースイッチ162、第二シャッタースイッチ163、および、操作部170は、システム制御部150に対して各種の動作指示を入力するための操作手段である。モード切替スイッチ160は、システム制御部150の動作モードを切り替え、静止画記録モード、動画記録モード、再生モードなどのいずれかを選択する。
第一シャッタースイッチ162は、デジタルカメラ100に設けられたシャッターボタン161の操作途中、いわゆる半押し(撮影準備指示)でONとなり、第一シャッタースイッチ信号SW1を発生させる。シャッタースイッチ信号SW1により、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理などの動作が開始する。第2シャッタースイッチ163は、シャッターボタン161の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生させる。システム制御部150は、第2シャッタースイッチ信号SW2により、撮像部122からの信号読み出しから記録媒体104に画像データを書き込むまでの一連の撮影処理の動作が開始する。
操作部170の各操作部材は、表示部128に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、終了ボタン、戻りボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタンなどがある。例えばメニューボタンが押されると、各種の設定可能なメニュー画面が表示部128に表示される。利用者は、表示部128に表示されたメニュー画面と、4方向ボタンやSETボタンとを用いて、直感的に各種設定を行うことができる。
180は電源制御部であり、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路などにより構成され、電池の装着の有無、電池の種類、および、電池残量の検出を行う。また電源制御部180は、その検出結果およびシステム制御部150の指示に基づいて、DC−DCコンバータを制御し、必要な電圧を必要な期間だけ記録媒体104を含む各部へ供給する。
130は電源部であり、アルカリ電池やリチウム電池などの一次電池、NiCd電池、NiMH電池、Li電池などの二次電池、ACアダプターなどを備えて構成される。118はメモリカードやハードディスクなどの記録媒体104とのインターフェースである。記録媒体104は、メモリカードなどの記録媒体であり、半導体メモリや磁気ディスクなどから構成される。172は電源スイッチであり、電源のオン/オフを切り替える。
本実施例のデジタルカメラ100は、中央1点AFや顔AFを用いた撮影が可能である。中央1点AFとは、撮影画面内の中央位置1点に対してAFを行うことである。顔AFとは、顔検出機能によって検出された撮影画面内の顔に対してAFを行うことである。
190は顔検出部(被写体検出手段)である。顔検出部190は、画像データから被写体(顔)を検出する。より具体的には、顔検出部190は、画像データに含まれる被写体から、目、口などのエッジを検出して人物の顔の特徴部分を検出する。すなわち顔検出部190は、顔が占める画像データの領域(顔位置と顔の大きさ)、顔の確からしさ(顔信頼度)に基づいて、その画像データから顔領域を検出する顔検出処理や識別処理を実行する。また顔検出部190は、検出された顔領域から、顔の器官(目、鼻、口など)の位置情報を検出する。
191は画像加工処理部(画像加工処理手段)であり、顔検出部190で検出された顔の器官の位置情報に基づいて、画像データの顔領域に対し、目の拡大処理や美肌処理などの顔領域を加工する画像処理(以下、「加工処理」という。)を行う。すなわち画像加工処理部191は、画像データのうち被写体(顔)を含む少なくとも一部の画像領域に対する加工処理を行って加工後画像を生成する。
192は特徴情報抽出部であり、顔検出部190で検出された顔領域から、個人認証の際に用いられる特徴情報を抽出する。193は辞書データ記録部であり、個人認証の照合時に用いられる辞書データを記録する。ここで、辞書データとは、特徴情報抽出部192で抽出された特徴情報である。辞書データ記録部193は、不揮発性メモリ156で代用することも可能である。194は、辞書データ記録部193に記録された辞書データから、個人認証に用いられる辞書データを選択する辞書データ選択部である。
195は認証判定部(認証判定手段)である。認証判定部195は、被写体(顔)に関して予め保持された認証情報(登録された特徴情報)と加工前画像(の特徴情報)とを用いて認証を行う。すなわち認証判定部195は、システム制御部150より辞書データ記録部193から読み出された辞書データと、顔検出部190で検出された顔領域から特徴情報抽出部192により抽出された特徴情報とを、パターンマッチングで比較する。そして認証判定部195は、パターンマッチングで算出された類似度と予め設定された閾値(所定の閾値)とを比較する。認証判定部195は、この類似度が所定の閾値以上である場合、顔検出部190で検出された顔領域が辞書データ記録部193に記録された人物であると識別、すなわち個人認証が成功したと判定する。
196は加工前画像生成部(加工前画像生成手段)である。加工前画像生成部196は、画像加工処理部191により加工された画像(加工後画像)に所定の処理を行い、加工前の画像(加工前画像)を生成する。このとき、加工前画像生成部196は、加工後画像から加工前画像を生成する際に、後述の付帯情報を用いる。または、加工前画像生成部196は、付帯情報のみを用いて加工前画像を生成するように構成される。このように加工前画像生成部196は、少なくとも付帯情報を用いて(付帯情報および加工後画像を用いて、または、付帯情報のみを用いて)加工前画像を生成する。
197は付帯情報付加部(付帯情報付加手段)である。付帯情報付加部197は、加工前画像生成部196が加工前画像を生成するのに必要な付帯情報(加工処理に関する付帯情報)を、加工後画像に付加する。なお、図1を参照して説明した撮像装置(デジタルカメラ100)の構成は一例であり、以下に説明される動作を実行可能であれば、撮像装置の構成は、図1に示される構成に限定されるものではない。
次に、図2を参照して、本実施例の撮像装置において個人認証に用いられる辞書データの登録方法について説明する。図2は、個人認証に用いられる辞書データの登録方法(記憶処理)を示すフローチャートである。図2の各ステップは、主に、システム制御部150の指令に基づいて実行される。
まずステップS201において、ユーザは、デジタルカメラ100の動作モードとして、静止画記録モードまたは再生モードのいずれかを選択する。ステップS201にて静止画記録モードが選択された場合、ステップS202に進み、撮像部122は画像データを取得する。一方、再生モードが選択された場合、ステップS203に進み、記録媒体104に記録された画像データの中から加工処理を行う画像データを選択する。
続いてステップS204において、顔検出部190は、ステップS202またはステップS203で取得された画像データに対し、顔検出処理を行う。そしてステップS205において、顔検出部190は、画像データにおいて顔(顔領域)が検出されたか否かを判定する。ステップS205にて顔領域が検出されない場合、ステップS201に戻り、再度、撮像部122より画像データが取得されるか、または、記録媒体104に記録された画像データの中から一つの画像データを選択する。
一方、ステップS205にて少なくとも一つの顔領域が検出された場合、システム制御部150は、検出された複数の顔領域のそれぞれに関して、顔領域の位置、サイズ、および、顔の器官(目、鼻、口など)の位置情報を取得する。また、顔検出成功の結果として、例えば、顔検出に成功していることを示す顔枠を表示部128に表示する。そしてステップS206において、ユーザは、検出された複数の顔(顔領域)の中から辞書データへ登録を行う顔を選択する。
次にステップS207において、システム制御部150(特徴情報抽出部192)は、ユーザにより選択された顔の特徴情報を算出し、辞書データ記録部193はこの特徴情報を辞書データとして登録する。続いてステップS208において、画像データ内に検出された複数の顔のうち、ステップS206にて選択された顔以外に登録を行いたい顔があるか否かをユーザに選択させる。既に選択された顔以外に登録を行いたい顔がある場合、ステップS206に戻り、再度、検出された顔(顔領域)から登録を行いたい顔を選択する。一方、登録を行いたい顔がない場合、本フローを終了する。
次に、図3を参照して、本実施例における撮像装置による撮影時の個人認証処理および画像加工処理について説明する。図3は、撮像装置(デジタルカメラ100)による撮影時の個人認証処理および画像加工処理を示すフローチャートである。図3の各ステップは、主に、システム制御部150の指令に基づいて実行される。
ユーザがデジタルカメラ100の動作モードとして撮影モードを選択すると、本フローの処理が開始する。まずステップS301において、撮像部122は画像データを取得する。続いてステップS302において、顔検出部190は、ステップS301にて取得された画像データに含まれる顔に対して顔検出処理を行う。そしてステップS303において、顔検出部190は、少なくとも一つの顔領域が検出されたか否かを判定する。ステップS303にて顔領域が検出されない場合、ステップS304に進み、システム制御部150は、画像データ(ライブビュー画像)を表示部128に表示する。その後、ステップS301に戻り、次の画像データを撮像部122より取得する。一方、ステップS303にて少なくとも一つ以上の顔領域が検出された場合、システム制御部150は、検出された複数の顔領域のそれぞれに関して、顔領域の位置、サイズ、および、顔の器官(目、鼻、口など)の位置情報を取得する。
次にステップS305において、検出された顔領域のそれぞれに適用される加工処理(加工処理情報)が既に設定されているか否かを判定する。この加工処理が設定されていない場合、ステップS306に進み、システム制御部150は、その画像データにおいて検出された顔領域のうち少なくとも一つの顔領域に適用される加工処理(加工処理情報)をユーザに選択させる。このとき、設定される加工処理を顔領域ごとに変更することも可能である。続いてステップS307において、辞書データ選択部194は、辞書データ記録部193に記録された辞書データの中から個人認証に用いられる辞書データを選択して読み出す。
次にステップS308において、認証判定部195は、ステップS307にて読み出された辞書データを用いて、ステップS302にて検出された顔領域に対して個人認証を行う。ここで、個人認証を行う顔領域は、加工前の画像である。また、個人認証の利用方法として、個人認証の判定結果を例えばAF(オートフォーカス)処理の制御に用いることが可能である。
続いてステップS309において、画像加工処理部191は、ステップS302にて検出された顔領域に対して、ステップS306で設定された加工処理(加工処理情報に基づく処理)を実行する。そしてステップS310において全ての囲う処理が実行されたか否かを判定し、全ての加工処理が完了するまでステップS309の処理を繰り返し実行する。
続いてステップS311において、ステップS309にて加工処理された画像データ(加工後の画像データ)をライブビュー画像として表示部128に表示する。続いてステップS312において、付帯情報付加部197は、加工処理を施した画像データ(加工後の画像データ)に加工処理に関する付帯情報を付加する。付帯情報に関しては追って詳述する。その後、ステップS301に戻り、ライブビューが終了するまで、ステップS301〜S312を繰り返す。
次に、図4を参照して、本実施例における撮像装置による再生時の個人認証処理および画像加工処理について説明する。図4は、撮像装置(デジタルカメラ100)による再生時の個人認証処理および画像加工処理を示すフローチャートである。図4の各ステップは、主に、システム制御部150の指令に基づいて実行される。
ユーザがデジタルカメラ100の動作モードとして再生モードを選択すると、本フローの処理が開始する。まずステップS401において、システム制御部150は、記録媒体104から画像データを取得する。続いてステップS402において、顔検出部190は、ステップS401にて取得された画像データに含まれる顔に対して顔検出処理を行う。そしてステップS403において、顔検出部190は、少なくとも一つの顔領域が検出されたか否かを判定する。ステップS403にて顔領域が検出されない場合、ステップS404に進み、システム制御部150は、画像データ(ライブビュー画像)を表示部128に表示する。その後、ステップS401に戻り、次の画像データを記録媒体104から取得する。一方、ステップS403にて少なくとも一つ以上の顔領域が検出された場合、システム制御部150は、検出された複数の顔領域のそれぞれに関して、顔領域の位置、サイズ、および、顔の器官(目、鼻、口など)の位置情報を取得する。
次にステップS405において、システム制御部150は、検出された顔領域のそれぞれに対して加工処理が実行されているか否かを判定する。顔領域に加工処理が実行されていない場合、ステップS407に進む。一方、顔領域に加工処理が実行されている場合、ステップS406に進む。ステップS406において、加工前画像生成部196は、付帯情報付加部197により付加された付帯情報を用いて、画像データにおいて検出された顔領域のうち少なくとも一つの顔領域に対して加工前の画像データ(加工前画像)を生成する。加工前画像の生成方法については、追って詳述する。続いてステップS407において、辞書データ選択部194は、辞書データ記録部193に記録された辞書データの中から個人認証に用いられる辞書データを選択して読み出す。
次にステップS408において、認証判定部195は、ステップS407にて読み出された辞書データを用いて、ステップS406にて生成された加工前画像に対して個人認証を行う。ここで、個人認証の利用方法として、個人認証の判定結果を例えば検索時の特定被写体の抽出処理の制御に用いることが可能である。続いてステップS409において、ステップS401にて取得された画像データをライブビュー画像として表示部128に表示する。
次に、図5を参照して、本実施例における加工画像の付帯情報について説明する。図5は、加工前後の画像(加工前画像、加工後画像)および加工処理に関する付帯情報の説明図であり、図5(a)は加工前画像、図5(b)加工後画像をそれぞれ示している。図5(b)の加工後画像では、主被写体に対して小顔化処理および美肌処理が施されている。図5(c)は、加工前画像生成部196が加工前画像を生成するために必要な付帯情報の一例である。付帯情報として、加工内容(加工処理の内容)、処理中心座標、処理領域、および、加工処理ごとのパラメータ(歪みパラメータ、美肌パラメータ)が、加工の順に示されている。本実施例では、最初に小顔化処理を施し、続いて美肌処理を施しているため、図5(c)に示されるように各加工処理に関する付帯情報が表示されている。小顔化処理は例えばアフィン変換を用いて実行されるため、パラメータとしてアフィン変換のパラメータ(歪みパラメータ)が表示されている。また、美肌処理は例えばカラーマトリクス変換を用いて実行されるため、パラメータとしてカラーマトリクス変換のパラメータ(美肌パラメータ)が表示される。このように、本実施例の付帯情報は、加工前画像と加工後画像とを変換するためのパラメータを含む。
なお、本実施例における付帯情報は、Exif(Exchangeable image file format for digital still cameras)規格に準拠し、画像ファイルのヘッダ領域に保持(記録)される。ただし付帯情報の保持方法はこれに限定されるものではなく、別のファイルや別のフォーマット形式を採用してもよい。また、図5では被写体が単数(1名)であり、1名分の付帯情報が保持されているが、被写体が複数である場合、複数被写体分の付帯情報を保持するようにしてもよい。また、付帯情報をそのままの状態で保持すると、第三者が画像データの被写体に対して加工処理が施されているか否かを調べることができる。このため本実施例では、第三者に加工処理が施されているか否かを知られたくない場合、暗号化処理を施してもよい。この場合、付帯情報付加部197は、付帯情報を暗号化して加工後画像に付加する。なお暗号化処理の方法は、公知の方法を用いることができるため、ここでの詳細な説明は省略する。
次に、図6を参照して、加工前画像生成部196による加工前画像の生成方法について述べる。図6は、加工前画像の生成方法を示すフローチャートである。加工前画像生成部196による加工前画像の生成は、システム制御部150の指令に基づいて行われる。
まずステップS601において、システム制御部150は、付帯情報付加部197により画像データ(加工後画像)に付加された付帯情報を読み出して取得する。続いてステップS602において、この付帯情報に暗号化処理が施されているか否かを判定する。付帯情報に暗号化処理が施されている場合、ステップS603において、暗号の復号化処理を行うことが可能であるか否かを判定する。例えば撮影に用いられたカメラと別のカメラで画像データを再生する場合、暗号化手段を判定することができず復号化処理を行うことができないことがある。ステップS603にて復号化処理が可能である場合、ステップS604において暗号の復号化処理を行う。一方、復号化処理できない場合、本フローの処理を終了する。
次にステップS605において、画像データ(加工後画像)に対して加工処理(他の加工処理)を施したか否かを判定する。複数の加工処理が施されている場合、最後に施された加工処理を選択し、ステップS606に進む。一方、他の画像処理が施されていない場合、本フローの処理を終了する。
ステップS606において、ステップS605にて選択された加工処理内容(加工内容)に応じて、加工後画像から加工前画像を生成するために用いられる逆変換パラメータを算出する。図5を参照して説明した例では、最後に施された加工処理は美肌処理である。このため、カラーマトリクス変換の逆変換パラメータを算出する。続いてステップS607において、画像データ(加工後データ)に対して逆変換を行い、一つ加工前の画像データを生成する。この画像データが生成されると、ステップS605に戻り、まだ逆変換を行っていない加工処理があるか否かを判定し、そのうち最後に施した加工処理を選択する。
二巡目のステップS605では、小顔化処理が選択される。このため、ステップS606にてアフィン変換の逆変換パラメータを算出し、ステップS607にて逆変換を行う。また三巡目のステップS605では、この画像データに対して加工処理は施されていない。このため、加工前画像が生成された状態となり、本フローの処理を終了する。
本実施例において、付帯情報付加部197が加工処理に用いられる変換パラメータを算出し、加工前画像生成部196が加工前画像の生成に用いられる逆変換パラメータを算出する。ただし本実施例はこれに限定されるものではなく、例えば、付帯情報付加部197が逆変換パラメータを予め算出しておき、この逆変換パラメータを加工前画像の生成の際に用いるように構成してもよい。この場合、例えば再生時のステップS406における逆変換パラメータの算出処理(ステップS606)を省略することができる。また他の方法として、付帯情報付加部197は、特徴情報抽出部192で抽出された特徴情報を画像データに直接付加してもよい。この場合、再生時のステップS408の認証処理において、直接、辞書データとのマッチングを行うことができる。
次に、加工後画像の個人認証方法における特徴的な部分について説明する。前述のように、撮影時はステップS308、再生時はステップS408がそれぞれ個人認証処理である。撮影時には、加工前画像から算出された特徴情報と辞書データとのパターンマッチングを行う。再生時には、暗号の復号化処理ができない場合など加工前画像を生成できない場合、加工後画像から特徴情報を算出してもよい。
認証判定部195は、パターンマッチングの結果、画像データ中の特徴情報と辞書データとの類似度を算出する。この類似度は閾値(所定の閾値)と比較される。この類似度が所定の閾値以上である場合、本人(同一人)であると判定される。一方、類似度が所定の閾値未満である場合、他人であると判定される。このため、類似度と比較される閾値を高く設定すると、他人拒否率は向上する。ただし、この場合、本人拒否率も高くなる。
また、加工処理を施した画像(加工後画像)に対してパターンマッチングを行う場合、この閾値を一定値以上に設定すると本人拒否率が高くなり、適切な認証を行うことができない場合がある。このため本実施例では、加工後画像に対する個人認証処理の際に、加工前画像を利用できる場合と利用できない可能性がある場合とにより、この閾値を変更することが好ましい。
図9は、画像データと付帯情報との関係図である。図9(a)〜(d)において、上側に画像データ、下側に付帯情報がそれぞれ示されている。図9(a)は画像加工が施されていない場合、図9(b)は画像加工が施されている場合をそれぞれ示す。また、図9(c)は画像加工が施されており、かつ、暗号の復号化処理が可能である場合、図9(d)は画像加工が施されており、かつ、暗号の復号化処理ができない場合をそれぞれ示す。
次に、図13を参照して、パターンマッチング(個人認証処理)の際に用いられる閾値の決定方法について説明する。図13は、個人認証処理の際に用いられる閾値の決定方法を示すフローチャートである。図13の各ステップは、システム制御部150の指令に基づいて行われる。
まずステップS1301において、システム制御部150(認証判定部195)は、付帯情報が暗号化されているか否かを判定する。付帯情報が暗号化されていない場合、ステップS1304に進む。
一方、ステップS1301にて付帯情報が暗号化されている場合、ステップS1302に進む。そしてステップS1302において、システム制御部150(認証判定部195)は、暗号の復号化処理が可能であるか否かを判定する。復号化できない場合、ステップS1303に進み、閾値Thresh3(第3の閾値)を設定する。
一方、ステップS1302にて復号化が可能である場合、ステップS1304に進む。そしてステップS1304において、加工前画像生成部196は、加工前画像を生成するための逆変換ができたか否かを判定する。実施例4にて説明するように、加工前画像生成部196を備えた装置が、画像データの加工に用いられた画像加工処理部191を備えた装置と異なる場合、加工前画像を生成するための逆変換に失敗することもある。また、複数の加工処理が施されている場合、複数の逆変換が必要となる。ステップS1304において、全ての逆変換が成功した場合、ステップS1305に進み、閾値Thresh1(第1の閾値)を設定する。一方、少なくとも一つの逆変換が失敗した場合、ステップS1306に進み、閾値Thresh2(第2の閾値)を設定する。
前述の図9との関係では、図9(a)の状態では閾値Thresh1が設定(選択)される。また、図9(b)および図9(c)の状態において、全ての逆変換が成功した場合には閾値Thresh1が設定され、少なくとも一つの逆変換が失敗した場合には閾値Thresh2が設定(選択)される。また、図9(d)の状態では閾値Thresh3が設定(選択)される。
本実施例において、閾値Thresh1、Thresh2、Thresh3は、Thresh1>Thresh2>Thresh3の関係を満たすように設定される。閾値Thresh2は、少なくとも一つの逆変換が失敗しているため、閾値Thresh1よりも低い値に設定される。また、暗号の復号化処理を行うことができない場合、画像データに対して画像加工が施されているか否かを判定することができない。画像加工を施されている場合、認証精度が大きく劣化する可能性があるため、閾値Thresh3は、閾値Thresh2よりも低い値に設定される。
このように本実施例において、認証判定部195は、加工前画像生成部196により生成された加工前画像の状態(本来な加工前画像が取得できたか否か)に応じて、認証情報に対する加工前画像の閾値を変更する。より具体的には、認証判定部195が暗号化された付帯情報の複合化処理を行うことができたか否か、または、加工後画像に対する全ての逆変換が成功して本来の加工前画像を取得することができたか否かに応じて閾値を調整する。これにより、付帯情報の状況に応じて柔軟な対応が可能である。
次に、本発明の実施例2について説明する。本実施例は、撮像装置による加工画像の付帯情報および加工前画像の生成方法が実施例1と異なり、他の構成は実施例1と同様である。このため、実施例1と異なる箇所についてのみ説明し、実施例1と同様の箇所についての説明は省略する。
まず、図7を参照して、本実施例における撮像装置による加工前後の画像(加工前画像および加工後画像)および付帯情報について説明する。図7は、加工前後の画像および付帯情報の説明図であり、図7(a)は加工前画像、図7(b)は加工後画像をそれぞれ示している。図7(b)の画像データでは、主被写体に対して小顔化処理および美肌処理が施されている。図7(c)は、加工前画像生成部196が加工前画像を生成する際に用いられる付帯情報である。本実施例の付帯情報として、加工処理の領域(加工領域)、および、加工領域と同じサイズの加工前画像(加工前データ)が保持されている。このように、本実施例の付帯情報は、少なくとも一部の画像領域(加工処理が施された顔領域)における加工前画像である。すなわち本実施例において、加工前画像生成部196は、加工前画像そのものを示す付帯情報を用いて加工前画像を生成する。
次に、図8を参照して、加工前画像生成部196により行われる加工前画像の生成方法について説明する。図8は、加工前画像の生成方法を示すフローチャートである。本実施例における加工前画像の生成方法(図8)は、複数種類の加工処理を施した場合のイタレーション処理が無い点、および、加工前画像の生成が差し替え処理により行われる点で、実施例1における加工前画像の生成方法(図6)と異なる。
まずステップS801において、システム制御部150(加工前画像生成部196)は、撮影時に付帯情報付加部197により付加された付帯情報を読み出して取得する。続いてステップS802において、付帯情報に対して暗号化処理が施されているか否かを判定する。暗号化処理が施されていない場合、ステップS805に進む。
一方、暗号化処理が施されている場合、ステップS803に進む。そしてステップS803において、暗号の復号化処理を行うことができるか否かを判定する。復号化処理を行うことができない場合、本フローの処理を終了する。
一方、復号化処理を行うことができる場合、ステップS804に進み、暗号の復号化処理を行う。そしてステップS805において、画像データに対してステップS801にて取得された付帯情報により特定される処理領域(画像加工処理が施された領域)を、付帯情報により特定される加工前画像の対応領域(処理領域に相当する領域)と入れ替える。このように本実施例の構成によれば、複数種類の画像加工処理が施されている場合でも、一括で加工前画像を生成することができる。
次に、本発明の実施例3について説明する。本実施例は、撮像装置による加工画像の付帯情報および加工前画像の生成方法が実施例1と異なり、他の構成は実施例1と同様である。このため、実施例1と異なる箇所についてのみ説明し、実施例1と同様の箇所についての説明は省略する。
まず、図10を参照して、本実施例における撮像装置による加工前後の画像(加工前画像および加工後画像)および付帯情報について説明する。図10は、加工前後の画像および付帯情報の説明図であり、図10(a)は加工前画像、図10(b)は加工後画像をそれぞれ示している。また図10(b)では、主被写体に対して小顔化処理および美肌処理が施されている。図10(c)は、加工前画像生成部196が加工前画像を生成する際に用いられる付帯情報である。本実施例の付帯情報として、顔領域の座標、および、認証判定部195で辞書データとのパターンマッチングを行うために用いられる特徴情報が保持されている。このように、本実施例の付帯情報は、認証の際に用いられる被写体(顔)の特徴情報である。
次に、図11を参照して、本実施例の撮像装置による再生時の個人認証処理および加工処理について説明する。図11は、再生時の個人認証処理および画像加工処理を示すフローチャートである。図11において、ステップS1106(加工前の特徴情報の読み出し)、および、ステップS1108(加工処理前の特徴情報と個人認証)が実施例1の図4におけるステップS406、S408とそれぞれ異なる。図11のステップS1101〜S1105、S1107、S1109は、図4のステップS401〜S405、S407、S409とそれぞれ同様であるため、これらの説明は省略する。
ステップS1106において、認証判定部195は、加工前の特徴情報、すなわち辞書データとのパターンマッチングを行うために用いられる特徴情報を読み出す。またステップS1108において、認証判定部195は、ステップS1106にて読み出された特徴情報に対して個人認証を行う。すなわち認証判定部195は、特徴情報と辞書データとのパターンマッチングを行うことにより個人認証を行う。本実施例において、特徴情報が暗号化されている場合、実施例1または実施例2と同様に、暗号の復号化処理を行うステップを追加してもよい。
また、本実施例の別の実施形態として、撮像装置による加工後画像の付帯情報として、撮影時の個人認証処理で認証した個人IDを保持してもよい。図12は、別の実施形態における加工前後の画像および付帯情報の説明図であり、図12(a)は加工前画像、図12(b)は加工後画像をそれぞれ示している。また図12(b)では、主被写体に対して小顔化処理および美肌処理が施されている。図12(c)は、加工前画像生成部196が加工前画像を生成する際に用いられる付帯情報である。本実施例の付帯情報として、顔領域の座標、および、撮影時の個人認証処理で認証した個人IDが保持されている。このように、本実施例の付帯情報は、認証の際に用いられる被写体の個人IDである。本実施形態によれば、ステップS1108の加工処理前の特徴情報および個人IDを用いて個人認証処理を行うことができる。
次に、本発明の実施例4について説明する。実施例1〜3では、撮像装置による撮影時または再生時の個人認証処理について説明しているが、撮像装置を用いずに再生時の個人認証処理を行ってもよい。例えば、画像処理装置を備えたコンピュータ(情報処理装置)を用いて撮影画像(画像データ)を再生する場合においても、同様の処理により本発明の効果を達成することができる。
また、各実施例の機能を実現するソフトウェアのプログラムコード(画像処理プログラム)をコンピュータで読み取り可能な記憶媒体を、システムあるいは装置(画像処理装置)に供給することもできる。このとき、各実施例の機能は、そのシステムまたは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコード(画像処理プログラム)を読み出して実行することにより達成可能である。
この場合、記憶媒体から読み出されたプログラムコード自体が各実施例の機能を実現し、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
また各実施例は、コンピュータが読み出したプログラムコードを実行することで、各実施例の機能が実現される場合に限定されるものではない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOSなどが各実施例の機能を実現する処理の一部または全部を行う場合にも、このようなプログラムコードは本発明の実施例に含まれる。
また、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれて実施することも可能である。したがって、書き込まれたプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
上記各実施例によれば、画像を加工した場合でも個人認証処理の精度劣化を低減する撮像装置、撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
100 デジタルカメラ
190 顔検出部
191 画像加工処理部
195 認証判定部
196 加工前画像生成部
197 付帯情報付加部

Claims (6)

  1. 画像データからを検出する検出手段と、
    前記画像データから前記顔の特徴情報を抽出する抽出手段と、
    前記画像データのうち前記を含む少なくとも一部の画像領域に対する加工処理を行って加工後画像データを生成する画像加工処理手段と、
    前記加工処理を行う前の前記画像データから抽出した前記顔の特徴情報を、前記加工処理を行って生成された前記加工後画像データに付加する付加手段と
    前記に関して予め保持された認証情報と、前記加工後の画像データに付加された前記顔の特徴情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行う認証手段と、を有することを特徴とする撮像装置。
  2. 記付加手段は、前記顔の特徴情報を暗号化して前記加工後画像データに付加することを特徴とする請求項に記載の撮像装置。
  3. を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後画像データに付加された前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行う認証手段と、を有することを特徴とする画像処理装置。
  4. 画像データからを検出するステップと、
    前記画像データから前記顔の特徴情報を抽出するステップと、
    前記画像データのうち前記を含む少なくとも一部の画像領域に対する加工処理を行って加工後画像データを生成するステップと、
    前記加工処理を行う前の前記画像データから抽出した前記顔の特徴情報を、前記加工処理を行って生成された前記加工後画像データに付加するステップと
    前記に関して予め保持された認証情報と、前記加工後の画像データに付加された前記顔の特徴情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップと、を有することを特徴とする撮像装置の制御方法。
  5. を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後画像データに付加された前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップと、を有することを特徴とする画像処理方法。
  6. を含む少なくとも一部の画像領域に対する加工処理を行って得られた加工後画像データに付加された前記加工処理を行う前の画像データから抽出した顔の特徴情報と、前記に関して予め保持された認証情報とを用いて、前記加工後の画像データに含まれる顔に対する個人認証を行うステップと、を情報処理装置に実行させるように構成されていることを特徴とする画像処理プログラム。
JP2012242558A 2012-11-02 2012-11-02 撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラム Expired - Fee Related JP6140976B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012242558A JP6140976B2 (ja) 2012-11-02 2012-11-02 撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012242558A JP6140976B2 (ja) 2012-11-02 2012-11-02 撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2014093639A JP2014093639A (ja) 2014-05-19
JP6140976B2 true JP6140976B2 (ja) 2017-06-07

Family

ID=50937441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012242558A Expired - Fee Related JP6140976B2 (ja) 2012-11-02 2012-11-02 撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6140976B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046680A (zh) * 2015-03-03 2015-11-11 李鋆路 视频图像鉴别Ps(photoshop)处理分析技术
IL252657A0 (en) * 2017-06-04 2017-08-31 De Identification Ltd System and method for preventing image recognition
EP4369288A4 (en) * 2021-07-07 2024-06-26 NEC Corporation IMAGE PROCESSING DEVICE AND METHOD AND RECORDING MEDIUM

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736317A (ja) * 1993-07-23 1995-02-07 Ricoh Co Ltd 複写機
JP4366029B2 (ja) * 2001-02-09 2009-11-18 セイコーエプソン株式会社 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、画像処理方法、コンピュータプログラム、および、記録媒体
JP2007060153A (ja) * 2005-08-23 2007-03-08 Nikon Corp 履歴付加装置、電子カメラ、および画像処理プログラム
JP2010183216A (ja) * 2009-02-04 2010-08-19 Fujifilm Corp 撮影装置、画像再生装置、及び撮影結果報知方法
JP2010237911A (ja) * 2009-03-31 2010-10-21 Sanyo Electric Co Ltd 電子機器
JP2010251909A (ja) * 2009-04-13 2010-11-04 Nikon Corp デジタルカメラおよび画像処理プログラム
JP2011257940A (ja) * 2010-06-08 2011-12-22 Panasonic Corp 逆変換テーブル生成方法、逆変換テーブル生成プログラム、画像変換装置、画像変換方法、及び画像変換プログラム
JP5924977B2 (ja) * 2011-03-18 2016-05-25 キヤノン株式会社 画像処理装置および画像処理方法
US8842213B2 (en) * 2011-04-18 2014-09-23 Panasonic Corporation Image capture device, image capture device focus control method, and integrated circuit

Also Published As

Publication number Publication date
JP2014093639A (ja) 2014-05-19

Similar Documents

Publication Publication Date Title
JP4101225B2 (ja) 電子機器及び情報処理装置及びそれらの制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US9041832B2 (en) Imaging apparatus and method for controlling the same
JP6132490B2 (ja) 認証装置、認証方法、およびプログラム
JP4574459B2 (ja) 撮影装置及びその制御方法及びプログラム及び記憶媒体
JP2010147808A (ja) 撮像装置および撮像装置における画像処理方法
JP5473646B2 (ja) 画像検索装置、制御方法、プログラム及び記憶媒体
JP4916403B2 (ja) 画像処理装置及びその制御方法
JP6140976B2 (ja) 撮像装置、撮像装置の制御方法、画像処理装置、画像処理方法、および、画像処理プログラム
JP2007081732A (ja) 撮像装置
JP6460783B2 (ja) 画像処理装置及びその制御方法
US9648195B2 (en) Image capturing apparatus and image capturing method
JP2014186580A (ja) 認証装置、撮像装置、認証用データの登録方法、プログラム、および、記憶媒体
JP4958805B2 (ja) 撮像装置及びその表示制御方法
JP2012060299A (ja) 撮像装置、その制御方法及びプログラム並びに記録媒体
JP5943603B2 (ja) 撮像装置およびその制御方法
JP5116494B2 (ja) 撮像装置
JP6075819B2 (ja) 画像処理装置及びその制御方法、並びに記憶媒体
JP5950571B2 (ja) 撮像装置およびその制御方法
JP5800625B2 (ja) 撮像装置及びその制御方法、並びにプログラム
JP2017046290A (ja) 撮像装置、その制御方法、および制御プログラム
JP2014115900A (ja) 撮像装置及び撮像装置の制御方法
JP4909009B2 (ja) 撮像装置及び画像処理方法及びプログラム及び記憶媒体
JP6632236B2 (ja) 撮像装置
JP2013138314A (ja) 撮像装置およびその制御方法
JP5245604B2 (ja) 画像処理装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170502

R151 Written notification of patent or utility model registration

Ref document number: 6140976

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees