JP4218348B2

JP4218348B2 - 撮影装置

Info

Publication number: JP4218348B2
Application number: JP2003009285A
Authority: JP
Inventors: 世紅労; 雅人川出
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2003-01-17
Filing date: 2003-01-17
Publication date: 2009-02-04
Anticipated expiration: 2023-01-17
Also published as: JP2004222118A; EP1441497A3; EP1441497A2; CN1522052A; US20040208114A1; CN1263286C

Description

【０００１】
【発明の属する技術分野】
この発明は、レンズおよび撮像素子を含む撮像部と、前記撮像部により得られた画像を処理して、その処理結果画像を内部のメモリまたは所定の記憶媒体に保存する制御部を具備する撮影装置に関する。特に、この発明は、この種の撮影装置において、人物を被写体とした撮影操作に応じて、その被写体の顔を含む画像を生成する技術に関する。
【０００２】
【従来の技術】
近年、人物を被写体として撮影を行った際の画像から、被写体の顔に相当する画像領域を抽出し、その領域内の特徴量に基づいて露光量などの撮影条件を調整したり、撮影後の画像を補正するようにした技術が開示されている。
たとえば、下記特許文献１〜３に開示されたような技術が存在する。
【０００３】
【特許文献１】
特開平１０−２６８４４７号公報
【特許文献２】
特開平８−６２７４１号公報
【特許文献３】
特開平１１−１４６４０５号公報
【０００４】
特許文献１では、撮像素子から取り込んだ画像データを用いて写真焼き付け処理を行う際に、前記画像データから人物の顔の領域を抽出し、この領域内の測光データに基づいて露光量を定めた上で補正を行うことにより、顔画像の特徴に合わせて画像を補正するようにしている。
【０００５】
特許文献２では、カメラで撮像した画像をプリントアウトする処理において、処理対象の画像から顔画像に相当する肌色領域を抽出するとともに、この画像の輝度情報に基づき、逆光の度合を判別し、人物の存在する度合や逆光の度合によって、異なる内容の階調補正を行うようにしている。
【０００６】
特許文献３では、カラービデオカメラなどの映像信号処理装置において、映像信号を取り込む過程で肌色領域を抽出し、肌色領域が抽出されたときの映像信号に輝度補正や色補正などを施すことにより、肌色領域のみを補正できるようにしている。
【０００７】
【発明が解決しようとする課題】
上記の先行技術をはじめとする従来の補正処理では、いずれも、顔画像の明るさや色彩などの特徴量をあらかじめ定められた基準と照合して、補正のパラメータを決定しているものと思われる。しかしながら、この補正の基準は、所定の人種の肌の色に合わせて定められるので、他の人種を被写体とした場合の補正処理に不具合が生じる虞がある。
【０００８】
たとえば、補正の基準を黄色人に合わせていると、黒人が被写体になった場合には逆光時の補正パラメータが適用される可能性がある。しかしながら、実際の黒人の顔画像と逆光時の顔画像とは大きく異なるので、適正な補正を行うのは困難である。また、白人が被写体になった場合に、黄色人と同様の補正処理を行うと、肌の色に黄味がかかり、不自然な印象の画像になる虞がある。
【０００９】
年代や性別の違いによっても、人種の場合と同様に、画一化された補正パラメータだけでは対応が困難な可能性がある。たとえば、２０代の顔画像と４０代の顔画像とでは、補正すべき箇所や基準にかなりの差異があると考えられる。また、被写体が男性である場合と女性である場合とでは、一般に、好ましいとされる顔色の基準が異なるものになると考えられる。
【００１０】
さらに、顔の色や明るさについては、人によって好みがあり、またその時々の流行や季節などによっても好みが変動する可能性がある。このような種々の要素に応じて個々の被写体の顔画像を補正するには、従来の画一的な基準による補正だけで対応するのは困難である。
【００１１】
この発明は、上記問題に着目してなされたもので、被写体の人種、年齢、性別に適した撮影条件を自動的に設定して、撮影を行うことができるようにすることを、目的とする。
【００１２】
また、この発明は、撮影により得られた画像に、各被写体の顔画像の補正に必要な情報をリンクさせて保存することにより、撮影後の顔画像を被写体の特性や好みなどに応じて容易に補正できるようにすることを、目的とする。
【００１３】
【課題を解決するための手段】
この発明にかかる第１の撮影装置は、レンズおよび撮像素子を含む撮像部と、前記撮像部により得られた画像を処理して、その処理結果および画像を内部のメモリまたは所定の記憶媒体に保存する制御部と、操作部および表示部と、メモリまたは記憶媒体に保存された情報を出力する出力部とを具備する。前記制御部は、前記撮像部にプレビュー画像を生成させて、このプレビュー画像に含まれる顔画像を抽出する顔画像抽出手段と、プレビュー画像から顔画像が抽出されたとき、この顔画像の位置、大きさ、および傾きに適合した顔領域を設定するとともに、この顔領域の設定用パラメータを作成する領域設定手段と、前記顔領域設定手段により設定された顔領域毎に、当該領域内の顔画像の特徴量に基づき、顔画像に対応する被写体の人物について、少なくとも人種、年齢、性別のいずれかに対する推論処理を実行する推論手段と、前記推論手段による推論結果に基づき、前記撮像部による本撮影の撮影条件を調整する撮影条件調整手段と、前記撮影条件調整手段により調整された撮影条件下で本撮影が行われたとき、この本撮影前のプレビュー画像に対する顔領域設定手段の処理により設定された顔領域の設定用パラメータを含むリンク情報を顔領域毎に作成するリンク情報作成手段と、本撮影により生成された画像に前記リンク情報をリンクさせた情報リンク画像を生成して、前記メモリまたは記憶媒体に登録する登録手段とを具備する。また撮影条件調整手段は、顔画像抽出手段がプレビュー画像から複数の人物の顔画像を抽出したとき、いずれか１の顔画像に対する前記推論手段の推論結果に基づき撮影条件を調整する。
【００１４】
撮像部には、レンズ、ＣＣＤのような撮像素子のほか、レンズの絞りおよび焦点の調整機構、撮像素子の駆動機構、ストロボおよびその強度調整機構などを含ませることができる。
制御部は、上記した各手段の処理にかかるプログラムが組み込まれたコンピュータにより構成するのが望ましい。ただし、必ずしもコンピュータのみで構成する必要はなく、一部の処理を、専用の回路により実施するようにしてもよい。
【００１５】
処理結果や画像を保存するためのメモリは、ハードディスク、フラッシュメモリのような不揮発性のメモリであるのが望ましい。記憶媒体は、メモリカード、コンパクトフラッシュ（登録商標）、ＣＤ−Ｒ／ＲＷ、ＤＶＤ−Ｒ／ＲＷ、ディジタルビデオテープなどのリムーバブル記憶媒体であって、複数枚の画像を格納するのに十分な容量を具備するものであるのが望ましい。
【００１６】
このほか、この撮影装置には、撮像部により生成されたアナログ画像信号をディジタル変換するためのＡ／Ｄ変換回路を具備させる必要がある。さらに、ディジタル変換後の画像を圧縮するなどして、所定のファイル形式の画像データに変換する画像処理回路を、含ませることもできる。
【００１７】
顔画像抽出手段は、たとえば、所定のタイミングで撮像部から入力した画像上に所定大きさの検索領域を走査し、顔を構成する器官の特徴を示す特徴点が含まれているかどうかを検索する方法により、顔画像の抽出処理を行う。この検索では、下記の特許文献４に記載されたような特徴点抽出処理を行うことにより、高確度で顔画像を抽出することができる。ただし、これに限らず、従来の肌色領域を検出する方法や単純なパターンマッチング処理によって、顔画像を抽出することも可能である。
【００１８】
【特許文献４】
特開２００１−１６５７３号公報
（段落［００６４］〜［００６９］参照。）
【００１９】
推論手段は、顔の器官を構成する特徴点を用いた演算処理により人種，年齢，性別などを高確度で判別することができる。人種の推定では、たとえば、下記の非特許文献１の手法を適用できるが、これに限らず、顔画像内の輝度分布を抽出する方法を用いることができる。また、年齢や性別を推定するには、たとえば、下記の非特許文献２に開示された方法を使用することができる。
【００２０】
【非特許文献１】
グレゴリーシャナロビッチ（Gregory
Shakhnarovich），ポール A ヴィオラ（Paul A. Viola），ババックモハダム（Baback Moghaddam）；「アユニファイドラーニングフレームワークフォアリアルタイムフェイスディテクションアンドクラシフィケーション（A
Unified Learning Framework for Real Time Face Detection and Classification）」；プロシーディングスオブザフィフス IEEE インターナショナルコンファレンスオンオートマティックフェイスアンドジェスチャーレコグニッション（Proceedings
of the Fifth IEEE International
Conference on Automatic Face and Gesture and Gesture Recognition）；（米国）インスティチュートオブエレクトリカルアンドエレクトロニクスエンジニアズ(Institute
of Electrical and Electronics Engineers，略称ＩＥＥＥ）；２００２年５月
【００２１】
【非特許文献２】
細井聖，瀧川えりな，川出雅人；「ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム」；第8回画像センシングシンポジウム講演論文集；画像センシング技術研究会；２００２年７月
【００２２】
上記の推論処理に使用される特徴量は、主として顔画像の抽出領域から導き出されるが、これに限らず、顔画像の周辺領域や、画像全体または画像の一部の特徴量も含めてもよい。特徴量としては、顔画像の色彩や明度の平均や分散、強度分布、周囲画像との色彩差や明度差などを抽出することができる。また、これらの特徴量を所定の演算式にあてはめて、推論に必要な二次的な特徴量を求めることもできる。
【００２３】
この発明で調整するところの撮影条件とは、たとえば、露出量を決めるためのシャッター速度や絞り、焦点距離、ストロボの有無およびその強度などである。上記の撮影装置によれば、前記顔画像の抽出処理と推論処理が実行された後に、推論結果に基づき撮影条件を自動調整することができる。
【００２４】
撮影条件を調整する処理を実行するには、あらかじめ、各種撮影条件毎に、その条件を決める調整値（以下、これを「撮影パラメータ」と呼ぶ。）と推論の対象となる各要素とを対応づけた設定テーブルを作成しておき、前記推論処理の結果をこの設定テーブルと照合して、推論結果に応じた撮影パラメータを導き出すようにするのが望ましい。この場合の設定テーブルでは、少なくとも、人種、年齢、性別のいずれか１つをそれぞれ複数のカテゴリーに分類し（たとえば、人種について「白人」「黄色人」「黒人」、年齢について「１０代」「２０代」「３０代」など）、これらカテゴリーの組み合わせ毎に各種撮影パラメータを対応づけることができる。
【００２５】
上記の撮影装置によれば、シャッターボタンが半押しされたとき、視線センサなどにより撮影者の視線が所定の方向に定められたことを検出したときなど、撮影者が撮影対象領域を決定したとみなし得る状態になったタイミングで撮像素子を駆動してプレビュー画像を生成し、このプレビュー画像に対し、顔画像抽出手段、顔領域設定手段、推論手段、撮影条件調整手段による処理を実施することができる。これにより、少なくとも、人種、年齢、性別のいずれかにかかる複数とおりの標準設定の撮影条件の中から、被写体に最も適合する条件を選択して設定し、この条件の下で本撮影を行うことができる。すなわち、個々の被写体の人種、年齢、性別によって撮影条件を自動調整して本撮影を行うことができる。
【００２６】
さらにこの撮影装置では、調整された撮影条件下で本撮影が行われたとき、プレビュー画像に対して設定された顔領域の設定用パラメータを含むリンク情報が顔領域毎に作成され、本撮影により生成された画像に上記のリンク情報をリンクさせた情報リンク画像が登録されるので、この情報リンク画像を出力部より外部装置に出力して顔画像の詳細な補正を行う場合には、設定用パラメータにより顔領域を自動設定することができる。
【００２７】
また、複数人が被写体となる場合には、いずれか一人の被写体の顔画像に対する推論結果に基づいて撮影条件が調整されて本撮影が行われるが、この場合にも、本撮影後に、顔領域毎のリンク情報に基づき被写体毎に詳細な補正処理を行うことができるから、被写体間での推論結果の違いによる不具合を修正することができる。
【００２８】
つぎに、上記の撮影装置の好ましい一態様では、前記登録手段は、本撮影により生成された画像とそのリンク情報とを前記表示部に表示し、この表示状態下で前記操作部より被写体の識別情報を入力する操作が行われたとき、入力された識別情報を表示中のリンク情報に追加して登録する。
【００２９】
上記の態様によれば、リンク情報に、被写体の識別情報を含ませることができるので、外部機器において、この被写体に適した補正処理を行った後は、この補正内容を識別情報に対応づけて登録し、後日、同じ被写体の顔画像を処理する際に、前記登録情報を用いて前回と同様の補正を行うことができる。
また、画像が個人の識別情報とリンクしているので、撮影後の画像の整理や写真の焼き増し処理を簡単に行うことが可能となる。
さらに他の態様にかかる撮影装置では、登録手段は、前記本撮影により生成された画像とそのリンク情報とを前記表示部に表示し、この表示状態下で前記操作部からリンク情報を修正する操作を受け付けたとき、この修正操作に応じてリンク情報を修正し、修正後のリンク情報を登録する。
【００３０】
他の態様にかかる撮影装置は、被写体までの距離を認識する距離認識手段を具備し、前記顔画像抽出手段は、前記距離認識手段の認識結果に基づき、抽出対象の顔画像の大きさを特定する手段を具備するように構成される。
【００３１】
前記距離認識手段は、たとえば、反射光を利用した測距センサとすることができる。この場合、顔画像抽出手段は、距離認識手段により認識された距離に基づいて被写体の顔の大きさを推定した後、処理対象の画像上に推定した顔の大きさに応じたサイズの検索領域を設定したり、または検索領域の大きさは変更せずに、仮取得の画像のサイズを推定結果に基づき調整することによって、前記推定した大きさに相当する顔画像のみを検索することができる。いずれの処理においても、抽出対象となる顔画像の大きさによって、顔画像の抽出処理にかかる時間を短縮することができ、撮影操作に応じた高速の処理を実現することができる。
【００３２】
なお、顔画像の抽出時間を短縮する別の方法として、視線センサなどによって撮影者の視線の方向を特定し、その方向から顔画像の検出範囲を限定して検索を行うこともできる。また、同一人物が続けて撮影されるケースはきわめて多いから、前回の撮影からの経過時間が所定時間内であれば、前回の抽出処理で得た顔画像の特徴に類似する特徴を含む画像を優先的に検索するようにしてもよい。
このように、顔画像の抽出処理にかかる時間を短縮することにより、撮影者の撮像操作に応じて、顔画像の抽出処理を短時間で完了することが可能となる。
【００３３】
さらに、他の態様にかかる撮影装置は、前記撮像部のレンズの焦点距離を調整する焦点距離調整手段を具備し、前記撮像条件調整手段は、前記顔画像抽出手段による抽出結果に基づいて焦点距離調整手段による調整処理を制御する手段を含む。
通常のオートフォーカスの撮影装置では、画像の中央にピントが合わせられたり、被写体よりも手前位置にピントが合わせられるなどして、被写体の顔が不鮮明になる、という不具合がある。これに対し、この態様による撮影装置では、顔画像の抽出結果に基づき、被写体の顔にピントが合うように焦点距離の調整がなされるので、被写体の顔画像を明瞭に撮影することができる。
【００３４】
また、このようにピントが合わせられた後の顔画像に対して前記推論処理を実行することにより、推論結果をより正確なものにすることができる。
【００３５】
さらに、他の態様にかかる撮影装置は、顔領域設定手段は、設定した顔領域を表す枠画像を前記プレビュー画像に重ね合わせた画面を前記表示部に表示し、この表示状態下で前記操作部から所定の顔領域の修正または削除を指定する操作を受け付けたとき、この指定操作に応じて指定された顔領域およびその設定用パラメータを修正または削除する。
【００３６】
上記の態様によれば、たとえば、被写体とする人物以外の人物の顔画像が含まれている場合に、この被写体以外の人物にかかる顔画像の抽出結果を削除するなど、以後の推論処理やリンク情報の作成などを行う必要のない顔画像を削除することができ、被写体に対してのみ詳細な処理を行うことができる。
【００３７】
また上記の態様によれば、撮影者は、顔画像が正しく抽出されているかどうかを確認し、誤りがある場合には、修正操作によって顔領域の位置や大きさを正しく設定し直すことができるので、顔画像の抽出結果の誤りにより、間違った推論処理が行われて、以後の処理に誤りが生じるのを回避することができる。
【００３８】
なお、上記の撮影装置では、操作部からの入力に応じて、撮影時には実行が困難な補正処理（輪郭線のスムージング処理、顔面の欠陥を抽出して消去する処理、肌色の色味や明るさの詳細な補正処理など、相当量の処理時間が必要となる処理）をリンク情報に追加することもできる。このようにすれば、推論結果の誤りを修正できるばかりでなく、撮影者または被写体本人の好みに応じて、画像の補正にかかる詳細な内容を含むリンク情報を作成することができるから、撮影後の画像に対してより詳細な補正を行うことが可能となる。
【００３９】
さらに、他の態様にかかる撮影装置では、メモリに、過去に抽出された顔画像の特徴量が蓄積され、前記顔画像抽出手段に、前記撮像部により得られた画像を前記特徴量記憶手段に記憶された顔画像の特徴量と照合することによって、顔画像を抽出する手段が含まれる。
【００４０】
上記の態様によれば、顔画像の抽出処理を行う際には、過去に抽出された特定の顔画像と同じ特徴量を含む画像領域を抽出することができるから、同じ人物を被写体として連続的に撮影を行う際などには、被写体の顔画像を短時間で抽出することが可能となる。
【００４１】
なお、特徴量記憶手段には、必ずしも、過去に撮影されたすべての被写体の顔画像の特徴量を保存する必要はなく、所定時間前までに取得した特徴量、または最新の所定枚数分の画像で取得した特徴量に限定して保存するようにしてもよい。
【００４２】
上記した各種構成にかかる撮影装置は、一般的なディジタルカメラやカメラ機能を具備する携帯通信端末（携帯電話など）として構成することができる。
【００４３】
【発明の実施の形態】
図１は、この発明が適用されたディジタルカメラの構成を示す。
このディジタルカメラ１は、レンズ部２やＣＣＤ３を含む撮像部４と、ＣＣＤ３からの画像を取り込んで最終形態のディジタル画像を生成する制御部７とを主体とするもので、さらに、Ａ／Ｄ変換回路８、画像処理回路９、レンズ調節部１０、シャッタ制御部１１、ストロボ制御部１２，測距センサ１３、視線センサ１４、ＵＳＢインターフェース１５，入出力インターフェース１７などの周辺回路が組み込まれている。また、制御部７には、メモリカード１６を着脱自由に接続することができるようになっている。
【００４４】
前記制御部７は、ＣＰＵ５と、フラッシュメモリのような不揮発性メモリ６（以下、単に「メモリ６」という。）とにより構成される。メモリ６には、ＣＰＵ５の動作に必要なプログラムのほか、処理の過程で使用する各種参照用のテーブルやテンプレートが格納されたデータベース、画像処理回路９やＣＰＵ５から出力された画像データなどが格納される。
【００４５】
レンズ調節部１０には、前記レンズ部２の焦点調整機構や絞りの調節機構が含まれる。シャッタ制御部１１は、ＣＣＤ３に駆動パルスを供給して電荷蓄積を行わせるためのものであり、ストロボ制御部１２は、図示しないストロボの発光タイミングや光量を調整するためのものである。なお、焦点、絞りの調節値、ＣＣＤ３への駆動パルスのパルス間隔、ストロボの発光量などは、ＣＰＵ５からの制御信号に応じて調整される。Ａ／Ｄ変換回路８は、ＣＣＤ３の各画素からの出力を順に取り込み、Ｒ，Ｇ，Ｂの色成分毎にディジタル変換する。画像処理回路９は、複数のシフトレジスタやフリップフロップなどを組み合わせた回路であって、Ａ／Ｄ変換回路８からの出力を受けて、画素毎にＲ，Ｇ，Ｂの強度を組み合わせたフルカラー画像データを生成する。生成された画像データは、メモリ６に保存され、ＣＰＵ５による所定の画像処理を受けることになる。
【００４６】
測距センサ１３は、被写体までの距離を測定するためのもので、三角測距によるパッシブ方式、または赤外線アクティブ方式のものが用いられる。視線センサ１４は、赤外線光を撮影者の眼球に照射し、その反射光像を用いた計測処理により、撮影者の視線の方向を検出する。これらのセンサによる計測結果は、ＣＰＵ５に入力されて、本撮影前のプレビュー画像の生成や本撮影のための撮影パラメータの設定処理に使用される。
【００４７】
ＵＳＢインターフェース１５は、ユニバーサル・シリアル・バス（Universal Serial Bus)の規格に準拠するインターフェースであって、メモリ６やメモリカード１６に保存された画像をパーソナルコンピュータなどの外部装置に転送するために使用される。
【００４８】
入出力インターフェース１７には、操作部１８および表示部１９が接続される。操作部１８および表示部１９は、ディジタルカメラ１の機体表面に配備されるもので、表示部１９は、処理中の画像や情報入力のための画面の表示に用いられる。操作部１８は、前記情報入力操作のための操作キーのほか、シャッターボタンを含む。
【００４９】
上記構成において、ＣＰＵ５には、メモリ６に保存されたプログラムにより、図２に示すような機能が設定されている。これらの機能により、この実施例のディジタルカメラ１で、人物を被写体とする撮影を行う場合には、撮影対象領域が定められた状態下で、被写体である人物の人種、年齢、性別を推定し、その推定結果に適合する撮影パラメータを決定した上で本撮影を行うことができる。
なお、この実施例では、撮影パラメータとして、シャッタ速度、絞り、焦点距離の各調整値、およびストロボ使用の有無を常に設定するようにしており、さらにストロボを使用する場合には、その発光強度を設定できるようにしている。
【００５０】
図２において、プレビュー画像取得部５１は、前記レンズ調節部１０，シャッタ制御部１１などを制御して、撮影対象領域のプレビュー画像を生成させる（プレビュー画像取得時には、ストロボは使用しないようにするのが望ましい。）。顔検出処理部５２は、前記プレビュー画像取得部５１がプレビュー画像を取得したとき、この画像から顔画像を検出する。顔領域設定部５３は、この検出結果に応じて、前記顔画像を含む所定大きさの領域を処理領域として設定し（以下、この処理領域を「顔領域」と呼ぶ。）、後記する領域設定用のパラメータを作成する。
【００５１】
推論処理部５４は、設定された顔領域につき、その領域内の特徴量に基づき、被写体の人種、年代、性別などを推論する。パラメータ決定部５５は、前記推論処理の結果に適合する撮影パラメータを決定する。なお、この実施例では、前記人種、年代、性別のほか、逆光の有無を推論するようにしており、あらかじめ、これら４つの要素にかかる推論結果および被写体までの距離を種々に組み合わせて、組み合わせ毎に、最適とする撮影パラメータを設定したテーブルを作成し、メモリ６に登録している。撮影パラメータを決定する処理では、推論結果および測距センサ１３の計測値により、このテーブルを照合することで、最適な撮影パラメータを抽出するようにしている。
【００５２】
本撮影処理部５６は、前記パラメータ決定部５５の決定した撮影パラメータに基づきレンズ調整部１０，シャッタ制御部１１，ストロボ制御部１２を制御し、本撮影を実行させる（ストロボは必要に応じて使用する。）。画像データ記憶部５７は、この本撮影により得た画像を、顔領域設定部５３や推論処理部５４による処理結果にリンクさせた情報リンク画像を生成し、これをメモリ６またはメモリカード１６に保存する。画像データ出力部５８は、保存された情報リンク画像を、適宜、読み出して、前記ＵＳＢインターフェース１５を介して外部に出力する。
【００５３】
ユーザーインターフェース制御部５９は、前記顔領域の設定結果や情報リンク画像のリンク情報を確認して、その誤りを修正したり、追加の情報を入力するためのものである。この実施例では、顔領域の設定処理が終了した時点で、顔領域の設定結果を含む前記プレビュー画像を前記表示部１９に表示するようにしている。図３は、この表示例を示すもので、プレビュー画像２０中の各人物の顔画像上に、それぞれ顔領域の境界線に応じた枠画像２１，２２が表示されている。
【００５４】
ユーザーインターフェース制御部５９は、このような表示とともに、顔領域の設定を修正する操作や新規の顔領域を設定する操作を行うための操作画面を設定して、各種操作を受け付け、その操作の内容を顔領域設定部５３に出力する。顔領域設定部５３は、この操作の内容に応じて、設定した顔領域の場所や大きさを修正したり、不要な顔領域を削除したり、新規の顔領域を設定したりする。
【００５５】
さらに、ユーザーインターフェース制御部５９は、画像データ記憶部５７が情報リンク画像を保存する際には、この情報リンク画像中の画像およびリンク情報を表示するとともに、リンク情報の修正や追加情報を入力するための操作画面を設定して、各種修正や入力を受け付ける。この修正の内容や入力情報は、画像データ記憶部５７に渡される。画像データ記憶部５７は、前記情報リンク画像に対する修正に基づいて対応する情報を修正し、また追加入力された情報を、既存のリンク情報に加える処理を実行する。
【００５６】
なお、修正情報は、主として、推論処理の誤りを修正するためのものである。また追加情報の入力は、推論処理による標準的な補正では対応できないオプションの補正処理や、被写体の名前（姓または名、もしくはニックネームでもよい。）などの個人情報を入力する操作により行われる。
【００５７】
さらに、この実施例のディジタルカメラ１は、本撮影後の画像に対し、ユーザーの指定操作に応じて、輝度補正や輪郭補正などの画像補正を行う機能を具備している。画像データ記憶部５７は、このような装置内での補正が行われたとき、この補正に関わる情報をリンク情報に加える処理を実行するようにしている。
【００５８】
図４は、前記情報リンク画像におけるリンク情報の構成例を示す。
図中の１番上の欄は、リンク情報中のインデックス情報に対応するもので、画像番号、撮影日時、撮影モードなどが設定されている。なお、画像番号は、本撮影により生成された画像に順に付与される通し番号である。また、撮影モードには、人物撮影モード、風景撮影モードなどの複数のモードが設定されており、このうちの人物撮影モードが選択されたときのみ、顔検出処理や推論処理が実行されて、具体的なリンク情報が設定されることになる。
【００５９】
リンク情報には、前記顔領域の設定結果を示す情報として、顔画像の検出位置の座標（ｘ_Ｐ，ｙ_Ｐ）、顔画像の大きさｒ、顔の傾き角度θが、推論結果を示す情報として、人種、年代、性別、逆光の有無などが、それぞれ格納される。さらに、追加情報として、前記した被写体の名前などの個人情報や選択されたオプション補正の項目名、前記した装置内での補正の有無、およびその補正の内容を示す情報などが格納される。
【００６０】
なお、リンク情報としては、図示したもののほかに、使用された撮影パラメータを格納することもできる。また、人物撮影モード以外の撮影モードで撮影された画像についても、画像番号、撮影日時、撮影モードによるインデックス情報のみを持つ情報リンク画像が生成される。
【００６１】
前記リンク情報中の検出位置（ｘ_Ｐ，ｙ_Ｐ），顔の大きさｒ，顔の傾きθは、本撮影後に、顔画像の詳細な修正を行う場合に、その顔画像に適合する顔領域を設定するためのパラメータとして用いられる。
図５は、前記各パラメータの具体例を示す。図示例では、顔画像中の各特徴点の中から、鼻の最も高い位置に対応する特徴点Ｐを抽出し、この点Ｐの座標（ｘ_Ｐ，ｙ_Ｐ）を顔の検出位置としている。また、この点Ｐを起点にして、各種方向毎に額と髪との境界を検索し、この境界に相当する特徴点の中から点Ｐとの距離が最短になる点Ｑを求め、この点Ｑと前記点Ｐとの間の距離を、顔の大きさｒとする。さらに、点Ｐから点Ｑの方向を向くベクトルＣを設定し、画像の水平方向（ｘ軸方向）に対する前記ベクトルＣのなす角度を、顔の傾きθとして計測する。
【００６２】
図５のＵは、前記各パラメータにより設定された顔領域の一例である。この顔領域Ｕの大きさは、前記顔の大きさｒに基づいて決められたものであり、その中心が点Ｐに対応し、また主軸がｘ軸に対して前記角度θだけ傾いた状態になるように、設定されている。
【００６３】
前記図４のリンク情報は、メモリカード１６に保存することができ、また前記画像データ出力部５８の機能により外部装置に出力することができる。したがって、このリンク情報を含む情報リンク画像をパーソナルコンピュータなどに取り込むと、前記（ｘ_Ｐ，ｙ_Ｐ），ｒ，θの各パラメータにより処理対象の顔領域を自動設定することができる。よって、推論結果やオプションの補正項目に基づき、詳細かつ適正な補正処理を行うことが可能になる。
【００６４】
図６は、人物撮影モードで１枚の写真を撮る操作に応じて、前記ＣＰＵ５が実行する制御手順を示す。
この手順は、シャッターボタンが半押しされ、かつ視線センサ１４の計測値により撮影者の視線が定められたことを確認した時点から開始される。まず、ＳＴ１では、前記視線センサ１４や測距センサ１３の計測値に基づき、適当な撮影条件を設定してＣＣＤ３を駆動し、その出力からプレビュー画像を生成する。生成したプレビュー画像をメモリ６の作業領域に格納すると、つぎのＳＴ２に進んで、顔検出処理を実行する。
【００６５】
この顔検出処理では、プレビュー画像に所定大きさの検索領域を走査して、顔画像の特徴点を検索する処理を行う。なお、この実施例では、あらかじめ、被写体までの距離に応じた標準的な顔画像の大きさを示すテーブルがメモリ６に設定されており、前記測距センサ１３の計測値によりこのテーブルを照合することによって、プレビュー画像に現れる顔画像のおよその大きさを予測し、その大きさに応じて検索領域の大きさを調整するようにしている。また、前記視線センサ１４の計測値に基づき、撮影者が視線を定めた場所を中心とする所定の範囲に検索領域の走査範囲を限定するとともに、前記特許文献４に開示された方法を用いることにより、短時間で確度の高い顔検出処理を行うようにしている。
【００６６】
つぎのＳＴ３では、検出された顔画像について、前記図５に示した各種パラメータを抽出し、これらパラメータに基づき顔領域Ｕを設定する。さらに、ＳＴ４では、前記表示部１９に、顔領域の設定結果を、プレビュー画像上の枠画像として表示する。この表示に対し、撮影者の修正操作がなされると、その操作に応じて、顔領域設定用のパラメータの修正処理を行う（ＳＴ５，６）。
なお、ＳＴ５の修正操作は、設定された顔領域の位置や大きさを変更する操作のほか、顔領域を削除する操作、新たな顔領域を設定する操作も含む。これに対応して、ＳＴ６では、顔領域設定用のパラメータの値を変更する処理のほか、パラメータを削除する処理、新規のパラメータを設定する処理を実行する。
【００６７】
顔領域の修正処理が行われた後に撮影者の確定操作があると、ＳＴ７に進み、確定した顔領域について、種々の推論処理を実行する。なお、撮影者が、ＳＴ４のプレビュー画像表示に対する修正操作を行わずに、すぐに確定操作を行った場合には、ＳＴ５が「ＮＯ」となってＳＴ７に進み、ＳＴ３で設定した顔領域に対する推論処理を実行する。
【００６８】
ＳＴ７では、設定された顔領域につき、人種、年代、性別、および逆光の有無を推定するようにしている。人種の推定処理は、前記した非特許文献１に基づいて行うことも可能であるが、この実施例では、処理時間の短縮のために、顔領域内の輝度分布を用いて、人種および逆光の有無を同時に推定するようにしている。
【００６９】
図７は、被写体や照明環境が異なる３つの事例について、顔領域内におけるＲ，Ｇ，Ｂの各色データおよび明度Ｌ（Ｒ，Ｇ，Ｂの総和平均）毎に抽出したヒストグラムの例を示す。なお、ヒストグラムのスケールは、階調であって、図中、紙面の右方向にいくほど明るい状態を示す。
【００７０】
図７（１）は、適正な照明環境で黄色人を撮影した場合のヒストグラムである。この場合のヒストグラムは、各色データとも、比較的に明るい方への分布が優勢となっており、とりわけ赤色成分の強度が強調された状態となる。
【００７１】
図７（２）は、図７（１）と同じ黄色人を逆光状態で撮影した場合のヒストグラムである。この場合のヒストグラムでは、各色データの出現率は、図７（１）に比べて大幅に低下し、また暗い側に集中した分布状態となる。
【００７２】
図７（３）は、適正な照明環境で黒人を撮影した場合のヒストグラムである。この場合のヒストグラムでは、暗い側と明るい側の両方にピークを持つ分布状態が得られる（暗い側は皮膚に対応し、明るい側は目や歯に対応すると考えられる。）
【００７３】
この実施例では、あらかじめ、各人種毎に、それぞれ照明状態などが異なる複数種の撮影環境について輝度ヒストグラムのテンプレートを用意しており、処理対象の顔領域について抽出したヒストグラムを各テンプレートと照合することにより、人種および逆光の有無を推定するようにしている。なお、前記ヒストグラムを、顔領域全体に限らず、目の部分や口の部分など、局所的な領域の輝度分布も抽出して判別処理に利用するようにすれば、推定結果をより確かなものとすることができる。
【００７４】
なお、年代，性別の推定は、非特許文献２に示すように、各器官にかかる特徴点の持つ特徴量を、サポートベクタマシンと称される推定システムに与える方法により実行するが、必ずしもこの方法に限定されるものではない。
【００７５】
図６に戻って、一連の推論処理が終了すると、ＳＴ８では、この推論結果および測距センサ１３の計測値によりメモリ６内の設定テーブルを照合して、推論結果および被写体までの距離に適した撮影パラメータを決定する。
なお、撮影パラメータのうち、レンズ２の焦点距離については、顔画像の抽出結果も加味して決定することにより、被写体の顔にピントを適正に合わせた状態を設定することができる。
【００７６】
つぎのＳＴ９では、前記表示部１９に、撮影が可能となった旨を示すマーカーを表示する。この表示に応じて撮影者がシャッターボタンを操作すると、ＳＴ１０が「ＹＥＳ」となり、ＳＴ１１において、前記設定した撮影パラメータによる本撮影処理を実行する。
【００７７】
この後は、ＳＴ１２において、前記図４に示した構成のリンク情報を生成する。なお、この段階のリンク情報には、名前やオプション補正のような情報は含まれておらず、前記インデックス情報、顔領域の設定用パラメータ、推論結果の各情報のみが設定される。
【００７８】
つぎのＳＴ１３では、前記表示部１９に、本撮影で得た画像とリンク情報とを表示する処理を行う。この表示に対し、リンク情報の修正や追加のための入力操作、または画像の補正を指定する操作があると、ＳＴ１４が「ＹＥＳ」となってＳＴ１５に進み、その操作に応じてリンク情報の修正や追加情報の設定処理を行う。
【００７９】
この後に確定操作が行われると、ＳＴ１６に進み、最終的な情報リンク画像をメモリ６またはメモリカード１６に保存する処理を行う。また、ＳＴ１３での表示に対して、修正操作や追加操作がなされずに、すぐに確定操作が行われた場合には、ＳＴ１４が「ＮＯ」となってＳＴ１６に進み、ＳＴ１２で生成した基本のリンク情報のみを持つ情報リンク画像が保存されることになる。
【００８０】
なお、リンク情報の表示や修正については、各情報を切り換え操作に応じて順に切り換えながら表示し、表示の都度、修正操作を受け付けていくようにしてもよい。また、情報を追加する処理において、オプションの補正を指定する場合には、たとえば、各種補正項目をメニュー表示して、項目の選択を受け付けるようなユーザーインターフェースを用意することによって、追加情報の入力や認識を簡単に行うことができる。
【００８１】
また、上記の手順によれば、撮影を行った直後に、情報リンク画像を表示して修正や追加入力を受け付けるようにしているが、この表示や修正のタイミングはこれに限定されるものではない。たとえば、撮影後は、ひとまず、基本構成の情報リンク画像を生成して保存しておき、所定の時点での画像呼び出し操作に応じて画像およびリンク情報を表示し、修正や追加の入力操作を受け付けることもできる。この場合には、修正に応じて、前回保存のリンク情報を書き換えることになる。
【００８２】
さらに、上記手順においては、ＳＴ２の顔画像の検出処理が終了した時点で、その検出結果に応じてレンズ２の焦点距離を調整し、再度、プレビュー画像を取り込むようにしてもよい。このようにすれば、被写体の顔の特徴が明瞭化された顔画像により、以後の顔領域の設定処理や推論処理を行うことができるので、より精度の高い処理を実行することができる。
【００８３】
上記の手順によれば、被写体の顔の写り方に大きな影響を及ぼす人種，年代，性別について推定処理を行い、その推定結果に応じた撮影パラメータを設定して本撮影を行うので、撮影場所や照明状態が同じであっても、被写体によって撮影条件が異なるようになり、個々の被写体について、鮮明かつ実物のイメージに近い顔画像を生成することが可能となる。
【００８４】
つぎに、上記の手順により生成された情報リンク画像を用いての補正処理について説明する。この補正は、前記したように、パーソナルコンピュータなどの編集装置が、メモリカード１６またはＵＳＢインターフェース１５を介して、情報リンク画像を取り込み、実行するものである。編集装置には、あらかじめ、人種、年代、性別の各項目につき、それぞれ複数のクラス毎に補正用のパラメータやアルゴリズムが設定されており（以下、このパラメータやアルゴリズムを「補正データ」と総称する。）、処理対象の画像のリンク情報に含まれる推論結果から適合する補正データを選択し、その補正データに基づく処理を行うようにしている。これにより、人種、年齢、性別の違いに応じて顔画像の修正内容を変動させることができる。
【００８５】
一例をあげると、１０代，２０代の女性について、ニキビなどによる赤み部分を検出して、これを周辺と同一の色彩に置き換えたり、肌の白みを増やすための補正を実行する。また、２０代、３０代の男性について、肌を日焼け色にするような補正を行い、４０代の女性について、小じわやシミの部分を検出して他の箇所と同一の状態に置き換えるための補正を行うなど、各年代や性別に応じて最も要望が高いと思われる内容の補正を行うことができる。
【００８６】
また、この種の補正データは、自由に変更することができるので、流行や季節に応じて、補正の内容を変更することができる。
また、前記ディジタルカメラ１で複数人を被写体とする場合には、各被写体毎に推論処理を実行した後、それぞれの推論結果に応じた撮影パラメータのいずれかを選択したり、各人毎のパラメータを平均化するなどして本撮影を行うことになるが、この場合にも、撮影後に、各被写体毎のリンク情報を用いて詳細な補正処理を行うことにより、被写体間での推論結果の違いによる不具合を修正することができる。
【００８７】
さらに、リンク情報にオプションの補正項目が含まれる場合には、この項目に応じた補正処理を行うことができるので、被写体や撮影者の要望に応じた詳細な補正を行うことができる。また、名前などの個人情報がリンク情報に含まれる場合には、編集装置内に各人の補正にかかる情報のデータベースを構築することができる。このようなデータベースによれば、登録済みの人物の画像について、以前に実行したのと同一の補正を行うことが可能となる。
【００８８】
なお、前記図４のリンク情報には、カメラ側で画像補正を行ったかどうかや、その補正の内容を示す情報も含まれているので、これらの情報に基づき、既にカメラ側で実施された補正が重複して行われることがないように、設定することができる。
【００８９】
また、上記実施例では、検出された顔画像につき、人種、年代、性別、逆光の有無の４要素にかかる推定を行うようにしたが、逆光の有無を除く３要素については、いずれか１つのみの推定を行うだけとし、残りの要素は、リンク情報の追加情報として設定するようにしてもよい。特に、主となる被写体が所定の人種（たとえば黄色人）に限定されるのであれば、年代，性別についてのみ推定し、黒人や白人を被写体としたときには、その人種に係わる情報をリンク情報として追加することより対応するようにしてもよい。
【００９０】
さらに、上記のディジタルカメラ１には、以下のような処理を行うための機構やプログラムを組みこむことができる。
(1) 前回の撮影により検出した顔画像の特徴を記憶しておき、つぎの撮影の際に、同じ特徴を持つ画像領域を検索する。特に、撮影の時間間隔が短い場合には、同じ人物が続けて撮影される可能性が高いから、この方法により、顔画像を短時間で検出することができる。なお、この方法を前記した特許文献４に開示された顔検出処理に適用すれば、同一人物の顔画像を高確度で検出することが可能である。ただし、これに限らず、たとえば肌色領域を検出する方法においても、前回検出した色彩に近い色彩を持つ領域を検出対象とすることによって、処理を高速化することが可能となる。
【００９１】
(2) 本撮影でストロボが使用された場合に、リンク情報にストロボの使用状態にかかる情報を含ませる。このようにすれば、撮影後の補正処理において、顔画像とその周辺領域との明度バランスを考慮した補正を行うことができる。
【００９２】
(3) 前記した個人情報を含むリンク情報と顔画像に対する特徴点の抽出結果とを対応づけたデータベースを、メモリ６内に蓄積する。このようにすれば、一度撮影した人物については、抽出された顔画像の特徴をデータベースと照合することによって、被写体を特定することができる。さらに、データベース内に登録されたリンク情報を使用して、情報リンク画像を簡単に設定することができる。
なお、編集装置においても、一度補正処理を行った人物の顔画像の特徴や補正データをデータベース化するようにすれば、その後は、新たに入力されたリンク情報内の特徴点の抽出結果をデータベースと照合して個人を特定することができる。さらに、データベース内に登録された補正データに基づき、その個人に適合した補正を行うことができる。
【００９３】
(4) ＧＰＳ、ジャイロなどの地理センサを組みこんで撮影場所やカメラの方向を検出し、その検出データをリンク情報に含ませるようにする。この情報は、画像編集時に、画像とともに印刷したり、配信することができる。また、撮影時の方向がわかるので、時間の情報と合わせて光線の状況を判別することができ、逆光での撮影であるかどうかなど、補正の条件を導き出すことができる。また撮影場所に基づき、画像を整理することができる。
【００９４】
(5) (4)の地理センサとともに、インターネットのようなネットワークとの通信機能を組み込み、気象サーバーから撮影場所の気象状態を取り込んで、これを撮影パラメータの設定に使用する。また、この気象状態をリンク情報に含めて、後の編集時の補正に使用することもできる。
【００９５】
(6) (5)と同様にネットワークとの通信機能を組み込み、取得した情報リンク画像を画像編集サーバーに送信する。画像編集サーバーでは、送信された画像を、リンク情報に基づいて補正し、処理後の画像を返信したり、印刷して配信者に送付する処理を行うことができる。
【００９６】
なお、(4)(5)(6)に記載したような機能を持たせる場合、前記ディジタルカメラ１を携帯電話に組み込むようにすれば、携帯電話に設定されている通信機能を利用して、簡単に設計することができる。
【００９７】
(7) ある人物を複数回撮影した後に、その人物が最適とする画像を選択して、その画像中の顔画像の特徴量、顔色を規定するパラメータ（Ｒ，Ｇ，Ｂの階調や明度など）を、個人名などとともにメモリ６に登録するとともに、人物撮影モードの中に、登録情報を使用するモードを組み込んでおく。この登録情報を使用するモードが選択されたときは、顔画像を検出した後、その顔画像の特徴量を前記登録情報と照合して被写体を推定し、現在検出されている顔画像の色が、推定された被写体について登録されている顔色に近くなるように、撮影条件を調整する。
【００９８】
上記の構成によれば、個々の被写体の好みに応じた撮影条件を自動的に設定して撮影を行うことができるから、被写体の満足する写真を簡単に撮ることが可能となり、ディジタルカメラの利便性を高めることができる。なお、この方法で撮影を行った場合にも、被写体の個人名や撮影条件などをリンク情報とする情報リンク画像を生成すれば、外部の編集装置において、個人名により被写体を指定し、その被写体に適した補正を行うことができる。
【００９９】
【発明の効果】
この発明によれば、被写体の人種、年齢、性別に適合する撮影条件を自動設定して撮影を行うことができ、個々の被写体について、鮮明かつ実物のイメージに近い顔画像を生成することが可能となる。さらに、撮影後の顔画像について、リンク情報に基づき、各人の要望に応じた詳細な補正を簡単に行うことができる。
【図面の簡単な説明】
【図１】この発明が適用されたディジタルカメラの構成を示すブロック図である。
【図２】図１のディジタルカメラのＣＰＵに設定される機能を示す図である。
【図３】顔領域の抽出結果の表示例を示す図である。
【図４】リンク情報の構成例を示す図である。
【図５】顔領域設定用のパラメータの例を示す図である。
【図６】人物の撮影処理にかかる制御手順を示すフローチャートである。
【図７】顔領域内の輝度分布を人種や照明状態の違い毎に示すヒストグラムである。
【符号の説明】
１ディジタルカメラ
２レンズ部
３ＣＣＤ
５ＣＰＵ
６メモリ
７制御部
１０レンズ調整部
１１シャッタ制御部
１２ストロボ制御部
１５ＵＳＢインターフェース
１６メモリカード
１７入出力インターフェース
１８操作部
１９表示部
５１プレビュー画像取得部
５２顔検出処理部
５３顔領域設定部
５４推論処理部
５５パラメータ決定部
５６本撮影処理部
５７画像データ記憶部
５８画像データ出力部
５９ユーザーインターフェース制御部

Claims

レンズおよび撮像素子を含む撮像部と、前記撮像部により得られた画像を処理して、その処理結果および画像を内部のメモリまたは所定の記憶媒体に保存する制御部と、操作部および表示部と、前記メモリまたは記憶媒体に保存された情報を出力する出力部とを具備して成る撮像装置であって、
前記制御部は、
前記撮像部にプレビュー画像を生成させて、このプレビュー画像に含まれる顔画像を抽出する顔画像抽出手段と、
前記プレビュー画像から顔画像が抽出されたとき、この顔画像の位置、大きさ、および傾きに適合した顔領域を設定するとともに、この顔領域の設定用パラメータを作成する顔領域設定手段と、
前記顔領域設定手段により設定された顔領域毎に、当該領域内の顔画像の特徴量に基づき、顔画像に対応する被写体の人物について、少なくとも人種、年齢、性別のいずれかに対する推論処理を実行する推論手段と、
前記推論手段による推論結果に基づき、前記撮像部による本撮影の撮影条件を調整する撮影条件調整手段と、
前記撮影条件調整手段により調整された撮影条件下で本撮影が行われたとき、この本撮影前のプレビュー画像に対する顔領域設定手段の処理により設定された顔領域の設定用パラメータを含むリンク情報を顔領域毎に作成するリンク情報作成手段と、
前記本撮影により生成された画像に前記リンク情報をリンクさせた情報リンク画像を生成して、前記メモリまたは記憶媒体に登録する登録手段とを具備し、
前記撮影条件調整手段は、前記顔画像抽出手段がプレビュー画像から複数の人物の顔画像を抽出したとき、いずれか１の顔画像に対する前記推論手段の推論結果に基づき撮影条件を調整する、撮影装置。
請求項１に記載された撮影装置において、
前記登録手段は、前記本撮影により生成された画像とそのリンク情報とを前記表示部に表示し、この表示状態下で前記操作部より被写体の識別情報を入力する操作が行われたとき、入力された識別情報を表示中のリンク情報に追加して登録する、撮影装置。
請求項１または２に記載された撮影装置において、
前記登録手段は、前記本撮影により生成された画像とそのリンク情報とを前記表示部に表示し、この表示状態下で前記操作部からリンク情報を修正する操作を受け付けたとき、この修正操作に応じて前記リンク情報を修正し、修正後のリンク情報を登録する、撮影装置。
請求項１〜３のいずれかに記載された撮影装置において、
被写体までの距離を認識する距離認識手段を具備し、前記顔画像抽出手段は、前記距離認識手段の認識結果に基づき、抽出対象の顔画像の大きさを特定する手段を具備して成る撮影装置。
請求項１〜４のいずれかに記載された撮影装置において、
前記撮像部のレンズの焦点距離を調整する焦点距離抽出手段を具備し、前記撮影条件調整手段は、前記顔画像抽出手段による抽出結果に基づいて焦点距離抽出手段による調整処理を制御する手段を含む、撮影装置。
請求項１〜５のいずれかに記載された撮影装置において、
前記顔領域設定手段は、設定した顔領域を表す枠画像を前記プレビュー画像に重ね合わせた画面を前記表示部に表示し、この表示状態下で前記操作部から所定の顔領域の修正または削除を指定する操作を受け付けたとき、この指定操作に応じて指定された顔領域およびその設定用パラメータを修正または削除する、撮影装置。
請求項１に記載された撮影装置において、
前記メモリには、過去に抽出された顔画像の特徴量が蓄積されており、前記顔画像抽出手段は、前記撮像部により得られた画像を前記特徴量記憶手段に記憶された顔画像の特徴量と照合することによって、顔画像を抽出する手段を含む撮像装置。