JP4799501B2 - 撮影装置、撮影装置の制御方法およびプログラム - Google Patents

Description

本発明は、撮影により画像を取得する撮影装置、撮影装置の制御方法および撮影装置の制御方法をコンピュータに実行させるためのプログラムに関するものである。

カメラを用いてユーザが自分自身を撮影する、いわゆる自分撮りを行う場合がある。このように自分撮りを行う場合、ユーザはカメラを自分の手に持ち、カメラを自分の方に向けて撮影を行う必要があるため、自分の顔がカメラの画角に収まっているか確認することが難しく、その結果、自分の顔が画像上の所望とされる位置にない失敗画像が得られてしまう場合がある。また、カメラを三脚にセットしてセルフタイマーを用いて自分撮りを行うことも考えられるが、ユーザは撮影中に画角上における自分の位置や顔のサイズを確認することができないため、ユーザが思い描く構図とは異なる構図の失敗画像が得られてしまう場合がある。

このため、カメラの前面に対面ファインダを設け、対面ファインダに自分の像が写るようにフレーミングを行う手法が提案されている（特許文献１参照）。また、カメラに設けられた画像表示用のモニタをカメラ本体に対して回転自在に設け、撮影時にはモニタをカメラの前面を向くように回転させることにより、ユーザは構図を確認しながら撮影を行うことができる。また、撮影した画像から顔領域を検出し、顔の位置、大きさおよび向きが好ましいものとなるように、カメラから被写体である人物を移動させるための指示を行う手法も提案されている（特許文献２参照）。とくに、種々の構図を表す複数の構図情報から所望とされる構図を表す構図情報を選択し、その構図となるようにカメラから被写体である人物を移動させる指示を行う手法も提案されている（特許文献３参照）。
特開平９−１３３９５７号公報 特開２００４−２８０２７７号公報 特開２００５−１６７７８９号公報

しかしながら、特許文献１に記載された手法では、カメラから離れて撮影を行う場合に、対面ファインダによる自分の像が見にくくなるため、所望とする構図により撮影を行うことが困難となる。また、モニタを回転させることにより構図を確認する場合、カメラにモニタを回転させるための機構を設ける必要があるため、カメラの構成が複雑となる。また、特許文献１に記載された手法と同様に、カメラから離れて撮影を行う場合にはモニタの表示を確認することが難しく、とくに屋外においてはモニタの視認性が非常に悪くなるため、所望とする構図により撮影を行うことが困難となる。

また、特許文献２，３に記載された手法では、被写体を好ましい構図となるように誘導できるものの、その構図はあらかじめ定められたものの中から選択する必要があるため、必ずしもユーザが所望とする構図とはならない場合がある。

本発明は上記事情に鑑みなされたものであり、とくに自分撮りを行う場合に、所望とする顔の構図となる画像を取得できるようにすることを目的とする。

本発明による撮影装置は、撮影を行う撮影手段と、
所望とする顔の構図を決定する構図決定手段と、
前記撮影手段が事前撮影により取得したスルー画像から人物の顔領域を検出し、該顔領域から顔の状態を検出する顔検出手段と、
前記顔の状態と前記顔の構図とが適合するか否かを判定する判定手段と、
前記顔の状態と前記顔の構図とが適合した場合に本撮影を行うよう前記撮影手段を制御する撮影制御手段とを備えたことを特徴とするものである。

「本撮影」とは、レリーズボタンを全押しすることにより、取得した画像を表す画像データをメモリカード等の記録メディアに記録するための撮影である。

「事前撮影」とは、レリーズボタンを全押しする本撮影とは異なり、例えば、レリーズボタンを押下しない状態において、構図の確認のためにモニタ等の表示手段に随時表示されるスルー画像を取得するための撮影である。

「顔の状態」としては、顔領域の各種状態を用いることができ、例えば、顔領域の位置、顔領域のサイズ、および顔領域に含まれる顔の向きを用いることができる。

なお、本発明による撮影装置においては、前記撮影手段が取得した画像を含む各種表示を行う表示手段をさらに備えるものとし、
前記構図決定手段を、前記表示手段に表示された前記スルー画像上において、前記顔の構図の指定を受け付けることにより該顔の構図を決定する手段としてもよい。

また、本発明による撮影装置においては、前記所望とする顔の構図を有するよう撮影された基準画像から、該顔の構図を表す構図情報を取得する構図情報取得手段をさらに備えるものとし、
前記構図決定手段を、前記構図情報に基づいて前記顔の構図を決定する手段としてもよい。

また、本発明による撮影装置においては、前記所望とする顔の構図を有する基準画像の入力を受け付け、該基準画像から該顔の構図を表す構図情報を取得する構図情報取得手段をさらに備えるものとし、
前記構図決定手段を、前記構図情報に基づいて前記顔の構図を決定する手段としてもよい。

また、本発明による撮影装置においては、前記顔領域を検出する検出領域を指定する領域指定手段をさらに備えるものとし、
前記顔検出手段を、該指定された検出領域内においてのみ前記顔領域の検出を行う手段としてもよい。

また、本発明による撮影装置においては、前記顔の状態と前記顔の構図とが適合しない場合に、該顔の状態を該顔の構図に適合させるための指示を出力する指示出力手段をさらに備えるものとしてもよい。

また、本発明による撮影装置においては、前記顔領域に含まれる顔と特定の人物とが一致するか否かを判定する人物判定手段をさらに備えるものとし、
前記顔検出手段を、前記顔領域に含まれる顔と特定の人物とが一致する場合にのみ、前記顔の状態を検出する手段としてもよい。

本発明による撮影装置の制御方法は、撮影を行う撮影手段を備えた撮影装置の制御方法であって、
所望とする顔の構図を決定し、
前記撮影手段が事前撮影により取得したスルー画像から人物の顔領域を検出し、
該顔領域から顔の状態を検出し、
前記顔の状態と前記顔の構図とが適合するか否かを判定し、
前記顔の状態と前記顔の構図とが適合した場合に本撮影を行うことを特徴とするものである。

なお、本発明による撮影装置の制御方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、所望とする顔の構図が決定され、スルー画像から人物の顔領域が検出され、さらに顔の状態が検出される。そして、顔の状態と顔の構図とが適合するか否かが判定され、適合した場合に本画像の撮影が行われる。このため、とくにユーザが自分撮りを行う場合のように、撮影時に構図を確認できない状況にあっても、所望とする顔の構図となるように撮影を行うことができ、その結果、所望とする構図を有する画像を取得することができる。

また、表示手段に表示されたスルー画像上において、顔の構図の指定を受け付けることにより、ユーザが所望とするように指定した顔の構図となるように撮影を行うことができる。

また、所望とする顔の構図を有するよう撮影された基準画像から、顔の構図を表す構図情報を取得し、この構図情報に基づいて顔の構図を決定することにより、所望とする顔の構図を有するように一度撮影を行って基準画像を取得しさえすれば、所望とする顔の構図となるように撮影を行うことができる。

また、所望とする顔の構図を有する基準画像の入力を受け付け、この基準画像から顔の構図を表す構図情報を取得し、この構図情報に基づいて顔の構図を決定することにより、所望とする顔の構図を有する基準画像を入力しさえすれば、所望とする顔の構図となるように撮影を行うことができる。

また、顔領域を検出する検出領域を指定し、指定された検出領域内においてのみ顔領域の検出を行うことにより、画像の全領域において顔領域の検出を行う必要がなくなるため、処理の負荷を軽減して顔領域の検出処理を迅速に行うことができる。

また、顔の状態と顔の構図とが適合しない場合に、顔の状態を顔の構図に適合させるための指示を出力することにより、ユーザが指示に従って移動等すれば、所望とする顔の構図となるように撮影を行うことができる。

また、顔領域に含まれる顔と特定の人物とが一致するか否かを判定し、顔領域に含まれる顔と特定の人物とが一致する場合にのみ顔の状態を検出することにより、特定の人物について所望とする顔の構図となるように撮影を行うことができる。また、他人が画像に含まれてしまうことも防止することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図である。図１に示すように本実施形態によるデジタルカメラ１は、レリーズボタン、十字キー、モードダイヤルおよび各種操作キー等を含む操作系２を有する。

撮像系１０としては、フォーカスレンズおよびズームレンズからなる撮影レンズ１２を有する。撮影レンズ１２を構成するフォーカスレンズおよびズームレンズは、レンズ駆動部１３によって光軸方向に移動可能である。

また、絞り１４は絞り駆動部１５によって駆動される。絞り駆動部１５は、ＡＥ処理部３０から出力される絞り値データに基づいて絞り径の調整を行う。

シャッタ１６はメカニカルシャッタであり、シャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ処理部３０から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。

シャッタ１６の後方には撮像素子であるＣＣＤ１８を有している。ＣＣＤ１８は、多数の受光素子を２次元的に配列した光電面を有しており、撮影レンズ１２等の光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。ＣＣＤ１８は、ＣＣＤ制御部１９から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露光時間は、ＣＣＤ制御部１９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８はＣＣＤ制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。

ＣＣＤ１８から取り込まれたアナログ撮像信号は、アナログ信号処理部２０に入力される。アナログ信号処理部２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。なお、アナログ信号処理部２０が行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ２１は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、ＣＣＤ制御部１９、およびアナログ信号処理部２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、ＣＣＤ１８の電荷の取込み、およびアナログ信号処理部２０の処理の同期をとっている。

また、デジタルカメラ１は撮影時において必要なときに発光されるフラッシュ２３を有する。

画像入力コントローラ２４は、アナログ信号処理部２０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ２６に書き込む。

フレームメモリ２６は、画像データに対して後述の各種画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ２８に表示させたり、再生モード時に記録メディア３５に保存されている本画像をモニタ２８に表示させたりするためのものである。なお、スルー画像は、デジタルカメラ１が撮影モードにある間、所定時間間隔で撮像系１０により撮影される。

ＡＦ処理部２９およびＡＥ処理部３０は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ４２がＣＣＤ１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。

ＡＦ処理部２９は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。

ＡＥ処理部３０は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて絞り値およびシャッタスピード等を決定し、絞り値データおよびシャッタスピードデータを露出設定値として決定する（ＡＥ処理）。

ＡＷＢ処理部３１は、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。なお、ＡＷＢ処理部３１は、撮影前でも、本撮影後でもホワイトバランスの調整を行うことができる。

画像処理部３２は、本画像の各画素がＲＧＢそれぞれの値を有するように本画像の画像データを補間する補間処理、補間した画像データに対して、階調補正、シャープネス補正、色補正等の画質補正処理、並びに輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりＣＣＤ１８から取り込まれ、アナログ信号処理部２０、画像入力コントローラ２４経由でフレームメモリ２６に格納された画像データによる画像である。

圧縮／伸長処理部３３は、画像処理部３２によって処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。

メディア制御部３４は、不図示のメディアスロットルに着脱自在にセットされた記録メディア３５にアクセスして、画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ３６は、デジタルカメラ１において設定される各種定数、各種情報およびＣＰＵ４２が実行するプログラム等を記憶する。

顔検出部３７は、撮像系１０が取得した画像（スルー画像、プレ画像および本画像を含む。本実施形態においてはスルー画像）に含まれる顔領域をすべて検出する機能を有する。具体的には、顔検出部３７は、テンプレートマッチングによる手法や、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法等により、画像上における顔を囲む所定範囲の矩形領域を顔領域として検出する。なお、本実施形態においては、さらに顔領域の中心を顔領域の位置、顔領域の一辺の長さを顔領域のサイズとして検出する。そして、顔検出部３７は、検出した顔領域の位置およびサイズを、顔の状態を表す状態情報として出力する。なお、検出した顔領域は後述するようにモニタ２８上において検出枠により囲まれるが、検出枠と顔領域とは一致するものである。

構図決定部３８は、本撮影により取得される本画像上における所望とする顔の構図を決定する。第１の実施形態においては、ユーザによる操作系２からの顔の構図の指定を受け付けることにより顔の構図を決定する。

図２は第１の実施形態における顔の構図の決定を説明するためのデジタルカメラの背面図である。図２に示すようにデジタルカメラ１の背面には、モニタ２８、十字キー５０、操作ボタン５１，５２および電源スイッチ５３が設けられている。なお、十字キー５０、操作ボタン５１，５２および電源スイッチ５３は操作系２の一部である。

ユーザは操作系２を用いて、顔構図の指定の指示をデジタルカメラ１に対して行う。これにより、モニタ２８にはスルー画像上に構図枠５５が表示される。ユーザは操作系２を用いて、構図枠５５の位置を所望とする位置に移動し、さらに構図枠５５のサイズを所望とするサイズに変更することにより顔の構図を指定する。そして、ユーザが所望とする位置に構図枠５５を移動し、所望とするサイズに構図枠５５のサイズを変更した時点において、操作系２を用いて決定の指示を行うと、構図決定部３８は顔の構図をユーザが指定したものに決定する。なお、決定された顔の構図、すなわち構図枠５５の位置およびサイズは、構図情報として内部メモリ３６に記憶される。

判定部３９は、顔検出部３７が出力した状態情報により表される顔の状態と、構図決定部３８が決定した顔の構図とが適合するか否かを判定する。具体的には、顔領域に対応する検出枠の位置およびサイズと構図枠５５の位置およびサイズとが一致するか否かにより、顔の状態と顔の構図とが適合するか否かを判定する
図３は適合の状態を説明するための図である。なお、図３においてはモニタ２８に表示された画像にて適合の状態を説明する。図３（ａ）に示すように、顔の検出枠５６（図３（ａ）においては見えない）および構図枠５５が一致する場合には、判定部３９は顔の状態と顔の構図とが適合すると判定し、その旨を出力する。一方、図３（ｂ）に示すように、検出枠５６および構図枠５５のサイズが一致しているが、位置が一致していない場合には、顔の状態と顔の構図とは適合しないとして、検出枠５６の構図枠５５に対する位置ずれの方向を検出し、その方向を表す情報を出力する。

また、図３（ｃ）、（ｄ）に示すように、検出枠５６および構図枠５５の位置は一致しているが、サイズが一致していない場合には、顔の状態と顔の構図とは適合しないとして、構図枠５５および検出枠５６のサイズの大小関係に応じた情報を出力する。例えば、図３（ｃ）に示すように、構図枠５５よりも顔の検出枠５６が小さい場合にはその旨の情報を、図３（ｄ）に示すように、構図枠５５よりも顔の検出枠５６が大きい場合にはその旨の情報を出力する。なお、判定部３９は、構図枠５５および検出枠５６のサイズの関係について先に判定を行い、構図枠５５および検出枠５６のサイズが一致した後に、顔の位置の関係について判定を行う。

音声処理部４０は、判定部３９が出力した情報に応じて、必要な指示をユーザに行うための音声をスピーカ４１から出力する。すなわち、図３（ｂ）に示すように、検出枠５６および構図枠５５の位置が一致していない場合には、検出枠５６が構図枠５５と一致するように、被写体となる人物が移動すべき上下左右の方向を音声により指示する。例えば図３（ｂ）に示す状態においては、人物が左に移動することにより検出枠５６が構図枠５５と一致することから、「左に移動してください」のように音声を出力する。

また、図３（ｃ）、（ｄ）に示すように、検出枠５６および構図枠５５のサイズが一致していない場には、被写体となる人物が移動すべき前後の方向を音声により指示する。例えば図３（ｃ）に示す状態においては、人物が前に移動することにより検出枠５６のサイズが構図枠５５のサイズと一致することから、「前に移動してください」のように音声を出力する。

なお、出力する音声のデータは内部メモリ３６に記憶されており、音声処理部４０は判定部３９の出力結果に応じたデータを内部メモリ３６から読み出してスピーカ４１より出力する。

ＣＰＵ４２は、操作系２およびＡＦ処理部２９等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。とくに、ユーザがデジタルカメラ１を三脚に固定して自分撮りの指示をデジタルカメラ１に対して行った場合、顔検出部３７、構図決定部３８、判定部３９および音声処理部４０に指示を行って、撮影されるユーザの顔の状態と決定した顔の構図とが適合するように、ユーザに移動を指示をする処理を行う。

データバス４３は、各種処理部、フレームメモリ２６およびＣＰＵ４２等に接続されており、画像データおよび各種指示等のやり取りを行う。

次いで、第１の実施形態において行われる処理について説明する。図４は第１の実施形態において行われる処理を示すフローチャートである。なお、第１の実施形態においては、デジタルカメラ１は三脚に固定されているものとする。また、撮像系１０によりスルー画像が随時撮影により取得されてモニタ２８に表示されているものとする。ユーザにより自分撮りの指示が行われることによりＣＰＵ４２が処理を開始し、構図決定部３８がモニタ２８に構図枠５５を表示し、ユーザによる顔の構図の指定を受け付ける（ステップＳＴ１）。

そして、顔の構図の決定の指示が行われたか否かを判定し（ステップＳＴ２）、ステップＳＴ２が否定されるとステップＳＴ１に戻る。ステップＳＴ２が肯定されると、顔検出部３７がスルー画像から顔領域を検出する（ステップＳＴ３）。そして、ＣＰＵ４２は、顔領域が検出されたか否かを判定し（ステップＳＴ４）、ステップＳＴ４が否定されるとステップＳＴ３に戻る。ステップＳＴ４が肯定されると、顔検出部３７がさらに顔の状態を検出し（ステップＳＴ５）、判定部３９が顔の状態と顔の構図とが適合するか否かを判定する（ステップＳＴ６）。ステップＳＴ６が否定されると、音声処理部４０が音声による指示の処理を行う（ステップＳＴ７）。

図５は音声による指示の処理のフローチャートである。まず、音声処理部４０は、検出枠５６および構図枠５５のサイズが一致しているか否かを判定する（ステップＳＴ１１）。ステップＳＴ１１が否定されると、検出枠５６および構図枠５５のサイズの関係を判定する（ステップＳＴ１２）。そして、検出枠５６が構図枠５５よりも小さい場合には、前に移動するよう指示を行い（ステップＳＴ１３）、ステップＳＴ６に戻る。一方、検出枠５６が構図枠５５よりも大きい場合には、後に移動するよう指示を行い（ステップＳＴ１４）、ステップＳＴ６に戻る。

ステップＳＴ１１が肯定されると、検出枠５６および構図枠５５の位置が一致しているか否かを判定する（ステップＳＴ１５）。ステップＳＴ１５が肯定されるとステップＳＴ６に進む。

ステップＳＴ１５が否定されると、検出枠５６の構図枠５５に対するずれの方向を判定する（ステップＳＴ１６）。そして、検出枠５６が上にずれている場合には、下に移動するよう指示を行い（ステップＳＴ１７）、検出枠５６が下にずれている場合には、上に移動するよう指示を行い（ステップＳＴ１８）、検出枠５６が左にずれている場合には、右に移動するよう指示を行い（ステップＳＴ１９）、検出枠５６が右にずれている場合には、左に移動するよう指示を行い（ステップＳＴ２０）、ステップＳＴ６に戻る。

なお、検出枠５６が構図枠５５に対して右上や左下にずれている場合がある。このような場合には、上下のずれをなくす指示を先に行うようにする。すなわち、検出枠５６が構図枠５５に対して右上にずれている場合には、先に下に移動する指示を行い、次いで、左に移動する指示を行う。

図４に戻り、ステップＳＴ６が肯定されると、撮像系１０が撮影を行う（ステップＳＴ８）。すなわち、プレ撮影に続いて本撮影を行い、本画像を表す画像データを取得する。そして、取得した画像データを記録メディア３５に記録し（ステップＳＴ９）、処理を終了する。なお、撮影の際には、ユーザに撮影が行われることを通知することが好ましい。例えば、音声処理部４０により、「撮影します」のような音声を出力したり、デジタルカメラ１の前面にランプを設け、ランプの点滅後に撮影を行うようにしてもよい。

このように、第１の実施形態においては、スルー画像から検出した顔の状態と顔の構図とが適合するか否かを判定し、適合した場合に本画像の撮影を行うようにしたため、とくにユーザが自分撮りを行う場合のように、撮影時に構図を確認できない状況にあっても、所望とする顔の構図となるように撮影を行うことができ、その結果、所望とする構図を有する本画像を取得することができる。

また、モニタ２８に表示されたスルー画像上において、顔の構図の指定を受け付けるようにしたため、ユーザが所望とするように指定した顔の構図となるように撮影を行うことができる。

次いで、本発明の第２の実施形態について説明する。図６は本発明の第２の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態によるデジタルカメラ１Ａは、顔検出部３７が検出した顔の特徴量と、特定の人物の特徴量とに基づいて、検出した顔が特定の人物であるか否かを判定する人物判定部４５を備え、検出した顔が特定の人物であった場合にのみ、顔検出部３７において顔の状態を検出して、判定部３９による判定の処理を行うようにした点が第１の実施形態と異なる。

ここで、第２の実施形態においては、人物の顔の特徴量としては、例えば、両目、目頭、目尻、鼻、口、眉毛、頬および耳等の、人物を特定するために必要な顔上の複数の位置およびその位置における画素値を用いる。ユーザは、所望とする人物をあらかじめ撮影し、人物判定部４５によりその人物の顔の特徴量を検出して内部メモリ３６に記憶しておく。人物判定部４５は、顔検出部３７が顔領域を検出すると、その顔領域から顔の特徴量を検出し、検出した特徴量と特定の人物の特徴量との一致度に基づいて、検出した顔が特定の人物であるか否かを判定する。

なお、一致度としては、検出した顔と特定の人物との対応する特徴量の差分値を算出し、その差分値のすべての特徴量についての重み付け加算値を用いる。この場合、重み付け加算値が小さいほど、検出した顔の特定の人物との一致度は高いこととなる。このため、人物判定部４５は、重み付け加算値を所定のしきい値と比較し、重み付け加算値が所定のしきい値よりも小さい場合に、検出した顔領域に含まれる顔が特定の人物と一致すると判定する。

次いで、第２の実施形態において行われる処理について説明する。図７は第２の実施形態において行われる処理を示すフローチャートである。なお、第２の実施形態においては、デジタルカメラ１は三脚に固定されているものとする。また、撮像系１０によりスルー画像が随時取得されてモニタ２８に表示されているものとする。ユーザにより自分撮りの指示が行われることによりＣＰＵ４２が処理を開始し、構図決定部３８がモニタ２８に構図枠５５を表示し、ユーザによる顔の構図の指定を受け付ける（ステップＳＴ３１）。

そして、顔の構図の決定の指示が行われたか否かを判定し（ステップＳＴ３２）、ステップＳＴ３２が否定されるとステップＳＴ３１に戻る。ステップＳＴ３２が肯定されると、顔検出部３７がスルー画像から顔領域を検出する（ステップＳＴ３３）。そして、ＣＰＵ４２は、顔領域が検出されたか否かを判定し（ステップＳＴ３４）、ステップＳＴ３４が否定されるとステップＳＴ３３に戻る。ステップＳＴ３４が肯定されると、人物判定部４５が、検出した顔領域に含まれる顔が、内部メモリ３６に記憶された特定の人物と一致するか否かを判定する（ステップＳＴ３５）。ステップＳＴ３５が否定されるとステップＳＴ３３に戻り、ステップＳＴ３３以降の処理を繰り返す。

ステップＳＴ３５が肯定されると、ステップＳＴ３６〜ステップＳＴ４０の処理を行う。なお、ステップＳＴ３６〜ステップＳＴ４０の処理は、上記第１の実施形態におけるステップＳＴ５〜ステップＳ９の処理と同一の処理であるため、詳細な説明は省略する。

このように、第２の実施形態においては、顔領域に含まれる顔と特定の人物とが一致するか否かを判定し、顔領域に含まれる顔と特定の人物とが一致する場合にのみ、顔の状態を検出するようにしたため、特定の人物について所望とする顔の構図となるように撮影を行うことができる。また、特定の人物が含まれないと撮影が行われないため、他人が画像に含まれてしまうことも防止することができる。

次いで、本発明の第３の実施形態について説明する。図８は本発明の第３の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図である。なお、第３の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第３の実施形態によるデジタルカメラ１Ｂは、顔検出部３７による顔領域の検出領域を指定する領域指定部４６を備え、領域指定部４６が指定した検出領域内においてのみ、顔領域を検出するようにした点が第１の実施形態と異なる。

次いで、第３の実施形態において行われる処理について説明する。図９は第３の実施形態において行われる処理を示すフローチャートである。ユーザにより自分撮りの指示が行われることによりＣＰＵ４２が処理を開始し、領域指定部４６がユーザによる顔領域を検出するための検出領域の指定を受け付ける（ステップＳＴ５１）。そして、指定された領域を顔領域の検出領域に設定する（ステップＳＴ５２）。例えば、図１０に示すように、画像の右上の領域を操作系２を用いて指定することにより、検出領域５７を設定する。

ここで、第３の実施形態においては、ユーザは集合写真を撮影しようとしており、デジタルカメラ１Ｂの設定後に、図１０に示す画像右上の領域に移動してユーザを確実に含む集合写真を撮影しようとするものである。

検出領域５７の設定後、構図決定部３８がモニタ２８に構図枠５５を表示し、ユーザによる顔の構図の指定を受け付ける（ステップＳＴ５３）。この場合、構図枠５５は、図１１に示すようにユーザが設定した検出領域５７内表示されるため、検出領域５７内において顔の構図の指定を受け付けることとなる。そして、ステップＳＴ５４〜ステップＳＴ６１の処理を行う。なお、ステップＳＴ５４〜ステップＳＴ６１の処理は、上記第１の実施形態におけるステップＳＴ２〜ステップＳ９の処理と同一の処理であるため、詳細な説明は省略する。

このように、第３の実施形態においては、顔領域を検出する検出領域５７を指定し、指定された検出領域５７内においてのみ顔領域の検出を行うことにより、画像の全領域において顔領域の検出を行う必要がなくなるため、顔領域の検出処理を迅速に行うことができる。また、ＣＰＵ４２の負荷も軽減することができる。

なお、上記第３の実施形態においては、第１の実施形態によるデジタルカメラ１に領域指定部４６を設けているが、第２の実施形態によるデジタルカメラ１Ａに領域指定部４６を設け、検出領域５７の指定とともに特定の人物か否かの判定も併せて行うようにしてもよい。

次いで、本発明の第４の実施形態について説明する。図１２は本発明の第４の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図である。なお、第４の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第４の実施形態によるデジタルカメラ１Ｃは、所望とする顔の構図を有するように撮影された基準画像から顔の構図を表す構図情報を取得する構図情報取得部４７を備え、構図情報取得部４７が取得した構図情報に基づいて、構図決定部３８が顔の構図を決定するようにした点が第１の実施形態と異なる。

次いで、第４の実施形態において行われる処理について説明する。図１３は第４の実施形態において行われる処理を示すフローチャートである。まず、ユーザによる所望とする顔の構図を有する基準画像の撮影が行われて、基準画像が取得される（ステップＳＴ７１）。次いで、構図情報取得部４７が、基準画像から顔領域を検出し、顔領域の位置およびサイズを構図情報として取得し（ステップＳＴ７２）、内部メモリ３６に記録する（ステップＳＴ７３）。

そして、ユーザにより自分撮りの指示が行われると（ステップＳＴ７４：肯定）、構図決定部３８が内部メモリ３６に記録された構図情報に基づいて、モニタ２８に構図枠５５を表示する（ステップＳＴ７５）。そして、ステップＳＴ７６〜ステップＳＴ８２の処理を行う。なお、ステップＳＴ７６〜ステップＳＴ８２の処理は、上記第１の実施形態におけるステップＳＴ３〜ステップＳ９の処理と同一の処理であるため、詳細な説明は省略する。

このように、第４の実施形態においては、所望とする顔の構図を有する基準画像を撮影し、基準画像から顔の構図を表す構図情報を取得し、この構図情報に基づいて顔の構図を決定するようにしたため、所望とする顔の構図となるように基準画像を撮影しさえすれば、所望とする顔の構図を有する本画像を取得することができる。

次いで、本発明の第５の実施形態について説明する。なお、第５の実施形態によるデジタルカメラは、第４の実施形態によるデジタルカメラ１Ｃと同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。第５の実施形態においては、記録メディア３５に記録された所望とする構図を有する基準画像を読み出し、構図情報取得部４７において、記録メディア３５から読み出した基準画像から顔の構図を表す構図情報を取得するようにした点が第４の実施形態と異なる。

次いで、第５の実施形態において行われる処理について説明する。図１４は第５の実施形態において行われる処理を示すフローチャートである。なお、所望とする構図を有する基準画像が記録された記録メディア３５がデジタルカメラ１Ｃにセットされているものとする。構図決定の指示が行われるとＣＰＵ４２が処理を開始し、基準画像を記録メディア３５から読み出す（ステップＳＴ９１）。次いで、構図情報取得部４７が、基準画像から顔領域を検出し、顔領域の位置およびサイズを構図情報として取得し（ステップＳＴ９２）、内部メモリ３６に記録する（ステップＳＴ９３）。

そして、ユーザにより自分撮りの指示が行われると（ステップＳＴ９４：肯定）、構図決定部３８が内部メモリ３６に記録された構図情報に基づいて、モニタ２８に構図枠５５を表示する（ステップＳＴ９５）。そして、ステップＳＴ９６〜ステップＳＴ１０２の処理を行う。なお、ステップＳＴ９６〜ステップＳＴ１０２の処理は、上記第１の実施形態におけるステップＳＴ３〜ステップＳ９の処理と同一の処理であるため、詳細な説明は省略する。

このように、第５の実施形態においては、所望とする顔の構図を有するよう撮影された基準画像の入力を受け付け、基準画像から顔の構図を表す構図情報を取得し、この構図情報に基づいて顔の構図を決定するようにしたため、所望とする顔の構図となるように基準画像をデジタルカメラに入力しさえすれば、所望とする顔の構図を有する本画像を取得することができる。

とくに、ユーザの友人や他人が撮影した画像にユーザの好みの構図があった場合に、友人や他人の画像を基準画像として用いることにより、その構図と同一の構図で撮影を行うことができる。

なお、上記第４および第５の実施形態においては、第１の実施形態によるデジタルカメラ１に構図情報取得部４７を設けているが、第２または第３の実施形態によるデジタルカメラ１Ａ，１Ｂに構図情報取得部４７を設け、撮影または入力された基準画像から構図情報を取得するようにしてもよい。

また、上記第４および第５の実施形態においては、種々の構図を有する基準画像を撮影または入力して複数の構図情報を内部メモリ３６に記憶しておき、自分撮りを行う際に、複数の構図情報から、その際に所望とする顔の構図を表す構図情報を選択するようにしてもよい。また、複数の構図について使用頻度を内部メモリ３６に記憶しておき、使用頻度が高い構図の構図枠５５を優先的に表示するようにしてもよい。この場合、表示された構図が所望とする構図でない場合には、複数の構図の選択画面を表示して、ユーザに所望とする構図を選択させるようにすることが好ましい。

なお、上記第１から第５の実施形態においては、顔検出部３７において、顔の位置およびサイズを顔の状態を表す状態情報として出力しているが、さらに、検出した顔領域に含まれる顔の向きを検出し、顔の向きを顔の状態の１つとして用いてもよい。ここで、顔に含まれる両目および鼻の位置は、顔の向きに応じて特徴的な位置関係を有するものとなる。したがって、顔検出部３７は、顔に含まれる両目および鼻の位置を検出し、両目および鼻の位置の関係に基づいて顔の向きを検出すればよい。

この場合、第１の実施形態においては、構図決定部３８は、顔の構図として、顔の位置およびサイズに加えて、顔の向きを決定する。図１５は顔の向きの決定を入力する画面を示す図である。図１５に示すように、モニタ２８には、顔の向きについて、正面、左、右、上、下を選択するための選択画面５８が表示される。ユーザは、操作系２を操作して所望とする向きを選択することにより、顔の構図として顔の向きを指定することができる。

そして、判定部３９は、顔の位置およびサイズに加えて、顔の向きも用いて顔の状態と顔の構図とが適合するか否かの判定を行う。

また、上記第１から第５の実施形態においては、音声によりユーザに移動を指示しているが、例えば図１６に示すようにデジタルカメラ１の前面に移動方向を示すランプ６１Ａ〜６１Ｄを設け、ランプ６１Ａ〜６１Ｄが点灯された方向にユーザに移動するよう指示を行うようにしてもよい。また、これと音声の指示とを併せて行うようにしてもよい。

また、上記第１から第５の実施形態においては、検出枠５６および構図枠５５のサイズが一致していない場合に、ユーザに対する移動の指示に代えてデジタルカメラ１のズームを変更するようにしてもよい。例えば、検出枠５６が構図枠５５よりも小さい場合には、ワイド方向にズームを行い、検出枠５６が構図枠５５よりも大きい場合には、テレ方向にズームを行えばよい。なお、デジタルカメラ１のズームは、ＣＰＵ４２がレンズ駆動部１３に対して撮影レンズ１２を構成するズームレンズの駆動を指示することにより行うことができる。

以上、本発明の第１の実施形態に係るデジタルカメラについて説明したが、コンピュータを、上記の顔検出部３７、構図決定部３８、判定部３９、音声処理部４０、人物判定部４５、領域指定部４６および構図情報取得部４７に対応する手段として機能させ、図４，５，７，９，１３，１４に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図 第１の実施形態における顔の構図の決定を説明するためのデジタルカメラの背面図 適合の状態を説明するための図 第１の実施形態において行われる処理を示すフローチャート 音声による指示の処理のフローチャート 本発明の第２の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図 第２の実施形態において行われる処理を示すフローチャート 本発明の第３の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図 第３の実施形態において行われる処理を示すフローチャート 検出領域の設定を説明するための図 検出領域における構図枠の設定を説明するための図 本発明の第４の実施形態による撮影装置を適用したデジタルカメラの内部構成を示す概略ブロック図 第４の実施形態において行われる処理を示すフローチャート 第５の実施形態において行われる処理を示すフローチャート 顔の向きの決定を入力する画面を示す図 カメラの全面に移動方向を示すランプを設けた状態を示す図

符号の説明

１，１Ａ，１Ｂ，１Ｃ デジタルカメラ
１０ 撮像系
３７ 顔検出部
３８ 構図決定部
３９ 判定部
４０ 音声処理部
４１ スピーカ
４２ ＣＰＵ
４５ 人物判定部
４６ 領域指定部
４７ 構図情報取得部
５５ 構図枠
５６ 検出枠
５７ 検出領域

Claims (14)

1. 撮影を行う撮影手段と、
   所望とする顔の構図を有するよう撮影された基準画像から、該顔の構図を表す構図情報を取得する構図情報取得手段と、
   前記構図情報に基づいて顔の構図を決定する構図決定手段と、
   前記撮影手段が事前撮影により取得したスルー画像から人物の顔領域を検出し、該顔領域から顔の状態を検出する顔検出手段と、
   前記顔の状態と前記顔の構図とが適合するか否かを判定する判定手段と、
   前記顔の状態と前記顔の構図とが適合した場合に本撮影を行うよう前記撮影手段を制御する撮影制御手段とを備えたことを特徴とする撮影装置。
2. 前記顔領域を検出する検出領域を指定する領域指定手段をさらに備え、
   前記顔検出手段は、該指定された検出領域内においてのみ前記顔領域の検出を行う手段であることを特徴とする請求項１記載の撮影装置。
3. 前記顔領域に含まれる顔と特定の人物とが一致するか否かを判定する人物判定手段をさらに備え、
   前記顔検出手段は、前記顔領域に含まれる顔と特定の人物とが一致する場合にのみ、前記顔の状態を検出する手段であることを特徴とする請求項１または２記載の撮影装置。
4. 前記撮影手段が取得した画像を含む各種表示を行う表示手段をさらに備え、
   前記顔検出手段は、前記顔の状態として、前記顔領域の中心である顔領域の位置、および前記顔領域の一辺の長さである顔領域のサイズを検出する手段であり、
   前記判定手段は、前記表示手段に表示される、前記顔領域に対応する検出枠の位置およびサイズと、前記構図情報に基づく構図枠の位置およびサイズとが一致する場合には、前記顔の状態と前記顔の構図とが適合すると判定し、
   前記検出枠および前記構図枠のサイズが一致しているが、位置が一致していない場合には、前記顔の状態と前記顔の構図とは適合しないとして、前記検出枠の前記構図枠に対する位置ずれの方向を検出し、該位置ずれの方向を表す情報を出力し、
   前記検出枠および前記構図枠の位置は一致しているが、サイズが一致していない場合には、前記顔の状態と前記顔の構図とは適合しないとして、前記構図枠および前記検出枠のサイズの大小関係に応じた情報を出力する手段であることを特徴とする請求項１から３のいずれか１項記載の撮影装置。
5. 前記顔の状態と前記顔の構図とが適合しない場合に、該顔の状態を該顔の構図に適合させるための指示を出力する指示出力手段をさらに備えたことを特徴とする請求項１から４のいずれか１項記載の撮影装置。
6. 前記位置ずれの方向を表す情報および／または前記大小関係に応じた情報に基づいて、前記顔の状態を該顔の構図に適合させるための指示を出力する指示出力手段をさらに備えたことを特徴とする請求項４記載の撮影装置。
7. 撮影を行う撮影手段を備えた撮影装置の制御方法であって、
   所望とする顔の構図を有するよう撮影された基準画像から、該顔の構図を表す構図情報を取得し、
   前記構図情報に基づいて顔の構図を決定し、
   前記撮影手段が事前撮影により取得したスルー画像から人物の顔領域を検出し、
   該顔領域から顔の状態を検出し、
   前記顔の状態と前記顔の構図とが適合するか否かを判定し、
   前記顔の状態と前記顔の構図とが適合した場合に本撮影を行うことを特徴とする撮影装置の制御方法。
8. 撮影を行う撮影手段を備えた撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
   所望とする顔の構図を有するよう撮影された基準画像から、該顔の構図を表す構図情報を取得する手順と、
   前記構図情報に基づいて顔の構図を決定する手順と、
   前記撮影手段が事前撮影により取得したスルー画像から人物の顔領域を検出する手順と、
   該顔領域から顔の状態を検出する手順と、
   前記顔の状態と前記顔の構図とが適合するか否かを判定する手順と、
   前記顔の状態と前記顔の構図とが適合した場合に本撮影を行う手順とを有することを特徴とするプログラム。
9. 撮影を行う撮影手段と、
   所望とする顔の構図を決定する構図決定手段と、
   前記撮影手段が事前撮影により取得したスルー画像から人物の顔領域を検出し、該顔領域から顔の状態を検出する顔検出手段と、
   前記顔の状態と前記顔の構図とが適合するか否かを判定する判定手段と、
   前記顔の状態と前記顔の構図とが適合した場合に本撮影を行うよう前記撮影手段を制御する撮影制御手段と、
   前記撮影手段が取得した画像を含む各種表示を行う表示手段とを備え、
   前記構図決定手段は、前記表示手段に表示された前記スルー画像上に前記顔の構図を指定するための構図枠を表示し、該構図枠の位置およびサイズの指定を受け付けることにより該顔の構図を決定する手段であることを特徴とする撮影装置。
10. 前記顔領域を検出する検出領域を指定する領域指定手段をさらに備え、
    前記顔検出手段は、該指定された検出領域内においてのみ前記顔領域の検出を行う手段であることを特徴とする請求項９記載の撮影装置。
11. 前記顔の状態と前記顔の構図とが適合しない場合に、該顔の状態を該顔の構図に適合させるための指示を出力する指示出力手段をさらに備えたことを特徴とする請求項９または１０記載の撮影装置。
12. 前記顔領域に含まれる顔と特定の人物とが一致するか否かを判定する人物判定手段をさらに備え、
    前記顔検出手段は、前記顔領域に含まれる顔と特定の人物とが一致する場合にのみ、前記顔の状態を検出する手段であることを特徴とする請求項９から１１のいずれか１項記載の撮影装置。
13. 撮影を行う撮影手段と、該撮影手段が取得した画像を含む各種表示を行う表示手段とを備えた撮影装置の制御方法であって、
    前記表示手段に表示された、前記撮影手段が事前撮影により取得したスルー画像上に、所望とする顔の構図を指定するための構図枠を表示し、該構図枠の位置およびサイズの指定を受け付けることにより該顔の構図を決定し、
    前記撮影手段が事前撮影により取得したスルー画像から人物の顔領域を検出し、
    該顔領域から顔の状態を検出し、
    前記顔の状態と前記顔の構図とが適合するか否かを判定し、
    前記顔の状態と前記顔の構図とが適合した場合に本撮影を行うことを特徴とする撮影装置の制御方法。
14. 撮影を行う撮影手段と、該撮影手段が取得した画像を含む各種表示を行う表示手段とを備えた撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記表示手段に表示された、前記撮影手段が事前撮影により取得したスルー画像上に、所望とする顔の構図を指定するための構図枠を表示し、該構図枠の位置およびサイズの指定を受け付けることにより該顔の構図を決定する手順と、
    前記撮影手段が事前撮影により取得したスルー画像から人物の顔領域を検出する手順と、
    該顔領域から顔の状態を検出する手順と、
    前記顔の状態と前記顔の構図とが適合するか否かを判定する手順と、
    前記顔の状態と前記顔の構図とが適合した場合に本撮影を行う手順とを有することを特徴とするプログラム。

Images