JP5328528B2 - 撮像装置、撮像装置の制御方法、及びコンピュータプログラム - Google Patents

Description

本発明は、撮像装置、撮像装置の制御方法、及びコンピュータプログラムに関する。

立体的な画像を撮影する方法として、２つの撮像光学系によって画像を撮像するステレオカメラを用いる方法が提案されている。また、近年では、多くのデジタルカメラが、顔検出機能を備えている。デジタルカメラは、顔を基準として、自動焦点調節処理（ＡＦ：Auto Focus）や自動露出調節処理（ＡＥ：Auto Exposure）を実行している。
特許文献１には、画像データの中から目的とする対象を含んだ領域を検出し、この検出された領域を認識できるようにするための指標を、画像データから生成された画像に重畳して表示する画像処理装置が開示されている。この画像処理装置は、同時に表示する指標の数の上限を変更する。

特開２００９−３８７５０号公報

しかし、特許文献１に開示された従来技術をステレオカメラに適用した場合、以下のような問題がある。すなわち、ステレオカメラが視差を持つので、２つの撮像光学系で顔領域の検出結果が違う場合に、それぞれの撮像光学系についての自動焦点調節処理及び自動露出処理の指標となる主被写体が互いに異なってしまう。

図５は、従来技術の問題点を説明する図である。図５では、従来の撮像装置が備える２つの撮像光学系のうち、１つの撮像光学系からのみ顔領域が検出される例を示す。撮像装置が、人物Ｐを撮影する。撮像装置が、撮像装置の左側の撮像光学系１０１により得られる画像Ｌ’と、右側の撮像光学系１０２から得られる画像Ｒ’とから、それぞれ顔領域の検出を行う。顔領域の検出の方法によっては、被写体が横を向いている時には検出ができなくなる。図５に示す例では、右側の撮像光学系１０２からのみ太線の矩形の枠で囲った顔領域が検出される。その結果、右側の撮像光学系１０２により得られる画像Ｒ’からのみ主被写体が選択され、左側の撮像光学系１０１により得られる画像Ｌ’からは主被写体が選択されない。
また、人物Ｐが斜めを向いている場合、一方の撮像光学系からは横顔画像、他方の撮像光学系からは正面画像が得られ、顔領域の検出の結果が異なる場合が考えられる。このような場合には、２つの撮像光学系について選択される主被写体が異なってしまう。各々の撮像光学系は、選択された主被写体を自動焦点調節処理及び自動露出処理の対象とするので、２つの撮像光学系について選択される主被写体が異なると、撮像された画像が、合焦位置のずれた２枚の画像からなるステレオ画像となるという問題がある。
上記の課題を鑑み、本発明は、複数の撮像光学系が自動焦点調節処理及び自動露出処理の対象として互いに異なる対象を選択することを防止する撮像装置、撮像装置の制御方法、及びコンピュータプログラムの提供を目的とする。

本発明の一実施形態の撮像装置は、第１、第２の撮像光学系と、前記第１、第２の撮像光学系を通過した光像から各々画像信号を取得する第１、第２の撮像手段と、前記第１、第２の撮像光学系の焦点調節処理を行う第１、第２の焦点調節手段と、取得した画像信号に基づいて、合焦すべき被写体領域を検出する領域検出手段と、前記焦点調節処理のための指標を決定する指標決定手段とを備える。前記領域検出手段が、前記検出した合焦すべき被写体領域に含まれる人物の顔の特徴量を出力する。前記指標決定手段は、前記出力された特徴量に基づいて、前記第１、第２の撮像光学系について検出された合焦すべき被写体領域に同一人物に対応する顔領域があるかを判断し、前記同一人物に対応する顔領域がある場合は、前記第１、第２の撮像光学系について検出された合焦すべき被写体領域における前記同一人物に対応する顔領域を、それぞれ、前記第１の撮像光学系の焦点調節のための第１の指標、前記第２の撮像光学系の焦点調節のための第２の指標として決定し、前記同一人物に対応する顔領域がない場合は、前記第１の撮像光学系について検出された合焦すべき被写体領域に含まれる顔領域から選択された顔領域を、前記第１の指標として決定し、前記第２の撮像光学系について検出された合焦すべき被写体領域に含まれる顔領域のうち、前記第１の指標の座標と同じ座標に対応する顔領域を、前記第２の指標として決定する。

本実施形態の撮像装置によれば、複数の撮像光学系が自動焦点調節処理及び自動露出処理の対象として互いに異なる対象を選択することを防止できる。

本実施形態の撮像装置の構成例を示す図である。 本発明の実施例１に係る撮像装置の動作処理フローの例を示す図である。 実施例１を説明する図である。 本発明の実施例２に係る撮像装置の動作処理例を説明する図である。 従来技術の問題点を説明する図である。

図１は、本実施形態の撮像装置の構成例を示す図である。図１（Ａ）は本実施形態の撮像装置の全体構成図を示す。図１（Ａ）に示す撮像装置は、複数の撮像光学系である第１の撮像光学系１、第２の撮像光学系２と、制御部３と、顔検出部４と、表示部５と、ズームスイッチ６と、外部入出力端子部７と、シャッタレリーズスイッチ８と、記憶部９と、電源部１０とを備える。また、この撮像装置は、撮像素子３１、３４と、撮像信号処理部３２、３５と映像信号処理部３３、３６とを備える。
第１の撮像光学系１は、ズームレンズ１１、シャッタ・絞りユニット１２、シフトレンズ１３、フォーカスレンズ１４、ズーム駆動制御部１５、シャッタ・絞り駆動制御部１６、シフトレンズ駆動制御部１７、フォーカス駆動制御部１８を備える。第２の撮像光学系２は、ズームレンズ２１、シャッタ・絞りユニット２２、シフトレンズ２３、フォーカスレンズ２４、ズーム駆動制御部２５、シャッタ・絞り駆動制御部２６、シフトレンズ駆動制御部２７、フォーカス駆動制御部２８を備える。第２の撮像光学系２が備える各処理部は、第１の撮像光学系１が備える各処理部と同様の機能を有するので、第２の撮像光学系２が備える各処理部についての詳細な説明は省略する。

各々の撮像光学系が備える光学系は３群構成である。例えば、ズームレンズ１１は、ズーム制御に関与する１群レンズである。シフトレンズ１３は振れ補正を実行する２群レンズである。フォーカスレンズ１４は、焦点調節処理を実行する３群レンズである。ズームレンズ１１は、光軸方向に沿って位置を変更可能に構成されており、倍率変更を行う。ズーム駆動制御部１５は、ズームレンズ１１を駆動する。ズームレンズ１１の後段に配置されているシャッタ・絞りユニット１２は、露光量を調節する。シャッタ・絞り駆動制御部１６は、シャッタ・絞りユニット１２を駆動制御して、露光量の調節すなわち露出調節処理を行う露出調節手段である。シフトレンズ１３は、光軸に対して略垂直な平面内での位置を変更することが可能に配置されており、振れ補正光学系を構成する。シフトレンズ駆動制御部１７は、シフトレンズ１３を駆動制御する。フォーカスレンズ１４は、ピント調整用レンズである。フォーカスレンズ１４は光軸方向に沿って位置を変更可能に構成されている。フォーカス駆動制御部１８は、フォーカスレンズ１４を駆動制御して、焦点調節処理を実行する第１の焦点調節手段としての機能を有する。なお、第２の撮像光学系２が備えるフォーカス駆動制御部２８は、フォーカスレンズ２４を駆動制御して、焦点調節処理を実行する第２の焦点調節手段としての機能を有する。

第１の撮像手段としての撮像素子３１は、第１の撮像光学系１の１群レンズ乃至３群レンズを通過した光像を受光して、受光した光像を画像信号としての電気信号に変換する。撮像信号処理部３２は、撮像素子３１が出力した画像信号を映像信号に変換し、映像信号に変換した画像信号を出力する。映像信号処理部３３は、撮像信号処理部３２が出力した画像信号に対して所定の処理を施して表示部５に表示可能な画像信号とし、該画像信号を出力する。また、第２の撮像手段としての撮像素子３４は、第２の撮像光学系２の１群レンズ乃至３群レンズを通過した光像を受光して、受光した光像を画像信号としての電気信号に変換する。撮像信号処理部３５は、撮像素子３４が出力した画像信号を映像信号に変換し、映像信号に変換した画像信号を出力する。映像信号処理部３６は、撮像信号処理部３５が出力した画像信号に対して所定の処理を施して表示部５に表示可能な画像信号とし、該画像信号を出力する。
制御部３はシステム全体を制御する。具体的には、制御部３は、第１、第２の撮像光学系が備えるズーム駆動制御部１５、２５、シャッタ・絞り駆動制御部１６、２６、シフトレンズ駆動制御部１７、２７、フォーカス駆動制御部１８、２８を制御する。また、制御部３は、撮像素子３１、３４、撮像信号処理部３２、３５、映像信号処理部３３、３６の処理を制御する。また、制御部３は、顔検出部４、表示部５、外部入出力端子部７、記憶部９を制御する。制御部３は、図示を省略するＣＰＵ（Central Processing Unit)等により解釈及び実行されるプログラムに従って処理を実行する。

本実施形態に特有の動作として、制御部３は、後述する顔検出部４によって検出された、合焦すべき被写体領域としての顔領域に基づいて、焦点調節処理の指標を決定する指標決定手段として機能する。例えば、制御部３は、撮像信号処理部３２、３５から画像信号を受け取り、受け取った画像信号を顔検出部４に渡す。制御部３は、顔検出部４が撮像信号処理部３２から取得した画像信号から検出した顔領域のうち、一つの顔領域を主被写体として選択し、選択した主被写体を第１の撮像光学系１の焦点調節のための第１の指標として決定する。第１の指標は撮像光学系１についての主被写体の顔領域に対応する。そして、制御部３は、第１の指標に基づいて、第２の撮像光学系２の焦点調節のための第２の指標を決定する。例えば、制御部３は、顔検出部４が撮像信号処理部３５から取得した画像信号が示す画像領域のうち、第１の指標の座標に対応する座標の画像領域を第２の指標として決定する。制御部３は、検出された顔領域について評価値を演算し、演算された評価値に基づいて、前述した第１の指標を決定する。制御部３が、少なくとも上記検出された顔領域の位置と大きさとに基づいて評価値を演算するようにしてもよい。

また、制御部３が、第１の撮像光学系１、第２の撮像光学系について検出された合焦すべき被写体領域から、同一人物に対応する顔領域を検出し、検出された同一人物に対応する顔領域を、上記第１及び第２の指標として決定するようにしてもよい。その際に、制御部３が、検出された合焦すべき被写体領域としての顔領域について評価値を演算し、演算された評価値の合致度に基づいて、同一人物に対応する顔領域を検出するようにしてもよい。なお、顔検出部４が、検出した合焦すべき被写体領域に含まれる人物の顔の特徴量を出力し、制御部３が、出力された特徴量に基づいて、同一人物に対応する顔領域を検出するようにしてもよい。
また、制御部３は、表示部５に指示して、映像信号処理部３３、３６が出力した画像信号を表示画面上に画面表示させる。表示部５は、撮像光学系毎に画像信号を画面表示する。また、制御部３は、表示部５に指示して、制御部３が決定した各々の撮像光学系についての指標を表示画面上に表示させる。

顔検出部４は、撮像信号処理部３２、３５から画像信号を受け取り、受け取った画像信号に基づいて、各々の撮像光学系について、合焦すべき被写体領域としての人物の顔を含む顔領域を検出する領域検出手段として機能する。顔検出部４は、検出した顔領域の情報を制御部３に渡す。表示部５は、制御部３の指示に従った画面表示処理を実行する。ズームスイッチ６は、ズームレンズ１１を操作する操作手段である。ズームスイッチ６は、ユーザの操作入力に応じて、操作信号を入力し、入力した操作信号を制御部３に送信する。外部入出力端子部７は、図示を省略する外部装置との間の通信を媒介する。具体的には、外部入出力端子部７には、映像信号及び音声信号が入力される。また、映像信号及び音声信号が外部入出力端子部７から出力される。
シャッタレリーズスイッチ８は、押し込み量に応じて、第１スイッチ( 以下「ＳＷ１」と記述) 及び第２スイッチ（以下「ＳＷ２」と記述）が順にオン状態となるように構成されている。具体的には、ユーザがシャッタレリーズボタン８を約半分押し込んだ場合に、ＳＷ１がオン状態となる。ユーザが、更に、シャッタレリーズボタン８を最後まで深く押し込んだ場合に、ＳＷ２がオン状態となる。そして、ＳＷ１、ＳＷ２がオン状態となったことを示す信号が制御部３に送信される。

記憶部９には、撮像信号処理部３２、３５が出力した画像信号、映像信号処理部３３、３６が出力した画像信号等が記憶される。この際、なお、記憶部９には、制御部３によって解釈されて実行される、本実施形態の撮像装置の制御プログラムを記憶するためのメモリ装置も含まれる。電源部１０は、図１に示す撮像装置の各処理部に対して、電源電圧を供給する。
本実施形態の撮像装置の制御方法は、図１に示す撮像装置が備える各処理部によって実現される。また、図１に示す撮像装置の機能は、ＣＰＵとその上で実行されるコンピュータプログラムにより実現される。このコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に格納することができ、この記録媒体に記録して提供され、又は、通信インタフェースを介してネットワークを利用した送受信により提供される。

次に、図１に示す撮像装置による、自動焦点調節（ＡＦ）処理、自動露出（ＡＥ）処理、及び、ズーム駆動制御処理について説明する。上述したように、シャッタレリーズスイッチ８の押し込み量に応じて、ＳＷ１及びＳＷ２が順にオン状態となる。シャッタレリーズスイッチ８のＳＷ１がオン状態となったことを示す信号が制御部３に入力されると、制御部３が、フォーカス駆動制御部１８、２８に指示して、制御部３が決定した指標を対象としてＡＦ処理を実行させる。制御部３から指示を受けたフォーカス駆動制御部１８、２８は、フォーカスレンズ１４、２４を駆動することによって、上記指標に対応する被写体領域が合焦すべくＡＦ処理を実行する。また、制御部３が、シャッタ・絞り駆動制御部１６、２６に指示して、制御部３が決定した指標を対象として、ＡＥ処理を実行させる。具体的には、シャッタ・絞り駆動制御部１６、２６が、シャッタ・絞りユニット１２、２２を駆動して、露光量を適正な値に設定する。

ＳＷ２がオン状態となり、ＳＷ２がオン状態となったことを示す信号が制御部３に入力されると、制御部３が、撮像素子３１、３４に指示して、撮像素子３１、３４が受光した光像を画像信号として電気信号に変換させる。撮像素子３１、３４で取得した画像信号は、それぞれ、撮像信号処理部３２、３５により処理され、映像信号処理部３３、３６が、表示部５に表示する画像信号を出力する。制御部３は、撮像信号処理部３２、３５が出力した画像信号、映像信号処理部３３、３６が出力した画像信号を記憶部９に記憶する。また、ユーザがズームスイッチ６を操作すると、その操作信号が制御部３に入力され、制御部３がズーム駆動制御部１５、２５に指示を与える。ズーム駆動制御部１５、２５は、制御部３によって指示されたズーム位置へズームレンズを移動させる。これによって、ズーム駆動制御処理が実行される。

図１（Ｂ）は、図１（Ａ）中のフォーカス駆動制御部の構成例を示す。フォーカス駆動制御部１８は、フォーカスモータ１８１、フォーカスモータ駆動回路１８２、リセット位置検出部１８３、フォーカス制御部１８４を備える。フォーカスモータ１８１は、フォーカスモータ駆動回路１８２の指示に従って駆動し、フォーカスレンズ１４を移動させる。これによって、ＡＦ処理が行われる。フォーカスモータ駆動回路１８２は、フォーカスモータ１８１を駆動させるアナログ回路である。リセット位置検出部１８３は、フォーカスレンズ１４の所定のリセット位置を検出する位置検出手段である。フォーカス制御部１８４は、リセット位置検出部１８３によって検出されたリセット位置に基づいて、フォーカスレンズ１４の駆動制御に係る基準位置を判定する。

図２は、本発明の実施例１に係る撮像装置の動作処理フローの例を示す図である。図２（Ａ）は、撮像装置の全体動作処理の例を示す。まず、図１（Ａ）に示す撮像装置の制御部３が、ユーザの操作入力に従って撮影モードに設定されたことを確認し、撮影処理を開始する。まず、ステップＳ１において、制御部３が、主被写体を選択し、第１、第２の指標を決定する。このステップＳ１の詳細な処理については、図２（Ｂ）乃至図３を参照して後述する。次に、ステップＳ２において、制御部３が、シャッタレリーズスイッチ８のＳＷ１がオン状態になったかを判断する。制御部３が、ＳＷ１がオン状態になったと判断した場合には、ステップＳ３に進む。ＳＷ１がオン状態でない、すなわち、オフ状態であると判断した場合には、上記ステップＳ１に戻る。
次に、ステップＳ３において、上記ステップＳ１で決定したそれぞれの撮像光学系の指標に対してＡＥ処理を実行する。これにより、主被写体となる顔領域に含まれる人物の顔の露出が適正になる。続いて、ステップＳ４において、上記ステップＳ１で決定したそれぞれの撮像光学系の焦点調節ための指標に対してＡＦ処理を実行する。

ステップＳ５において、制御部３が、シャッタレリーズスイッチ８のＳＷ２がオン状態になったかを判断する。制御部３が、ＳＷ２がオン状態になったと判断した場合には、ステップＳ６に進む。制御部３が、ＳＷ２がオン状態でない、すなわち、オフ状態であると判断した場合には、上記ステップＳ５に戻る。ステップＳ６において、撮像装置の撮像光学系が撮影を開始する。露光が終了すると、ステップＳ７において、撮像光学系が、画像取り込み等の画像処理を実行する。そして、映像信号処理部３３が表示部５に表示可能な画像信号を生成して出力する。そして、ステップＳ８において、制御部３が、第１、第２の指標を撮像素子３１、３４で取得した画像信号と関連付けて記憶部９に記憶して、撮影を終了する。すなわち、制御部３は、第１、第２の指標を第１、２の撮像手段で取得した画像信号と関連付けて記憶手段に記憶させる記憶制御手段としての機能を有する。これによりそれぞれの画像信号においての指標を後から確認したり、その位置に対応する被写体領域を拡大処理したりすることができる。

図２（Ｂ）は、図２（Ａ）のステップＳ１における指標決定処理の一例を示す。この例では、図１に示す撮像装置が備える第１、第２の撮像光学系がそれぞれ顔領域を検出した場合を想定する。２つの撮像光学系のうち、いずれか１つの撮像光学系のみが顔領域を検出する場合についても、図２（Ｂ）に示す処理と同様の処理となる。
ステップＳ１１において、顔検出部４が、撮像信号処理部３２が出力した画像信号を制御部３から受け取り、受け取った画像信号から顔領域を検出する。顔検出部４は、撮像光学系１の撮像信号処理部３２、撮像光学系２の撮像信号処理部３５がそれぞれ出力した画像信号毎に顔領域を検出する。例えば、図３（Ａ）に示すように、本実施形態の撮像装置が備える第１の撮像光学系１から図３（Ａ）中左側の画像Ｌが得られ、第２の撮像光学系２から右側の画像Ｒが得られたとする。画像Ｌについては、３人の人物Ａ、Ｂ、Ｃそれぞれの顔領域が検出され、画像Ｒについては、２人の人物Ｂ、Ｃそれぞれの顔領域が検出される。それぞれの顔領域を、点線の矩形の枠で示す。

図２（Ｂ）に戻って、ステップＳ１２において、制御部３は、上記ステップＳ１１の処理で検出された複数の顔領域の中から、主被写体を選択する。上記主被写体の選択処理について、以下に説明する。制御部３が、検出されたそれぞれの顔領域について評価値を演算する。例えば、顔検出部４が、顔領域について、人間の顔と思われる確からしさを公知の技術によって算出し、制御部３が、上記確からしさの大きさに応じて評価値を設定する。具体的には、確からしさが大きい顔領域に対して高い評価値を設定する。また、例えば、顔検出部４が、顔領域が検出された位置を出力し、制御部３が、顔領域が検出された位置に応じて評価値を設定する。具体的には、顔領域が検出された位置が撮像画像の中心部に近い顔領域に高い評価値を設定する。また、例えば、顔検出部４が、顔領域の大きさを出力し、制御部３が、顔領域の大きさに応じて評価値を設定する。具体的には、顔領域が大きい顔領域に高い評価値を設定する。また、例えば、顔検出部４が、顔領域の、他の顔領域との相関位置を出力し、制御部３が、上記相関位置に応じて評価値を設定する。制御部３は、上記の評価値の設定方法のうち少なくとも一つを用いて評価値を設定する。制御部３は、評価値が設定された顔領域の中から、最も評価値が高い顔領域を主被写体として選択し、選択された主被写体を、上記顔領域に対応する撮像光学系についての、ＡＦ処理とＡＥ処理の対象となる指標とする。制御部３が、最も評価値が高い顔領域の該評価値が所定の閾値を超えるかを判断し、評価値が閾値を超える場合に、この顔領域を主被写体として選択し、評価値が閾値を超えない場合に、この顔領域に対応する撮像光学系についての主被写体がないと判断してもよい。

図３（Ａ）を参照して、制御部３が、顔領域の検出された位置と顔領域の大きさに応じて評価値を設定する場合の、主被写体の選択例について説明する。制御部３は、画像Ｌにおける人物Ａ、Ｂ、Ｃの顔領域と、画像Ｒにおける人物Ｃ、Ｂの顔領域という、図３（Ａ）中の点線の矩形の枠で示される５つの顔領域の中から、一つの顔領域を主被写体として選択する。ここで、５つの顔領域のうち、顔領域の検出された位置と顔領域の大きさに応じて設定される評価値が最も高い顔領域は、例えば画像Ｌにおける人物Ａの顔領域となる。従って、制御部３は、画像Ｌにおける人物Ａの顔領域を主被写体として選択するとともに、この主被写体を第１の撮像光学系についての指標とする。
なお、制御部３が、評価値を用いる方法以外の方法で主被写体を選択するようにしてもよい。例えば、顔検出部４が、検出した顔領域に含まれる人物の顔の特徴量を出力する。そして、制御部３が、上記特徴量に基づいて、公知の個人認証技術を用いて、予め決められた人物の顔を特定し、特定した人物の顔を主被写体として選択する。

次に、図２（Ｂ）のステップＳ１３において、制御部３が、表示部５に指示して、映像信号処理部３３が出力した画像信号を表示画面上に表示させる。そして、この表示画面上に、上記ステップＳ１２において選択された主被写体を指標として表示する。これによって、ユーザが、主被写体となる顔領域を認識できるようになる。例えば、表示部５は、図３（Ｂ）中の画像Ｌ中に、主被写体である人物Ａの顔領域を示す太線の矩形の枠を、指標として表示する。続いて、ステップＳ１４において、制御部３は、ステップ１２で選択された主被写体の顔領域の座標を検出する。そして、ステップ１５において、制御部３は、主被写体が選択されていない方の撮像光学系から得られた画像における、上記ステップＳ１４において検出された座標と同じ座標の画像領域を、該撮像光学系についての指標として決定する。上記ステップＳ１５においては、更に、制御部３は、表示部５に指示して、決定された指標を画面表示させる。図３（Ｂ）に示す画面表示例においては、主被写体が選択されなかった画像は画像Ｒであり、この画像Ｒは第２の撮像光学系２から得られた画像である。画像Ｒにおいて、図３（Ｂ）の画像Ｌ内に表示された指標の座標と同じ座標の画像領域は、太線の矩形の枠で囲まれた画像領域である。従って、制御部３は、この太線の矩形の枠を第２の撮像光学系２についての指標として決定し、この指標を図３（Ｂ）の画像Ｒにおいて表示する。

図２乃至図３を参照して説明した本発明の実施例１によれば、撮像装置が備える２つの撮像光学系について、同じ座標位置の指標を得ることができる。従って、撮像光学系が、それぞれ別個の被写体に対して自動焦点調節処理を行うことを防止することができる。また、いずれか１つの撮像光学系から得られた画像信号からのみ顔領域が検出された場合にも、他の撮像光学系について、上記顔領域が検出された画像信号に係る撮像光学系についての指標と同じ座標位置の指標を得ることができる。その結果、人物を綺麗に撮影することができる。

図４は、本発明の実施例２に係る撮像装置の動作処理例を説明する図である。実施例２に係る撮像装置の全体動作処理については、前述した図２（Ａ）に示す実施例１に係る撮像装置の全体動作処理と同様である。
図４（Ａ）は、実施例２に係る撮像装置による指標決定処理の一例を示す。この例では、制御部３が、２つの撮像光学系から得られた画像信号から同一人物を検出できたかを判断し、判断結果に基づいて主被写体を選択する。まず、ステップＳ２１において、顔検出部４が、撮像光学系１及び撮像光学系２の撮像信号処理部３２が出力した画像信号を制御部３から受け取り、受け取った画像信号から顔領域を検出する。例えば、第１の撮像光学系１から図４（Ｂ）中左側の画像Ｌが得られ、第２の撮像光学系２から右側の画像Ｒが得られたとする。画像Ｌについては、３人の人物Ａ、Ｂ、Ｃそれぞれの顔領域が検出され、画像Ｒについては、２人の人物Ｂ、Ｃそれぞれの顔領域が検出される。

図４（Ａ）に戻って、ステップ２２において、制御部３は、上記ステップＳ２１で検出された顔領域に含まれる顔から、同一人物の顔を検出する。例えば、制御部３は、それぞれの顔領域について、上述した評価値を演算し、算出された評価値同士の合致度が所定の値より大きい顔領域に対応する顔を同一人物の顔として検出する。顔領域の検出位置に基づいて評価値を設定する場合には、画像中心から離れている位置にある顔領域ほど評価値の合致度が低くなることが予想される。従って、制御部３が、顔領域の検出位置に応じて、合致度と比較する上記所定の値を変更するようにしてもよい。なお、制御部３が、顔領域に含まれる顔の特徴量の合致度に基づいて、同一人物の顔を検出するようにしてもよい。図４（Ｂ）に示す例では、画像Ｌにおける人物Ｂの顔と画像Ｒにおける人物Ｂの顔とが同一人物の顔として検出され、画像Ｌにおける人物Ｃの顔と画像Ｒにおける人物Ｃの顔とが同一人物の顔として検出される。すなわち、人物Ｂに対応する顔領域の組と人物Ｃに対応する顔領域の組とが、同一人物の顔に対応する顔領域の組として検出される。

次に、ステップＳ２３において、制御部３が、上記ステップＳ２１の処理で検出された複数の顔領域の中から、主被写体を選択する。制御部３は、それぞれの顔領域に対して評価値を設定し、最も評価値が高い顔領域を主被写体として選択する。
ステップＳ２３においては、制御部３が、上記ステップＳ２２の処理によって検出された同一人物の顔に対応する顔領域に対して、同一人物の顔として検出されなかった顔に対応する顔領域の評価値よりも高い評価値を設定するようにしてもよい。これにより、同一人物の顔として検出された顔に対応する顔領域を優先的に主被写体として選択することができる。なお、制御部３は、同一人物の顔に対応する顔領域として検出された顔領域が複数組ある場合には、顔領域の評価値の大きさに基づいて、いずれかの顔領域の組を主被写体として選択する。例えば、制御部３は、図４（Ｂ）中に示す人物Ｂ、Ｃそれぞれについての顔領域の組のうち、顔領域の大きさが大きい人物Ｂについての顔領域の組を主被写体として選択する。

次に、ステップＳ２４において、制御部３が、表示部５に指示して、映像信号処理部３３が出力した画像信号を表示画面上に表示させる。そして、この表示画面上に、上記ステップＳ２３において選択された主被写体を指標として表示する。これによって、ユーザが、主被写体となる顔領域を認識できるようになる。例えば、表示部５は、図４（Ｃ）中の画像Ｌ中に、主被写体である人物Ｂの顔領域を太線の矩形の枠で囲って指標として表示する。続いて、ステップＳ２５において、制御部３が、上記ステップＳ２３の処理によって選択された主被写体が、両撮像光学系からの画像中に同一人物として存在するかを判断する。制御部３が、主被写体が、両撮像光学系からの画像信号中に同一人物として存在すると判断した場合は、ステップＳ２６に進む。制御部３が、主被写体が、両撮像光学系からの画像信号中に同一人物として存在しないと判断した場合は、ステップＳ２７に進む。

ステップＳ２６において、制御部３は、上記ステップＳ２３において選択された主被写体を両撮像光学系についての指標として決定する。制御部３は、例えば、図４（Ｃ）中に示される、主被写体である人物Ｂの顔領域を示す太線の矩形の枠を、第１の撮像光学系１、第２の撮像光学系２それぞれの指標として決定する。ステップＳ２７においては、制御部３は、ステップ２３で選択された主被写体の顔領域の座標を検出する。そして、ステップ２８において、制御部３は、主被写体が選択されていない方の撮像光学系から得られた画像における、上記ステップＳ２７において検出された座標と同じ座標の画像領域を、該撮像光学系についての指標として決定する。上記の実施例２によれば、例えば、各々の撮像光学系が、同一人物に対応する顔領域を主被写体として選択し、選択した主被写体を指標とすることができる。従って、各々の撮像光学系が、同じ人物を主被写体としてＡＥ処理及びＡＦ処理の対象とすることができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ 第１の撮像光学系
２ 第２の撮像光学系
３ 制御部
４ 顔検出部
５ 表示部

Claims (5)

1. 第１、第２の撮像光学系と、
   前記第１、第２の撮像光学系を通過した光像から各々画像信号を取得する第１、第２の撮像手段と、
   前記第１、第２の撮像光学系の焦点調節処理を行う第１、第２の焦点調節手段と、
   取得した画像信号に基づいて、合焦すべき被写体領域を検出する領域検出手段と、
   前記焦点調節処理のための指標を決定する指標決定手段とを備え、
   前記領域検出手段が、前記検出した合焦すべき被写体領域に含まれる人物の顔の特徴量を出力し、
   前記指標決定手段は、
   前記出力された特徴量に基づいて、前記第１、第２の撮像光学系について検出された合焦すべき被写体領域に同一人物に対応する顔領域があるかを判断し、
   前記同一人物に対応する顔領域がある場合は、前記第１、第２の撮像光学系について検出された合焦すべき被写体領域における前記同一人物に対応する顔領域を、それぞれ、前記第１の撮像光学系の焦点調節のための第１の指標、前記第２の撮像光学系の焦点調節のための第２の指標として決定し、
   前記同一人物に対応する顔領域がない場合は、前記第１の撮像光学系について検出された合焦すべき被写体領域に含まれる顔領域から選択された顔領域を、前記第１の指標として決定し、前記第２の撮像光学系について検出された合焦すべき被写体領域に含まれる顔領域のうち、前記第１の指標の座標と同じ座標に対応する顔領域を、前記第２の指標として決定することを特徴とする撮像装置。
2. 前記第１、第２の指標を前記第１、２の撮像手段で取得した画像信号と関連付けて記憶手段に記憶させる記憶制御手段を備える
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記指標決定手段が、前記第１、第２の撮像光学系について検出された合焦すべき被写体領域について評価値を演算し、演算された評価値の合致度に基づいて、前記同一人物に対応する顔領域があるかを判断する
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 第１、第２の撮像光学系を備えた撮像装置の制御方法であって、
   前記第１、第２の撮像光学系を通過した光像から各々画像信号を取得する取得工程と、
   取得した画像信号に基づいて、合焦すべき被写体領域を検出する検出工程と、
   前記第１、第２の撮像光学系の焦点調節処理のための指標を決定する決定工程とを有し、
   前記検出工程では、前記検出した合焦すべき被写体領域に含まれる人物の顔の特徴量を出力し、
   前記決定工程では、
   前記出力された特徴量に基づいて、前記第１、第２の撮像光学系について検出された合焦すべき被写体領域に同一人物に対応する顔領域があるかを判断し、
   前記同一人物に対応する顔領域がある場合は、前記第１、第２の撮像光学系について検出された合焦すべき被写体領域における前記同一人物に対応する顔領域を、それぞれ、前記第１の撮像光学系の焦点調節のための第１の指標、前記第２の撮像光学系の焦点調節のための第２の指標として決定し、
   前記同一人物に対応する顔領域がない場合は、前記第１の撮像光学系について検出された合焦すべき被写体領域に含まれる顔領域から選択された顔領域を、前記第１の指標として決定し、前記第２の撮像光学系について検出された合焦すべき被写体領域に含まれる顔領域のうち、前記第１の指標の座標と同じ座標に対応する顔領域を、前記第２の指標として決定する
   ことを特徴とする撮像装置の制御方法。
5. 請求項４に記載した撮像装置の制御方法をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images