JP6478537B2 - 撮像装置及び制御方法 - Google Patents

Description

本発明は、撮像装置に関し、特に被写体の顔を検出する顔検出に関する。

従来、撮影の前に測光センサで画像信号を取得し、その画像信号を処理することにより測光や顔検出を行う撮像装置が知られている。

このような撮像装置では、測光センサで取得した画像信号に基づいて顔検出をして、その検出結果を用いて自動焦点制御（ＡＦ制御）を行うことができる（特許文献１）。

特開２００８−２６２００１号公報

しかしながら、上述の特許文献に開示された従来技術では、人物が存在していても測光センサで取得した画像信号に基づいて人物の顔が検出できなければ適正にＡＦ制御を行うことができない。

そこで、本発明は、精度よく顔検出を行うことができるようにすることを目的とする。

上記目的を達成するために、本発明にかかる撮像装置は、撮像手段と、前記撮像手段で撮像を行い得られた画像信号に対するゲインを設定する設定手段と、前記設定手段により設定されたゲインが適用された画像信号に基づいて被写体の顔検出を行う顔検出手段と、焦点検出手段と、を有し、前記設定手段は、前記焦点検出手段により得られたフォーカス情報に基づくレンズユニットの第１の駆動の前であって、前記フォーカス情報と当該フォーカス情報を得る前に前記撮像手段で撮像を行い得られた画像信号とに基づいて、前記第１の駆動の後の前記ゲインを設定することを特徴とする。

本発明によれば、精度よく顔検出を行うことができる。

本発明の実施形態に関わるカメラシステムの構成図である。 表示素子のＡＦ枠配置の一例を示す図である。 カメラ１００の状態に応じた測光方法を示す図である。 顔検出ＡＦモードにおけるＡＰＵ１１２の処理を示す図である。 顔検出ＡＦモードにおける各ＣＰＵの処理のタイミングを示す図である。 測光画に測光領域、ＡＦ枠を重ねた図である。 第１の実施形態の顔検出ＡＦモードにおけるＡＰＵ１１２の処理を示す図である。 第１の実施形態のＳＷ１測光中断見切り合焦測光処理を示す図である。 第１の実施形態の顔検出ＡＦモードにおける各ＣＰＵの処理のタイミングを示す図である。 第２の実施形態の顔検出ＡＦモードにおけるＡＰＵ１１２の処理を示す図である。 第２の実施形態のＳＷ１測光中断繰り返し見切り合焦測光処理１を示す図である。 第２の実施形態の再顔検出処理を示す図である。 第２の実施形態の顔検出ＡＦモードにおける各ＣＰＵの処理のタイミングを示す図である。 前回測光画に測光領域、ＡＦ枠を重ねた図である。 第２の実施形態のＳＷ１測光中断繰り返し見切り合焦測光処理２を示す図である。 第３の実施形態のＡＦ枠再選択演算の処理を示す図である。 第３の実施形態の顔検出ＡＦモードにおける各ＣＰＵの処理のタイミングを示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１は、本発明の実施形態に関わるカメラシステムの構成を示す図である。図１に示すカメラシステムは、カメラ１００とカメラ１００に着脱可能に装着されたレンズユニット２００を有している。まず、カメラ１００とレンズユニット２００内の構成について説明する。

マイクロコンピュータＣＰＵ（以下、カメラマイコン）１０１は、カメラ１００の各部を制御する制御部である。

メモリ１０２は、カメラマイコン１０１に接続されているＲＡＭやＲＯＭ等のメモリである。

撮像素子１０３は、赤外カットフィルタやローパスフィルタ等を含むＣＣＤやＣＭＯＳ等の撮像素子であり、レンズユニット２００によって撮影時に被写体の像が結像される。

シャッター１０４は、非撮影時には閉じて撮像素子１０３を遮光し、撮影時には開いて撮像素子１０３へ光線を導く。

ハーフミラー１０５は、非撮影時にレンズユニット２００より入射する光の一部を反射しピント板１０６に結像させる。

表示素子１０７は、ＰＮ液晶等のＡＦ枠を表示するための表示素子であり、光学ファインダーを覗いたときに撮像領域内のどの位置にピントを合わせているかをユーザーに示す。

図２に表示素子１０７に表示されるＡＦ枠の配置の一例を示す。ＰＮ液晶では、カメラマイコン１０１からの指示で選択されたＡＦ枠の液晶が拡散し、ＡＦ枠が表示される。また複数の測光領域が点線で示されている。

測光センサ１０８は、ＣＣＤ、ＣＯＭＳ等の撮像素子であって、測光だけでなく顔検出や被写体追尾に用いられる。

ペンタプリズム１０９は、ピント板１０６の被写体像を測光センサ１０８及び光学ファインダーに導く。

焦点検出回路１１０は、レンズユニット２００より入射し、ハーフミラー１０５を通過した光線の一部をＡＦミラー１１１で焦点検出回路１１０内のＡＦセンサに導き焦点検出を行っている。焦点検出の結果である焦点検出情報は特に限定されず、位相差検出方式のＡＦで用いられる位相差情報やコントラスト方式のＡＦで用いられる評価値情報などＡＦの方式に対応する情報であればよい。

ＣＰＵ（以下ＡＰＵと呼ぶ）１１２は、測光センサ１０８の画像処理・演算用のＣＰＵで、ここで測光センサ１０８で取得した画像信号に基づいて、顔検出処理、被写体追尾処理、測光処理のための各種演算を行う。また、測光センサ１０８で撮像を行い得られた画像信号に対するゲインを設定したり、設定したゲインを画像信号に適用したりする。

メモリ１１３は、ＡＰＵ１１２に接続されているＲＡＭやＲＯＭ等のメモリである。

なお、上記のカメラシステムでは、ＡＰＵ１１２のように測光センサ専用のＣＰＵを用意したが、カメラマイコン１０１等で処理を行ってもよい。

ＣＰＵ（以下ＬＰＵと呼ぶ）２０１は、レンズユニット内のＣＰＵで、レンズ情報や被写体との距離情報等をカメラマイコン１０１に送る。また、ＬＰＵ２０１は、カメラマイコン１０１からの要求に応じてレンズユニット２００内のレンズを駆動させる。

以上で図１に示すカメラシステムの構成図の説明を終わる。

次に、図３を使ってカメラ１００の状態に応じた測光方法について説明をする。

まず、カメラ１００が測光をしていない状態から測光を開始する場合に最初に行う際の測光を初回測光とする。この初回測光は、例えば、カメラ１００の起動時、レンズ交換後といった、被写体の明るさがわからない状態から短い時間で明るさの状態を測るための測光方法である。初回測光の１回目及び２回目は素早く測光を行うため、測光センサ１０８で受光できるすべての画素を使わない蓄積Ｓ、読出Ｓを行う。この２回の測光結果により測光の３回目は蓄積時の蓄積パラメータを算出し、測光センサ１０８で受光できるすべての画素を用いて蓄積Ａ、および読出Ａを行う。この蓄積Ａ、読出Ａで得られた画像信号は顔検出を行うために十分な画素を使うことを特徴とし、後に説明するＳＷ１測光、見切り合焦測光、最終合焦測光といった顔検出で必要とする測光でも同様の方法が使われる。なお、測光演算処理のアルゴリズムについては説明を省略するが、図２に示すような測光領域を所定の数のブロック領域ごとに分け、ブロックごとに測光値を演算することで、全体の明るさを測定することができる演算である。また、この演算では明るさを測った上で、次に取得する画像信号の明るさが適切になるような蓄積パラメータ、例えば蓄積時間、ゲイン、読出モードなどの決定も行う。

次に、初回測光が終わり、図１に不図示の撮影ボタンが押下されることで開始される測光をＳＷ１測光とする。このＳＷ１測光は、前述の蓄積Ａ、読出Ａにより得られる画像信号から測光演算により、各測光領域の測光値を演算する。さらに、ＳＷ１測光は、単に測光値を演算するという他に、今後の撮影に関わる様々情報を取得するために、蓄積Ａ、読出Ａとは異なる動作をする。本実施形態では、交流電流の周期に基づいて周期的に点滅を繰り返す蛍光灯など、いわゆるフリッカの点滅周期を判断するため、蓄積Ｆ、読出Ｆ、で得られた画像信号からフリッカ情報を取得するフリッカ検知演算を行うものとする。蓄積Ｆ、読出Ｆ、フリッカ検知演算については、本発明の特徴とは関係がないため詳細な説明を省略するが、例えば、蓄積Ｆの期間にフリッカの点滅周期よりも短い蓄積時間で取得した複数の画像信号の信号レベルを比較してフリッカ点滅周期などを測定する。

次に、顔検出を行って検出された顔に対して優先的にピントを合わせるように焦点制御を行うモード（以下、顔検出ＡＦモードとする）において、合焦直前に顔検出のために行う測光を見切り合焦測光とする。この見切り合焦測光は、カメラマイコン１０１があと一度のレンズ駆動で合焦すると判断した際に行う測光で、前述の蓄積Ａ、読出Ａによる画像信号に基づいて撮像領域内に人物の顔があるかどうかを判断する顔検出演算を行ったのち、測光演算を行う。なお、顔検出ＡＦモードは、カメラマイコン１０１が、測光センサ１０８から取得した画像信号に基づいて自動的に設定しても、ユーザーが不図示の操作部を操作したことに応じて設定してもよい。

次に、最終的に合焦した際に行われる測光を最終合焦測光とする。この最終合焦測光は前述の蓄積Ａ、読出Ａによる画像信号に基づいて測光演算を行うことにより、合焦後の最終的な被写体の明るさを測定する。

以上で図３の本発明の実施例に関わる測光の種類の説明を終わる。

次に、図４のフローチャートを使って、本発明の実施形態に関わる顔検出ＡＦモードにおけるＡＰＵ１１２の処理について説明をする。

まず、ステップＳ４０１では、カメラマイコン１０１から初回測光要求があるか判断を行う。もしなければステップＳ４０１を繰り返し、ある場合にはステップＳ４０２の初回測光処理を行う。初回測光処理については、図３を使って説明した処理を行う。次にステップＳ４０３に進む。

ステップＳ４０３では、カメラマイコン１０１からＳＷ１測光要求があるか判断を行う。もしなければステップＳ４０３を繰り返し、ある場合にはステップＳ４０４のＳＷ１測光処理を行う。ＳＷ１測光処理については、図３を使って説明した処理を行う。次にステップＳ４０５に進む。

ステップＳ４０５では、カメラマイコン１０１から見切り合焦要求があるか判断を行う。もしなければ、ステップＳ４０３に戻る。ある場合にはステップＳ４０６の見切り合焦測光処理を行う。見切り合焦測光処理については、図３を使って説明した処理を行う。次にステップＳ４０７に進む。

ステップＳ４０７では、カメラマイコン１０１から最終合焦測光要求があるか判断を行う。もしなれければステップＳ４０７を繰り返し、ある場合にはステップＳ４０８の最終合焦測光処理を行う。最終合焦測光処理については、図３を使って説明した処理を行い、本フローチャートを終了する。次に、図５のタイミングチャートを使って、顔検出ＡＦモードにおける最終合焦までの各ＣＰＵの処理のタイミングについて説明をする。

まず、初回測光を行うために、カメラマイコン１０１からＡＰＵ１１２に対し初回測光要求を出す。その際、カメラマイコン１０１はフォーカス情報１をＡＰＵ１１２に対して送る。フォーカス情報とは、カメラマイコン１０１が焦点検出した際に、どれだけＡＦ枠に対応する被写体に対してピントが合っているかを（ＡＦ枠に対応する被写体に対するレンズのフォーカス位置の正しさ）点数で表現している情報のことである。フォーカス情報は、ＬＰＵ２０１からカメラマイコン１０１に対して送られるレンズ情報及び焦点検出回路１１０で得た焦点検出情報に基づいてカメラマイコン１０１により演算される。このフォーカス情報についての詳細な内容、およびその演算方法については特に限定されないが、本実施形態では、数字が高いほどピントが合っている（合焦度が高い）ことを示し、０〜１０点で表現するものとする。

初回測光時のフォーカス情報１は、例えばカメラ１００の起動時などレンズのフォーカス位置が不定の状態かつ、カメラマイコン１０１が焦点検出を開始した際の情報であり、高い点数であるケースは少ない。そこで、本実施形態では、すべてのＡＦ枠のフォーカス情報が０点であるものとする。

ＡＰＵ１１２が初回測光をしている間に、カメラマイコン１０１は焦点検出１を行い、検出結果に応じてＬＰＵ２０１に対してレンズ駆動１を要求する。

ＡＰＵ１１２が初回測光の際に撮像したものが測光画フォーカス情報１で示した測光センサ１０８で得られた画像信号に基づく画像（測光画）、およびフォーカス情報１を表している。図３で説明したように、初回測光時は１回目、２回目で被写体の明るさを短時間で測光し３回目で取得する画像信号の明るさが適切になるように、蓄積Ａの蓄積パラメータを調節するが、３回目で取得する画像信号の明るさが適切にならないケースが存在する。そのような例として、本実施形態では人物が極端に逆光である例を示している。

ＡＰＵ１１２が初回測光結果をカメラマイコン１０１に送信したあと、次にカメラマイコン１０１はＳＷ１測光要求を行う。その際、カメラマイコン１０１は、フォーカス情報２をＡＰＵ１１２に対して送る。ＳＷ１測光時のフォーカス情報２は、初回測光時に焦点検出１とレンズ駆動１の結果から、フォーカス情報１よりも高い点数になる。本実施形態では、人物の顔付近のＡＦ枠であるＦｏｃｕｓ５が５点、胴体付近のＡＦ枠であるＦｏｃｕｓ４が６点であるものとする。図５では、カメラマイコン１０１がＡＰＵ１１２に対してＳＷ１測光要求を出したのと同時にフォーカス情報２を送るように表現しているが、フォーカス情報２を送るタイミングは図５に示したタイミングに限定されない。例えば、レンズ駆動時間が短い場合は、焦点検出とレンズ駆動を細かく行ってもよいし、レンズ駆動が長い場合は、総駆動時間から、ＳＷ１測光要求を出すその時点での点数が何点になるのかをカメラマイコン１０１が演算してもよい。

次に、カメラマイコン１０１からＳＷ１測光要求を受けたＡＰＵ１１２は、蓄積Ａ１を行う。図３でも説明したように、この蓄積Ａ１で設定される蓄積パラメータは、初回測光で演算されたものを用いる。蓄積パラメータには、蓄積時間、ゲイン、蓄積方法などあるが、本実施形態では特にゲインについて、図６を使って、測光画とフォーカス情報を使ってのゲイン決定方法について説明をする。

図６は測光画に対して、図１で説明した測光領域、ＡＦ枠を重ねた図である。また、その測光画を撮影した際のフォーカス情報を表している。図６の例ではフォーカス情報は、ＡＦ枠であるＦｏｃｕｓ５が５点、Ｆｏｃｕｓ４が６点であるため、Ｆｏｃｕｓ４、５付近にピントが合いはじめて、測光画ではＦｏｃｕｓ４、５付近に多少なりともピントの合った画像が撮影されていることがわかる。一方、それ以外のＡＦ枠の点数は０点であるため、まったくピントが合っておらず、測光画にはＦｏｃｕｓ１、２、３にはピントの合ってない画像が撮影されていることがわかる。このピントが合っている（合焦度が所定値以上）ＡＦ枠付近の測光領域をＥｆ領域とし、ピントが合っていない（合焦度が所定値未満）ＡＦ枠付近の測光領域をＥａ領域とする。また、Ｅｆ領域の測光結果をＥｆとし、Ｅａ領域の測光結果をＥａとする。ここで、Ｅｆ−Ｅａをすることにより、Ｅｆ領域とＥａ領域の明るさの差分を演算することができる。つまり、ピントのあっている付近の画像とピントの合っていない付近の画像の明るさの差分がわかる。このＥｆ、Ｅａの演算方法については特に限定されない。例えば、Ｅｆ領域に含まれる各測光領域の測光値を平均した測光値をＥｆ、Ｅａ領域に含まれる各測光領域の測光値を平均した測光値をＥａとする。その他、各測光領域の測光値の加重加算値、最大値、最頻値などを代表測光値としてＥｆ、Ｅａとしてもよい。ここで、仮に明るい値を大きな数、暗い値を小さい数とした場合、Ｅｆ−Ｅａがマイナス時には、ピントが合っている領域が暗いと判断できるので、逆光であることが判断できる。そのため、次回の測光時にはピントが合っているＦｏｃｕｓ４、５付近が適切な明るさになるように蓄積パラメータとしてのゲインを上げる判断をする。

しかし、図５の測光画フォーカス情報１から図６で説明した演算を行う際、フォーカス情報がすべて０点なので、Ｅｆ領域を判断することができない。したがって、次回の測光時にはピントが合っている部分を明るくするような、蓄積パラメータのゲインを決めることができない。

そのため、ＳＷ１測光要求が来た際に行う蓄積Ａ１および読出で得られる測光画は、図５の測光画フォーカス情報２に示したような測光画、つまり被写体部分が暗いままの測光画となる。この測光画を得た際のフォーカス情報２からＥｆ領域とＥａ領域を判断し、この測光画に対応する画像信号に基づいてＥｆ−Ｅａの演算が行われる。これにより、次回測光する際の蓄積パラメータのゲインが決められる。以降は図３で説明した処理を行う。

一方、カメラマイコン１０１は焦点検出２を行い、レンズ駆動２をすることで見切り合焦、つまりあと一度のレンズ駆動で最終合焦ができるか判断を行う。もしレンズ駆動２が長く、ＳＷ１測光が終了する時間を超えるようなら、カメラマイコン１０１は見切り合焦をタイムラグなくＡＰＵ１１２に要求できる。しかしながら、図５に示すようなレンズ駆動２が短い場合、ＳＷ１測光が終わるまで見切り合焦要求は待たされ黒太線で示すようタイムラグが生じる。

ＡＰＵ１１２でＳＷ１測光が終わると、カメラマイコン１０１は見切り合焦測光要求を出す。その際、カメラマイコン１０１は、フォーカス情報３をＡＰＵ１１２に対して送る。見切り合焦測光時のフォーカス情報３は、ＳＷ１測光時に焦点検出２とレンズ駆動２の結果からフォーカス情報２よりも高い点数になる。

カメラマイコン１０１から見切り合焦測光要求を受けたＡＰＵ１１２は、蓄積Ａ２を行う。この蓄積Ａ２で設定される蓄積パラメータは、前述のＳＷ１測光のＥｆ−Ｅａから決定したゲインとする。見切り合焦測光要求が来た際に行う蓄積Ａ２及び読出で得られる測光画は、図５の測光画フォーカス情報３に示したような測光画、つまり被写体が明るくなった測光画が撮影される。図３で説明したように見切り合焦測光では測光センサ１０８で取得した画像信号に基づいて顔検出演算を行う。顔検出演算のアルゴリズム詳細はここでは詳細に述べないが、画像信号から顔を判断する際に、適正な露出で得られた画像信号を用いることは顔検出精度を高める。これは画像信号から目や鼻、口などの特徴点を判断するためで、特徴点が暗すぎるとその形状を判断することができないためである。

ＡＰＵ１１２は、顔検出演算の結果をカメラマイコン１０１に送り、以降は図３で説明した処理を行う。顔検出演算の結果を受けたカメラマイコン１０１は、見切り合焦時のフォーカス情報３と顔検出演算結果から、ＡＦ枠再選択演算を行い、再度レンズ駆動Ｅｘを行う。本例では、フォーカス情報３ではＦｏｃｕｓ４が９点と最も点数が高かったが、顔検出結果により、Ｆｏｃｕｓ５に対してフォーカスを合わせるようにレンズ駆動Ｅｘを行う。その際、カメラマイコン１０１は、ＡＰＵ１１２に対して最終合焦測光要求を出して、以降は図３で説明した処理を行う。

以上で図５の本発明の実施形態に関わる顔検出ＡＦモードにおける最終合焦までの各ＣＰＵの処理のタイミングについて説明を終わる。

（第１の実施形態）
以上のように、顔検出ＡＦモードにおける最終合焦までの各ＣＰＵの処理を行うと、レンズ駆動２が短い場合にタイムラグが生じる。そこで、本実施形態では、レンズ駆動２が短い場合に生じるタイムラグを低減するように、顔検出ＡＦモードにおける最終合焦までの各ＣＰＵの処理を行う。

図７は、本実施形態の顔検出ＡＦモードにおけるＡＰＵ１１２の処理についてのフローチャートである。

まず、ステップＳ７０１では、カメラマイコン１０１から初回測光要求があるか判断を行う。もしなければステップＳ７０１を繰り返し、ある場合にはステップＳ７０２の初回測光処理を行う。初回測光処理については、図３を使って説明した処理を行う。次にステップＳ７０３に進む。

ステップＳ７０３では、初回測光処理の蓄積Ａにより得られた画像信号をメモリ１１３に記憶する測光画像情報記憶処理を行いステップＳ７０４に進む。ステップＳ７０４では本実施形態の特徴であるＳＷ１測光中断見切り合焦測光処理を行う。

ＳＷ１測光中断見切り合焦測光処理については、図８を使って後に説明をする。次にステップＳ７０５に進む。

ステップＳ７０５では、カメラマイコン１０１から最終合焦測光要求があるか判断を行う。もしなれければステップＳ７０５を繰り返し、ある場合にはステップＳ７０６の最終合焦測光処理を行う。最終合焦測光処理については、図３を使って説明した処理を行い、本フローチャートを終了する。

図８は、本実施形態におけるＳＷ１測光中断見切り合焦測光処理についてのフローチャートである。

まず、ステップＳ８０１ではカメラマイコン１０１からＳＷ１測光要求があるか判断を行う。もしなければステップＳ８０１を繰り返し、ある場合にはステップＳ８０２で蓄積Ａ処理を行う。蓄積Ａ処理については、図３を使って説明した処理を行う。次にステップＳ８０３に進む。

次にステップＳ８０３では、カメラマイコン１０１から見切り合焦要求があるのか判断を行う。もしなければ、ステップＳ８０４に進み、ある場合にはステップＳ８１０に進む。

ステップＳ８０４ではステップＳ８０２の蓄積Ａが完了したかどうかの判定を行う。もし蓄積が完了したと判断すれば、ステップＳ８０５に進み、完了したと判断しなければ、ステップＳ８０３に戻る。次に、ステップＳ８０５〜ステップＳ８０９は、ＳＷ１測光に関わる一連の処理を行う。このＳＷ１測光の一連の処理については、図３を使ってすでに説明しているので説明は省略する。

ステップＳ８１０では、カメラマイコン１０１からのＳＷ１測光要求によりステップＳ８０２で開始した蓄積Ａ処理を中断する処理を行う。中断処理について詳細は述べないが、測光センサ１０８の蓄積を中断し、蓄積を最初から再開ができるような状態にする処理を行う。

次に、ステップＳ８１１では、図７のＳ７０３で記憶した測光画像情報をメモリ１１３から取得する処理を行い、ステップＳ８１２に進む。ステップＳ８１２では、ステップＳ８１１で取得した前回の測光画に対応する測光画像情報と、ステップＳ８０１にてカメラマイコン１０１から送信されたフォーカス情報２を用いて、蓄積パラメータであるゲインをＥｆ−Ｅａに基づいて決定する処理を行う。本来であれば、ステップＳ８０２で蓄積Ａを行い得られる画像信号とフォーカス情報２を使って、Ｅｆ−Ｅａからゲインを求めることが望ましいが、蓄積Ａが完了していない時点で見切り合焦が要求されたため、蓄積Ａによる画像信号は得られていない。そこで、前回得られている画像信号とフォーカス情報とを使うことで、蓄積Ａを完了するまで待機することなくゲインを求めることができる。

次に、ステップＳ８１３〜ステップＳ８１８は、見切り合焦測光に関わる一連の処理を行う。この見切り合焦測光の一連の処理については、図３を使ってすでに説明しているので説明は省略する。

次に、図９のタイミングチャートを使って、顔検出ＡＦモードにおける最終合焦までの各ＣＰＵの処理のタイミングについて説明をする。

初回測光からＳＷ１測光要求までは前述した図５のタイミングチャートと同様に行う。

ＡＰＵ１１２では、初回測光で得た測光画に対応する画像信号と焦点検出２を行ったときのフォーカス情報２を前回測光画フォーカス情報２としてメモリ１１３に記憶する。

次に、焦点検出２を行った後、カメラマイコン１０１は見切り合焦要求をＡＰＵ１１２に対して要求する。

図５ではカメラマイコン１０１はＳＷ１測光が終わるまで、見切り合焦要求を出さない、もしくは待たされるタイミングチャートであった。一方、図９ではＡＰＵ１１２は、ＳＷ１測光として蓄積Ａ１を行っているが、カメラマイコン１０１からの見切り合焦要求を受けると、蓄積Ａ１処理を中断した上で前回測光画フォーカス情報２からゲインを決定する処理を行う。そして、最初から見切り合焦測光の蓄積Ａ２を行う。

通常であれば、蓄積Ａ１の中断処理により、蓄積Ａ２での蓄積パラメータのゲインが決定できないため、読出された測光画フォーカス情報３の測光画は、被写体部分が暗いままの測光画となる。しかしながら、本実施形態では、蓄積Ａ１を中断しながらもゲインを決定できるため、測光画フォーカス情報３の測光画は被写体部分が明るい測光画となる。

ＡＰＵ１１２は顔検出演算の結果をカメラマイコン１０１に送り、以降は図３、および図５で説明した処理を行う。以上で、蓄積の中断処理を行う前に得ている画像信号を用いる場合の、顔検出ＡＦモードにおける最終合焦までの各ＣＰＵの処理のタイミングについて説明を終わる。

以上のように、本実施形態では、レンズ駆動２が短い場合に生じるタイムラグを低減しつつ、精度よく顔検出を行うことができる。

（第２の実施形態）
以下に、本発明の第２の実施形態について説明をする。第１の実施形態では、カメラマイコン１０１から送信されるフォーカス情報とは異なるタイミングに対応する画像信号を保持し、前回測光画フォーカス情報として見切り合焦測光のためのゲインを決定した。しかしながら、ゲインの決定に用いる画像信号に対応する蓄積を行ったときの被写体の位置と、ゲインの決定に用いるフォーカス情報との差異が著しくなるケース、例えば、被写体が動いた場合には、適正なゲインとならない場合がある。本実施形態では、そのような場合を考慮してゲインの決定を行う。

図１０は、本実施形態における顔検出ＡＦモードにおけるＡＰＵ１１２の処理についてのフローチャートである。

まず、ステップ１００１では、カメラマイコン１０１から初回測光要求があるか判断を行う。もしなければステップＳ１００１を繰り返し、ある場合にはステップＳ１００２の初回測光処理を行う。初回測光処理については、図３を使って説明した処理を行う。次にステップＳ１００３に進む。

ステップＳ１００３では、図７のステップＳ７０３と同様に測光画像情報記憶処理を行い、ステップＳ１００４に進む。ステップＳ１００４では、本実施形態の特徴であるＳＷ１測光中断繰り返し見切り合焦測光処理を行う。ＳＷ１測光中断繰り返し見切り合焦測光処理については、図１１、図１２を使って後に説明をする。次にステップＳ１００５に進む。

ステップＳ１００５では、カメラマイコン１０１から最終合焦測光要求があるか判断を行う。もしなれければステップＳ１００５を繰り返し、ある場合にはステップＳ１００６の最終合焦測光処理を行う。最終合焦測光処理については、図３を使って説明した処理を行い、本フローチャートを終了する。

図１１は、本実施形態におけるＳＷ１測光中断繰り返し見切り合焦測光処理１についてのフローチャートである。

ステップＳ１１０１〜ステップＳ１１１６までの処理は、図８のステップＳ８０１〜ステップＳ８１６と同様の処理を行う。

ステップＳ１１１７では、再顔検出処理を行う。再顔検出処理の詳細なフローは図１２を用いて説明する。前述のように、ゲインの決定に用いようとしている画像信号に対応する蓄積を行ったときの被写体の位置と、ゲインの決定に用いようとしているフォーカス情報との差異が著しくなるほどほど被写体が動くなどして顔が見つからない際に、顔検出を再度行う。

次にステップＳ１１１８、Ｓ１１１９に進む。ステップＳ１１１８、ステップＳ１１１９は、図８のステップＳ８１７、ステップＳ８１８と同様の処理を行い、本フローチャートを終了する。

図１２は、図１１における再顔検出処理についてのフローチャートである。

ステップＳ１２０１では、顔検出ができたのかどうかの判断を行う。もし、顔が検出できたと判断すれば終了する。顔検出できていなければ、ステップＳ１２０２に進む。

ステップＳ１２０２では測光演算処理を行い、前述のＥｆ、Ｅａから次回の蓄積パラメータのゲインを決定する。

ステップＳ１２０３では、蓄積Ａ処理を行う。この蓄積Ａでは、Ｓ１２０２で決定した蓄積パラメータを用いて蓄積を行い、ステップＳ１２０４に進む。

ステップＳ１２０４では蓄積が完了したかどうかの判断を行い、完了していなければＳ１２０４を繰り返す。完了していると判断すれば、ステップＳ１２０５の読出処理を行う。

ステップＳ１２０６では、顔検出演算処理を行い終了する。

なお、本フローチャートでは顔が検出できない場合、追加で一度の蓄積を行うように説明したが、複数回の蓄積を行ってもよい。また、その際、ステップＳ１２０２で決定した蓄積パラメータのゲインが、前回と同様である場合には、蓄積Ａ処理で得られる画像は同じ測光画になるため、ゲインの値の変化で、繰り返す、繰り返さないという判断を行ってもよい。

さらに、図１に不図示の操作部により、ユーザーが設定した撮影モード、例えば人物撮影モード、風景モードといった情報により、繰り返す回数を可変にしてもよい。

次に、図１３のタイミングチャートを使って、被写体が移動した場合の、顔検出ＡＦモードにおける最終合焦までの各ＣＰＵの処理のタイミングについて説明をする。

初回測光から見切り合焦測光要求までは前述した図９のタイミングチャートと同様に行う。図９では被写体が動かずに最終合焦まで行う例を示したが、図１３では、初回測光からＳＷ１測光に移行する際に被写体が動く例を示している。

前回測光画フォーカス情報２に示すように、初回測光で得た測光画は中央のＡＦ枠５に顔がある状態である。しかしながら、被写体が動くことにより、ＳＷ１測光を行うタイミングでの被写体はＡＦ枠２付近に移動をして、カメラマイコン１０１からのＡＰＵ１１２に対して送信されるフォーカス情報２では、Ｆｏｃｕｓ１が７点、Ｆｏｃｕｓ４が８点となる。

次に、焦点検出２を行った後、カメラマイコン１０１は見切り合焦要求をＡＰＵ１１２に対して要求する。ＡＰＵ１１２は見切り合焦要求を受けることで、蓄積Ａ１処理を中断した上で、前回測光画フォーカス情報２からＥｆ−Ｅａによりゲインを決定する処理を行い、最初から見切り合焦測光の蓄積Ａ２を行う。しかしながら、被写体が動いていると前回測光画に対応する蓄積を行ったときの被写体の位置とフォーカス情報２には差異があるため、Ｅｆ−Ｅａにより適正なゲインが求められない。

図１４は、前回測光画に対して、図１で説明した測光領域、ＡＦ枠を重ねた図である。また、その測光画を撮影した際のフォーカス情報を表している。フォーカス情報２は、ＡＦ枠であるＦｏｃｕｓ１が７点、Ｆｏｃｕｓ４が８点であるため、Ｆｏｃｕｓ１付近にフォーカスが合いはじめていることを示唆しているが、前回測光画はＦｏｃｕｓ５付近に人物の顔がある。

フォーカス情報２の示唆するＡＦ枠付近の測光ブロック領域をＥｆ領域とし、ピントが合っていないＡＦ枠付近の測光ブロック領域をＥａ領域とする。また、Ｅｆ領域の測光結果をＥｆとし、Ｅａ領域の測光結果をＥａとする。ここで、被写体の移動によりＥｆ領域と測光画において人物の顔が存在すると想定される領域とに差異が生じる。そのあめ、Ｅｆ−Ｅａを求めても、人物の顔が存在すると想定される領域の明るさに対して適正なゲインを求めることはできない。

上記の理由により、蓄積Ａ２で得た画像信号に対して適正でないゲインが適用されるため、蓄積Ａ２を行って得られる測光画は、測光画フォーカス情報３の測光画に示したような被写体部分が暗いままの測光画となる。

前述のように、測光画から顔を検出する際に顔が暗すぎると顔を検出できない。図１３では、顔検出の結果により、顔が見つからないと判断された場合、蓄積Ａ３を行う。この蓄積Ａ３で得られた画像信号に対して適用されるゲインは、測光画フォーカス情報３を用いて求めたＥｆ−Ｅａに基づいて決定されたゲインである。そのため、この蓄積Ａ３および読出で得られる測光画は、図１３の測光画２フォーカス情報３に示したような被写体部分が明るくなった測光画となる。これにより、測光画２フォーカス情報３の測光画では、検出できなかった顔が検出できる。以降は図３、および図５で説明した処理を行う。

次に、図１５を用いて、本実施形態におけるＳＷ１測光中断繰り返し見切り合焦測光処理２について説明する。図１５に示すフローチャートと図１１に示すフローチャートとは、前回測光画を用いてゲインを決定するかどうかを判断するステップを有する点が異なる。

ステップＳ１５０１〜１５１９までの処理は、図１１のステップＳ１１０１〜ステップＳ１１１９と同様の処理を行う。

ステップＳ１５２０では、ステップＳ１５１０の中断処理を行った際に、ステップＳ１５１１、ステップＳ１５１２を行うかどうかの判断をしている。

これは、前回測光画の被写体の位置とゲインの決定に用いるフォーカス情報との差異が大きい場合には、適正なゲインを求められない場合があるためである。前回測光画を用いて適正なゲインを求められない場合にはゲインを決定する処理を行う分だけ不要な処理に時間を費やすことになる。そこで、ステップＳ１５２０では、例えば、前回測光画に対応する蓄積が完了したタイミングと最新の焦点検出情報を得るタイミングとの時間差が閾値以上かどうかを判断し、閾値以上であれば前回測光画を用いたゲインの決定処理を省略する。あるいは、最新のフォーカス情報とその前のフォーカス情報とを比較して、変化量が所定値以上であれば前回測光画を用いたゲインの決定処理を省略する。その他、被写体が移動する可能性が高いスポーツモードでは前回測光画を用いたゲインの決定処理を省略し、被写体が移動する可能性が低い風景モードでは省略しない、というように撮影モードに応じて判断してもよい。撮影モード設定に関しては、カメラマイコン１０１が、測光センサ１０８から取得した画像信号に基づいて自動的に設定しても、ユーザーが不図示の操作部を操作したことに応じて設定してもよい。

以上で、被写体が移動した場合の、顔検出ＡＦモードにおける最終合焦までの各ＣＰＵの処理のタイミングについて説明を終わる。

以上のように、測光センサ１０８の蓄積の中断処理の前に得た画像信号と最新のフォーカス情報とに基づいて、顔検出に用いる画像信号に適用するゲインを決定することで、測光センサ１０８の蓄積の中断処理を行っても精度よく顔検出を行うことができる。

（第３の実施形態）
以下に、本発明の第３の実施形態について説明をする。

第１、第２の実施形態では、ＡＦ枠再選択演算処理において、カメラマイコン１０１はＡＰＵ１１２からの顔検出情報とフォーカス情報からレンズ駆動Ｅｘを行い、顔検出情報に顔がある場合はできるだけ顔付近のＡＦ枠を選択するようにしている。

しかしながら、顔付近のＡＦ枠のフォーカス情報の点数が低い場合、つまり顔以外にピントを合わせようとしている場合、レンズ駆動Ｅｘの時間が長くなったり、ピントが正しく合わない状態で合焦判断をしてしまう可能性がある。

図１６は第３の実施形態におけるＡＦ枠再選択演算のカメラマイコン１０１の処理についてのフローチャートである。

ステップＳ１６０１ではＡＰＵ１１２から受けた顔検出情報から顔情報を解析しステップＳ１６０２に進む。ステップＳ１６０２では、顔が存在するかどうかの判断を行う。

もし、顔が存在しないと判断した場合、ステップＳ１６０３に進む。ステップＳ１６０３ではフォーカス情報の中で最も点数が高いＡＦ枠を選択する処理を行い、ステップＳ１６０４に進む。ステップＳ１６０４では、選択されたＡＦ枠に対して、レンズ駆動Ｅｘを行って終了する。

一方、ステップＳ１６０２で顔が存在すると判断された場合、ステップＳ１６０５に進む。ステップＳ１６０５では顔付近のフォーカス情報の点数を判断する処理を行うステップＳ１６０６に進む。ステップＳ１６０６では、顔付近のフォーカス情報の点数がある任意の閾値より低いと判断すれば、ステップＳ１６０３に進む。ある任意の閾値以上と判断すれば、ステップＳ１６０７に進む。

ステップＳ１６０７では、顔付近にあるＡＦ枠を選択する処理を行いステップＳ１６０４に進み、選択されたＡＦ枠に対して、レンズ駆動Ｅｘを行って終了する。

次に、図１７のタイミングチャートを使って、本発明の第３の実施形態における顔検出ＡＦモードの最終合焦までの各ＣＰＵの処理のタイミングについて説明をする。

カメラマイコン１０１はレンズ駆動ｎにより、見切り合焦測光をＡＰＵ１１２に要求する。この際、Ｆｏｃｕｓ５付近の大きな被写体の点数が８点と最も高く、Ｆｏｃｕｓ３付近の顔は点数が１点と低い。ＡＰＵ１１２は見切り合焦測光により、測光画フォーカス情報ｎの測光画から顔検出演算を行うことで、顔検出情報として顔があったことをカメラマイコン１０１に送信する。

カメラマイコン１０１はＡＦ枠再選択演算を行い、Ｆｏｃｕｓ３付近に顔があるが、その点数が低いため、Ｆｏｃｕｓ５に合焦するようにレンズ駆動Ｅｘを行い終了する。

以上のように、本実施形態では、顔検出の検出結果を用いることで精度よく焦点制御を行うことができない場合には顔検出の検出結果を用いないことで、精度よく焦点制御を行うことができる。

なお、上記の実施形態では、ゲインをＥｆ−Ｅａから決定しているが、Ｅｆ領域の明るさが顔検出可能なレベルとなるゲインであればよいため、少なくともＥｆに基づいて決定すればよい。例えば、Ｅｆと予め設定された所定値とを比較して、Ｅｆが所定値となるようなゲインとすればよい。

また、上記の実施形態で説明した処理は、それぞれの実施形態を組み合わせることも可能である。

また、上記の実施形態では、測光センサ１０８で得た画像信号に基づいて顔検出処理を行う構成を説明したが、撮像素子１０３で得た画像信号に基づいて顔検出処理を行う構成であってもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ カメラ
１０１ カメラマイコン
１０３ 撮像素子
１０７ 表示素子
１０８ 測光センサ
１１０ 焦点検出回路
１１２ ＡＰＵ
２００ レンズユニット
２０１ ＬＰＵ

Claims (9)

1. 撮像手段と、
   前記撮像手段で撮像を行い得られた画像信号に対するゲインを設定する設定手段と、
   前記設定手段により設定されたゲインが適用された画像信号に基づいて被写体の顔検出を行う顔検出手段と、
   焦点検出手段と、を有し、
   前記設定手段は、前記焦点検出手段により得られたフォーカス情報に基づくレンズユニットの第１の駆動の前であって、前記フォーカス情報と当該フォーカス情報を得る前に前記撮像手段で撮像を行い得られた画像信号とに基づいて、前記第１の駆動の後の前記ゲインを設定することを特徴とする撮像装置。
2. 前記撮像手段で撮像を行い得られた画像信号を記憶する記憶手段をさらに有し、
   前記設定手段は、前記レンズユニットの第１の駆動の前に得られたフォーカス情報と当該フォーカス情報を得る前に前記記憶手段に記憶された画像信号とに基づいて、前記第１の駆動の後の前記ゲインを設定することを特徴とする請求項１に記載の撮像装置。
3. 前記レンズユニットの第１の駆動の前に得られた前記フォーカス情報と当該フォーカス情報を得る前に前記撮像手段で撮像を行い得られた画像信号とに基づいて前記第１の駆動の後の前記ゲインを設定するかを判断する判断手段をさらに有することを特徴とする請求項１または２に記載の撮像装置。
4. 前記判断手段は、前記ゲインの設定に用いようとするフォーカス情報を得たタイミングと前記ゲインの設定に用いようとする画像信号を得たタイミングとの時間差が閾値以上の場合、当該フォーカス情報と当該画像信号とに基づいて前記ゲインを設定しないと判断することを特徴とする請求項３に記載の撮像装置。
5. 前記判断手段は、前記ゲインの設定に用いようとする第１のフォーカス情報と前記ゲインの設定に用いようとする画像信号に対応する第２のフォーカス情報との変化量が所定値以上の場合、当該第１のフォーカス情報と当該画像信号とに基づいて前記ゲインを設定しないと判断することを特徴とする請求項３に記載の撮像装置。
6. 撮影モード設定手段をさらに有し、
   前記判断手段は、前記撮影モード設定手段によって設定された撮影モードがスポーツモードの場合、前記焦点検出手段により得られたフォーカス情報と当該フォーカス情報を得る前に前記撮像手段で撮像を行い得られた画像信号とに基づいて前記ゲインを設定しないことを特徴とする請求項３に記載の撮像装置。
7. 前記撮像手段で撮像を行い得られた画像信号に基づいて測光値を演算する演算手段をさらに有し、
   前記設定手段は、前記演算手段により演算された、前記フォーカス情報に基づく合焦度が所定値以上となる領域の代表測光値に基づいて、前記ゲインを設定することを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
8. 前記フォーカス情報は、所定の領域における被写体に対する合焦度を示す情報であることを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
9. 撮像手段で撮像を行い得られた画像信号に対するゲインを設定する設定ステップと、
   前記設定ステップで設定されたゲインが適用された画像信号に基づいて被写体の顔検出を行う顔検出ステップと、を有し、
   前記設定ステップは、焦点検出手段により得られたフォーカス情報に基づくレンズユニットの第１の駆動の前であって、前記フォーカス情報と当該フォーカス情報を得る前に前記撮像手段で撮像を行い得られた画像信号とに基づいて、前記第１の駆動の後の前記ゲインを設定することを特徴とする撮像装置の制御方法。

Images