JP5697650B2 - 撮像装置とその制御方法 - Google Patents

Description

本発明は、蓄積タイミングがずれる撮影を行う撮像素子を用いて得られた画像信号に基づいて焦点調節する場合に、最適なフォーカス位置を得ることができるようにする焦点調整技術に関するものである。

従来より、例えばＣＭＯＳ型撮像素子の撮影制御方式として、いわゆるローリングシャッターと呼ばれる電子シャッター制御方式がある。このローリングシャッターによる撮影動作では、まず、２次元に配列された複数画素を行などの部分単位毎に順次走査して各画素から電荷を読み出して各画素をリセットする。そして、リセット直後から所定時間（電荷蓄積時間または露光時間）経過後に複数画素をリセット時と同様に再度走査して、各画素の電荷を読み出し、読み出した電荷（画像信号）を出力する。動画撮影時には、上記動作を１フレーム周期で行う。

上述のようなローリングシャッターにより撮影を行う場合、先頭の画素行を撮像するタイミングと最後の画素行を撮像するタイミングとでは時間差を有する。このため、１フレーム内の画像でも、その上下で時間差のあるシーンが共存することになる。

一方、オートフォーカスの動作として、フォーカスレンズを複数位置に移動してそれぞれの位置において撮像を行い、撮像した信号から演算により求まる一連のＡＦ評価値に基づいて合焦位置を決定する方法が知られている。この方法では、フォーカスレンズの移動後レンズを停止させてから撮像する方法と、連続的にレンズ移動させながら撮像する方法とがある。前者の方法は、レンズが停止するのを待ってから撮像を行うために時間がかかるという問題があるため、ＡＦの高速化には後者の方法が有利である。

その際、後者の場合は算出されるＡＦ評価値に対応付けるレンズ位置を決定する必要がある。この具体的な方法として、光学系の駆動時間、撮像素子上のＡＦ領域サイズ、露光時間を元に補正計算を行いＡＦ領域の中央ラインの重心位置を求める方法が知られている。（例えば、特許文献１）

特開２００７−２６７２７８号公報

しかしながら、ＡＦ領域で蓄積タイミングがずれる撮像素子を駆動している場合に後者の方法を採用すると次のような弊害がある。

ＡＦ領域内の画像の上下でコントラスト差が大きい場合に下記のような問題が発生する。図１２（ａ）は、単一のＡＦ領域でＡＦ評価値とＡＦ領域の重心位置を算出する場合である。また、図１２（ｂ）は、本来コントラストがある領域近傍でのＡＦ評価値と重心位置を算出すべく、ＡＦ領域内部を細分化し、細分化した領域ごとにＡＦ評価値と重心位置を算出した場合である。連続的にレンズ移動させながらＡＦ評価値を算出した場合、単一のＡＦ領域から得られたＡＦ評価値と重心位置および、コントラストがある領域近より算出したＡＦ評価値と重心位置の対応関係は図１２（ｃ）のように差が生じる。これは、重心位置の算出に用いるラインの位置の相違とローリングシャッタの影響によって生じるものであり、原理的に避けることが困難である。

つまり、ＡＦ領域のサイズとＡＦ領域内部の画像のコントラスト、ローリングシャッタによる蓄積時間のずれ方、連続的にレンズを移動させる際のレンズの移動速度によっては、本来のピント位置と実際のＡＦ評価値が示すピント位置との間にズレが大きくなる。これにより、オートフォーカスにおける合焦精度が低下するという問題があった。

（発明の目的）
本発明はこのような事情に鑑みてなされたもので、ＡＦ領域内で蓄積タイミングがずれる撮像素子を用いて、フォーカスレンズを連続的に移動させながらオートフォーカス制御を行う場合に、合焦精度を高めることを目的とする。

上記目的を達成するために、本発明の技術的特徴としては、２次元状に配列された複数の画素において、フォーカスレンズの位置が移動している間に、ラインごとに被写体光を受光して光電変換し所定の露光時間経過後に電荷を読み出すことにより被写体の画像を取得する撮像手段を備え、被写体の画像を複数、撮像して当該複数の画像において設定されたＡＦ領域における合焦状態を求めてフォーカスレンズを合焦制御する撮像装置の制御方法であって、前記画像における被写体の領域を検出する検出ステップと、前記被写体の領域に対応させてＡＦ領域を設定する設定ステップとを有し、前記設定ステップにより設定されるＡＦ領域のライン数は、前記ラインごとの光電変換のタイミングのずれに伴う前記フォーカスレンズ位置の許容ずれ量に基づいて制限されることを特徴とする。
また、他の本発明の技術的特徴としては、２次元状に配列された複数の画素において、フォーカスレンズの位置が移動している間に、ラインごとに被写体光を受光して光電変換し所定の露光時間経過後に電荷を読み出すことにより被写体の画像を取得する撮像手段を備え、被写体の画像を複数、撮像して当該複数の画像において設定されたＡＦ領域における合焦状態を求めてフォーカスレンズを合焦制御する撮像装置の制御方法であって、前記画像における被写体の領域を検出する検出ステップと、前記検出ステップにより検出された被写体の領域に対して第１の割合の大きさのＡＦ領域、または、前記第１の割合よりも小さい第２の割合の大きさのＡＦ領域を設定する設定ステップとを有し、前記設定ステップでは、前記ラインごとの光電変換のタイミングのずれに伴う前記フォーカスレンズ位置の許容ずれ量に基づいて算出されたライン数閾値に応じて、撮像画面に対して前記被写体の領域が予め決められた大きさよりも大きいと判断された場合には、前記第２の割合の大きさのＡＦ領域を設定することを特徴とする。

本発明によれば、蓄積タイミングのズレの影響を抑え、合焦精度を高めることが可能となる。

実施の形態に係るデジタルカメラの概略機能構成を示すブロック図である。 連続的にフォーカスレンズを移動させる場合のローリングシャッタの影響によるＡＦ領域内での重心位置のズレを示す図である。 実施の形態にかかるデジタルカメラの基本動作フローを示すフローチャートである。 実施の形態にかかるデジタルカメラのＳＷ１前のＡＦ動作を説明するフローチャートである。 実施の形態にかかるデジタルカメラのＳＷ１後のＡＦ動作を説明するフローチャートである。 実施の形態にかかるデジタルカメラのスキャン動作を説明するフローチャートである。 実施の形態にかかるデジタルカメラのＡＦ領域制御処理を説明するためのフローチャートである。 実施の形態に係る撮影姿勢と大きな顔の検出結果およびＡＦ領域設定の関係を示した図である。 実施の形態にかかるデジタルカメラのＡＦ領域制限処理を説明するためのフローチャートである。 実施の形態に係る撮影姿勢と大きな顔の検出結果およびＡＦ領域設定の関係を示した図である。 実施の形態にかかるＡＦ領域制限時の許容量算出方法を説明するための図である。 ＡＦ領域内部のコントラスト状態と重心位置の関係に基づいた、見かけ上のピント位置と本来のピント位置との関係を示した図である。

以下、本発明の実施の形態について図面を用いて説明する。

（実施の形態１）
＜デジタルカメラの構成＞
図１は、オートフォーカス（ＡＦ）機能を有する撮像装置の一例であるデジタルカメラのブロック図である。

本実施の形態におけるデジタルカメラは、フォーカスレンズ２を含む光学系１を有し、光学系１を介して結像した光を撮像素子３により光電変換して画像信号（画素信号）を出力する。ここで用いる撮像素子３はＣＭＯＳセンサなどであって、複数の光電変換素子を含む画素がマトリックス状（ここでは、行方向と列方向の２次元状）に配列されて、ローリングシャッターにより駆動される。

ローリングシャッターによる撮像動作では、まず、２次元に配列された複数画素を行などの部分単位毎に順次、走査して各画素から電荷を読み出して各画素をリセットする。そして、リセット直後から、被写体光を受光して光電変換をし、所定時間（電荷蓄積時間または露光時間）経過後に複数画素をリセット時と同様に再度、行単位で走査して、各画素の電荷を読み出し、読み出した電荷（画像信号）を出力する。動画撮像時には、上記動作を１フレーム周期で行う。図２に示すように、連続的にレンズ移動させながら撮像する方法で、ＡＦ領域の中央ラインで重心位置を求める場合、ローリングシャッタの影響により撮像画面内における領域の位置に応じてズレが生じる。これは、ＡＦ領域の中央ライン、上部ライン、下部ラインでのそれぞれの重心位置はＰｏｓＣ、ＰｏｓＡ、ＰｏｓＢとなるためである。

本実施においてはデジタルカメラの正位置を基準に縦方向にローリングシャッタ機能の影響を受けるものとする。出力された画像信号は、出力ノイズを除去する相関二重サンプリング（ＣＤＳ）回路やＡ／Ｄ変換前の画像信号に対して処理を行う非線形増幅回路を備えた前置処理回路４とで処理される。そして、Ａ／Ｄ変換器５を通してデジタル化され、メモリコントローラ６を介してメモリ７に格納され、不図示の信号処理回路によって任意のフォーマットの画像データに変換されて、記憶媒体８に記録される。

フォーカス動作は制御部１１により制御される。制御部１１は、フォーカスレンズ駆動回路１２を介してフォーカスレンズ２を駆動し、フォーカスレンズ２を移動しながら複数箇所のフォーカスレンズ位置において撮像を行う。そして、撮像素子３により撮像して取得したＡＦ領域における画像信号を用いて、画像のコントラストからの合焦状態を示す信号（ＡＦ評価値）をＡＦ評価値演算回路１３において演算する。次に、合焦位置決定部１４において、演算したＡＦ評価値に基づいて、ＡＦ評価値が極大値を示すフォーカスレンズ位置である合焦位置を決定した後、その位置にフォーカスレンズ２を駆動するよう制御する。これにより合焦制御が行われる。なお、操作部材により構成されるＳＷ１（９）が操作された場合に上述したフォーカス動作が行われ、操作部材により構成されるＳＷ２（１０）が操作された場合に本撮影が行われる。

顔検出部１５は撮像素子３により撮像した画像信号を用いて、人間の顔の特徴点（眼など）の抽出や画面に対する顔の方向を特定し、それらを元に人間の顔を検出する。検出された顔の情報はＡＦ動作の際、ＡＦ領域の決定に用いられる。

＜ＡＦ評価値の算出方法＞
ＡＦ評価値の演算は、本実施の形態においては次のように行う。

まず、撮像素子３から得られる画像信号のうち、予め設定されたＡＦ領域内の画像信号の輝度信号に対して、水平ライン毎に水平方向のバンドパスフィルタを適用し、所定の周波数成分の輝度信号を抽出する。次に、水平ライン毎に抽出された輝度信号中から絶対値の最も大きいものを選択し、選択した輝度信号を垂直方向に積分する。この輝度信号を積分した値をＡＦ評価値とする。なお、このように水平方向のコントラストが大きい輝度信号を検出し、垂直方向に積分することで、信号のＳ／Ｎ比の向上につながる。

このようにして得たＡＦ評価値は、合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなる。したがって、ＡＦ評価値が極大になる位置にフォーカスレンズ２を駆動して撮像を行うことで、合焦した画像を得ることができる。

＜基本動作フロー＞
図３は本発明の実施の形態１に係わるデジタルカメラの撮影準備動作及び撮影動作を示したフローチャートである。

まずステップＳ１００では、ＳＷ１前ＡＦ処理を実施する。本実施の形態のデジタルカメラではＳＷ１を押す前の状態であってもピント状態に応じてＡＦ動作が実施されるものとする。このステップＳ１００のＳＷ１前ＡＦ処理の詳細については後述する。

次にステップＳ１０１において、ＳＷ１（９）の状態を調べ、ＯＮであればステップＳ１０２へ進み、そうでなければステップＳ１００に戻る。ステップＳ１０２では、制御部１１で撮像素子３により撮像した画像信号を用いてＡＦ用のＡＥ処理を行う。この処理により絞りや電子シャッタなどの露出条件をＡＦ動作に適した状態に設定する。そして、ステップＳ１０３にてＳＷ１後のＡＦ動作を実施する。

ステップＳ１０３にてフォーカスレンズの撮影位置が確定した後、ステップＳ１０４にて本撮影用のＡＥ処理が実施される。ステップＳ１０２ではステップＳ１０３のＡＦ動作に適した露出条件を実現するように設定されたが、ここでは実際の撮影に適した露出条件に絞りやシャッタ速度が設定される。

次にステップＳ１０５では再びＳＷ１（９）の状態を調べ、ＯＮであればステップＳ１０６へ進み、そうでなければステップＳ１００に戻る。つまり、ここまでの処理でＳＷ１が離された場合には撮影準備動作がキャンセルされることになる。

ＳＷ１がＯＮである場合には次のステップＳ１０６にてＳＷ２（１０）の状態を調べる。ここで状態がＯＮであれば次のステップＳ１０７に進み、ＯＦＦであればステップＳ１０５に戻る。つまり、ＳＷ２を押す前にＳＷ１が離された場合にもこれまでの撮影準備動作がキャンセルされることになる。ステップＳ１０７では実際に確定したフォーカスレンズの位置にて撮影処理が実施される。そして、撮影処理が一通り完了した場合には再度ステップＳ１００に戻る。

以上が、本実施の形態におけるデジタルカメラの基本動作となる。

＜Ｓｗ１前ＡＦ処理＞
次に図３のステップＳ１００のＳＷ１前ＡＦ処理について図４のフローチャートを用いながら説明する。

まず、ステップＳ２００では監視動作を実施する。ステップＳ２００において、下記のいずれかの条件が成立する場合に次のステップＳ２０１にてシーンの変化があったものとしてステップＳ２０２以降のオートフォーカス処理（ＡＦ動作）に入る。
（１）デジタルカメラが起動直後である場合。
（２）直前のＡＦ動作におけるＡＦ領域を引き継いで得られたＡＦ評価値を記憶。直前のＡＦ評価値と比較して現在のＡＦ評価値が所定以上の変化を示した場合
（直前のＡＦ領域とはＳＷ１後ＡＦ処理もしくはＳＷ１前ＡＦ処理）
つまり、起動直後は必ず１度ピントあわせを実施し、それ以外は一つ前の周期のＡＦ評価値と現在の評価値を比較しながらＡＦ領域内の被写体の変化を監視することになる。

ステップＳ２０１にて、変化がないと判断される場合には、処理を終了する。一方で、変化があると判断した場合には、次のステップＳ２０２にて、ピント合わせのための駆動条件の決定を行う。ここではスキャン動作によりＡＦ評価値とフォーカスレンズ位置を対応付けならがサンプリングする際のサーチ範囲及びフォーカスレンズの駆動速度等を決定する。

次に、ステップＳ２０３ではＡＦ評価値を算出するためのＡＦ領域の設定処理（ＡＦ領域制御処理）を行う。詳細については後述する。

次に、ステップＳ２０４ではステップＳ２０２で決定した範囲に従い、その開始位置ににフォーカスレンズを移動する。本実施の形態では開始位置は無限遠に相当するレンズ位置とする。

次に、ステップＳ２０５にてステップＳ２０２で決定した範囲及び駆動条件に従いスキャン終了位置に向かってスキャン動作を実施する。

ステップＳ２０５にて所定範囲でスキャン動作が完了し複数個のＡＦ評価値及びそれに対応するフォーカスレンズ位置が取得できると、次のステップＳ２０６にて得られたＡＦ評価値及びフォーカスレンズ位置より合焦位置を算出する。

先に述べたとおり、ＡＦ評価値は合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなる傾向があるため、得られたＡＦ評価値の極大値付近のデータを用いて合焦位置を演算し、その合焦位置を撮影位置とする。

一方、ＡＦ領域の画像のコントラストが低い場合や低照度な状況により適切に極大値が検出できない場合も存在する。そのような場合にはあらかじめ決められた被写体距離を撮影位置とする。

このようにステップＳ２０６にて撮影位置が確定した後、ステップＳ２０７にてフォーカスレンズをステップＳ２０６で確定した撮影位置に移動させる。

以上が、ＳＷ１前のＡＦ処理である。

＜ＳＷ１後ＡＦ処理＞
次に、図３のステップＳ１０３のＳＷ１後ＡＦ処理について図５のフローチャートを用いながら説明する。

まず、ステップＳ３００では、後述するスキャン動作によりＡＦ評価値とフォーカスレンズ位置を対応付けならがサンプリングする（これをスキャン動作と呼ぶ。）際のサーチ範囲及びフォーカスレンズの駆動速度等を決定する。次にステップＳ３０１ではＡＦ評価値を算出するためのＡＦ領域の設定処理（ＡＦ領域制御処理）をおこなう。詳細については後述する。

次に、ステップＳ３０２ではステップＳ３００で決定した範囲に従い、その開始位置ににフォーカスレンズを移動する。本実施の形態では開始位置は無限遠に相当するレンズ位置とする。

次に、ステップＳ３０３にてステップＳ２００で決定した範囲及び駆動条件に従いスキャン終了位置に向かってスキャン動作を実施する。

ステップＳ３０３にて所定範囲でスキャン動作が完了し複数個のＡＦ評価値及びそれに対応するフォーカスレンズ位置が取得できると、次のステップＳ３０４にて得られたＡＦ評価値及びフォーカスレンズ位置より合焦位置を算出する。

先に述べたとおり、ＡＦ評価値は合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなる傾向があるため、得られたＡＦ評価値の極大値付近のデータを用いて合焦位置を演算し、その合焦位置を撮影位置とする。

一方、ＡＦ領域の画像のコントラストが低い場合や低照度なシーンでは適切に極大値が検出できない場合も存在する。そのような場合にはあらかじめ決められた被写体距離を撮影位置とする。

このようにステップＳ３０４にて撮影位置が確定した後、ステップＳ３０５にてフォーカスレンズをステップＳ３０４で確定した撮影位置に移動させる。以上、ＳＷ１後のＡＦ処理である。

＜スキャン動作＞
スキャン動作に関して、図６のフローチャートを元に説明する。

まずステップＳ４００にてフォーカスレンズの駆動タイミングであるか否かを判断する。

ＡＦ評価値は所定周期でＡＦ評価値演算回路１３より算出されるため、そのタイミングに同期させる。次にフォーカスレンズの移動タイミングが来た場合にはステップＳ４０１にてフォーカスレンズの移動を開始する。その際、必要とされる精度が維持できるようにあらかじめ決定されたフォーカスレンズの速度にてフォーカスレンズを移動しながら周期的に算出されるＡＦ評価値をサンプリングすることになる。このフォーカスレンズの速度や目標位置は図４のＳ２０２、図５のＳ３００で決定されたものであり、この処理で動作を開始するフォーカスレンズはスキャン終了位置に向かって移動することになる。

次に、ステップＳ４０２ではフォーカスレンズ位置の取得タイミングであるか否かを判断する。取得タイミングでないならば次の取得タイミングを待ち、取得タイミングであるならば次のステップＳ４０３にてその時点でのフォーカスレンズ位置を取得し、メモリ７に記憶していく。

このフォーカスレンズの取得タイミングに関して、本実施の形態中ではＡＦ評価値が算出されるＡＦ領域の垂直方向の中央ラインにおける露光期間の中央のタイミングとする。しかしながら、必ずしもそのタイミングでレンズ位置を取得する必要はない。例えば、周期的な露光期間とレンズ位置の取得タイミングの時間的な関係、ＡＦ領域のサイズおよびフォーカスレンズの制御速度がであらかじめ把握できているのであれば、その関係から露光期間の中央の位置を逆算することも可能である。

次に、ステップＳ４０４にてＡＦ評価値の取得タイミングであるかを判断し、取得タイミングであれば次のステップＳ４０５に進む。

ステップＳ４０５では先ほど取得したフォーカスレンズ位置と今回取得したＡＦ評価値を対応付けてメモリ７に記憶する。

次にステップＳ４０６にてフォーカスレンズがスキャン終了位置に到達したか否かを判断する。到達していないのであればステップＳ４０２に戻りＡＦ評価値とフォーカスレンズ位置の取得と対応付けを継続する。一方で終了位置に到達しているのであればスキャン動作を終了する。

このスキャン動作により図４のＳ２０２、図５のＳ３００で決定した範囲内におけるＡＦ評価値と対応するレンズ位置が所定間隔で複数個取得できる。

＜ＡＦ領域制御処理＞
次に、図７を元に図４のステップＳ２０３及び図５のステップ３０１で述べたＡＦ領域制御処理について説明する。この処理ではＡＦ領域の設定をデジタルカメラのモードや状態に応じて適切に制御する。

まず、ステップＳ５００では現在、多枠ＡＦモードであるか否かを判断する。

多枠ＡＦモードの場合は画面内のあらかじめ決められた位置に決められた数のＡＦ領域を設定してオートフォーカス処理を実施する。そのため、ステップＳ５００にて多枠ＡＦモードの場合にはステップＳ５１７にて規定位置に規定サイズのＡＦ領域を選択し、ステップＳ５１６にて選択されたＡＦ領域の設定をＡＦ評価値演算回路１３に設定する。

一方で、ステップＳ５００にて多枠ＡＦモードでない場合には次のステップＳ５０１にて顔ＡＦモードであるか否かを判断する。

ここで、顔ＡＦモードでない場合は画面中央に１つだけＡＦ領域を設定するモードとなり、その場合はステップＳ５１７にて固定的に決定されるＡＦ領域サイズと位置の情報が選択され、ステップＳ５１６にてＡＦ評価値演算回路１３にそれらの設定がなされる。

一方で、ステップＳ５０１にて顔ＡＦモードである場合には次のステップＳ５０２にて顔が検出されているか否かを判断する。

ここで顔ＡＦモードが選択されている場合には図１に示した顔検出部１５にて撮像素子３より得られた画像信号を元に顔検出処理を行う。ステップＳ５０２にて顔が検出されていない場合に先に述べた画面中央に１つだけＡＦ領域を設定するモードとなる。

一方、顔が検出されている場合にはステップＳ５０３にてＡＦ領域垂直ライン数閾値の算出を行う。この処理はローリングシャッタ機能の影響を抑えるべく、最適なＡＦ領域の垂直ライン数を求める処理となる。この処理の詳細については後述する。

次に、ステップＳ５０４にて顔検出部１５より検出された顔の情報を取得する。得られる情報は、顔のサイズ、顔の位置、眼の位置、画面に対する顔の方向（画面に対して顔が縦であるか横であるか）である。

次に、ステップＳ５０５にて検出された顔の位置が画面正位置に対して横であるか否かを判断する。ここで、本実施の形態では画面正位置に対して垂直方向にローリングシャッタの影響を受けるものとする。この判断は、そのローリングシャッタの影響を受ける方向と顔の方向にあわせて、検出された顔の縦方向もしくは横方向のいずれを制限するかを切り替えるために実施している。

この処理において検出された顔が画面正位置に対して縦の場合（図８（ａ）および（ｄ））、ステップＳ５０６にてＡＦ領域の水平ライン数及び垂直ライン数を設定する。この場合は水平ライン数は検出された顔の横幅、垂直ライン数は検出された顔の縦幅となる。

次に、ステップＳ５０７にてＡＦ領域制限処理を実施する。この処理は図９に示すとおり、ステップＳ６００にて設定したＡＦ領域の垂直ライン数が閾値Ｖｌｉｍｉｔよりも大きいか否かを判断する。この閾値Ｖｌｉｍｉｔは図７のステップＳ５０３のＡＦ領域垂直ライン数閾値算出により求められるものであり詳細は後述する。

この閾値よりも小さい場合は直前の設定がそのまま使用される。

一方で、設定されたＡＦ領域の垂直ライン数が閾値を越える場合にはステップＳ６０１にてＡＦ領域の垂直ライン数が閾値にクリップされる。

このようにして、図９に示すＡＦ領域制限処理ではローリングシャッタ機能の影響を受ける垂直方向のＡＦ領域が規定サイズ以上にならないように制限される。

図７に戻り、ステップＳ５０８にて直前のステップＳ５０７にてＡＦ領域の制限を受けたか否かを判断する。ステップＳ５０８にて制限を受けた場合にはステップＳ５１０にてＡＦ領域の垂直方向の基準位置を検出された顔の左右の眼の中間位置（垂直方向）とする（図８（ａ）および（ｄ））。

一方で、ステップＳ５０８にて制限を受けていない場合にはステップＳ５０９にてＡＦ領域の垂直方向の基準位置を検出された顔の位置そのままとする（図１０）。

次に、ステップＳ５１５にてＡＦ領域の画面内における位置をＡＦ領域の垂直方向の基準位置に従って調整し、ステップＳ５１６にてＡＦ評価値演算回路１３にＡＦ領域の設定を行う。ここでは、図８（ａ）（ｄ）に示すように、顔の撮像素子上の方向と、読み出しのタイミングに差が生じる撮像素子上の方向とが同じである場合には、人物の眼のうち、両方の眼を含むように制限されたＡＦ領域を設定する。また、図８（ｂ）（ｃ）に示すように、顔の撮像素子上の方向と、読み出しのタイミングに差が生じる撮像素子上の方向とが異なる場合には、人物の眼のうち、少なくとも左右いずれかの眼を含むように制限したＡＦ領域を設定する（図８（ｂ）（ｃ）では、右の眼）。

また、ステップＳ５０５にて検出された顔の位置が画面正位置に対して横である場合にはステップＳ５１１に進む。

ステップＳ５１１ではＡＦ領域の水平ライン数及び垂直ライン数を設定する。この場合は水平ライン数は検出された顔の縦幅、垂直ライン数は検出された顔の横幅となる。

次に、ステップＳ５１２にてＡＦ領域制限処理を実施する。この処理は図９に示すとおりであるため割愛する。

次に、ステップＳ５１３にて制限を受けた場合にはステップＳ５１４にてＡＦ領域の垂直方向の基準位置を検出された右の眼の位置（垂直方向）とする（図８（ｂ）および（ｃ））。

一方で、ステップＳ５１３にて制限を受けていない場合にはステップＳ５０９にてＡＦ領域の垂直方向の基準位置を検出された顔の位置そのままとする（図１０）。以降の処理は先に述べた場合と同様である。

このように、多枠ＡＦモード及び中央１点のＡＦモードでは、ローリングシャッタ機能の影響をあらかじめ考慮したＡＦ領域サイズを決定しておく。また、顔ＡＦモードでは検出された顔のサイズと方向に応じて適切にＡＦ領域のサイズを制御する。

＜ＡＦ領域垂直ライン数閾値の算出＞
次に図７のステップＳ５０３で述べたＡＦ領域制御処理について図１１を用いて説明する。

まず、ローリングシャッタ機能に伴うＡＦ領域上部ラインと下部ラインの差に伴うレンズ位置のズレ量をαｐｌｓとする。本実施の形態中では片側深度相当パルスとして設定する。このズレ量αが確定することによってローリングシャッタ機能の影響を受ける垂直方向のＡＦ領域サイズが下記のように決まる。
フォーカスレンズ駆動速度：Ｓｐｅｅｄ ｐｐｓ
許容ズレ量α ｐｌｓ
ＡＦ領域垂直ライン読出しのズレ：Ｔ１ Ｓｅｃ
垂直総ライン数の読出しにかかる時間：Ｔ０ Ｓｅｃ
ＡＦ領域垂直ライン数：Ｖａｆ
読出し総ライン数：Ｖａｌｌ
Ｔ１ ＝ ２ × α ／ Ｓｐｅｅｄ
Ｔ０ ： Ｖａｌｌ ＝ Ｔ１ ： Ｖａｆ
ＡＦ領域垂直ライン数閾値 Ｖｌｉｍｉｔ ＝Ｖａｆ

上記フォーカスレンズの駆動速度は図４のステップ２０２、図５のステップＳ３００により決定される。また、垂直総ライン数の読出しにかかる時間Ｔ０や読出し総ライン数Ｖａｌｌは使用する撮像素子の駆動方法により決定される。上記の式よりＶａｆを算出し、ＡＦ領域垂直ライン数閾値 Ｖｌｉｍｉｔを算出する。このＡＦ領域垂直ライン数閾値 Ｖｌｉｍｉｔを元に図９で示したＡＦ領域制限処理にて大きすぎるＡＦ領域のサイズがＶｌｉｍｉｔまで制限ざれ、所定の精度が維持されるようにＡＦ領域が制御される。

以上述べてきたとおり、顔検出結果を用いたＡＦ動作などのように、本来設定すべきＡＦ領域が大きくなる場合においても蓄積タイミングのズレの影響を抑え合焦精度を高めることが可能となる。

（実施の形態２）
実施の形態１では基本動作（静止画の撮影）の例を示したが、デジタルカメラのモードやＡＦ動作の状態に応じてＡＦ領域制限の有効／無効を切り替えることが望ましい場合もありえる。

例えば、ＳＷ１前のＡＦ処理において動く被写体に対して追従し続ける場合を考えた場合、ＡＦ領域を制限して合焦精度を維持するよりは、ＡＦ領域を制限せずに被写体に追従し続けるほうが良い場合がある。この場合の実現方法を実施の形態１で用いたフローチャートを元に説明する。

具体的には、図７のステップＳ５１７において、ＳＷ１前のＡＦ処理において図９のＡＦ領域制御処理が実行されている場合にはローリングシャッタ機能の影響を加味しないＡＦ領域を設定する。同様にステップＳ５１２、Ｓ５０７にてＳＷ１前のＡＦ処理の場合には制限を設けないようにすることで実現可能である。

上記のようにＡＦ領域制限を制御することにより、例えばＳＷ１前のＡＦ処理では被写体への追従性を優先する制御を実現する。また、一方で、ＳＷ１後のＡＦ処理では、ＡＦ領域の制限を設けて合焦精度を高めることが可能となる。

これにより、ＡＦ領域内で蓄積タイミングがずれる撮像素子を用いる場合であっても撮影者の利便性を向上させることが可能となる。

なお、上述した実施形態では、被写体の特徴部位を検出する手段の一例として、顔検出部１５を用い、検出の対象物を人の顔としているが、例えば、動物、車など、人の顔以外の特定の対象物を検出するようにしても構わない。更に、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定して、対象物を検出するようにしてもよい。

１ 光学系
２ フォーカスレンズ
３ 撮像素子
４ 前置処理回路
５ Ａ／Ｄ変換器
６ メモリコントローラ
７ メモリ
８ 記録媒体
９ ＳＷ１
１０ ＳＷ２
１１ 制御部
１２ フォーカスレンズ駆動回路
１３ ＡＦ評価値演算回路
１４ 合焦位置決定部
１５ 顔検出部

Claims (13)

1. ２次元状に配列された複数の画素において、フォーカスレンズの位置が移動している間に、ラインごとに被写体光を受光して光電変換し所定の露光時間経過後に電荷を読み出すことにより被写体の画像を取得する撮像手段と、
   前記撮像手段により取得された画像における被写体の領域を検出する検出手段と、
   前記検出手段により検出された被写体の領域に対応させてＡＦ領域を設定する設定手段と、
   前記撮像手段により取得された複数の画像について前記設定手段により設定されたＡＦ領域における合焦状態をそれぞれ求め、当該合焦状態の情報に基づいて前記フォーカスレンズを合焦制御する合焦制御手段とを有し、
   前記設定手段により設定されるＡＦ領域のライン数は、前記ラインごとの光電変換のタイミングのずれに伴う前記フォーカスレンズ位置の許容ずれ量に基づいて制限されることを特徴とする撮像装置。
2. 前記撮像手段は、ローリングシャッターによる撮像動作を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段は、ＣＭＯＳセンサであることを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記設定手段は、前記被写体の領域における前記電荷を画素から読み出すタイミングに差が生じる方向の大きさが予め決められた大きさよりも大きい場合に、当該方向の前記ライン数が小さくなるようにＡＦ領域を設定することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記検出手段は、前記画像から顔の情報を抽出することにより被写体の領域を検出し、
   前記設定手段は、当該被写体の領域に対応させて前記ＡＦ領域を設定することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 前記被写体の領域が予め決められた大きさよりも大きい場合において、
   前記設定手段は、前記検出手段によって検出された顔の方向と、前記電荷を画素から読み出すタイミングに差が生じる方向とが同じである場合には、前記検出手段より得られた眼のうち両方の眼を含むようにＡＦ領域の前記ライン数の制限をすることを特徴とする請求項５に記載の撮像装置。
7. 前記設定手段は、ＡＦ動作の状態、及びモードの少なくともいずれかに応じて、前記ＡＦ領域の前記ライン数の制限をするか否かを切り替えることを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
8. 前記設定手段は、静止画の撮影の際のＡＦ動作の場合に、前記被写体の領域に対応するＡＦ領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合には、前記電荷を画素から読み出すタイミングに差が生じる方向の前記ＡＦ領域の前記ライン数が小さくなるようにＡＦ領域を設定することを特徴とする請求項７に記載の撮像装置。
9. 前記設定手段は、静止画を撮影の際よりも被写体への追従を優先するモードの場合には、前記被写体の領域に対応するＡＦ領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合でも、前記ＡＦ領域の前記ライン数の制限をしないことを特徴とする請求項５に記載の撮像装置。
10. 前記ＡＦ領域に対応付ける前記フォーカスレンズの重心位置を算出する算出手段を有し、
    前記合焦制御手段は、ＡＦ領域における合焦状態が極大となる重心位置にフォーカスレンズを移動させることにより合焦制御を行うことを特徴とする請求項１乃至請求項９のいずれか１項に記載の撮像装置。
11. ２次元状に配列された複数の画素において、フォーカスレンズの位置が移動している間に、ラインごとに被写体光を受光して光電変換し所定の露光時間経過後に電荷を読み出すことにより被写体の画像を取得する撮像手段と、
    前記撮像手段により取得された画像における被写体の領域を検出する検出手段と、前記検出手段により検出された被写体の領域に対して第１の割合の大きさのＡＦ領域、または、前記第１の割合よりも小さい第２の割合の大きさのＡＦ領域を設定する設定手段と、
    前記撮像手段により取得された複数の画像について前記設定手段により設定されたＡＦ領域における合焦状態をそれぞれ求め、当該合焦状態の情報に基づいて前記フォーカスレンズを合焦制御する合焦制御手段とを有し、
    前記設定手段は、前記ラインごとの光電変換のタイミングのずれに伴う前記フォーカスレンズ位置の許容ずれ量に基づいて算出されたライン数閾値に応じて、撮像画面に対して前記被写体の領域が予め決められた大きさよりも大きいと判断された場合には、前記第２の割合の大きさのＡＦ領域を設定することを特徴とする撮像装置。
12. ２次元状に配列された複数の画素において、フォーカスレンズの位置が移動している間に、ラインごとに被写体光を受光して光電変換し所定の露光時間経過後に電荷を読み出すことにより被写体の画像を取得する撮像手段を備え、被写体の画像を複数、撮像して当該複数の画像において設定されたＡＦ領域における合焦状態を求めてフォーカスレンズを合焦制御する撮像装置の制御方法であって、
    前記画像における被写体の領域を検出する検出ステップと、
    前記被写体の領域に対応させてＡＦ領域を設定する設定ステップとを有し、
    前記設定ステップにより設定されるＡＦ領域のライン数は、前記ラインごとの光電変換のタイミングのずれに伴う前記フォーカスレンズ位置の許容ずれ量に基づいて制限されることを特徴とする制御方法。
13. ２次元状に配列された複数の画素において、フォーカスレンズの位置が移動している間に、ラインごとに被写体光を受光して光電変換し所定の露光時間経過後に電荷を読み出すことにより被写体の画像を取得する撮像手段を備え、被写体の画像を複数、撮像して当該複数の画像において設定されたＡＦ領域における合焦状態を求めてフォーカスレンズを合焦制御する撮像装置の制御方法であって、
    前記画像における被写体の領域を検出する検出ステップと、
    前記検出ステップにより検出された被写体の領域に対して第１の割合の大きさのＡＦ領域、または、前記第１の割合よりも小さい第２の割合の大きさのＡＦ領域を設定する設定ステップとを有し、
    前記設定ステップでは、前記ラインごとの光電変換のタイミングのずれに伴う前記フォーカスレンズ位置の許容ずれ量に基づいて算出されたライン数閾値に応じて、撮像画面に対して前記被写体の領域が予め決められた大きさよりも大きいと判断された場合には、前記第２の割合の大きさのＡＦ領域を設定することを特徴とする制御方法。

Images