JP5698499B2 - フォーカス調整装置及び撮像装置 - Google Patents

Description

本発明は、画像から算出されたフォーカス制御用の評価値に基づいてフォーカスレンズの調整を行うフォーカス調整装置及び撮像装置に関する。

デジタルカメラでは、自動でピントの状態を調節するオートフォーカス機能が広く普及している。このオートフォーカスの方式の一つとして、コントラスト方式がある。コントラスト方式は、フォーカスレンズを２方向に往復移動させて、撮像素子表面のピント状態を変化させながら、撮像素子から出力された画像データから評価値を算出し、評価値がピークの値を示す位置にフォーカスレンズを移動させる方式である。なお、評価値には、一般的にコントラストが用いられている。

上記のようにコントラスト方式では、フォーカスレンズを動かしながら評価値を算出するため、調整方向すなわちフォーカスレンズの移動方向を判別するためには、少なくとも１度はフォーカスレンズの往復移動が必要となる。これにより、フォーカス調整の開始時に不要なボケが画像に生じたり、振動や音を発生したりするなど問題が多い。

このような問題を解決するために特許文献１では、撮像素子を光軸方向にウォブリング動作させる機構を有し、撮像光学系の絞り値が所定の値より小さい場合は、フォーカスレンズを移動させずに撮像素子をウォブリング動作させ、このウォブリング動作に伴うコントラスト情報の変化に基づいて合焦方向を判定し、撮像光学系の絞り値が所定の値より大きい場合は、フォーカスレンズを移動させ、このフォーカスレンズの移動に伴うコントラスト情報の変化に基づいて合焦方向を判定することが開示されている。特許文献１では、このような方法によって、フォーカスレンズの往復移動による影響を抑えていた。

特開２０１０−１４５４５０号公報

しかしながら、特許文献１に開示された方法では、合焦方向を判定するためのウォブリング動作がなくなるわけではないので、ウォブリングによる数々の問題が解決されたわけではない。例えば、被写体がゆっくりと撮像素子の光軸方向に移動している場合、この被写体にピントを合わせようとすると、ウォブリング動作が頻発し、ファインダーに表示される映像が見辛くなってしまう。また、動画撮影時にも同様に映像の品質が低下してしまう。

本発明は、上述した課題に鑑みてなされたものであって、フォーカスレンズが一旦合焦位置に移動した後はフォーカスレンズの移動を行うことなくフォーカスレンズの移動方向を検出することができるフォーカス調整装置及び撮像装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、フォーカスレンズが移動している間、撮影画角内にあって複数の小領域を有する任意のフォーカスエリアの画像に基づいて、前記フォーカスレンズの位置が合焦範囲から外れたことを検出する検出部と、前記フォーカスレンズの位置が合焦範囲から外れたことを検出した場合、前記フォーカスレンズが前記合焦位置よりも至近側にあるときの画像と、前記合焦位置よりも無限遠側にあるときの画像とに基づいて前記合焦位置を特定する特定部と、前記検出部による検出中、前記フォーカスレンズの駆動制御を行い、前記特定部によって前記合焦位置が特定された場合、前記合焦位置に前記フォーカスレンズを移動する駆動制御部と、前記フォーカスエリアの画像からフォーカス制御用の評価値を算出する評価値算出部と、前記フォーカスレンズが前記合焦位置にあるときの画像から算出された前記複数の小領域それぞれの前記評価値からなる合焦位置評価値群と、前記フォーカスレンズが前記合焦位置よりも至近側にあるときの画像から算出された前記複数の小領域それぞれの前記評価値からなる至近側評価値群と、前記フォーカスレンズが前記合焦位置よりも無限遠側にあるときの画像から算出された前記複数の小領域それぞれの前記評価値からなる無限遠側評価値群と、前記フォーカスレンズが前記合焦位置にあるときの画像から前記評価値が算出された後に生成された画像から算出された前記複数の小領域それぞれの前記評価値からなる評価対象評価値群と、を生成する生成部と、前記合焦位置評価値群と前記評価対象評価値群とにおいて、それぞれ対応する小領域ごとの前記評価値の差からなる第１の差分と、前記合焦位置評価値群と前記至近側評価値群とにおいて、それぞれ対応する小領域ごとの前記評価値の差からなる第２の差分と、前記合焦位置評価値群と前記無限遠側評価値群とにおいて、それぞれ対応する小領域ごとの前記評価値の差からなる第３の差分とを算出する差分算出部と、前記第１の差分と前記第２の差分の相関関係及び前記第１の差分と前記第３の差分の相関関係を判定し、当該判定の結果に基づいて、前記フォーカスレンズの移動方向を決定する決定部と、を有するフォーカス調整装置である。

また、本発明のフォーカス調整装置において、前記決定部は、前記小領域ごとに算出される前記評価値の差の符号分布の一致の度合いにより前記相関関係の判定を行うことを特徴とする。

また、本発明のフォーカス調整装置において、前記決定部は、前記小領域ごとに算出される前記評価値の差が所定の閾値を超えない前記小領域については、前記相関関係の判定の対象から除外することを特徴とする。

また、本発明のフォーカス調整装置において、前記決定部は、前記合焦位置が所定位置よりも無限遠側にある場合、前記移動方向の決定を行わないことを特徴とする。

また、本発明のフォーカス調整装置は、前記フォーカスエリアを構成する前記複数の小領域ごとに信頼性を判定する判定部をさらに有し、前記決定部は、信頼性がないと判定された前記小領域については、前記相関関係の判定の対象から除外することを特徴とする。

また、本発明のフォーカス調整装置において、前記判定部は、前記フォーカスエリアを構成する前記複数の小領域ごとに色成分の平均値を監視し、第１の時点の当該平均値と第２の時点の当該平均値との差の絶対値が所定の閾値を超えた場合、信頼性がないと判定することを特徴とする。

また、本発明のフォーカス調整装置において、前記決定部は、撮影光学系の被写界深度に基づいて前記フォーカスレンズの移動量を決定することを特徴とする。

また、本発明は、上記のフォーカス調整装置を有する撮像装置である。

本発明によれば、フォーカスレンズを移動させて、合焦位置評価値群、至近側評価値群、及び無限遠側評価値群を予め算出しておけば、ピント状態が悪化した場合でも、新たに評価対象評価値群を生成し、第１の差分と第２の差分の相関関係及び第１の差分と第３の差分の相関関係を判定することによって、フォーカスレンズの移動方向を決定することが可能となる。したがって、フォーカスレンズが一旦合焦位置に移動した後はフォーカスレンズの移動を行うことなくフォーカスレンズの移動方向を検出することができる。

本発明の第１の実施形態による撮像装置の構成を示すブロック図である。 本発明の第１の実施形態による撮像装置が備えるシステムコントローラの構成を示すブロック図である。 本発明の第１の実施形態におけるフォーカス調整の概略を示すグラフである。 本発明の第１の実施形態におけるフォーカスエリアの分布を示す参考図である。 本発明の第１の実施形態におけるフォーカスエリア内の小領域を示す参考図である。 本発明の第１の実施形態におけるフォーカスエリアの小領域ごとのレンズ位置とコントラストの関係を示すグラフである。 本発明の第１の実施形態におけるコントラストの分布及びコントラスト変化の分布を示す参考図である。 本発明の第１の実施形態による撮像装置の動作の手順を示すフローチャートである。 本発明の第１の実施形態による撮像装置の動作の手順を示すフローチャートである。 本発明の第１の実施形態による撮像装置の動作の手順を示すフローチャートである。 本発明の第２の実施形態による撮像装置が備えるシステムコントローラの構成を示すブロック図である。 本発明の第２の実施形態におけるファインダー像を示す参考図である。 本発明の第２の実施形態におけるフォーカスエリア内の小領域を示す参考図である。 本発明の第２の実施形態におけるコントラストの分布及びコントラスト変化の分布を示す参考図である。 本発明の第２の実施形態におけるフォーカス調整の概略を示すグラフである。

以下、図面を参照し、本発明の実施形態を説明する。

（第１の実施形態）
まず、本発明の第１の実施形態を説明する。図１は、本実施形態による撮像装置の構成を示している。図１に示す撮像装置は、光学系１０１と、撮像素子１０２と、システムコントローラ１０３と、駆動部１０４と、メモリ１０５と、ＴＦＴパネル１０６とで構成されている。

光学系１０１は、フォーカスレンズ及びズームレンズ等を含み、光軸方向に可動となるように構成されており、撮像素子１０２の表面に被写体像を結像するとともに、撮像素子１０２の表面におけるピント状態を変化させる。撮像素子１０２は、光学系１０１により結像された被写体像を電気信号に変換し、画像データとして出力する。システムコントローラ１０３は撮像装置内の各部を制御する。例えば、システムコントローラ１０３は、撮像素子１０２から画像データを読み出したり、読み出した画像データをメモリ１０５に記録したり、読み出した画像データを表示用の映像データとしてＴＦＴパネル１０６に出力したり、フォーカス制御用の評価値を算出したりする。

駆動部１０４は、システムコントローラ１０３からの制御に基づいて、光学系１０１を光軸方向に移動させる。光学系１０１の移動により、撮像素子１０２表面でのピント状態が変化する。メモリ１０５は、画像データやコントラスト値（フォーカス評価値）などを一時的に保持する。ＴＦＴパネル１０６は、システムコントローラ１０３から出力された画像データに基づく映像を撮像素子１０２における撮像と同期してリアルタイムに表示したり、メモリ１０５に記録された撮影画像やメニュー画面などを表示したりすることが可能である。

図２はシステムコントローラ１０３の構成を示している。システムコントローラ１０３は、ＣＰＵ１０３ａと、システムバス１０３ｂと、画像読出し部１０３ｃと、画像評価部１０３ｄと、画像出力部１０３ｅと、メモリインタフェース１０３ｆとで構成されている。

ＣＰＵ１０３ａは、システムコントローラ内の各部の制御や、駆動部１０４の駆動制御等を行う。システムバス１０３ｂは、システムコントローラ１０３内部の各ブロックとメモリインタフェース１０３ｆとの間でデータをやり取りするためのデータバスである。画像読出し部１０３ｃは、撮像素子１０２により生成された電気信号を、同期信号に同期して画像データとして読み出し、システムバス１０３ｂ及びメモリインタフェース１０３ｆを経由してメモリ１０５に記録する。

画像評価部１０３ｄは、画像読出し部１０３ｃにより読み出された画像データの任意の領域に対応する画像からハイパスフィルタにより高周波成分を抽出し、そのコントラストを算出して算出結果をメモリ１０５に格納する。画像出力部１０３ｅは、メモリ１０５に格納された画像データを、メモリインタフェース１０３ｆ及びシステムバス１０３ｂを経由して読み出し、読み出した画像データを、表示する形式のデータに変換し、ＴＦＴパネル１０６に出力する。メモリインタフェース１０３ｆは、各部からのアクセスを受け付け、メモリ１０５からのデータの読み出し及びメモリ１０５へのデータの書き込みを行う。

次に、図３を参照しながら、本実施形態におけるフォーカス調整の概略を説明する。図３（ａ）は、フォーカス調整中のレンズ位置及び被写体距離の時間変化を示している。レンズ位置とは、フォーカスレンズが光軸方向の各位置にあるときに合焦する被写体の被写体距離を示している。すなわち、レンズ位置とは、フォーカスレンズの各位置を、合焦する被写体の被写体距離として表したものである。レンズ位置の時間変化は実線で示され、被写体距離の時間変化は破線で示されている。図３（ｂ）は、撮影画角（撮影視野）内のコントラスト検出領域におけるコントラストの変化と時間との関係を示している。図３（ａ）の時間と図３（ｂ）の時間には相関関係がある。

図３の例では、時間が０から増加するにつれて、撮像装置はコントラスト算出領域のコントラストを算出しながら、フォーカスレンズを無限遠方向に駆動している。レンズ位置が２ａとなったときに、前回のコントラスト算出時よりもコントラストが低下したことが検出されたため、撮像装置はフォーカスレンズの駆動方向を反転して至近側にフォーカスレンズを駆動しながら、コントラスト算出領域のコントラストを算出する。そして、レンズ位置が２ｂとなったときに、撮像装置は前回のコントラスト算出時よりもコントラストが低下したことを検出する。

撮像装置は、レンズ位置２ａ，２ｂを含む複数のレンズ位置におけるコントラストに基づいて合焦位置を算出する。図３の例では、合焦位置に相当するレンズ位置は２ｃである。撮像装置はこのレンズ位置２ｃにフォーカスレンズを移動する。また、撮像装置はレンズ位置２ａ，２ｂ，２ｃのそれぞれにおいて、撮影画角内のコントラスト算出領域をさらに細分化した小領域のそれぞれのコントラストを求める。

さらに、撮像装置は、レンズ位置が２ｃから２ａに変化したときの各小領域でのコントラスト変化の分布と、レンズ位置が２ｃから２ｂに変化したときの各小領域でのコントラスト変化の分布とを求める。ここで変化の分布とは、コントラストが増加したか、減少したか、変化がなかったかを示す値の分布である。

通常の被写体を撮像した場合、コントラスト算出領域内には、様々な被写体距離をもつ成分が混在しているといえるが、フォーカスレンズの位置は、全体としてコントラストが高くなる位置に調整されている。このコントラスト算出領域を細分化することで、それぞれの被写体距離をもつ成分の変化の状態を確認することができる。

合焦位置よりも奥にある被写体を撮像する場合、ピントの状態が現在よりも後ピン状態（レンズ位置２ａに対応）に変化するとコントラストが高くなり、合焦位置よりも手前にある被写体を撮像する場合、ピントの状態が現在よりも前ピン状態（レンズ位置２ｂに対応）に変化するとコントラストが高くなる。このことから、レンズ位置が所定の位置から変化したときのコントラスト変化の分布が、前ピン状態へ変化する際のコントラスト変化の分布と相関があるか、後ピン状態へ変化する際のコントラスト変化の分布と相関があるかを判別することによりフォーカスレンズの駆動方向を推定することができる。

撮像装置は、レンズ位置が２ｃのときにフォーカスレンズを停止した後、常に、コントラスト算出領域を細分化した各小領域のコントラストを算出し、レンズ位置が２ｃのときのコントラストからのコントラスト変化の分布を算出する。撮像装置は、この分布に変化が現れたときに被写体が変化した、又は、被写体が動いたと判別し、上記の２種類のコントラストの変化の分布のうちのどちらと相関があるのかを判定する。

レンズ位置が２ｄのとき、撮像装置は、レンズ位置が２ｃのときのコントラストからのコントラスト変化の分布が、後ピン状態（レンズ位置２ａに対応）へ変化する際のコントラスト変化の分布と相関をもつことを検出し、フォーカスレンズを至近側に駆動する。こうすることで、レンズ位置が２ｃに調整された時点以後は、フォーカスレンズの往復動作なしにフォーカスレンズの駆動方向を検出するため、ピント状態が悪くなる方向にフォーカスレンズが駆動されることが無い。すなわち、フォーカスレンズの無駄な移動を無くすことができる。

レンズ位置が２ｅ，２ｆ，２ｇのときには、撮像装置はレンズ位置が２ａ，２ｂ，２ｃのときと同様にコントラストのピークを検出し、合焦位置にフォーカスレンズを移動している。

次に、図４〜図７を用いて、コントラスト変化の分布の具体的な算出例を示す。図４は撮影画角全体におけるフォーカスエリアの分布を示している。フォーカスエリアは、前述したコントラスト検出領域と一致する。これらフォーカスエリアの中から選択されたフォーカスエリアに対応する被写体にピントが調節される。図４の例では、撮影視野内に９か所のフォーカスエリアｔｌ，ｔｃ，ｔｒ，ｍｌ，ｍｃ，ｍｒ，ｂｌ，ｂｃ，ｂｒがあり、被写体である花に対してマクロ撮影が行われている。図４の例では、中央のフォーカスエリアｍｃが選択されており、これに対応する被写体にピントが調節される。

図５は、フォーカスエリアｍｃを拡大して示している。フォーカスエリアｍｃはさらに９つの小領域ｍｃ１〜ｍｃ９に細分化されており、この小領域ごとにコントラストが算出される。

図６は、レンズ位置とコントラストの関係を示している。図中のｐｅａｋはピント状態が合焦状態となる位置であり、図３ではレンズ位置２ｃに相当する。ｎｅａｒはフォーカスレンズの往復移動時の至近側の反転位置であり、図３ではレンズ位置２ｂに相当する。ｒｅａｒはフォーカスレンズの往復移動時の無限遠側の反転位置であり、図３ではレンズ位置２ａに相当する。

図６中の曲線は、フォーカスエリアｍｃのコントラスト及び図５に示した小領域ごとのコントラストを示している。合焦時には、レンズ位置がフォーカスエリアｍｃのラインのピーク（ｐｅａｋ）と一致するようにフォーカスレンズが調整される。小領域ｍｃ８では、手前のおしべが後ピン状態になっているため、ｐｅａｋよりも至近側の位置でコントラストのピークが現れる。フォーカスエリアｍｃ２，ｍｃ５では、奥のおしべが前ピン状態になっているため、ｐｅａｋよりも無限遠側の位置でコントラストのピークが現れる。

図７は、各レンズ位置でのコントラストの分布及びコントラスト変化の分布を示している。図７では、図５の小領域ｍｃ１〜ｍｃ９ごとのコントラストの分布及びコントラスト変化の分布が示されている。

図７（ａ）は、レンズ位置が図６のｐｅａｋであるときのコントラストの分布を示しており、図７（ｂ）は、レンズ位置が図６のｎｅａｒであるときのコントラストの分布を示しており、図７（ｃ）は、レンズ位置が図６のｒｅａｒであるときのコントラストの分布を示している。

図７（ｄ）は、レンズ位置がｐｅａｋからｎｅａｒへ変化したときのコントラスト変化の分布を示しており、図７（ｅ）は、レンズ位置がｐｅａｋからｒｅａｒへ変化したときのコントラスト変化の分布を示している。なお、図中の−はコントラストが減少していることを示し、＋はコントラストが増加していることを示す。＊は変化量が所定の閾値に満たなかったことを示し、駆動方向の判定の際は、＊となっている小領域は処理対象から除外される。本実施形態の例では閾値を１０としており、コントラスト変化の絶対値が１０に満たない小領域は＊とされている。このようにコントラスト変化の分布において＊となる小領域が発生するケースとしては、被写体の背景で被写体距離が十分遠くなる場合や、コントラストの無い被写体を撮像する場合がある。

また、小領域を処理対象から外すケースとしては、撮像装置と被写体との間を別の被写体が横切るようなケースがある。この場合に対応する一つの方法としては、各小領域で色成分ごとに平均値を求め、この変化を監視し、ある時点での各小領域の色成分の平均値が合焦時の各小領域の色成分の平均値から大きく変化した場合（ある時点での各小領域の色成分の平均値と合焦時の各小領域の色成分の平均値との差の絶対値が所定の閾値を超えた場合）は、その小領域の信頼性が低いと判定し、処理対象から除外するという方法がある。これにより処理対象の小領域を十分確保できなかった場合、例えば、処理対象の小領域が全体の５０％に満たない場合などは、２種類のコントラスト変化の分布のどちらとも一致しなかったと判定し、通常のフォーカスレンズの往復動作を行って駆動方向を決定すれば良い。

撮像装置は、ピント状態が合焦状態となった後、各小領域のコントラストを算出し、前述したコントラスト変化の相関に関する判定を行いつつ、レンズ位置が図７（ａ）のｐｅａｋにあるときからのコントラストの変化の分布が図７（ｄ）と図７（ｅ）のどちらの分布に相関があるかに応じてフォーカスレンズの駆動方向を決定する。

次に、本実施形態のフォーカス調整の流れを、図８〜図１０を用いて説明する。図８は、被写体にピントを合わせる合焦制御の流れを示している。図８に示す処理は、撮像開始直後に行われ、後述する合焦後の制御処理（図１０）の中でも行われる。

まず、ＣＰＵ１０３ａは駆動部１０４を制御し、フォーカスレンズの駆動を開始する（ステップＳ１０１）。ここでのフォーカスレンズの駆動方向は、撮像開始直後は所定方向であり、その後は、後述する駆動方向検出処理（図９）により決定された駆動方向か、又は、合焦後の制御処理（図１０）により決定された駆動方向が適用されることになる。

続いて、画像読出し部１０３ｃは撮像素子１０２から画像データを読み出し、メモリ１０５に記録する（ステップＳ１０２）。また、画像評価部１０３ｄは、読み出された画像データに基づく画像のフォーカスエリア（コントラスト検出エリア）に対して、ハイパスフィルタにより高周波成分を抽出し、そのコントラストを算出する（ステップＳ１０３）。この例では、図４に示すフォーカスエリアｍｃが選択され、このフォーカスエリアｍｃの画像に対して処理が行われる。特にフォーカスエリアの選択がない場合には、フォーカスエリアｔｌ，ｔｃ，ｔｒ，ｍｌ，ｍｃ，ｍｒ，ｂｌ，ｂｃ，ｂｒの９か所の画像に対して処理が行われる。

コントラストの算出が終了すると、ＣＰＵ１０３ａは、算出された現フレームのコントラストに対して、フォーカスレンズの駆動方向（無限遠側、至近側）に応じた位置を示す情報を付加してメモリ１０５に記録する（ステップＳ１０４）。続いて、ＣＰＵ１０３ａは、前フレームで算出された同一エリアのコントラストをメモリ１０５から読み出す。そして、ＣＰＵ１０３ａは、ステップＳ１０３で算出された現フレームのコントラストと前フレームのコントラストとを比較し、現フレームのコントラストが前フレームのコントラストよりも低下しているか否かを判定する（ステップＳ１０５）。ステップＳ１０５の判定は、フォーカスレンズの移動中にフォーカスレンズの位置が合焦範囲から外れたか否かを確認することと同等である。

コントラストが低下していない場合、処理がステップＳ１０２の処理に戻り、再度画像読み出しが行われる。また、コントラストが低下している場合、ＣＰＵ１０３ａは現フレームの画像のうちフォーカスエリアｍｃの画像をメモリ１０５に記録する（ステップＳ１０６）。このとき、ＣＰＵ１０３ａは、フォーカスレンズが無限遠側に駆動されている場合は、Ｒｅａｒ画像として画像を記録し、フォーカスレンズが至近側に駆動されている場合は、Ｎｅａｒ画像として画像を記録する。

続いて、ＣＰＵ１０３ａは、駆動方向を反転してフォーカスレンズを駆動するよう、駆動部１０４を制御する（ステップＳ１０７）。ステップＳ１０７に続くステップＳ１０８〜Ｓ１１２の処理は、ステップＳ１０２〜Ｓ１０６の処理と同様である。

続いて、ＣＰＵ１０３ａは、ステップＳ１０４で記録したコントラストと、ステップＳ１１０で記録したコントラストとをメモリ１０５から読み出す。メモリ１０５から読み出したコントラストにはフォーカスレンズの位置を示す情報が付加されている。ＣＰＵ１０３ａは、メモリ１０５から読み出したコントラストに基づいて、フォーカスレンズの位置に対するコントラスト変化の曲線を算出し、この曲線においてコントラストがピークとなるフォーカスレンズの位置（ピーク位置すなわち合焦位置）を算出する（ステップＳ１１３）。

続いて、ＣＰＵ１０３ａは、ステップＳ１１３で算出したピーク位置にフォーカスレンズを移動するよう、駆動部１０４を制御する（ステップＳ１１４）。これにより、フォーカスレンズはピーク位置に移動する。続いて、ＣＰＵ１０３ａは現フレームの画像のうちフォーカスエリアｍｃの画像をＰｅａｋ画像としてメモリ１０５に記録する（ステップＳ１１５）。

図９は駆動方向検出処理の流れを示している。図９に示す駆動方向検出処理は、本発明とは関係なく一般的に行われている処理である。まず、ＣＰＵ１０３ａは駆動部１０４を制御し、フォーカスレンズを所定の駆動方向に駆動する（ステップＳ２０１）。続いて、画像読出し部１０３ｃは撮像素子１０２から画像データを読み出し、メモリ１０５に記録する（ステップＳ２０２）。また、画像評価部１０３ｄは、読み出された画像データに基づく画像のフォーカスエリアに対して、ハイパスフィルタにより高周波成分を抽出し、そのコントラストを算出する（ステップＳ２０３）。

続いて、ＣＰＵ１０３ａは、フォーカスレンズの駆動方向を反転し（ステップＳ２０４）、駆動部１０４を制御してフォーカスレンズを駆動する（ステップＳ２０５）。続いて、Ｓ２０２及びＳ２０３と同様の処理が行われる（ステップＳ２０６，Ｓ２０７）。続いて、ＣＰＵ１０３ａは、ステップＳ２０３で算出されたコントラストとステップＳ２０７で算出されたコントラストとを比較し、駆動方向を決定する（ステップＳ２０８）。

ここでは、至近側コントラストと無限遠側コントラストのうち大きい方のコントラストに対応した方向を駆動方向とする。つまり、至近側コントラストが無限遠側コントラストよりも大きい場合は、駆動方向は至近側となり、その逆の場合は、駆動方向は無限遠側となる。

図１０は、合焦後の処理の流れを示している。撮像開始直後に図８に示す処理が行われ、続いて図１０に示す処理が行われる。

まず、ＣＰＵ１０３ａは、メモリ１０５内に記録されたＮｅａｒ画像を読み出して、画像評価部１０３ｄへ出力し、画像評価部１０３ｄは、細分化された小領域ごとのコントラストをＮｅａｒ画像から算出する（ステップＳ３０１）。ここで、細分化された小領域とは、フォーカスエリアをさらに９分割した、図５に示す小領域ｍｃ１〜ｍｃ９である。画像評価部１０３ｄは、この９つの小領域のそれぞれについてコントラストを算出して、コントラスト分布（至近側評価値群）とする。

続いて、画像評価部１０３ｄは、Ｒｅａｒ画像及びＰｅａｋ画像についても同様の処理を行い、コントラスト分布（無限遠側評価値群、合焦位置評価値群）を生成する（ステップＳ３０２，Ｓ３０３）。続いて、ＣＰＵ１０３ａは、Ｐｅａｋ画像のコントラスト分布とＮｅａｒ画像のコントラスト分布との差分（第２の差分）を算出する（ステップＳ３０４）。このとき、ＣＰＵ１０３ａは、フォーカスエリアを細分化した小領域ごとに、Ｎｅａｒ画像のコントラストからＰｅａｋ画像のコントラストを減算して差分を算出し、その差分の符号を求める。但し、この例では、閾値を１０としているため、差の絶対値が１０に満たない場合は、算出結果を未検出（＊）とする。このようにして得られた結果が図７（ｄ）に対応する。

ＣＰＵ１０３ａは、Ｒｅａｒ画像のコントラスト分布についても同様に、Ｐｅａｋ画像のコントラスト分布との差分（第３の差分）を算出する（ステップＳ３０５）。このとき、ＣＰＵ１０３ａは、フォーカスエリアを細分化した小領域ごとに、Ｒｅａｒ画像のコントラストからＰｅａｋ画像のコントラストを減算して差分を算出し、その差分の符号を求める。この結果は、図７（ｅ）と対応する。

続いて、画像読出し部１０３ｃは撮像素子１０２から画像データを読み出し（ステップＳ３０６）、画像評価部１０３ｄはこの画像データからフォーカスエリアのコントラスト分布（評価対象評価値群）を算出する（ステップＳ３０７）。このとき、フォーカスエリアを細分化した小領域ごとにコントラストが算出される。

その後、ＣＰＵ１０３ａは、ステップＳ３０７で算出されたコントラスト分布とＰｅａｋ画像のコントラスト分布との差分（第１の差分）を算出する（ステップ３０８）。このとき、ＣＰＵ１０３ａは、フォーカスエリアを細分化した小領域ごとに、ステップＳ３０７で算出されたコントラストからＰｅａｋ画像のコントラストを減算して差分を算出し、差分の符号も求める。

続いて、ＣＰＵ１０３ａは、小領域ごとの差分の絶対値が閾値を超えたものがあるか否かを判定する（ステップＳ３０９）。差分の変化を確認することは、被写体に動きがあった、又は、撮像装置が移動したり、別の被写体が撮影画角に入り込んできたりして被写体に変化があったことを監視することである。閾値を小さくすると、動き検出に対する応答速度が速くなり、光量の微妙な変化による誤判定の可能性が増大するため、光源の状態や被写体の動く速度により閾値を変化させることが望ましい。

全ての小領域の差分の絶対値が閾値を超えていない場合、被写体に変化が無いと判定され、処理がステップＳ３０６の処理に戻る。いずれかの小領域の差分の絶対値が閾値を超えた場合、ＣＰＵ１０３ａは、現在のレンズ位置が所定のレンズ位置よりも至近側であるか否かを判定する（ステップＳ３１０）。

一般に、被写体距離が遠くなると被写界深度は深くなる。よって、被写体距離が遠い場合、フォーカスエリアを小領域に細分化しても、ほとんどの小領域は被写界深度内に含まれるため、コントラストの変化が生じにくくなり、コントラスト変化の分布に基づいてフォーカスレンズの駆動方向を検出する意味が無くなる。つまり、レンズ位置が所定のレンズ位置よりも無限遠側の場合、本実施形態の検出方法を用いても効果が無いため、ステップＳ３１０では効果の有無を確認している。

所定のレンズ位置は、ユーザーが被写体に応じて設定するようにしても良いし、撮影レンズの焦点距離に応じて決定しても良い。焦点距離に応じて所定のレンズ位置を決定する場合、焦点距離が長くなれば、被写界深度は浅くなるため、所定の位置を遠くに設定できる。また、奥行きのある被写体に対しては、コントラストの差が検出し易くなるため、このような被写体を撮像する場合は、ユーザーが所定のレンズ位置をより無限遠側に設定できるようになっていることが望ましい。

ステップＳ３１０において、レンズ位置が所定の位置よりも無限遠側にある場合（検出範囲外）は、駆動方向の検出（ステップ３１５）が行われる。駆動方向の検出（ステップ３１５）では、図９に示した処理が行われる。ステップＳ３１０において、レンズ位置が所定の位置よりも至近側にある場合（検出範囲内）は、ＣＰＵ１０３ａは、ステップＳ３０８で求めた差分の分布を、ステップＳ３０４で求めたＮｅａｒ画像についての差分の分布と比較し、相関関係を判定する（ステップＳ３１１）。

相関関係の判定は、例えば以下のようにして行われる。ステップＳ３０４，Ｓ３０５，Ｓ３０８で求められた差分の分布において、小領域ごとの差分は＋、−、＊のいずれかとなる。前述したように、−はコントラストが減少していることを示し、＋はコントラストが増加していることを示し、＊はコントラストの変化量が所定の閾値に満たなかったことを示す。

ステップＳ３０４で求めたＮｅａｒ画像についての差分の分布において、差分が＊で表される小領域は判定対象から除外される。また、ステップＳ３０４で求めたＮｅａｒ画像についての差分の分布とステップＳ３０５で求めたＲｅａｒ画像についての差分の分布とで符号が一致する小領域（図７（ｄ）、（ｅ）の例では２行目の１列目と３列目の小領域）は判定対象から除外される。このように判定対象から除外された小領域以外の小領域について、ステップＳ３０８で求めた差分と、ステップＳ３０４で求めたＮｅａｒ画像についての差分とで符号が一致する小領域の数が計上される。この符号が一致する小領域の数が所定値以上であれば相関があると判定され、所定値未満であれば相関が無いと判定される。

相関がある場合、ＣＰＵ１０３ａはフォーカスレンズの駆動方向を無限遠側に設定する（ステップＳ３１２）。続いて、合焦制御が行われる（ステップＳ３１６）。この合焦制御（ステップＳ３１６）では、図８に示した処理が行われる。

相関が無い場合、ＣＰＵ１０３ａは、ステップＳ３０８で求めた差分の分布を、ステップＳ３０５で求めたＲｅａｒ画像についての差分の分布と比較し、相関関係を判定する（ステップＳ３１３）。相関がある場合、ＣＰＵ１０３ａはフォーカスレンズの駆動方向を至近側に設定する（ステップＳ３１４）。続いて、合焦制御が行われる（ステップＳ３１６）。相関が無い場合、駆動方向検出（ステップＳ３１５）が行われた後、合焦制御が行われる（ステップＳ３１６）。つまり、フォーカスレンズが一旦合焦位置に移動した後は、フォーカスレンズを往復移動させることなく、ステップＳ３１２，Ｓ３１４でフォーカスレンズの駆動方向を設定することが可能となる。

上述したように、本実施形態によれば、図８に示す処理を行ってフォーカスレンズをピント位置に移動した後は、被写体が合焦範囲から外れてピント状態が悪化した場合でも、図１０に示す処理により、フォーカスレンズを移動させることなくフォーカスレンズの駆動方向を決定することができる。したがって、例えば、マクロ撮影で花などに接写する場合、主に撮影者の移動による光軸方向へのピントのずれを追尾し、補正することができる。

また、フォーカスエリアを構成する小領域ごとのコントラストの差分の符号のみの分布からフォーカスレンズの駆動方向を決定するので、判定回路を簡素化することができる。さらに、小領域ごとのコントラストの差分が閾値を超えなかった場合は、対応する小領域が背景である、又は対応する小領域のコントラストが無いと判定して、その小領域を判定対象から除外するため、フォーカスレンズの駆動方向を誤検出する可能性を抑えることができる。

また、レンズ位置が所定の位置よりも無限遠側にあるか否かを判定し、レンズ位置が所定の位置よりも無限遠側にある場合は、コントラスト変化の分布を用いたフォーカスレンズ駆動方向の決定を行わないので、効果が無い領域で本決定の機能が動作することを防止することができる。

また、フォーカスエリアを構成する小領域ごとに信頼性を判定し、信頼性が無いと判定された小領域を相関関係の判定対象から除外するので、フォーカスエリア内を意図しない被写体が横切った場合などにも駆動方向を誤検出する可能性を抑えることができる。さらに、信頼性の判定に色成分の平均値を用いることによって、簡単な構成で判定を行うことができる。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。第２の実施形態による撮像装置の構成は、システムコントローラ１０３の構成を除いて、第１の実施形態による撮像装置の構成と同じである。また、適用シーンとしては動画撮影を想定している。

図１１は、本実施形態におけるシステムコントローラ１０３の構成を示している。第１の実施形態における構成（図２）と比較して、被写体検出部１０３ｇが追加されている。被写体検出部１０３ｇは、撮影視野内の被写体を検出して追尾を行い、その結果に基づいてフォーカスエリアを決定して、画像評価部１０３ｄにフォーカスエリアの位置情報を通知する。画像評価部１０３ｄは、被写体検出部１０３ｇにより通知された位置情報に基づいてフォーカスエリアを設定し、フォーカスエリア内のコントラストを算出する。

被写体検出部１０３ｇによる被写体の検出方法やフォーカスエリアの追従方法については、本発明の要旨とは関係ないので詳細については言及しない。一例を挙げると、撮影の最初にユーザーが図示せぬ操作部を操作して被写体を指定し、その領域の色情報に基づいてフレームごとにフォーカスエリアの検出を行う方法などがある。

図１２は、本実施形態において撮影を行う場合にＴＦＴパネル１０６に表示されるファインダー像の一例である。この例では、被写体である車１１ａが撮影者側に近づいて来るシーンを想定している。予め車１１ａが被写体であることがユーザーによって指定されており、被写体検出部１０３ｇがこの車１１ａを追尾してフォーカスエリア１１ｂを随時更新している。フォーカスエリア１１ｂは、図１３に示すようにさらに１２個の小領域に分割され、フォーカスレンズが合焦位置に移動した後は、小領域ごとにコントラストが算出され、合焦時のコントラストからのコントラスト変化の分布が算出される。

図１４は、コントラストの分布及びコントラスト変化の分布の算出結果の一例を示している。図１４（ａ）は合焦時のコントラスト分布であり、図１４（ｂ）は後ピン状態でのコントラスト分布であり、図１４（ｃ）は前ピン状態でのコントラスト分布である。図１４（ｄ）は、ピント状態が合焦状態から後ピン状態に変化するときのコントラスト変化の分布であり、図１４（ｅ）は、ピント状態が合焦状態から前ピン状態に変化するときのコントラスト変化の分布である。

図８に示した処理によってフォーカスレンズがピーク位置すなわち合焦位置に移動した後、図１０に示した処理によって、フォーカスエリア１１ｂ内部のコントラスト分布が算出され、合焦時のコントラスト分布との差分が算出される。さらに、その差分の分布が図１４（ｄ）の分布と図１４（ｅ）の分布のどちらと相関があるのかに応じてフォーカスレンズの調整方向が決定される。

図１５は、本実施形態におけるフォーカス調整動作を行っている間のレンズ位置及び被写体距離の時間変化を示している。まず、止まっている被写体に対して、フォーカスレンズが往復移動し、レンズ位置１４ａ及びレンズ位置１４ｂを含む複数位置のコントラストからピーク位置１４ｃが算出され、フォーカスレンズがピーク位置１４ｃに移動する。

被写体が手前に向かって動き始め、被写界深度を外れる位置まで移動する。このとき、フォーカスレンズはレンズ位置１４ｄにある。以後、被写体の動きの検出とフォーカスレンズの駆動方向の検出が行われる。

この例では、合焦時のコントラスト分布と被写体移動後のコントラスト分布との差をとったコントラスト変化の分布は、ピント状態が合焦状態から後ピン状態に変化するときのコントラスト変化の分布と相関があるため、至近側にフォーカスレンズが駆動される。本実施形態では、フォーカスレンズの駆動量は、被写界深度と一致する距離となっている。つまり、フォーカスレンズはレンズ位置１４ｄから、被写界深度と一致する距離だけ移動し、移動後のレンズ位置はレンズ位置１４ｅとなる。こうすることで、被写体にピントが合った状態からずれることなくピント状態を合焦状態に近づけることができる。この後も同様に被写体の移動に追従してフォーカスレンズがレンズ位置１４ｆに移動する。この動作を繰り返すことで、被写体の動きに追従してピントを合わせることができる。

第２の実施形態の制御の流れについては、第１の実施形態の制御の流れとほぼ同じであり、１か所の制御のみが異なる。また、第２の実施形態では、動画撮影中であることを想定しており、図８〜図１０の制御と並行して動画像の記録も行われている。第１の実施形態ではステップＳ３１６で合焦制御を行っているが、第２の実施形態では、予め決定された駆動量に基づいてフォーカスレンズが駆動される。この駆動量は、上記のように、例えば被写界深度により決定することができる。

上述したように、本実施形態によれば、フォーカスレンズの駆動方向が検出された後、フォーカスレンズが、検出された駆動方向に、被写界深度に相当する移動量で移動する。これによって、フォーカスレンズが往復移動することなく、動く被写体に対してピントを合わせ続けることができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

例えば、フォーカスエリアを９分割及び１２分割する例について説明したが、これに限定されるものではない。フォーカスエリアの分割数は２分割以上であれば良いが、分割数が多いほど、フォーカスレンズの駆動方向の検出確率を向上することができる。また、フォーカスレンズの駆動量を被写界深度により決定する例を挙げたが、コントラストの変化量で決定しても良い。また、被写体検出に顔認識機能などを用いても良い。

また、上記の例では、フォーカスエリアの画像を一旦記録し、フォーカスレンズが合焦位置に移動した後にコントラストの分布を生成しているが、これに限定されるもので無く、常にコントラストの分布を記録しておくことで、画像を記録する必要はない。

１０１・・・光学系、１０２・・・撮像素子、１０３・・・システムコントローラ（フォーカス調整装置）、１０３ａ・・・ＣＰＵ（検出部、特定部、駆動制御部、差分算出部、決定部、判定部）、１０３ｂ・・・システムバス、１０３ｃ・・・画像読出し部、１０３ｄ・・・画像評価部（特定部、評価値算出部、生成部）、１０３ｅ・・・画像出力部、１０３ｆ・・・メモリインタフェース、１０３ｇ・・・被写体検出部、１０４・・・駆動部、１０５・・・メモリ、１０６・・・ＴＦＴパネル

Claims (8)

1. フォーカスレンズが移動している間、撮影画角内にあって複数の小領域を有する任意のフォーカスエリアの画像に基づいて、前記フォーカスレンズの位置が合焦範囲から外れたことを検出する検出部と、
   前記フォーカスレンズの位置が合焦範囲から外れたことを検出した場合、前記フォーカスレンズが前記合焦位置よりも至近側にあるときの画像と、前記合焦位置よりも無限遠側にあるときの画像とに基づいて前記合焦位置を特定する特定部と、
   前記検出部による検出中、前記フォーカスレンズの駆動制御を行い、前記特定部によって前記合焦位置が特定された場合、前記合焦位置に前記フォーカスレンズを移動する駆動制御部と、
   前記フォーカスエリアの画像からフォーカス制御用の評価値を算出する評価値算出部と、
   前記フォーカスレンズが前記合焦位置にあるときの画像から算出された前記複数の小領域それぞれの前記評価値からなる合焦位置評価値群と、前記フォーカスレンズが前記合焦位置よりも至近側にあるときの画像から算出された前記複数の小領域それぞれの前記評価値からなる至近側評価値群と、前記フォーカスレンズが前記合焦位置よりも無限遠側にあるときの画像から算出された前記複数の小領域それぞれの前記評価値からなる無限遠側評価値群と、前記フォーカスレンズが前記合焦位置にあるときの画像から前記評価値が算出された後に生成された画像から算出された前記複数の小領域それぞれの前記評価値からなる評価対象評価値群と、を生成する生成部と、
   前記合焦位置評価値群と前記評価対象評価値群とにおいて、それぞれ対応する小領域ごとの前記評価値の差からなる第１の差分と、前記合焦位置評価値群と前記至近側評価値群とにおいて、それぞれ対応する小領域ごとの前記評価値の差からなる第２の差分と、前記合焦位置評価値群と前記無限遠側評価値群とにおいて、それぞれ対応する小領域ごとの前記評価値の差からなる第３の差分とを算出する差分算出部と、
   前記第１の差分と前記第２の差分の相関関係及び前記第１の差分と前記第３の差分の相関関係を判定し、当該判定の結果に基づいて、前記フォーカスレンズの移動方向を決定する決定部と、
   を有するフォーカス調整装置。
2. 前記決定部は、前記小領域ごとに算出される前記評価値の差の符号分布の一致の度合いにより前記相関関係の判定を行うことを特徴とする請求項１に記載のフォーカス調整装置。
3. 前記決定部は、前記小領域ごとに算出される前記評価値の差が所定の閾値を超えない前記小領域については、前記相関関係の判定の対象から除外することを特徴とする請求項１に記載のフォーカス調整装置。
4. 前記決定部は、前記合焦位置が所定位置よりも無限遠側にある場合、前記移動方向の決定を行わないことを特徴とする請求項１に記載のフォーカス調整装置。
5. 前記フォーカスエリアを構成する前記複数の小領域ごとに信頼性を判定する判定部をさらに有し、
   前記決定部は、信頼性がないと判定された前記小領域については、前記相関関係の判定の対象から除外することを特徴とする請求項１に記載のフォーカス調整装置。
6. 前記判定部は、前記フォーカスエリアを構成する前記複数の小領域ごとに色成分の平均値を監視し、第１の時点の当該平均値と第２の時点の当該平均値との差の絶対値が所定の閾値を超えた場合、信頼性がないと判定することを特徴とする請求項５に記載のフォーカス調整装置。
7. 前記決定部は、撮影光学系の被写界深度に基づいて前記フォーカスレンズの移動量を決定することを特徴とする請求項１に記載のフォーカス調整装置。
8. 請求項１に記載のフォーカス調整装置を有する撮像装置。

Images