JP5866493B2

JP5866493B2 - 撮像装置

Info

Publication number: JP5866493B2
Application number: JP2014217960A
Authority: JP
Inventors: 基範小倉; 充義岡本; 成功八釣
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2013-11-19
Filing date: 2014-10-27
Publication date: 2016-02-17
Anticipated expiration: 2034-10-27
Also published as: US20160173762A1; US9571719B2; US20150138429A1; US9832362B2; JP2015121774A

Description

本開示は撮像装置に関する。

特許文献１は、ＤＦＤ（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ）方式のシステムを採用した撮像装置を開示している。この撮像装置は、複数種類のボケが得られるようにフォーカス制御を実施し、撮像素子によりボケの大きさが異なる複数の画像を取得する。次に、撮像装置は、ボケの大きさが異なる複数の画像に基づいて、被写体距離を算出する。そして、撮像装置は、算出した被写体距離に基づいて、フォーカス制御を実施する。

特開２０１１−１５１６３号公報

ＤＦＤ方式のシステムを採用することにより、被写体への合焦動作の高速化が期待される。一方、ＤＦＤ方式のシステムを採用するため、より高い合焦精度の改善が求められている。

本開示は、より精度高い合焦動作を実現する撮像装置を提供する。

本開示の撮像装置は、フォーカスレンズと、フォーカスレンズを介して形成された被写体像を撮像し、画像データを生成する撮像部と、フォーカスレンズが第１の位置にあるときに撮像部によって生成された第１の画像データと、フォーカスレンズが第１の位置から第１の移動量を移動した第２の位置にあるときに撮像部によって生成された第２の画像データとに基づいて、フォーカスレンズの第１の移動量の大きさに応じて被写体距離の分解能を設定した状態で合焦位置に関する値を算出する画像処理部と、合焦位置に関する値の算出結果に基づいて、次回のフォーカスレンズの移動量を第１の移動量から変化させる制御部と、を備える。

本発明によれば、より精度高い合焦動作を実現する撮像装置を提供できる。

実施の形態におけるデジタルビデオカメラの電気的構成を示すブロック図実施の形態におけるデジタルビデオカメラの動作のブロック図実施の形態におけるデジタルビデオカメラの動作のイメージ図実施の形態におけるデジタルビデオカメラのＤＦＤ演算のイメージ図実施の形態のデジタルビデオカメラにおけるオートフォーカス動作のフローチャート実施の形態のデジタルビデオカメラにおけるオートフォーカス動作を説明するイメージ図実施の形態におけるデジタルビデオカメラの複数の被写体距離に対するズームトラッキングテーブルを示す図実施の形態のデジタルビデオカメラにおけるＤＦＤ演算の精度を説明するためのイメージ図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

撮像装置から被写体までの距離である被写体距離を計測する数ある方法の１つに、撮影された画像に生じるボケ量（Ｄｅｆｏｃｕｓ）の相関値を利用するＤＦＤ（ＤｅｐｔｈｆｒｏｍＤｅｆｏｃｕｓ）と呼ばれる手法がある。一般に、撮影画像に生じるボケ量は、撮影時のフォーカス位置と被写体距離との関係に応じて撮像装置毎に一意に決まる。ＤＦＤ演算ではこの特性を利用し、フォーカス位置を変動させることでボケ量の異なる２枚の画像を意図的に作り出し、ボケ量の違いと点拡がり関数（Ｐｏｉｎｔｓｐｒｅａｄｆｕｎｃｔｉｏｎ、ＰＳＦ）とから被写体距離を計測する。実施の形態にかかる撮像装置は、ＤＦＤ演算を用いて被写体距離を計測することによりオートフォーカス制御を行う。

以下、実施の形態における撮像装置の構成および動作について説明する。

〔１．撮像装置の電気的構成〕
図１は、実施の形態における撮像装置であるデジタルビデオカメラ１００の電気的構成を示すブロック図である。デジタルビデオカメラ１００は、１以上のレンズからなる光学系１１０を備える。光学系１１０は被写体からの光により被写体像をＣＭＯＳイメージセンサ１４０上に形成する。形成された被写体像を撮像センサであるＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０は撮像した被写体像に基づいて画像データを生成する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、Ａ／Ｄコンバータ（ＡＤＣ）１５０でデジタル信号に変換された後、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成を詳細に説明する。

実施の形態における光学系１１０は、ズームレンズ１１１、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４により構成される。ズームレンズ１１１を光軸１１０Ｘに沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズ１１３を光軸１１０Ｘに沿って移動させることにより被写体像のフォーカスを調整することができる。また、手振れ補正レンズ１１２は、光学系１１０の光軸１１０Ｘに垂直な面内で移動可能である。デジタルビデオカメラ１００のブレを打ち消す方向に手振れ補正レンズ１１２を移動することで、デジタルビデオカメラ１００のブレが撮像画像に与える影響を低減できる。また、絞り１１４は光軸１１０Ｘ上に位置する開口部１１４Ａを有し、使用者の設定に応じて若しくは自動で開口部１１４Ａの大きさを調整し、透過する光の量を調整する。

レンズ駆動部１２０は、ズームレンズ１１１を駆動するズームアクチュエータや、手振れ補正レンズ１１２を駆動する手振れ補正アクチュエータや、フォーカスレンズ１１３を駆動するフォーカスアクチュエータや、絞り１１４を駆動する絞りアクチュエータを含む。そして、レンズ駆動部１２０は、上記のズームアクチュエータや、フォーカスアクチュエータや、手振れ補正アクチュエータや、絞りアクチュエータを制御する。

ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像してアナログ信号であるアナログ画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。

Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル信号であるデジタル画像データに変換する。

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。

制御部１８０は、デジタルビデオカメラ１００全体を制御する。制御部１８０は半導体素子などで実現できる。制御部１８０はハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１８０は、マイコンなどで実現できる。

バッファ１７０は、画像処理部１６０及び制御部１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

カードスロット１９０はメモリカード２００を着脱可能に保持する。カードスロット１９０は機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００はフラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納できる。

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶する。また、内部メモリ２４０は点拡がり関数を格納している。

操作部材２１０は使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等を含む。

表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成された画像データが示す画像や、メモリカード２００から読み出された画像データが示す画像を表示できる画面２２０Ａを有する。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も画面２２０Ａに表示できる。表示モニタ２２０の画面２２０Ａ上にはタッチパネル２２０Ｂが配置されている。タッチパネル２２０Ｂはユーザによりタッチされて各種タッチ操作を受け付けることができる。タッチパネル２２０Ｂに対するタッチ操作が示す指示は制御部１８０に通知され各種処理が行われる。

角速度センサ２５０は、手振れ等に起因してデジタルビデオカメラ１００に発生した角速度を検出する。角速度センサ２５０が検出した角速度は制御部１８０に通知される。制御部１８０は、角速度センサ２５０から通知された角速度により、デジタルビデオカメラ１００に発生した角速度に基づく画像のブレを解消するよう手振れ補正レンズ１１２を駆動させることができる。

〔２．デジタルビデオカメラ１００の動作〕
デジタルビデオカメラ１００は、ＤＦＤ演算の結果を用いてオートフォーカス動作を行う。図２は、実施の形態におけるデジタルビデオカメラ１００のＤＦＤ演算の結果を用いたフォーカスレンズ制御を説明するためのブロック図である。

ＤＦＤ演算回路１６１は、画像処理部１６０内に構成された演算回路であり、ＤＦＤ演算を実施してＤｅｐｔｈマップを作成する。具体的には、ＤＦＤ演算回路１６１は、フォーカス位置を変動させることで、意図的に作り出したボケ量の異なる２枚の画像である観測画像ＰＡ、参照画像ＰＢと点拡がり関数とから観測画像ＰＡ（参照画像ＰＢ）の各画素での被写体距離を示すＤｅｐｔｈマップを作成する。

次に、ＤＦＤ演算回路１６１は、作成したＤｅｐｔｈマップを制御部１８０に通知する。制御部１８０は、通知されたＤｅｐｔｈマップに基づいてフォーカスレンズ１１３を駆動するようレンズ駆動部１２０を制御する。

以下、図２に示したＤＦＤ演算回路１６１によるＤＦＤ演算の詳細と、制御部１８０による被写体距離の決定の詳細について説明する。

まず、ＤＦＤ演算回路１６１によるＤＦＤ演算の詳細について説明する。図３は、実施の形態におけるデジタルビデオカメラ１００のＤＦＤ演算におけるフォーカスレンズ１１３の移動を説明するためのイメージ図である。ＤＦＤ演算において、制御部１８０はフォーカス位置を変動させることで、意図的にボケ量の異なる２枚の画像を作り出す。具体的には、図３に示すように、制御部１８０はレンズ駆動部１２０を制御して、時刻ｔ１におけるフォーカスレンズ１１３の位置をフォーカス位置Ｌ１に設定する。同様に、時刻ｔ２におけるフォーカスレンズ１１３の位置を、フォーカス位置Ｌ１と異なるフォーカス位置Ｌ２に設定する。ＣＭＯＳイメージセンサ１４０は、フォーカスレンズ１１３がフォーカス位置Ｌ１にあるときに被写体を撮像して、観測画像ＰＡを作成する。同様に、ＣＭＯＳイメージセンサ１４０は、フォーカスレンズ１１３がフォーカス位置Ｌ２にあるときにその被写体を撮像して参照画像ＰＢを作成する。観測画像ＰＡと参照画像ＰＢとは、撮像されたときのフォーカスレンズ１１３の位置が異なるので、同一被写体を撮像した画像ではあるが互いにボケ量が異なる。

図４は、実施の形態におけるデジタルビデオカメラ１００のＤＦＤ演算による被写体距離の算出を説明するイメージ図である。ＤＦＤ演算回路１６１は、観測画像ＰＡを構成する各観測画素ＳＡ、参照画像ＰＢを構成する各参照画素ＳＢに対してＤＦＤ演算を行い、各画素ＳＡ（ＳＢ）での被写体距離を算出する。ＤＦＤ演算回路１６１は、観測画素ＳＡに複数の点拡がり関数を畳み込んで得られた結果である複数の観測画素ＣＡを、観測画素ＣＡと画像上の同じ座標の参照画素ＳＢと照合する。その動作を以下に説明する。

点拡がり関数は、光学系の点光源に対する応答を示す関数であり、ボケ量の変化を示す。点拡がり関数を、点光源の集合に対応する画像に畳み込む（Ｃｏｎｖｏｌｕｔｉｏｎ）ことで、人為的にボケ画像を生成することができる。本実施の形態では、多数の被写体距離に対応して予め多数の点拡がり関数が内部メモリ２４０内に用意している。制御部１８０は、至近側から遠側までを１６段階の被写体距離に分解し、それらの被写体距離にそれぞれ対応する１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６を内部メモリ２４０に用意された多数の点拡がり関数から選択する。このとき、フォーカスレンズ１１３の移動量に応じて、至近側から遠側までの１６段階の被写体距離の分解能を変化させる。すなわち、制御部１８０は、フォーカスレンズ１１３の移動量が減少するにつれて、至近側から遠側までを１６段階に分解する被写体距離の間隔を狭くする。一方、制御部１８０は、フォーカスレンズ１１３の移動量が増加するにつれて、至近側から遠側までを１６段階に分解する被写体距離の間隔を広くする。そして、制御部１８０は、選択した１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６をＤＦＤ演算回路１６１に通知する。

ＤＦＤ演算回路１６１は、各観測画素ＳＡでの被写体までの距離に対応した１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６を各観測画素ＳＡに畳み込みすることで、各観測画素ＳＡでの被写体までの距離に対応した１６個の観測画素ＣＡ１〜ＣＡ１６を生成する。１６個の観測画素ＣＡ１〜ＣＡ１６は、畳み込まれている点拡がり関数がそれぞれ異なるので、それぞれ異なるボケ画像を形成する。

続いて、ＤＦＤ演算回路１６１は、観測画素ＣＡ１〜ＣＡ１６を参照画素ＳＢと照合し、観測画素ＣＡ１〜ＣＡ１６のうち参照画素ＳＢとの差分値が最小となる観測画素ＣＡｎを判定する。そして、観測画素ＣＡｎに畳み込まれている点拡がり関数に対応する被写体距離を観測画素ＳＡの被写体距離であると決定する。例えば、観測画素ＣＡ３と参照画素ＳＢとの差分値が、他の観測画素ＣＡ１〜２、ＣＡ４〜１６のそれぞれと参照画素ＳＢとの差分値と比較して最小となる場合、ＤＦＤ演算回路１６１は、観測画素ＣＡ３を作成する際に観測画素ＳＡに畳み込んだ点拡がり関数ＰＳＦ３に対応する被写体距離を観測画素ＳＡでの被写体距離であると決定する。

以上の動作を、観測画像ＰＡ及び参照画像ＰＢの各画素について実施することにより、ＤＦＤ演算回路１６１は各画素についての被写体距離の分布であるＤｅｐｔｈマップを完成させる。実施の形態では各被写体までの距離に対応した１６個の点拡がり関数を用いたので、Ｄｅｐｔｈマップは１６階調の被写体距離を示す。

続いて、図５及び図６を用いて、ＤＦＤ演算結果を用いたオートフォーカス動作について説明する。図５は、デジタルビデオカメラ１００におけるオートフォーカス動作のフローチャートである。図６は、デジタルビデオカメラ１００におけるオートフォーカス動作を説明するイメージ図である。図６は、フォーカスレンズ１１３の各位置Ｐ１〜Ｐ４における被写体距離に対するコントラスト値のイメージを示している。図６において、位置Ｐ１〜Ｐ４は、フォーカスレンズ１１３の位置を示す。移動量Ｄ１〜Ｄ３は、フォーカスレンズ１１３の移動量を示す。また、被写体距離Ｓ１〜Ｓ５は、被写体までの距離を示す。また、コントラストカーブＣＣ１〜ＣＣ４は、それぞれ被写体距離Ｓ１〜Ｓ４においてフォーカスレンズ１１３が位置Ｐ１〜Ｐ４にあるときに、コントラスト値がピークとなるコントラストカーブである。被写体距離Ｓ５は、合焦動作の目的としている被写体が存在する被写体距離を示す。

図５に示すように、デジタルビデオカメラ１００は、撮影モードにおいて、オートフォーカス動作を実施する。まず、画像処理部１６０は、現在のフォーカスレンズ１１３の位置Ｐ１において、ＣＭＯＳイメージセンサ１４０が撮像した画像を取得する（ステップＳ３００）。続いて、制御部１８０は、レンズ駆動部１２０を制御して、フォーカスレンズ１１３を、位置Ｐ１から第１の移動量Ｄ１だけシフトした位置Ｐ２へと移動させる（ステップＳ３０１）。画像処理部１６０は、フォーカスレンズ１１３が位置Ｐ２に移動すると、ＣＭＯＳイメージセンサ１４０が撮像した画像を取得する（ステップＳ３０２）。

ここで、画像処理部１６０は、ステップＳ３００にて取得した画像を観測画像ＰＡとし、ステップＳ３０２にて取得した画像を参照画像ＰＢとして、上述したＤＦＤ演算を実施する（ステップＳ３０３）。画像処理部１６０は、ＤＦＤ演算により被写体距離（合焦位置を示す情報）を算出する。

次に、制御部１８０は、ステップＳ３０３のＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、所定の範囲内であるか否かを判定する（ステップＳ３０４）。このとき、ステップＳ３０３のＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６のいずれに対応する被写体距離であるかを判定する。上述したように、点拡がり関数ＰＳＦ１〜ＰＳＦ１６は、至近側から遠側までを１６段階に分解された被写体距離に対応している。このとき、点拡がり関数ＰＳＦ１は、点拡がり関数ＰＳＦ１〜ＰＳＦ１６のうち、最も至近側の被写体距離に対応している。一方、点拡がり関数ＰＳＦ１６は、点拡がり関数ＰＳＦ１〜ＰＳＦ１６のうち、最も遠側の被写体距離に対応している。よって、具体的には、制御部１８０は、ステップＳ３０３のＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、点拡がり関数ＰＳＦ１又は点拡がり関数ＰＳＦ１６に対応するか（所定の範囲外であるか）、点拡がり関数ＰＳＦ２〜ＰＳＦ１５に対応するか（所定の範囲内であるか）を判定する。

ステップＳ３０３のＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、所定の範囲内にない（点拡がり関数ＰＳＦ１又は点拡がり関数ＰＳＦ１６に対応する）と判定されたとき（ステップＳ３０４の「Ｎｏ」）、制御部１８０は、ＤＦＤ演算におけるフォーカスレンズ１１３の移動量として、第１の移動量Ｄ１よりも移動量を増加させた第２の移動量Ｄ２を設定する（ステップＳ３０５）。そして、制御部１８０は、レンズ駆動部１２０を制御して、フォーカスレンズ１１３を位置Ｐ２から第２の移動量Ｄ２だけシフトした位置Ｐ３へと移動させる（２巡目のステップＳ３０１）。画像処理部１６０は、フォーカスレンズ１１３が位置Ｐ３に移動すると、ＣＭＯＳイメージセンサ１４０が撮像した画像を取得する（２巡目のステップＳ３０２）。

ここで、画像処理部１６０は、１巡目のステップＳ３０２にて取得した画像を観測画像ＰＡとし、２巡目のステップＳ３０２にて取得した画像を参照画像ＰＢとして、ＤＦＤ演算を再度実施する（２巡目のステップＳ３０３）。そして、画像処理部１６０は、ＤＦＤ演算により被写体距離（合焦位置を示す情報）を算出する。再び、制御部１８０は、ステップＳ３０３のＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、所定の範囲内であるか否かを判定する（２巡目のステップＳ３０４）。制御部１８０は、ステップＳ３０３のＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、所定の範囲内になる（点拡がり関数ＰＳＦ２〜ＰＳＦ１５に対応する）まで、ステップＳ３０１からステップＳ３０５の動作を繰り返す。ステップＳ３０３のＤＦＤ演算により算出された被写体距離が、所定の範囲内にない場合に、フォーカスレンズ１１３の移動量を増加させる技術的意義については後述する。

ステップＳ３０４において、ステップＳ３０３のＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、所定の範囲内であると判定されると（ステップＳ３０４の「Ｙｅｓ」）、制御部１８０は、ＤＦＤ演算におけるフォーカスレンズ１１３の移動量として、前回の移動量（第１の移動量Ｄ１又は第２の移動量Ｄ２）よりも移動量を減少させた第３の移動量Ｄ３を設定する（ステップＳ３０６）。続いて、制御部１８０は、レンズ駆動部１２０を制御して、フォーカスレンズ１１３を、位置Ｐ３から第３の移動量Ｄ３だけシフトした位置Ｐ４へと移動させる（ステップＳ３０７）。画像処理部１６０は、フォーカスレンズ１１３が位置Ｐ４に移動すると、ＣＭＯＳイメージセンサ１４０が撮像した画像を取得する（ステップＳ３０８）。

ここで、画像処理部１６０は、前回のステップＳ３０２にて取得した画像を観測画像ＰＡとし、ステップＳ３０８にて取得した画像を参照画像ＰＢとして、ＤＦＤ演算を実施する（ステップＳ３０９）。画像処理部１６０は、ＤＦＤ演算により被写体距離（合焦位置を示す情報）を算出する。

次に、制御部１８０は、ＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が所定の分解能を満たすか否かを判定する（ステップＳ３１０）。本実施の形態では、画像上でボケを感じさせない分解能を所定の分解能とする。

ＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が所定の分解能を満たさない場合（ステップＳ３１０の「Ｎｏ」）、制御部１８０は、ＤＦＤ演算を画像処理部１６０に再度実施させる。このとき、制御部１８０は、ＤＦＤ演算におけるフォーカスレンズ１１３の移動量として、第３の移動量Ｄ３よりも移動量を更に減少させた移動量を設定する（２巡目のステップＳ３０６）。そして、制御部１８０は、ステップＳ３０９におけるＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、所定の分解能を満たすまで、ステップＳ３０６からステップＳ３１０の処理を繰り返す（ステップＳ３１０の「Ｎｏ」）。ステップＳ３０９のＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、所定の分解能以下である場合に、フォーカスレンズ１１３の移動量を減少させる技術的意義については後述する。

ステップＳ３１０において、ステップＳ３０９のＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、所定の分解能を満たすと判定された場合（ステップＳ３１０の「Ｙｅｓ」）、制御部１８０は、オートフォーカス動作において、ＤＦＤ演算により決定された被写体距離に基づいて、フォーカスレンズ１１３を最終的に移動させるべき合焦位置を決定する（ステップＳ３１１）。具体的には、制御部１８０は、トラッキングテーブルを参照して、求めた被写体距離と現在のズームレンズ１１１の位置とに基づいて合焦位置を算出する。図７は、実施の形態におけるデジタルビデオカメラ１００の複数の被写体距離に対するズームトラッキングテーブルを示す。図７に示すように、ズームトラッキングテーブルは、代表的ないくつかの被写体距離ＤＬ（図７では１ｍ、２ｍ、３ｍ、無限遠（ＩＮＦ））に対応してズームレンズ１１１の位置に対する合焦位置を示すカーブＤＭ１〜ＤＭ４を含む。制御部１８０は、ズームトラッキングテーブルに記載のカーブを被写体距離について補間することで、代表的な被写体距離ＤＬ以外の被写体距離についてもフォーカスレンズ１１３を移動させるべき位置である合焦位置を算出することができる。

そして、制御部１８０は、レンズ駆動部１２０を制御することにより、フォーカスレンズ１１３を合焦位置へと移動させる（ステップＳ３１２）。

以上説明したオートフォーカス動作により、デジタルビデオカメラ１００は、合焦精度を確保することができる。

続いて、ステップＳ３０３のＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、所定の範囲内にない（点拡がり関数ＰＳＦ１又は点拡がり関数ＰＳＦ１６に対応する）場合に、フォーカスレンズ１１３の移動量を増加させる技術的意義について説明する。

図６は、フォーカスレンズ１１３が位置Ｐ１〜Ｐ４に位置するときの、被写体距離に対するコントラスト値の関係を示している。ＤＦＤ演算においては、互いに異なるフォーカスレンズ位置において取得した少なくとも２枚の画像から、被写体距離を算出する。具体的には、前述したとおり、画像処理部１６０は、観測画像ＰＡの観測画素ＳＡに対して点拡がり関数を畳み込んだ結果である観測画素ＣＡと、参照画像ＰＢの参照画素ＳＢとを照合して、被写体距離を算出する。この照合において、有意な被写体距離を算出するためには、参照画像ＰＢは、目的の被写体距離において、所定値以上のコントラスト値を有している必要がある。目的の被写体距離において、所定値以上のコントラスト値を有していない場合とは、参照画像ＰＢにて、目的の被写体距離に位置する被写体像のコントラスト値を有意に検出できていないことを意味する。そのため、目的の被写体距離に位置する被写体像のコントラスト値を有意に検出できる位置に、フォーカスレンズ１１３を更に移動させる必要がある。図６に示す例では、被写体距離Ｓ５に目的の被写体が存在する。このとき、被写体距離Ｓ２にピークをもつコントラストカーブＣＣ２の被写体距離Ｓ５におけるコントラスト値はたいへん小さいため、コントラストカーブＣＣ２からは、被写体距離Ｓ５において有意なコントラスト値を検出することができない。すなわち、フォーカスレンズ１１３が位置Ｐ２に位置しているときは、被写体距離Ｓ５にある被写体に対しては有意なコントラスト値を検出することができない。このとき、図５のステップＳ３０５において移動量を増加させることなく、前回（ステップＳ３０１）と同じ第１の移動量Ｄ１にてフォーカスレンズ１１３を移動させても可能である。しかし、第１の移動量Ｄ１よりも大きい第２の移動量Ｄ２によりフォーカスレンズ１１３を移動させることで、目的の被写体距離に位置する被写体像のコントラスト値を有意に検出できる可能性を高めることができる。図６に示すように、フォーカスレンズ１１３を第１の移動量Ｄ１よりも大きい第２の移動量Ｄ２の移動量で移動させて位置Ｐ３に位置させることにより、被写体距離Ｓ５において有意なコントラスト値Ｃ１を検出することができる。すなわち、被写体距離Ｓ３にピークをもつコントラストカーブＣＣ３は、被写体距離Ｓ５において有意なコントラスト値Ｃ１を有する。

続いて、ステップＳ３０９のＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が、所定の分解能より低い場合に、フォーカスレンズ１１３の移動量を減少させる技術的意義について説明する。

フォーカスレンズ１１３の移動量を減少させることは、参照画像ＰＢを観測画像ＰＡにより近づけることを意味する。ＤＦＤ演算においては、観測画像ＰＡが示すコントラスト値と、参照画像ＰＢが示すコントラスト値とが重畳する範囲が少しでもあれば、何かしらの照合結果を得ることができる。観測画像ＰＡと参照画像ＰＢとの照合における精度について図８を用いて説明する。図８は、ＤＦＤ演算の精度を説明するためのイメージ図である。図８のコントラストカーブＣＣ３及びＣＣ４に示すように、裾野付近からピーク位置付近に近づくにつれて傾きが急峻になるが、裾野付近では傾きがなだらかである。そのため、観測画像ＰＡが示すコントラスト値と、参照画像ＰＢが示すコントラスト値とが重畳する範囲があったとしても、その重畳する範囲が裾野付近である場合は、コントラスト値の所定の差分ΔＣに対する被写体距離の差分（例えば、コントラストカーブＣＣ３の被写体距離Ｓ５におけるコントラスト値の所定の差分ΔＣに対する被写体距離の差分ΔＳ３）が大きくなってしまい、十分な被写体距離の検出精度を確保することができない。一方、その重畳する範囲が裾野側からよりピーク位置側に近付いた場合は、コントラスト値の所定の差分ΔＣに対する被写体距離の差分（例えば、コントラストカーブＣＣ４の被写体距離Ｓ５におけるコントラスト値の所定の差分ΔＣに対する被写体距離の差分ΔＳ４）を小さくすることができ、十分な被写体距離の検出精度を確保することができる。

図５に示すステップＳ３０６においてフォーカスレンズ１１３の移動量を減少させる段階では、すでにステップＳ３０４において、ＤＦＤ演算により算出された被写体距離（合焦位置を示す情報）が所定の範囲内であること（点拡がり関数ＰＳＦ２〜ＰＳＦ１５に対応すること）を満たしている。これは、図６に示すコントラストカーブＣＣ３の被写体距離Ｓ５におけるコントラスト値Ｃ１が示すように、ステップＳ３０２で取得する参照画像ＰＢ（ステップＳ３０９におけるＤＦＤ演算では観測画像ＰＡ）における、目的の被写体に対するコントラスト値が、裾野付近よりは比較的ピーク位置側にあることを示している。したがって、図５及び図６に示すコントラストカーブＣＣ４のように、ステップＳ３０８で取得する参照画像ＰＢにおける、目的の被写体に対するコントラスト値を、よりピーク位置側に近づけることで、ステップＳ３０９のＤＦＤ演算のときに被写体距離の検出精度を高めることができる。このように、ステップＳ３０９のＤＦＤ演算のときの観測画像ＰＡは、すでに裾野付近よりピーク位置側にあるため、フォーカスレンズ１１３の移動量を減少させることで、参照画像ＰＢにおける、目的の被写体のコントラスト値を、更にピーク位置側に漸近させることができる。図６に示す例では、フォーカスレンズ１１３をより小さい第３の移動量Ｄ３で位置Ｐ４に移動させることにより、被写体距離Ｓ５においてより有意なコントラスト値Ｃ２を検出することができる。これにより、ＤＦＤ演算結果に基づく合焦動作の精度を向上させることができる。

〔３．効果等〕
上記のように、デジタルビデオカメラ１００は、フォーカスレンズ１１３と、フォーカスレンズ１１３を介して形成された被写体像を撮像し、画像データを生成するＣＭＯＳイメージセンサ１４０と、フォーカスレンズ１１３が第１の位置にあるときにＣＭＯＳイメージセンサ１４０によって生成された第１の画像データ（観測画像ＰＡ）と、フォーカスレンズ１１３が第１の位置から第１の移動量を移動した第２の位置にあるときにＣＭＯＳイメージセンサ１４０によって生成された第２の画像データ（参照画像ＰＢ）とに基づいて、フォーカスレンズ１１３の第１の移動量の大きさに応じて被写体距離の分解能を設定した状態で合焦位置に関する値を算出する画像処理部１６０と、合焦位置に関する値の算出結果に基づいて、次回のフォーカスレンズ１１３の移動量を第１の移動量から変化させる制御部１８０と、を備える。これにより、すでに算出した合焦位置に関する値の精度を更に高めることができる。

一般に、コントラストオートフォーカス方式と呼ばれているオートフォーカス方式では、あるフォーカスレンズ位置における撮像画像の高周波成分を抽出しているのみであり、それだけでは合焦位置はわからない。一方、ＤＦＤ演算を用いたオートフォーカス方式では、被写体距離に対応して合焦位置の結果はすでに算出されている。本開示のデジタルビデオカメラ１００では、ＤＦＤ演算を用いてすでに合焦位置が算出されているが、フォーカスレンズ１１３の移動量を変化させることにより、合焦位置の算出結果の精度を更に高めることができる。

また、制御部１８０は、合焦位置に関する値が、所定の範囲内にあるか否かを判定する。そして、制御部１８０は、合焦位置に関する値が、所定の範囲内にないと判定したときは、次回のフォーカスレンズ１１３の移動量を第１の移動量から増加させた第２の移動量へと変化させ、再度合焦位置に関する値を算出する。これにより、合焦位置に関する値が、所定の範囲内に収まるように、より確実に合焦動作を行うことができる。

一方、制御部１８０は、合焦位置に関する値が、所定の範囲内にあると判定したときは、次回のフォーカスレンズ１１３の移動量を第１の移動量から減少させた第３の移動量へと変化させ、再度合焦位置に関する値を算出する。これにより、すでに所定の範囲内に収まっている合焦位置に関する値の精度を、より高めることができる。

そして、制御部１８０は、再度算出した合焦位置に関する値が、第２の所定の範囲にある（所定の分解能を満たす）と判定したときに、当該算出した合焦位置へとフォーカスレンズ１１３を移動させる。これにより、精度の高い合焦動作を実現することができる。

〔４．他の実施の形態〕
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

上記の実施の形態において、点拡がり関数は内部メモリ２４０に用意されている。本発明はこれに限定されず、点拡がり関数は、例えば画像処理部１６０内のメモリに用意されていてもよい。また、実施の形態におけるデジタルビデオカメラ１００では、１６個の点拡がり関数が選択されるが、Ｄｅｐｔｈマップの階調の数に応じて、選択される点拡がり関数の数は１６個以上であっても１６個未満であってもよい。

実施の形態における撮像装置であるデジタルビデオカメラは非レンズ交換式のデジタルビデオカメラであるが、これに限定されず、レンズ交換式のデジタルビデオカメラであってもよい。

上記実施の形態では、観測画素ＳＡに、点拡がり関数ＰＳＦ１〜ＰＳＦ１６を畳み込んだ結果を、参照画素ＳＢと照合するようにしたが、本開示はこれに限定されない。観測画素ＳＡと参照画素ＳＢとから、奥行が幅広く焦点が合った全焦点画像を一旦生成し、この全焦点画像に点拡がり関数ＰＳＦ１〜ＰＳＦ１６を畳み込んだ結果を、参照画素ＳＢと照合するようにしてもよい。全焦点画像によれば、奥行が幅広く焦点が合っているため、奥行に幅広くコントラスト情報を有することになり、ＤＦＤ演算のＳ／Ｎを向上させることができる。そのため、合焦位置の算出精度をより向上させることができる。更には、この全焦点画像に点拡がり関数ＰＳＦ１〜ＰＳＦ１６を畳み込んだ結果を、参照画素ＳＢでなく、観測画素ＳＡと照合するようにしてもよい。観測画素ＳＡと、参照画素ＳＢとでは、画像を撮像したときのフォーカスレンズの位置が互いに異なるため、被写体に対して異なるコントラスト情報を有する。そのため、観測画素ＳＡでは、コントラスト情報を有する被写体であっても、参照画素ＳＢでは、コントラスト情報を有しない被写体が発生し得る。このような場合に、この全焦点画像に点拡がり関数ＰＳＦ１〜ＰＳＦ１６を畳み込んだ結果を、観測画素ＳＡと照合することで、ＤＦＤ演算によって合焦位置を判定可能なダイナミックレンジを拡げることができる。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示における撮像装置は、デジタルビデオカメラや、デジタルスチルカメラや、カメラ機能付携帯電話や、カメラ機能付スマートフォン等に適用できる。

１００デジタルビデオカメラ（撮像装置）
１１０光学系
１１１ズームレンズ
１１２手振れ補正レンズ
１１３フォーカスレンズ
１１４絞り
１２０レンズ駆動部
１４０ＣＭＯＳイメージセンサ（撮像センサ）
１５０Ａ／Ｄコンバータ
１６０画像処理部
１７０バッファ
１８０制御部
１９０カードスロット
２００メモリカード
２１０操作部材
２２０表示モニタ
２４０内部メモリ
２５０角速度センサ

Claims

フォーカスレンズと、
前記フォーカスレンズを介して形成された被写体像を撮像し、画像データを生成する撮像部と、
前記フォーカスレンズが第１の位置にあるときに前記撮像部によって生成された第１の画像データと、前記フォーカスレンズが前記第１の位置から第１の移動量を移動した第２の位置にあるときに前記撮像部によって生成された第２の画像データとに基づいて、前記フォーカスレンズの前記第１の移動量の大きさに応じて被写体距離の分解能を設定した状態で合焦位置に関する値を算出する画像処理部と、
前記合焦位置に関する値の算出結果に基づいて、次回の前記フォーカスレンズの移動量を前記第１の移動量から変化させる制御部と、を備えた撮像装置。