JP6405531B2

JP6405531B2 - 撮像装置

Info

Publication number: JP6405531B2
Application number: JP2014217959A
Authority: JP
Inventors: 基範小倉; 充義岡本; 成功八釣
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2013-11-19
Filing date: 2014-10-27
Publication date: 2018-10-17
Anticipated expiration: 2034-10-27
Also published as: JP2015121773A; US20150138430A1; US9667853B2

Description

本開示は撮像装置に関する。

特許文献１は、ＤＦＤ（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ）方式のシステムを採用した撮像装置を開示している。この撮像装置は、複数種類のボケが得られるようにフォーカス制御を実施し、撮像素子によりボケの大きさが異なる複数の画像を取得する。次に、撮像装置は、ボケの大きさが異なる複数の画像に基づいて、被写体距離を算出する。そして、撮像装置は、算出した被写体距離に基づいて、フォーカス制御を実施する。

特開２０１１−１５１６３号公報

ＤＦＤ方式のシステムを採用することにより、被写体への合焦動作の高速化が期待される。一方、ＤＦＤ方式のシステムを採用するため、より高い精度改善が求められている。

本開示は、より精度高く被写体距離を決定する撮像装置を提供する。

本開示の撮像装置は、フォーカスレンズを含み、被写体の被写体像を形成する光学系と、光学系を介して形成される被写体像を撮像し、画像データを生成する撮像部と、フォーカスレンズが第１フォーカスレンズ位置にあるときに生成された第１画像データと、フォーカスレンズが第２フォーカスレンズ位置にあるときに生成された第２画像データとに基づき、光学系の状態を示す情報によって得られる解像度の変化度合いを示す情報に応じて、被写体距離を決定する制御部とを備える。

本開示によれば、より精度高く被写体距離を決定する撮像装置を提供できる。

実施の形態におけるデジタルビデオカメラの電気的構成を示すブロック図実施の形態におけるデジタルビデオカメラの動作のブロック図実施の形態におけるデジタルビデオカメラの動作のイメージ図実施の形態におけるデジタルビデオカメラのＤＦＤ演算のイメージ図（Ａ）実施の形態のデジタルビデオカメラにおけるＤＦＤ演算結果の信頼できる領域を示すイメージ図（Ｂ）実施の形態のデジタルビデオカメラにおけるＤＦＤ演算結果の信頼できる領域を示すイメージ図（Ｃ）実施の形態のデジタルビデオカメラにおけるＤＦＤ演算結果の信頼できる領域を示すイメージ図実施の形態におけるデジタルビデオカメラの複数の被写体距離に対するズームトラッキングテーブルを示す図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

撮像装置から被写体までの距離である被写体距離を計測する数ある方法の１つに、撮影された画像に生じるボケ量（Ｄｅｆｏｃｕｓ）の相関値を利用するＤＦＤ（ＤｅｐｔｈｆｒｏｍＤｅｆｏｃｕｓ）と呼ばれる手法がある。一般に、撮影画像に生じるボケ量は、撮影時のフォーカス位置と被写体距離との関係に応じて撮像装置毎に一意に決まる。ＤＦＤ演算ではこの特性を利用し、フォーカス位置を変動させることでボケ量の異なる２枚の画像を意図的に作り出し、ボケ量の違いと点拡がり関数（Ｐｏｉｎｔｓｐｒｅａｄｆｕｎｃｔｉｏｎ、ＰＳＦ）とから被写体距離を計測する。実施の形態にかかる撮像装置は、ＤＦＤ演算を用いて被写体距離を計測することによりオートフォーカス制御を行う。

以下、実施の形態における撮像装置の構成および動作について説明する。

〔１．撮像装置の電気的構成〕
図１は、実施の形態における撮像装置であるデジタルビデオカメラ１００の電気的構成を示すブロック図である。デジタルビデオカメラ１００は、１以上のレンズからなる光学系１１０を備える。光学系１１０は被写体からの光により被写体像をＣＭＯＳイメージセンサ１４０上に形成する。形成された被写体像を撮像センサであるＣＭＯＳイメージセンサ１４０で撮像する。ＣＭＯＳイメージセンサ１４０は撮像した被写体像に基づいて画像データを生成する。ＣＭＯＳイメージセンサ１４０で生成された画像データは、Ａ／Ｄコンバータ（ＡＤＣ）１５０でデジタル信号に変換された後、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルビデオカメラ１００の構成を詳細に説明する。

実施の形態における光学系１１０は、ズームレンズ１１１、手振れ補正レンズ１１２、フォーカスレンズ１１３、絞り１１４により構成される。ズームレンズ１１１を光軸１１０Ｘに沿って移動させることにより、被写体像の拡大、縮小をすることができる。また、フォーカスレンズ１１３を光軸１１０Ｘに沿って移動させることにより被写体像のフォーカスを調整することができる。また、手振れ補正レンズ１１２は、光学系１１０の光軸１１０Ｘに垂直な面内で移動可能である。デジタルビデオカメラ１００のブレを打ち消す方向に手振れ補正レンズ１１２を移動することで、デジタルビデオカメラ１００のブレが撮像画像に与える影響を低減できる。また、絞り１１４は光軸１１０Ｘ上に位置する開口部１１４Ａを有し、使用者の設定に応じて若しくは自動で開口部１１４Ａの大きさを調整し、透過する光の量を調整する。

レンズ駆動部１２０は、ズームレンズ１１１を駆動するズームアクチュエータや、手振れ補正レンズ１１２を駆動する手振れ補正アクチュエータや、フォーカスレンズ１１３を駆動するフォーカスアクチュエータや、絞り１１４を駆動する絞りアクチュエータを含む。そして、レンズ駆動部１２０は、上記のズームアクチュエータや、フォーカスアクチュエータや、手振れ補正アクチュエータや、絞りアクチュエータを制御する。

ＣＭＯＳイメージセンサ１４０は、光学系１１０で形成された被写体像を撮像してアナログ信号であるアナログ画像データを生成する。ＣＭＯＳイメージセンサ１４０は、露光、転送、電子シャッタなどの各種動作を行う。

Ａ／Ｄコンバータ１５０は、ＣＭＯＳイメージセンサ１４０で生成されたアナログ画像データをデジタル信号であるデジタル画像データに変換する。

画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して各種処理を施し、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＭＯＳイメージセンサ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。画像処理部１６０は、ＤＳＰやマイコンなどで実現可能である。

制御部１８０は、デジタルビデオカメラ１００全体を制御する。制御部１８０は半導体素子などで実現できる。制御部１８０はハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１８０は、マイコンなどで実現できる。

バッファ１７０は、画像処理部１６０及び制御部１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

カードスロット１９０はメモリカード２００を着脱可能に保持する。カードスロット１９０は機械的及び電気的にメモリカード２００と接続可能である。メモリカード２００はフラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納できる。

内部メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ２４０は、デジタルビデオカメラ１００全体を制御するための制御プログラム等を記憶する。また、内部メモリ２４０は点拡がり関数を格納している。

操作部材２１０は使用者からの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、例えば、使用者からの操作を受け付ける十字キーや決定釦等を含む。

表示モニタ２２０は、ＣＭＯＳイメージセンサ１４０で生成された画像データが示す画像や、メモリカード２００から読み出された画像データが示す画像を表示できる画面２２０Ａを有する。また、表示モニタ２２０は、デジタルビデオカメラ１００の各種設定を行うための各種メニュー画面等も画面２２０Ａに表示できる。表示モニタ２２０の画面２２０Ａ上にはタッチパネル２２０Ｂが配置されている。タッチパネル２２０Ｂはユーザによりタッチされて各種タッチ操作を受け付けることができる。タッチパネル２２０Ｂに対するタッチ操作が示す指示は制御部１８０に通知され各種処理が行われる。

角速度センサ２５０は、手振れ等に起因してデジタルビデオカメラ１００に発生した角速度を検出する。角速度センサ２５０が検出した角速度は制御部１８０に通知される。制御部１８０は、角速度センサ２５０から通知された角速度により、デジタルビデオカメラ１００に発生した角速度に基づく画像のブレを解消するよう手振れ補正レンズ１１２を駆動させることができる。

〔２．デジタルビデオカメラ１００の動作〕
デジタルビデオカメラ１００は、ＤＦＤ演算の結果を用いてオートフォーカス動作を行う。図２は、実施の形態におけるデジタルビデオカメラ１００のＤＦＤ演算の結果を用いたフォーカスレンズ制御を説明するためのブロック図である。

ＤＦＤ演算回路１６１は、画像処理部１６０内に構成された演算回路であり、ＤＦＤ演算を実施してＤｅｐｔｈマップを作成する。具体的には、ＤＦＤ演算回路１６１は、フォーカス位置を変動させることで、意図的に作り出したボケ量の異なる２枚の画像である観測画像ＰＡ、参照画像ＰＢと点拡がり関数とから観測画像ＰＡ（参照画像ＰＢ）の各画素での被写体距離を示すＤｅｐｔｈマップを作成する。

次に、ＤＦＤ演算回路１６１は、作成したＤｅｐｔｈマップを制御部１８０に通知する。制御部１８０は、通知されたＤｅｐｔｈマップに基づいてフォーカスレンズ１１３を駆動するようレンズ駆動部１２０を制御する。

以下、図２に示したＤＦＤ演算回路１６１によるＤＦＤ演算の詳細と、制御部１８０による被写体距離の決定の詳細について説明する。

まず、ＤＦＤ演算回路１６１によるＤＦＤ演算の詳細について説明する。図３は、実施の形態におけるデジタルビデオカメラ１００のＤＦＤ演算におけるフォーカスレンズ１１３の移動を説明するためのイメージ図である。ＤＦＤ演算において、制御部１８０はフォーカス位置を変動させることで、意図的にボケ量の異なる２枚の画像を作り出す。具体的には、図３に示すように、制御部１８０はレンズ駆動部１２０を制御して、時刻ｔ１におけるフォーカスレンズ１１３の位置をフォーカス位置Ｌ１に設定する。同様に、時刻ｔ２におけるフォーカスレンズ１１３の位置を、フォーカス位置Ｌ１と異なるフォーカス位置Ｌ２に設定する。ＣＭＯＳイメージセンサ１４０は、フォーカスレンズ１１３がフォーカス位置Ｌ１にあるときに被写体を撮像して、観測画像ＰＡを作成する。同様に、ＣＭＯＳイメージセンサ１４０は、フォーカスレンズ１１３がフォーカス位置Ｌ２にあるときにその被写体を撮像して参照画像ＰＢを作成する。観測画像ＰＡと参照画像ＰＢとは、撮像されたときのフォーカスレンズ１１３の位置が異なるので、同一被写体を撮像した画像ではあるが互いにボケ量が異なる。

図４は、実施の形態におけるデジタルビデオカメラ１００のＤＦＤ演算による被写体距離の算出を説明するイメージ図である。ＤＦＤ演算回路１６１は、観測画像ＰＡを構成する各観測画素ＳＡ、参照画像ＰＢを構成する各参照画素ＳＢに対してＤＦＤ演算を行い、各画素ＳＡ（ＳＢ）での被写体距離を算出する。ＤＦＤ演算回路１６１は、観測画素ＳＡに複数の点拡がり関数を畳み込んで得られた結果である複数の観測画素ＣＡを、観測画素ＣＡと画像上の同じ座標の参照画素ＳＢと照合する。その動作を以下に説明する。

点拡がり関数は、光学系の点光源に対する応答を示す関数であり、ボケ量の変化を示す。点拡がり関数を、点光源の集合に対応する画像に畳み込む（Ｃｏｎｖｏｌｕｔｉｏｎ）ことで、人為的にボケ画像を生成することができる。本実施の形態では、多数の被写体距離に対応して予め多数の点拡がり関数が内部メモリ２４０内に用意している。制御部１８０は、至近側から遠側までを１６段階の被写体距離に分解し、それらの被写体距離にそれぞれ対応する１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６を内部メモリ２４０に用意された多数の点拡がり関数から選択する。そして、制御部１８０は、選択した１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６をＤＦＤ演算回路１６１に通知する。

ＤＦＤ演算回路１６１は、各観測画素ＳＡでの被写体までの距離に対応した１６個の点拡がり関数ＰＳＦ１〜ＰＳＦ１６を各観測画素ＳＡに畳み込みすることで、各観測画素ＳＡでの被写体までの距離に対応した１６個の観測画素ＣＡ１〜ＣＡ１６を生成する。１６個の観測画素ＣＡ１〜ＣＡ１６は、畳み込まれている点拡がり関数がそれぞれ異なるので、それぞれ異なるボケ画像を形成する。

続いて、ＤＦＤ演算回路１６１は、観測画素ＣＡ１〜ＣＡ１６を参照画素ＳＢと照合し、観測画素ＣＡ１〜ＣＡ１６のうち参照画素ＳＢとの差分値が最小となる観測画素ＣＡｎを判定する。そして、観測画素ＣＡｎに畳み込まれている点拡がり関数に対応する被写体距離を観測画素ＳＡの被写体距離であると決定する。例えば、観測画素ＣＡ３と参照画素ＳＢとの差分値が、他の観測画素ＣＡ１〜２、ＣＡ４〜１６のそれぞれと参照画素ＳＢとの差分値と比較して最小となる場合、ＤＦＤ演算回路１６１は、観測画素ＣＡ３を作成する際に観測画素ＳＡに畳み込んだ点拡がり関数ＰＳＦ３に対応する被写体距離を観測画素ＳＡでの被写体距離であると決定する。

以上の動作を、観測画像ＰＡ及び参照画像ＰＢの各画素について実施することにより、ＤＦＤ演算回路１６１は各画素についての被写体距離の分布であるＤｅｐｔｈマップを完成させる。実施の形態では各被写体までの距離に対応した１６個の点拡がり関数を用いたので、Ｄｅｐｔｈマップは１６階調の被写体距離を示す。

続いて、制御部１８０による被写体までの距離の決定の詳細について説明する。制御部１８０は、被写体距離の決定にあたって、光学系１１０の状態に応じて、Ｄｅｐｔｈマップが示す被写体距離の分布のうち、信頼できる領域Ｒを判定する。

ＤＦＤ演算回路１６１により完成したＤｅｐｔｈマップが示す被写体までの距離の値がすべて信頼できるわけではない。光学系１１０の状態によって、同じ被写体までの距離であるのに、ＤＦＤ演算の結果、違う距離であると判定しまう事象が発生する。これは、光学系１１０の状態に応じて、被写体距離以外の要因によって、ボケ量が変わってしまうからである。

この理由について、図５（Ａ）から図５（Ｃ）を用いて説明する。図５（Ａ）から図５（Ｃ）は、光学系の状態によるＤＦＤ演算結果の信頼できる領域Ｒの変化を示すイメージ図である。ここで、図５（Ａ）から図５（Ｃ）のハッチングで示す範囲が、信頼できる領域Ｒである。

１つ目のケースは、デジタルビデオカメラ１００に備わる光学系１１０自体の解像度に起因するケースである。光学系１１０を構成するレンズ群の組み合わせが異なれば、光学系１１０の解像度が異なる。図５（Ａ）の上段に示す例は、解像度の高いレンズ群で構成される高解像度光学系１１０Ａの場合であり、図５（Ａ）の下段に示す例は、解像度の低いレンズ群で構成される低解像度光学系１１０Ｂの場合である。また、一般に、撮影画像の中心付近は解像度が高く、撮影画像の周辺に近づくにつれて解像度が低くなる。そのため、撮影画像の中心付近のボケ量は相対的に信頼性が高いが、撮影画像の周辺は正味のボケ量に加えて解像度の低下によるボケ量が重畳されるため相対的に信頼性が低くなる。図５（Ａ）に示すように、高解像度光学系１１０Ａにおける信頼できる領域Ｒは、低解像度光学系１１０Ｂにおける信頼できる領域Ｒに比べて、大きい傾向にある。光学系１１０が同一であれば、基本的に解像度等が同じであるので、図５（Ａ）に示すように、観測画像ＰＡと参照画像ＰＢとで、信頼できる領域Ｒの位置に大きな差は発生しない。しかし、フォーカスレンズ位置が相違すると、解像度の微差が発生し得る。そのため、制御部１８０は、Ｄｅｐｔｈマップを完成するにあたって使用した観測画像ＰＡ及び参照画像ＰＢをともに、解像度等の光学特性を含む光学系１１０の状態を示す情報に応じて定められた領域を、被写体距離の検出精度として所定の基準を満たす領域として、信頼できる領域Ｒであると判定する。

２つ目のケースは、ＤＦＤ演算のためにフォーカスレンズ１１３を移動させている間に、絞り１１４、ズームレンズ１１１の位置が変化した場合である。図５（Ｂ）に示すように、ＤＦＤ演算のためにフォーカスレンズ１１３を移動させている間に、絞り１１４やズームレンズ１１１の位置が変化すると、観測画像ＰＡと参照画像ＰＢとで、解像度が変化し、信頼できる領域Ｒが変化する。すなわち、観測画像ＰＡに点拡がり関数を畳み込んだ結果以上に、解像度が変化する。一般に、この解像度の変化量は、撮影画像の中心から周辺に近づくにつれて大きくなる。そのため、撮影画像の中心付近のボケ量は相対的に信頼性が高いが、撮影画像の周辺は正味のボケ量に加えて解像度の低下によるボケ量が重畳されるため相対的に信頼性が低くなる。ＤＦＤ演算のためにフォーカスレンズ１１３を移動させている間に、絞り１１４やズームレンズ１１１の位置が変化した場合、観測画像ＰＡと参照画像ＰＢとで、信頼できる領域Ｒの位置に大きな差が発生する。そのため、制御部１８０は、Ｄｅｐｔｈマップを完成するにあたって使用した観測画像ＰＡ及び参照画像ＰＢをともに、絞り１１４やズームレンズ１１１の位置を含む光学系１１０の状態を示す情報に応じて定められた領域を、被写体距離の検出精度として所定の基準を満たす領域として、信頼できる領域Ｒであると判定する。

３つ目のケースは、ＤＦＤ演算のためにフォーカスレンズ１１３を移動させている間に、手振れ補正レンズ１１２の位置が変化した場合である。手振れ補正レンズ１１２は、光学系１１０の光軸１１０Ｘに対して垂直な方向に移動することで、撮影画像に対するブレを相殺する。このとき、光学系１１０の光軸１１０Ｘに沿って入射する光は、手振れ補正レンズ１１２の移動に伴って、手振れ補正レンズ１１２に対して入射する位置が変化する。一般に、レンズは、レンズ中心部から入射した光に対しては比較的高い解像度で結像させることができ、レンズ周辺部から入射した光に対しては比較的低い解像度で結像させる。そのため、ＤＦＤ演算のためにフォーカスレンズ１１３を移動させている間に、例えば、図５（Ｃ）に示すように、手振れ補正レンズ１１２が位置Ａから位置Ｂに変位すると、観測画像ＰＡと参照画像ＰＢとで、高い解像度を示す領域が変化し、信頼できる領域Ｒが変化する。すなわち、ＤＦＤ演算のためにフォーカスレンズ１１３を移動させている間に、手振れ補正レンズ１１２の位置が変化した場合、観測画像ＰＡと参照画像ＰＢとで、信頼できる画像領域の位置に大きな差が発生する。そのため、制御部１８０は、Ｄｅｐｔｈマップを完成するにあたって使用した観測画像ＰＡ及び参照画像ＰＢをともに、手振れ補正レンズ１１２の位置を含む光学系１１０の状態を示す情報に応じて定められた領域を、被写体距離の検出精度として所定の基準を満たす領域として、信頼のおける領域であると判定する。

内部メモリ２４０は、光学系１１０の状態に対応して、被写体距離の検出精度として所定の基準を満たす領域を示す情報を格納している。すなわち、光学系１１０自体の解像度に対応して、被写体距離の検出精度として所定の基準を満たす領域を示す情報を格納している。同様に、ズームレンズ１１１の位置、絞り１１４の絞り値、手振れ補正レンズ１１２の位置に対応して、被写体距離の検出精度として所定の基準を満たす領域を示す情報を格納している。制御部１８０は、光学系１１０の状態に応じて、内部メモリ２４０からこれら情報を読み出すことで、信頼できる領域を判定することができる。このとき、制御部１８０は、観測画像ＰＡにおいて信頼できる領域Ｒと、参照画像ＰＢにおいて信頼できる領域Ｒとを比較し、観測画像ＰＡ及び参照画像ＰＢともに信頼性のある領域（重複する領域）を判定する。そして、制御部１８０は、観測画像ＰＡ及び参照画像ＰＢともに信頼性のある領域に基づいて算出された被写体距離を採用する。これにより、ＤＦＤ演算の過程において、光学系１１０の状態が変化したとしても、適切なＤＦＤ演算結果を出すことができる。

次に、制御部１８０はＤＦＤ演算により決定された被写体距離に基づいて、フォーカスレンズ１１３を移動させるべき位置である合焦位置を算出する。具体的には、制御部１８０は、トラッキングテーブルを参照して、求めた被写体距離と現在のズームレンズ１１１の位置とに基づいて合焦位置を算出する。図６は、実施の形態におけるデジタルビデオカメラ１００の複数の被写体距離に対するズームトラッキングテーブルを示す。図６に示すように、ズームトラッキングテーブルは、代表的ないくつかの被写体距離ＤＬ（図６では１ｍ、２ｍ、３ｍ、無限遠（ＩＮＦ））に対応してズームレンズ１１１の位置に対する合焦位置を示すカーブＤＭ１〜ＤＭ４を含む。制御部１８０は、ズームトラッキングテーブルに記載のカーブを被写体距離について補間することで、代表的な被写体距離ＤＬ以外の被写体距離についてもフォーカスレンズ１１３を移動させるべき位置である合焦位置を算出することができる。

制御部１８０は、算出された被写体距離とズームトラッキングテーブルとに基づいて合焦位置を決定する。そして、制御部１８０は、レンズ駆動部１２０を制御することによりフォーカスレンズ１１３を合焦位置へと移動させ、フォーカスレンズ１１３を被写体に対して合焦させることができる。これにより、精度高く合焦動作を実施できる。

〔３．効果等〕
上記のように、実施の形態に係るデジタルビデオカメラ１００は、フォーカスレンズ１１３を含み、被写体の被写体像を形成する光学系１１０と、光学系１１０を介して形成される被写体像を撮像し、画像データを生成するＣＭＯＳイメージセンサ１４０と、制御部１８０と、を備える。制御部１８０は、フォーカスレンズ１１３が第１フォーカスレンズ位置にあるときに生成された第１画像データ（観測画像ＰＡ）と、フォーカスレンズ１１３が第２フォーカスレンズ位置にあるときに生成された第２画像データ（参照画像ＰＢ）とに基づき、光学系１１０の状態を示す情報に応じて、被写体距離を決定する。これにより、デジタルビデオカメラ１００は、光学系１１０の状態を示す情報に応じて、より精度の高く被写体距離を決定することができる。

また、デジタルビデオカメラ１００において、制御部１８０は、フォーカスレンズ１１３が第１フォーカスレンズ位置にあるときの光学系１１０の状態を示す情報に基づいて、フォーカスレンズ１１３が第１フォーカスレンズ位置にあるときに生成された第１画像データ（観測画像ＰＡ）から第１画像領域を定める。同様に、制御部１８０は、フォーカスレンズ１１３が第２フォーカスレンズ位置にあるときの光学系１１０の状態を示す情報に基づいて、フォーカスレンズ１１３が第２フォーカスレンズ位置にあるときに生成された第２画像データ（参照画像ＰＢ）から第２画像領域を定める。そして、制御部１８０は、第１画像領域と、第２画像領域とで重複する画像領域における第１画像データ（観測画像ＰＡ）及び第２画像データ（参照画像ＰＢ）を使用して、被写体距離を決定する。これにより、ＤＦＤ演算のため、フォーカス位置を変動させることで、ボケ量の異なる２枚の画像を意図的に作り出した場合であっても、その２枚の画像のともに信頼できる領域を用いてＤｅｐｔｈマップを作成し合焦位置を決定することができる。そのため、より精度の高く被写体距離を決定することができる。

なお、デジタルビデオカメラ１００は、光学系１１０の状態を示す情報として、光学系１１０自体の光学特性を示す情報、ズームレンズ１１１の位置に関する情報、絞り１１４の絞り値に関する情報、手振れ補正レンズ１１２の位置に関する情報を取り扱う。これにより、光学系１１０の光学特性、ズームレンズ１１１の位置、絞り値、手振れ補正レンズ１１２の位置に応じて、より精度の高い被写体距離を決定することができる。

〔４．他の実施の形態〕
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

上記の実施の形態において、光学系１１０の状態として、光学系１１０自体の解像度、ズームレンズ１１１の位置、絞り１１４の絞り値、手振れ補正レンズ１１２の位置を例示したが、本開示はこれらに限定されない。例示したこれらの一部が欠けてもよいし、他の光学系１１０の状態を示す要素が追加されてもよい。

上記の実施の形態において、点拡がり関数は内部メモリ２４０に用意されている。本発明はこれに限定されず、点拡がり関数は、例えば画像処理部１６０内のメモリに用意されていてもよい。また、実施の形態におけるデジタルビデオカメラ１００では、１６個の点拡がり関数が選択されるが、Ｄｅｐｔｈマップの階調の数に応じて、選択される点拡がり関数の数は１６個以上であっても１６個未満であってもよい。

上記実施の形態において、ＤＦＤ演算結果に基づいて、オートフォーカス動作を実施する例を説明したが、本開示はこれに限定されない。例えば、ＤＦＤ演算結果に基づいて、被写体距離のマップを表示部に表示するようなアプリケーションソフトにも適用可能である。このとき、観測画像ＰＡ及び参照画像ＰＢともに信頼性のある領域に基づいて算出された被写体距離に基づいて、マップ表示を行う。これにより、より精度の高い被写体距離のマップを表示することができる。

実施の形態における撮像装置であるデジタルビデオカメラは非レンズ交換式のデジタルビデオカメラであるが、これに限定されず、レンズ交換式のデジタルビデオカメラであってもよい。このとき、デジタルビデオカメラに装着されるレンズの解像度によって、撮影画像のうちＤＦＤ演算結果を信頼できる領域が変化することは言うまでもない。

上記実施の形態では、Ｄｅｐｔｈマップを作成した後に、光学系１１０の状態に応じて、作成したＤｅｐｔｈマップのうち使用する領域を判断する例を記載したが、これに限定されない。すなわち、Ｄｅｐｔｈマップを作成する段階で、光学系１１０の状態に応じて、Ｄｅｐｔｈマップを作成する領域を判断するようにしてもよい。

上記実施の形態では、観測画素ＳＡに、点拡がり関数ＰＳＦ１〜ＰＳＦ１６を畳み込んだ結果を、参照画素ＳＢと照合するようにしたが、本開示はこれに限定されない。観測画素ＳＡと参照画素ＳＢとから、奥行が幅広く焦点が合った全焦点画像を一旦生成し、この全焦点画像に点拡がり関数ＰＳＦ１〜ＰＳＦ１６を畳み込んだ結果を、参照画素ＳＢと照合するようにしてもよい。全焦点画像によれば、奥行が幅広く焦点が合っているため、奥行に幅広くコントラスト情報を有することになり、ＤＦＤ演算のＳ／Ｎを向上させることができる。そのため、合焦位置の算出精度をより向上させることができる。更には、この全焦点画像に点拡がり関数ＰＳＦ１〜ＰＳＦ１６を畳み込んだ結果を、参照画素ＳＢでなく、観測画素ＳＡと照合するようにしてもよい。観測画素ＳＡと、参照画素ＳＢとでは、画像を撮像したときのフォーカスレンズの位置が互いに異なるため、被写体に対して異なるコントラスト情報を有する。そのため、観測画素ＳＡでは、コントラスト情報を有する被写体であっても、参照画素ＳＢでは、コントラスト情報を有しない被写体が発生し得る。このような場合に、この全焦点画像に点拡がり関数ＰＳＦ１〜ＰＳＦ１６を畳み込んだ結果を、観測画素ＳＡと照合することで、ＤＦＤ演算によって合焦位置を判定可能なダイナミックレンジを拡げることができる。

上記実施の形態では、制御部１８０は、Ｄｅｐｔｈマップを完成するにあたって使用した観測画像ＰＡ及び参照画像ＰＢがともに所定の基準を満たす領域を信頼のおける領域として、被写体距離を決定する場合を例示したが、これに限定されない。すなわち、信頼のおける領域であると判定しなかった領域に対しても、予め記憶しておいた補正値を利用することにより、有意な被写体距離を示す領域として利用してもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示における撮像装置は、デジタルビデオカメラや、デジタルスチルカメラや、カメラ機能付携帯電話や、カメラ機能付スマートフォン等に適用できる。

１００デジタルビデオカメラ（撮像装置）
１１０光学系
１１１ズームレンズ
１１２手振れ補正レンズ
１１３フォーカスレンズ
１１４絞り
１２０レンズ駆動部
１４０ＣＭＯＳイメージセンサ（撮像センサ）
１５０Ａ／Ｄコンバータ
１６０画像処理部
１７０バッファ
１８０制御部
１９０カードスロット
２００メモリカード
２１０操作部材
２２０表示モニタ
２４０内部メモリ
２５０角速度センサ

Claims

フォーカスレンズを含み、被写体の被写体像を形成する光学系と、
前記光学系を介して形成される被写体像を撮像し、画像データを生成する撮像部と、
前記フォーカスレンズが第１フォーカスレンズ位置にあるときに生成された第１画像データと、前記フォーカスレンズが第２フォーカスレンズ位置にあるときに生成された第２画像データとに基づき、前記光学系の状態を示す情報によって得られる解像度の変化度合いを示す情報に応じて、被写体距離を決定する制御部と、
を備えた撮像装置。
前記制御部は、
前記フォーカスレンズが前記第１フォーカスレンズ位置にあるときの前記光学系の状態を示す情報によって得られる解像度の変化度合いを示す情報に基づいて、前記第１画像データから第１画像領域を定め、
前記フォーカスレンズが前記第２フォーカスレンズ位置にあるときの前記光学系の状態を示す情報によって得られる解像度の変化度合いを示す情報に基づいて、前記第２画像データから第２画像領域を定め、
前記第１画像領域と前記第２画像領域との重複する画像領域における前記第１画像データ及び前記第２画像データを使用して、前記被写体距離を決定する、
請求項１に記載の撮像装置。
前記光学系の状態を示す情報は、前記光学系の光学特性を示す情報を含む、
請求項１又は２に記載の撮像装置。
前記光学系は、ズームレンズを含み、
前記光学系の状態を示す情報は、前記ズームレンズの位置に関する情報を含む、
請求項１から３のいずれかに記載の撮像装置。
前記光学系は、絞りを含み、
前記光学系の状態を示す情報は、前記絞りの絞り値に関する情報を含む、
請求項１から４のいずれかに記載の撮像装置。
前記光学系は、手振れ補正レンズを含み、
前記光学系の状態を示す情報は、前記光学系の光軸に対する垂直方向の前記手振れ補正レンズの移動量に関する情報を含む、
請求項１から５のいずれかに記載の撮像装置。