JP5832433B2 - 画像復元装置、撮像装置及び画像復元方法 - Google Patents

Description

本発明は、画像復元装置、撮像装置及び画像復元方法に関し、特に、撮像素子又は当該撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元装置に関する。

一般的に被写界深度拡張（以下、ＥＤＯＦと称する）を実現する方式としては、主に以下の３つの方式が挙げられる。１つ目の方式は、位相板と呼ばれる光学素子を光学系に挿入することで深度方向のボケを均一化する。そして、当該方式は、得られた画像に対して、予め測定されたボケパターン、又はシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｗａｖｅｆｒｏｎｔ Ｃｏｄｉｎｇ（以下、ＷＦＣと称する）と称されている。

２つ目の方式は、絞り形状を工夫することで画像の部分範囲ごとに高精度な距離測定を行う。そして、当該方式は、各部分範囲に対して、予め測定しておいたそれぞれの距離に応じたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ（以下、ＣＡと称する）と称されている。

３つ目の方式は、露光時間中にフォーカスレンズ又は撮像素子を動かすことで、深度方向に一律に合焦した画像を畳み込む（つまり各深度でボケを均一化することと同義）。そして、当該方式は、得られた画像に対して、予め測定されたボケパターン、又はシミュレーションにより算出されたボケパターンを用いて画像復元処理を行う。これにより、当該方式は、ＥＤＯＦ画像を生成する。この方式は、Ｆｌｅｘｉｂｌｅ ＤＯＦ（以下、Ｆ−ＤＯＦと称する）と称されている（例えば、特許文献１参照）。

これらの３方式のうち３つ目のＦ−ＤＯＦは、この中で最も良好な画質が得られる方式であり、ＥＤＯＦ効果も高い。また、軸外特性もレンズ特性そのものに依存するため、性能を高めやすい。ただし光学的な条件として、露光中に合焦位置を動かしても、同一被写体が同一の画像位置上に畳み込まれる必要があることから、像側テレセントリックレンズを用いる必要がある。

上記ＥＤＯＦ技術の応用先として、最も古い歴史があるのは顕微鏡用途である。

また、ＥＤＯＦ技術のその他の応用先として、近年、携帯電話などに搭載されるカメラが挙げられる。ＥＤＯＦ技術を当該カメラに用いることで、当該カメラの小型化を実現できる。すなわちＥＤＯＦ効果により、オートフォーカス機構を持つことなく、全焦点画像（全ての被写体に焦点が合っている画像）を得ることができるからである。

さらにもう１つの応用先としては、通常のデジタルスチルカメラ、及びデジタルビデオカメラが考えられる。これらデジタルスチルカメラ及びデジタルビデオカメラの近年のトレンドとして、より簡単にかつ失敗の少ない撮影が求められている。ＥＤＯＦ技術は全焦点画像、すなわち合焦ミスからの開放という効果が期待できる。本応用先の観点からは、高画質であること、ＥＤＯＦ効果の大きさ、合焦範囲の任意変更が可能なこと、通常のオートフォーカス機構を応用することで実現可能なこと（特別な光学系を用意しなくてすむこと）、及びＥＤＯＦ撮影と通常撮影との切り替えが容易なこと、などから、上記方式のうち最も優れているのはＦ−ＤＯＦである。

米国特許出願公開第２００８／００１３９４１号明細書

しかしながら、複数の合焦範囲をスイープ可能なＦ−ＤＯＦ機能を有する撮像装置（カメラ）を実現するためには、複数の合焦範囲の各々で撮像された画像に対して復元処理を施すためのＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）データが必要である。

よって、この合焦範囲のパターンが増加することにより、必要となるＰＳＦデータの数が増加する。これにより、ＰＳＦデータを格納するためのメモリの容量が増加してしまうという課題が生じる。

本発明は、上記従来の課題を解決するもので、ＰＳＦデータを格納するためのメモリの容量を低減できる画像復元装置、撮像装置及び画像復元方法を提供することを目的とする。

上記目的を達成するために、本発明の一形態に係る画像復元装置は、撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元装置であって、（１）前記スイープ範囲が第１範囲である場合の前記スイープ画像である第１スイープ画像に対して復元処理を施すための第１ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と、（２）前記スイープ範囲が、前記第１範囲を含まない第２範囲である場合の前記スイープ画像である第２スイープ画像に対して復元処理を施すための第２ＰＳＦと、（３）前記スイープ範囲が、前記第１範囲と前記第２範囲とを合わせた範囲である第３範囲である場合の前記スイープ画像である第３スイープ画像に対して復元処理を施すための第３ＰＳＦとのうち、いずれか２つのＰＳＦを記憶するＰＳＦ記憶部と、前記２つのＰＳＦを加算又は減算することにより、前記第１ＰＳＦ、前記第２ＰＳＦ及び前記第３ＰＳＦのうち残りの一つを算出するＰＳＦ算出部と、前記第１ＰＳＦを用いて、前記第１スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第２ＰＳＦを用いて、前記第２スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第３ＰＳＦを用いて、前記第３スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元部とを備える。

この構成によれば、本発明の一形態に係る画像復元装置は、第１ＰＳＦ、第２ＰＳＦ及び第３ＰＳＦのうちの２つのＰＳＦから残りのＰＳＦを算出できるので、当該残りのＰＳＦをＰＳＦ記憶部に記憶しておく必要がない。これにより、本発明の一形態に係る画像復元装置は、ＰＳＦ記憶部に記憶しておくＰＳＦデータの容量を削減できる。

また、前記ＰＳＦ算出部は、前記第１ＰＳＦと前記第２ＰＳＦとを加算することにより、前記第３ＰＳＦを算出してもよい。

この構成によれば、本発明の一形態に係る画像復元装置は、第１ＰＳＦと第２ＰＳＦとから第３ＰＳＦを算出できるので、第３ＰＳＦをＰＳＦ記憶部に記憶しておく必要がない。これにより、本発明の一形態に係る画像復元装置は、ＰＳＦ記憶部に記憶しておくＰＳＦデータの容量を削減できる。

また、本発明の一形態に係る撮像装置は、前記画像復元装置と、前記撮像素子と、前記レンズと、前記第１範囲、前記第２範囲及び前記第３範囲のいずれかを、前記スイープ範囲に決定するスイープ範囲決定部と、前記スイープ範囲に対応する前記像面側合焦点を求め、露光中に前記像面側合焦点間をフォーカススイープさせた画像が得られるよう前記レンズ又は前記撮像素子を駆動させることにより、前記撮像素子に前記スイープ画像を撮像させるスイープ撮像部とを備える。

この構成によれば、本発明の一形態に係る撮像装置は、ＰＳＦ記憶部に記憶しておくＰＳＦデータの容量を削減できる。

また、前記スイープ範囲決定部は、ユーザにより指定された指定範囲に基づき、前記第１範囲、前記第２範囲及び前記第３範囲のいずれかを、前記スイープ範囲に決定してもよい。

この構成によれば、本発明の一形態に係る撮像装置は、ユーザにより指定された合焦範囲をスイープ可能な撮像装置を実現できる。

また、前記スイープ範囲決定部は、前記指定範囲が、前記第１範囲、前記第２範囲及び前記第３範囲のいずれにも一致しない場合、前記第１範囲、前記第２範囲及び前記第３範囲のうち、前記指定範囲を全て含み、かつ最も狭い範囲を前記スイープ範囲に決定してもよい。

この構成によれば、本発明の一形態に係る撮像装置は、ＰＳＦ記憶部に記憶しておくＰＳＦデータの容量を削減できる。

また、前記スイープ撮像部は、前記撮像素子と前記レンズとの距離である像面側距離を変位させることにより、前記撮像素子の前記被写体側の焦点位置を変位させ、前記被写体側の焦点位置を前記第１範囲でスイープさせるための前記像面側距離の変位量は、前記被写体側の焦点位置を前記第２範囲でスイープさせるための前記像面側距離の変位量と等しくてもよい。

この構成によれば、第１範囲と第２範囲とにおけるスイープ距離が同じになるため、第１ＰＳＦと第２ＰＳＦとの類似度を上げることができる。すなわち、許容できる範囲内で類似性が認められれば、２種類のＰＳＦではなく、１種類のＰＳＦを記憶するだけでよいので、ＰＳＦデータの容量を削減できる。

なお、本発明は、このような画像復元装置及び撮像装置として実現できるだけでなく、画像復元装置又は撮像装置に含まれる特徴的な手段をステップとする画像復元方法又は撮像装置の制御方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

さらに、本発明は、このような画像復元装置又は撮像装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現できる。

以上より、本発明は、ＰＳＦデータを格納するためのメモリの容量を低減できる画像復元装置、撮像装置及び画像復元方法を提供できる。

図１は、本発明の実施の形態１に係る撮像装置のブロック図である。 図２は、本発明の実施の形態１に係る撮像装置による処理のフローチャートである。 図３は、本発明の実施の形態１に係るＰＳＦ算出処理のフローチャートである。 図４は、本発明の実施の形態１に係るＰＳＦ算出処理の一例を示す図である。 図５は、本発明の実施の形態１に係る被写体距離と像面側距離とを示す図である。 図６は、本発明の実施の形態１に係るＰＳＦのモデルを示す図である。 図７は、本発明の実施の形態１に係る像面側距離の変位パターンの一例を示す図である。 図８は、本発明の実施の形態１に係る被写体距離と像面側距離との関係を示すグラフである。 図９は、本発明の実施の形態１に係る像面側距離の変位量を示す図である。 図１０は、本発明の実施の形態１に係る画像復元装置のブロック図である。 図１１は、本発明の実施の形態１に係る画像復元装置による処理のフローチャートである。 図１２は、本発明の実施の形態２に係るスイープ範囲決定処理のフローチャートである。 図１３は、本発明の実施の形態２に係るスイープ範囲決定処理の一例を示す図である。

以下、本発明に係る撮像装置の実施の形態について、図面を参照しながら詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

(実施の形態１)
本発明の実施の形態１に係る撮像装置は、第１範囲のＰＳＦと第２範囲のＰＳＦとを加算することにより、第３範囲のＰＳＦを算出する。これにより、当該撮像装置は、第３範囲のＰＳＦをメモリに記憶しておく必要がないのでメモリに記憶しておくＰＳＦデータの容量を削減できる。

まず、本発明の実施の形態１に係る撮像装置の構成を説明する。

図１は、本発明の実施の形態１に係る撮像装置１００のブロック図である。

撮像装置１００は、例えば、デジタルスチルカメラ又はデジタルビデオカメラである。この撮像装置１００は、任意の合焦範囲をスイープ可能なＦ−ＤＯＦ機能を有する。具体的には、撮像装置１００は、ユーザにより指定された合焦範囲である指定範囲１３０で合焦位置をスイープしたスイープ画像１３１を生成する。そして、撮像装置１００は、ＰＳＦを用いて、生成したスイープ画像１３１に対して復元処理を施すことにより、指定範囲１３０の全てにおいてピントがあった復元画像１３２を生成する。

この撮像装置１００は、撮像素子１０１と、レンズ１０２と、スイープ範囲決定部１０３と、スイープ撮像部１０４と、画像復元装置１１０とを備える。

撮像素子１０１は、入射光を光電変換することにより画像データ（スイープ画像１３１）を生成する。レンズ１０２は、撮像素子１０１に光を集光する。

スイープ範囲決定部１０３は、ユーザにより指定された指定範囲１３０に基づき、スイープ範囲１３３を決定する。ここでスイープ範囲とは、像面側ではなく、被写体側での範囲概念を示している。例えば、スイープ範囲決定部１０３は、予め定められた複数の範囲のうち、指定範囲１３０で示される範囲をスイープ範囲１３３として決定する。

スイープ撮像部１０４は、撮像素子１０１の焦点位置をスイープ範囲１３３でスイープさせながら、撮像素子１０１にスイープ画像１３１を撮像させる。具体的には、スイープ撮像部１０４は、スイープ範囲１３３に対応する像面側合焦点位置の２点を求め、露光中に当該像面側合焦点位置の２点間をフォーカススイープされた画像が得られるよう、レンズ１０２又は撮像素子１０２を駆動させることにより、前記撮像素子に前記スイープ画像を撮像させる。つまり、スイープ画像１３１は、撮像素子１０１の被写体側の焦点位置がスイープ範囲１３３をスイープしている期間において当該撮像素子１０１により撮像された画像である。言い換えると、スイープ画像１３１は、撮像素子１０１又はレンズ１０２が駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた画像である。なおここでは、レンズ１０２全体を動かすものであってもよいし、レンズの一部を構成するフォーカスレンズを駆動させるものであってもよい。

画像復元装置１１０は、スイープ画像１３１に対して復元処理を施すことにより、被写界深度が拡張された復元画像１３２を生成する。具体的には、画像復元装置１１０は、スイープ範囲１３３に対応するＰＳＦを用いてスイープ画像１３１に対して復元処理を施す。ここで、復元画像１３２は、スイープ範囲１３３の全てにおいてピントがあった画像である。

この画像復元装置１１０は、ＰＳＦ記憶部１１１と、ＰＳＦ算出部１１２と、画像復元部１１３とを備える。

ＰＳＦ記憶部１１１は、複数のスイープ範囲１３３に対応する複数のＰＳＦデータを記憶する。なお、ここでは、ＰＳＦ記憶部１１１が４つのＰＳＦデータ（第１範囲ＰＳＦ１２１、第２範囲ＰＳＦ１２２、第３範囲ＰＳＦ１２３及び第４範囲ＰＳＦ１２４）を記憶している例を述べる。また、ユーザが指定可能なスイープ範囲は、ＰＳＦ記憶部１１１に記憶されるＰＳＦデータの数より多い。

ＰＳＦ算出部１１２は、ＰＳＦ記憶部１１１に記憶されている複数のＰＳＦデータのうち２以上を加算及び正規化することにより、スイープ範囲１３３に対応する新たなＰＳＦデータを算出する。

画像復元部１１３は、ＰＳＦ記憶部１１１に記憶されている複数のＰＳＦデータのいずれか、又は、ＰＳＦ算出部１１２により算出されたＰＳＦデータを用いて、スイープ画像１３１に対して復元処理を施すことにより、復元画像１３２を生成する。

次に、撮像装置１００の動作を説明する。

図２は、撮像装置１００による撮像処理のフローチャートである。

まず、スイープ範囲決定部１０３は、ユーザにより指定された指定範囲１３０に基づき、スイープ範囲１３３に決定する（Ｓ１０１）。例えば、ユーザは、予め定められた複数のスイープ範囲のうちいずれかを選択する。スイープ範囲決定部１０３は、ユーザに指定された範囲をスイープ範囲１３３として決定する。

次に、撮像素子１０１の焦点位置をスイープ範囲１３３でスイープさせながら、撮像素子１０１にスイープ画像１３１を撮像させる（Ｓ１０２）。

次に、ＰＳＦ算出部１１２は、スイープ範囲１３３に対応するＰＳＦデータを算出する（Ｓ１０３）。

以下、このステップＳ１０３の処理を詳細に説明する。

図３は、ＰＳＦ算出部１１２によるＰＳＦ算出処理のフローチャートである。また、図４は、ＰＳＦ算出部１１２によるＰＳＦ算出処理の一例を示す図である。

図３に示すように、まず、ＰＳＦ算出部１１２は、スイープ範囲決定部１０３により決定された、スイープ画像１３１のスイープ範囲１３３を取得する（Ｓ１１１）。

ここで、図４に示すように、スイープ範囲１３３は、１ｍ、３ｍ、５ｍ及び１０ｍのいずれかを一端として、３ｍ、５ｍ、１０ｍ及び無限遠（∞）のいずれか他端とする１０種類の範囲である。また、ＰＳＦ記憶部１１１に記憶されている第１範囲ＰＳＦ１２１は、１ｍから３ｍのスイープ範囲に対応し、第２範囲ＰＳＦ１２２は３ｍから５ｍのスイープ範囲に対応し、第３範囲ＰＳＦ１２３は５ｍから１０ｍのスイープ範囲に対応し、第４範囲ＰＳＦ１２４は１０ｍから無限遠のスイープ範囲に対応する。

このように、本発明の実施の形態１に係る撮像装置１００では、ＰＳＦ記憶部１１１は、スイープ可能範囲（ここでは１ｍから無限遠）を複数に分割した各々の部分範囲に対応するＰＳＦデータのみを記憶する。また、ユーザが指定可能なスイープ範囲は、これら複数の部分範囲と、当該複数の部分範囲のうち連続した２以上部分範囲を合わせた複数種類の範囲とである。

次に、ＰＳＦ算出部１１２は、ステップＳ１１１で取得したスイープ範囲１３３に対応するＰＳＦデータがＰＳＦ記憶部１１１に記憶されているか否かを判定する（Ｓ１１２）。上記例では、ＰＳＦ算出部１１２は、スイープ範囲１３３が、１ｍから３ｍ、３ｍから５ｍ、５ｍから１０ｍ、及び、１０ｍから無限遠のいずれかの場合、スイープ範囲１３３に対応するＰＳＦデータがＰＳＦ記憶部１１１に記憶されていると判定する（Ｓ１１２でＹｅｓ）。また、ＰＳＦ算出部１１２は、スイープ範囲１３３がこれら以外（例えば、１ｍから１０ｍ等）の場合、スイープ範囲１３３に対応するＰＳＦデータがＰＳＦ記憶部１１１に記憶されていないと判定する（Ｓ１１２でＮｏ）。

スイープ範囲１３３に対応するＰＳＦデータがＰＳＦ記憶部１１１に記憶されている場合（Ｓ１１２でＹｅｓ）、ＰＳＦ算出部１１２は、当該スイープ範囲１３３に対応するＰＳＦデータをＰＳＦ記憶部１１１から取得する（Ｓ１１３）。そして、ＰＳＦ算出部１１２は、取得したＰＳＦデータを画像復元部１１３へ受け渡す。

一方、スイープ範囲１３３に対応するＰＳＦデータがＰＳＦ記憶部１１１に記憶されていない場合（Ｓ１１２でＮｏ）、ＰＳＦ算出部１１２は、スイープ範囲１３３に含まれる複数の部分範囲に対応するＰＳＦデータをＰＳＦ記憶部１１１から取得する（Ｓ１１４）。

次に、ＰＳＦ算出部１１２は、取得した複数の部分範囲に対応するＰＳＦデータを加算及び正規化することにより、スイープ範囲１３３に対応するＰＳＦデータを算出する（Ｓ１１５及びＳ１１６）。そして、ＰＳＦ算出部１１２は、算出したＰＳＦデータを画像復元部１１３へ受け渡す。

例えば、図４に示すように、スイープ範囲１３３が１ｍから５ｍの場合、ＰＳＦ算出部１１２は、第１範囲ＰＳＦ１２１と第２範囲ＰＳＦ１２２とを加算及び正規化することにより、１ｍから５ｍに対応するＰＳＦデータを算出する。また、スイープ範囲１３３が１ｍから１０ｍの場合、ＰＳＦ算出部１１２は、第１範囲ＰＳＦ１２１と第２範囲ＰＳＦ１２２と第３範囲ＰＳＦ１２３とを加算及び正規化することにより、１ｍから１０ｍに対応するＰＳＦデータを算出する。

再び、図２に示すフローチャートを用いて説明する。

ＰＳＦ算出処理（Ｓ１０３）の後、画像復元部１１３は、ＰＳＦ算出部１１２から渡された、スイープ範囲１３３に対応するＰＳＦデータを用いてスイープ画像１３１に対して復元処理を施すことにより、復元画像１３２を生成する（Ｓ１０４）。そして、画像復元部１１３は、生成した復元画像１３２を、撮像装置１００の外部へ出力したり、撮像装置１００が備える記憶部（図示せず）に記憶したりする。

以上のように、本発明の実施の形態１に係る撮像装置１００は、ＰＳＦ記憶部１１１が記憶している複数のＰＳＦデータから新たな範囲に対応するＰＳＦデータを算出できる。これにより、ＰＳＦ記憶部１１１は、当該新たな範囲に対応するＰＳＦデータを記憶しておく必要がない。これにより、本発明の実施の形態１に係る撮像装置１００は、ＰＳＦ記憶部１１１に記憶しておくＰＳＦデータの容量を削減できる。

また、図２に示すステップＳ１０２〜Ｓ１０４の処理は、静止画撮影の場合には１枚の静止画の撮影ごとに、動画撮影の場合には１フレームごとに行われる。また、静止画撮影の場合、ステップＳ１０１の処理は、１枚の静止画の撮影ごとに行なわれてもよいし、予めステップＳ１０１の処理が行われ、その後、ステップＳ１０１で設定されたスイープ範囲１３３を用いて複数枚の静止画が撮影されてもよい。また、動画撮影の場合、典型的には、ステップＳ１０１の処理は、１回又は複数回の動画撮影ごとに行なわれる。

また、上記説明では、スイープ範囲決定部１０３は、ユーザにより指定された指定範囲１３０に基づきスイープ範囲１３３を決定するとしたが、スイープ範囲決定部１０３は、撮像装置１００が備えるセンサの検出結果に応じて、スイープ範囲１３３を自動的に決定してもよい。例えば、スイープ範囲決定部１０３は、オートフォーカス機能等で用いられる被写体までの距離、又は、被写界の状態（例えば明るさ）に応じて、スイープ範囲１３３を決定してもよい。また、このような被写体までの距離及び被写界の状態は、撮影した画像から算出してもよい。さらに、スイープ範囲決定部１０３は、これらの情報と指定範囲１３０とに基づいてスイープ範囲１３３を決定してもよし、これらの情報に応じてスイープ範囲１３３を調整してもよい。

さらに、動画撮影時に、このように自動的にスイープ範囲１３３を決定又は調整する場合には、スイープ範囲１３３の決定又は調整処理は、１又は複数フレームごとに行われる。

また、上記説明では、ＰＳＦ記憶部１１１が４つのＰＳＦデータを記憶する例を述べたが、ＰＳＦ記憶部１１１が記憶するＰＳＦデータの数は２以上であれば任意の数でよい。言い換えると、スイープ可能範囲（上記例では１ｍから無限遠）を分割した複数の部分範囲の数は２以上であればよい。つまり、撮像装置１００は、スイープ範囲１３３として、少なくとも第１範囲と、当該第１範囲に連続する第２範囲と、当該第１範囲と当該第２範囲とを合わせた範囲である第３範囲とを選択可能であればよい。また、この場合、ＰＳＦ記憶部１１１には、第１範囲及び第２範囲に対応するＰＳＦデータが記憶されていればよい。また、上記第２範囲は、第１範囲を含まない範囲であってもよい。

なお、各種処理の効率化の観点から、部分範囲の数は、２のｎ乗（ｎは１以上の整数）であることが好ましい。例えば、当該部分範囲の数は、４、８、１６、３２又は６４である。

以下、複数の連続する部分範囲のＰＳＦデータを加算することで、当該複数の部分範囲を合わせた範囲のＰＳＦデータを算出できる原理を説明する。

図５は、被写体、レンズ１０２及び撮像素子１０１の関係を示す図である。

図５に示すように、被写体Ｍとレンズ１０２との間の距離を被写体距離ｕとし、レンズ１０２と撮像素子１０１との間の距離を像面側距離ｖとする。この場合、被写体距離ｕと像面側距離ｖと焦点距離ｆとにおいて、一般的にレンズの公式より、下記（式１）の関係が成り立つ。

ここで、図５に示すように、撮像素子１０１が像面側距離ｖの位置から像面側距離ｐの位置へ変位した場合、ボケの直径ｂは、下記（式２）で表される。

ここで、ａは、開口の大きさである。

また、例えば、Ｐｉｌｌｂｏｘなどのレンズモデルでは、ＰＳＦであるＰは下記（式３）で表される。

ここで、ｒはボケサークルの中心からの距離である。また、Π（ｘ）はＲｅｃｔａｎｇｌｅ関数であり、｜ｘ｜＜１／２のときに１、それ以外のときに０となる関数である。

図６は、このＰｉｌｌｂｏｘのレンズモデルでのＰＳＦを示す図である。

ここで、スイープ画像に用いるＰＳＦをＩＰＳＦと呼ぶことにする。時刻０から時刻Ｔの間で焦点位置をスイープした場合のＩＰＳＦは、下記（式４）で表される。

（式４）に示すように、ＩＰＳＦは積分で表現される。すなわち、時刻Ｔ１から時刻Ｔ２までのＩＰＳＦと、時刻Ｔ２から時刻Ｔ３までのＩＰＳＦとの和が、時刻Ｔ１から時刻Ｔ３までのＩＰＳＦとなる。

また、積分項の関数自身は、スイープ動作ｐ（ｔ）が一定速度というルールのもとでは不変である。よって、時刻Ｔ１から時刻Ｔ３のＩＰＳＦは、積分の開始時刻及び終了時刻を時刻Ｔ１及び時刻Ｔ３にすることと等価である。

以上のように、複数の連続する部分範囲のＰＳＦデータを加算することで、当該複数の部分範囲を合わせた範囲のＰＳＦデータを算出できる。

次に、スイープ動作の具体例を説明する。

図７は、露光中の像面側距離ｖの変位の様子と、露光量とを示す図である。図７に示すように、例えば、スイープ撮像部１０４は、像面側距離ｖを等速で変位させることにより、撮像素子１０１の被写体側の焦点位置である被写体距離ｕを変位させる。なお、スイープ撮像部１０４は、レンズ１０２の位置を変位させることで、像面側距離ｖを変位させてもよいし、撮像素子１０１の位置を変位させることで、像面側距離ｖを変位させてもよいし、レンズ１０２及び撮像素子１０１の両方を変位させることで、像面側距離ｖを変位させてもよい。

図８は、焦点距離ｆが１８［ｍｍ］のときの像面側距離ｖと被写体距離ｕとの関係を示すグラフである。図８に示すように、像面側距離ｖが等速度で変位しても、被写体距離ｕは等速度で変位しない。

図４に示したように、本発明の実施の形態１に係る撮像装置１００では、部分範囲、つまり被写体距離ｕの範囲は等間隔ではない。

一方で、当該撮像装置１００では、複数の部分範囲に対応する像面側距離ｖの変位量が一定になるように、複数の部分範囲を決定している。

図９は、本発明の実施の形態１に係る像面側距離ｖの変位量を示す図である。

図９に示すように、各部分範囲をスイープさせるための像面側距離ｖの変位量ｄｖは一定である。なお、図９に示す像面側距離ｖ０からｖ１の範囲は１０ｍから無限遠のスイープ範囲に対応し、像面側距離ｖ１からｖ２の範囲は５ｍから１０ｍのスイープ範囲に対応し、像面側距離ｖ２からｖ３の範囲は３ｍから５ｍのスイープ範囲に対応し、像面側距離ｖ３からｖ４の範囲は１ｍから３ｍのスイープ範囲に対応する。

このように、像面側距離ｖの変位量ｄｖを一定にすることで、各部分範囲におけるＳ／Ｎ比を同程度にできる。よって、各部分範囲に対応するＰＳＦの類似度を上げることができる。これにより、各部分範囲に対する処理量等を同程度にできるので、各種制御を効率的に行なえる。

なお、上記説明では、本発明を撮像装置に適用する例を述べたが、本発明は、上述した画像復元装置１１０として実現することもできる。図１０は、本発明の実施の形態１に係る画像復元装置１１０のブロック図である。この画像復元装置１１０は、例えば、上述した撮像装置１００に用いられる半導体集積回路として実現できる。また、撮像装置で撮像されたスイープ画像１３１に対して復元処理を施す、撮像装置とは独立した装置として実現することも可能である。また、この画像復元装置１１０は、パーソナルコンピュータ等の装置に搭載されてもよい。

また、図１１は、この画像復元装置１１０による撮像処理のフローチャートである。なお、図１１に示すステップＳ１０３及びＳ１０４の処理は、図２に示すステップＳ１０３及びＳ１０４の処理と同様である。

以上より、本発明の実施の形態１に係る撮像装置１００及び画像復元装置１１０は、あるスイープ範囲１３３のＰＳＦデータを、当該スイープ範囲１３３を構成する複数の部分範囲のＰＳＦデータから算出する。これにより、本発明の実施の形態１に係る撮像装置１００及び画像復元装置１１０は、ＰＳＦ記憶部１１１に記憶しておくＰＳＦデータの容量を削減できる。

さらに、本発明を、デジタルスチルカメラ、デジタルビデオカメラ、及び携帯電話用カメラ等の携帯型カメラに適用することにより、メモリ容量に制限がある携帯型カメラのメモリ容量を削減できるので、より有効である。

（実施の形態２）
本発明の実施の形態２では、上述した実施の形態１に係る撮像装置１００の変形例について説明する。なお、以下では、実施の形態１との相違点を主に説明し、重複する説明は省略する。

上述した実施の形態１では、ユーザは予め定められた複数のスイープ範囲からいずれかを選択するとしたが、実施の形態２では、ユーザは任意のスイープ範囲を指定できる。

また、本発明の実施の形態２に係る撮像装置１００は、スイープ範囲決定部１０３の機能が実施の形態１と異なる。

図１２は、実施の形態２に係るスイープ範囲決定部１０３によるスイープ範囲決定処理（図２のステップＳ１０１）のフローチャートである。また、図１３は、当該スイープ範囲決定処理の一例を示す図である。

図１２に示すように、まず、スイープ範囲決定部１０３は、ユーザからの指定範囲１３０を取得する（Ｓ１２１）。ここで、指定範囲１３０は、例えば、ユーザが指定した任意のスイープ範囲である。

次に、スイープ範囲決定部１０３は、指定範囲１３０が、予め登録されている複数の範囲（以下、登録範囲）のいずれかと一致するか否かを判定する（Ｓ１２２）。ここで、複数の登録範囲とは、例えば、実施の形態１で説明した、図４に示す１０種類の範囲である。

指定範囲１３０が複数の登録範囲のいずれかと一致する場合（Ｓ１２２でＹｅｓ）、スイープ範囲決定部１０３は、指定範囲１３０をスイープ範囲１３３に決定する（Ｓ１２３）。

一方、指定範囲１３０が複数の登録範囲のいずれとも一致しない場合（Ｓ１２２でＮｏ）、スイープ範囲決定部１０３は、指定範囲１３０の全てがスイープ可能範囲（例えば１ｍから無限遠）内に含まれるか否かを判定する（Ｓ１２４）。

指定範囲１３０の全てがスイープ可能範囲内に含まれる場合（Ｓ１２４でＹｅｓ）、スイープ範囲決定部１０３は、複数の登録範囲のうち、指定範囲１３０を全て含み、かつ最も狭い範囲をスイープ範囲１３３に決定する（Ｓ１２５）。

例えば、図１３に示すように、指定範囲１３０が４ｍから無限遠の場合、スイープ範囲決定部１０３は、３ｍから無限遠をスイープ範囲１３３に決定する。

一方、指定範囲１３０がスイープ可能範囲を超える場合（Ｓ１２４でＮｏ）、スイープ範囲決定部１０３は、複数の登録範囲のうち、指定範囲１３０に一番近い範囲をスイープ範囲１３３に決定する（Ｓ１２６）。

例えば、指定範囲１３０が０．５ｍから３ｍの場合、スイープ範囲決定部１０３は、１ｍから３ｍをスイープ範囲１３３に決定する。

言い換えると、スイープ範囲決定部１０３は、指定範囲１３０の最近端（撮像装置１００に近い側の端部）がスイープ可能範囲の最近端より近い場合、スイープ範囲１３３の最近端をスイープ可能範囲の最近端に設定する。同様に、スイープ範囲決定部１０３は、指定範囲１３０の最遠端（撮像装置１００に遠い側の端部）がスイープ可能範囲の最遠端より遠い場合、スイープ範囲１３３の最遠端をスイープ可能範囲の最遠端に設定する。なお、図１３の例ではスイープ可能範囲の最遠端は無限遠であるので、指定範囲１３０の最遠端がスイープ可能範囲の最遠端より遠くはならないが、例えば、スイープ可能範囲の最遠端が有限の場合には、このようなケースが発生する。

なお、ステップＳ１２５において、スイープ範囲決定部１０３は、複数の登録範囲のうち、指定範囲１３０に一番近い範囲をスイープ範囲１３３に決定してもよい。

また、スイープ範囲決定部１０３は、各部分範囲内に閾値を定めておき、指定範囲１３０の最近端が当該閾値未満の場合は、当該部分範囲の最近端をスイープ範囲１３３の最近端とし、指定範囲１３０の最近端が当該閾値以上の場合は、当該部分範囲の最遠端をスイープ範囲１３３の最近端としてもよい。同様に、スイープ範囲決定部１０３は、指定範囲１３０の最遠端が当該閾値未満の場合は、当該部分範囲の最近端をスイープ範囲１３３の最遠端とし、指定範囲１３０の最遠端が当該閾値以上の場合は、当該部分範囲の最遠端をスイープ範囲１３３の最近端としてもよい。例えば、３ｍから５ｍの部分範囲に対して閾値として４．５ｍを設定する。この場合、図１３に示すように、指定範囲１３０が４ｍから無限遠の場合、指定範囲１３０の最近端（４ｍ）が閾値（４．５ｍ）未満なので、スイープ範囲決定部１０３は、当該部分範囲の最近端（３ｍ）をスイープ範囲１３３の最近端に決定する。

なお、図１３に示すように、指定範囲１３０よりも広い範囲をスイープ範囲１３３に決定する方法は、少なくともユーザが指定した範囲に対してピントがあった復元画像１３２を生成できるという利点がある。

以上より、本発明の実施の形態２に係る撮像装置１００は、複数の登録範囲のうち、指定範囲１３０を全て含み、かつ最も狭い範囲をスイープ範囲１３３に決定する。これにより、当該撮像装置１００は、実際にスイープ撮像するスイープ範囲の種類を減らすことができるので、必要となるＰＳＦデータの種類を減らすことができる。これにより、当該撮像装置１００は、ＰＳＦ記憶部１１１に記憶しておくＰＳＦデータの容量を削減できる。

また、当該撮像装置１００は、指定範囲１３０よりも広い範囲をスイープ範囲１３３に決定することで、少なくともユーザが指定した範囲に対してピントがあった復元画像１３２を生成できる。このように、当該撮像装置１００は、ユーザの要求にあった画像を撮像できるとともに、ＰＳＦ記憶部１１１に記憶しておくＰＳＦデータの容量を削減できる。

以上、本発明の実施の形態に係る撮像装置について説明したが、本発明は、この実施の形態に限定されるものではない。

例えば、上記説明では、２つのＰＳＦデータを加算及び正規化することにより、新たなＰＳＦデータを生成する例を述べたが、２つのＰＳＦデータを減算及び正規化することにより、新たなＰＳＦデータを生成してもよい。例えば、撮像装置１００は、１ｍから３ｍの範囲のＰＳＦデータと、１ｍから５ｍの範囲のＰＳＦデータを記憶しており、１ｍから５ｍの範囲のＰＳＦデータから１ｍから３ｍの範囲のＰＳＦデータを減算及び正規化することにより、３ｍから５ｍのＰＳＦデータを生成してもよい。

つまり、撮像装置１００は、第１範囲のＰＳＦデータと、第１範囲を含まない第２範囲のＰＳＦデータと、第１範囲と第２範囲とを合わせた範囲である第３範囲のＰＳＦデータとのうち、いずれか２つのＰＳＦデータを記憶し、この２つのＰＳＦデータを加算又は減算することにより、上記の３つのＰＳＦデータのうち残りの一つを算出すればよい。

また、上記実施の形態に係る撮像装置及び画像復元装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、本発明の実施の形態に係る、撮像装置又は画像復元装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。

さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記実施の形態１〜２に係る、撮像装置、画像復元装置及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。

また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。

更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。

本発明は、デジタルスチルカメラ及びデジタルビデオカメラ等の撮像装置に適用できる。

１００ 撮像装置
１０１ 撮像素子
１０２ レンズ
１０３ スイープ範囲決定部
１０４ スイープ撮像部
１１０ 画像復元装置
１１１ ＰＳＦ記憶部
１１２ ＰＳＦ算出部
１１３ 画像復元部
１２１ 第１範囲ＰＳＦ
１２２ 第２範囲ＰＳＦ
１２３ 第３範囲ＰＳＦ
１２４ 第４範囲ＰＳＦ
１３０ 指定範囲
１３１ スイープ画像
１３２ 復元画像
１３３ スイープ範囲

Claims (9)

1. 撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元装置であって、
   （１）前記スイープ範囲が第１範囲である場合の前記スイープ画像である第１スイープ画像に対して復元処理を施すための第１ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と、（２）前記スイープ範囲が、前記第１範囲を含まない第２範囲である場合の前記スイープ画像である第２スイープ画像に対して復元処理を施すための第２ＰＳＦと、（３）前記スイープ範囲が、前記第１範囲と前記第２範囲とを合わせた範囲である第３範囲である場合の前記スイープ画像である第３スイープ画像に対して復元処理を施すための第３ＰＳＦとのうち、いずれか２つのＰＳＦを記憶するＰＳＦ記憶部と、
   前記２つのＰＳＦを加算又は減算することにより、前記第１ＰＳＦ、前記第２ＰＳＦ及び前記第３ＰＳＦのうち残りの一つを算出するＰＳＦ算出部と、
   前記第１ＰＳＦを用いて、前記第１スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第２ＰＳＦを用いて、前記第２スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第３ＰＳＦを用いて、前記第３スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元部とを備える
   画像復元装置。
2. 前記ＰＳＦ算出部は、前記第１ＰＳＦと前記第２ＰＳＦとを加算することにより、前記第３ＰＳＦを算出する
   請求項１記載の画像復元装置。
3. 請求項１又は２記載の画像復元装置と、
   前記撮像素子と、
   前記レンズと、
   前記第１範囲、前記第２範囲及び前記第３範囲のいずれかを、前記スイープ範囲に決定するスイープ範囲決定部と、
   前記スイープ範囲に対応する前記像面側合焦点を求め、露光中に前記像面側合焦点間をフォーカススイープさせた画像が得られるよう前記レンズ又は前記撮像素子を駆動させることにより、前記撮像素子に前記スイープ画像を撮像させるスイープ撮像部とを備える
   撮像装置。
4. 前記スイープ範囲決定部は、ユーザにより指定された指定範囲に基づき、前記第１範囲、前記第２範囲及び前記第３範囲のいずれかを、前記スイープ範囲に決定する
   請求項３記載の撮像装置。
5. 前記スイープ範囲決定部は、前記指定範囲が、前記第１範囲、前記第２範囲及び前記第３範囲のいずれにも一致しない場合、前記第１範囲、前記第２範囲及び前記第３範囲のうち、前記指定範囲を全て含み、かつ最も狭い範囲を前記スイープ範囲に決定する
   請求項４記載の撮像装置。
6. 前記スイープ撮像部は、前記撮像素子と前記レンズとの距離である像面側距離を変位させることにより、前記撮像素子の被写体側の焦点位置を変位させ、
   前記被写体側の焦点位置を前記第１範囲でスイープさせるための前記像面側距離の変位量は、前記被写体側の焦点位置を前記第２範囲でスイープさせるための前記像面側距離の変位量と等しい
   請求項３記載の撮像装置。
7. 撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する画像復元方法であって、
   （１）前記スイープ範囲が第１範囲である場合の前記スイープ画像である第１スイープ画像に対して復元処理を施すための第１ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と、（２）前記スイープ範囲が、前記第１範囲を含まない第２範囲である場合の前記スイープ画像である第２スイープ画像に対して復元処理を施すための第２ＰＳＦと、（３）前記スイープ範囲が、前記第１範囲と前記第２範囲とを合わせた範囲である第３範囲である場合の前記スイープ画像である第３スイープ画像に対して復元処理を施すための第３ＰＳＦとのうち、いずれか２つのＰＳＦを加算又は減算することにより、前記第１ＰＳＦ、前記第２ＰＳＦ及び前記第３ＰＳＦのうち残りの一つを算出するＰＳＦ算出ステップと、
   前記第１ＰＳＦを用いて、前記第１スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第２ＰＳＦを用いて、前記第２スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第３ＰＳＦを用いて、前記第３スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元ステップとを含む
   画像復元方法。
8. 請求項７記載の画像復元方法をコンピュータに実行させるための
   プログラム。
9. 撮像素子又は前記撮像素子に光を集光するレンズが駆動されることにより、合焦させたい所望の距離範囲を含むスイープ範囲に対応する像面側合焦点間を露光中にフォーカススイープされた、当該撮像素子により撮像されたスイープ画像に対して復元処理を施すことにより、被写界深度が拡張された復元画像を生成する集積回路であって、
   （１）前記スイープ範囲が第１範囲である場合の前記スイープ画像である第１スイープ画像に対して復元処理を施すための第１ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）と、（２）前記スイープ範囲が、前記第１範囲を含まない第２範囲である場合の前記スイープ画像である第２スイープ画像に対して復元処理を施すための第２ＰＳＦと、（３）前記スイープ範囲が、前記第１範囲と前記第２範囲とを合わせた範囲である第３範囲である場合の前記スイープ画像である第３スイープ画像に対して復元処理を施すための第３ＰＳＦとのうち、いずれか２つのＰＳＦを記憶するＰＳＦ記憶部と、
   前記２つのＰＳＦを加算又は減算することにより、前記第１ＰＳＦ、前記第２ＰＳＦ及び前記第３ＰＳＦのうち残りの一つを算出するＰＳＦ算出部と、
   前記第１ＰＳＦを用いて、前記第１スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第２ＰＳＦを用いて、前記第２スイープ画像に対して復元処理を施すことにより前記復元画像を生成し、前記第３ＰＳＦを用いて、前記第３スイープ画像に対して復元処理を施すことにより前記復元画像を生成する画像復元部とを備える
   集積回路。

Images