JPWO2013088690A1 - 撮像装置、撮像システム、撮像方法および画像処理方法 - Google Patents

Abstract

撮影シーンの奥行きを示すデプスデータと、光学ぼけが低減された復元画像データとを得るための画像を撮影する撮像装置（１００）は、回転非対称な形状の光学ぼけを有する光学デバイス（１１０）と、光学デバイス（１１０）の一部または全部を回転させるアクチュエータ（１２０）と、光学デバイス（１１０）が回転するたびに画像を撮影することにより、複数の撮影画像データを生成する撮像部（１３０）とを備える。

Description

本発明は、撮像装置、撮像システム、撮像方法および画像処理方法に関し、特に撮影シーンの奥行きを示すデプスデータと光学ぼけが低減された復元画像データとを得るための撮像装置、撮像システム、撮像方法および画像処理方法に関する。

光学ぼけを低減し、合焦範囲を拡大する被写界深度拡大（ＥＤＯＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）技術として、主として以下の２つのアプローチが存在する。

１つ目のアプローチは、奥行きによって変化しない単一の点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を利用する技術である。具体的には、奥行きによって変化しないＰＳＦが得られるように構成された光学系を用いて画像を撮影する。そして、単一のＰＳＦを用いて撮影画像に対する復元処理を行う。これを以下、デプス・インバリアントな手法と称する。

本アプローチにおいて最も効率が高い方法の１つとして、合焦位置を変化させながら撮影された画像を用いる方法（Ｆｏｃａｌ ＳｗｅｅｐもしくはＦｌｅｘｉｂｌｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ（Ｆ−ＤＯＦ））が提案されている（非特許文献１を参照）。

２つ目のアプローチは、奥行きによって変化するＰＳＦを利用する技術である。具体的には、撮影シーンの奥行き（デプスデータ）を検出するとともに、検出された奥行きに対応するＰＳＦを用いて撮影画像に対する復元処理を行う。これを以下、デプス・バリアントな手法と称する。

本アプローチにおいて提案されている代表的な方法として、符号化アパチャ（Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ）、あるいは格子状焦点レンズ（Ｌａｔｔｉｃｅ Ｆｏｃａｌ Ｌｅｎｓ）を用いて撮影された画像を用いる方法が提案されている（非特許文献２および３を参照）。特に、格子状焦点レンズは、両アプローチを通じて、最も効率よく被写界深度を拡大できることが知られている。

さらに本アプローチにおいては、デプス・インバリアントな手法では得られない、デプスデータが同時に得られるというメリットもある。

このようなＥＤＯＦ技術によって、撮影画像の焦点が外れた領域における光学ぼけを低減することができ、撮影画像の被写界深度を拡大することができる。

"Flexible Depth of Field Photography", H. Nagahara, S. Kuthirummal, C. Zhou, and S. K. Nayar, European Conference on Computer Vision (ECCV), Oct, 2008 "4D Frequency Analysis of Computational Cameras for Depth of Field Extension", Anat Levin, Samuel W. Hasinoff, Paul Green, Fredo Durand, and William T. Freeman ACM Transactions on Graphics (Proc. SIGGRAPH 2009) "Image and Depth from a Conventional Camera with a Coded Aperture", Anat Levin, Rob Fergus, Fredo Durand, William T. Freeman ACM Transactions on Graphics (Proc. SIGGRAPH 2007) "Coded Aperture Pairs for Depth from Defocus", C. Zhou, S. Lin, and S. K. Nayar, IEEE International Conference on Computer Vision (ICCV), Oct, 2009

上記従来の技術において、復元処理された撮影画像（以下、「復元画像」と呼ぶ）の画質が低い場合がある。

そこで、本発明は、復元画像を撮影画像から得る場合に、復元画像の画質を向上させることができる撮像装置を提供する。

本発明の一態様に係る撮像装置は、撮影シーンの奥行きを示すデプスデータと、光学ぼけが低減された復元画像データとを得るための画像を撮影する撮像装置であって、回転非対称な形状の光学ぼけを有する光学デバイスと、前記光学デバイスの一部または全部を回転させるアクチュエータと、前記光学デバイスが回転するたびに画像を撮影することにより、複数の撮影画像データを生成する撮像部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様に係る撮像装置によれば、復元画像の画質を向上させることができる。

図１は、実施の形態に係る撮像システムの構成の一例を示す図である。 図２は、実施の形態に係る撮像装置の構成を示すブロック図である。 図３は、実施の形態に係る光学デバイスに含まれるレンズの一例を示す外観図である。 図４は、実施の形態に係る光学デバイスの一例を説明するための図である。 図５は、実施の形態に係る光学デバイスの光学ぼけの一例を示す図である。 図６は、実施の形態に係る光学デバイスに含まれるアパチャの一例を示す外観図である。 図７は、実施の形態に係る光学デバイスの回転の一例を示す図である。 図８は、実施の形態に係る撮像装置の処理動作を示すフローチャートである。 図９は、実施の形態に係る撮像装置の処理動作を説明するための図である。 図１０は、実施の形態に係る画像処理装置の構成を示すブロック図である。 図１１は、実施の形態に係る画像処理装置の処理動作を示すフローチャートである。

（本発明の基礎となった知見）
本発明者は、上記のデプス・バリアントな手法では、デプス・インバリアントな手法と比べて、復元処理によって得られる復元画像の画質が低いという課題があることを見出した。以下に、その課題について説明する。

上記のデプス・バリアントな手法では、撮影画像の空間周波数成分の値がゼロまたはゼロに近い値になる特性を利用して、撮影シーンの奥行き（デプスデータ）が検出される。つまり、光学デバイスは、撮影画像において一部の周波数成分が欠落または著しく損失するように構成される必要がある。

このように一部の空間周波数成分が欠落または著しく失われた撮影画像に対して復元処理を行っても、該当の空間周波数成分を復元することができない。その結果、復元画像の画質が低くなる。具体的には、該当の空間周波数成分をもった被写体が撮像されたとき、その部分はぼけた状態で復元されるか、もしくはリンギングの生じた状態で復元されるかのいずれかである。

そこで、本発明は、ぼけが低減された復元画像を撮影画像から得る場合に、復元画像の画質を向上させるための画像を撮影することができる撮像装置もしくは撮像方法、または復元画像の画質を向上させることができる撮像システムもしくは画像処理方法を提供する。

本発明の一態様に係る撮像装置は、撮影シーンの奥行きを示すデプスデータと、光学ぼけが低減された復元画像データとを得るための画像を撮影する撮像装置であって、回転非対称な形状の光学ぼけを有する光学デバイスと、前記光学デバイスの一部または全部を回転させるアクチュエータと、前記光学デバイスが回転するたびに画像を撮影することにより、複数の撮影画像データを生成する撮像部とを備える。

この構成によれば、光学デバイスは回転非対称な形状の光学ぼけを有する。つまり、回転前の光学デバイスの光学ぼけと、回転後の光学デバイスの光学ぼけとは、２次元平面空間における光学特性が互いに異なる。したがって、光学デバイスが回転するたびに撮影された複数の画像において、２次元平面空間上で光学ぼけによって失われる画像成分も互いに異なる。よって、複数の撮影画像データは、光学ぼけによって失われる画像成分を互いに補完することができる。このような複数の撮影画像データを用いて復元画像データが生成されれば、復元画像の画質を向上させることが可能となる。

さらに、この構成によれば、光学デバイスを単純に回転させることにより、光学デバイスの光学ぼけを変化させることができる。したがって、画像を撮影するために光学デバイスをわざわざ交換する必要がなく、デプスデータと復元画像データとを得るための画像を容易に撮影することが可能となる。また、光学デバイスの光学ぼけの形状を比較的短時間に変化させることができ、応答性にすぐれた撮像装置を実現することができる。

また、前記光学ぼけは、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）によって表され、前記光学デバイスは、前記ＰＳＦが奥行きに応じて変化するように構成されていることが好ましい。

この構成によれば、ＰＳＦを奥行きに応じて変化させることができる。つまり、ＰＳＦが奥行きに応じて変化しないように光学デバイスを構成する必要がないので、光学デバイスの構成を簡易にすることが可能となる。

また、前記光学デバイスは、空間周波数領域において前記ＰＳＦの一部の周波数成分の値が所定閾値以下となる周波数が１箇所以上存在するように構成されていることが好ましい。

この構成によれば、空間周波数領域においてＰＳＦの一部の周波数成分の値が所定閾値以下となる周波数を存在させることができる。したがって、光学デバイスの設計あるいは構成を容易にすることができる。

また、前記光学デバイスは、空間周波数領域において前記ＰＳＦの一部の周波数成分の値が所定閾値以下となる周波数の値および数の少なくとも一方が奥行きに応じて変化するように構成されていることが好ましい。

この構成によれば、空間周波数領域においてＰＳＦの一部の周波数成分の値が所定閾値以下となる周波数の値および数の少なくとも一方を奥行きに応じて変化させることができる。したがって、撮影画像データにおいて、空間周波数成分が欠落もしくは著しく損失した周波数を特定することにより、デプスデータを高精度に生成することが可能となる。つまり、デプスデータを高精度に生成するとともに、復元画像データの画質を向上させることが可能となる。

また、前記光学デバイスは、空間領域において前記ＰＳＦが複数のピークを有するように構成されていることが好ましい。

この構成によれば、空間領域においてＰＳＦが複数のピークを有するように光学デバイスを構成することができる。したがって、光学デバイスが回転するたびに撮影された複数の画像における、光学ぼけによって失われる画像成分の補完効果を向上させることができる。

また、前記光学デバイスは、互いに合焦位置が異なる複数の領域を有するレンズを含むことが好ましい。

この構成によれば、光学デバイスが互いに合焦位置が異なる複数の領域を有するレンズを含むようにすることができる。このようなレンズを用いて撮影された画像を用いて被写界深度が拡大されれば、合焦位置を変化させながら撮影された画像を用いて被写界深度が拡大されるよりも、より少ない光量で効率的に被写界深度を拡大することができ、ＳＮ比が高い復元画像を得ることが可能となる。

また、前記光学デバイスは、複数の開口が形成されたアパチャを含むことが好ましい。

この構成によれば、光学デバイスが複数の開口が形成されたアパチャを含むようにすることもできる。したがって、光学デバイスの構成を簡易にすることができる。

また、本発明の一態様に係る撮像システムは、上記に記載の撮像装置と、前記撮像装置により生成された複数の撮影画像データを処理することにより、前記デプスデータと前記復元画像データとを生成する画像処理装置とを備え、前記画像処理装置は、前記複数の撮影画像データのうちの少なくとも１つの撮影画像データにおいて空間周波数成分の値が所定閾値以下となる周波数に基づいて前記デプスデータを生成するデプスデータ生成部と、前記複数の撮影画像データに対応する光学ぼけに基づいて、前記複数の画像データに対して復元処理を行うことにより、前記復元画像データを生成する復元処理部とを備える。

この構成によれば、上記撮像装置と同様の効果を奏することに加えて、上記撮像装置によって生成された撮影画像データを用いて、デプスデータと高画質な復元画像データとを生成することができる。

また、本発明の一態様に係る撮像方法は、回転非対称な形状の光学ぼけを有する光学デバイスと、前記光学デバイスを回転させるアクチュエータとを備える撮像装置を用いて、撮影シーンの奥行きを示すデプスデータと光学ぼけが低減された復元画像データとを得るための画像を撮影する撮像方法であって、画像を撮影する第１撮影ステップと、前記アクチュエータを介して、前記光学デバイスの一部または全部を回転させる回転ステップと、前記光学デバイスが回転された後に画像を撮影する第２撮影ステップとを含む。

これによれば、上記撮像装置と同様の効果を奏することができる。

また、本発明の一態様に係る画像処理方法は、回転非対称な形状の光学ぼけを有する光学デバイスと、前記光学デバイスを回転させるアクチュエータとを備える撮像装置を用いて画像を撮影し、撮影された画像を処理する画像処理方法であって、画像を撮影することにより、第１撮影画像データを生成する第１撮影ステップと、前記アクチュエータを介して、前記光学デバイスの一部または全部を回転させる回転ステップと、前記光学デバイスが回転された後に画像を撮影することにより、第２撮影画像データを生成する第２撮影ステップと、前記第１および前記第２撮影画像データのうちの少なくとも一方において空間周波数成分の値が所定閾値以下となる周波数に基づいて、撮影シーンの奥行きを示すデプスデータを生成するデプスデータ生成ステップと、前記第１および前記第２撮影画像データに対応する光学ぼけに基づいて、前記複数の画像データに対して復元処理を行うことにより、復元画像データを生成する復元ステップとを含む。

これによれば、上記撮像システムと同様の効果を奏することができる。

以下、実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な一例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、請求の範囲を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素は、任意の構成要素として説明される。

（実施の形態）
図１は、実施の形態に係る撮像システムの構成を示すブロック図である。図１に示すように、撮像システム１０は、撮像装置１００と、画像処理装置２００とを備える。この撮像システム１０は、撮像画像処理装置と呼ばれてもよい。

撮像装置１００は、デプスデータと復元画像データとを得るための画像を撮影する。具体的には、撮像装置１００は、例えばデジタルスチルカメラあるいはデジタルビデオカメラなどである。

デプスデータとは、撮影シーンの奥行きを示すデータである。すなわち、デプスデータは、撮像装置１００から被写体までの距離を画素毎あるいは領域毎に示すデータである。このデプスデータは、画像処理において有用なデータである。例えば、デプスデータは、２次元画像データを、右目用画像および左目用画像を有する３次元画像データに変換するために利用される。また、このデプスデータは、例えば、２次元画像において背景に対応する領域を特定し、特定した領域のみをぼかすための画像処理において利用されてもよい。

復元画像データとは、画像に対して復元処理を行うことにより得られる画像データである。ここで、復元処理とは、画像におけるぼけを低減し鮮鋭化する処理である。本発明における復元画像データは、復元処理により光学ぼけが低減された画像データ、すなわち撮影画像データよりも被写界深度が拡大された画像データを指すものとする。

画像処理装置２００は、撮像装置１００から複数の撮影画像データを取得する。具体的には、画像処理装置２００は、例えばパーソナルコンピュータあるいはクラウドサーバなどである。画像処理装置２００は、例えば有線もしくは無線ネットワーク、または記録媒体などを介して、撮像装置１００から複数の撮影画像データを取得する。さらに、画像処理装置２００は、撮像装置１００により生成された複数の撮影画像データを処理することにより、デプスデータと復元画像データとを生成する。

なお、撮像装置１００と画像処理装置２００とは、必ずしも別体の装置として実現される必要はない。例えば、画像処理装置２００は、撮像装置１００に内蔵されてもよい。この場合、画像処理装置２００は、１つの集積回路として実現されてもよい。

以下、まず、撮像装置１００の詳細な構成について説明する。

図２は、実施の形態に係る撮像装置の機能構成を示すブロック図である。図２に示すように、撮像装置１００は、光学デバイス１１０と、アクチュエータ１２０と、撮像部１３０とを備える。以下に、撮像装置１００が備える各構成要素について説明する。

光学デバイス１１０は、回転可能に配置されている。本実施の形態では、光学デバイス１１０は、光軸と平行な軸回りに回転可能に配置されている。なお、回転軸は、必ずしも光軸と平行である必要はない。つまり、光学デバイス１１０の回転軸は特定の方向に限定される必要はない。

また、光学デバイス１１０は、回転非対称な形状の光学ぼけを有する。つまり、光学デバイス１１０は、回転された場合に光学ぼけの形状も回転するなど変化するように構成されている。

本実施の形態では、光学ぼけは、ＰＳＦによって表される。また、光学デバイス１１０は、ＰＳＦが奥行きに応じて変化するように構成されている。つまり、光学デバイス１１０のＰＳＦは奥行きに依存する。

具体的には、光学デバイス１１０は、例えば、互いに合焦位置が異なる複数の領域を有するレンズを含めばよい。つまり、光学デバイス１１０は、例えば格子状焦点レンズを含めばよい。ここで、図３〜図５を用いて、光学デバイス１１０が互いに合焦位置が異なる複数の領域を有するレンズを含む場合を一例として光学デバイス１１０について説明する。

図３は、実施の形態に係る光学デバイスに含まれるレンズの一例を示す外観図である。ここでは、光学デバイス１１０に含まれるレンズ１１１は、互いに合焦位置が異なる４つの領域１１１ａ〜１１１ｄを有するレンズである。具体的には、レンズ１１１は、表面の傾斜角度が互いに異なる４つの領域１１１ａ〜１１１ｄを有する矩形板状のレンズである。

このレンズ１１１は、非特許文献３における格子状焦点レンズに相当する。格子状焦点レンズを用いて撮影された画像を用いて被写界深度が拡大されれば、合焦位置を変化させながら撮影された画像を用いて被写界深度が拡大されるよりも、より少ない光量で効率的に被写界深度を拡大することができ、ＳＮ比が高い復元画像を得ることが可能となる。

図４は、実施の形態に係る光学デバイスの一例を説明するための図である。具体的には、図４は、光学デバイス１１０に入射した光の進行方向を示す。なお、説明の便宜のため、ここでは、レンズ１１１の４つの領域１１１ａ〜１１１ｄが光軸と垂直な方向に並んで配置されていると仮定する。

図４から明らかなように、各領域の合焦位置が異なるので、各領域を通過した光のぼけ方も異なる。例えば、撮像面がＡまたはＢの位置にある場合には、１つの物体の像が離散的に互いに異なるぼけ方で複数形成される。つまり、光学デバイス１１０は、ＰＳＦが空間領域において複数のピークを有するように構成されている。

図５は、実施の形態に係る光学デバイスの光学ぼけの一例を示す図である。具体的には、図５は、光学デバイス１１０のＰＳＦ、ＯＴＦ（光学伝達関数：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）およびＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を示す図である。ＯＴＦは、ＰＳＦをフーリエ変換したものの大きさである。つまり、ＯＴＦは、ＰＳＦを空間周波数領域で表したときの振幅値である。また、ＭＴＦは、ＯＴＦを特定の空間軸方向において断面化したものである。図５のＭＴＦは、同図のＯＴＦにおけるＸ軸方向（横軸方向）の空間周波数特性を示している。

図５に示すように、光学デバイス１１０のＰＳＦは、回転非対称な形状を有する。つまり、光学デバイス１１０は、ＰＳＦが回転非対称な形状を有するように構成されている。

また、光学デバイス１１０のＰＳＦは、奥行きに応じて変化している。つまり、光学デバイス１１０は、ＰＳＦが奥行きに応じて変化するように構成されている。

また、図５のＭＴＦを見ればわかるように、ＰＳＦは、空間周波数成分の値が所定閾値以下となる周波数が１箇所以上存在する。つまり、光学デバイス１１０は、空間周波数領域において、ＰＳＦの一部の周波数成分の値が所定閾値以下となる周波数が１箇所以上存在するように構成されている。この所定閾値とは、ゼロまたはゼロに非常に近い値である。以下において、このように空間周波数成分の値が所定閾値以下となる周波数によって特定される周波数領域上の点をゼロ点と呼ぶ。

このゼロ点の位置および数の少なくとも一方は奥行きに応じて変化している。つまり、光学デバイス１１０は、空間周波数領域において、ＰＳＦの一部の周波数成分の値が所定閾値以下となる周波数の値および数の少なくとも一方が奥行きに応じて変化するように構成されている。

また、ＯＴＦを見ればわかるように、光学デバイス１１０は、空間領域においてＰＳＦが複数のピークを有するように構成されている。

なお、図３〜図５で説明した光学デバイス１１０は一例であり、光学デバイス１１０は、必ずしもこのようなレンズ１１１を含む必要はない。例えば、光学デバイス１１０に含まれるレンズ１１１は、必ずしも４つの領域を有する必要はない。レンズ１１１は、互いに合焦位置が異なる２つもしくは３つ、または５つ以上の領域を有しても構わない。

また、レンズ１１１は、必ずしも矩形板状のレンズである必要はない。例えば、レンズ１１１は、円板形状であってもよい。また例えば、レンズ１１１は、プリズムのような立体形状であっても構わない。

また、レンズ１１１は、必ずしも、表面の傾斜角度が互いに異なる複数の領域を有する必要はない。例えば、レンズ１１１は、曲面形状が互いに異なる複数の領域を有してもよい。また例えば、レンズ１１１は、領域毎に屈折率が異なる材質からなる複数の領域を有してもよい。

また、光学デバイス１１０は、レンズ１１１の代わりに、多焦点レンズを含んでもよい。また、光学デバイス１１０は、非点収差や像面湾曲などの各種レンズ収差を活用したレンズを含んでもよい。このような場合であっても、光学デバイス１１０は、図５に示すような、空間方向別に異なる非対称なぼけをなすＰＳＦを有するように構成されることができる。

また、光学デバイス１１０は、レンズ１１１の代わりに、一般的な焦点レンズと図６に示すようなアパチャを含んでもよい。または、光学デバイス１１０は、レンズ１１１と図６に示すようなアパチャとの両方を含んでもよい。

図６は、実施の形態に係る光学デバイスに含まれるアパチャの一例を示す外観図である。

アパチャ１１２には、複数の開口が形成されている。このアパチャ１１２は、非特許文献２における符号化アパチャに相当する。このように光学デバイス１１０にアパチャ１１２が含まれる場合も、光学デバイス１１０は、図５に示すような、空間方向別に異なる非対称なぼけをなすＰＳＦを有するように構成されることができる。

なお、アパチャ１１２は、光学デバイス１１０に含まれるアパチャの一例であり、必ずしも図６に示すようなアパチャである必要はない。つまり、アパチャに形成されている開口の数および形状は、必ずしも図６に示すような数および形状である必要はない。

次に、図２の撮像装置１００が備えるアクチュエータ１２０について説明する。

アクチュエータ１２０は、光学デバイス１１０の一部または全部を回転させる。具体的には、アクチュエータ１２０は、撮像部１３０からの回転制御信号に従って、例えば電磁石などにより生じた動力を利用して光学デバイス１１０を回転させる。

上述したように光学デバイス１１０のＰＳＦは、回転非対称な形状を有する。したがって、アクチュエータ１２０は、光学デバイス１１０の一部または全部を回転させることにより、光学デバイス１１０のＰＳＦの形状を変化させることができる。

図７は、実施の形態に係る光学デバイスの回転の一例を示す図である。具体的には、図７は、回転前後において光学デバイス１１０を被写体側からみた図である。

図７では、アクチュエータ１２０は、光学デバイス１１０を回転させることにより、光学デバイス１１０の回転方向の位置を示す角度を第１角度θ１から第２角度θ２に変化させる。

ここでは、図７の（ａ）に示すように、光学デバイス１１０の回転方向の位置を示す角度が第１角度θ１であるときの、光学デバイス１１０の回転方向の位置を基準位置と呼ぶ。また、図７の（ｂ）に示すように、光学デバイス１１０の回転方向の位置を示す角度が第２角度θ２であるときの、光学デバイス１１０の回転方向の位置を回転位置と呼ぶ。

なお、図７では、光学デバイス１１０の回転角は９０度であるが、必ずしも９０度である必要ない。つまり、アクチュエータ１２０は、光学デバイス１１０のＰＳＦの形状を変化させることができれば、どのような回転角だけ光学デバイス１１０を回転させても構わない。

次に、図２の撮像装置１００が備える撮像部１３０について説明する。

撮像部１３０は、光学デバイス１１０が回転するたびに画像を撮影することにより、複数の撮影画像データを生成する。具体的には、撮像部１３０は、光学デバイス１１０の回転方向の位置が基準位置のときに画像を撮影し、その後、光学デバイス１１０の回転方向の位置が回転位置のときに再び画像を撮影する。図２に示すように、撮像部１３０は、シャッター１３１と、撮像素子１３２と、制御部１３３とを備える。

シャッター１３１は、撮像素子１３２への光の入射を制御する。具体的には、シャッター１３１は、開閉動作を行うことにより、光学デバイス１１０を通過した光を撮影時に通過させ、非撮影時にさえぎる。なお、シャッター１３１は、制御部１３３からのシャッター制御信号に従って開閉動作を行う。

撮像素子１３２は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの固体撮像素子である。撮像素子１３２は、入射した光を電気信号に変換することにより画像を撮影する。

制御部１３３は、撮像装置１００を制御する。具体的には、制御部１３３は、例えばシャッターボタンが押下された場合などに、シャッター制御信号をシャッター１３１に出力することにより、シャッター１３１を開閉させる。また、制御部１３３は、アクチュエータ１２０に回転制御信号を出力することにより、アクチュエータ１２０に光学デバイス１１０を回転させる。

次に、以上のように構成された撮像装置１００の動作について説明する。

図８は、実施の形態に係る撮像装置の処理動作を示すフローチャートである。なお、図８では、光学デバイス１１０の回転方向の初期位置が基準位置である場合について説明する。

まず、撮像部１３０は、画像を撮影することにより、第１撮影画像データを生成する（Ｓ１０１）。つまり、撮像部１３０は、光学デバイス１１０の回転方向の位置が基準位置であるときに画像を撮影する。すなわち、撮像部１３０は、光学デバイス１１０の回転方向の位置を示す角度が第１角度θ１であるときに画像を撮影する。

続いて、撮像部１３０は、アクチュエータ１２０を介して、光学デバイス１１０の一部または全部を回転させる（Ｓ１０２）。つまり、撮像部１３０は、光学デバイス１１０の回転方向の位置を基準位置から回転位置に変化させる。すなわち、撮像部１３０は、光学デバイス１１０の回転方向の位置を示す角度を第１角度θ１から第２角度θ２に変化させる。

最後に、撮像部１３０は、ステップＳ１０２において光学デバイス１１０が回転された後に画像を撮影することにより、第２撮影画像データを生成する（Ｓ１０３）。つまり、撮像部１３０は、光学デバイス１１０の回転方向の位置が回転位置であるときに画像を撮影する。すなわち、撮像部１３０は、光学デバイス１１０の回転方向の位置を示す角度が第２角度θ２であるときに画像を撮影する。

このように撮像装置１００は、デプスデータと復元画像データとを得るための複数の撮影画像データを得ることができる。次に、これらの撮像部１３０の処理動作の具体例を説明する。

図９は、実施の形態に係る撮像装置の処理動作を説明するための図である。

光学デバイス１１０の回転方向の位置が基準位置でない場合には、まず、制御部１３３は、光学デバイス１１０の回転方向の位置を基準位置するための回転制御信号を生成し、アクチュエータ１２０に出力する（時刻ｔ１）。アクチュエータ１２０は、制御部１３３からの回転制御信号に従って光学デバイス１１０の回転させる（時刻ｔ１〜ｔ２）。その結果、光学デバイス１１０の回転方向の位置は、図７の（ａ）に示すような基準位置となる。本実施の形態では、光学デバイス１１０の回転方向の位置を示す角度が第１角度θ１になる。

次に、制御部１３３は、シャッターを開閉させるためのシャッター制御信号を生成し、シャッター１３１に出力する（時刻ｔ３）。シャッター１３１は、制御部１３３からのシャッター制御信号に従って、一定期間、シャッターを開放することにより、光学デバイス１１０を通過した光を撮像素子１３２に入射させる（時刻ｔ３〜ｔ４）。すなわち、撮像部１３０は、光学デバイス１１０の回転方向の位置が基準位置であるときに画像を撮影することにより、第１撮影画像データを生成する。

制御部１３３は、光学デバイス１１０の回転方向の位置を基準位置から回転位置に変化させるための回転制御信号を生成し、アクチュエータ１２０に出力する（時刻ｔ４）。つまり、制御部１３３は、光学デバイス１１０の回転方向の位置を基準位置から回転位置に変化させるための回転制御信号を生成する。

アクチュエータ１２０は、回転制御信号に従って、光学デバイス１１０の一部または全部を回転させる（時刻ｔ４〜ｔ５）。その結果、光学デバイス１１０の回転方向の位置は、図７の（ｂ）に示すような回転位置に変化する。

制御部１３３は、シャッターを開閉させるためのシャッター制御信号を生成し、シャッター１３１に出力する（時刻ｔ６）。シャッター１３１は、制御部１３３からのシャッター制御信号に従って、一定期間、シャッターを開放することにより、光学デバイス１１０を通過した光を撮像素子１３２に入射させる（時刻ｔ６〜ｔ７）。すなわち、撮像部１３０は、光学デバイス１１０の回転方向の位置が回転位置であるときに画像を撮影することにより、第２撮影画像データを生成する。

以上のように、撮像装置１００は、デプスデータと復元画像データを得るための画像を撮影することができる。次に、このように生成された撮影画像データを用いて、デプスデータと復元画像データとを生成する画像処理装置２００について説明する。

図１０は、実施の形態に係る画像処理装置の構成を示すブロック図である。画像処理装置２００は、撮像装置１００により生成された複数の撮影画像データを処理することにより、デプスデータと復元画像データとを生成する。図１０に示すように、画像処理装置２００は、デプスデータ生成部２１０と、復元処理部２３０とを備える。

デプスデータ生成部２１０は、複数の撮影画像データのうちの少なくとも１つの撮影画像データにおいて周波数成分の値が所定閾値以下となる周波数を特定する。そして、デプスデータ生成部２１０は、特定された周波数に基づいて、デプスデータを生成する。

復元処理部２３０は、光学デバイス１１０の回転前における光学ぼけと、光学デバイス１１０の回転後における光学ぼけとに基づいて複数の撮影画像データに対して復元処理を行うことにより、復元画像データを生成する。つまり、復元処理部２３０は、光学デバイス１１０の回転方向の位置が基準位置のときのＰＳＦと、光学デバイス１１０の回転方向の位置が回転位置のときのＰＳＦとを用いて、複数の撮影画像データに対して復元処理を行う。

次に、以上のように構成された画像処理装置２００における処理動作について説明する。

図１１は、実施の形態に係る画像処理装置の処理動作を示すフローチャートである。ここでは、撮像装置１００から２つの撮影画像データ（第１および第２撮影画像データ）が得られた場合について説明する。

まず、デプスデータ生成部２１０は、第１および第２撮影画像データのうちの少なくとも一方において周波数成分の値が所定閾値以下となる周波数に基づいて、デプスデータを生成する（Ｓ２０１）。例えば、デプスデータ生成部２１０は、非特許文献２または３と同様の方法により、デプスデータを生成する。

なお、デプスデータは、撮影画像データごとに生成することができる。したがって、デプスデータ生成部２１０は、第１および第２撮影画像データから第１および第２デプスデータを生成し、生成された第１および第２デプスデータの算術平均あるいは重み付き平均を上記デプスデータとして生成しても構わない。これにより、デプスデータ生成部２１０は、デプスデータの精度を向上させることが可能となる。

次に、復元処理部２３０は、第１および第２撮影画像データを加算することにより、１つの加算画像データを生成する（Ｓ２０２）。

続いて、復元処理部２３０は、光学デバイス１１０の回転前における光学ぼけと、光学デバイス１１０の回転後における光学ぼけとに基づいて加算画像データに対して復元処理を行うことにより、復元画像データを生成する（Ｓ２０３）。

具体的には、復元処理部２３０は、例えば、光学デバイス１１０の回転方向の位置および奥行きに対応づけてＰＳＦが予め保持されているメモリ（不図示）からＰＳＦを取得する。より具体的には、復元処理部２３０は、第１撮影画像データの画素毎に、第１撮影画像データが撮影されたときの光学デバイス１１０の回転方向の位置と、デプスデータが示す奥行きとに対応するＰＳＦをメモリから取得する。第２撮影画像データについても同様に、復元処理部２３０は、対応するＰＳＦをメモリから取得する。

そして、復元処理部２３０は、このように取得された第１撮影画像データに対応するＰＳＦ（以下、「第１ＰＳＦ」という。）と第２撮影画像データに対応するＰＳＦ（以下、「第２ＰＳＦ」という。）とを加算し、前述の加算画像データに対して復元処理を行う。

復元処理とは、加算画像データのぼけを低減する処理である。具体的には、復元処理では、例えば、部分空間に区分した一部画像領域において、周波数変換後、第１ＰＳＦと第２ＰＳＦと加算して得られるＰＳＦを周波数変換したもので加算画像データを除算する。その後再び空間領域に変換する。復元処理は、リチャードソン・ルーシ法あるいはウィーナフィルタ法を用いた処理であっても構わない。

なお上記の復元処理部２３０による処理は一例であり、例えば、図１１のフローチャートにおいて加算処理（Ｓ２０２）はなくてもよい。つまり、復元処理部２３０は、必ずしも、複数の撮影画像データを加算し、かつそれらに対応するＰＳＦも加算のうえ復元処理を行う必要はない。例えば、復元処理部２３０は、非特許文献４に記載の式（８）と同様の方法により、複数の撮影画像データを加算せずに復元画像データを生成してもよい。

なお、復元処理部２３０は、上記に挙げた処理を、すべて空間領域での２次元フィルタとして実施しても構わない。

以上のように、本実施の形態に係る撮像装置１００または撮像システム１０では、光学デバイス１１０が回転非対称な形状の光学ぼけを有する。つまり、回転前の光学デバイスの光学ぼけと、回転後の光学デバイスの光学ぼけとは、２次元平面空間における光学特性が互いに異なる。したがって、光学デバイスが回転するたびに撮影された複数の画像において、２次元平面空間上で光学ぼけによって失われる画像成分も互いに異なる。よって、複数の撮影画像データは、光学ぼけによって失われる画像成分を互いに補完することができる。このような複数の撮影画像データを用いて復元画像データが生成されれば、復元画像の画質を向上させることが可能となる。

さらに、本実施の形態に係る撮像装置１００または撮像システム１０によれば、光学デバイスを単純に回転させることにより、光学デバイスの光学ぼけを変化させることができる。したがって、画像を撮影するために光学デバイスをわざわざ交換する必要がなく、デプスデータと復元画像データとを得るための画像を容易に撮影することが可能となる。また、光学デバイスの光学ぼけの形状を比較的短時間に変化させることができ、応答性にすぐれた撮像装置を実現することができる。

また、本実施の形態に係る撮像装置１００または撮像システム１０によれば、空間周波数領域においてＰＳＦの一部の周波数成分の値が所定閾値以下となる周波数の値および数の少なくとも一方を奥行きに応じて変化させることができる。したがって、撮影画像データにおいて、空間周波数成分が欠落もしくは著しく損失した周波数を特定することにより、デプスデータを高精度に生成することが可能となる。つまり、デプスデータを高精度に生成するとともに、復元画像データの画質を向上させることが可能となる。

また、本実施の形態に係る撮像装置１００または撮像システム１０によれば、空間領域においてＰＳＦが複数のピークを有するように光学デバイスを構成することができる。したがって、光学デバイス１１０が回転するたびに撮影された複数の画像における、光学ぼけによって失われる画像成分の補完効果を向上させることができる。

また、本実施の形態に係る撮像装置１００または撮像システム１０によれば、光学デバイスが互いに合焦位置が異なる複数の領域を有するレンズを含むようにすることができる。このようなレンズを用いて撮影された画像を用いて被写界深度が拡大されれば、格子状焦点レンズを用いて撮影された画像を用いて被写界深度が拡大されれば、合焦位置を変化させながら撮影された画像を用いて被写界深度が拡大されるよりも、より少ない光量で効率的に被写界深度を拡大することができ、ＳＮ比が高い復元画像を得ることが可能となる。

以上、本発明の一態様に係る撮像装置１００、画像処理装置２００および撮像システム１０について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本発明の範囲内に含まれる。

例えば、上記実施の形態において、主として２つの撮影画像データが生成される場合について説明したが、３つ以上の撮影画像データが生成されてもよい。その場合、例えば、光学デバイスを２回以上回転させ、回転させるたびに画像が撮影されればよい。３つ以上の撮影画像データが用いられれば、光学ぼけによって失われる周波数成分の補完効果をさらに向上させることができ、復元画像の画質をさらに向上させることが可能となる。

また、上記実施の形態に係る撮像装置あるいは画像処理装置は、さらに、撮影画像の色補正、ガンマ補正あるいはＢａｙｅｒ補間などの一般的な画像処理を行う構成要素を備えても構わない。また、画像処理装置は、さらに、撮影画像データを一時的に保持するための記憶部を備えてもよい。

また、上記実施の形態において、光学デバイス１１０の回転角は、特に限定しなかったが、光学ぼけによって失われる周波数成分が効率的に補完されるように予め決定された角度であることが好ましい。具体的には、回転角は、例えば、回転方向の複数の位置にそれぞれ対応するＰＳＦの組合せのうち、加算されたＰＳＦの周波数成分の最小値が最も大きくなるＰＳＦの組合せが得られるような角度であればよい。これにより、複数の撮影画像データにおいて、光学ぼけによって失われる周波数成分の補完効果を高めることができ、復元画像の画質を向上させることができる。

また、光学ぼけは、必ずしもＰＳＦで表わされる必要はない。例えば、光学ぼけは、ＰＳＦを周波数領域に変換した後の、２次元複素数成分で表わされても構わない。

また、上記実施の形態における画像処理装置２００が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、画像処理装置２００は、デプスデータ生成部２１０と復元処理部２３０とを有するシステムＬＳＩから構成されてもよい。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明は、このような特徴的な構成要素を備える撮像装置、画像処理装置または撮像システムとして実現することができるだけでなく、撮像装置、画像処理装置または撮像システムに含まれる特徴的な構成要素が行う処理を実行する撮像方法または画像処理方法として実現することもできる。また、画像処理方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読み取り可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明は、デジタルスチルカメラあるいはデジタルビデオカメラなどの撮像装置などとして利用することができる。

１０ 撮像システム
１００ 撮像装置
１１０ 光学デバイス
１１１ レンズ
１１２ アパチャ
１２０ アクチュエータ
１３０ 撮像部
１３１ シャッター
１３２ 撮像素子
１３３ 制御部
２００ 画像処理装置
２１０ デプスデータ生成部
２３０ 復元処理部

Claims (10)

1. 撮影シーンの奥行きを示すデプスデータと、光学ぼけが低減された復元画像データとを得るための画像を撮影する撮像装置であって、
   回転非対称な形状の光学ぼけを有する光学デバイスと、
   前記光学デバイスの一部または全部を回転させるアクチュエータと、
   前記光学デバイスが回転するたびに画像を撮影することにより、複数の撮影画像データを生成する撮像部とを備える
   撮像装置。
2. 前記光学ぼけは、ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）によって表され、
   前記光学デバイスは、前記ＰＳＦが奥行きに応じて変化するように構成されている
   請求項１に記載の撮像装置。
3. 前記光学デバイスは、空間周波数領域において前記ＰＳＦの一部の周波数成分の値が所定閾値以下となる周波数が１箇所以上存在するように構成されている
   請求項２に記載の撮像装置。
4. 前記光学デバイスは、空間周波数領域において前記ＰＳＦの一部の周波数成分の値が所定閾値以下となる周波数の値および数の少なくとも一方が奥行きに応じて変化するように構成されている
   請求項３に記載の撮像装置。
5. 前記光学デバイスは、空間領域において前記ＰＳＦが複数のピークを有するように構成されている
   請求項２〜４のいずれか１項に記載の撮像装置。
6. 前記光学デバイスは、互いに合焦位置が異なる複数の領域を有するレンズを含む
   請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記光学デバイスは、複数の開口が形成されたアパチャを含む
   請求項１〜６のいずれか１項に記載の撮像装置。
8. 撮像システムであって、
   請求項１〜７のいずれか１項に記載の撮像装置と、
   前記撮像装置により生成された複数の撮影画像データを処理することにより、前記デプスデータと前記復元画像データとを生成する画像処理装置とを備え、
   前記画像処理装置は、
   前記複数の撮影画像データのうちの少なくとも１つの撮影画像データにおいて空間周波数成分の値が所定閾値以下となる周波数に基づいて前記デプスデータを生成するデプスデータ生成部と、
   前記複数の撮影画像データに対応する光学ぼけに基づいて、前記複数の画像データに対して復元処理を行うことにより、前記復元画像データを生成する復元処理部とを備える
   撮像システム。
9. 回転非対称な形状の光学ぼけを有する光学デバイスと、前記光学デバイスを回転させるアクチュエータとを備える撮像装置を用いて、撮影シーンの奥行きを示すデプスデータと光学ぼけが低減された復元画像データとを得るための画像を撮影する撮像方法であって、
   画像を撮影する第１撮影ステップと、
   前記アクチュエータを介して、前記光学デバイスの一部または全部を回転させる回転ステップと、
   前記光学デバイスが回転された後に画像を撮影する第２撮影ステップとを含む
   撮像方法。
10. 回転非対称な形状の光学ぼけを有する光学デバイスと、前記光学デバイスを回転させるアクチュエータとを備える撮像装置を用いて画像を撮影し、撮影された画像を処理する画像処理方法であって、
    画像を撮影することにより、第１撮影画像データを生成する第１撮影ステップと、
    前記アクチュエータを介して、前記光学デバイスの一部または全部を回転させる回転ステップと、
    前記光学デバイスが回転された後に画像を撮影することにより、第２撮影画像データを生成する第２撮影ステップと、
    前記第１および前記第２撮影画像データのうちの少なくとも一方において空間周波数成分の値が所定閾値以下となる周波数に基づいて、撮影シーンの奥行きを示すデプスデータを生成するデプスデータ生成ステップと、
    前記第１および前記第２撮影画像データに対応する光学ぼけに基づいて、前記複数の画像データに対して復元処理を行うことにより、復元画像データを生成する復元ステップとを含む
    画像処理方法。

Images