JP4847633B2 - 撮像装置及び画像復元方法 - Google Patents

Description

本発明は、撮影時に劣化した画像を、劣化の少ない画像に復元する技術に関する。

撮影時に光学系のピントずれ、ブレ、あるいは収差等の要因で劣化した画像を、劣化の少ない画像に復元する技術の開発が進められている。例えば、特許文献１に開示された技術では、ピントずれ、ブレ、あるいは収差等により劣化した劣化画像（撮影画像）を、ピントずれやブレ、収差等による点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の逆特性を持つ補正関数を用いた復元演算により、劣化を補正した復元画像を得ることができる。多くの場合、設計データ等に基づいてコンピュータにより作成されたＰＳＦデータを用いて補正関数が作成される。

また、特許文献２に開示された技術では、ＰＳＦデータの作成が困難である場合に、実写して得られたＰＳＦデータを用いて、劣化画像の復元演算を行っている。

特開昭６２−１２７９７６号公報 特開２００９−１６３６４２号公報

しかし、設計データ等に基づきコンピュータにより作成されたＰＳＦデータを用いて劣化画像の復元演算を実施した場合、カメラ組立て時の実装誤差が大きいなどの理由によりＰＳＦデータが示すＰＳＦと実際のＰＳＦとの乖離が大きいときに、高解像度な復元画像を得ることができなくなる。そのため、コンピュータにより作成されたＰＳＦデータでなく実際に撮影して得られたＰＳＦ画像を用いた画像復元を実施する必要が出てくる場合がある。

また、特許文献２のように、コンピュータにより作成されたＰＳＦデータでなく、点光源を撮影して得られるＰＳＦ画像を用いて劣化画像の復元演算を行った場合においても、特にＰＳＦ画像を撮影する際の撮像素子の不要輝度（以下、適宜「ノイズ」と記載）が大きい場合には、そのノイズの影響によりＰＳＦ画像が示すＰＳＦが実際のＰＳＦと乖離する。その結果、高解像度な復元画像が得られなくなるという課題がある。

そこで、本発明は、上記課題を解決するためになされたものであり、光学系によって撮影されたＰＳＦ画像に基づいて劣化画像を復元する場合に、高解像度に劣化画像を復元することができる撮像装置及び画像復元方法を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る撮像装置は、光学系と、前記光学系により撮影されたＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）情報を取得し修正ＰＳＦ情報を出力するＰＳＦ撮影部と、前記光学系により撮影された被写体情報を取得し出力する被写体撮影部と、前記修正ＰＳＦ情報と前記被写体情報とに基づき前記被写体情報の復元演算を行う画像復元部とを有し、前記ＰＳＦ撮影部は、前記ＰＳＦ情報から、時系列的に変動しない固定値ノイズの輝度値よりも輝度値Ｉｓだけ大きな補正輝度値Ｉｓを減算することにより、前記修正ＰＳＦ情報を出力する。

このように、光学系によって撮影されたＰＳＦ情報から固定値ノイズより大きな輝度値を減算することにより、ＰＳＦ情報に含まれるランダムノイズの影響を低下させることができる。その結果、高解像度に劣化画像を復元することが可能となる。

本発明の一態様に係る撮像装置によれば、画像復元演算の際に、撮影ＰＳＦ画像の不要輝度（特に時系列的に変動するランダムノイズ）が大きい場合であっても、不要輝度を削減し輝度平均値を適正な値に補正することにより、復元情報がより正確になり、高解像度な画像復元が可能となる。

図１は、本発明の実施の形態１及び実施の形態２に係る撮像装置の構成を示すブロック図である。 図２は、本発明の実施の形態における元画像、ＰＳＦ画像、及び劣化画像の関係を説明するための図である。 図３は、本発明の実施の形態におけるＰＳＦの輝度分布を示す図である。 図４は、本発明の実施の形態におけるノイズが復元画像に及ぼす影響を検証するためのシミュレータを示す図である。 図５は、本発明の実施の形態における劣化画像に含まれるノイズと復元画像との関係を説明する図である。 図６は、本発明の実施の形態におけるＰＳＦ画像に含まれるノイズと復元画像との関係を説明する図である。 図７は、本発明の実施の形態における劣化画像及びＰＳＦ画像に含まれるノイズと復元画像の解像度との関係を説明する図である。 図８は、本発明の実施の形態における理想のＰＳＦ情報を示す図である。 図９は、本発明の実施の形態におけるノイズが含まれたＰＳＦ情報を示す図である。 図１０は、本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。 図１１は、本発明の実施の形態１におけるＰＳＦ情報を示す図である。 図１２は、本発明の実施の形態１におけるＰＳＦ情報を示す図である。 図１３は、本発明の実施の形態１における復元画像を示す図である。 図１４は、本発明の実施の形態１における復元画像の解像度を示す図である。 図１５は、本発明の実施の形態２に係る撮像装置の動作を示すフローチャートである。 図１６は、本発明の実施の形態２におけるＰＳＦ情報を示す図である。 図１７は、本発明の実施の形態２における復元画像を示す図である。 図１８は、本発明の実施の形態２における復元画像の解像度を示す図である。

以下、本発明の実施の形態を説明する前に、撮影されたＰＳＦ画像の不要輝度（ノイズ）が大きい場合に高解像度な画像復元が困難となる要因について説明する。

図２から図９を用いて、撮影されたＰＳＦ画像のノイズが大きい場合に高解像度な画像復元が困難になる要因について説明する。図２（ａ）に劣化の無い元画像（被写体）を示す。撮影された画像の解像度を測定する際に一般的に用いられるくさび型チャートである。図２（ｂ）に光学系のＰＳＦ画像の一例を示す。

光学系のピントずれ、ブレ、あるいは収差等により、点像が図２（ｂ）に示すように有限の広がりを持つ。そのため、図２（ａ）の元画像は、光学系を介することにより、図２（ｃ）に示すような解像度が劣化した劣化画像として撮像素子上に結像される。劣化画像は、元画像と、全画像領域の輝度積分値が「１」になるよう正規化されたＰＳＦ画像との畳込み積分により表わされることが知られている。

なお、図３は、図２（ｂ）のＰＳＦ画像で輝度が最も大きい部分を含むラインのうち、輝度が最も大きい領域の周辺を拡大した輝度分布である。図３は、ＰＳＦ画像がノイズを含まない場合の輝度分布である。画像の輝度の表現は、実装するシステムにより異なるが、ここでは「０」を黒、「１．０」を白として表現する。

図４は、撮像素子に結像した被写体像を取込む際に、劣化画像及びＰＳＦ画像のそれぞれに混入するノイズが、復元画像の解像度に与える影響を調べるためのシミュレータのブロック図を表わす。シミュレータは、ノイズを含まない劣化画像にノイズを付与する劣化画像ノイズ付与部１０１と、ノイズを含まないＰＳＦ画像にノイズを付与するＰＳＦ画像ノイズ付与部１０２と、画像復元演算部１０３とを備える。このシミュレータを用いて、劣化画像とＰＳＦ画像とのそれぞれに対するノイズの影響を調べることができる。

ノイズはガウスノイズを仮定する。そして、そのガウスノイズの標準偏差σを変動させることにより、ノイズの影響が調べられる。例えば画像位置により時系列的に殆ど変化しない固定値ノイズ（例えば、暗電流ノイズ、または所定のラインもしくは画素位置における撮像素子の製造不良により発生するノイズ等）は、あらかじめそれぞれの画像位置でのノイズ値を調べておくことにより容易に補償可能であるためここでは考慮しない。すなわち、補償が困難な時系列的にランダムに変化するランダムノイズ（ガウスノイズで仮定）のみを考慮して、ノイズの影響を調べている。なお、画像位置とは、画像上の位置であり、典型的には画像を構成する画素の位置である。また、ガウスノイズとは、ノイズ成分の輝度値分布がガウス分布に近似するノイズである。

画像復元演算部１０３は、画像復元アルゴリズムとして知られているウィナーフィルタあるいはリチャードソン・ルーシー（Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ）アルゴリズム等を用いて画像復元演算を行えばよい。ここでは、画像復元演算部１０３は、ウィナーフィルタを用いて画像復元演算を行うことにより復元画像を得る構成としている。

ウィナーフィルタＨｗ（ｕ，ｖ）の構成は、例えば非特許文献（「ディジタル画像処理（２００４年７月２２日 ＣＧ−ＡＲＴＳ協会発行）」の１４６ページ）に記載されている以下の（式１）を用いればよい。

Ｈｗ（ｕ，ｖ）＝
１／Ｈ（ｕ，ｖ）・｜Ｈ（ｕ，ｖ）｜＾２／（｜Ｈ（ｕ，ｖ）｜＾２＋Ｋ） （式１）

ここで、Ｈ（ｕ，ｖ）はＰＳＦ画像のフーリエ変換である光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を表わす。また、ｕはＰＳＦ画像の垂直方向の各周波数成分が格納されている配列のアドレスを表わす。また、ｖはＰＳＦ画像の水平方向の各周波数成分が格納されている配列のアドレスを表わす。Ｋは適当な定数である。

画像復元演算部１０３は、劣化画像のフーリエ変換データと、ウィナーフィルタＨｗ（ｕ，ｖ）とを各周波数成分毎で乗算し、その乗算結果を逆フーリエ変換することにより復元画像を生成する。被写体としては図２（ａ）に示したくさび型チャートを用いている。ＰＳＦ画像としては、図２（ｂ）のＰＳＦ画像にＰＳＦ画像ノイズ付与部１０２で必要に応じてノイズを付与した後に全領域における輝度積分値が１となるよう正規化した画像を用いている。

図５の（ａ）、（ｂ）及び（ｃ）に、図２（ｃ）の劣化画像に、劣化画像ノイズ付与部１０１で標準偏差σを変動させたガウスノイズを付与した場合の各標準偏差σに対応する復元画像を示す。ＰＳＦ画像及び劣化画像は、ここでは一例として５１２×５１２画素の画像サイズとしている。

具体的には、図５の（ａ）、（ｂ）及び（ｃ）は、標準偏差σをそれぞれ劣化画像の輝度最大設定値（ここでは「０」を黒、「１．０」を白としているため、輝度最大設定値は「１」である）の０％、０．０５％、及び０．３％に設定した場合における復元画像を示す。このときＰＳＦ画像にはノイズを付与していない。図５の（ａ）、（ｂ）及び（ｃ）から明らかなように、標準偏差σを大きくするに従って、復元画像の解像度が若干低下している。なお、輝度最大設定値とは、輝度を示す値のうち最も大きい輝度を示す値である。

図６の（ａ）、（ｂ）及び（ｃ）に、図２（ｂ）のＰＳＦ画像に、ＰＳＦ画像ノイズ付与部１０２で標準偏差σを変動させたガウスノイズを付与した場合の、各標準偏差σに対応する復元画像を示す。具体的には、図６の（ａ）、（ｂ）及び（ｃ）は、ガウスノイズの標準偏差σをそれぞれＰＳＦ画像の最大輝度値の０％、０．０５％、及び０．３％に設定した場合における復元画像を示す。このとき劣化画像にはノイズを付与していない。図６の（ａ）、（ｂ）及び（ｃ）から明らかなように、ガウスノイズの標準偏差σを大きくするに従って、復元画像の解像度が顕著に低下している。

なお、ＰＳＦ画像の最大輝度値とは、ＰＳＦ画像において、最も大きい輝度を示す画像位置の輝度値である。具体的には、ＰＳＦ画像の最大輝度値とは、例えば、ＰＳＦ画像を構成する画素のうち、最も大きい輝度を示す画素の輝度値である。

図７に、ガウスノイズの標準偏差σを変動させた場合の復元画像の解像度の変化を比較した結果を示す。図７において、記号７０１は劣化画像のみにガウスノイズを与えた場合における復元画像の解像度を表している。また、記号７０２はＰＳＦ画像のみにガウスノイズを与えた場合における復元画像の解像度を表している。

劣化画像に与えるガウスノイズの標準偏差σは輝度最大設定値に対する割合で表している。また、ＰＳＦ画像に与えるガウスノイズの標準偏差σは最大輝度値に対する割合で表している。ここでは、ガウスノイズをＰＳＦ画像に付与する際には、ＰＳＦ画像は最大輝度値が輝度最大設定値「１．０」となるよう正規化しており、劣化画像及びＰＳＦ画像に同等のノイズを付与した条件で比較している。

解像度は、ＣＩＰＡ規格ＤＣ−００３「デジタルカメラの解像度測定方法」を参照し、ＣＩＰＡより配布されている解像度測定用ツールＨＹＲｅｓ３．１を用いて測定されている。このように測定される解像度は、測定された本数が多いほど高解像度であることを表す。なお、本実施の形態において、劣化画像及びＰＳＦ画像のいずれにもガウスノイズを与えない場合に復元される復元画像の解像度は４２８本である。

図７から分かるように、画像信号とガウスノイズの標準偏差σとの比に依存して復元画像の解像度が変化している。また、劣化画像よりもＰＳＦ画像の方が、ガウスノイズの標準偏差σを大きくしていった場合の解像度の低下が著しいことが分かる。

劣化画像のみにガウスノイズを与えた場合は、ガウスノイズの標準偏差σが輝度最大設定値の０．６％以上になると解像度が著しく低下して解像度が０本（測定不能）となっている。一方、ＰＳＦ画像のみにガウスノイズを与えた場合は、ガウスノイズの標準偏差σが最大輝度値の０．３％以上になると解像度が著しく低下して解像度が０本となっている。

したがって、劣化画像に含まれるノイズよりも、ＰＳＦ画像に含まれるノイズの方が復元画像に対して大きな悪影響を及ぼすことが分かった。ちなみに、図２（ｃ）の復元前の劣化画像の解像度を測定した場合は、ノイズの有無にかかわらず、収差によるぼけの影響で測定不能という結果になり、解像度は０本である。

ＰＳＦ画像に含まれるノイズにより復元画像の解像度が大幅に低下する要因を検証した結果を、図８及び図９を用いて説明する。

図８（ａ）は図２（ｂ）のＰＳＦ画像の輝度が最も大きい部分の周辺のラインを拡大した輝度分布を表わしている。ここでは、ＰＳＦ画像にノイズは含まれていない。

図８（ｂ）はこのノイズを含まないＰＳＦ画像をフーリエ変換したＯＴＦのゲインを表わす。図８（ｂ）のＯＴＦは直流成分（周波数「０」）でのゲインが１となるよう正規化されている。図８（ｂ）の横軸は周波数を表し、直流成分（周波数「０」）より右側が正の周波数、左側が負の周波数を表す。図２（ｂ）のＰＳＦ画像は輝度最大となる画像位置を中心として対称な輝度分布を持っている例を用いている。そこで、ゲイン分布の見易さを考慮して、図８（ｂ）及びＯＴＦを示す以降の図では、２次元配列であるＯＴＦのうち垂直及び水平方向の直流成分のデータを含む１ラインのみデータを抽出し、表示している。

図９（ａ）は、図２（ｂ）のＰＳＦ画像に、標準偏差σが最大輝度値の０．３％のガウスノイズを付与した画像の、輝度が最も大きい部分の周辺のラインを拡大した輝度分布を表わしている。図９（ｂ）はこのノイズを含んだＰＳＦ画像をフーリエ変換したＯＴＦのゲインを表わす。図９（ｂ）のＯＴＦも直流成分（周波数「０」）でのゲインが「１」となるよう正規化されている。

図９（ｂ）では図８（ｂ）と比較して、周波数「０」の成分（直流成分）のゲインが他の周波数成分のゲインと比較して顕著に大きくなっているのが分かる。これは、図２（ｂ）のＰＳＦ画像は、輝度の小さい領域が画像全体のうちの大部分を占めており、その輝度の小さい領域にノイズが付与されることにより、ノイズによるＰＳＦ画像全体の輝度平均値（＝直流成分）が大幅に変動するためと考えられる。

したがって、撮影されたＰＳＦ画像のＯＴＦと実際のＯＴＦとの乖離が大きくなることにより、復元画像の解像度が大幅に低下する。なお、メディアンフィルタ、フレーム積算又はローパスフィルタなどのランダムノイズを低減する一般的なフィルタをＰＳＦ画像に作用させたとしても、ＰＳＦ画像の輝度の小さい領域からランダムノイズを完全に除去することは困難なため、ＰＳＦ画像全体の輝度平均値の変動を除去することは難しい。

このように、撮影されたＰＳＦ画像を用いて劣化画像を復元する場合には、補正が困難なランダムノイズ（ガウスノイズ）の影響でＰＳＦ画像の輝度平均値が変動することにより、ＰＳＦの周波数成分のうち直流成分が大きく変動し、高解像度な復元画像が得られないという課題が、図４のシミュレータを用いた検討により明らかになった。

そこで、上記の課題を解決することができる、本発明の一態様に係る撮像装置について、以下に説明する。

（実施の形態１）
以下、本発明の実施の形態１について図面を参照しながら説明する。

図１は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。撮像装置１０は、光学系１と、輝度低減部３を含むＰＳＦ撮影部２と、被写体撮影部４と、画像復元部５とを備える。

光学系１は被写体像を取得する。具体的には、光学系１は、例えばレンズ及び撮像素子などを含む。光学系１は、点像又は点像に相当する被写体像を撮影することにより、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を生成する。また、光学系１は、任意の被写体像を撮影することにより、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）を生成する。

ＰＳＦ撮影部２は、光学系１に対応するＰＳＦを取得するために光学系１に点像もしくはそれに相当する被写体像を撮影させ、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を光学系１から取得し保存する。ここで、ｘは画像中の垂直方向の画像位置、ｙは水平方向の画像位置を表わす。

つまり、ＰＳＦ撮影部２は、ＰＳＦ情報を取得する。ここで、ＰＳＦ情報とは、光学系１によって撮影されたＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）に基づく情報である。具体的には、ＰＳＦ情報は、例えば、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）そのものを示す情報である。また例えば、ＰＳＦ情報は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を空間領域から周波数領域へ変換した情報であってもよい。

輝度低減部３は、画像位置により時系列的に変化しない既知の固定値ノイズ（例えば、暗電流ノイズ、または所定のラインもしくは画素位置における撮像素子の製造不良により発生するノイズなど）がある場合は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）のそれぞれの画像位置であらかじめ調べられた固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）を、（式２）のように、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）から減算する。

Ｉｒ１＿ｐｓｆ（ｘ，ｙ）＝Ｉ＿ｐｓｆ（ｘ，ｙ）−Ｎｆ（ｘ，ｙ） （式２）

さらに、輝度低減部３は、（式３）に示すように、固定値ノイズの輝度値が減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の全位置から所定の輝度値Ｉｓ１を減算する。つまり、輝度低減部３は、（式２）及び（式３）に従って減算処理を行うことにより、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）から、固定値ノイズの輝度値より大きな輝度値を減算することになる。

Ｉｒ２＿ｐｓｆ（ｘ，ｙ）＝Ｉｒ１＿ｐｓｆ（ｘ，ｙ）−Ｉｓ１ （式３）

なお、固定値ノイズの輝度値が減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）において、輝度値が負になる位置では輝度値を「０」とする。つまり、固定値ノイズの輝度値が減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）において、輝度値が輝度最小設定値より小さくなる位置では、輝度値を輝度最小設定値に変更する。ここで、輝度最小設定値とは、輝度を示す値のうち最も小さい輝度を示す値であり、本実施の形態では「０」である。

また、（式２）と（式３）は別個の式で記載しているが、輝度低減部３は、（式２）及び（式３）を同じステップで行うなど、演算の合理化を行ってもよい。ＰＳＦ撮影部２は、輝度値が減算された修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を出力する。修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）は必要に応じて正規化処理がなされて出力される。

このように、ＰＳＦ撮影部２は、輝度低減部３を用いて、ＰＳＦ情報から、時系列的に変動しない固定値ノイズの輝度値Ｎｆよりも輝度値Ｉｓ１だけ大きな補正輝度値を減算することにより、修正ＰＳＦ情報を出力する。詳細には、ＰＳＦ撮影部２は、補正輝度値を、ＰＳＦ情報の全領域から減算する。

すなわち、ＰＳＦ撮影部２は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を構成する各画素において、当該画素の輝度値から固定値ノイズの輝度値Ｎｆよりも輝度値Ｉｓ１だけ大きな補正輝度値を減算する。さらに、ＰＳＦ撮影部２は、減算結果が輝度最小設定値よりも小さくなる場合には、輝度最小設定値と一致するように減算結果を補正することにより、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を生成する。

そして、ＰＳＦ撮影部２は、このように生成された修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）に基づく情報である修正ＰＳＦ情報を出力する。修正ＰＳＦ情報は、例えば、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）そのものを示す情報である。また例えば、修正ＰＳＦ情報は、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を空間領域から周波数領域へ変換した情報であってもよい。

なお、輝度値Ｉｓ１を減算する理由及び輝度値Ｉｓ１の設定範囲は後述する。

被写体撮影部４は光学系１で取得した様々な被写体の被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）を保存する。被写体撮影部４は、必要に応じて、前記固定値ノイズの補償やメディアンフィルタなどのノイズ補償処理を被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）に施してもよい。

つまり、被写体撮影部４は、光学系１によって撮影された被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）を取得し、被写体情報を出力する。ここで、被写体情報とは、取得した被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）に基づく情報である。例えば、被写体情報は、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）そのものを示す情報である。また例えば、被写体情報は、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）に各種ノイズ補償処理を施した画像を示す情報であってもよい。また例えば、被写体情報は、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）又は被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）に各種ノイズ補償処理を施した画像を空間領域から周波数領域へ変換した情報であってもよい。

画像復元部５は、修正ＰＳＦ画像と被写体画像とに基づき、ウィナーフィルタ等による画像復元演算を行うことにより、復元画像を作成する。つまり、画像復元部５は、修正ＰＳＦ情報と被写体情報とに基づき、被写体情報の復元演算を行う。すなわち、画像復元部５は、被写体情報に修正ＰＳＦ情報を作用させる画像復元演算を行うことにより、被写体情報が示す画像よりも解像度が高い復元画像を生成する。

具体的には、画像復元部５は、例えば、修正ＰＳＦ情報が示す修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）と被写体情報が示す被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）とを空間領域から周波数領域へ変換し、各周波数において周波数成分の値を演算することにより、復元画像を生成する。

なお、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）は、工場出荷時やメンテナンス時などに一度撮影及び補正した画像であってもよい。つまり、画像復元部５は、メモリなどの記憶手段を有し、ＰＳＦ撮影部２によって生成された修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）をあらかじめ保存しておき、保存した修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を用いて、復元画像を生成すればよい。すなわち、ＰＳＦ撮影部２は、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）が変わる度に必ずしも修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を生成する必要はない。

また、画像復元部５は、画像復元のアルゴリズムや、演算の合理化の都合などに応じて、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）をフーリエ変換した周波数領域のデータを保存しておいてもよい。つまり、画像復元部５は、修正ＰＳＦ情報を保存しておいてもよい。

次に、以上のように構成された本実施の形態に係る撮像装置における各種動作について説明する。

図１０は、前記に説明した本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。具体的には、図１０の（ａ）は、修正ＰＳＦ情報生成処理の流れを示すフローチャートである。また、図１０の（ｂ）は、画像復元処理の流れを示すフローチャートである。上述したように、図１０の（ａ）に示す処理は、図１０の（ｂ）に示す処理よりも先に少なくとも１回行われればよく、必ずしも同期して行われる必要はない。

まず、図１０の（ａ）に示すフローチャートについて説明する。

光学系１は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を撮影する（Ｓ１０１）。続いて、輝度低減部３は、式（２）に従って、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）から固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）を減算することにより、固定値ノイズの輝度値が減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）を算出する（Ｓ１０２）。さらに、輝度低減部３は、式（３）に従って、固定値ノイズの輝度値を減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）から輝度値Ｉｓ１を減算することにより、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を算出する（Ｓ１０３）。なお、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）において、最小輝度設定値よりも小さな輝度値は、最小輝度設定値に置き換えられる。

最後に、ＰＳＦ撮影部２は、算出された修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を正規化し、画像復元部５へ出力する（Ｓ１０４）。

なお、上述したように、輝度低減部３は、必ずしもステップＳ１０２及びＳ１０３の処理を順に実行する必要はない。つまり、輝度低減部３は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）から固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）と輝度値Ｉｓ１との和を減算することにより、ステップＳ１０２及びＳ１０３の処理を１つのステップとして実行してもよい。

なお、ステップＳ１０２の固定値ノイズ減算処理は、固定値ノイズが非常に小さい場合などには、必ずしも実行される必要はない。

次に、図１０の（ｂ）に示すフローチャートについて説明する。

光学系１は、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）を撮影する（Ｓ１１１）。続いて、被写体撮影部４は、撮影された被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）にノイズ補償処理を行なう（Ｓ１１２）。最後に、画像復元部５は、ノイズ補償処理後の被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）と修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）とに基づいて復元演算を行うことにより、復元画像を生成する（Ｓ１１３）。

なお、ステップＳ１１２のノイズ補償処理は必ずしも実行される必要はない。

次に、輝度値Ｉｓ１を減算する理由及び輝度値Ｉｓ１の設定範囲の説明を行う。以下の説明において、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）としては図２（ｃ）に示したくさび型チャートの劣化画像を用いる。また、固定値ノイズの輝度値が減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）（以下、単にＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）ともいう）としては、図２（ｂ）のＰＳＦ画像に、標準偏差σが最大輝度値の０．３％であるガウスノイズが付与された画像を用いる（輝度値が負になった画像位置の輝度値は「０」に補正済みである）。

図１１（ａ）にＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の位置を含むラインの輝度分布を示す。固定値ノイズを除去しているため、最大輝度値の位置付近では図１の光学系１に基づく輝度分布を持ち、最大輝度値の位置から離れた位置では輝度値がほぼ「０」になっている。

図１１（ｂ）に図１１（ａ）の破線付近を拡大した輝度分布を示す。最大輝度値の位置から離れた位置でもランダムに分布するガウスノイズの影響により微少な輝度分布（微小な輝度値の変動）が存在するのがわかる。

図１１（ｃ）にＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）をフーリエ変換したＯＴＦを示す。図１１（ｃ）を見れば、周波数「０」の成分が他の周波数成分と比較してゲインが顕著に大きくなっているのが分かる。これは、前述したようにガウスノイズにより、ＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）全体の輝度平均値が大幅に増加したためと考えられる。

したがって、ＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）を用いて画像復元演算をした場合には、図１１（ｃ）のＯＴＦと実際のＯＴＦとの乖離が大きくなることにより、復元画像の解像度が大幅に低下する。

図１２（ａ）に（式３）によりＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の全位置から所定の輝度値Ｉｓ１を減算した場合の修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）の最大輝度値の位置を含むラインの輝度分布を示す。図１２（ｂ）に図１２（ａ）の破線付近を拡大した輝度分布を示す。最大輝度値の位置から離れた位置のランダムに分布するガウスノイズの影響による微少な輝度分布が無くなっているのが分かる。

図１２（ｃ）に、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）をフーリエ変換したＯＴＦを示す。図１１（ｃ）で他の周波数成分と比較して顕著に大きくなっていた周波数「０」の成分のゲインが改善され、図８（ｂ）のような実際のＯＴＦ分布に近い分布になっているのが分かる。

図１３に、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を用いて、図１の画像復元部５で画像復元演算を行い作成された復元画像を示す。図１３（ａ）はＩｓ１＝０での復元画像を示し、図１３（ｂ）はＩｓ１がＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の０．５％での復元画像を示し、図１３（ｃ）はＩｓ１がＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の１％での復元画像を示す。

図１３（ｂ）は図１３（ａ）より復元画像の解像度が向上し、図１３（ｃ）は図１３（ｂ）よりさらに復元画像の解像度が向上しているのが分かる。

図１４にＩｓ１を変化させたときの復元画像の解像度の変化を示す。図１４に示すグラフにおいて、縦軸はＣＩＰＡより配布されている解像度測定用ツールＨＹＲｅｓ３．１を用いて測定した解像度を表わし、横軸はＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値に対するＩｓ１の比率を表わす。

図１４から、Ｉｓ１をＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の０．３％以上とした場合に解像度が向上することが分かる。つまり、ＰＳＦ画像において、実際のＰＳＦに基づく輝度値とノイズの輝度値との比率が解像度に大きく影響するが、Ｉｓ１をＰＳＦ画像に含まれるガウスノイズの標準偏差σ以上に設定した場合に解像度が向上する。つまり、Ｉｓ１は、ＰＳＦ画像に含まれるランダムノイズをガウスノイズと仮定したときのガウスノイズの標準偏差σ以上の大きさであることが好ましい。

さらにＩｓ１をＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の０．６％以上に設定とすると、ガウスノイズが存在しない場合と同等の解像度を得られるようになる。図示していないが、Ｉｓ１をＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の３０％より大きくすると、復元画像の解像度は向上されなくなる。つまり、ＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値に対するＩｓ１の比率が３０％より大きくなれば、復元画像の解像度は低下していく。したがって、Ｉｓは、ＰＳＦ画像の最大輝度値に対する大きさが、０．３％から３０％の間の値であることが好ましい。

このように、（式２）の減算により、実際のＰＳＦの輝度分布のうち、輝度の小さい領域の情報が失われることになるが、それによる復元画像の解像度の低下よりも、ＰＳＦ画像に重畳されるノイズによる解像度の低下の方が影響が大きく、（式２）の減算によるＰＳＦ画像の補正で復元画像の解像度の向上が可能となる。

なお、ガウスノイズ（ランダムノイズ）は、電流ノイズなどが原因と考えられ、ノイズが発生する位置（画素）がランダムに変動するノイズである。しかし、ガウスノイズは、一般的に、輝度値の分布が時系列的に大きく変動しないという特徴を有する。したがって、ガウスノイズの標準偏差σは、暗室などにおいて撮影された黒画像における輝度値の分布をガウス分布で近似することにより、比較的安定して特定することができる。

以上のように、本発明の実施の形態１に係る撮像装置１０によれば、画像復元演算の際に、撮影されたＰＳＦ画像の不要輝度（特に時系列的に変動するランダムノイズ）が大きい場合であっても、ＰＳＦ画像から固定値ノイズの輝度値よりも大きな補正輝度値を減算し、輝度平均値を適正な値に補正することにより、画像を復元するためのＰＳＦ情報がより正確になり、高解像度な画像復元が可能となる。

ランダムノイズを低減する一般的な方法として、メディアンフィルタ、フレーム積算又はローパスフィルタを用いる方法がある。このメディアンフィルタ、フレーム積算又はローパスフィルタを用いてＰＳＦ画像からノイズを低減しても、ＰＳＦ画像の輝度の小さい領域からランダムノイズを完全に除去することは困難なため、ＰＳＦ画像における輝度平均値の変動を除去することは難しい。したがって、ＰＳＦ画像において、メディアンフィルタ、フレーム積算又はローパスフィルタを用いたノイズ除去処理が行われても、高解像度に劣化画像を復元することはできない。

一方、本実施の形態では、（式２）及び（式３）に示すように、ＰＳＦ画像から強制的に固定値ノイズの輝度値よりも大きな輝度値が減算される。したがって、ＰＳＦ画像における輝度平均値の変動が除去され、高解像度に劣化画像を復元することが可能となる。

なお一般的に、撮影画像からランダムノイズを除去する場合には、輝度平均値が変動しない方法（例えばメディアンフィルタ、フレーム積算又はローパスフィルタ）が用いられ、本実施の形態のように強制的に所定の輝度値を減算する方法は用いられない。これは、撮影画像から強制的に所定の輝度値を減算すれば、撮影画像中の相対的に輝度の小さな被写体像が消滅してしまい、復元不可能となってしまうからである。一方、本実施の形態では、ＰＳＦ画像から輝度値を減算するので、被写体像の大部分は消滅することはなく、実用上問題となることはない。

なお、輝度低減部３は、（式２）の固定値ノイズの輝度値の減算を必ずしも行わなくてもよい。つまり、輝度低減部３は、必要に応じてＰＳＦ画像の輝度値から固定値ノイズの輝度値を減算すればよく、固定値ノイズの輝度値の減算は必須の構成ではないことは言うまでもない。

なお、上記の（式３）において、輝度値Ｉｓ１は、画素位置に依存しない一定の値であったが、必ずしも画素位置に依存しない一定の値である必要はない。つまり、輝度値Ｉｓ１は、０より大きな値であればよく（好ましくは、最大輝度値に対する比率が、０．３％から３０％の値であればよく）、画素ごとに異なる値であってもよい。

なお、本実施の形態１では、ＰＳＦの分布が図２（ｂ）のように輝度最大となる画像位置を中心として対称な輝度分布を持っている例を用いて説明しているが、対称でない輝度分布のＰＳＦを持った光学系に対しても適用可能であることは言うまでもない。

（実施の形態２）
本発明の実施の形態２に係る撮像装置１０の構成は実施の形態１と同様に図１で表わされる。本実施の形態において、図１のブロック図のうち輝度低減部３の動作が実施の形態１と異なる。その他の動作は実施の形態１と同様のため説明を省略する。

輝度低減部３は、画像位置により時系列的に変化しない固定値ノイズ（例えば、暗電流ノイズ、または所定のラインもしくは画素位置における撮像素子の製造不良により発生するノイズなど）がある場合は、それぞれの画像位置であらかじめ調べられた固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）を、（式２）のように、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）から減算する。

さらに、輝度低減部３は、（式４）に示すように、固定値ノイズの輝度値が減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の各画像位置のうち、輝度値が所定の輝度値Ｉｓ２より小さい画像位置において、当該画像位置における輝度値を減算し、輝度値が「０」となるように補正する。つまり、輝度低減部３は、（式２）及び（式４）に従って減算処理を行うことにより、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）の輝度値が固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）と所定の輝度値Ｉｓ２との和より小さい画像位置では、固定値ノイズの輝度値より大きな輝度値を減算することになる。

ｉｆ （Ｉｒ１＿ｐｓｆ（ｘ，ｙ）＜Ｉｓ２）
Ｉｒ２＿ｐｓｆ（ｘ，ｙ）＝０ （式４）

なお、（式２）と（式４）とは別個の式で記載しているが、輝度低減部３は、Ｉｓ２をＩｓ２とＮｆ（ｘ，ｙ）との和に置き換えて（式２）及び（式４）の演算を同時に行うなど、演算の合理化を行ってもよい。

つまり、ＰＳＦ撮影部２は、輝度低減部３を用いて、ＰＳＦ情報から、時系列的に変動しない固定値ノイズの輝度値Ｎｆよりも輝度値Ｉｓ２だけ大きな補正輝度値を減算することにより、修正ＰＳＦ情報を出力する。詳細には、ＰＳＦ撮影部２は、ＰＳＦ情報の全領域のうち、輝度値が補正輝度値より小さい領域からのみ補正輝度値を減算する。

すなわち、ＰＳＦ撮影部２は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を構成する複数の画素のうち、輝度値が補正輝度値未満となる画素においてのみ、当該画素の輝度値から固定値ノイズの輝度値Ｎｆよりも輝度値Ｉｓ２だけ大きな補正輝度値を減算する。さらに、ＰＳＦ撮影部２は、減算結果が輝度最小設定値よりも小さくなる場合には、輝度最小設定値と一致するように減算結果を補正することにより、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を生成する。

言い換えると、ＰＳＦ撮影部２は、ＰＳＦ情報の全領域のうち、輝度値が補正輝度値より小さい領域の輝度値を輝度最小設定値に置き換える。すなわち、ＰＳＦ撮影部２は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を構成する複数の画素のうち、固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）と輝度値Ｉｓ２との和より小さい輝度値の画素において、輝度値を輝度最小設定値に置き換える。

このように、ＰＳＦ撮影部２は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を構成する複数の画素のうち、輝度値が補正輝度値未満となる画素の輝度値を輝度最小設定値に補正することにより、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を生成する。

次に、以上のように構成された本実施の形態に係る撮像装置における各種動作について説明する。

図１５は、前記に説明した本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。具体的には、図１５の（ａ）は、修正ＰＳＦ情報生成処理の流れを示すフローチャートである。また、図１５の（ｂ）は、画像復元処理の流れを示すフローチャートである。なお、図１５において、図１０と同様の処理を行なうステップには、同一の符号を付し、説明を省略する。

固定値ノイズ減算処理の後、輝度低減部３は、ＰＳＦ情報から、ＰＳＦ情報の全領域のうち、輝度値が補正輝度値より小さい領域からのみ補正輝度値を減算することにより、修正ＰＳＦ情報を出力する（Ｓ２０１）。

このように、ＰＳＦ撮影部２は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）において、輝度値が補正輝度値未満となる画素の輝度値を輝度最小設定値に補正することにより、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を生成する。

次に、輝度値Ｉｓ２の設定範囲の説明を行う。以下の説明において、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）としては図２（ｃ）に示したくさび型チャートの劣化画像を用いる。また、固定値ノイズの輝度値が減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）（以下、単にＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）ともいう）としては、図２（ｂ）のＰＳＦ画像に、標準偏差σが最大輝度値の０．３％であるガウスノイズが付与された画像を用いる（輝度値が負になった画像位置の輝度値は「０」に補正済みである）。

図１６（ａ）に、（式４）によりＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）のうち輝度値が所定の輝度値Ｉｓ２より小さい位置の輝度値を「０」とした場合の、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）の最大輝度値の位置を含むラインの輝度分布を示す。図１６（ｂ）に図１６（ａ）の破線付近を拡大した輝度分布を示す。最大輝度値の位置から離れた位置のランダムに分布するガウスノイズの影響による微少な輝度分布が無くなっているのが分かる。

図１６（ｃ）に修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）をフーリエ変換したＯＴＦを示す。図１１（ｃ）で他の周波数成分と比較して顕著に大きくなっていた周波数「０」の成分のゲインが補正され、図８（ｂ）のような実際のＯＴＦ分布に近い分布になっているのが分かる。

図１７に、修正ＰＳＦ画像Ｉｒ２＿ｐｓｆ（ｘ，ｙ）を用いて、図１の画像復元部５で画像復元演算を行い作成された復元画像を示す。図１７（ａ）はＩｓ２＝０での復元画像を示し、図１７（ｂ）はＩｓ２がＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の０．７５％での復元画像を示し、図１７（ｃ）はＩｓ２がＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の１．５％での復元画像を示す。

図１７（ｂ）は図１７（ａ）より復元画像の解像度が向上し、図１７（ｃ）は図１７（ｂ）よりさらに復元画像の解像度が向上しているのが分かる。

図１８にＩｓ２を変化させたときの復元画像の解像度の変化を示す。図１８に示すグラフにおいて、縦軸はＣＩＰＡより配布されている解像度測定用ツールＨＹＲｅｓ３．１を用いて測定した解像度を表わし、横軸はＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値に対するＩｓ２の比率を表わす。

図１８から分かるように、Ｉｓ２をＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の０．５％以上に設定した場合に解像度が向上することが分かる。つまり、ＰＳＦ画像において実際のＰＳＦに基づく輝度値とノイズの輝度値との比率が解像度に大きく影響するが、Ｉｓ２をＰＳＦ画像に含まれるガウスノイズの標準偏差σの約１．６（≒０．５／０．３）倍以上に設定した場合に解像度が向上する。つまり、Ｉｓ２は、ＰＳＦ画像に含まれるランダムノイズをガウスノイズと仮定したときのガウスノイズの標準偏差の１．６倍以上の大きさであることが好ましい。

さらにＩｓ２をＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の１％以上に設定すると、ガウスノイズが存在しない場合と同等の解像度を得られるようになる。図示していないが、Ｉｓ２をＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の４０％より大きくすると、復元画像の解像度は向上されなくなる。つまり、ＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値に対するＩｓ２の比率が４０％より大きくなれば、復元画像の解像度は低下していく。すなわち、Ｉｓ２は、ＰＳＦ画像の最大輝度値に対する大きさが、０．５％から４０％の間の値であることが好ましい。

このように、（式４）の補正により、実際のＰＳＦの輝度分布のうち、輝度の小さい領域の情報が失われることになるが、それによる復元画像の解像度の低下よりも、ＰＳＦ画像に重畳されるノイズによる解像度の低下の方が影響が大きいので、（式４）によるＰＳＦ画像の補正で復元画像の解像度の向上が可能となる。

以上のように、本発明の実施の形態２に係る撮像装置１０によれば、画像復元演算の際に、撮影されたＰＳＦ画像の不要輝度（特に時系列的に変動するランダムノイズ）が大きい場合であっても、ＰＳＦ画像から固定値ノイズよりも大きな輝度値を減算し、輝度平均値を適正な値に補正することにより、画像を復元するためのＰＳＦ情報がより正確になり、高解像度な画像復元が可能となる。

なお、本実施の形態に係る撮像装置１０は、（式４）に示すように、ＰＳＦ画像Ｉｒ１＿ｐｓｆにおいて、輝度値がＩｓ２より小さい画像位置の輝度値を補正したが、（式５）のように、輝度値がＩｓ２以下の画像位置の輝度値を補正しても、実質的に同様の効果が得られる。

ｉｆ （Ｉｒ１＿ｐｓｆ（ｘ，ｙ）≦Ｉｓ２）
Ｉｒ２＿ｐｓｆ（ｘ，ｙ）＝０ （式５）

なお、輝度低減部３は、（式２）の固定値ノイズの輝度値の減算を必ずしも行わなくてもよい。つまり、輝度低減部３は、必要に応じてＰＳＦ画像の輝度値から固定値ノイズの輝度値を減算すればよく、固定値ノイズの輝度値の減算は必須の構成ではないことは言うまでもない。

なお、上記の（式４）において、輝度値Ｉｓ２は、画素位置に依存しない一定の値であったが、必ずしも画素位置に依存しない一定の値である必要はない。つまり、輝度値Ｉｓ２は、０より大きな値であればよく（好ましくは、最大輝度値に対する比率が、０．５％から４０％の値であればよく）、画素ごとに異なる値であってもよい。

なお、本実施の形態２では、ＰＳＦの分布が図２（ｂ）のように輝度値が最大となる画像位置を中心として対称な輝度分布を持っている例を用いて説明しているが、対称でない輝度分布のＰＳＦを持った光学系に対しても適用可能であることは言うまでもない。

以上、本発明の一態様に係る撮像装置１０について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、上記実施の形態１及び２において、撮像装置１０は、ＰＳＦ撮影部２を備えていたが、必ずしもＰＳＦ撮影部２を備える必要はない。具体的には、撮像装置１０は、例えば、あらかじめ生成された修正ＰＳＦ情報を保存しておけばよい。この場合であっても、撮像装置１０は、あらかじめ保存された修正ＰＳＦ情報と被写体情報とに基づき被写体情報の復元演算を行うことができるので、高解像度に被写体画像を復元することが可能となる。

また、上記実施の形態１または２における撮像装置１０が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、撮像装置１０は、ＰＳＦ撮影部２と被写体撮影部４と画像復元部５とを有するシステムＬＳＩから構成されてもよい。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明は、このような特徴的な処理部を備える撮像装置として実現することができるだけでなく、撮像装置に含まれる特徴的な処理部をステップとする画像復元方法として実現することもできる。また、画像復元方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明は、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話用カメラ、監視カメラ、医療用カメラ、望遠鏡、顕微鏡、車載カメラ、ステレオ測距カメラ、立体映像撮影用多眼式カメラ、自由視点映像作成に用いる光線空間取込用カメラ、ＥＤＯＦ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）カメラ、又はＦＤＯＦ（Ｆｌｅｘｉｂｌｅ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ） Ｐｈｏｔｏｇｒａｐｈｙなど、光学系により被写体像を撮影する撮像装置全般に有用である。

１ 光学系
２ ＰＳＦ撮影部
３ 輝度低減部
４ 被写体撮影部
５ 画像復元部
１０ 撮像装置
１０１ 劣化画像ノイズ付与部
１０２ ＰＳＦ画像ノイズ付与部
１０３ 画像復元演算部

Claims (10)

1. 光学系と、
   前記光学系により撮影されたＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）情報を取得し、修正ＰＳＦ情報を出力するＰＳＦ撮影部と、
   前記光学系により撮影された被写体情報を取得し出力する被写体撮影部と、
   前記修正ＰＳＦ情報と前記被写体情報とに基づき前記被写体情報の復元演算を行う画像復元部とを有し、
   前記ＰＳＦ撮影部は、前記ＰＳＦ情報から、時系列的に変動しない固定値ノイズの輝度値Ｎｆよりも輝度値Ｉｓだけ大きな補正輝度値を減算することにより、前記修正ＰＳＦ情報を出力する
   撮像装置。
2. 前記ＰＳＦ撮影部は、前記補正輝度値を、前記ＰＳＦ情報の全領域から減算する
   請求項１記載の撮像装置。
3. 前記輝度値Ｉｓは、前記ＰＳＦ情報に含まれるランダムノイズをガウスノイズと仮定したときのガウスノイズの標準偏差以上の大きさである
   請求項２記載の撮像装置。
4. 前記輝度値Ｉｓは、前記ＰＳＦ情報の最大輝度値に対する大きさが、０．３％から３０％の間の値である
   請求項２記載の撮像装置。
5. 前記ＰＳＦ撮影部は、前記ＰＳＦ情報の全領域のうち、輝度値が補正輝度値以下の領域、もしくは補正輝度値より小さい領域からのみ前記補正輝度値を減算する
   請求項１記載の撮像装置。
6. 前記輝度値Ｉｓは、前記ＰＳＦ情報に含まれるランダムノイズをガウスノイズと仮定したときのガウスノイズの標準偏差の１．６倍以上の大きさである
   請求項５記載の撮像装置。
7. 前記輝度値Ｉｓは、前記ＰＳＦ情報の最大輝度値に対する大きさが、０．５％から４０％の間の値である
   請求項５記載の撮像装置。
8. 光学系と、
   前記光学系により撮影された被写体情報を取得し出力する被写体撮影部と、
   あらかじめ保存された修正ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）情報と前記被写体情報とに基づき前記被写体情報の復元演算を行う画像復元部とを有し、
   前記修正ＰＳＦ情報は、前記光学系により撮影されたＰＳＦ情報から、時系列的に変動しない固定値ノイズの輝度値Ｎｆよりも輝度値Ｉｓだけ大きな補正輝度値を減算することにより算出された情報である
   撮像装置。
9. 光学系により撮影されたＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）情報を取得し修正ＰＳＦ情報を出力するＰＳＦ撮影ステップと、
   前記光学系により撮影された被写体情報を取得し出力する被写体撮影ステップと、
   前記修正ＰＳＦ情報と前記被写体情報とに基づき前記被写体情報の復元演算を行う画像復元ステップとを有し、
   前記ＰＳＦ撮影ステップでは、前記ＰＳＦ情報から、時系列的に変動しない固定値ノイズの輝度値Ｎｆよりも輝度値Ｉｓだけ大きな補正輝度値を減算することにより、前記修正ＰＳＦ情報を出力する
   画像復元方法。
10. 請求項９に記載の画像復元方法をコンピュータに実行させるためのプログラム。

Images