WO2011132416A1

WO2011132416A1 - 撮像装置及び画像復元方法

Info

Publication number: WO2011132416A1
Application number: PCT/JP2011/002316
Authority: WO
Inventors: 大山　一朗
Original assignee: パナソニック株式会社
Priority date: 2010-04-23
Filing date: 2011-04-20
Publication date: 2011-10-27
Also published as: US20120070096A1; JP4856293B2; JPWO2011132416A1; CN102422321A; CN102422321B

Abstract

　光学系によって撮影されたＰＳＦ画像に基づいて劣化画像を復元する場合に、高解像度に劣化画像を復元することができる撮像装置を提供する。撮像装置（１０）は、光学系（１）と、光学系（１）により撮影されたＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）情報を取得し、ＰＳＦ情報を補正することにより修正ＰＳＦ情報を出力するＰＳＦ撮影部（２）と、光学系（１）により撮影された被写体情報を取得し出力する被写体撮影部（５）と、修正ＰＳＦ情報と被写体情報とに基づき被写体情報の復元演算を行う画像復元部（６）とを有し、ＰＳＦ撮影部（２）は、ＰＳＦ情報を周波数領域のデータに変換しＯＴＦ（Ｏｐｔｉｃａｌ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）情報を出力する周波数領域変換部（３）と、ＯＴＦ情報において、直流成分でない低周波成分のゲインに対する直流成分のゲインの比が小さくなるよう補正する低周波成分ゲイン平滑化部（４）とを有する。

Description

撮像装置及び画像復元方法

　本発明は、撮影時に劣化した画像を、劣化の少ない画像に復元する技術に関する。

　撮影時に光学系のピントずれ、ブレ、あるいは収差等の要因で劣化した画像を、劣化の少ない画像に復元する技術の開発が進められている。例えば、特許文献１に開示された技術では、ピントずれ、ブレ、あるいは収差等により劣化した劣化画像（撮影画像）を、ピントずれやブレ、収差等による点広がり関数（ＰＳＦ：Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）の逆特性を持つ補正関数を用いた復元演算により、劣化を補正した復元画像を得ることができる。多くの場合、設計データ等に基づいてコンピュータにより作成されたＰＳＦデータを用いて補正関数が作成される。

　また、特許文献２に開示された技術では、ＰＳＦデータの作成が困難である場合に、実写して得られたＰＳＦデータを用いて、劣化画像の復元演算を行っている。

特開昭６２－１２７９７６号公報特開２００９－１６３６４２号公報

　しかし、設計データ等に基づきコンピュータにより作成されたＰＳＦデータを用いて劣化画像の復元演算を実施した場合、カメラ組立て時の実装誤差が大きいなどの理由によりＰＳＦデータが示すＰＳＦと実際のＰＳＦとの乖離が大きいときに、高解像度な復元画像を得ることができなくなる。そのため、コンピュータにより作成されたＰＳＦデータでなく実際に撮影して得られたＰＳＦ画像を用いた画像復元を実施する必要が出てくる場合がある。

　また、特許文献２のように、コンピュータにより作成されたＰＳＦデータでなく、点光源を撮影して得られるＰＳＦ画像を用いて劣化画像の復元演算を行った場合においても、特にＰＳＦ画像を撮影する際の撮像素子の不要輝度（以下、適宜「ノイズ」と記載）が大きい場合には、そのノイズの影響によりＰＳＦ画像が示すＰＳＦが実際のＰＳＦと乖離する。その結果、高解像度な復元画像が得られなくなるという課題がある。

　そこで、本発明は、上記課題を解決するためになされたものであり、光学系によって撮影されたＰＳＦ画像に基づいて劣化画像を復元する場合に、高解像度に劣化画像を復元することができる撮像装置及び画像復元方法を提供することを目的とする。

　上記目的を達成するために、本発明の一態様に係る撮像装置は、光学系と、前記光学系により撮影されたＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）情報を取得し、前記ＰＳＦ情報を補正することにより修正ＰＳＦ情報を出力するＰＳＦ撮影部と、前記光学系により撮影された被写体情報を取得し出力する被写体撮影部と、前記修正ＰＳＦ情報と前記被写体情報とに基づき前記被写体情報の復元演算を行う画像復元部とを有し、前記ＰＳＦ撮影部は、前記ＰＳＦ情報を周波数領域のデータに変換しＯＴＦ（Ｏｐｔｉｃａｌ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）情報を出力する周波数領域変換部と、前記ＯＴＦ情報において、直流成分でない低周波成分のゲインに対する直流成分のゲインの比が小さくなるよう補正する低周波成分ゲイン平滑化部とを有する。

　このように、光学系によって撮影されたＰＳＦ情報を周波数領域へ変換したＯＴＦ情報において、低周波成分に対する直流成分の比が小さくなるようにＯＴＦ情報を補正することにより、ＰＳＦ画像に含まれるランダムノイズの影響を低下させることができる。その結果、高解像度に劣化画像を復元することが可能となる。

　本発明の一態様に係る撮像装置によれば、画像復元演算の際に、撮影ＰＳＦ画像の不要輝度（特に時系列的に変動するランダムノイズ）が大きい場合であっても、ＰＳＦ画像の輝度平均値が適正な値になるよう、低周波ゲインに対する直流ゲインの比が小さくなるようにＯＴＦ情報を補正することにより、復元情報がより正確になり、高解像度な画像復元が可能となる。

図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。図２は、本発明の実施の形態における元画像、ＰＳＦ、劣化画像の関係を説明するための図である。図３は、本発明の実施の形態におけるＰＳＦの輝度分布を示す図である。図４は、本発明の実施の形態におけるノイズが復元画像に及ぼす影響を検証するためのシミュレータを示す図である。図５は、本発明の実施の形態における劣化画像に含まれるノイズと復元画像との関係を説明する図である。図６は、本発明の実施の形態におけるＰＳＦ画像に含まれるノイズと復元画像との関係を説明する図である。図７は、本発明の実施の形態における劣化画像及びＰＳＦ画像に含まれるノイズと復元画像の解像度との関係を説明する図である。図８は、本発明の実施の形態における理想のＰＳＦ情報を示す図である。図９は、本発明の実施の形態におけるノイズが含まれたＰＳＦ情報を示す図である。図１０は、本発明の実施の形態に係る撮像装置の動作を示すフローチャートである。図１１は、本発明の実施の形態におけるＰＳＦ情報を示す図である。図１２は、本発明の実施の形態におけるＯＴＦ情報を示す図である。図１３は、本発明の実施の形態における復元画像を示す図である。図１４は、本発明の実施の形態における復元画像の解像度を示す図である。

　以下、本発明の実施の形態を説明する前に、撮影されたＰＳＦ画像の不要輝度（ノイズ）が大きい場合に高解像度な画像復元が困難となる要因について説明する。

　図２から図９を用いて、撮影されたＰＳＦ画像のノイズが大きい場合に高解像度な画像復元が困難になる要因について説明する。図２（ａ）に劣化の無い元画像（被写体）を示す。撮影された画像の解像度を測定する際に一般的に用いられるくさび型チャートである。図２（ｂ）に光学系のＰＳＦ画像の一例を示す。

　光学系のピントずれ、ブレ、あるいは収差等により点像が図２（ｂ）に示すように有限の広がりを持つ。そのため、図２（ａ）の元画像は、光学系を介することにより、図２（ｃ）に示すような解像度が劣化した劣化画像として撮像素子上に結像される。劣化画像は、元画像と、全画像領域の輝度積分値が「１」になるよう正規化されたＰＳＦ画像との畳込み積分により表わされることが知られている。

　なお、図３は、図２（ｂ）のＰＳＦ画像で輝度が最も大きい部分を含むラインのうち、輝度が最も大きい領域の周辺を拡大した輝度分布である。図３は、ＰＳＦ画像がノイズを含まない場合の輝度分布である。画像の輝度の表現は、実装するシステムにより異なるが、ここでは「０」を黒、「１．０」を白として表現する。

　図４は、撮像素子に結像した被写体像を取込む際に、劣化画像及びＰＳＦ画像のそれぞれに混入するノイズが、復元画像の解像度に与える影響を調べるためのシミュレータのブロック図を表わす。シミュレータは、ノイズを含まない劣化画像にノイズを付与する劣化画像ノイズ付与部１０１と、ノイズを含まないＰＳＦ画像にノイズを付与するＰＳＦ画像ノイズ付与部１０２と、画像復元演算部１０３とを備える。このシミュレータを用いて、劣化画像とＰＳＦ画像とのそれぞれに対するノイズの影響を調べることができる。

　ノイズはガウスノイズを仮定する。そして、そのガウスノイズの標準偏差σを変動させることにより、ノイズの影響が調べられる。例えば画像位置により時系列的に殆ど変化しない固定値ノイズ（例えば、暗電流ノイズ、または所定のラインもしくは画素位置における撮像素子の製造不良により発生するノイズ等）は、あらかじめそれぞれの画像位置でのノイズ値を調べておくことにより容易に補償可能であるためここでは考慮しない。すなわち、補償が困難な時系列的にランダムに変化するランダムノイズ（ガウスノイズで仮定）のみを考慮して、ノイズの影響を調べている。なお、画像位置とは、画像上の位置であり、典型的には画像を構成する画素の位置である。また、ガウスノイズとは、ノイズ成分の輝度値分布がガウス分布に近似するノイズである。

　画像復元演算部１０３は、画像復元アルゴリズムとして知られているウィナーフィルタあるいはリチャードソン・ルーシー（Ｒｉｃｈａｒｄｓｏｎ－Ｌｕｃｙ）アルゴリズム等を用いて画像復元演算を行えばよい。ここでは、画像復元演算部１０３は、ウィナーフィルタを用いて画像復元演算を行うことにより復元画像を得る構成としている。

　ウィナーフィルタＨｗ（ｕ，ｖ）の構成は、例えば非特許文献（「ディジタル画像処理（２００４年７月２２日　ＣＧ－ＡＲＴＳ協会発行）」の１４６ページ）に記載されている以下の（式１）を用いればよい。

　Ｈｗ（ｕ，ｖ）＝
　１／Ｈ（ｕ，ｖ）・｜Ｈ（ｕ，ｖ）｜＾２／（｜Ｈ（ｕ，ｖ）｜＾２＋Ｋ）　（式１）

　ここで、Ｈ（ｕ，ｖ）はＰＳＦ画像のフーリエ変換である光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）を表わす。また、ｕはＰＳＦ画像の垂直方向の各周波数成分が格納されている配列のアドレスを表わす。また、ｖはＰＳＦ画像の水平方向の各周波数成分が格納されている配列のアドレスを表わす。Ｋは適当な定数である。

　画像復元演算部１０３は、劣化画像のフーリエ変換データと、ウィナーフィルタＨｗ（ｕ，ｖ）とを各周波数成分毎で乗算し、その乗算結果を逆フーリエ変換することにより復元画像を生成する。被写体としては図２（ａ）に示したくさび型チャートを用いている。ＰＳＦ画像としては、図２（ｂ）のＰＳＦ画像にＰＳＦ画像ノイズ付与部１０２で必要に応じてノイズを付与した後に全領域における輝度積分値が１となるよう正規化した画像を用いている。

　図５の（ａ）、（ｂ）及び（ｃ）に、図２（ｃ）の劣化画像に、劣化画像ノイズ付与部１０１で標準偏差σを変動させたガウスノイズを付与した場合の各標準偏差σに対応する復元画像を示す。ＰＳＦ画像及び劣化画像は、ここでは一例として５１２×５１２画素の画像サイズとしている。

　具体的には、図５の（ａ）、（ｂ）及び（ｃ）は、標準偏差σをそれぞれ劣化画像の輝度最大設定値（ここでは「０」を黒、「１．０」を白としているため、輝度最大設定値は「１」である）の０％、０．０５％、及び０．３％に設定した場合における復元画像を示す。このときＰＳＦ画像にはノイズを付与していない。図５の（ａ）、（ｂ）及び（ｃ）から明らかなように、標準偏差σを大きくするに従って、復元画像の解像度が若干低下している。なお、輝度最大設定値とは、輝度を示す値のうち最も大きい輝度を示す値である。

　図６の（ａ）、（ｂ）及び（ｃ）に、図２（ｂ）のＰＳＦ画像に、ＰＳＦ画像ノイズ付与部１０２で標準偏差σを変動させたガウスノイズを付与した場合の、各標準偏差σに対応する復元画像を示す。具体的には、図６の（ａ）、（ｂ）及び（ｃ）は、ガウスノイズの標準偏差σをそれぞれＰＳＦ画像の最大輝度値の０％、０．０５％、及び０．３％に設定した場合における復元画像を示す。このとき劣化画像にはノイズを付与していない。図６の（ａ）、（ｂ）及び（ｃ）から明らかなように、ガウスノイズの標準偏差σを大きくするに従って、復元画像の解像度が顕著に低下している。

　なお、ＰＳＦ画像の最大輝度値とは、ＰＳＦ画像において、最も大きい輝度を示す画像位置の輝度値である。具体的には、ＰＳＦ画像の最大輝度値とは、例えば、ＰＳＦ画像を構成する画素のうち、最も大きい輝度を示す画素の輝度値である。

　図７に、ガウスノイズの標準偏差σを変動させた場合の復元画像の解像度の変化を比較した結果を示す。図７において、記号７０１は劣化画像のみにガウスノイズを与えた場合における復元画像の解像度を表している。また、記号７０２はＰＳＦ画像のみにガウスノイズを与えた場合における復元画像の解像度を表している。

　劣化画像に与えるガウスノイズの標準偏差σは輝度最大設定値に対する割合で表している。また、ＰＳＦ画像に与えるガウスノイズの標準偏差σは最大輝度値に対する割合で表している。ここでは、ガウスノイズをＰＳＦ画像に付与する際には、ＰＳＦ画像は最大輝度値が輝度最大設定値「１．０」となるよう正規化しており、劣化画像及びＰＳＦ画像に同等のノイズを付与した条件で比較している。

　解像度は、ＣＩＰＡ規格ＤＣ－００３「デジタルカメラの解像度測定方法」を参照し、ＣＩＰＡより配布されている解像度測定用ツールＨＹＲｅｓ３．１を用いて測定されている。このように測定される解像度は、測定された本数が多いほど高解像度であることを表す。なお、本実施の形態において、劣化画像及びＰＳＦ画像のいずれにもガウスノイズを与えない場合に復元される復元画像の解像度は４２８本である。

　図７から分かるように、画像信号とガウスノイズの標準偏差σとの比に依存して復元画像の解像度が変化している。また、劣化画像よりもＰＳＦ画像の方が、ガウスノイズの標準偏差σを大きくしていった場合の解像度の低下が著しいことが分かる。

　劣化画像のみにガウスノイズを与えた場合は、ガウスノイズの標準偏差σが輝度最大設定値の０．６％以上になると解像度が著しく低下して解像度が０本（測定不能）となっている。一方、ＰＳＦ画像のみにガウスノイズを与えた場合は、ガウスノイズの標準偏差σが最大輝度値の０．３％以上になると解像度が著しく低下して解像度が０本となっている。

　したがって、劣化画像に含まれるノイズよりも、ＰＳＦ画像に含まれるノイズの方が復元画像に対して大きな悪影響を及ぼすことが分かった。ちなみに、図２（ｃ）の復元前の劣化画像の解像度を測定した場合は、ノイズの有無にかかわらず、収差によるぼけの影響で測定不能という結果になり、解像度は０本である。

　ＰＳＦ画像に含まれるノイズにより復元画像の解像度が大幅に低下する要因を検証した結果を、図８及び図９を用いて説明する。

　図８（ａ）は図２（ｂ）のＰＳＦ画像の輝度が最も大きい部分の周辺のラインを拡大した輝度分布を表わしている。ここでは、ＰＳＦ画像にノイズは含まれていない。

　図８（ｂ）はこのノイズを含まないＰＳＦ画像をフーリエ変換したＯＴＦのゲインを表わす。図８（ｂ）のＯＴＦは直流成分（周波数「０」）でのゲインが１となるよう正規化されている。図８（ｂ）の横軸は周波数を表し、直流成分（周波数「０」）より右側が正の周波数、左側が負の周波数を表す。図２（ｂ）のＰＳＦ画像は輝度最大となる画像位置を中心として対称な輝度分布を持っている例を用いている。そこで、ゲイン分布の見易さを考慮して、図８（ｂ）及びＯＴＦを示す以降の図では、２次元配列であるＯＴＦのうち垂直及び水平方向の直流成分のデータを含む１ラインのみデータを抽出し、表示している。

　図９（ａ）は、図２（ｂ）のＰＳＦ画像に、標準偏差σが最大輝度値の０．３％のガウスノイズを付与した画像の、輝度が最も大きい部分の周辺のラインを拡大した輝度分布を表わしている。図９（ｂ）はこのノイズを含んだＰＳＦ画像をフーリエ変換したＯＴＦのゲインを表わす。図９（ｂ）のＯＴＦも直流成分（周波数「０」）でのゲインが「１」となるよう正規化されている。

　図９（ｂ）では図８（ｂ）と比較して、周波数「０」の成分（直流成分）のゲインが他の周波数成分のゲインと比較して顕著に大きくなっているのが分かる。これは、図２（ｂ）のＰＳＦ画像は、輝度の小さい領域が画像全体のうちの大部分を占めており、その輝度の小さい領域にノイズが付与されることにより、ノイズによるＰＳＦ画像全体の輝度平均値（＝直流成分）が大幅に変動するためと考えられる。

　したがって、撮影されたＰＳＦ画像のＯＴＦと実際のＯＴＦとの乖離が大きくなることにより、復元画像の解像度が大幅に低下する。なお、メディアンフィルタなどのランダムノイズを低減する一般的なフィルタをＰＳＦ画像に作用させても、ＰＳＦ画像の輝度の小さい領域からランダムノイズを完全に除去することは困難なため、ＰＳＦ画像全体の輝度平均値の変動を除去することは難しい。

　このように、撮影されたＰＳＦ画像を用いて劣化画像を復元する場合には、補正が困難なランダムノイズ（ガウスノイズ）の影響でＰＳＦ画像の輝度平均値が変動することにより、ＰＳＦの周波数成分のうち直流成分が大きく変動し、高解像度な復元画像が得られないという課題が、図４のシミュレータを用いた検討により明らかになった。

　そこで、上記の課題を解決することができる、本発明の一態様に係る撮像装置について、以下に説明する。

　（実施の形態）
　以下、本発明の実施の形態について図面を参照しながら説明する。

　図１は、本発明の実施の形態に係る撮像装置の構成の一例を示すブロック図である。撮像装置１０は、光学系１と、周波数領域変換部３及び低周波成分ゲイン平滑化部４を含むＰＳＦ撮影部２と、被写体撮影部５と、画像復元部６とを備える。

　光学系１は被写体像を取得する。具体的には、光学系１は、例えばレンズ及び撮像素子などを含む。光学系１は、点像又は点像に相当する被写体像を撮影することにより、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を生成する。また、光学系１は、任意の被写体像を撮影することにより、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）を生成する。

　ＰＳＦ撮影部２は、光学系１に対応するＰＳＦを取得するために光学系１に点像もしくはそれに相当する被写体像を撮影させ、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を光学系１から取得し保存する。ここで、ｘは画像中の垂直方向の画像位置、ｙは水平方向の画像位置を表わす。

　つまり、ＰＳＦ撮影部２は、ＰＳＦ情報を取得する。ここで、ＰＳＦ情報とは、光学系１によって撮影されたＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）に基づく情報である。具体的には、ＰＳＦ情報は、例えば、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）そのものを示す。また例えば、ＰＳＦ情報は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を空間領域から周波数領域へ変換した情報であってもよい。

　なお、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）は、ノイズの影響を最小限とするため、最大輝度値が輝度最大設定値「１．０」に近い値となるように撮影された画像であることが好ましい。また、画像位置により時系列的に変化しない既知の固定値ノイズ（例えば、暗電流ノイズ、または所定のラインもしくは画素位置における撮像素子の製造不良により発生するノイズなど）がある場合は、ＰＳＦ撮影部２は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）のそれぞれの画像位置であらかじめ調べられた固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）を、（式２）のように、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）からを減算する。

　Ｉｒ１＿ｐｓｆ（ｘ，ｙ）＝Ｉ＿ｐｓｆ（ｘ，ｙ）－Ｎｆ（ｘ，ｙ）　（式２）

　ここで、ＰＳＦ撮影部２は、固定値ノイズの輝度値が減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）で輝度値が負になった画像位置の輝度値を「０」に補正する。

　なお、ＰＳＦ撮影部２は、必ずしも、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）から固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）を減算する必要はない。例えば、固定値ノイズが全画像領域でほぼ一定値であることがあらかじめ分かっている場合などには、ＰＳＦ撮影部２は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）から固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）を減算する必要はない。

　以上のように、ＰＳＦ撮影部２は、ＰＳＦ情報を取得する。ここで、ＰＳＦ情報とは、光学系１によって撮影されたＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）に基づく情報である。具体的には、ＰＳＦ情報は、例えば、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を示す。また例えば、ＰＳＦ情報は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）から固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）が減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）を示してもよい。

　なお、以下において、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）から固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）が減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）を単にＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）ともいう。

　周波数領域変換部３は、ＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）を、ＦＦＴ（Ｆａｓｔ　Ｆｏｕｒｉｅｒ　Ｔｒａｎｓｆｏｒｍ）などのフーリエ変換手法を用いて空間領域から周波数領域のデータに変換し、ＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を作成する。つまり、周波数領域変換部３は、ＰＳＦ情報を周波数領域のデータに変換しＯＴＦ情報を出力する。具体的には、周波数領域変換部３は、ＰＳＦ情報が示すＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）を空間領域から周波数領域へ変換することにより、ＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を出力する。

　低周波成分ゲイン平滑化部４は、ＯＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）において、低周波成分のゲインＧａｉｎ＿ｌｏｗ＿ｆｒｅｑに対する直流成分のゲインＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）の比Ｇａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑが小さくなるよう、ＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正する。

　低周波成分のゲインとは、直流成分の周波数を除く、所定の周波数より低い周波数における周波数成分から得られるゲインである。具体的には、低周波成分のゲインとは、直流成分の周波数の近傍の周波数における周波数成分から得られるゲインである。例えば、低周波成分のゲインは、直流成分の周波数に隣接する周波数における周波数成分の平均値である。ここでは低周波成分のゲインＧａｉｎ＿ｌｏｗ＿ｆｒｅｑはＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）で直流成分の周波数を除き最も小さい周波数における周波数成分のゲインの値が格納されているＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０＋１）とＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０＋１，ｖ０）との平均値とする。

　ｕ０は、ＰＳＦ画像の垂直方向の各周波数成分が格納されている配列の、直流成分の値が格納されているアドレスを表わす。また、ｖ０は、ＰＳＦ画像の水平方向の各周波数成分が格納されている配列の、直流成分の値が格納されているアドレスを表わす。

　こうしてＰＳＦ撮影部２は、ＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正することにより、修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）を出力する。

　なお、修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）は必要に応じて正規化処理をして出力される。ＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正する理由及びＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑの設定範囲は後述する。

　被写体撮影部５は光学系１で取得した様々な被写体の被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）を保存する。被写体撮影部５は、必要に応じて、前記固定値ノイズの補償やメディアンフィルタなどのノイズ補償処理を被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）に施してもよい。

　つまり、被写体撮影部５は、光学系１によって撮影された被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）を取得し、被写体情報を出力する。ここで、被写体情報とは、取得した被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）に基づく情報である。例えば、被写体情報は、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）そのものを示す情報である。また例えば、被写体情報は、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）に各種ノイズ補償処理を施した画像を示す情報であってもよい。また例えば、被写体情報は、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）又は被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）に各種ノイズ補償処理を施した画像を空間領域から周波数領域へ変換した情報であってもよい。

　画像復元部６は、修正ＰＳＦ情報と被写体情報とに基づき、ウィナーフィルタ等による画像復元演算を行い、復元画像を作成する。つまり、画像復元部６は、修正ＰＳＦ情報と被写体情報とに基づき、被写体情報の復元演算を行う。すなわち、画像復元部６は、被写体情報に修正ＰＳＦ情報を作用させる画像復元演算を行うことにより、被写体情報が示す画像よりも解像度が高い復元画像を生成する。

　具体的には、画像復元部６は、例えば、被写体情報が示す被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）を空間領域から周波数領域へ変換し、変換結果に対して修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）を作用させることにより復元演算を行う。

　なお、修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）は、工場出荷時やメンテナンス時などに一度撮影し算出したデータであってもよい。つまり、画像復元部６は、メモリなどの記憶手段を有し、ＰＳＦ撮影部２によって生成された修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）をあらかじめ保存しておき、保存した修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）を用いて、復元画像を生成すればよい。すなわち、ＰＳＦ撮影部２は、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）が変わる度に必ずしも修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）を生成する必要はない。

　次に、以上のように構成された本実施の形態に係る撮像装置における各種動作について説明する。

　図１０は、前記に説明した本発明の実施の形態に係る撮像装置の動作を示すフローチャートである。具体的には、図１０の（ａ）は、修正ＰＳＦ情報生成処理の流れを示すフローチャートである。また、図１０の（ｂ）は、画像復元処理の流れを示すフローチャートである。上述したように、図１０の（ａ）に示す処理は、図１０の（ｂ）に示す処理よりも先に少なくとも１回行われればよく、必ずしも同期して行われる必要はない。

　まず、図１０の（ａ）に示すフローチャートについて説明する。

　光学系１は、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）を撮影する（Ｓ１０１）。続いて、ＰＳＦ撮影部２は、式（２）に従って、ＰＳＦ画像Ｉ＿ｐｓｆ（ｘ，ｙ）から固定値ノイズの輝度値Ｎｆ（ｘ，ｙ）を減算することにより、固定値ノイズの輝度値が減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）を算出する（Ｓ１０２）。

　そして、周波数領域変換部３は、固定値ノイズの輝度値を減算されたＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）を空間領域から周波数領域へ変換することにより、ＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を算出する（Ｓ１０３）。続いて、低周波成分ゲイン平滑化部４は、低周波成分のゲインに対する直流成分のゲインの比率が小さくなるように、ＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正することにより、修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）を生成する（Ｓ１０４）。最後に、ＰＳＦ撮影部２は、生成された修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）を正規化し、画像復元部６へ出力する（Ｓ１０５）。

　なお、ステップＳ１０２の固定値ノイズ減算処理は必ずしも実行される必要はない。例えば、ＰＳＦ撮影部２は、固定値ノイズが非常に小さい場合や、固定値ノイズが全画像領域でほぼ一定値であることがあらかじめ分かっている場合などには、固定値ノイズ減算処理を実行しなくてもよい。

　次に、図１０の（ｂ）に示すフローチャートについて説明する。

　光学系１は、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）を撮影する（Ｓ１１１）。続いて、被写体撮影部５は、ノイズ補償処理後の被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）にノイズ補償処理を行なう（Ｓ１１２）。最後に、画像復元部６は、ノイズ補償処理後の被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）と修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）とに基づいて復元演算を行うことにより、復元画像を生成する（Ｓ１１３）。

　なお、ステップＳ１１２のノイズ補償処理は必ずしも実行される必要はない。

　次に、ＯＴＦ情報Ｈ＿ｐｓｆを補正する理由及びＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑの設定範囲の説明を行う。以下の説明において、被写体画像Ｉ＿ｉｍｇ（ｘ，ｙ）としては図２（ｃ）に示したくさび型チャートの劣化画像を用いる。ＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）としては、図２（ｂ）のＰＳＦ画像に、標準偏差σが最大輝度値の０．３％であるガウスノイズが付与された画像を用いる（輝度値が負になった画像位置の輝度値は０に補正）。

　図１１（ａ）にＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）の最大輝度値の位置を含むラインの輝度分布を示す。固定値ノイズを除去しているため、最大輝度値の位置付近では図１の光学系１のＰＳＦに基づく輝度分布を持ち、最大輝度値の位置から離れた位置では輝度値がほぼ「０」になっている。

　図１１（ｂ）に図１１（ａ）の破線付近を拡大した輝度分布を示す。最大輝度値の位置から離れた位置でもランダムに分布するガウスノイズの影響により微少な輝度分布（微小な輝度値の変動）が存在するのがわかる。

　図１１（ｃ）にＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）をフーリエ変換したＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を示す。図１１（ｃ）のＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）は直流成分（周波数「０」）でのゲインが「１」となるよう正規化されている。図１１（ｃ）を見れば、直流成分が他の周波数成分と比較してゲインが顕著に大きくなっているのが分かる。これは、前述したようにガウスノイズにより、ＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）全体の輝度平均値が大幅に増加したためと考えられる。

　したがって、ＰＳＦ画像Ｉｒ１＿ｐｓｆ（ｘ，ｙ）を用いて画像復元演算をした場合には、図１１（ｃ）のＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）が示すＯＴＦと実際のＯＴＦとの乖離が大きくなることにより、復元画像の解像度が大幅に低下する。そこで、本実施の形態においては、ＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）の直流成分のゲインと他の周波数のゲインとの乖離を補正し、実際のＯＴＦに近づけることにより、高解像度な画像復元を可能にする。

　図１２に、Ｇａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑが小さくなるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正した場合の修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）を示す。図１２の修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）は、直流成分（周波数「０」）でのゲインが「１」となるよう正規化されている。図１２（ａ）はＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑ＝１．５となるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正した場合の修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）である。また、図１２（ｂ）はＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑ＝１．０となるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正した場合の修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）である。また、図１２（ｃ）はＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑ＝０．６７となるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正した場合の修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）である。

　図１３に、図１２に示す修正ＰＳＦ情報を用いて画像復元演算をした時の復元画像を示す。図１３（ａ）はＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正しない場合の復元画像を示す。また、図１３（ｂ）はＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑ＝１．５となるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正した場合の復元画像を示す。また、図１３（ｃ）はＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑ＝１．０となるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正した場合の復元画像を示す。また、図１３（ｄ）はＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑ＝０．６７となるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正した場合の復元画像を示す。

　図１３を見れば、Ｇａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑが小さくなるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正することにより、復元画像の解像度が向上していることが分かる。

　図１４にＧａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑを変化させた場合の解像度の変化を示す。図１４に示すグラフにおいて、縦軸はＣＩＰＡより配布されている解像度測定用ツールＨＹＲｅｓ３．１を用いて測定した復元画像の解像度を表わし、横軸は修正ＰＳＦ情報のＤＣゲイン／低周波ゲイン（＝Ｇａｉｎ＿Ｈ＿ｐｓｆ（ｕ０，ｖ０）／Ｇａｉｎ＿ｌｏｗ＿ｆｒｅｑ）を表わす。

　図１４から、ＤＣゲイン／低周波ゲインが０．２から５の間になるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正した場合に解像度が向上することが分かる。つまり、低周波成分ゲイン平滑化部４は、ＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）において、直流成分でない低周波成分のゲインに対する直流成分のゲインの比が０．２倍から５倍の間になるよう補正することが好ましい。

　さらに、ＤＣゲイン／低周波ゲインが「０．２」から「２．０」の間になるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正した場合に、ガウスノイズが存在しない場合の半分以上の解像度を得られるようになる。つまり、低周波成分ゲイン平滑化部４は、ＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）において、直流成分でない低周波成分のゲインに対する直流成分のゲインの比が０．２倍から２倍の間になるよう補正することがより好ましい。

　さらに、ＤＣゲイン／低周波ゲインが「０．２」から「１．０」の間になるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正した場合に、ガウスノイズが存在しない場合と同等の解像度を得られるようになる。つまり、低周波成分ゲイン平滑化部４は、ＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）において、直流成分でない低周波成分のゲインに対する直流成分のゲインの比が０．２倍から１倍の間になるよう補正することがより好ましい。

　ＤＣゲイン／低周波ゲインが「０．２」より小さい場合は、ＤＣゲインが他の周波数成分のゲインに比較して小さくなり過ぎ、補正した修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）が示すＯＴＦと実際のＯＴＦとの乖離が大きくなり過ぎることにより、復元画像の解像度が大幅に低下する。

　上記の結果から、図１２（ｂ）のようにＤＣゲイン／低周波ゲインが「１」になるようＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正すると、修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）が示すＯＴＦが実際のＯＴＦと近くなるために復元画像の解像度が向上することが分かった。さらに、ＤＣゲイン／低周波ゲインが「１」でなくても上記に示した所定の範囲内となるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正するのであれば、復元画像の解像度は向上することが分かった。

　以上のように、本発明の実施の形態に係る撮像装置１０によれば、画像復元演算の際に、撮影されたＰＳＦ画像の不要輝度（特に時系列的に変動するランダムノイズ）が大きい場合であっても、ＤＣゲイン／低周波ゲインが適正な値となるようにＯＴＦ情報Ｈ＿ｐｓｆ（ｕ，ｖ）を補正することにより、画像を復元するためのＰＳＦ情報がより正確になり、高解像度な画像復元が可能となる。

　なお、ＰＳＦ撮影部２から出力される修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）は、周波数領域のデータとして説明しているが、修正ＰＳＦ情報は空間領域のデータであってもよい。例えば、画像復元部６の演算アルゴリズムとして空間領域で演算を行うリチャードソン・ルーシーアルゴリズムを用いる場合などは、ＰＳＦ撮影部２、必要に応じて修正ＰＳＦ情報Ｈｒ＿ｐｓｆ（ｕ，ｖ）を逆フーリエ変換を行って画像領域のデータとして出力してもよい。つまり、ＰＳＦ撮影部２は、ＰＳＦ撮影部２の後段の処理に応じて適切なデータ形態に変換して修正ＰＳＦ情報を出力してもよい。

　なお、低周波成分ゲイン平滑化部４は、直流成分を除き最も小さい周波数成分のゲインの平均値を低周波成分のゲインＧａｉｎ＿ｌｏｗ＿ｆｒｅｑとして用いているが、これに限定されるわけではない。例えば、低周波成分のゲインＧａｉｎ＿ｌｏｗ＿ｆｒｅｑは、直流成分を除き最も小さい周波数におけるゲインの最大値や最小値、その他の低周波成分を含めたゲインの平均値など、直流成分以外の低周波成分のゲインに基づき決定されればよい。

　なお、ＰＳＦ撮影部２は、（式２）の固定値ノイズの輝度値の減算を必ずしも行わなくてもよい。ＰＳＦ撮影部２は、例えば、固定値ノイズが全画像領域でほぼ一定値である場合などは、固定値ノイズの輝度値の減算を必ずしも行わなくてもよい。つまり、ＰＳＦ撮影部２は、必要に応じてＰＳＦ画像の輝度値から固定値ノイズの輝度値を減算すればよく、固定値ノイズの輝度値の減算は必須の構成ではないことは言うまでもない。

　なお、本実施の形態では、ＰＳＦの分布が図２（ｂ）のように輝度最大となる画像位置を中心として対称な輝度分布を持っている例を用いて説明しているが、対称でない輝度分布のＰＳＦを持った光学系に対しても適用可能であることは言うまでもない。

　以上、本発明の一態様に係る撮像装置１０について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも、本発明の範囲内に含まれる。

　例えば、上記実施の形態において、撮像装置１０は、ＰＳＦ撮影部２を備えていたが、必ずしもＰＳＦ撮影部２を備える必要はない。具体的には、撮像装置１０は、例えば、あらかじめ生成された修正ＰＳＦ情報を保存しておけばよい。この場合であっても、撮像装置１０は、あらかじめ保存された修正ＰＳＦ情報と被写体情報とに基づき被写体情報の復元演算を行うことができるので、高解像度に被写体画像を復元することが可能となる。

　また、上記実施の形態における撮像装置１０が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、撮像装置１０は、ＰＳＦ撮影部２と被写体撮影部５と画像復元部６とを有するシステムＬＳＩから構成されてもよい。

　システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

　また、本発明は、このような特徴的な処理部を備える撮像装置として実現することができるだけでなく、撮像装置に含まれる特徴的な処理部をステップとする画像復元方法として実現することもできる。また、画像復元方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のコンピュータ読取可能な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

　本発明は、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話用カメラ、監視カメラ、医療用カメラ、望遠鏡、顕微鏡、車載カメラ、ステレオ測距カメラ、立体映像撮影用多眼式カメラ、自由視点映像作成に用いる光線空間取込用カメラ、ＥＤＯＦ（Ｅｘｔｅｎｄｅｄ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ）カメラ、又はＦＤＯＦ（Ｆｌｅｘｉｂｌｅ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ）　Ｐｈｏｔｏｇｒａｐｈｙなど、光学系により被写体像を撮影する撮像装置全般に有用である。

　　　１　光学系
　　　２　ＰＳＦ撮影部
　　　３　周波数領域変換部
　　　４　低周波成分ゲイン平滑化部
　　　５　被写体撮影部
　　　６　画像復元部
　　１０　撮像装置
　１０１　劣化画像ノイズ付与部
　１０２　ＰＳＦ画像ノイズ付与部
　１０３　画像復元演算部

Claims

　光学系と、
　前記光学系により撮影されたＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）情報を取得し、前記ＰＳＦ情報を補正することにより修正ＰＳＦ情報を出力するＰＳＦ撮影部と、
　前記光学系により撮影された被写体情報を取得し出力する被写体撮影部と、
　前記修正ＰＳＦ情報と前記被写体情報とに基づき前記被写体情報の復元演算を行う画像復元部とを有し、
　前記ＰＳＦ撮影部は、
　前記ＰＳＦ情報を周波数領域のデータに変換しＯＴＦ（Ｏｐｔｉｃａｌ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）情報を出力する周波数領域変換部と、
　前記ＯＴＦ情報において、直流成分でない低周波成分のゲインに対する直流成分のゲインの比が小さくなるよう補正する低周波成分ゲイン平滑化部とを有する
　撮像装置。
　前記低周波成分ゲイン平滑化部は、前記ＯＴＦ情報において、直流成分でない低周波成分のゲインに対する直流成分のゲインの比が０．２倍から５倍の間になるよう補正する
　請求項１記載の撮像装置。
　前記低周波成分ゲイン平滑化部は、前記ＯＴＦ情報において、直流成分でない低周波成分のゲインに対する直流成分のゲインの比が０．２倍から１倍の間になるよう補正する
　請求項１記載の撮像装置。
　光学系と、
　前記光学系により撮影された被写体情報を取得し出力する被写体撮影部と、
　あらかじめ保存された修正ＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）情報と前記被写体情報とに基づき前記被写体情報の復元演算を行う画像復元部とを有し、
　前記修正ＰＳＦ情報は、前記光学系により撮影されたＰＳＦ情報を周波数領域のデータに変換したＯＴＦ（Ｏｐｔｉｃａｌ　Ｔｒａｎｓｆｅｒ　Ｆｕｎｃｔｉｏｎ）情報において、直流成分でない低周波成分のゲインに対する直流成分のゲインの比が小さくなるよう補正することにより生成された情報である
　撮像装置。
　光学系により撮影されたＰＳＦ（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ）情報を取得し、前記ＰＳＦ情報を補正することにより修正ＰＳＦ情報を出力するＰＳＦ撮影ステップと、
　前記光学系により撮影された被写体情報を取得し出力する被写体撮影ステップと、
　前記修正ＰＳＦ情報と前記被写体情報とに基づき前記被写体情報の復元演算を行う画像復元ステップとを有し、
　前記ＰＳＦ撮影ステップは、
　前記ＰＳＦ情報を周波数領域のデータに変換しＯＴＦ情報を出力する周波数領域変換サブステップと、
　前記ＯＴＦ情報において、直流成分でない低周波成分のゲインに対する直流成分のゲインの比が小さくなるよう補正する低周波成分ゲイン平滑化サブステップとを有する
　画像復元方法。
　請求項５に記載の画像復元方法をコンピュータに実行させるためのプログラム。