JP5846048B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、超解像処理を用いて画像解像度を変換する画像処理装置、および撮像装置に関する。

撮影された画像を解像度変換して拡大する場合において、バイリニア法などの線形補間では、画像を撮影した光学系や撮像センサの特性により失われた成分を復元することは難しい。結果的にボケた拡大画像になることが多い。光学系や撮像センサの特性による劣化成分を復元する手法として再構成型超解像処理がある。再構成型超解像処理では、まず観測された低解像度画像から初期の高解像度画像を推定し、そこから劣化モデルに基づき観測画像である低解像度画像を推定したシミュレーション画像を生成する。当該シミュレーション画像と実際の観測画像の誤差を最小にするように上述の高解像度画像を更新する。収束するまで更新処理を繰り返すことにより、最終的な高解像度画像を求める。上述の再構成型超解像処理の古典的な手法として逆投影法が良く知られている（例えば、特許文献１参照）。

再構成超解像処理において、劣化モデルと観測画像との誤差分を逆投影することで、画像の先鋭化によるボケ除去が可能である。しかしながら、想定した劣化モデルが実際の撮像光学特性を正確に反映していないと十分な効果が期待できない。劣化モデルで最も重要なのは、光学系の伝達関数を意味する点広がり関数である。画像における点広がり関数（点像分布関数ともいう）は、ある点光源を撮影したときに、その点がどれだけ広がるかを意味しており、結果二次元の係数行列により表すことができる。再構成型超解像処理では、点広がり関数と入力画像を畳み込み積分することで、シミュレーション画像を生成する。

特開平８−３３６５２２号公報

一般的に、低コストな光学系は点広がり関数の広がりが大きく、それを表現する係数行列の要素数も大きくなる。畳み込み積分は要素数分の積和算に相当し、点広がり関数の係数行列が大きくなれば、乗算器、加算器の増加は勿論のこと、畳み込み積分の入力、中間値、結果などを一時保存するためのレジスタの増加など、回路規模が増大するという問題が生じる。さらに再構成型超解像の場合、点広がり関数と同じ大きさの逆投影関数との畳み込み積分も必要となるため、こちらの処理の回路規模も増大する。

本発明はこうした状況に鑑みてなされたものであり、その目的は、処理規模の増大を抑制しながら、高精度な解像度変換を実現する技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、撮像された観測画像の推定される高解像度画像と、撮像系を模した点広がり関数を畳み込み積分する第１畳み込み積分部と、第１畳み込み積分部により生成される画像を、観測画像の解像度にダウンサンプリングするダウンサンプリング部と、観測画像と、ダウンサンプリング部によりダウンサンプリングされた画像との誤差を算出する誤差算出部と、誤差算出部により生成される誤差を、当該高解像度画像の解像度にアップサンプリングするアップサンプリング部と、アップサンプリング部によりアップサンプリングされた誤差と、当該点広がり関数に対応する逆投影関数を畳み込み積分する第２畳み込み積分部と、当該高解像度画像に、第２畳み込み積分部により生成される逆投影成分を加算して当該高解像度画像を更新する加算部と、を備える。逆投影関数は、点広がり関数の各係数を２乗した関数で近似される。第２畳み込み積分部は、当該誤差に、当該逆投影関数が低次元化された関数を複数回畳み込み積分する。点広がり関数は、係数が点対称に配置された二次元フィルタで規定される。

本発明によれば、処理規模の増大を抑制しながら、高精度な解像度変換を実現できる。

本発明の実施の形態に係る画像処理装置の構成を示す図である。 係数が点対称な二次元フィルタを説明するための図である。 図３（ａ）−（ｂ）は、二次元フィルタの一例を示す図である。 第１畳み込み積分部の構成例を示す図である。 本発明の実施の形態に係る撮像装置の構成を示す図である。

まず本発明の実施の形態に係る画像処理装置を詳細に説明する前に、本実施の形態に係る原理を説明する。本実施の形態では再構成型超解像処理を用いる。再構成型超解像処理のアルゴリズムは既存の一般的なものを使用するため、その詳細な説明は省略する。以下、本実施の形態に特有のアルゴリズムを簡単に説明する。

まず撮影により得られる観測画像ｇは、下記（式１）のようにモデル化できる。
ここで、ｆは正解の高解像度画像であり、観測画像（低解像度画像）ｇから正解の高解像度画像ｆを復元することが超解像処理の目的となる。ｈは光学系の劣化に起因する演算子であり、一般的には点広がり関数を意味する。σはセンサ（例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）による標本化を示すダウンサンプリング演算子である。Noiseは加法性ノイズ項である。

上記（式１）に示したモデルを用いて、第ｎ回目の反復再構成結果である高解像度画像ｆ^（ｎ）から生成したシミュレーション画像ｇ^（ｎ）は下記（式２）で表される。
ここで、↓ｓは１／ｓにダウンサンプリングすることを示す演算子である。＊ｈは点広がり関数ｈとの畳み込み積分を示す。上記（式２）により高解像度画像ｆ^（ｎ）に対し、点広がり関数ｈで光学系のボケを加味し、センサの解像度にまでダウンサンプリングした結果、即ち撮影系をシミュレーションした結果が得られる。

従って、上記（式２）で用いた演算子が完全に撮影系を表現し、かつ第ｎ回目の反復再構成結果である高解像度画像ｆ^（ｎ）が正解の高解像度画像ｆならば、下記（式３）の関係が成り立つ。

次に、第（ｎ＋１）回目の反復再構成結果である高解像度画像ｆ^（ｎ+1）は下記（式４）の漸化式で表される。
ここで、↑ｓはｓ倍にアップサンプリングすることを示す演算子である。ｐは逆投影関数である。一般的に逆投影関数は点広がり関数から計算できる。上記（式４）から分かるように、第（ｎ＋１）回目の反復再構成結果である高解像度画像ｆ^（ｎ+1）を求めるには、第ｎ回の反復再構成結果である高解像度画像ｆ^（ｎ）から求められるシミュレーション画像ｇ^（ｎ）と観測画像ｇとの誤差分（ｇ−ｇ^（ｎ））をアップサンプリングして、逆投影関数ｐと畳み込みする処理が必要になる。

以下、点広がり関数ｈと画像ｆとの畳み込み積分について説明する。簡略化のため一次元の畳み込みを例に説明する。一次元画像ｆのｘの位置の画素値をｆ（ｘ）とすると、画素値ｆ（ｘ）と点広がり関数ｈ（a）の畳み込みは下記（式５）で表される。

ここで、要素数３の点広がり関数ｈ（a）を下記（式６）で表すと、一次元画像ｆに対して、この点広がり関数ｈとの畳み込みを２回反復した（ｆ＊ｈ）＊ｈは下記（式７）となる。

ここで、要素数５の点広がり関数ｈ’（a）を下記（式８）とすると、上記（式７）は要素数５の点広がり関数ｈ’（a）と一次元画像ｆとの畳み込み積分に等しくなる。即ち、要素数３の点広がり関数ｈ（a）との畳み込み積分を２回反復することで、要素数５の点広がり関数ｈ’（a）との畳み込み積分が処理されたことになる。

逆投影関数との畳み込みも同様に、反復により要素数を拡大することができる。逆投影関数ｐは点広がり関数ｈの逆関数として与えられる。一般に、この解を求める問題は不良設定問題であり解は不定である。そのため、点広がり関数ｈが中心を基準として点対称であるとし、逆投影関数ｐ（a）を下記（式９）のように定義する手法がよく用いられている。即ち、点広がり関数ｈの各係数を２乗することで逆投影関数ｐ（a）を近似する。

この手法は、フーリエ変換などを用いて点広がり関数ｈの逆関数を厳密に求める手法と比較して、簡便である。また逆投影関数ｐの係数が全て正となるため、数値の取扱いも容易である。また本実施の形態に係る超解像度処理のように反復再構成される演算処理では、逆投影関数ｐの近似誤差も無視できる程度に低減されることが一般的に実証されている。

上記（式９）の点広がり関数ｈ（a）を上記式（６）で置き換えた、要素数３の逆投影関数ｐ（ｎ）を下記（式１０）で表す。

一次元画像ｆに対して、この要素数３の逆投影関数ｐ（a）との畳み込み積分を２回反復した場合に相当する、要素数５の逆投影関数ｐ’（a）は下記（式１１）で表される。

本来、設定される逆投影関数ｐ’’（a）は、上記（式９）の点広がり関数ｈ（a）を上記（式８）の点広がり関数ｈ’（a）で置き換えた下記（式１２）になる。

従って、２回反復による要素数拡大は、上記（式１２）の逆投影関数ｐ’’（a）に比較して収束性の低下を招くが、要素の総和が１になるように正規化することで、一般に収束条件を満たすことができる。

以上の一次元の処理を、画像に合わせた二次元処理にすることで、実際の画像に対しても、低要素数の畳み込み積分の反復により、高要素数の畳み込み積分を用いた再構成型超解像処理が実現できる。また３回以上の反復を繰り返すことにより、更なる要素数拡大が可能である。以下、この原理を使用した、本発明の実施の形態に係る画像処理装置を説明する。

図１は、本発明の実施の形態に係る画像処理装置１００の構成を示す図である。画像処理装置１００は、画像拡大部１０、高解像度画像保持部２０、加算部３０、第１畳み込み積分部４０、ダウンサンプリング部５０、誤差算出部６０、アップサンプリング部７０、第２畳み込み積分部８０および判定部９０を備える。

画像拡大部１０は、入力される観測画像を拡大して高解像度画像を生成する。この高解像度画像は初期の推定シミュレーション画像となる。画像拡大部１０は例えば、入力される観測画像を線形補間して拡大する。線形補間の一例としてバイリニア法を用いることができる。なお再構成型超解像処理では目標画像の推定処理が繰り返されるため、初期推定画像の品質は本質的に重要ではないが、初期推定画像が最終的な目標画像に近いほど超解像処理の反復収束が速くなる。画像拡大部１０は、生成した高解像度画像を高解像度画像保持部２０に格納する。

なお画像拡大部１０はアップサンプリング部７０と兼用することができる。両者を兼用すれば、両者の画像拡大法を共通にする必要があるが回路規模を低減できる。

高解像度画像保持部２０は、画像拡大部１０から入力される推定高解像度画像または加算部３０から入力される推定高解像度画像を一時保持するフレームバッファである。高解像度画像保持部２０は、反復再構成の初回は画像拡大部１０から入力される推定高解像度画像を保持し、２回目以降は加算部３０から入力される推定高解像度画像を保持する。

加算部３０は、高解像度画像保持部２０から読み出した推定高解像度画像に、第２畳み込み積分部８０により生成される逆投影成分を加算して新たな推定高解像度画像を生成する。加算部３０は、この推定高解像度画像を高解像度画像保持部２０に上書きするとともに、第１畳み込み積分部４０に出力する。

第１畳み込み積分部４０は、加算部３０から入力される推定高解像度画像と、撮像系を模した劣化関数である点広がり関数を畳み込み積分する。その際、当該推定高解像度画像に、当該点広がり関数が低次元化された関数を複数回畳み込み積分する。また本実施の形態では点広がり関数を、Ｍ（Ｍは２以上の整数）×Ｎ（Nは２以上の整数）の二次元フィルタで規定し、当該二次元フィルタの係数を、中心を基準として点対称に等しくなるよう配置する。

図２は、係数が点対称な二次元フィルタを説明するための図である。図２では点広がり関数ｈ（ｉ，ｊ）を５×５のフィルタで規定する例を示している。このフィルタではｈ（２，２）が中心となる。このｈ（２，２）を中心に係数が点対称形状に配置される。即ち、各係数が以下の関係を満たすよう配置される。ｈ（０，０）＝ｈ（４，４）、ｈ（０，１）＝ｈ（４，３）、ｈ（０，２）＝ｈ（４，２）、ｈ（０，３）＝ｈ（４，１）、ｈ（０，４）＝ｈ（４，０）、ｈ（１，０）＝ｈ（３，４）、・・・、ｈ（ｉ，ｊ）＝ｈ（Ｍ−１−ｉ，Ｎ−１−ｊ）、・・・、ｈ（２，１）＝ｈ（２，３）、ｈ（２，２）＝ｈ（２，２）。

以下の説明では、第１畳み込み積分部４０において５×５のフィルタを低次元化した３×３のフィルタを使用する例を挙げる。第１畳み込み積分部４０は、加算部３０から入力される推定高解像度画像に、３×３のフィルタで規定される低次元化された点広がり関数を２回反復して畳み込み積分する。これにより当該推定高解像度画像に、５×５のフィルタで規定される点広がり関数を畳み込み積分する場合と同様のフィルタリング処理を適用できる。

図３（ａ）−（ｂ）は、二次元フィルタの一例を示す図である。図３（ａ）は５×５のフィルタを示し、図３（ｂ）は３×３のフィルタを示す。図３（ｂ）に示すフィルタの２回反復の畳み込み積分で得られる画像と、図３（ａ）に示すフィルタの１回の畳み込み積分で得られる画像は実質的に等価となる。このように畳み込み積分を反復すると、フィルタの構成を簡素化できる。

図１に戻り、ダウンサンプリング部５０は、第１畳み込み積分部４０により生成された画像をダウンサンプリングして、上述の観測画像と同じ解像度を持つ推定低解像度画像を生成する。誤差算出部６０は、ダウンサンプリング部５０により生成された推定低解像度画像と、上述の観測画像との誤差を算出する。誤差算出部６０は算出した誤差をアップサンプリング部７０および判定部９０に出力する。アップサンプリング部７０は、誤差算出部６０により算出された誤差を、高解像度画像保持部２０に保持される推定高解像度画像の解像度にアップサンプリングする。

第２畳み込み積分部８０は、アップサンプリング部７０によりアップサンプリングされた誤差画像と、点広がり関数の逆関数となるべき逆投影関数を畳み込み積分する。本実施の形態では逆投影関数に、点広がり関数の各係数を２乗した関数を使用する。上述したようにこの関数は、一般的によく使用される逆投影関数の近似関数である。

第２畳み込み積分部８０は第１畳み込み積分部４０と同様に、当該誤差画像に、低次元化された逆投影関数を複数回畳み込み積分する。また逆投影関数を、点広がり関数と同様にＭ×Ｎの二次元フィルタで規定する。

以下の説明では第１畳み込み積分部４０と同様に、第２畳み込み積分部８０において５×５のフィルタを低次元化した３×３のフィルタを使用する例を挙げる。第２畳み込み積分部８０は、アップサンプリング部７０から入力される誤差画像に、３×３のフィルタで規定される低次元化された逆投影関数を２回反復して畳み込み積分する。これにより当該誤差画像に、５×５のフィルタで規定される逆投影関数を畳み込み積分する場合と同様のフィルタリング処理を適用できる。

以下、第１畳み込み積分部４０および第２畳み込み積分部８０の構成例について説明する。第１畳み込み積分部４０と第２畳み込み積分部８０は同様の回路構成を採用できるため、以下の第１畳み込み積分部４０の回路構成についての説明は、処理すべきデータおよび入出力先を除き、第２畳み込み積分部８０の回路構成にもそのままあてはまる。

第１畳み込み積分部４０をハードウェアで構成する場合、Ｍ×Ｎ個の乗算器と、Ｍ×Ｎ個の乗算器のそれぞれの出力値を合算するための少なくとも一つの加算器を含む構成が一般的である。

図４は、第１畳み込み積分部４０の構成例を示す図である。図４は３×３のフィルタを採用する場合の典型的なハードウェア構成を描いている。第１畳み込み積分部４０は、９個の乗算器Ｍ１〜Ｍ９、４個の加算器Ａ１〜Ａ４、スイッチＳＷ１、ワークメモリＷＭ１を含む。

第１乗算器Ｍ１は、加算部３０から入力される推定高解像度画像の画素ｆ(x-1,y-1)と、低次元化された逆投影関数の係数ｈ(1,1)を乗算する。第２乗算器Ｍ２は、当該推定高解像度画像の画素ｆ(x,y-1)と、当該関数の係数ｈ(0,1)を乗算する。第３乗算器Ｍ３は、当該推定高解像度画像の画素ｆ(x+1,y-1)と当該関数の係数ｈ(-1,1)を乗算する。第１加算器Ａ１は、第１乗算器Ｍ１、第２乗算器Ｍ２および第３乗算器Ｍ３のそれぞれの出力値を加算する。

第４乗算器Ｍ４、第５乗算器Ｍ５、第６乗算器Ｍ６および第２加算器Ａ２、並びに第７乗算器Ｍ７、第８乗算器Ｍ８、第９乗算器Ｍ９および第３加算器Ａ３も、第１乗算器Ｍ１、第２乗算器Ｍ２、第３乗算器Ｍ３および第１加算器Ａ１と同様に演算する。

第４加算器Ａ４は、第１加算器Ａ１、第２加算器Ａ２および第３加算器Ａ３のそれぞれの出力値を加算する。スイッチＳＷ１は第４加算器Ａ４の出力値をワークメモリＷＭ１に出力するか、ダウンサンプリング部５０に出力するか切り替える。スイッチＳＷ１はまず、第４加算器Ａ４の出力端子とワークメモリＷＭ１の入力端子を接続させる。当該推定高解像度画像の各画素の１回目のフィルタ処理後の画素値はワークメモリＷＭ１に順次、記憶される。当該推定高解像度画像の全画素のフィルタ処理が終了すると、スイッチＳＷ１は、第４加算器Ａ４の出力端子の接続先を、ワークメモリＷＭ１の入力端子からダウンサンプリング部５０の入力端子に切り替える。

次に乗算器Ｍ１〜Ｍ９および加算器Ａ１〜Ａ４は、ワークメモリＷＭ１に記憶された１回目のフィルタ処理後の推定高解像度画像の各画素を、１回目のフィルタ処理と同様にフィルタ処理する。この２回目のフィルタ処理後の各画素値はダウンサンプリング部５０に順次、出力される。ワークメモリＷＭ１に記憶されている推定高解像度画像の全画素のフィルタ処理が終了すると、加算部３０から入力された推定高解像度画像と逆投影関数の畳み込み積分が終了する。その後、スイッチＳＷ１は第４加算器Ａ４の出力端子の接続先を、ダウンサンプリング部５０の入力端子から入力ワークメモリＷＭ１の入力端子に切り替える。

図４に示す３×３フィルタと同様のハードウェア構成で、５×５フィルタを作成する場合、少なくとも２５個の乗算器が必要になる。フィルタのタップ数を増やすとさらに多くの乗算器が必要になる。

図１に戻り、第２畳み込み積分部８０は生成した逆投影成分を加算部３０に出力する。加算部３０はその逆投影成分を、高解像度画像保持部２０にその時点で保持されている推定高解像度に加算し、当該高解像度画像を更新する。以下、第１畳み込み積分部４０、ダウンサンプリング部５０、誤差算出部６０、アップサンプリング部７０および第２畳み込み積分部８０による新たな逆投影成分の生成、並びに加算部３０による推定高解像度画像の更新が繰り返される。

判定部９０は、この反復再構成処理の終了判定をする。例えば誤差算出部６０により算出された誤差が、設定値より小さくなったとき終了と判定してもよい。また繰り返し回数が設定回数を超えたとき終了と判定してもよい。また両者をＯＲ条件として併用してもよい。判定部９０は、終了と判定すると高解像度画像保持部２０に終了信号を出力する。高解像度画像保持部２０は、判定部９０から反復再構成処理の終了信号を受けると、その時点で保持している推定高解像度画像を、超解像度処理の出力画像として外部に出力する。

本実施の形態に係る画像処理装置１００の適用例として以下、デジタルビデオカメラ、デジタルスチルカメラ、業務用のカメラレコーダなどの撮像装置に適用する例を説明する。

図５は、本発明の実施の形態に係る撮像装置５００の構成を示す図である。撮像装置５００は撮像部２００および処理部３００を備える。撮像部２００は、レンズ２１０、撮像素子２２０、信号処理部２３０を含む。レンズ２１０を介して撮像素子２２０に入射される光は、撮像素子２２０により電気信号に変換される。撮像素子２２０にはＣＣＤ（Charge Coupled Device Image Sensor) イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを採用できる。信号処理部２３０は、撮像素子２２０から入力される信号に対してＡ／Ｄ変換、ノイズ除去などの信号処理を施す。

処理部３００は、超解像度処理装置１００ａ、映像エンジン３１０、ＣＰＵ３２０、メモリ３３０を含む。超解像度処理装置１００ａには上述の画像処理装置１００を適用する。超解像度処理装置１００ａは、撮像部２００により撮像された画像信号を高解像度化する。超解像度処理装置１００ａで使用される点広がり関数は、レンズ２１０、撮像素子２２０および信号処理部２３０による画像劣化を模した関数が使用される。

映像エンジン３１０は、撮像部２００から入力される画像信号または超解像度処理装置１００ａにより高解像度化された画像信号に対して、各種の画像補正および符号化を施す。映像エンジン３１０により各種の画像処理が施された画像信号は、図示しないファインダに表示されるとともに、図示しない記録メディアに記録される。なお図５では超解像度処理装置１００ａを映像エンジン３１０と別に描いているが、超解像度処理装置１００ａは映像エンジン３１０に内蔵されていてもよい。

以上説明したように本実施の形態では、点広がり関数を中心を基準に点対象形状に設定し、逆投影関数の各要素を、対応する点広がり関数の各要素の２乗に設定する。この条件下で再構成型超解像処理を実行する。その際、シミュレーション画像と、要素数が相対的に少ない点広がり関数との畳み込み積分を反復する。また逆投影成分とすべき誤差画像と、要素数が相対的に少ない逆投影関数との畳み込み積分を反復する。これにより、処理規模の増大を抑制しながら、要素数が相対的に大きい点広がり関数で光学系を精緻にモデル化できる。従って処理規模の増大を抑制しながら、十分なボケ回復効果のある良好な解像度変換画像を得ることができる。

タップ数の小さなフィルタを反復処理すれば、タップ数の大きなフィルタの使用に相当するフィルタ効果を得ることができる。タップ数を小さくすれば、乗算器、加算器、レジスタなどの回路素子を減らすことができる。

ところで点広がり関数の係数と、逆投影関数の係数は独立に決定できない。点広がり関数と逆投影関数は、ある特定の関係を満たさないと反復処理が収束しなくなり、良好な解像度変換画像を得ることができなくなる。タップ数の小さいフィルタを反復処理する手法を反復再構成型の超解像処理に適用する場合、超解像処理が収束するように点広がり関数および逆投影関数のそれぞれの係数を設定する必要がある。

そこで本実施の形態では点広がり関数の係数を、中心を基準に点対称形状に設計する。仮に係数が点対称形状でないフィルタで反復処理すると、劣化成分の偏りが意図しない態様に分散する場合が発生し得る。なお、より高精度な解像度変換画像を得るため、点広がり関数の係数を、中心を基準に同心円に対称な形状としてもよい。即ち中心に隣接する周囲８個の係数を同一とし、さらにその外側の１６個の係数も同一とする。それより外側も同様である。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上述の実施の形態では第１畳み込み積分部４０と第２畳み込み積分部８０の両方でタップ数が小さいフィルタを反復処理する例を挙げた。この点、両者のいずれか一方は、低次元化されていないオリジナル関数の係数に対応するタップ数のフィルタを用い、１回の処理でフィルタ処理してもよい。

また上述の実施の形態では説明の簡単のため、５×５のフィルタを３×３のフィルタの２回反復処理で実現する例を挙げた。本発明はフィルタのタップ数が大きくなればなるほど効果が大きくなる。削減できる乗算器の数が大きくなり、回路規模削減の効果が大きくなる。

また上述の実施の形態では第１畳み込み積分部４０および第２畳み込み積分部８０をハードウェア処理することを前提に説明したが、必ずしもハードウェア処理に限定されるものではない。ソフトウェア処理で実現する場合でも、係数の値を一時保持するためのメモリ空間を節約できるため、回路規模の低減につながる。

また上述の説明では、本実施の形態に係る画像処理装置１００を撮像装置５００に適用する例を挙げたが、それに限るものではなく、ＴＶ、プロジェクターなどの表示装置、ＨＤＤレコーダなどの記録再生装置にも適用可能である。その場合、上述の点広がり関数を作成するためのカメラパラメータが取得される必要がある。

１００ 画像処理装置、 １０ 画像拡大部、 ３０ 加算部、 ４０ 第１畳み込み積分部、 ５０ ダウンサンプリング部、 ６０ 誤差算出部、 ７０ アップサンプリング部、 ８０ 第２畳み込み積分部、 ５００ 撮像装置、 ２００ 撮像部。

Claims (5)

1. 撮像された観測画像の推定される高解像度画像と、撮像系を模した点広がり関数を畳み込み積分する第１畳み込み積分部と、
   前記第１畳み込み積分部により生成される画像を、前記観測画像の解像度にダウンサンプリングするダウンサンプリング部と、
   前記観測画像と、前記ダウンサンプリング部によりダウンサンプリングされた画像との誤差を算出する誤差算出部と、
   前記誤差算出部により生成される誤差を、前記高解像度画像の解像度にアップサンプリングするアップサンプリング部と、
   前記アップサンプリング部によりアップサンプリングされた誤差と、前記点広がり関数に対応する逆投影関数を畳み込み積分する第２畳み込み積分部と、
   前記高解像度画像に、前記第２畳み込み積分部により生成される逆投影成分を加算して前記高解像度画像を更新する加算部と、を備え、
   前記逆投影関数は、前記点広がり関数の各係数を２乗した関数で近似され、
   前記第２畳み込み積分部は、前記誤差に、前記逆投影関数が低次元化された関数を複数回畳み込み積分し、
   前記点広がり関数は、係数が点対称に配置された二次元フィルタで規定されることを特徴とする画像処理装置。
2. 前記逆投影関数は、Ｍ（Ｍは２以上の整数）×Ｎ（Ｎは２以上の整数）の二次元フィルタで規定され、
   前記第２畳み込み積分部は、
   Ｍ×Ｎ個の乗算器と、
   前記Ｍ×Ｎ個の乗算器のそれぞれの出力値を合算するための少なくとも一つの加算器と、
   を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１畳み込み積分部は、前記高解像度画像に、前記点広がり関数が低次元化された関数を複数回畳み込み積分し、
   前記第１畳み込み積分部は、
   Ｍ×Ｎ個の乗算器と、
   前記Ｍ×Ｎ個の乗算器のそれぞれの出力値を合算するための少なくとも一つの加算器と、
   を含むことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記観測画像を線形補間して、初期の前記高解像度画像を生成する画像拡大部を、さらに備えることを特徴とする請求項１から３のいずれかに記載の画像処理装置。
5. 撮像部と、
   前記撮像部により撮像された画像を高解像度化する請求項１から４のいずれかに記載の画像処理装置と、
   を備えることを特徴とする撮像装置。