JP5900245B2

JP5900245B2 - 画像処理装置

Info

Publication number: JP5900245B2
Application number: JP2012185202A
Authority: JP
Inventors: 佐藤　真樹; 真樹佐藤
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-08-24
Filing date: 2012-08-24
Publication date: 2016-04-06
Anticipated expiration: 2032-08-24
Also published as: JP2014044497A

Description

本発明は、同一シーンを撮影した複数の低解像度画像から高解像度画像を生成する超解像処理を用いて画像解像度を変換する画像処理装置に関する。

撮影された画像を解像度変換して拡大する場合において、バイリニア法などの線形補間では、画像を撮影した光学系や撮像センサの特性により失われた成分を復元することは難しい。結果的にボケた拡大画像になることが多い。光学系や撮像センサの特性による劣化成分を復元する手法として再構成型超解像処理がある。

再構成型超解像処理では、まず観測された低解像度画像から初期の高解像度画像を推定する。その推定された高解像度画像と劣化モデルに基づきシミュレーション画像を生成する。具体的には光学系の伝達関数に相当する点広がり関数と、観測された低解像度画像とで畳み込み積分を行うことにより当該シミュレーション画像を生成する。生成されたシミュレーション画像と実際の観測画像の誤差を最小にするように上述の高解像度画像を更新する。この更新処理を収束するまで繰り返すことにより、最終的な高解像度画像を求める。上述の再構成型超解像処理の古典的な手法として逆投影法が良く知られている（例えば、特許文献１参照）。

更に高精度な超解像度処理として複数枚超解像処理がある。複数枚超解像処理では同一シーンを、位置をずらしながら撮影した低解像度画像列を用いる。このように複数枚の観測画像を用いることで、より多くの誤差情報を得ることができ、より高精度な高解像度画像を生成できる。それら複数枚の観測画像を得る手法として、それぞれの位置が微妙にずれた複数の撮影系を用いて同時に撮影する手法と、一つの撮像系を用いて位置をずらしながら時系列に撮影する手法がある。後者の手法のほうが撮影系の規模を削減できる。

特開平８−３３６５２２号公報

後者の手法では観測画像列中に含まれる移動物体の存在を考慮する必要がある。移動物体を含む画像列に対して超解像処理する場合において、各画像の再構成への寄与率を一定にすると、再構成された高解像度画像上で物体が多重化してしまう。それを抑制するには、画像列中の移動物体を抽出し、その物体の移動状況に応じて逆投影への寄与率を画素単位で求め、その寄与率をシミュレーション画像と観測画像の誤差に乗算した結果を逆投影することが有効である。

このように時系列に撮影された複数枚の観測画像を用いる複数枚超解像処理では、シミュレーション画像と観測画像の誤差に、寄与率と逆投影関数の二つを乗算する必要がある。従って処理規模が増大しがちである。

本発明はこうした状況に鑑みてなされたものであり、その目的は、時系列に撮影された複数枚の観測画像を用いる複数枚超解像処理において処理規模の増大を抑制する技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理装置は、それぞれ微小にずれた位置から時系列に撮像された同一シーンの複数の低解像度観測画像をもとに、そのシーンの高解像度画像を生成する画像処理装置であって、前記高解像度画像とすべき高解像度推定画像を保持する高解像度推定画像保持部と、前記高解像度推定画像と、撮像系を模した点広がり関数を畳み込み積分する第１畳み込み積分部と、前記第１畳み込み積分部により生成される画像を、前記低解像度観測画像の解像度にダウンサンプリングするダウンサンプリング部と、前記ダウンサンプリング部によりダウンサンプリングされた画像と、前記複数の低解像度観測画像との誤差を算出する誤差算出部と、前記複数の低解像度観測画像の、一つの低解像度観測画像と残りの低解像度観測画像を比較して、前記誤差を逆投影するときの寄与率を画素単位で生成する寄与率生成部と、前記誤差算出部により生成された誤差を、前記高解像度推定画像の解像度にアップサンプリングする第１アップサンプリング部と、前記寄与率生成部により生成された寄与率を、前記高解像度推定画像の解像度にアップサンプリングする第２アップサンプリング部と、前記第２アップサンプリング部によりアップサンプリングされた寄与率と、前記点広がり関数に対応する逆投影関数を乗算する乗算部と、前記第１アップサンプリング部によりアップサンプリングされた誤差と、前記乗算部により前記寄与率による調整がなされた逆投影関数を畳み込み積分する第２畳み込み積分部と、前記第２畳み込み積分部により生成される逆投影成分を、前記高解像度推定画像に加算して前記高解像度推定画像を更新する加算部と、を備える。

本発明によれば、時系列に撮影された複数枚の観測画像を用いる複数枚超解像処理において処理規模の増大を抑制できる。

移動物体を考慮しない場合の複数枚超解像度処理を説明するための図である。比較例に係る画像処理装置の構成を示す図である。本発明の実施の形態に係る画像処理装置の構成を示す図である。

まず本発明の実施の形態に係る画像処理装置を詳細に説明する前に、本実施の形態に係る原理を説明する。本実施の形態では複数枚超解像処理を用いる。複数枚超解像処理のアルゴリズムは既存の一般的なものを使用するため、その詳細な説明は省略する。以下、本実施の形態に特有のアルゴリズムを簡単に説明する。

まず撮影により得たＫ枚の観測画像列｛ｇ_ｋ｝（０≦ｋ＜Ｋ）は、下記（式１）のようにモデル化できる。
ここで、ｆは正解の高解像度画像であり、観測画像列｛ｇ_ｋ｝から正解の高解像度画像ｆを復元することが超解像処理の目的となる。Ｔ_ｋは正解の高解像度画像ｆから観測画像列｛ｇ_ｋ｝への幾何変換を示し、撮影位置のずれを示す。ｈは光学系の劣化に起因する演算子で、一般的には点広がり関数を意味する。σ_ｋはセンサ（例えば、ＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）による標本化を示すダウンサンプリング演算子である。ｎ_ｋは加法性ノイズ項である。

上記（式１）に示したモデルを用いて、第ｎ回目の反復再構成結果である高解像度画像ｆ^（ｎ）から生成したシミュレーション画像列｛ｇ^（ｎ） _ｋ｝（０≦ｋ＜Ｋ）は下記（式２）で表される。
ここで、↓ｓは１／ｓにダウンサンプリングすることを示す演算子である。＊ｈは点広がり関数ｈとの畳み込み積分を示す。上記（式２）は、高解像度画像ｆ^（ｎ）を撮影位置に応じて幾何変換して位置ずれを再現し、点広がり関数ｈで光学系のボケを加味し、センサの解像度にまでダウンサンプリングした結果を示す。上記（式２）により撮影系をシミュレーションした結果が得られる。

従って、上記（式２）で用いた演算子が完全に撮影系を表現し、かつ第ｎ回目の反復再構成結果である高解像度画像ｆ^（ｎ）が正解の高解像度画像ｆならば、下記（式３）の関係が成り立つ。

次に、複数枚超解像処理における第（ｎ＋１）回目の反復再構成結果である高解像度画像ｆ^（ｎ+1）は下記（式４）の漸化式で表される。
ここで、↑ｓはｓ倍にアップサンプリングすることを示す演算子である。ｐは逆投影カーネルである。一般的に逆投影カーネルは点広がり関数から計算できる。上記（式４）から分かるように、第（ｎ＋１）回目の反復再構成結果である高解像度画像ｆ^（ｎ+1）を求めるには、第ｎ回の反復再構成結果である高解像度画像ｆ^（ｎ）から求められるシミュレーション画像列｛ｇ^（ｎ） _ｋ｝（０≦ｋ＜Ｋ）と観測画像列｛ｇ_ｋ｝との誤差分（ｇ_ｋ−ｇ^（ｎ） _ｋ）をアップサンプリングして、逆投影カーネルｐと畳み込みする処理が必要になる。

ただし誤差分（ｇ_ｋ−ｇ^（ｎ） _ｋ）には、撮影系の位置ずれに起因する誤差分以外に、移動物体の位置ずれにより生じる誤差分が含まれる。この誤差分（ｇ_ｋ−ｇ^（ｎ） _ｋ）を単純に逆投影すると移動物体の多重化を招く。そこで物体の移動状況に応じて逆投影への寄与率Ｍ_ｋを画素単位で求め、誤差分（ｇ_ｋ−ｇ^（ｎ） _ｋ）に寄与率Ｍ_ｋを乗算する。

観測画像ｇ中の画素位置をｇ（ｘ，ｙ）とすると、寄与率Ｍ_ｋが乗算された画素位置ｇ（ｘ，ｙ）の誤差分は下記（式５）で表される。

本発明は寄与率自体の生成手法に依存しないため、その生成手法を詳細には論じない。以下、簡易な生成手法の一例を簡単に説明する。まず複数枚の観測画像を、その位置ずれに応じて幾何変換（上記（式１）のＴ_ｋの逆行列に相当する）して位置合わせする。次に位置合わせ後の観測画像間において画素単位で差分値を算出し、差分値が大きい領域を移動領域と判断する。最後に観測画像の枚数Ｋの逆数１／Ｋを、差分値に反比例関係になるように増減させたものを寄与率とする。

上記（式５）では誤差値を寄与率の乗算対象にしている。前述したように誤差値はシミュレーション画像生成処理を経て求められるため、誤差値のビット数は、入力画像である観測画像列｛ｇ_ｋ｝の単位画素のビット数より大きく増加する。

例えば、観測画像列｛ｇ_ｋ｝の各画素のビット数をＡｂｉｔ、点広がり関数ｈの係数のビット数をＢｂｉｔとすると、畳み込み積分相当の乗算により、誤差値のビット数は（Ａ＋Ｂ）ｂｉｔに拡張される。更に畳み込み積分相当の加算、誤差計算の減算等で拡張されるビット数をＣとすれば、最終的なビット数は（Ａ＋Ｂ＋Ｃ）ｂｉｔとなる。寄与率のビット数をＤとすれば、上記（式５）を実現する乗算器は、（Ａ＋Ｂ＋Ｃ）ｂｉｔとＤｂｉｔとの乗算構成となる。

本実施の形態では寄与率の乗算対象を、ビット数が増大した誤差値ではなく、それよりビット数の少ない逆投影カーネルｐとする。これにより、寄与率を乗算するための乗算器の規模を削減する。一般的に、逆投影カーネルの係数のビット数は、点広がり関数の係数と同じビット数に設定される。前述の例では逆投影カーネスの係数はＢｂｉｔとなる。従って逆投影カーネルｐと寄与率を乗算する乗算器は、ＢｂｉｔとＤｂｉｔの乗算構成となる。前述した誤差値と寄与率を乗算する乗算器と比較して、（Ａ＋Ｃ）ｂｉｔ分を削減できる。

以下、逆投影カーネルと寄与率の乗算手法を説明する。上記（式４）及び（式５）から、寄与率乗算も含めた逆投影カーネルｐとの畳み込み積分は下記（式６）で表される。
逆投影カーネルｐはアップサンプリング後の画像サイズに対して設定されているため、寄与率Ｍ_ｋを↑ｓによりＳ倍にアップサンプリングする。アップサンプリングされた寄与率を上記（式６）ではＭ↑ｋとしている。

デジタル画像における逆投影カーネルｐとの畳み込み積分は下記（式７）で表される。

上記（式７）から分かるように、逆投影カーネルｐ（ｉ，ｊ）は、画素ｇ（ｘ＋ｑ−ｉ，ｙ＋ｑ−ｊ）に乗算される。従って、画素ｇ（ｘ＋ｑ−ｉ，ｙ＋ｑ−ｊ）に設定されている寄与率Ｍ↑ｋ（ｘ＋ｑ−ｉ，ｙ＋ｑ−ｊ）が、予め逆投影カーネルｐ（ｉ，ｊ）に乗算された寄与率調整済みの逆投影カーネルｐＭ（ｉ，ｊ）は下記（式８）で表される。

本実施の形態に係る逆投影処理では、上記（式４）の逆投影カーネルｐを、上記（式８）の寄与率調整済みの逆投影カーネルｐＭに置き換える。前述のように上記（式８）を実現する乗算器は、上記（式５）を実現する乗算器と比較し、参照画像と、積算、減算分の（Ａ＋Ｃ）ｂｉｔを削減した規模で実現できる。

本実施の形態では、同一シーンを、単一の撮像系によりそれぞれ微小にずれた位置から時系列に撮像された複数枚の観測画像を用いて複数枚超解像処理を実行する。これにより、それら複数枚の観測画像の一枚を高解像度化する。前述したように複数枚の観測画像を時系列に撮像する場合、移動物体を考慮する必要がある。

図１は、移動物体を考慮しない場合の複数枚超解像度処理を説明するための図である。図１に示す観測画像ｇには第１オブジェクトＯ１と、第２オブジェクトＯ２が含まれる。観測画像ｇを高解像度化したシミュレーション画像ｇ^（ｎ）にも同様に、第１オブジェクトＯ１と、第２オブジェクトＯ２が含まれる。観測画像ｇとシミュレーション画像ｇ^（ｎ）を比較すると第１オブジェクトＯ１の位置ずれは小さいが、第２オブジェクトＯ２の位置ずれは大きい。これは第１オブジェクトＯ１が静止物体であり、第２オブジェクトＯ２が移動物体であることに起因する。即ち第１オブジェクトＯ１の位置ずれは撮影の位置ずれのみに起因しているが、第２オブジェクトＯ２の位置ずれは主にオブジェクト自体の移動に起因している。

観測画像ｇとシミュレーション画像ｇ^（ｎ）との誤差分（ｇ−ｇ^（ｎ））において、第１オブジェクトＯ１の誤差Ｏ１ｅは、シミュレーション画像ｇ^（ｎ）に逆投影すべき対象となる。反対に第２オブジェクトＯ２の誤差Ｏ２ｅは、シミュレーション画像ｇ^（ｎ）に逆投影すべきでない対象となる。

前述の誤差分（ｇ−ｇ^（ｎ））をそのまま逆投影して生成される復元画像において、第１オブジェクトＯ１は、誤差Ｏ１ｅが逆投影されることにより高精細化される。第２オブジェクトＯ２は、誤差Ｏ２ｅが逆投影されることにより多重化する。つまり一つのオブジェクトが復元画像では複数のオブジェクトとして復元されてしまう。これを回避するためには、第２オブジェクトＯ２の誤差Ｏ２ｅが逆投影されないようその領域の寄与率を下げる必要がある。

以下、この寄与率調整を組み込んだ複数枚超解像度処理を行う画像処理装置について説明する。まず本発明の実施の形態に係る画像処理装置と比較されるべき、比較例に係る画像処理装置を先に説明し、本実施の形態に係る画像処理装置を後に説明する。

図２は、比較例に係る画像処理装置１００の構成を示す図である。画像処理装置１００には、それぞれ微小にずれた位置から時系列に撮像された同一シーンの複数枚の低解像度観測画像が入力される。画像処理装置１００はそれら複数枚の低解像度観測画像をもとに、そのシーンの一枚の高解像度画像を生成する。

画像処理装置１００の図示しない基準画像設定部は、それら複数枚の低解像度観測画像を全て、参照画像に設定し、その内の一枚を基準画像に設定する。基準画像が高解像度変換される対象となる。以下、複数枚の低解像度観測画像として第１低解像度観測画像と第２低解像度観測画像が画像処理装置１００に入力される例を説明する。第１低解像度観測画像を基準画像とし、第２低解像度観測画像を参照画像とする。

画像処理装置１００は、画像拡大部１０、高解像度推定画像保持部１２、第１畳み込み積分部１４、ダウンサンプリング部１６、誤差算出部１８、乗算部２０、寄与率生成部２２、第１アップサンプリング部２４、第２畳み込み積分部２６、加算部２８、判定部３０を備える。

第１低解像度観測画像は、画像拡大部１０および寄与率生成部２２にそれぞれ入力される。第２低解像度観測画像は、誤差算出部１８および寄与率生成部２２にそれぞれ入力される。高解像度推定画像保持部１２は、出力高解像度画像とすべき高解像度推定画像を一時保持するためのバッファである。

画像拡大部１０は、高解像度化されるべき解像度変換対象画像である第１低解像度観測画像を、正解の高解像度画像の解像度に基づき設定された拡大率で拡大して、初期の高解像度推定画像を生成する。画像拡大部１０は例えば、入力される第１観測画像を線形補間して拡大する。線形補間の一例としてバイリニア法を用いることができる。なお再構成型超解像処理では正解の高解像度画像の推定処理が繰り返されるため、初期の高解像度推定画像の品質は本質的に重要ではないが、初期の高解像度推定画像が最終的な正解の高解像度画像に近いほど超解像処理の反復収束が速くなる。画像拡大部１０は、生成した高解像度推定画像を高解像度推定画像保持部１２に格納する。

なお画像拡大部１０は第１アップサンプリング部２４と兼用することができる。両者を兼用すれば、両者の画像拡大法を共通にする必要があるが回路規模を低減できる。

高解像度推定画像保持部１２は、反復再構成の初回は画像拡大部１０から入力される高解像度推定画像を保持し、２回目以降は加算部２８から入力される高解像度推定画像を保持する。

第１畳み込み積分部１４は、高解像度推定画像保持部１２から入力される高解像度推定画像と、撮像系を模した劣化関数である点広がり関数を畳み込み積分して高解像度シミュレーション画像を生成する。ダウンサンプリング部１６は、第１畳み込み積分部１４により生成された高解像度シミュレーション画像を、低解像度観測画像の解像度にダウンサンプリングして、低解像度シミュレーション画像を生成する。第１畳み込み積分部１４およびダウンサンプリング部１６の具体的な演算処理は上記（式２）に示した通りである。

点広がり関数は、二次元フィルタ（例えば、３×３フィルタ、５×５フィルタ等）で規定される。本明細書では高解像度推定画像の各画素のビット数をＡｂｉｔ、点広がり関数の各係数のビット数をＢｂｉｔと表記している。

誤差算出部１８は、ダウンサンプリング部１６により生成された低解像度シミュレーション画像と、参照画像に設定された低解像度観測画像との誤差（即ち、差分画像）を算出する。本実施の形態では低解像度シミュレーション画像と第２低解像度観測画像との差分画像を算出する。シミュレーション画像５と観測画像１ｂとの差分画像の各画素のビット数は、（Ａ＋Ｂ＋Ｃ）ｂｉｔとなる。Ｃは第１畳み込み積分部１４、ダウンサンプリング部１６および誤差算出部１８による演算処理の結果、拡張されるビット数を示す。

寄与率生成部２２は、複数の低解像度観測画像のうちの基準画像に設定された低解像度観測画像と、参照画像に設定された低解像度観測画像を比較して、誤差を高解像度推定画像に逆投影するときの寄与率を画素単位で生成する。前述の例では寄与率生成部２２に、第１低解像度観測画像と第２低解像度観測画像が入力される。寄与率生成部２２は、既存の周知な手法で移動物体を含む移動領域を検出し、その移動状況に応じて画素単位で寄与率を算出する。寄与率生成部２２は、画素単位で生成した寄与率を寄与率マップとして乗算部２０に出力する。本明細書では寄与率マップの各画素のビット数をＤｂｉｔと表記する。

乗算部２０は、誤差算出部１８により生成された差分画像と、寄与率生成部２２により生成された寄与率マップを乗算して、寄与率調整済み差分画像を生成する。これにより、逆投影されるべき差分画像の各画素値が調整される。移動物体が存在する領域の画素値はゼロまたは非常に小さな値に変換される。

第１アップサンプリング部２４は、乗算部２０により生成された寄与率調整済み差分画像を、高解像度推定画像の解像度にアップサンプリングして、寄与率調整済み高解像度差分画像を生成する。

第２畳み込み積分部２６は、第１アップサンプリング部２４により生成された寄与率調整済み高解像度差分画像と、第１畳み込み積分部１４で畳み込み積分される点広がり関数の逆関数となるべき逆投影カーネルを畳み込み積分して、逆投影成分画像を生成する。当該逆投影カーネルには、点広がり関数の各係数を２乗して得られる逆投影関数の近似関数を用いることができる。逆投影カーネルも、二次元フィルタ（例えば、３×３フィルタ、５×５フィルタ等）で規定される。

加算部２８は、高解像度推定画像保持部１２から読み出される高解像度推定画像に、第２畳み込み積分部２６により生成される逆投影生成画像を加算して、新たな高解像度推定画像を生成する。加算部２８は、生成した高解像度推定画像を高解像度推定画像保持部１２に上書きする。これにより、高解像度推定画像保持部１２に保持される高解像度推定画像が更新される。以下、逆投影成分画像の生成および高解像度推定画像の更新が繰り返される。

判定部３０は、この反復再構成処理の終了判定をする。例えば誤差算出部１８により算出された誤差が、設定値より小さくなったとき終了と判定してもよい。また繰り返し回数が設定回数を超えたとき終了と判定してもよい。また両者をＯＲ条件として併用してもよい。判定部３０は、終了と判定すると高解像度推定画像保持部１２に終了信号を出力する。高解像度推定画像保持部１２は、判定部３０から反復再構成処理の終了信号を受けると、その時点で保持している高解像度推定画像を、超解像度処理の出力高解像度画像として外部に出力する。

比較例に係る乗算部２０は、誤差算出部１８から入力される（Ａ＋Ｂ＋Ｃ）ｂｉｔのデータと、寄与率生成部２２から入力されるＤｂｉｔのデータとの乗算構成となる。

図３は、本発明の実施の形態に係る画像処理装置１００の構成を示す図である。以下、実施の形態に係る画像処理装置１００と、図２に示した比較例に係る画像処理装置１００との相違点を説明する。実施の形態に係る画像処理装置１００と、比較例に係る画像処理装置１００を比較すると乗算部２０の配置位置が異なる。また実施の形態に係る画像処理装置１００では第２アップサンプリング部２５が追加される。以下、具体的に説明する。

第２アップサンプリング部２５は、寄与率生成部２２により生成された寄与率マップを、高解像度推定画像の解像度にアップサンプリングして、高解像度寄与率マップを生成する。

乗算部２０は、第２アップサンプリング部２５により生成された高解像度寄与率マップと、第１畳み込み積分部１４で畳み込み積分される点広がり関数の逆関数になるべき逆投影カーネルを乗算して、寄与率調整済み逆投影カーネルを生成する。逆投影カーネルの係数は上記（式８）に示すように、アップサンプリング後の寄与率により重み付けされる。

実施の形態に係る第１アップサンプリング部２４は、乗算部２０により生成された寄与率調整済み差分画像ではなく、誤差算出部１８により生成された寄与率非調整の差分画像を、高解像度推定画像の解像度にアップサンプリングして、高解像度差分画像を生成する。

実施の形態に係る第２畳み込み積分部２６は、第１アップサンプリング部２４により生成された寄与率非調整の高解像度差分画像と、乗算部２０に生成された寄与率調整済み逆投影カーネルを畳み込み積分して、逆投影成分画像を生成する。

本実施の形態に係る乗算部２０は、誤差算出部１８の後段ではなく第２アップサンプリング部２５の後段に配置される。逆投影カーネルは点広がり関数に対応するため、逆投影カーネルの各係数のビット数もＢｂｉｔとなる。従って本実施の形態に係る乗算部２０は、第２アップサンプリング部２５を介して寄与率生成部２２から入力されるＤｂｉｔのデータと、逆投影カーネルを構成するＢｂｉｔのデータとの乗算構成となる。比較例に係る乗算部２０と比較して（Ａ＋Ｃ）ｂｉｔの削減となる。

本実施の形態において第１アップサンプリング部２４と第２アップサンプリング部２５は、一つのアップサンプリング部を時分割共有することができる。この場合、第２アップサンプリング部２５の追加による回路規模の増大はほとんど発生しない。また第１アップサンプリング部２４および第２アップサンプリング部２５に画像拡大部１０を加えて、三つの要素を、一つのアップサンプリング部の時分割共有により構成してもよい。

以上説明したように本実施の形態では、時系列に撮影された複数枚の観測画像を用いる逆投影型の複数枚超解像処理において処理規模の増大を抑制できる。撮影された観測画像に移動物体が含まれる場合、逆投影型の複数枚超解像処理をそのまま適用すると、再構成された高解像度画像上でその物体が多重化してしまう。それを抑制するため、推定画像に逆投影する逆投影成分画像の寄与率を、物体の移動状況に応じて調整する手法が用いられる。

一般的なハードウェア処理では、逆投影成分画像のもとになる、シミュレーション画像と観測画像の差分画像は、推定画像と点広がり関数との積和算等を経て導出される。従って当該差分画像の各画素のビット数は、推定画像の各画素のビット数から大きく増加する。当該差分画像に寄与率を乗算する場合、その乗算器のビット幅が大きくなり、処理規模、回路面積、消費電力が増大する。

これに対して本実施の形態ではビット数が大きい差分画像ではなく、比較的ビット数が小さい逆投影カーネルに、寄与率を乗算する。したがって乗算器のビット幅を削減できる。よって、処理規模、回路面積、消費電力を低減できる。本実施の形態は高画質な画像の複数枚超解像度処理に適している。対象画像のビット深度を示すＡｂｉｔが、８ビットにとどまらず、１０ビット、１２ビット、２４ビットと大きくなるほど、その乗算器規模の削減効果が大きくなる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１００画像処理装置、１０画像拡大部、１２高解像度推定画像保持部、１４第１畳み込み積分部、１６ダウンサンプリング部、１８誤差算出部、２０乗算部、２２寄与率生成部、２４第１アップサンプリング部、２５第２アップサンプリング部、２６第２畳み込み積分部、２８加算部、３０判定部。

Claims

それぞれ微小にずれた位置から時系列に撮像された同一シーンの複数の低解像度観測画像をもとに、そのシーンの高解像度画像を生成する画像処理装置であって、
前記高解像度画像とすべき高解像度推定画像を保持する高解像度推定画像保持部と、
前記高解像度推定画像と、撮像系を模した点広がり関数を畳み込み積分する第１畳み込み積分部と、
前記第１畳み込み積分部により生成される画像を、前記低解像度観測画像の解像度にダウンサンプリングするダウンサンプリング部と、
前記ダウンサンプリング部によりダウンサンプリングされた画像と、前記複数の低解像度観測画像との誤差を算出する誤差算出部と、
前記複数の低解像度観測画像の、一つの低解像度観測画像と残りの低解像度観測画像を比較して、前記誤差を逆投影するときの寄与率を画素単位で生成する寄与率生成部と、
前記誤差算出部により生成された誤差を、前記高解像度推定画像の解像度にアップサンプリングする第１アップサンプリング部と、
前記寄与率生成部により生成された寄与率を、前記高解像度推定画像の解像度にアップサンプリングする第２アップサンプリング部と、
前記第２アップサンプリング部によりアップサンプリングされた寄与率と、前記点広がり関数に対応する逆投影関数を乗算する乗算部と、
前記第１アップサンプリング部によりアップサンプリングされた誤差と、前記乗算部により前記寄与率による調整がなされた逆投影関数を畳み込み積分する第２畳み込み積分部と、
前記第２畳み込み積分部により生成される逆投影成分を、前記高解像度推定画像に加算して前記高解像度推定画像を更新する加算部と、
を備えることを特徴とする画像処理装置。
前記第１アップサンプリング部と前記第２アップサンプリング部は、一つのアップサンプリング部を時分割共有して構成されることを特徴とする請求項１に記載の画像処理装置。
前記複数の低解像度観測画像のうちの前記一つの低解像度観測画像を線形補間して、初期の前記高解像度推定画像を生成する画像拡大部を、さらに備えることを特徴とする請求項１または２に記載の画像処理装置。