JP6462372B2 - 超解像装置及びプログラム - Google Patents

Description

本発明は、被超解像画像を超解像処理する超解像装置及びプログラムに関する。

従来、複数フレームの同一の動オブジェクト間で位置合わせを行うことにより、画素密度を高めてレジストレーション超解像を行う方法が知られている。この位置合わせは小数画素精度で行い、標本位置のずれた同一オブジェクトの画素情報から画素密度を高めることができる。

例えば、特許文献１には、ｎ枚の画像フレームを合成することにより、当該入力画像フレーム上の被写体が移動する方向に応じて画像フレームを構成する画素数を増加させる画像高解像度化方法が開示されている。また、特許文献２には、動画像データ内に記録されているフレーム画像間の動き情報を利用して、連続する２フレーム以上の画像から動きベクトルを算出し、累積加算及び方向変換による演算を行って、複雑な演算なく高精度な位置合わせを可能とする画像処理方法が開示されている。

特許第４７７５２１０号公報 特開２０１０−１１４４７４号公報

従来技術では、位置合わせ精度が高い場合は、高画質な超解像画像が得られる。しかし、オブジェクトが複雑な動きをする場合やオクルージョンが生じる場合には、位置合わせ精度が低くなりやすい。また２４ｆｐｓのデジタルシネマ映像などでは、低いフレームレートに起因する大きな動きぼやけ量により、位置合わせ精度が低くなりやすい。さらに、静止領域では原理上、位置合わせにより画素密度向上を向上させることができないという問題があった。

かかる事情に鑑みてなされた本発明の目的は、フレーム間の相関の低い領域や静止領域を含むフレーム画像であっても、高精細な超解像画像を生成することが可能な超解像装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る超解像装置は、被超解像画像を超解像処理して超解像画像を生成する超解像装置であって、被超解像画像を含む複数のフレーム画像を周波数分解し、複数の周波数分解画像を生成する周波数分解部と、前記被超解像画像と、前記複数の周波数分解画像の低周波成分との間でブロックマッチングを行い、対応する位置関係を示す位置合わせ情報を生成する位置合わせ部と、前記位置合わせ情報に従って、位置合わせされた前記周波数分解画像の低周波成分と同じ空間位相位置の高周波成分を、前記被超解像画像の標本化周波数を超える高周波成分に割り付けて、前記被超解像画像の高周波成分を推定した超解像高周波成分を生成する超解像高周波成分生成部と、前記被超解像画像を低周波成分とし、前記超解像高周波成分を高周波成分として周波数再構成を行い、超解像画像を生成する周波数再構成部と、を備えることを特徴とする。

さらに、本発明に係る超解像装置において、前記超解像高周波成分にフィルタ処理を行って超解像高周波整形成分を生成する超解像高周波成分整形部を更に備え、前記周波数再構成部は、前記被超解像画像を低周波成分とし、前記超解像高周波整形成分を高周波成分として周波数再構成を行い、前記超解像画像を生成することを特徴とする。

さらに、本発明に係る超解像装置において、前記周波数分解部は、前記複数のフレーム画像を特性の異なる複数のフィルタを用いて周波数分解することを特徴とする。

さらに、本発明に係る超解像装置において、前記周波数分解部は、被超解像画像を水平方向及び垂直方向に各ｍ倍に拡大処理してからｎ階周波数分解することを特徴とする。

さらに、本発明に係る超解像装置において、前記ｍは２を含み、前記ｎは１を含むことを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。

本発明によれば、同一フレーム内の相似オブジェクト間や、複数フレーム間の相似オブジェクト間でもレジストレーション超解像を行うことができ、フレーム間の相関の低い領域や静止領域を含むフレーム画像であっても高い超解像画質を得ることができるようになる。

本発明の一実施形態に係る超解像装置の構成例を示すブロック図である。 本発明の一実施形態に係る超解像装置の周波数分解部における拡大処理及びウェーブレット変換処理を示す図である。 本発明の一実施形態に係る超解像装置の位置合わせ部における位置合わせ処理を示す図である。 本発明の一実施形態に係る超解像装置の超解像高周波成分生成部における割り付け処理を示す図である。 本発明の一実施形態に係る超解像装置の周波数再構成部における周波数再構成処理を示す図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

本発明は、高精細映像では同一フレーム内で高い相似性を有することに着目する。この相似性は、例えば花畑の映像における大小様々な花、ビル群の映像における様々なビルなどである。本発明に係る超解像装置は、初めに被超解像画像を周波数分解して、被超解像画像と、複数フレーム画像の周波数分解画像の空間低周波帯域成分（低周波成分）との間で位置合わせを行う。そして、位置合わせされた空間位相位置では、被超解像画像と、周波数分解画像の低周波成分とが類似するため、被超解像画像の標本化周波数を超える未知の空間高周波帯域成分（高周波成分）は周波数分解画像の高周波成分と類似すると仮定し、周波数分解画像の高周波成分を被超解像画像の高周波成分に割り付ける。

図１は、本発明の一実施形態に係る超解像装置の構成例を示すブロック図である。図１に示す例では、超解像装置１は、周波数分解部１１と、位置合わせ部１２と、超解像高周波成分生成部１３と、超解像高周波成分整形部１４と、周波数再構成部１５とを備える。超解像装置１は、被超解像画像（原画像）を超解像処理して超解像画像を生成する。

周波数分解部１１は、被超解像画像を含む複数のフレーム画像と、周波数分解パラメータとを入力する。複数のフレーム画像は、被超解像画像と、被超解像画像に近接するフレーム画像とし、例えば図１に示すように、被超解像画像と、被超解像画像に隣接する前後のフレーム画像とする。周波数分解パラメータは、周波数分解処理に用いるフィルタを指示するパラメータを含む。そして、周波数分解部１１は、被超解像画像を含む複数のフレーム画像をそれぞれ周波数分解して複数の周波数分解画像を生成する。周波数分解処理は、例えばＣｏｈｅｎ−Ｄａｕｂｅｃｈｉｅｓ−Ｆｅａｕｖｅａｕ（ＣＤＦ）９／７ウェーブレットを用いたウェーブレット変換により行うことができる。周波数分解部１１は、生成した複数の周波数分解画像の低周波成分を位置合わせ部１２に出力し、周波数分解画像の高周波成分を超解像高周波成分生成部１３に出力する。

周波数分解部１１により生成される周波数分解画像の低周波成分は、位置合わせ部１２において被超解像画像の参照画像となる。そこで、被超解像画像の参照画像の候補を増やすために、周波数分解部１１は入力映像を拡大した後に、複数階の周波数分解を行ってもよい。拡大処理は、例えばＬａｎｃｚｏｓ３フィルタなどの線形拡大フィルタを用いて行うことができる。また、被超解像画像の参照画像の候補を増やすために、複数のフレーム画像を特性の異なる複数のフィルタを用いて周波数分解を行ってもよい。

図２は、周波数分解部１１における拡大処理及びウェーブレット変換処理を示す図である。図２に示す例では、周波数分解部１１は被超解像画像Ｏを水平方向に２倍且つ垂直方向に２倍に拡大した拡大画像Ｌを生成する。つぎに、拡大画像Ｌを３階ウェーブレット変換し、ウェーブレット分解画像（１階ウェーブレット分解画像Ｗ１、２階ウェーブレット分解画像Ｗ２、及び３階ウェーブレット分解画像Ｗ３）を生成する。この処理は、周波数分解部１１に入力される他のフレーム画像についても同様に行われる。

拡大サイズ及び周波数分解階数は図２に示す例に限られるものではない。例えば、周波数分解部１１は、被超解像画像Ｏを２×２倍に拡大処理した後に３階ウェーブレット変換する処理に加えて、被超解像画像Ｏを√２×√２倍に拡大処理した後に２階ウェーブレット変換する処理を行うようにしてもよい。つまり、被超解像画像を水平方向及び垂直方向に各ｍ倍に拡大処理してからｎ階周波数分解する際に、倍率ｍ及び周波数分解階数ｎは任意の値とすることができる。ここで、倍率ｍ＝２、周波数分解階数ｎ＝１のときに、周波数分解画像の低周波成分ＬＬ¹の画像サイズが被超解像画像Ｏと等しくなる。したがって、倍率ｍ＝２、周波数分解階数ｎ＝１を含むことにより、複数フレーム間で同一サイズのオブジェクトの位置合わせにも対応することが可能となる。

位置合わせ部１２は、被超解像画像Ｏと、周波数分解部１１により生成された各周波数分解階数の周波数分解画像の低周波成分ＬＬⁿと、位置合わせパラメータとを入力する。位置合わせパラメータは、ブロックマッチングを行う際のブロックサイズ及び探索範囲を指示するパラメータを含む。探索範囲は精度向上のためには被超解像画像全体とするのがよいが、処理速度向上のために探索範囲を対象ブロックの近傍の範囲に限定してもよい。

位置合わせ部１２は、位置合わせパラメータに基づいて被超解像画像Ｏを所定のサイズのブロック領域に分割し、各周波数分解階数の周波数分解画像の低周波成分との間で、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの評価関数を用いてブロックマッチングを行い、対応する位置関係を示す位置合わせ情報を超解像高周波成分生成部１３に出力する。ブロックマッチングは、例えば式（１）に示すパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。なお、位置合わせパラメータに閾値を含め、ＳＡＤ又はＳＳＤの評価関数値が該閾値を超えた場合は、その位置合わせ結果は精度が低いとして採用しないようにしてもよい。

ここで、探索位置における画素位置をｘとしたとき、ＳＳＤ(ｘ)は、画素位置におけるＳＳＤ値を表し、より具体的には、ＳＳＤ（０)は中心位置（ＳＳＤ値を最小とする位置）におけるＳＳＤ値、ＳＳＤ(−１)は中心位置から−ｘ方向又は−ｙ方向の隣接画素の位置におけるＳＳＤ値、ＳＳＤ（１)は中心位置から＋ｘ方向又は＋ｙ方向の隣接画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。

図３は、位置合わせ部１２における位置合わせ処理を示す図である。位置合わせ部１２は、被超解像画像Ｏと、周波数分解画像の低周波成分ＬＬⁿとの間で位置合わせを行い、周波数分解画像の低周波成分ＬＬⁿを参照して、被超解像画像ＯのあるブロックＰに対応（類似）するブロックＱを探索する。図３では、周波数分解画像の低周波成分として、図２で示した、２階ウェーブレット分解画像Ｗ２の低周波成分ＬＬ²を用いて位置合わせ処理を行う例を示している。

位置合わせ部１２が、図３に示すように被超解像画像Ｏとはサイズが異なる周波数分解画像の低周波成分ＬＬ²とも位置合わせを行う理由は、同一フレーム内に形状が相似で大きさが異なる画像が存在する場合に、相似する画像間で位置合わせをし、その高周波成分を割り付けることができるからである。

超解像高周波成分生成部１３は、周波数分解部１１により生成された周波数分解画像の高周波成分（ＬＨⁿ，ＨＬⁿ，ＨＨⁿ）と、位置合わせ部１２により生成された位置合わせ情報とを入力する。そして、位置合わせ情報に従って、位置合わせされた周波数分解画像の低周波成分と同じ空間位相位置の高周波成分を、被超解像画像の標本化周波数を超える未知の高周波成分に割り付けて、被超解像画像の高周波成分を推定した超解像高周波成分を生成し、超解像高周波成分整形部１４に出力する。

図４は、超解像高周波成分生成部１３における割り付け処理を示す図である。ここでは、被超解像画像Ｏと、２階ウェーブレット分解画像Ｗ２の高周波成分（ＬＨ²，ＨＬ²，ＨＨ²）との間で位置合わせを行う例を示している。超解像高周波成分生成部１３は、位置合わせ情報に従って、２階ウェーブレット分解画像Ｗ２の高周波成分（ＬＨ²，ＨＬ²，ＨＨ²）を、被超解像画像Ｏの標本化周波数を超える未知の高周波成分（超解像高周波成分）（ＬＨ^SR，ＨＬ^SR，ＨＨ^SR）の小数画素位置に割り付ける。ここで、割り付ける際には、同じ位相位置の位置合わせ情報に従うこととする。これは、被超解像画像ＯのあるブロックＰが２階ウェーブレット分解画像Ｗ２の低周波成分ＬＬ²のあるブロックＱに対応（類似）していれば、被超解像画像ＯのブロックＰと同位相位置の超解像高周波成分のブロック（Ｐ_LH，Ｐ_HL，Ｐ_HH）についても同様に、２階ウェーブレット分解画像Ｗ２の低周波成分ＬＬ²のブロックＱと同位相の高周波成分のブロック（Ｑ_LH，Ｑ_HL，Ｑ_HH）にそれぞれ対応する可能性が高いためである。

そして、超解像高周波成分生成部１３は、上記割り付け後、超解像高周波成分（ＬＨ^SR，ＨＬ^SR，ＨＨ^SR）に対して、割り付けられた画素の距離に応じた重み付け、ＭＬ（Maximum Likelihood）推定、又はＭＡＰ（Maximum A Posterior）推定などにより、再構成処理を行うのが好適である。ＭＡＰ推定は、低解像度画像を条件としたときの事後確率を最大にする高解像画像を推定して再構成する手法である。ＭＡＰ推定の詳細については、例えば、E. Levitan and G. Herman: "A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography", IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。

超解像高周波成分整形部１４は、超解像高周波成分生成部１３により生成された超解像高周波成分（ＬＨ^SR，ＨＬ^SR，ＨＨ^SR）にフィルタ処理を行って超解像高周波整形成分（ＬＨ^SR’，ＨＬ^SR’，ＨＨ^SR’）を生成し、周波数再構成部１５に出力する。フィルタは、例えば分散値σ、ゲインγのガウシアンフィルタを用いる。超解像高周波成分整形部１４は、超解像装置１において必須の構成ではないが、超解像高周波成分整形部１４を備えることにより、過強調成分などを整形することができる。

周波数再構成部１５は、被超解像画像と、超解像高周波成分整形部１４により生成された超解像高周波整形成分と、周波数再構成パラメータとを入力する。周波数再構成パラメータは、周波数分解処理に用いるフィルタを指示するパラメータを含む。周波数再構成パラメータは、例えば周波数分解部１１で用いたフィルタと同一のフィルタを指示する。周波数再構成部１５は、被超解像画像を低周波成分とし、超解像高周波整形成分を高周波成分として周波数再構成を行って超解像画像を生成し、外部に出力する。

図５は、周波数再構成部１５における周波数再構成処理を示す図である。周波数再構成部１５は、被超解像画像Ｏを低周波成分とし、超解像高周波成分整形部１４により生成された超解像高周波整形成分（ＬＨ^SR’，ＨＬ^SR’，ＨＨ^SR’）を高周波成分として周波数再構成（この例では、１階ウェーブレット再構成）を行い、超解像画像Ｏ^SRを生成する。

なお、超解像装置１が超解像高周波成分整形部１４を備えない場合には、周波数再構成部１５は、被超解像画像と、超解像高周波成分生成部１３により生成された超解像高周波成分と、周波数再構成パラメータとを入力する。そして、周波数再構成部１５は、被超解像画像を低周波成分とし、超解像高周波成分を高周波成分として周波数再構成を行って超解像画像を生成し、外部に出力する。

上述したように、本実施形態に係る超解像装置１は、周波数分解部１１により、被超解像画像Ｏを含む複数のフレーム画像を周波数分解して複数の周波数分解画像を生成し、位置合わせ部１２により、被超解像画像Ｏと、複数の周波数分解画像の低周波成分ＬＬⁿとの間でブロックマッチングを行い、対応する位置関係を示す位置合わせ情報を生成する。つぎに、超解像高周波成分生成部１３により、位置合わせ情報に従って、位置合わせされた周波数分解画像の低周波成分ＬＬⁿと同じ空間位相位置の高周波成分（ＬＨⁿ，ＨＬⁿ，ＨＨⁿ）を、被超解像画像Ｏの標本化周波数を超える高周波成分に割り付けて、被超解像画像の高周波成分を推定した超解像高周波成分（ＬＨ^SR，ＨＬ^SR，ＨＨ^SR）を生成する。そして、周波数再構成部１５により、被超解像画像Ｏを低周波成分とし、超解像高周波成分を高周波成分（ＬＨ^SR，ＨＬ^SR，ＨＨ^SR）として周波数再構成を行い、超解像画像Ｏ^SRを生成する。

このようにして、超解像装置１は、位置合わせを被超解像画像に近接する他のフレームの周波数分解画像との間でも行うことにより、同一フレーム内の相似オブジェクト間、及び複数フレーム間の相似オブジェクト間でレジストレーション超解像を行うことができ、静止領域や位置合わせ精度が低い領域でも高い超解像画質が得ることができるようになる。

また、超解像装置１は、超解像高周波成分にフィルタ処理を行って超解像高周波整形成分を生成する超解像高周波成分整形部１４を更に備えてもよい。これにより、超解像高周波成分生成部１３により生成された超解像高周波成分において、過強調成分などを整形することができる。

また、周波数分解部１１は、複数のフレーム画像を特性の異なる複数のフィルタを用いて周波数分解したり、被超解像画像を水平方向及び垂直方向に各ｍ倍に拡大処理してからｎ階周波数分解したりしてもよい。これにより、被超解像画像の参照画像の候補を増やすことができ、位置合わせの精度を高めることができる。

また、周波数分解部１１は、被超解像画像を水平方向及び垂直方向に各２倍に拡大処理してから１階周波数分解することにより、複数フレーム間の同一の動オブジェクト間でもレジストレーション超解像を行うことができる。

なお、上述した超解像装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ 超解像装置
１１ 周波数分解部
１２ 位置合わせ部
１３ 超解像高周波成分生成部
１４ 超解像高周波成分整形部
１５ 周波数再構成部

Claims (6)

1. 被超解像画像を超解像処理して超解像画像を生成する超解像装置であって、
   被超解像画像を含む複数のフレーム画像を周波数分解し、複数の周波数分解画像を生成する周波数分解部と、
   前記被超解像画像と、前記複数の周波数分解画像の低周波成分との間でブロックマッチングを行い、対応する位置関係を示す位置合わせ情報を生成する位置合わせ部と、
   前記位置合わせ情報に従って、位置合わせされた前記周波数分解画像の低周波成分と同じ空間位相位置の高周波成分を、前記被超解像画像の標本化周波数を超える高周波成分に割り付けて、前記被超解像画像の高周波成分を推定した超解像高周波成分を生成する超解像高周波成分生成部と、
   前記被超解像画像を低周波成分とし、前記超解像高周波成分を高周波成分として周波数再構成を行い、超解像画像を生成する周波数再構成部と、
   を備えることを特徴とする超解像装置。
2. 前記超解像高周波成分にフィルタ処理を行って超解像高周波整形成分を生成する超解像高周波成分整形部を更に備え、
   前記周波数再構成部は、前記被超解像画像を低周波成分とし、前記超解像高周波整形成分を高周波成分として周波数再構成を行い、前記超解像画像を生成することを特徴とする、請求項１に記載の超解像装置。
3. 前記周波数分解部は、前記複数のフレーム画像を特性の異なる複数のフィルタを用いて周波数分解することを特徴とする、請求項１又は２に記載の超解像装置。
4. 前記周波数分解部は、被超解像画像を水平方向及び垂直方向に各ｍ倍に拡大処理してからｎ階周波数分解することを特徴とする、請求項１から３のいずれか一項に記載の超解像装置。
5. 前記ｍは２を含み、前記ｎは１を含むことを特徴とする、請求項４に記載の超解像装置。
6. コンピュータを、請求項１から５のいずれか一項に記載の超解像装置として機能させるためのプログラム。

Images