JP6378531B2

JP6378531B2 - 超解像装置及びプログラム

Info

Publication number: JP6378531B2
Application number: JP2014095831A
Authority: JP
Inventors: 康孝松尾; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2014-05-07
Filing date: 2014-05-07
Publication date: 2018-08-22
Anticipated expiration: 2034-05-07
Also published as: JP2015212905A

Description

本発明は、単一フレームの原画像を超解像処理する超解像装置及びプログラムに関する。

単一フレームの原画像を用いて超解像処理する従来技術として、例えば、入力された低解像画像をウェーブレット分解し、高域成分から更なる高域情報をフィルタ処理によって生成して、入力低解像画像と生成された更なる高域情報とをウェーブレット再構成することによって高解像画像を得る技術が知られている（例えば、特許文献１参照）。また、Total variation interpolationなどの非線形フィルタを用いる方法も知られている（例えば、非特許文献１参照）。

また、複数フレームの原画像を用いて超解像処理する従来技術として、複数フレーム間の位置合わせを行い、解像度を高める方法が知られている（例えば、特許文献２参照）。

また、単板式カラーカメラで撮像されたベイヤー配列を有する画像を正方画素構造の画像に戻すディベイヤー処理は、線形フィルタ処理による補間処理などが主にデジタルカメラの技術分野で研究されている。

特開２０１１−４３４５号公報特開２００７−２５７２８７号公報

S.D.Babacan,R.Molina,and A.K.Katsaggelos, "Total variation super resolution using a variational approach, "Proceedings of IEEE International Conference on Image Processing(ICIP 2008), PP.641-644, 2008.

線形フィルタを用いて超解像処理する従来の方法では、疑似的な超解像高周波成分を生成することは可能であるが、真の高周波成分を生成することは困難であった。また、複数フレーム間の位置合わせを行って超解像処理する方法では、オクルージョンやシーンチェンジのある動画、２４ｆｐｓのデジタルシネマのようにフレームレートの低い動画像、動きの速いオブジェクトを含む画像などのフレーム間相関の低い画像においては、レジストレーションの精度及び確度が大幅に低下してしまうという問題があった。

かかる事情に鑑みてなされた本発明の目的は、単一フレーム内の類似箇所を探索して、その空間高周波成分から原画像の標本化周波数を超える超解像高周波成分を生成することにより、フレーム間の相関に関わらず、高精細な超解像画像を生成することが可能な超解像装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る超解像装置は、単一フレームの原画像を超解像処理して超解像画像を生成する超解像装置であって、原画像を色成分に分解し、色成分ごとに内挿補間処理を行って色成分画像を生成する色成分画像生成部と、前記色成分画像をそれぞれ第１のパラメータを用いて周波数分解して第１の周波数分解画像を生成するとともに、前記色成分画像をそれぞれ第２のパラメータを用いて周波数分解して第２の周波数分解画像を生成する周波数分解部と、前記第２の周波数分解画像の低周波成分と、前記色成分画像との間で色成分ごとにブロックマッチングを行い、対応する位置関係を示すレジストレーション情報を色成分ごとに生成するレジストレーション部と、前記レジストレーション情報に従って、前記第２の周波数分解画像の高周波成分を前記第１の周波数分解画像の高周波成分に割り付けて、前記色成分画像の超解像高周波成分を生成する超解像高周波成分生成部と、前記色成分画像を低周波成分とし、前記超解像高周波成分を高周波成分として色成分ごとに周波数再構成を行い、超解像画像を生成する周波数再構成部と、前記レジストレーション情報のうち最も空間周波数の高い色成分画像のレジストレーション情報を用いて、残りの色成分画像のレジストレーション情報を補正するレジストレーション情報補正部と、を備え、前記超解像高周波成分生成部は、前記補正後のレジストレーション情報に従って、前記色成分画像の超解像高周波成分を生成することを特徴とする。

さらに、本発明に係る超解像装置において、前記周波数分解部は、前記色成分画像をデシメーション無しで周波数分解して前記第１の周波数分解画像を生成するとともに、前記色成分画像をデシメーション有りで周波数分解して前記第２の周波数分解画像を生成することを特徴とする。

さらに、本発明に係る超解像装置において、単一フレームの原画像を超解像処理して超解像画像を生成する超解像装置であって、原画像を色成分に分解し、色成分ごとに内挿補間処理を行って色成分画像を生成する色成分画像生成部と、前記色成分画像をそれぞれ第１のパラメータを用いて周波数分解して第１の周波数分解画像を生成するとともに、前記色成分画像に代えて、前記色成分画像に幾何変換及び／又はコントラスト変換を行った複数の変換画像を、前記第２のパラメータを用いて周波数分解して複数の第２の周波数分解画像を生成する周波数分解部と、前記複数の第２の周波数分解画像の低周波成分と、前記色成分画像との間で色成分ごとにブロックマッチングを行い、対応する位置関係を示すレジストレーション情報を色成分ごとに生成するレジストレーション部と、前記レジストレーション情報に従って、前記複数の第２の周波数分解画像の高周波成分を前記第１の周波数分解画像の高周波成分に割り付けて、前記色成分画像の超解像高周波成分を生成する超解像高周波成分生成部と、前記色成分画像を低周波成分とし、前記超解像高周波成分を高周波成分として色成分ごとに周波数再構成を行い、超解像画像を生成する周波数再構成部と、を備えることを特徴とする。

さらに、本発明に係る超解像装置において、前記周波数分解部は、ウェーブレット分解を行い、ウェーブレットフィルタを規定するパラメータを用いて周波数分解時の周波数特性を可変とすることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。

本発明によれば、高精細な超解像画像を生成することができるようになる。また、単一フレームのみを用いて超解像処理を行うため、フレーム間の相関に関わらず精度を維持することができる。

本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。本発明の第１の実施形態に係る超解像装置における色成分画像生成部による信号補間の様子を示す図である。本発明の第１の実施形態に係る超解像装置における色成分画像生成部により線形補間を行う場合のフィルタパラメータ例を示す図である。本発明の第１の実施形態に係る超解像装置における周波数分解部の処理を説明する図である。本発明の第１の実施形態に係る超解像装置におけるレジストレーション部の処理を説明する図である。本発明の第１の実施形態に係る超解像装置における超解像高周波成分生成部の処理を説明する図である。本発明の第１の実施形態に係る超解像装置における周波数再構成部の処理を説明する図である。本発明の第２の実施形態に係る超解像装置の構成例を示すブロック図である。ベイヤー配列の３次元空間周波数スペクトルを示す図である。本発明の第３の実施形態に係る超解像装置の構成例を示すブロック図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。図１に示す例では、超解像装置１は、色成分画像生成部１０と、周波数分解部１１と、レジストレーション部１２と、超解像高周波成分生成部１３と、周波数再構成部１４とを備える。超解像装置１は、ＲＧＢ配列を有する単一フレームの原画像を超解像処理して超解像画像を生成する装置である。

色成分画像生成部１０は、ＲＧＢ配列を有する原画像を入力する。ＲＧＢ配列では、各標本位置に赤色成分、緑色成分、青色成分のいずれか１色のみが存在する。色成分画像生成部１０は、原画像を赤色成分、緑色成分、及び青色成分に分解する。そして、色信号補間フィルタを用いて色成分ごとに内挿補間処理を行って、赤色成分画像Ｒ、緑色成分画像Ｇ、及び青色成分画像Ｂを生成し、周波数分解部１１に出力する。以下の説明では、赤色成分画像Ｒ、緑色成分画像Ｇ、及び青色成分画像Ｂをまとめて「色成分画像Ｒ，Ｇ，Ｂ」と称する。

図２は、色成分画像生成部１０による信号補間の様子を示す図である。信号補間として、例えば０次ホールド補間（ニアレストネイバー）や位相を考慮した線形補間を用いる。図２（ａ）の右側は線形補間された緑色成分画像Ｇを示しており、ｇ’は補間された画素を示す。同様に、図２（ｂ）の右側は赤色成分画像Ｒを示しており、ｒ’は補間された画素を示す。また、図２（ｃ）の右側は青色成分画像Ｂを示しており、ｂ’は補間された画素を示す。このように、内挿補間処理により色情報の存在しない位相位置に画素が補間される。

図３は、色成分画像生成部１０により線形補間を行う場合のフィルタパラメータ例を示す図である。図３（ａ）は緑色成分画像Ｇを生成する際に用いる５×５の線形補間フィルタの例であり、図３（ｂ）は赤色成分画像Ｒ及び青色成分画像Ｂを生成する際に用いる５×５の線形補間フィルタの例である。

周波数分解部１１は、色成分画像生成部１０により生成された色成分画像Ｒ，Ｇ，Ｂをそれぞれ第１の周波数分解パラメータを用いて周波数分解、例えばデシメーション無しで１階ウェーブレット分解して第１の周波数分解画像を生成し、第１の周波数分解画像のうち高周波成分を超解像高周波成分生成部１３に出力する。

また、周波数分解部１１は、色成分画像Ｒ，Ｇ，Ｂをそれぞれ第２の周波数分解パラメータを用いて周波数分解、例えば、デシメーション有りで１階ウェーブレット分解して第２の周波数分解画像を生成し、第２の周波数分解画像のうち低周波成分をレジストレーション部１２に出力し、第２の周波数分解画像のうち高周波成分を超解像高周波成分生成部１３に出力する。ここで、第１の周波数分解パラメータ及び第２の周波数分解パラメータは、周波数分解に用いるフィルタ、例えばウェーブレットフィルタを規定するためのパラメータである。周波数分解パラメータの値を変えることにより、周波数分解時の周波数特性を可変とすることができる。

図４は、周波数分解部１１の処理を説明する図である。図４（ａ）は、色成分画像Ｒ，Ｇ，Ｂをそれぞれ第１の周波数分解パラメータを用いて周波数分解する例として、色成分画像Ｒ，Ｇ，Ｂをデシメーション無しで１階周波数分解して第１の周波数分割画像を生成する様子を示している。デシメーション無しであるため、各周波数成分（低周波成分ＬＬ⁰，水平高周波成分ＬＨ⁰，垂直高周波成分ＨＬ⁰，斜め高周波成分ＨＨ⁰）の画像サイズは色成分画像サイズと等しくなる。周波数分解部１１は、ＬＨ⁰，ＨＬ⁰，ＨＨ⁰を高周波成分初期値として超解像高周波成分生成部１３に出力する。

図４（ｂ）は、色成分画像Ｒ，Ｇ，Ｂをそれぞれ第２の周波数分解パラメータを用いて周波数分解する例として、色成分画像Ｒ，Ｇ，Ｂをデシメーション有りで１階周波数分解して第２の周波数分割画像を生成する様子を示している。デシメーション有りの１階分解であるため、各周波数成分（低周波成分ＬＬ¹，水平高周波成分ＬＨ¹，垂直高周波成ＨＬ¹，斜め高周波成分ＨＨ¹）の画像サイズは色成分画像のサイズから縦・横それぞれ１／２倍に縮小される。周波数分解部１１は、ＬＬ¹を低周波成分としてレジストレーション部１２に出力し、ＬＨ¹，ＨＬ¹，ＨＨ¹を高周波成分として超解像高周波成分生成部１３に出力する。

レジストレーション部１２は、レジストレーションパラメータを用いて、色成分画像Ｒ，Ｇ，Ｂと、周波数分解部１１により生成された第２の周波数分解画像の低周波成分との間で、色成分ごとにブロックマッチングを行い、該低周波成分の各ブロックに対応する位置関係を示すレジストレーション情報を色成分ごとに生成し、超解像高周波成分生成部１３に出力する。

図５は、レジストレーション部１２の処理を説明する図である。レジストレーション部１２は、第２の周波数分解画像の低周波成分ＬＬ¹を所定のサイズ、例えば、４画素×４画素のブロックに分割して色成分画像Ｒ，Ｇ，Ｂとの間で色成分ごとにブロックマッチングを行い、色成分ごとにレジストレーション情報を出力する。ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えば式（１）に示すパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。

ここで、探索位置における画素位置をｘとしたとき、ＳＳＤ(ｘ)は、画素位置におけるＳＳＤ値を表し、より具体的には、ＳＳＤ（０)は中心位置（ＳＳＤ値を最小とする位置）におけるＳＳＤ値、ＳＳＤ(−1)は中心位置から−ｘ方向又は−ｙ方向の隣接画素の位置におけるＳＳＤ値、ＳＳＤ（１)は中心位置から＋ｘ方向又は＋ｙ方向の隣接画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。

レジストレーション部１２は、図５に示すように色成分画像Ｒ，Ｇ，Ｂをデシメーション有りで周波数分解した画像の低周波成分と色成分画像Ｒ，Ｇ，Ｂとの間で、色成分ごとにレジストレーション（位置合わせ）を行うのが好適である。その理由は、同一フレーム内に形状が相似で大きさが異なる画像が存在する場合に、相似する画像間で位置合わせをし、その高周波成分を割り付けることができるからである。なお、局所的にみれば同一フレーム内に相似する画像が存在する可能性は高いため、色成分画像Ｒ，Ｇ，Ｂのサイズに対するブロックマッチングを行う際のブロックサイズを小さくするほど、位置合わせの確度を高くすることができる。

レジストレーションパラメータは、ブロックマッチングを行う際のブロックサイズ及び探索範囲を含む。探索範囲は精度向上のためには色成分画像Ｒ，Ｇ，Ｂ全体とするのがよいが、処理速度向上のために探索範囲を対象ブロックの近傍の範囲に限定してもよい。また、レジストレーションパラメータに閾値を含め、ＳＡＤ又はＳＳＤの評価関数値が閾値を超えた場合は、レジストレーション結果として採用しないようにしてもよい。

超解像高周波成分生成部１３は、周波数分解部１１により生成された第１の周波数分解画像の高周波成分及び第２の周波数分解画像の高周波成分、並びにレジストレーション部１２により生成されたレジストレーション情報を入力して、色成分画像Ｒ，Ｇ，Ｂの超解像高周波成分を生成し、周波数再構成部１４に出力する。

図６は、超解像高周波成分生成部１３の処理を説明する図である。超解像高周波成分生成部１３は、レジストレーション情報に従って、第２の周波数分解画像の高周波成分（ＬＨ¹，ＨＬ¹，ＨＨ¹）を、第１の周波数分解画像の高周波成分（ＬＨ⁰，ＨＬ⁰，ＨＨ⁰）の小数画素位置に割り付ける。ここで、第２の周波数分解画像の高周波成分（ＬＨ¹，ＨＬ¹，ＨＨ¹）を割り付ける際には、第２の周波数分解画像の低周波成分ＬＬ¹と同じ位相位置のレジストレーション情報に従うこととする。これは、第２の周波数分解画像の低周波成分（ＬＬ¹）のあるブロックＰが原画像のあるブロックＱに対応（類似）していれば、各高周波成分（ＬＨ¹，ＨＬ¹，ＨＨ¹）のブロックＰと同位相位置のブロックについても同様にブロックＱに対応する可能性が高いためである。つまり、原画像とデシメーション有りで周波数分解した画像の低周波成分が同じであれば、原画像の標本化周波数を超える高周波成分はデシメーション有りで周波数分解した画像の高周波成分とほぼ同じであると推測できるからである。

そして、超解像高周波成分生成部１３は、上記割り付け後、再構成処理、例えばＭＡＰ（Maximum A Posterior）推定に基づく再構成処理を行い、超解像高周波成分（ＬＨ⁰’，ＨＬ⁰’，ＨＨ⁰’）を生成する。ＭＡＰ推定に基づく再構成処理とは、低解像度画像を条件としたときの事後確率を最大にする高解像画像を推定して再構成する処理であり、ここでは第１の周波数分解画像を高解像度画像の初期値とし、高解像度画像から、割り付けられる第２の周波数分解画像を推定し、推定した値と実際の値の誤差を最小にするように高解像度画像を更新する。ＭＡＰ推定に基づく再構成処理の詳細については、例えば、E. Levitan and G. Herman: "A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography", IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。なお、その他の方法として、ＭＬ（Maximum Likelihood）推定や、割り付けられた画素の距離に応じた重み付けにより再構成処理を行い、超解像高周波成分を生成してもよい。

周波数再構成部１４は、周波数再構成パラメータを用いて、色成分画像Ｒ，Ｇ，Ｂ及び超解像高周波成分生成部１３により生成された超解像高周波成分を色成分ごとに周波数再構成して色成分画像Ｒ，Ｇ，Ｂの超解像画像を生成する。そして、最後に、色成分画像Ｒ，Ｇ，Ｂの超解像画像を結合して原画像の超解像画像を生成し、外部に出力する。ここで、周波数再構成パラメータは、周波数再構成に用いるフィルタを規定するためのパラメータである。

図７は、周波数再構成部１４の周波数再構成処理を説明する図である。周波数再構成部１４は、色成分画像Ｒ，Ｇ，Ｂを空間低周波成分とし、超解像高周波成分生成部１３により生成された超解像高周波成分（水平高周波成分ＬＨ⁰’，垂直高周波成分ＨＬ⁰’，斜め高周波成分ＨＨ⁰’）を空間高周波成分として周波数再構成、例えば、ウェーブレット再構成を行い、赤色成分画像Ｒの超解像画像Ｒ_SR、緑色成分画像Ｇの超解像画像Ｇ_SR、及び青色成分画像Ｂの超解像画像Ｂ_SRを生成する。超解像画像Ｒ_SR，Ｇ_SR，Ｂ_SRを結合した画像が原画像の超解像画像となる。

上述したように、第１の実施形態の超解像装置１は、色成分画像生成部１０により、原画像を色成分に分解し、色成分ごとに内挿補間処理を行って色成分画像Ｒ，Ｇ，Ｂを生成し、周波数分解部１１により、色成分画像Ｒ，Ｇ，Ｂをそれぞれ第１のパラメータ及び第２のパラメータを用いて周波数分解して第１の周波数分解画像及び第２の周波数分解画像を生成する。そして、レジストレーション部１２により、第２の周波数分解画像の低周波成分と色成分画像Ｒ，Ｇ，Ｂとの間で色成分ごとにブロックマッチングを行い、対応する位置関係を示すレジストレーション情報を色成分ごとに生成する。そして、超解像高周波成分生成部１３により、レジストレーション情報に従って第２の周波数分解画像の高周波成分を第１の周波数分解画像の高周波成分に割り付けて色成分画像の超解像高周波成分を生成し、周波数再構成部１４により、色成分画像Ｒ，Ｇ，Ｂを低周波成分、超解像高周波成分を高周波成分として色成分ごとに周波数再構成を行い、超解像画像を生成する。

すなわち、本発明では単一フレーム内で、色成分画像Ｒ，Ｇ，Ｂと低周波成分間で色成分ごとに類似箇所を探索してレジストレーション（位置合わせ）を行い、高周波成分から原画像の標本化周波数を超える超解像高周波成分を生成する。かかる構成により、超解像装置１は、ＲＧＢ配列を有する単一フレームの原画像から高精細な超解像画像を生成することができるようになる。特に、本発明は、原画像がデジタルシネマやスーパーハイビジョンなどの高解像度画像である場合ほど同一フレーム内に類似するオブジェクトが多く存在するため、高い効果を得ることができる。

また、単一フレームのみを用いて超解像処理を行うため、フレーム間の画像の相関に関わらず精度を維持することができる。さらに、本発明によれば、単一フレーム画像のみをメモリに蓄えて処理するため、複数フレームを用いて超解像処理を行う場合と比較して、処理時間を短縮することができる。なお、本発明を複数フレーム超解像と組み合わせて用いることも、もちろん可能である。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図８は、第２の実施形態に係る超解像装置の構成例を示すブロック図である。図８に示す例では、超解像装置２は、色成分画像生成部１０と、周波数分解部１１と、レジストレーション部１２と、超解像高周波成分生成部１３と、周波数再構成部１４と、レジストレーション情報補正部１５とを備える。第２の実施形態の超解像装置２は、第１の実施形態の超解像装置１と比較して、レジストレーション情報補正部１５を更に備える点が相違する。その他の構成については第１の実施形態と同様であるため、同一の参照番号を付して適宜説明を省略する。

レジストレーション情報補正部１５は、レジストレーション部１２から赤色成分画像Ｒ、緑色成分画像Ｇ、及び青色成分画像Ｂのレジストレーション情報である、Ｒｅｇ（Ｒ）、Ｒｅｇ（Ｇ）、及びＲｅｇ（Ｂ）を入力する。そして、レジストレーション情報のうち最も空間周波数の高い色成分画像のレジストレーション情報を用いて、残りの色成分画像のレジストレーション情報を補正し、補正後のレジストレーション情報を超解像高周波成分生成部１３に出力する。

図９は、ＲＧＢ配列がベイヤー配列である場合の３次元空間周波数スペクトルを示す図である。図９において、μ、ν、及びｆは、それぞれ水平空間周波数、垂直空間周波数、及び時間周波数を示し、説明を簡略化するため第１象限のみの周波数スペクトルを表示して負の周波数スペクトルは省略している。ベイヤー配列の動画像において、緑色成分は、赤色成分及び青色成分に比べて最高水平空間周波数及び最高垂直空間周波数が共に２倍なので、図９に示すような市松模様状のサンプリング構造に起因したスペクトル形状となる。一方、赤色成分及び青色成分は、同図に示すような正方格子型サンプリング構造によるスペクトル形状となる。つまり、ベイヤー配列では緑色成分は赤色成分及び青色成分よりも高い水平・垂直標本化周波数を有するため、緑色成分は赤色成分及び青色成分よりも水平・垂直方向へのレジストレーション精度が高いと考えられる。

よって、ＲＧＢ配列がベイヤー配列である場合には、レジストレーション情報のうち最も空間周波数の高い色成分画像のレジストレーション情報は、緑色成分画像Ｇのレジストレーション情報Ｒｅｇ（Ｇ）である。そこで、レジストレーション情報補正部１５は、レジストレーション情報Ｒｅｇ（Ｇ）を用いて、残りの赤色成分画像Ｒ及び青色成分画像Ｂのレジストレーション情報Ｒｅｇ（Ｒ）及びＲｅｇ（Ｂ）を精度補正する。

精度補正の具体例としては、赤色成分画像Ｒについては、Ｒｅｇ（Ｇ）とＲｅｇ（Ｒ）の内積ＩＰ（Ｇ・Ｒ）を計算する。内積ＩＰ（Ｇ・Ｒ）が閾値以上の場合には２つのレジストレーション結果はほぼ等しい箇所を参照しており、Ｒｅｇ（Ｇ）はＲｅｇ（Ｒ）よりもレジストレーション精度が高いため、Ｒｅｇ（Ｒ）をＲｅｇ（Ｇ）で置き換え、内積ＩＰ（Ｇ・Ｒ）が閾値未満の場合には精度補正を行わないようにする。同様に、青色成分画像Ｂについては、Ｒｅｇ（Ｇ）とＲｅｇ（Ｂ）の内積ＩＰ（Ｇ・Ｂ）を計算し、内積ＩＰ（Ｇ・Ｂ）が閾値以上の場合にはＲｅｇ（Ｂ）をＲｅｇ（Ｇ）で置き換え、内積ＩＰ（Ｇ・Ｂ）が閾値未満の場合には精度補正を行わないようにする。精度補正の方法はこれに限られるものではなく、例えば内積ＩＰ（Ｇ・Ｒ）が閾値以上の場合のみ内積ＩＰ（Ｇ・Ｒ）をＲｅｇ（Ｒ）の大きさとし、同様に内積ＩＰ（Ｇ・Ｂ）が閾値以上の場合のみ内積ＩＰ（Ｇ・Ｂ）をＲｅｇ（Ｂ）の大きさとするなどの処理でもよい。

超解像高周波成分生成部１３は、レジストレーション情報補正部１５により生成された補正後のレジストレーション情報に従って、色成分画像Ｒ，Ｇ，Ｂの超解像高周波成分を生成する。その他の処理は、第１の実施形態と同じであるため、説明を省略する。

上述したように、第２の実施形態の超解像装置２は、レジストレーション情報のうち最も空間周波数の高い色成分画像のレジストレーション情報を用いて、残りの色成分画像のレジストレーション情報を補正するレジストレーション情報補正部１５を更に備える。そのため、第１の実施形態の超解像装置１よりも、更に色成分のレジストレーション精度を向上させて、画質を向上させることができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図１０は、第３の実施形態に係る超解像装置の構成例を示すブロック図である。図１０に示す例では、超解像装置３は、色成分画像生成部１０と、周波数分解部１１と、レジストレーション部１２と、超解像高周波成分生成部１３と、周波数再構成部１４と、レジストレーション情報補正部１５と、幾何変換部１６と、コントラスト変換部１７とを備える。第３の実施形態の超解像装置３は、第２の実施形態の超解像装置２と比較して、幾何変換部１６及びコントラスト変換部１７を更に備える点が相違する。その他の構成については第２の実施形態と同一であるため、同一の参照番号を付して説明を省略する。

幾何変換部１６は、幾何変換パラメータを用いて、色成分画像Ｒ，Ｇ，Ｂをそれぞれ幾何変換（例えば、アフィン変換）して複数の幾何変換画像を生成し、コントラスト変換部１７に出力する。式（２）にアフィン変換の式を示す。水平・垂直移動はレジストレーション部１２で行うため、幾何変換部１６では回転、拡大縮小、及びスキューを行う。ここで、幾何変換パラメータは、幾何変換を規定するパラメータであり、式（２）における回転角θ、拡大・縮小率ｓ_x，ｓ_y、スキューδなどを含む。

コントラスト変換部１７は、コントラスト変換パラメータを用いて、幾何変換部１６により生成された幾何変換画像をコントラスト変換して複数の変換画像を生成し、周波数分解部１１に出力する。ここで、コントラスト変換パラメータは、コントラスト変換を規定するパラメータである。コントラスト変換は、例えば入力レベルｘ、出力レベルｙとして傾きｍを用いたｙ＝ｍｘの一次関数による線形変換や、パラメータγを用いたガンマ変換による非線形変換により行う。

図１０に示した超解像装置３は幾何変換部１６及びコントラスト変換部１７を備えるが、幾何変換部１６及びコントラスト変換部１７のいずれか一方のみを備える構成としてもよい。また、幾何変換部１６による処理を行った後にコントラスト変換部１７による処理を行ってもよいし、コントラスト変換部１７による処理を行った後に幾何変換部１６による処理を行ってもよい。幾何変換部１６及び／又はコントラスト変換部１７により、複数の変換画像を生成する。生成する変換画像数が多いほど、レジストレーションする際の位置合わせ候補が増えるため、超解像画像の画質を向上させることができる。

周波数分解部１１は、色成分画像Ｒ，Ｇ，Ｂを第１の周波数分解パラメータを用いて周波数分解して第１の周波数分解画像を生成し、第１の周波数分解画像のうち高周波成分を超解像高周波成分生成部１３に出力する。また、周波数分解部１１は、幾何変換部１６及び／又はコントラスト変換部１７により生成された複数の変換画像を第２の周波数分解パラメータを用いて周波数分解して複数の第２の周波数分解画像を生成し、複数の第２の周波数分解画像のうち低周波成分をレジストレーション部１２に出力し、第２の周波数分解画像のうち高周波成分を超解像高周波成分生成部１３に出力する。

レジストレーション部１２は、複数の第２の周波数分解画像の低周波成分と、色成分画像Ｒ，Ｇ，Ｂとの間で色成分ごとにブロックマッチングを行い、レジストレーション情報Ｒｅｇ（Ｒ）、Ｒｅｇ（Ｇ）、Ｒｅｇ（Ｂ）を生成し、レジストレーション情報補正部１５に出力する。

レジストレーション情報補正部１５は、レジストレーション情報のうち最も空間周波数の高い色成分画像のレジストレーション情報を用いて、残りの色成分画像のレジストレーション情報を補正し、補正後のレジストレーション情報を超解像高周波成分生成部１３に出力する。

超解像高周波成分生成部１３は、周波数分解部１１により生成された第１の周波数分解画像の高周波成分及び複数の第２の周波数分解画像の高周波成分、並びにレジストレーション情報補正部１５により生成されたレジストレーション情報を入力して、色成分画像Ｒ，Ｇ，Ｂの超解像高周波成分を生成し、周波数再構成部１４に出力する。

周波数再構成部１４は、周波数再構成パラメータを用いて、色成分画像Ｒ，Ｇ，Ｂ及び超解像高周波成分生成部１３により生成された超解像高周波成分を色成分ごとに周波数再構成して色成分画像Ｒ，Ｇ，Ｂの超解像画像を生成し、これらを結合して原画像の超解像画像を生成する。

上述したように、第３の実施形態の超解像装置２は、第２の実施形態の超解像装置２に加え、幾何変換部１６及び／又はコントラスト変換部１７を更に備える。そして、幾何変換パラメータ及び／又はコントラスト変換パラメータを調整して複数の変換画像を生成し、該複数の変換画像を周波数分解部して複数の第２の周波数分解画像を生成する。また、第１，２の実施形態と同様に、色成分画像Ｒ，Ｇ，Ｂを周波数分解して第１の周波数分解画像を生成する。第３の実施形態では、レジストレーションする際の位置合わせ候補が増えるので、多くのデータを第１の周波数分解画像に割り付けることができる。そのため、ブロックマッチングの精度（レジストレーション精度）を高めることができ、超解像装置３は超解像装置２よりも更に高画質の超解像画像を生成することができる。

なお、上述した超解像装置１，２，３として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置１，２，３の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、上述した第３の実施形態において、超解像装置３はレジストレーション情報補正部１５を備えない構成としてもよい。また、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１，２，３超解像装置
１０色成分画像生成部
１１周波数分解部
１２レジストレーション部
１３超解像高周波成分生成部
１４周波数再構成部
１５レジストレーション情報補正部
１６幾何変換部
１７コントラスト変換部

Claims

単一フレームの原画像を超解像処理して超解像画像を生成する超解像装置であって、
原画像を色成分に分解し、色成分ごとに内挿補間処理を行って色成分画像を生成する色成分画像生成部と、
前記色成分画像をそれぞれ第１のパラメータを用いて周波数分解して第１の周波数分解画像を生成するとともに、前記色成分画像をそれぞれ第２のパラメータを用いて周波数分解して第２の周波数分解画像を生成する周波数分解部と、
前記第２の周波数分解画像の低周波成分と、前記色成分画像との間で色成分ごとにブロックマッチングを行い、対応する位置関係を示すレジストレーション情報を色成分ごとに生成するレジストレーション部と、
前記レジストレーション情報に従って、前記第２の周波数分解画像の高周波成分を前記第１の周波数分解画像の高周波成分に割り付けて、前記色成分画像の超解像高周波成分を生成する超解像高周波成分生成部と、
前記色成分画像を低周波成分とし、前記超解像高周波成分を高周波成分として色成分ごとに周波数再構成を行い、超解像画像を生成する周波数再構成部と、
前記レジストレーション情報のうち最も空間周波数の高い色成分画像のレジストレーション情報を用いて、残りの色成分画像のレジストレーション情報を補正するレジストレーション情報補正部と、を備え、
前記超解像高周波成分生成部は、前記補正後のレジストレーション情報に従って、前記色成分画像の超解像高周波成分を生成することを特徴とする超解像装置。
前記周波数分解部は、前記色成分画像をデシメーション無しで周波数分解して前記第１の周波数分解画像を生成するとともに、前記色成分画像をデシメーション有りで周波数分解して前記第２の周波数分解画像を生成することを特徴とする、請求項１に記載の超解像装置。
単一フレームの原画像を超解像処理して超解像画像を生成する超解像装置であって、
原画像を色成分に分解し、色成分ごとに内挿補間処理を行って色成分画像を生成する色成分画像生成部と、
前記色成分画像をそれぞれ第１のパラメータを用いて周波数分解して第１の周波数分解画像を生成するとともに、前記色成分画像に幾何変換及び／又はコントラスト変換を行った複数の変換画像を、第２のパラメータを用いて周波数分解して複数の第２の周波数分解画像を生成する周波数分解部と、
前記複数の第２の周波数分解画像の低周波成分と、前記色成分画像との間で色成分ごとにブロックマッチングを行い、対応する位置関係を示すレジストレーション情報を色成分ごとに生成するレジストレーション部と、
前記レジストレーション情報に従って、前記複数の第２の周波数分解画像の高周波成分を前記第１の周波数分解画像の高周波成分に割り付けて、前記色成分画像の超解像高周波成分を生成する超解像高周波成分生成部と、
前記色成分画像を低周波成分とし、前記超解像高周波成分を高周波成分として色成分ごとに周波数再構成を行い、超解像画像を生成する周波数再構成部と、
を備えることを特徴とする超解像装置。
前記周波数分解部は、ウェーブレット分解を行い、ウェーブレットフィルタを規定するパラメータを用いて周波数分解時の周波数特性を可変とすることを特徴とする、請求項１から３のいずれか一項に記載の超解像装置。
コンピュータを、請求項１から４のいずれか一項に記載の超解像装置として機能させるためのプログラム。