JP6276596B2 - 空間超解像・階調補間装置及びプログラム - Google Patents

Description

本発明は、原画像を空間超解像処理及び階調補間処理して空間超解像・階調補間画像を生成する空間超解像・階調補間装置及びプログラムに関する。

従来、画像を空間方向に空間超解像処理して元の画像よりも解像度の高い画像を生成する空間超解像技術が知られている。例えば、被写体の照明方程式パラメータを推定し、推定した照明方程式パラメータについて高解像度化を行い、高解像度化された照明方程式パラメータを合成して高解像度画像を生成し、その際、推定した照明方程式パラメータの推定精度が所定の精度を満たさない画素が存在するときは、高解像度化した照明方程式パラメータをフィードバックして、再度、照明方程式パラメータの推定を行うことにより、被写体の画像を高解像度化する技術が知られている（例えば、特許文献１参照）。

また、画像を階調方向に補間処理して元の画像よりも階調数の多い画像を生成する階調補間装置が知られている。例えば、処理対象画素の印字濃度に対して複数の閾値と補間演算誤差を設定し、処理対象画素とその隣接する画素の持つ補間演算誤差の平均との総和を複数の閾値と比較し、その最も近い値の閾値を実行閾値として用いるなどして中間階調を補間する技術が知られている（例えば、特許文献２参照）。

特許第４１３９８５３号公報 特開平４−１８８５５号公報

空間超解像及び階調補間の手法として多くの方法が知られているが、原画像を空間方向に拡大し、且つ階調を補間するには、空間超解像処理及び階調補間処理を別々に適用する必要があった。このため、効率的な処理を行うことができなかった。また、標本化と量子化間には密接な相関があるが、これらを別々に行うことは、例えば空間超解像処理を最適に行ったとしても階調補間処理で空間超解像結果が損なわれるため、処理を別々に行った結果が必ずしも高画質な超解像画像になるとは限らなかった。

かかる事情に鑑みてなされた本発明の目的は、効率的且つ高精度に空間超解像・階調補間画像を得ることができる空間超解像・階調補間装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る空間超解像・階調補間装置は、原画像を空間超解像処理及び階調補間処理して、所定の目標解像度及び目標階調数を有する空間超解像・階調補間画像を生成する空間超解像・階調補間装置であって、原画像の階調数を増加させて目標階調数に再量子化した再量子化画像を生成する再量子化部と、前記再量子化画像をウェーブレット分解して再量子化画像の空間標本化周波数を超える高周波帯域成分を生成する周波数分解部と、前記再量子化画像及び前記高周波帯域成分をバイラテラルフィルタを用いて低域通過フィルタ処理により波形整形及び階調補間を同時に行うことにより、再量子化整形画像及び高周波帯域整形成分を生成する階調補間部と、前記再量子化整形画像を低周波帯域成分とし前記高周波帯域整形成分を高周波帯域成分として周波数再構成して目標解像度に空間超解像するとともに、フィルタ処理により階調補間して、空間超解像・階調補間画像を生成する周波数再構成部と、を備えることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記空間超解像・階調補間装置として機能させることを特徴とする。

本発明によれば、効率的且つ高精度に空間超解像・階調補間画像を得ることができるようになる。

本発明に係る空間超解像・階調補間処理装置の処理概要を説明する図である。 本発明の一実施形態に係る空間超解像・階調補間装置の構成例を示すブロック図である。 本発明の一実施形態に係る空間超解像・階調補間装置の動作例を示すブロック図である。

図１は、本発明に係る空間超解像・階調補間処理装置の処理概要を説明する図である。ただし、図１に示す解像度及び階調は一例であり、この値に限定されるものではない。

図１に示す例では、まず「解像度４Ｋ×２Ｋ、階調８ｂｉｔ」の原画像の階調数を目標とする１２ｂｉｔに再量子化した再量子化画像を生成する。再量子化画像は８ｂｉｔの各画素値が１２ｂｉｔに変換されただけであるため、この段階では画素値はなめらかではなく飛び飛びの値となる。次に、この再量子化画像の解像度を目標とする８Ｋ×４Ｋに拡大（空間超解像処理）する。その際に、１２ｂｉｔの階調を補間する階調補間処理を同時に行うことにより、「解像度８Ｋ×４Ｋ、階調１２ｂｉｔ」の空間超解像・階調補間画像を生成する。

以下、本発明の実施形態について詳細に説明する。

図２は、本発明の一実施形態に係る空間超解像・階調補間装置の構成例を示すブロック図である。図２に示す例では、空間超解像・階調補間装置１は、再量子化部１０と、空間超解像・階調補間部２０とを備える。

空間超解像・階調補間装置１は、入力される原画像に対して再量子化処理、及び空間超解像・階調補間処理を施し、所定の目標とする解像度（目標解像度）及び目標とする階調数（目標階調数）を有する空間超解像・階調補間画像を生成して出力する。なお、空間超解像・階調補間装置１に、ユーザにより設定される目標解像度及び目標階調数を入力し、空間超解像・階調補間装置１は、入力された目標解像度及び目標階調数を有する空間超解像・階調補間画像を生成するようにしてもよい。

再量子化部１０は、原画像を目標とする階調数に再量子化した再量子化画像を生成し、空間超解像・階調補間部２０に出力する。階調数を８ｂｉｔから１２ｂｉｔに再量子化する場合には、例えば画素値を単純に１６倍する。あるいは、変換前の画素値と変換後の画素値とを対応付けた再量子化テーブルを有する場合には、再量子化テーブルに基づいて画素値を変換する。

空間超解像・階調補間部２０は、再量子化部１０により生成された再量子化画像を目標とする空間解像度に空間超解像するとともに、フィルタを用いて同時に階調補間する。図２に示す例では、空間超解像・階調補間部２０は、周波数分解部２１と、階調補間部２２と、周波数再構成部２３とを備える。

周波数分解部２１は、再量子化部１０により生成された再量子化画像をデシメーション無しで（つまり、周波数帯域成分の画像サイズの縮小を行わずに）周波数分解（例えば、ウェーブレット分解）し、再量子化画像の空間標本化周波数を超える高周波帯域成分を階調補間部２２に出力する。

階調補間部２２は、再量子化部１０により生成された再量子化画像、及び周波数分解部２１により生成された高周波帯域成分に波形整形用のフィルタを適用して再量子化整形画像、及び高周波帯域整形成分を生成し、周波数再構成部２３に出力する。フィルタ処理を行うことにより、超解像処理と同時に階調補間処理を行うことができる。階調補間部２２で用いるフィルタとして、例えば、原画像の撮影時における光学的な劣化過程を模擬した低域通過フィルタである点拡がり関数（ＰＳＦ：Point spread function）のフィルタ、ガウシアン関数のフィルタ、Lanczosフィルタなどを用いることができる。

あるいは、階調補間部２２で用いる低域通過フィルタとして、バイラテラルフィルタを用いることができる。バイラテラルフィルタは、画像はエッジ領域以外では階調が滑らかに変化すると仮定し、エッジを保持しながら低域通過フィルタ処理を行うフィルタである。バイラテラルフィルタを用いて波形整形及び階調補間を同時に行うことで、標本化と量子化間の高い相関を利用した空間超解像・階調補間が可能となる。例えば、輝度変化が少ない平坦な空間領域では、空間高周波帯域のパワーが低く輝度値が滑らかに変化するように作用する。また、輝度変化が大きいエッジ領域では、空間高周波帯域のパワーが高く輝度値が大きく変化するように作用する。

周波数再構成部２３は、階調補間部２２により生成された再量子化整形画像を空間低周波帯域とし、階調補間部２２により生成された高周波帯域整形成分を空間高周波帯域成分として、周波数再構成（例えば、ウェーブレット再構成）し、空間超解像・階調補間画像を生成し、出力する。

図３は、空間超解像・階調補間部２０の動作例を説明する図であり、空間超解像処理により解像度を縦横それぞれ２倍にする例を示している。まず、周波数分解部２１により、再量子化画像Ｓを周波数分解する（ステップＳ１０１）。ここでは、周波数分解としてデシメーション無しの１階離散ウェーブレット分解を行っている。ＬＬは低周波帯域成分であり、ＬＨは水平方向高周波帯域成分であり、ＨＬは垂直方向高周波帯域成分であり、ＨＨは斜め方向高周波帯域成分である。ＬＨ，ＨＬ，ＨＨを高周波帯域成分とする。

次に、階調補間部２２により、再量子化画像Ｓ及び高周波帯域成分ＬＨ，ＨＬ，ＨＨにそれぞれ波形整形用のフィルタを適用し、再量子化整形画像Ｓ’、及び高周波帯域整形成分ＬＨ’，ＨＬ’，ＨＨ’を生成する（ステップＳ１０２）。

次に、周波数再構成部２３により、再量子化整形画像Ｓ’を空間低周波帯域とし、高周波帯域整形成分ＬＨ’，ＨＬ’，ＨＨ’を空間高周波帯域成分として配置する（ステップＳ１０３）。そして、周波数再構成部２３により、ステップＳ１０３にて配置した周波帯域成分をウェーブレット再構成し、空間超解像・階調補間画像を生成する（ステップＳ１０４）。

以上説明したように、本発明に係る空間超解像・階調補間装置１は、原画像を目標階調数に再量子化した再量子化画像を生成した後に、再量子化画像を目標解像度に空間超解像するとともに、フィルタ処理により階調補間して、空間超解像・階調補間画像を生成する。つまり、再量子化画像の空間超解像処理及び階調補間処理を同時に行う。このため、空間超解像・階調補間装置１によれば、効率的且つ高精度に空間超解像・階調補間画像を得ることができる。

なお、上述した空間超解像・階調補間装置１として機能させるためにコンピュータを用いることができ、そのようなコンピュータは、空間超解像・階調補間装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録することができる。

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

このように、本発明は、画像を空間超解像処理及び階調補間処理して、所定の目標解像度及び目標階調数を有する空間超解像・階調補間画像を生成する任意の用途に有用である。

１ 空間超解像・階調補間装置
１０ 再量子化部
２０ 空間超解像・階調補間部
２１ 周波数分解部
２２ 階調補間部
２３ 周波数再構成部

Claims (2)

1. 原画像を空間超解像処理及び階調補間処理して、所定の目標解像度及び目標階調数を有する空間超解像・階調補間画像を生成する空間超解像・階調補間装置であって、
   原画像の階調数を増加させて目標階調数に再量子化した再量子化画像を生成する再量子化部と、
   前記再量子化画像をウェーブレット分解して再量子化画像の空間標本化周波数を超える高周波帯域成分を生成する周波数分解部と、
   前記再量子化画像及び前記高周波帯域成分をバイラテラルフィルタを用いて低域通過フィルタ処理により波形整形及び階調補間を同時に行うことにより、再量子化整形画像及び高周波帯域整形成分を生成する階調補間部と、
   前記再量子化整形画像を低周波帯域成分とし前記高周波帯域整形成分を高周波帯域成分として周波数再構成して空間超解像・階調補間画像を生成する周波数再構成部と、
   を備えることを特徴とする空間超解像・階調補間装置。
2. コンピュータを、請求項１に記載の空間超解像・階調補間装置として機能させるためのプログラム。

Images