JP6817793B2

JP6817793B2 - 超解像装置及びプログラム

Info

Publication number: JP6817793B2
Application number: JP2016222726A
Authority: JP
Inventors: 康孝松尾; 慎平根本; 境田　慎一; 慎一境田; 菊文神田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2016-11-15
Filing date: 2016-11-15
Publication date: 2021-01-20
Anticipated expiration: 2036-11-15
Also published as: JP2018081461A

Description

本発明は、単一フレームの原画像を超解像処理する超解像装置及びプログラムに関する。

単一フレームの原画像（被超解像画像）を用いて超解像処理する従来技術として、例えば、単一フレーム内の類似箇所を探索して位置合わせを行い、位置合わせをしたブロックの高周波成分を原画像のナイキスト周波数を超える超解像高周波成分として割り付けることにより、フレーム間の相関に関わらず高精細な超解像画像を生成することが可能な超解像装置が知られている（例えば、特許文献１参照）。

また、撮像素子の色標本化構造によっては、画像の緑色信号の標本化周波数が赤色信号及び青色信号よりもが高いことがある。そこで、単一フレーム内の類似箇所を探索した際に、緑色信号の類似度が高い場合には、緑色信号の位置合わせ情報を用いて、赤色信号及び青色信号の高周波成分を超解像高周波成分として割り付ける技術が知られている（例えば、非特許文献１参照）。

特開２０１５−２０３９５２号公報

・Y. Matsuo and S. Sakaida, "A Super-resolution Method Using Registration of Multi-scale Components on the Basis of Color-sampling Patterns of UHDTV Cameras", Proceedings of IEEE ICCE, p.435-436, Jan. 2016

しかし、先行技術文献に記載の従来技術は、原画像の色標本化構造を考慮して位置合わせに用いる画像の周波数成分（周波数帯域）を選択している訳ではなかった。そのため、色信号によっては、折り返し成分を含む周波数成分が位置合わせ及び割り付けに用いられることがある。すると、位置合わせの精度が低下したり、超解像高周波成分に割り付けた際にぼやけ成分や折り返し成分が含まれたりすることにより、超解像画像の画質が低下してしまうという課題があった。

かかる事情に鑑みてなされた本発明の目的は、色標本化構造を考慮して位置合わせ及び割り付けに使用する周波数成分を決定し、超解像画像の画質を向上させることが可能な超解像装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る超解像装置は、原画像を超解像処理して超解像画像を生成する超解像装置であって、原画像に対して複数階層の周波数分解処理を行って、原画像の低周波成分である低周波成分画像群、及び原画像の高周波成分である高周波成分画像群を生成する周波数分解部と、前記原画像を撮像した撮像素子の色標本化構造に応じて、前記高周波成分画像群のうち、前記撮像素子のナイキスト周波数以下のナイキスト周波数を有する高周波成分画像を選択する周波数成分選択部と、前記原画像と、前記周波数成分選択部によって選択された高周波成分画像と同じ階層の低周波成分画像との間でブロックマッチングを行い、対応する位置関係を示す位置合わせ情報を生成する位置合わせ部と、前記位置合わせ情報に従って、前記周波数成分選択部によって選択された高周波成分画像を前記原画像のナイキスト周波数を超える高周波成分として割り付けて、超解像画像の高周波成分となる超解像高周波成分画像を生成する超解像高周波成分生成部と、前記原画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として周波数再構成を行い、超解像画像を生成する周波数再構成部と、を備えることを特徴とする。

さらに、本発明に係る超解像装置において、前記周波数分解部は、さらに前記高周波成分画像の周波数スペクトルパワーを算出し、前記周波数成分選択部は、前記高周波成分画像群のうち、前記撮像素子のナイキスト周波数以下のナイキスト周波数を有し、且つ前記周波数スペクトルパワーが閾値以下の高周波成分画像を選択することを特徴とする。

さらに、本発明に係る超解像装置において、前記周波数分解部は、前記原画像に対してデシメーションを伴う複数階層のウェーブレット分解処理を行うことを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像装置として機能させることを特徴とする。

本発明によれば、超解像処理を行う際に、ぼやけ成分や折り返し成分を位置合わせ及び割り付けに使用する可能性が低くなるため、超解像画像の画質を向上させることができる。

本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。本発明の第１の実施形態に係る超解像装置における周波数分解部の処理を説明する図である。本発明の第１の実施形態に係る超解像装置におけるレジストレーション部の処理を説明する図である。本発明の第１の実施形態に係る超解像装置における超解像高周波成分生成部の処理を説明する図である。本発明の第１の実施形態に係る超解像装置における周波数再構成部の処理を説明する図である。本発明の第２の実施形態に係る超解像装置の構成例を示すブロック図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る超解像装置の構成例を示すブロック図である。図１に示す例では、超解像装置１は、周波数分解部１１と、周波数成分選択部１２と、位置合わせ部１３と、超解像高周波成分生成部１４と、周波数再構成部１５とを備える。

超解像装置１は、単一フレームの原画像を超解像処理して超解像画像を生成する装置である。

周波数分解部１１は、原画像に対して複数階層（ｎ階）の周波数分解処理を行って、周波数分解画像群を生成する。周波数分解画像群は、原画像の低周波成分である低周波成分画像群ＬＬⁿ、及び原画像の高周波成分である高周波成分画像群からなる。高周波成分画像群は、水平高周波成分画像群ＬＨⁿ、垂直高周波成分画像群ＨＬⁿ、及び対角高周波成分画像ＨＨⁿからなる。周波数分解部１１は、低周波成分画像群ＬＬⁿを位置合わせ部１３に出力し、高周波成分画像群ＬＨⁿ，ＨＬⁿ，ＨＨⁿを超解像高周波成分生成部１４に出力する。

本実施形態では、周波数分解部１１は、周波数分解処理としてデシメーションを伴うｎ階ウェーブレット分解処理を行うものとして、以下説明する。なお、周波数分解処理は、原画像の赤色信号、青色信号、緑色信号についてそれぞれ行うのが好適であるが、原画像の輝度信号を求めて輝度信号についてのみ周波数分解処理を行ってもよい。

図２は、周波数分解部１１におけるウェーブレット分解処理の一例を示す図である。本図に示す例では、周波数分解部１１は、原画像を３階ウェーブレット分解して、１階、２階、及び３階の周波数分解画像群｛ＬＬⁿ，ＬＨⁿ，ＨＬⁿ，ＨＨⁿ｜ｎ＝１，２，３｝を生成する。さらに、周波数分解部１１は原画像を変倍処理した後に、複数階のウェーブレット分解処理を行ってもよい。本図に示す例では、周波数分解部１１はさらに、原画像を０．７５倍に縮小してから３階ウェーブレット分解して、１．５階、２．５階、及び３．５階の周波数分解画像群｛ＬＬⁿ，ＬＨⁿ，ＨＬⁿ，ＨＨⁿ｜ｎ＝１．５，２．５，３．５｝を生成する。

周波数成分選択部１２は、原画像を撮像した撮像素子の色標本化構造（赤色信号、緑色信号、及び青色信号の標本化構造）を示す色標本化構造情報を入力する。色標本化構造には、代表的なものとして、３板型、Ｆ６５型、ベイヤ（Ｂａｙｅｒ）型などが挙げられる。

周波数成分選択部１２は、色標本化構造に応じて、周波数分解部１１により生成された高周波成分画像群ＬＨⁿ，ＨＬⁿ，ＨＨⁿのうち、原画像を撮像した撮像素子のナイキスト周波数以下のナイキスト周波数を有する高周波成分画像を選択（決定）し、選択結果を示す周波数成分選択情報を生成して位置合わせ部１３に出力する。ナイキスト周波数が撮像素子のナイキスト周波数以下の高周波成分画像には理論上折り返し成分が含まれないため、後述する超解像高周波成分の割付処理に用いる高周波数成分画像に折り返し成分が含まれる可能性を低減することができる。

図３は、周波数成分選択部１２の処理を説明する図であり、図３（ａ）は３板型の色標本化構造を示し、図３（ｂ）はＦ６５型の色標本化構造を示し、図３（ｃ）はベイヤ型の色標本化構造を示している。図中のμは水平周波数であり、νは垂直周波数であり、μ_Nは水平方向のナイキスト周波数であり、ν_Nは垂直方向のナイキスト周波数である。

図３（ａ）に示すように、色標本化構造が３板型の場合には、撮像素子のナイキスト周波数は赤色信号、緑色信号、及び青色信号で同一である。カメラレンズの光学特性及び撮像素子のローパスフィルタ特性において折り返し成分が含まれていなければ、赤色信号、緑色信号、及び青色信号の全てにおいて、折り返し成分が含まれる可能性が無い。このため周波数成分選択部１２は、赤色信号、緑色信号、及び青色信号において、全ての周波数分解画像（ｎ≧１）を選択する。

図３（ｂ）に示すように、色標本化構造がＦ６５型の場合には、撮像素子のナイキスト周波数は、赤色信号及び青色信号において斜め方向に低くなる。したがって、赤色信号及び青色信号において、１階及び１．５階の高周波成分画像に折り返し成分が含まれる可能性があることが分かる。このため周波数成分選択部１２は、赤色信号及び青色信号において、２階以上（ｎ≧２）の周波数分解画像を選択する。

図３（ｃ）に示すように、色標本化構造がベイヤ型の場合には、撮像素子のナイキスト周波数は、緑色信号において斜め方向に低くなり、赤色信号及び青色信号において水平及び垂直方向に低くなる。したがって、赤色信号、緑色信号、及び青色信号の全てにおいて、１階及び１．５階の高周波成分画像に折り返し成分が含まれる可能性があることが分かる。このため周波数成分選択部１２は、赤色信号、緑色信号、及び青色信号の全てにおいて、２階以上（ｎ≧２）の周波数分解画像を選択する。

位置合わせ部１３は、原画像を所定のサイズのブロックに分割する。そして、原画像の各ブロックと、周波数成分選択情報によって選択された高周波成分画像と同じ階層ｋの低周波成分画像ＬＬ^kとの間でブロックマッチングを行い、最も類似度（相関性）が高いブロックを決定する。そして、対応するブロックの位置関係を示す位置合わせ情報（レジストレーション情報）を生成し、超解像高周波成分生成部１４に出力する。ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えばパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。なお、ＳＡＤ又はＳＳＤの評価関数値が閥値を超えた場合は、位置合わせ情報として採用しないようにしてもよい。

超解像高周波成分生成部１４は、位置合わせ部１３により生成された位置合わせ情報に従って、周波数成分選択部１２により選択された高周成分解画像ＬＨ^k，ＨＬ^k，ＨＨ^kを、原画像のナイキスト周波数を超える未知の高周波成分として割り付けて、超解像画像の高周波成分となる超解像高周波成分画像ＬＨ^SR，ＨＬ^SR，ＨＨ^SRを生成し、周波数再構成部１５に出力する。

図４は、位置合わせ部１３及び超解像高周波成分生成部１４の処理を説明する図である。本図では、周波数成分選択情報によって選択された高周波成分画像の階層ｋを１のみとし、原画像Ｉと、低周波成分画像ＬＬ¹との間でブロックマッチングを行っている。原画像Ｉから低周波成分画像ＬＬ¹に向かう破線の矢印が対応するブロックの位置を示している。原画像とその低周波数成分画像ＬＬ¹との間で位置合わせを行うことにより、同一フレーム内に形状が相似で大きさが異なる画像が存在する場合に、相似する画像間で位置合わせをすることができる。なお、局所的にみれば同一フレーム内に相似する画像が存在する可能性は高いため、原画像のサイズに対するブロックマッチングを行う際のブロックサイズを小さくするほど、位置合わせの確度を高くすることができる。

高周波成分画像ＬＨ¹，ＨＬ¹，ＨＨ¹を割り付ける際には、低周波成分画像ＬＬ¹内の同じ位相位置の位置合わせ情報に従うこととする。これは、低周波成分画像ＬＬ¹のあるブロックＰが原画像ＩのあるブロックＱに類似していれば、各高周波成分画像ＬＨ¹，ＨＬ¹，ＨＨ¹のブロックＰと同位相位置のブロックについても同様に、ブロックＱに類似する可能性が高いためである。

周波数再構成部１５は、原画像を低周波成分とし、超解像高周波成分生成部１４により生成された超解像高周波成分画像を高周波成分として周波数再構成を行って超解像画像を生成し、外部に出力する。

図５は、周波数再構成部１５における周波数再構成処理の一例を示す図である。この例では、原画像Ｉを低周波成分とし、超解像高周波成分画像ＬＨ^SR，ＨＬ^SR，ＨＨ^SRを高周波成分として１階ウェーブレット再構成を行い、超解像画像Ｉ^SRを生成する。

上述したように、第１の実施形態の超解像装置１は、周波数分解部１１により、原画像を周波数分解して低周波成分画像群及び高周波成分画像群を生成し、周波数成分選択部１２により、色標本化構造に応じて、高周波成分画像群のうち、撮像素子のナイキスト周波数以下のナイキスト周波数を有する高周波成分画像を選択する。そして、位置合わせ部１３により、原画像と、選択された高周波成分画像と同じ階層の低周波成分画像との間でブロックマッチングを行って位置合わせ情報を生成し、超解像高周波成分生成部１４により、位置合わせ情報に従って高周波成分画像を原画像の高周波成分に割り付けて超解像高周波成分画像を生成する。最後に、周波数再構成部１５により、原画像を低周波成分、超解像高周波成分画像を高周波成分として周波数再構成を行い、超解像画像を生成する。

かかる構成により、超解像装置１は、色標本化構造を考慮して、位置合わせ及び割り付けに使用する周波数成分を折り返し成分が少ないものとすることができる。そのため、超解像画像の画質を向上させることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図６は、第２の実施形態に係る超解像装置の構成例を示すブロック図である。図６に示す例では、超解像装置２は、周波数分解部１１’と、周波数成分選択部１２’と、位置合わせ部１３と、超解像高周波成分生成部１４と、周波数再構成部１５とを備える。第２の実施形態の超解像装置２は、第１の実施形態の超解像装置１と比較して、周波数分解部１１及び周波数成分選択部１２に代えて、周波数分解部１１’及び周波数成分選択部１２’を備える点が相違する。

周波数分解部１１’は、周波数分解部１１と同様に、原画像に対して複数階層（ｎ階）の周波数分解処理（例えば、デシメーションを伴うウェーブレット分解処理）を行う。さらに、周波数分解部１１’は、各周波数成分画像の周波数スペクトルパワーを算出し、周波数スペクトルパワーを示す情報である周波数スペクトルパワー情報を周波数成分選択部１２’に出力する。周波数スペクトルパワー情報は、例えば周波数スペクトルパワーのＲＭＳ（二乗平均平方根）とする。

周波数成分選択部１２’は、色標本化情報に加え、周波数分解部１１’により生成された周波数成分選択情報を入力する。周波数スペクトルパワーが非常に小さい場合には、当該周波数帯域には高周波成分はほぼ含まれない。一方、周波数スペクトルパワーが非常に大きい場合には、当該周波数帯域には折り返し成分を多く含む可能性が高い。そのため、周波数成分選択部１２’は、周波数分解部１１’により生成された高周波成分画像群ＬＨⁿ，ＨＬⁿ，ＨＨⁿのうち、原画像を撮像した撮像素子のナイキスト周波数以下のナイキスト周波数を有し、且つ周波数スペクトルパワーが閾値以下の高周波成分画像を選択し、選択結果を示す周波数成分選択情報を生成して位置合わせ部１３に出力する。

位置合わせ部１３、超解像高周波成分生成部１４、及び周波数再構成部１５は、第１の実施形態と同様の処理を行う。

つまり、第２の実施形態の超解像装置２は、周波数分解部１１’により、原画像を周波数分解して低周波成分画像群及び高周波成分画像群を生成し、周波数成分選択部１２’により、高周波成分画像群のうち、撮像素子のナイキスト周波数以下のナイキスト周波数を有し、且つ周波数スペクトルパワーが閾値以下の高周波成分画像を選択する。そして、位置合わせ部１３により、原画像と、選択された高周波成分画像と同じ階層の低周波成分画像との間でブロックマッチングを行って位置合わせ情報を生成し、超解像高周波成分生成部１４により、位置合わせ情報に従って高周波成分画像を原画像の高周波成分として割り付けて超解像高周波成分を生成する。最後に、周波数再構成部１５により、原画像を低周波成分、超解像高周波成分画像を高周波成分として周波数再構成を行い、超解像画像を生成する。

超解像装置２は、色標本化情報に加え、周波数成分選択情報を用いて、位置合わせ及び割り付けに用いる周波成分画像を選択する。したがって、超解像装置２は、超解像装置１よりもさらに、折り返し成分を含む周波数成分が位置合わせ及び割り付けに用いられることを防止でき、超解像画像の画質を向上させることができる。

なお、上述した超解像装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像装置１，２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１，２超解像装置
１１，１１’ 周波数分解部
１２，１２’ 周波数成分選択部
１３位置合わせ部
１４超解像高周波成分生成部
１５周波数再構成部

Claims

原画像を超解像処理して超解像画像を生成する超解像装置であって、
原画像に対して複数階層の周波数分解処理を行って、原画像の低周波成分である低周波成分画像群、及び原画像の高周波成分である高周波成分画像群を生成する周波数分解部と、
前記原画像を撮像した撮像素子の色標本化構造に応じて、前記高周波成分画像群のうち、前記撮像素子のナイキスト周波数以下のナイキスト周波数を有する高周波成分画像を選択する周波数成分選択部と、
前記原画像と、前記周波数成分選択部によって選択された高周波成分画像と同じ階層の低周波成分画像との間でブロックマッチングを行い、対応する位置関係を示す位置合わせ情報を生成する位置合わせ部と、
前記位置合わせ情報に従って、前記周波数成分選択部によって選択された高周波成分画像を前記原画像のナイキスト周波数を超える高周波成分として割り付けて、超解像画像の高周波成分となる超解像高周波成分画像を生成する超解像高周波成分生成部と、
前記原画像を低周波成分とし、前記超解像高周波成分画像を高周波成分として周波数再構成を行い、超解像画像を生成する周波数再構成部と、
を備えることを特徴とする超解像装置。
前記周波数分解部は、さらに前記高周波成分画像の周波数スペクトルパワーを算出し、
前記周波数成分選択部は、前記高周波成分画像群のうち、前記撮像素子のナイキスト周波数以下のナイキスト周波数を有し、且つ前記周波数スペクトルパワーが閾値以下の高周波成分画像を選択することを特徴とする、請求項１に記載の超解像装置。
前記周波数分解部は、前記原画像に対してデシメーションを伴う複数階層のウェーブレット分解処理を行うことを特徴とする、請求項１又は２に記載の超解像装置。
コンピュータを、請求項１から３のいずれか一項に記載の超解像装置として機能させるためのプログラム。