JP6823492B2

JP6823492B2 - 超解像補完ポストフィルタ装置及びプログラム

Info

Publication number: JP6823492B2
Application number: JP2017032277A
Authority: JP
Inventors: 康孝松尾; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2017-02-23
Filing date: 2017-02-23
Publication date: 2021-02-03
Anticipated expiration: 2037-02-23
Also published as: JP2018137678A

Description

本発明は、入力画像の空間高周波成分を補完する超解像補完ポストフィルタ装置及びプログラムに関する。

一般に、ＩＴＵ−ＴＨ．２６５／ＭＰＥＧ−ＨＨＥＶＣ(High Efficiency Video Coding) （以下、単に「ＨＥＶＣ」と称する。）などの符号化方式により符号化された映像は、復号処理をして復号画像を生成した際に、空間高周波成分が失われている。そのため、近年の超解像テレビでは、復号映像を超解像処理する手法が採用されている。

また、特許文献１には、映像圧縮伝送システムにおける演算コストを低減するために、入力映像を単一の動きモデルを持つ背景領域と局所的な動きモデルを持つ移動体領域に分離し、背景領域のみに超解像処理を施し、移動体領域についてはそのまま符号化・復号する手法が開示されている。

また、特許文献２には、映像の圧縮符号化において、視認性や判別性を向上させた領域を先鋭化するために、入力映像の重要領域について超解像処理を行って、それ以外は単純拡大を行ってから符号化・伝送し、復号化処理側においても超解像処理を行うことにより、重要領域について更にユーザの視認性が高い画像を表示する手法が開示されている。

国際公開ＷＯ２０１３／１９１１９３特開２０１６−１１６０９５号公報

従来の超解像処理では、被超解像画像が持つ周波数スペクトルパワーなどを考慮して被超解像画像を再構成する、再構成型といわれる手法が一般的に用いられている。この再構成型は大別すると、線形／非線形フィルタ型とレジストレーション型に分類される。このうち線形／非線形フィルタ型は、線形／非線形フィルタ処理により超解像高周波成分を生成する。ただし、主観的には高画質な超解像画像が生成できた場合であっても、必ずしも高精度な超解像高周波成分が得られるとは限らないという欠点がある。これに対して、レジストレーション型は複数フレーム間の位置合わせにより、画素密度を高めることができる。しかし、このような手法では、ブロック歪なども超解像処理してしまうという問題があった。

かかる事情に鑑みてなされた本発明の目的は、入力画像の空間高周波成分を高精度で補完することが可能な超解像補完ポストフィルタ装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る超解像補完ポストフィルタ装置は、入力画像の空間高周波成分を補完する超解像補完ポストフィルタ装置であって、前記入力画像に対して複数階層の周波数分解処理を行って周波数分解画像を生成する周波数分解部と、前記周波数分解画像のうち、第１の分解階数を有する分解画像である第１分解画像と、第２の分解階数を有する分解画像である第２分解画像とを決定する使用帯域決定部と、前記第１分解画像の低周波成分画像と第２分解画像の低周波成分画像との間で対応する位置関係を示すレジストレーション情報を生成する位置合わせ部と、前記レジストレーション情報を用いて、前記第１分解画像の高周波成分画像と第２分解画像の高周波成分画像との間で割り付けを行い、超解像高周波成分画像を生成する超解像高周波成分補完部と、前記第１分解画像の低周波成分画像を低周波成分とし前記超解像高周波成分画像を高周波成分として、周波数再構成処理を行って超解像補完画像を生成する周波数再構成部と、を備えることを特徴とする。

さらに、本発明に係る超解像補完ポストフィルタ装置において、前記使用帯域決定部は、前記入力画像の高周波成分画像のパワー値が閾値未満となる分解階数を前記第１の分解階数とし、前記パワー値が前記閾値以上となる分解階数を前記第２の分解階数とすることを特徴とする。

さらに、本発明に係る超解像補完ポストフィルタ装置において、前記周波数分解部は、前記入力画像に対して複数階層のウェーブレット分解処理を行い、前記周波数再構成部は、前記第１分解画像の低周波成分画像を低周波成分とし、前記超解像高周波成分画像を高周波成分としてウェーブレット再構成処理を行うことを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記超解像補完ポストフィルタ装置として機能させることを特徴とする。

本発明によれば、入力画像の空間高周波成分を高精度で補完することが可能となる。

本発明の一実施形態に係る超解像補完ポストフィルタ装置の構成例を示すブロック図である。本発明の一実施形態に係る超解像補完ポストフィルタ装置における位置合わせ部の処理を説明する図である。本発明の一実施形態に係る超解像補完ポストフィルタ装置における超解像高周波成分補完部の処理を説明する図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

図１に、本発明の一実施形態に係る超解像補完ポストフィルタ装置の構成例を示す。図１に示す超解像補完ポストフィルタ装置１は、周波数分解部１１と、使用帯域決定部１２と、位置合わせ部１３と、超解像高周波成分補完部１４と、周波数再構成部１５とを備える。

超解像補完ポストフィルタ装置１は、ＨＥＶＣなどの符号化方式により高圧縮符号化された画像を復号処理した画像を入力画像とし、符号化処理及び復号処理により失われた空間高周波成分を補完して、空間解像度はそのままとした超解像補完画像を生成する。ＨＥＶＣなどの符号化方式により高圧縮符号化する際には、デブロッキングフィルタ処理を強めに行うことにより、超解像補完画像の画質をより向上させることができる。

周波数分解部１１は、入力画像に対して複数階層の周波数分解（多重解像度分解）処理を行って周波数分解画像を生成し、使用帯域決定部１２に出力する。周波数分解画像は、入力画像の低周波成分画像ＬＬ^ｎと、入力画像の高周波成分画像である水平高周波成分画像ＬＨ^ｎ、垂直高周波成分画像ＨＬ^ｎ、及び対角高周波成分画像ＨＨ^ｎとからなる。添え字のｎは分解階数を意味し、例えば、原画像を３階周波数分解した場合、ｎ＝１，２，３の周波数分解画像が生成される。周波数分解部１１は、周波数分解処理として、ウェーブレット分解処理を行うことができる。

使用帯域決定部１２は、周波数分解部１１により生成された周波数分解画像のうち、位置合わせに用いられる、第１の分解階数αを有する分解画像である第１分解画像（超解像補完先画像）と、第２の分解階数βを有する分解画像である第２分解画像（超解像補完元画像）とを決定する。

使用帯域決定部１２は、具体的には、入力画像の高周波成分画像ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎのパワー値としてＲＭＳ（Root Mean Square）値を計算する。そして、いずれもが閾値未満となる分解階数αを第１の分解階数と決定し、高周波成分画像ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎのＲＭＳ値のいずれかが閾値以上となる分解階数βを第２の分解階数と決定する。そして、第１分解画像の低周波成分画像ＬＬ^αと、第２分解画像の低周波成分画像ＬＬ^βとを位置合わせ部１３に出力し、第１分解画像の高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^αと、第２分解画像の高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^βとを超解像高周波成分補完部１４に出力する。

位置合わせ部１３は、第１分解画像の低周波成分画像ＬＬ^αと第２分解画像の低周波成分画像ＬＬ^βとの間で対応する位置関係を示すレジストレーション情報を生成し、超解像高周波成分補完部１４に出力する。

図２は、位置合わせ部１３における位置合わせ処理の様子を示す図である。第１分解画像の高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^αのＲＭＳ値のいずれもが閾値未満であり、第２分解画像の高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^βのＲＭＳ値のいずれかが閾値以上であるとする。位置合わせ部１３は、例えば低周波成分画像ＬＬ^αと低周波成分画像ＬＬ^βとの間でブロックマッチングを行い、両画像間で類似度（相関性）の高いブロックの位置関係を示す位置合わせ情報を生成する。ブロックマッチングは、絶対値誤差和（ＳＡＤ；Sum of Absolute Difference）、二乗誤差和（ＳＳＤ；Sum of Squared Difference)などの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えばパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。なお、ＳＡＤ又はＳＳＤの評価関数値が閥値を超えた場合は、位置合わせ情報として採用しないようにしてもよい。

超解像高周波成分補完部１４は、位置合わせ部１３により生成されたレジストレーション情報を用いて、使用帯域決定部１２から入力された第１分解画像の高周波成分画像ＬＨ^α，ＨＬ^α，ＨＨ^αと、第２分解画像の高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^βとの間で割り付けを行い、超解像高周波成分画像ＬＨ^α’，ＨＬ^α’，ＨＨ^α’を生成し、周波数再構成部１５に出力する。

図３は、超解像高周波成分補完部１４の処理の様子を示す図である。超解像高周波成分補完部１４は、レジストレーション情報に従って、第２分解画像の高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^βを、第１分解画像の高周波成分画像ＬＨ^α，ＨＬ^α、ＨＨ^αの小数画素位置に割り付ける。ここで、第２分解画像の高周波成分画像ＬＨ^β，ＨＬ^β，ＨＨ^βを割り付ける際には、第２分解画像の低周波成分画像ＬＬ^βと同じ位相位置のレジストレーション情報に従うこととする。これは、第２分解画像の低周波成分画像ＬＬ^β内のあるブロックＰが第１分解画像の低周波成分画像ＬＬ^α内のブロックＱに対応（類似）していれば、第２分解画像の各高周波成分ＬＨ^β，ＨＬ^β，ＨＨ^β内のブロックＰと同じ位相位置のブロックが、第１分解画像の各高周波成分ＬＨ^α，ＨＬ^α、ＨＨ^α内のブロックＱと同じ位相位置のブロックとそれぞれ類似する可能性が高いためである。

超解像高周波成分補完部１４は、割り付けられた値を用いて再構成（例えばＭＡＰ再構成）を行ってもよい。ＭＡＰ再構成の詳細については、例えば、E. Levitan and G. Herman: "A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography", IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。また、その他の方法として、ＭＬ法や、割り付けられた画素の距離に応じた重み付けにより、超解像高周波成分画像を生成してもよい。

周波数再構成部１５は、使用帯域決定部１２から入力された第１分解画像の低周波成分画像ＬＬ^αを低周波成分とし、超解像高周波成分補完部１４から入力された超解像高周波成分画像ＬＨ^α’，ＨＬ^α’，ＨＨ^α’を高周波成分として周波数再構成処理を行って超解像補完画像を生成し、外部に出力する。なお、周波数分解部１１が周波数分解処理としてウェーブレット分解処理を行った場合には、周波数再構成部１５は、周波数再構成処理としてウェーブレット再構成処理を行う。

なお、上述した超解像補完ポストフィルタ装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、超解像補完ポストフィルタ装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

上述したように、本発明は、第１分解画像と第２分解画像との間で、位置合わせと割り付けによる超解像補完を行う。本発明の超解像補完は従来の超解像法よりも低い空間周波数から高い空間周波数へ高画質に超解像補完することが可能であるため、符号化・復号処理により失われた空間高周波成分を補完し、高い超解像補完画質を得ることができる。また繰り返し演算や入力映像（復号映像）以外の情報は不要であるという利点もある。

なお、本発明は、符号化・復号処理された映像に限らず、空間高周波成分が失われたあらゆる映像処理のポストフィルタとして用いることができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１超解像補完ポストフィルタ装置
１１周波数分解部
１２使用帯域決定部
１３位置合わせ部
１４超解像高周波成分補完部
１５周波数再構成部

Claims

入力画像の空間高周波成分を補完する超解像補完ポストフィルタ装置であって、
前記入力画像に対して複数階層の周波数分解処理を行って周波数分解画像を生成する周波数分解部と、
前記周波数分解画像のうち、第１の分解階数を有する分解画像である第１分解画像と、第２の分解階数を有する分解画像である第２分解画像とを決定する使用帯域決定部と、
前記第１分解画像の低周波成分画像と第２分解画像の低周波成分画像との間で対応する位置関係を示すレジストレーション情報を生成する位置合わせ部と、
前記レジストレーション情報を用いて、前記第１分解画像の高周波成分画像と第２分解画像の高周波成分画像との間で割り付けを行い、超解像高周波成分画像を生成する超解像高周波成分補完部と、
前記第１分解画像の低周波成分画像を低周波成分とし前記超解像高周波成分画像を高周波成分として、周波数再構成処理を行って超解像補完画像を生成する周波数再構成部と、
を備えることを特徴とする超解像補完ポストフィルタ装置。
前記使用帯域決定部は、前記入力画像の高周波成分画像のパワー値が閾値未満となる分解階数を前記第１の分解階数とし、前記パワー値が前記閾値以上となる分解階数を前記第２の分解階数とすることを特徴とする、請求項１に記載の超解像補完ポストフィルタ装置。
前記周波数分解部は、前記入力画像に対して複数階層のウェーブレット分解処理を行い、
前記周波数再構成部は、前記第１分解画像の低周波成分画像を低周波成分とし前記超解像高周波成分画像を高周波成分として、ウェーブレット再構成処理を行うことを特徴とする、請求項１又は２に記載の超解像補完ポストフィルタ装置。
コンピュータを、請求項１から３のいずれか一項に記載の超解像補完ポストフィルタ装置として機能させるためのプログラム。