JP6920942B2 - 階調補完装置及びプログラム - Google Patents

Description

本発明は、入力画像の階調を補完した階調補完画像を生成する階調補完装置及びプログラムに関する。

一般に、ＪＰＥＧやＨ．２６５／ＨＥＶＣ(High Efficiency Video Coding)などの符号化方式では、直交変換処理及び量子化処理が行われている。直交変換処理では、画像信号をブロック領域毎にＤＣＴ（離散コサイン変換）して、周波数係数に変換する。そして、量子化処理では、量子化マトリクスを用いて周波数係数を量子化する。このような処理により、視覚的に目立たない高周波成分に対しては粗い量子化を施し、信号成分上で重要な低周波成分に対しては細かい量子化を施すことができ、視覚特性を考慮した圧縮処理を行うことができる（例えば、非特許文献１参照）。

また、超解像画像を生成する技術として、例えば特許文献１には、被超解像画像を含む複数のフレーム画像を周波数分解し、被超解像画像と複数の周波数分解画像の低周波成分との間でブロックマッチングを行い、周波数分解画像の低周波成分と同じ空間位相位置の高周波成分を、被超解像画像の標本化周波数を超える高周波成分に割り付けて、被超解像画像の高周波成分を推定した超解像高周波成分を生成し、低周波成分と高周波成分の周波数再構成を行うことで、超解像画像を生成する技術が開示されている。

また、特許文献２には、原画像を色成分ごとに内挿補間処理して色成分画像を生成し、色成分画像を用いて周波数分解して周波数分解画像を生成し、色成分ごとにブロックマッチングを行って色成分画像の超解像高周波成分を生成し、色成分ごとに周波数再構成を行うことにより高精細な超解像画像を生成する技術が開示されている。

さらに、特許文献３には、原画像又は原画像の変換画像を周波数分解し、ブロックマッチングを行って周波数分解画像の割り付けを行い、周波数再構成することで単一フレームの原画像から高精細な超解像画像を生成する技術が開示されている。

特開２０１６−１３４０７５号公報 特開２０１５−２１２９０５号公報 特開２０１５−２０３９５２号公報

大久保榮監修、「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日

しかしながら、上述した符号化方式において、量子化は非可逆処理であるため、失われた階調値を完全に元に戻すことはできない。そのため、原画像を非可逆符号化処理して符号を生成すると、該符号を復号した際に、復号画像の画質が原画像に対して劣化してしまうという課題が残る。また、上述した超解像画像を生成する技術を用いることにより画像を高精細化できるが、劣化した画像の階調値を補完するという観点では、さらに改善の余地がある。

かかる事情に鑑みてなされた本発明の目的は、符号化処理などにより劣化した画像の階調値を高精度に補完することが可能な階調補完装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る階調補完装置は、入力画像の階調を補完した階調補完画像を生成する階調補完装置であって、前記入力画像に対して周波数分解処理を行って複数の低周波成分画像及び複数の高周波成分画像からなる周波数分解画像を生成する周波数分解部と、前記周波数分解画像の位置合わせに用いる閾値を、前記複数の低周波成分画像における所定の低周波成分画像である参照フレームの周波数帯域が低いほど大きな値となるように設定する帯域毎閾値設定部と、前記複数の低周波成分画像間において、基準フレーム内のブロック領域と、該ブロック領域との差分値が前記閾値よりも小さい参照フレーム内のブロック領域との位置関係を示す位置合わせ情報を生成する位置合わせ部と、前記位置合わせ情報に従って前記高周波成分画像に割り付けを行い、高周波成分割付画像を生成する割付部と、前記低周波成分画像及び前記高周波成分割付画像に対して周波数再構成処理を行って階調補完画像を生成する周波数再構成部と、を備えることを特徴とする。

さらに、本発明に係る階調補完装置において、前記入力画像は、符号を復号した復号画像であり、前記帯域毎閾値設定部は、前記符号を生成する際に用いられた量子化パラメータが大きいほど、前記閾値を小さな値となるように設定すること特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記階調補完装置として機能させることを特徴とする。

本発明によれば、符号化処理などにより劣化した画像の階調値を高精度に補完することが可能となる。

本発明の一実施形態に係る階調補完装置の構成例を示すブロック図である。 本発明の一実施形態に係る階調補完装置における位置合わせ処理の概要を示す図である。 本発明の一実施形態に係る階調補完装置における割り付け処理の概要を示す図である。 本発明の一実施形態に係る階調補完装置における周波数再構成処理の概要を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

図１に、本発明の一実施形態に係る階調補完装置の構成例を示す。図１に示す階調補完装置１は、周波数分解部１１と、帯域毎閾値設定部１２と、位置合わせ部１３と、割付部１４と、周波数再構成部１５とを備える。

階調補完装置１は、復号画像などの入力画像に対して階調補完処理を行い、入力画像の階調が補完された階調補完画像を生成する。

周波数分解部１１は、入力画像に対して複数階層の周波数分解（多重解像度分解）処理を行って周波数分解画像を生成する。代表的な周波数分解処理として、ウェーブレット分解処理が挙げられる。Ｎ階周波数分解処理を行うと、周波数分解階数ｎ＝１，２，…，Ｎの周波数分解画像が生成される。ｎの値が小さいほど、周波数帯域が高いことを意味する。また、同一の周波数分解階数ｎにおいて、さらに、低周波帯域成分の画像ＬＬ^ｎ、水平方向に高周波成分となる画像ＬＨ^ｎ、垂直方向に高周波成分となる画像ＨＬ^ｎ、対角方向に高周波成分となる画像ＨＨ^ｎに分解される。以下、ＬＬ^ｎを低周波成分画像と称し、ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎをまとめて高周波成分画像と称する。すなわち、周波数分解画像は、複数の低周波成分画像ＬＬ^ｎ、及び複数の高周波成分画像ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎからなる。周波数分解部１１は、低周波成分画像ＬＬ^ｎを位置合わせ部１３及び周波数再構成部１５に出力し、高周波成分画像ＬＨ^ｎ，ＨＬ^ｎ，ＨＨ^ｎを割付部１４に出力する。ここで、周波数分解階数Ｎはあらかじめ決めておいてもよいし、外部から取得してもよい。

帯域毎閾値設定部１２は、周波数分解階数Ｎを取得する。そして、周波数分解部１１により周波数分解（多重解像度分解）処理された画像の位置合わせに用いる帯域毎閾値を、後述する図２における参照フレームの周波数帯域毎（すなわち、周波数分解階数毎）に、周波数帯域が低いほど大きな値となるように設定し、設定した帯域毎閾値を位置合わせ部１３に出力する。周波数帯域が低いほど大きな値となるように帯域毎閾値を設定することは、後述する位置合わせ部１３において、周波数帯域が低いほど位置合わせ結果が採用されやすくなることを意味する。

本実施形態では、位置合わせ部１３において、位置合わせをブロックマッチングで行い、その１画素当たりの差分値をＳＡＤ（Sam of Absolute Difference；絶対値差分和）で求めるものとする。表１に、復号画像の階調数が８ｂｉｔであり、参照フレームの周波数分解階数が２〜４であるときのＳＡＤの帯域毎閾値の例を示す。なお、ブロックマッチングで１画素当たりの差分値をＳＳＤ（Sum of Squared Difference；二乗誤差和)で求める場合には、表１で示した帯域毎閾値を２乗すればよい。

また、帯域毎閾値設定部１２は、入力画像が符号を復号した復号画像である場合には、周波数分解階数Ｎに加えて、符号を生成する際に用いられた量子化パラメータＱＰ(Quantization Parameter)を取得してもよい。符号化処理における量子化では、ブロック領域毎の周波数係数を、量子化マトリクスに量子化ステップを乗算した値で除算する。量子化パラメータＱＰの設定値が大きいほど量子化ステップは大きくなるので、圧縮率は高くなり、すなわち階調値の削減率も高くなる。

帯域毎閾値設定部１２は、量子化パラメータＱＰを取得した場合には、量子化パラメータＱＰが大きいほど、帯域毎閾値を小さな値となるように設定する。特に、高周波帯域の帯域毎閾値を小さな値とする。表２に、量子化パラメータＱＰを取得した場合について、復号画像の階調数が８ｂｉｔであり、参照フレームの周波数分解階数が２〜４であるときの、帯域毎閾値の例を示す。表２では、周波数分解階数が２，３であるとき、量子化パラメータＱＰが大きいほど、帯域毎閾値が小さな値となっている。なお、表２では量子化パラメータＱＰを４０未満と４０以上の２種類に分けたが、３種類以上に分けて帯域毎閾値を規定してもよい。

位置合わせ部１３は、帯域毎閾値設定部１２から帯域毎閾値を入力する。そして、周波数分解部１１により生成された周波数分解画像のうちの低周波成分画像間において、基準フレーム内のブロック領域と、該ブロック領域との差分値が帯域毎閾値よりも小さい参照フレーム内のブロック領域との位置関係を示す位置合わせ情報を生成し、割付部１４に出力する。すなわち、位置合わせ情報は、低周波成分画像間において、相似するオブジェクトの位置関係を示すものである。ここで、差分値とは、差の絶対値の和、差の絶対値の積、差の二乗和など、種々の演算方法によって定まる差の値の総称である。

図２に、位置合わせ部１３における位置合わせ処理の概要を示す。位置合わせ部１３は、周波数分解画像のｉ階低周波成分画像ＬＬ^ｉを基準フレームとし、ｊ階（ｉ＜ｊ）低周波成分画像ＬＬ^ｊを参照フレームとする。図２に示す例では、ｉ＝１、ｊ＝２である。そして、基準フレームをブロック領域に分割し、任意のブロックから参照フレームへブロックマッチングを行い、探索範囲内で差分値が帯域毎閾値よりも小さいブロック、すなわち類似度（相関性）の高いブロックの位置関係を示す位置合わせ情報を生成する。差分値が帯域毎閾値より小さければよいので、類似度の高いブロックを複数（図２では３つ）検出してもよい。参照フレームの周波数分解階数ｊが大きいほど帯域毎閾値は大きくなるため、低周波帯域の画像ほど、基準フレームのブロックに類似するブロックとして検出されやすくなる。

なお、ブロックマッチングは、ＳＡＤ，ＳＳＤなどの評価関数を用いて、既知の手法により行われる。また、ブロックマッチングは、例えば特許文献３等に開示された既知の手法である式（１）に示すパラボラフィッティング関数を用いた補間処理により、小数画素精度で行う。

ここで、探索位置における画素位置をｘとしたとき、ＳＳＤ(ｘ)は、画素位置におけるＳＳＤ値を表し、より具体的には、ＳＳＤ（０)は中心位置（ＳＳＤ値を最小とする位置）におけるＳＳＤ値、ＳＳＤ(−1)は中心位置から−ｘ方向又は−ｙ方向の隣接画素の位置におけるＳＳＤ値、ＳＳＤ（１)は中心位置から＋ｘ方向又は＋ｙ方向の隣接画素の位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。

割付部１４は、位置合わせ部１３により生成された位置合わせ情報に従って、周波数分解部１１により生成された周波数分解画像のうちの高周波成分画像ＬＨ^ｉ，ＨＬ^ｉ，ＨＨ^ｉに割り付けを行い、割付後の高周波成分画像である高周波成分割付画像ＬＨ^ｉ’，ＨＬ^ｉ’，ＨＨ^ｉ’を生成し、周波数再構成部１５に出力する。

図３に、割付部１４による割り付け処理の概要を示す。図３に示すように、位置合わせ情報に従って、参照フレームＬＬ^ｊと同一階層の高周波成分画像ＬＨ^ｊ，ＨＬ^ｊ，ＨＨ^ｊ内のブロックを、基準フレームＬＬ^ｉと同一階層の高周波成分画像ＬＨ^ｉ，ＨＬ^ｉ，ＨＨ^ｉに割り付ける。図３に示す例では、ｉ＝１、ｊ＝２である。なお、図２では基準フレーム内のブロック領域に類似する参照フレーム内のブロック領域を３つ示しているが、図３では見やすくするために、基準フレーム内のブロック領域に類似する参照フレーム内のブロック領域を１つとしている。

ここで、高周波成分画像ＬＨ^ｉ，ＨＬ^ｉ，ＨＨ^ｉに割り付ける際には、参照フレームＬＬ^ｊ内の同じ位相位置の位置合わせ情報に従うこととする。これは、基準フレームＬＬ^ｉ内のブロックＰが参照フレームＬＬ^ｊ内のブロックＱに類似していれば、高周波成分画像ＬＨ^ｉ，ＨＬ^ｉ，ＨＨ^ｉ内における、ブロックＰと同じ位相位置のブロックは、高周波成分ＬＨ^ｊ，ＨＬ^ｊ，ＨＨ^ｊ内における、ブロックＱと同じ位相位置のブロックとそれぞれ類似する可能性が高いためである。

また、位置合わせ部１３において、類似するブロックの位置関係を小数画素精度で求めた場合には、割付部１４は、小数画素位置を通常の画素位置に合わせるために、割り付け後の高周波成分画像に対して、光学系の解像度劣化過程を模擬した点広がり関数（Point spread function；ＰＳＦ）を用いた補間を行う。式（２）に、点広がり関数を示す。ここで、ｗはガウス関数の半値幅（分散値）である。

割付部１４は、割り付けを全て終えた後、水平、垂直、対角高周波成分として候補が複数存在する場合には、それらの値を平均するか、最大事後確率（Maximum a posteriori；ＭＡＰ）再構成を行い、未知の値を推定し、最終的な高周波成分割付画像ＬＨ^ｉ’，ＨＬ^ｉ’，ＨＨ^ｉ’として周波数再構成部１５に出力する。ＭＡＰ再構成の詳細については、例えば、E. Levitan and G. Herman: “A maximum a posteriori probability expectation maximization algorithm for image reconstruction in emission tomography”, IEEE Transactions on Medical Imaging, vol. 6, no. 3, pp. 185-192, Sep. 1987.を参照されたい。また、その他の方法として、ＭＬ法や、割り付けられた画素の距離に応じた重み付けにより、高周波成分画像を推定してもよい。

周波数再構成部１５は、周波数分解部１１により生成された低周波成分画像を低周波成分とし、割付部１４により生成された高周波成分割付画像を高周波成分として、周波数再構成処理を行って階調補完画像を生成し、外部に出力する。

図４に、周波数再構成部１５による周波数再構成処理の概要を示す。図４に示す例では、低周波成分画像ＬＬ^１を低周波成分とし、割付後の水平高周波成分画像ＬＨ^１’、垂直高周波成分画像ＨＬ^１’、対角高周波成分画像ＨＨ^１’を高周波成分として周波数再構成処理を行うことにより、階調補完画像が生成される。なお、周波数分解部１１が周波数分解処理としてウェーブレット分解処理を行った場合には、周波数再構成部１５は、同じウェーブレットを用いてウェーブレット再構成処理を行う。

なお、上述した階調補完装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、階調補完装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述したように、本発明では、符号化処理を経て復号した画像では、高周波帯域の階調値の削減度合いが大きいことに着目し、位置合わせに用いる閾値を、参照フレームの周波数帯域が低いほど大きな値とし、低周波成分画像間において、差分値が該閾値よりも小さいブロック領域の位置関係を示す位置合わせ情報を生成する。さらに、量子化パラメータＱＰが大きいほど階調値の削減度合いが大きいことに着目し、量子化パラメータが大きいほど、閾値を小さな値としてもよい。

このため、本発明では、参照フレームうち、階調値の削減度合が小さいと考えられる低周波帯域ほど、ブロックマッチングで類似するブロックが検出されやすくなる。したがって、位置合わせの精度を向上させ、削減された階調値を高精度に補完することができるようになる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

１ 階調補完装置
１１ 周波数分解部
１２ 帯域毎閾値設定部
１３ 位置合わせ部
１４ 割付部
１５ 周波数再構成部

Claims (3)

1. 入力画像の階調を補完した階調補完画像を生成する階調補完装置であって、
   前記入力画像に対して周波数分解処理を行って複数の低周波成分画像及び複数の高周波成分画像からなる周波数分解画像を生成する周波数分解部と、
   前記周波数分解画像の位置合わせに用いる閾値を、前記複数の低周波成分画像における所定の低周波成分画像である参照フレームの周波数帯域が低いほど大きな値となるように設定する帯域毎閾値設定部と、
   前記複数の低周波成分画像間において、基準フレーム内のブロック領域と、該ブロック領域との差分値が前記閾値よりも小さい参照フレーム内のブロック領域との位置関係を示す位置合わせ情報を生成する位置合わせ部と、
   前記位置合わせ情報に従って前記高周波成分画像に割り付けを行い、高周波成分割付画像を生成する割付部と、
   前記低周波成分画像及び前記高周波成分割付画像に対して周波数再構成処理を行って階調補完画像を生成する周波数再構成部と、
   を備えることを特徴とする階調補完装置。
2. 前記入力画像は、符号を復号した復号画像であり、
   前記帯域毎閾値設定部は、前記符号を生成する際に用いられた量子化パラメータが大きいほど、前記閾値を小さな値となるように設定すること特徴とする、請求項１に記載の階調補完装置。
3. コンピュータを、請求項１又は２に記載の階調補完装置として機能させるためのプログラム。
   

Images