JP6294052B2 - １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 - Google Patents
１パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 Download PDFInfo
- Publication number
- JP6294052B2 JP6294052B2 JP2013232878A JP2013232878A JP6294052B2 JP 6294052 B2 JP6294052 B2 JP 6294052B2 JP 2013232878 A JP2013232878 A JP 2013232878A JP 2013232878 A JP2013232878 A JP 2013232878A JP 6294052 B2 JP6294052 B2 JP 6294052B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- resolution
- processing method
- image
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 102
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 37
- 239000003623 enhancer Substances 0.000 claims description 36
- 230000003044 adaptive effect Effects 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 7
- 230000002123 temporal effect Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 57
- 238000010586 diagram Methods 0.000 description 34
- 230000033001 locomotion Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 8
- 238000001228 spectrum Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
Description
本発明は、映像の各種フォーマット間の変換処理等における１パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置に関する。
インターレース−プログレッシブ変換（デインターレースとも称する）は、垂直方向の２倍の拡大と見なせるが、画像の拡大処理は画素値の内挿補間処理として行われてきた。シンク関数による補間公式は無限項のたたみ込みとして表されるが、画像は有限のサイズであるため、窓関数を掛けて有限項近似するか、適当な有限関数で近似していた。特に、インターレース−プログレッシブ変換では、静止領域におけるフレーム解像度を復元するために、フレーム間差分に基づく動き検出処理による動き適応変換が行われてきた。また、近年、超解像（Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）と呼ばれる処理の研究が盛んに行われている。
例えば、動き検出回路の例としては、特許第２６４２８４６号公報や特開平５−３００５４１号公報、特開２００１−２２３９９５公報等、多くの公知文献が存在する。
S. C. Park, M. K. Park, and M. G. Kang, Super-resolution image reconstruction: a technical overview,IEEE Signal Processing Magazine, Vol. 20, No. 3, pp.21-36. May 2003.
シンク関数を近似した補間処理では、解像度の劣化が生じる。しかし、近似項数を増しても、画像の不連続性によりエッジ部ではリンギングが生じてしまう。フレーム間差分に基づく動き検出処理による動き適応変換では、動き検出処理のための特別な処理が必要となる。検出処理における誤検出、検出漏れを避けるための様々な工夫もなされているが、処理コストが掛かる。再構成型超解像と呼ばれる処理の多くは反復を基本とするものであり、リアルタイム処理には向かない。
本発明は、上述の問題点に鑑み為されたものであり、フィールド内空間方向性補間とフレーム間時間方向性補間を組み合わせることにより、エッジのジャギを低減し、フレーム間の静止領域におけるフレーム解像度を復元したデインターレース処理を可能とし、さらに、フレーム内空間方向性補間によって、画像内容に適応した任意サイズへの拡大である解像度変換処理を可能とすることを目的とする。また、後処理としての非線形エンハンサ処理によって、さらなる解像度の向上を図ることを目的とする。
フィールド内画素の方向による補間を行う。画素の方向性の推定には、補間画素を中心とする近傍画素からなるブロックを用いたブロックマッチングにより推定する。ブロックマッチングの結果から重み係数を計算して、すべての方向補間の結果を重み付け平均したものを最終的な補間結果とする。さらに、フレーム間時間方向による補間結果も同様にブロックマッチングを行い、マッチング結果から重み係数を計算して、重み付け平均に加える。このとき、マッチング結果から最良の方向の補間を選択する。そのようにして、方向性補間の重み付け平均によりプログレッシブ変換された画像をフレーム内空間性補間により任意サイズへ拡大する。さらに、そのような解像度変換の結果を非線形エンハンサ処理により、解像度の向上を図る。すべての処理は１パスでの処理が可能であり、リアルタイム処理も期待される。
フィールド内空間方向性補間とフレーム間時間方向性を組み合わせることにより、エッジのジャギを低減し、フレーム間の静止領域におけるフレーム解像度を復元したデインターレース処理が可能となり、さらに、フレーム内空間方向性補間によって、画像内容に適応した任意サイズへの拡大である解像度変換処理が可能となる。後処理としての非線形エンハンサ処理によって、さらなる解像度の向上が図られる。
（実施形態における新規な技術思想）
・インターレース−プログレッシブ変換においては、フィールド内の画素の方向性を注目画素近傍領域からなるブロックによるブロックマッチングにより推定して、各方向性補間の結果をマッチング残差から計算される重み係数による重み付け平均したものを最終的な補間の結果とする点。
・インターレース−プログレッシブ変換においては、フィールド内の画素の方向性を注目画素近傍領域からなるブロックによるブロックマッチングにより推定して、各方向性補間の結果をマッチング残差から計算される重み係数による重み付け平均したものを最終的な補間の結果とする点。
・ブロックマッチングの結果から、画像のエッジ部、テクスチャ部、平坦部を判別して、領域毎に最良の補間を選択的に行う点。
・さらに、フレーム間時間方向における奇数フィールドと偶数フィールドからなるフレーム画像によるブロックマッチングを行い、時間方向の補間結果もマッチング残差から重み係数を計算して、フィールド内空間方向性補間の重み付け平均に加えることにより統一的に扱うことができる点。
・インターレース−プログレッシブ変換されたフレーム画像も同様にして、フレーム内方向性補間によって任意サイズへの拡大である解像度変換を行う点。
・解像度変換の結果をマルチスケール非線形エンハンサ処理を適応クリップ処理とともに用いて、さらなる解像度の向上を図る点。
（実施形態における重要な技術要素）
（実施形態における重要な技術要素）
・インターレース−プログレッシブ変換処理（デインターレース処理）。
・解像度変換処理。
・マルチスケール非線形エンハンサ処理。
・適応クリップ処理。
（技術要素の機能）
・インターレース−プログレッシブ変換処理におけるフィールド内画素の方向性推定のためのブロックマッチング処理、フィールド内画素による方向性補間処理、各方向性補間の結果のマッチング残差による重み付け平均処理、マッチング残差による領域判別処理。
・インターレース−プログレッシブ変換処理におけるフィールド内画素の方向性推定のためのブロックマッチング処理、フィールド内画素による方向性補間処理、各方向性補間の結果のマッチング残差による重み付け平均処理、マッチング残差による領域判別処理。
・解像度変換処理におけるフレーム内画素の方向性推定のためのブロックマッチング処理、フレーム内画素による方向性補間処理、各方向性補間の結果のマッチング残差による重み付け平均処理。
・マルチスケール非線形エンハンサ処理におけるマルチスケールエッジ検出処理およびレベルに関する非線形操作処理。
・適応クリップ処理における注目画素近傍における入力画素値の最大値最小値探索処理。
実現方法としては、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換、あるいは逆変換する装置を用いれば、いかなる構成による実現も可能である。
本発明は、限定された離散的な時間空間方向における補間処理の結果の信頼性であるブロックマッチング残差から計算される重み係数を用いた重み付け平均によって、連続的な方向のエッジ領域に対応した補間を行うものであるが、これをさらなる時間空間的な方向に拡張することは原理的にはいくらでも可能であり、多様な空間的な画像内容や画像間の動きに対応することができる。
（本発明にかかる実施形態の要旨）
図１は、本発明の処理全体の概要を説明するブロック図である。図１に示すように、フィールド内およびフレーム間による空間および時間方向の補間処理からなるデインターレース処理（インターレースープログレッシブ変換処理）と、その結果のプログレッシブ画像をフレーム内方向性補間により任意サイズに拡大する解像度変換処理の２段階の処理からなり、さらに、後処理として、マルチスケール化した非線形エンハンサ処理を行う。非線形エンハンサ処理による過剰な補正を抑制するために、注目画素近傍における入力画素値の最大値最小値を探索して、それらの値による適応的なクリップ処理を併用する。
図１は、本発明の処理全体の概要を説明するブロック図である。図１に示すように、フィールド内およびフレーム間による空間および時間方向の補間処理からなるデインターレース処理（インターレースープログレッシブ変換処理）と、その結果のプログレッシブ画像をフレーム内方向性補間により任意サイズに拡大する解像度変換処理の２段階の処理からなり、さらに、後処理として、マルチスケール化した非線形エンハンサ処理を行う。非線形エンハンサ処理による過剰な補正を抑制するために、注目画素近傍における入力画素値の最大値最小値を探索して、それらの値による適応的なクリップ処理を併用する。
また、図２は、ブロックマッチングによる画素の方向性の推定について説明する概要図である。図２から理解できるように、奇数フィールド（ＯＤＤ）における５つの方向の画素○の組合せにより、偶数フィールド（ＥＶＥＮ）における画素●を補間生成する。補間に用いる画素○を中心とする３画素×３ラインのブロックを定義して、各方向におけるブロック間の差分絶対値総和（ＳＡＤ）を計算する。水平走査線上の画素の１次元補間により生成したサブピクセル精度の画素×による４方向も加える。
ブロックマッチング規準には、Ｍ画素×Ｎラインのブロック領域中の画素数で正規化した差分絶対値総和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ，ＳＡＤ）を用いる。
ここで、
は、整数部分（切捨て）を表す床関数であり、Δαは、方向によるオフセット値である。
ブロックマッチングを行ったすべての方向における補間結果を次のように重み付け平均したものを最終的な補間結果とする。
ここで、
は各方向における補間結果であり、ｗαは次のようなブロックマッチング残差によるガウス重みとする。
σｒは、各方向におけるブロックマッチングの結果のＳＡＤαの許容範囲の調整パラメータである。
フィールド内画素の方向性が画像内容によっては、明確に得られない場合があるので、画像中のエッジ部、テクスチャ部、平坦部を判別して、領域毎に最適なフィールド内空間補間を行うものとする。
画像の領域判定の方法は、具体的には次のように行うものとする。
１、すべての方向におけるブロックマッチングの結果のＳＡＤ値の標準偏差σＳＡＤを計算する。
２、σＳＡＤ＜ｄの場合、平坦部と判定する。ここで、ｄは、画像中の平坦部であることを判定するための閾値である。
３、ＳＡＤ値データをソートして、小さい方からｎ個のＳＡＤ値データを除外した場合の標準偏差σ（ｎ）ＳＡＤを計算する。
４、｜σＳＡＤ−σ（ｎ）ＳＡＤ｜＜ｅの場合、エッジ部と判定する。そうでなければ、テクスチャ部と判定する。ここで、ｅは、画像中のテクスチャ部であることを判定するための閾値である。
図３は、ＯＤＤｋ−１＆ＥＶＥＮｋ−１とＯＤＤｋ＆ＥＶＥＮｋのフレーム間のブロックマッチング及び時間方向性補間について説明する概要図である。図３に示すように、奇数フィールドと偶数フィールドからなるフレーム画像によるブロック領域を用いて、隣接するフレーム画像間でブロックマッチングを行う。得られるマッチング残差による重み係数とフレーム間補間画素を重み付け平均処理に加えることにより、フレーム間静止領域におけるフレーム解像度を復元する。
また、解像度変換処理は、サブピクセル精度のフレーム内空間方向性補間により次のように行う。図４は、サブピクセル精度のフレーム内空間方向性補間について説明する図である。
の入力画像におけるサブピクセル位置の座標を（ξ，η）とすると、次のように簡単になる。
方向性を推定するためのブロック画素も同様にして、補間に用いる画素を中心としたサブピクセル位置の画素によるものを用いればよい。
また、図５は、非線形エンハンサ処理の動作概要について説明する図である。Ｄｏｇフィルタにより検出されたエッジ成分をレベルに関する非線形操作により高周波成分を拡張して、原画像に加えるが、ここで、非線形操作による過剰な強調を抑制するために、注目画素近傍における入力画素値の最大値最小値を探索して、それらの値による適応的なクリップ処理を行う。レベルに関する非線形操作は、例えば、次のようなものが考えられる。
ここで、ｓｇｎ（ｘ）は符号関数であり、ｒは、２以上の定数である。
また、図６は、時間空間方向性補間とマルチスケール非線形エンハンサによるビデオ超解像について、階層フィルタ処理概要について説明するために、階層処理を視覚化し、最初の行は入力画像であり、２行目はカーネルサイズ５画素のガウシアンフィルタによるフィルタ処理がなされたものであり、３行目は２行目の結果を１画素おきに用いて同一のフィルタ処理を行ったものである。
このような非線形エンハンサをマルチスケール拡張する。すなわち、画像内容によって、細かなエッジから緩やかなエッジまで、空間周波数に応じた解像度の向上を可能とする。空間周波数の低い成分を抽出するためには、フィルタの演算量が増す（いわゆるタップ数が必要）。
そこで、階層処理によってフィルタ処理の演算量を低減する。図６の１行目（Ｌｅｖｅｌ０）は原画像における画素であり、５タップのフィルタ処理を行った結果が２行目（Ｌｅｖｅｌ１）であり、その結果を１画素おきに同一の５タップのフィルタ処理を行う。以降、フィルタ処理を行う画素間隔を広げていく。図７は、階層フィルタ処理によるマルチスケール非線形エンハンサ処理概要について説明するブロック図である。
（本発明にかかる実施形態の詳細な説明）
実施形態の要旨概要は上述したとおりであるが、本発明にかかる実施形態の詳細な説明について以下に詳述する。なお、以下の説明においては、上述した要旨の内容と一部重複する技術事項も含まれるものであるが、説明の流れを維持して理解を容易にする観点から、重複説明を存置するものとする。
実施形態の要旨概要は上述したとおりであるが、本発明にかかる実施形態の詳細な説明について以下に詳述する。なお、以下の説明においては、上述した要旨の内容と一部重複する技術事項も含まれるものであるが、説明の流れを維持して理解を容易にする観点から、重複説明を存置するものとする。
（１パスビデオ超解像処理）
(デインターレース処理）
（インターレース方式ビデオ）
(デインターレース処理）
（インターレース方式ビデオ）
伝送のためには、信号は１次元でなければならない。このため、走査と呼ばれる方法により、時間空間的に３次元であるビデオ信号を１次元の信号に変換する。図９に示すように、１枚の画像（これをフレームと呼ぶ）を２枚のフィールドに分け、各フィールドで１本おきに合計５２５本の走査線で走査する（ＮＴＳＣの場合）。この方式により伝送周波数の帯域を半減することができるが、処理としては複雑になる。すなわち、図１０に示すように、時間方向ｔと垂直方向ｙに着目すれば、走査線は標本点と見ることができるが、インターレース方式の場合は、標本点である画素が時間的に１／６０秒離れているだけでなく、空間的に走査線１ラインだけオフセットが生じている。
ここで、図８は、順次走査とインターレース走査について説明するための順次走査について説明する図であり、図９は、順次走査とインターレース走査について説明するためのインターレース走査について説明する図であり、１枚の画像を２枚のフィールドに分け、各フィールドで１本おきに合計５２５本の走査線を走査することを説明する図である。また、図１０は、順次走査とインターレース走査について説明するための隣接するフィールドが空間的に１ラインだけオフセットが生じていることを説明する図であって、第１フィールドおよび第２フィールドを併せて１フレームと称するものとする。
（内挿補間）
従来の画像の拡大方法は、原画素と原画素の間の画素を内挿補間生成することにより行われている。標本値から元来の連続的な信号ｆａ（ｘ）を復元する内挿公式は、次のように与えられる。
従来の画像の拡大方法は、原画素と原画素の間の画素を内挿補間生成することにより行われている。標本値から元来の連続的な信号ｆａ（ｘ）を復元する内挿公式は、次のように与えられる。
［数式６］において、Ｔは標本化周期であり、その逆数は標本化周波数と呼ばれる。ｓｉｎ（π／Ｔ）ｘ／（π／Ｔ）ｘは、シンク（ｓｉｎｃ）関数である。画像の場合、ｆａ（αＴ）は原画像における離散的な画素値に相当する。実際には、適当な窓関数を掛けて、無限に続くシンク関数を有限で打ち切ったり、適当な有限関数により近似したりする。上記［数式６］は、１次元信号に対するものである。画像は２次元信号であり、水平垂直の各方向に分離して処理が可能である。デインターレース処理は、フィールド画像の垂直方向における２倍拡大と見なせる。
特に、インターレース−プログレッシブ変換では、静止領域におけるフレーム解像度を復元するために、フレーム間差分に基づく動き検出処理による動き適応変換が行われてきた。動き検出回路の例としては、特許第２６４２８４６号公報や特開平５−３００５４１号公報、特開２００１−２２３９９５公報等、多くある。
また、近年、超解像と呼ばれる処理の研究が盛んに行われている。
［非特許文献］
S. C. Park, M. K. Park, and M. G. Kang, Super-resolution image reconstruction: a technical overview,IEEE Signal Processing Magazine, Vol. 20, No. 3, pp.21-36. May 2003.
［非特許文献］
S. C. Park, M. K. Park, and M. G. Kang, Super-resolution image reconstruction: a technical overview,IEEE Signal Processing Magazine, Vol. 20, No. 3, pp.21-36. May 2003.
［特許文献］
特開２００９−７０１２３号公報「画像処理装置及びその方法」
特開２００９−７０１２３号公報「画像処理装置及びその方法」
（フィールド内空間方向性補間）
フィールド内の画素を用いた空間方向性補間によるインターレース−プログレッシブ変換を行う。入力フィールド画像Ｉ（ｉ，ｊ），ｉ＝１，．．，Ｈ，ｊ＝１，．．，Ｖ／２とすると、変換されたフレーム画像Ｉ（ｉ’，ｊ’），ｉ’＝１，．．，Ｈ，ｊ’＝１，．．，Ｖは次のようになる。
フィールド内の画素を用いた空間方向性補間によるインターレース−プログレッシブ変換を行う。入力フィールド画像Ｉ（ｉ，ｊ），ｉ＝１，．．，Ｈ，ｊ＝１，．．，Ｖ／２とすると、変換されたフレーム画像Ｉ（ｉ’，ｊ’），ｉ’＝１，．．，Ｈ，ｊ’＝１，．．，Ｖは次のようになる。
ここで、ｍｏｄは剰余演算子であり、ｋは１から始まるフィールド番号を表す。また、
は、空間方向性補間による変換画素である。
画素の方向性の推定には、ブロックマッチングを用いる。ブロックマッチングの規準としては、次のようなＭ画素×Ｎラインのブロック領域中の画素数により正規化した差分絶対値総和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ,ＳＡＤ）を用いる。
ここで、
は、整数部分（切捨て）を表す床関数であり、Δαは、方向によるオフセット値である。図２では、ピクセル精度の方向の場合、Δα＝０，±１，±２であり、サブピクセル精度の方向の場合、Δα＝±０．５，±１．５である。サブピクセル精度の方向性の推定と補間処理は、水平走査線上の画素を１次元補間することにより行う。
ブロックマッチングを行ったすべての方向における補間結果を次のように重み付け平均したものを最終的な補間結果とする。
ここで、
は、各方向における補間結果であり、ｗαは次のようなブロックマッチング残差によるガウス重みとする。
ここで、σｒは各方向におけるブロックマッチングの結果ＳＡＤαの許容範囲を調整するためのパラメータである。
（領域適応処理と動き適応処理）
フィールド内画素の方向性が画像内容によっては、明確に得られない場合がある。そこで、画像中のエッジ部、テクスチャ部、平坦部を判別して、領域毎にフィールド内空間補間を行う。画像の領域判定の方法は、次のように行う。
フィールド内画素の方向性が画像内容によっては、明確に得られない場合がある。そこで、画像中のエッジ部、テクスチャ部、平坦部を判別して、領域毎にフィールド内空間補間を行う。画像の領域判定の方法は、次のように行う。
１、すべての方向におけるブロックマッチングの結果のＳＡＤα値の標準偏差σＳＡＤを計算する。
２、σＳＡＤ＜ｄの場合、平坦部と判定する。ここで、ｄは、画像中の平坦部であることを判定するための閾値である。
３、ＳＡＤα値データをソートして、小さい方からｎ個のＳＡＤα値データを除外した場合の標準偏差σ（ｎ）ＳＡＤを計算する。
４、｜σＳＡＤ−σ（ｎ）ＳＡＤ｜＜ｅの場合、エッジ部と判定する。そうでなければ、テクスチャ部と判定する。ここで、ｅは、画像中のテクスチャ部であることを判定するための閾値である。
エッジ部と判定された画素に対してフィールド内方向性補間の重み付け平均を行う。それ以外の領域の画素に関しては、垂直方向のみの補間を行う。
さらにフレーム間でマッチング処理を行い、フレーム間補間処理を行う。図３に示すように、奇数フィールドと偶数フィールドからなるフレーム画像によるブロック領域を用いて、隣接するフレーム画像間でブロックマッチングを行う。得られるマッチング残差による重み係数とフレーム間補間画素を［数式９］の重み付け平均処理に加えることにより、フレーム間静止領域におけるフレーム解像度を復元する。
（解像度変換処理）
任意サイズへの拡大処理である解像度変換処理においてもデインターレース処理同様、空間的な方向性補間を行う。ここでは、インターレース走査されたフィールド画像をプログレッシブ走査されたフレーム画像に変換した結果を方向性補間するため、フレーム内空間方向性補間と呼ぶことにする。
任意サイズへの拡大処理である解像度変換処理においてもデインターレース処理同様、空間的な方向性補間を行う。ここでは、インターレース走査されたフィールド画像をプログレッシブ走査されたフレーム画像に変換した結果を方向性補間するため、フレーム内空間方向性補間と呼ぶことにする。
図４の入力フレーム画像におけるサブピクセル位置の画素●を補間生成するには、走査線上のピクセル位置の画素○により１次元補間した画素×によりフレーム内空間方向性補間する。各方向における補間画素値
は、画素間の空間的な距離の逆比による重み付け平均により、
として計算できるが、
の入力画像におけるサブピクセル位置の座標を（ξ，η）とすると、次のように簡単になる。
方向性を推定するためのブロック画素も，補間に用いる画素を中心としたサブピクセル位置の画素によるものを用いればよい。各方向における補間画素
をデインターレース処理同様、［数式９］の重み付け平均する。
（マルチスケール非線形エンハンサ）
フレーム内空間方向性補間による解像度変換処理の結果を後処理的に画像のエッジ情報に基づいた非線形エンハンサ処理を行うことにより、さらなる解像度の向上を図る。図５に非線形エンハンサ処理の動作を示す。
フレーム内空間方向性補間による解像度変換処理の結果を後処理的に画像のエッジ情報に基づいた非線形エンハンサ処理を行うことにより、さらなる解像度の向上を図る。図５に非線形エンハンサ処理の動作を示す。
エッジの検出にはガウシアン差分（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ,ＤｏＧ）フィルタを用いる。ガウシアン差分を計算するためのガウシアン平滑化フィルタの処理カーネルを、
とすると、画像Ｉ（ｘ）のＤｏＧフィルタは、
である（ただし、１次元の場合）。
ここで、＊はたたみ込み演算であり、σ１＞σ２である。ＤｏＧフィルタはガウシアン平滑化フィルタの２次微分であるラプラシアン（Ｌａｐｌａｃｉａｎ ｏｆ Ｇａｕｓｓｉａｎ, ＬｏＧ）フィルタの良い近似であり、計算効率も高い。画像の場合には、水平垂直方向に分離して処理を行うことができる。ラプラシアンフィルタ同様、方向によらないエッジ検出が可能である。
ＤｏＧフィルタにより検出されたエッジ成分をレベルに関する非線形操作により高周波成分を拡張して、原画像に加えるが、ここで、非線形操作による過剰な強調を抑制するために、注目画素近傍における入力画素値の最大値・最小値を探索して、それらの値による適応的なクリップ処理を行う。
レベルに関する非線形操作としては、例えば、次のようなものが考えられる。
ここで、ｓｇｎ（ｘ）は符号関数であり、ｒは２以上の定数である。
このような非線形エンハンサをマルチスケール拡張する。ＤｏＧフィルタによるエッジ検出は、σ値を変えることにより、細かなエッジから緩やかなエッジまで検出が可能であるが、σ値が増すに従って計算量も増える。そこで、次のような階層処理を用いる。
図６は、階層処理を視覚化したものである。最初の行は入力画像であり、２行目はカーネルサイズ５画素のガウシアンフィルタによるフィルタ処理がなされたものである。
また、３行目は、２行目の結果を１画素おきに用いて同一のフィルタ処理を行ったものである。以降、フィルタ処理を行う画素間隔を広げていく。図７は、階層処理によるマルチスケール非線形エンハンサ処理のブロック図であり、図１は、処理全体のブロック図である。
（シミュレーション実験）
（人工エッジ画像実験）
図１１は人工的なエッジ画像例であり、傾斜角が各々１２度である場合を説明する図である。エッジの傾斜角度を０度から６０度まで、６度刻みで変えたエッジ画像に、正規化カットオフ周波数０．３の低域通過フィルタ処理を行って、水平垂直ともに１／２縮小した後、インターレース化を行う。そのようなインターレース画像に対して、本発明による方法を用いてデインターレース処理、解像度変換処理およびマルチスケール非線形エンハンサ処理を行い、原画像を復元する。復元画像と原画像の平均二乗誤差画像ＭＳＥを計算して、そのピークＳＮ比（ＰＳＮＲ）により復元の良さを評価する。バイキュービック補間による従来法とも比較する。
（人工エッジ画像実験）
図１１は人工的なエッジ画像例であり、傾斜角が各々１２度である場合を説明する図である。エッジの傾斜角度を０度から６０度まで、６度刻みで変えたエッジ画像に、正規化カットオフ周波数０．３の低域通過フィルタ処理を行って、水平垂直ともに１／２縮小した後、インターレース化を行う。そのようなインターレース画像に対して、本発明による方法を用いてデインターレース処理、解像度変換処理およびマルチスケール非線形エンハンサ処理を行い、原画像を復元する。復元画像と原画像の平均二乗誤差画像ＭＳＥを計算して、そのピークＳＮ比（ＰＳＮＲ）により復元の良さを評価する。バイキュービック補間による従来法とも比較する。
また、図１２は、人工エッジ画像におけるエッジ角度（エッジ傾斜角）に対する復元画像と原画像の平均二乗誤差画像のピークＳＮ比の結果のグラフであり、バイキュービック補間（Ｂｉｃｕｂｉｃ）、方向性補間（Ｄｉｒｌｎｔｐ）、方向性補間＋非線形エンハンサ（Ｄｉｒｌｎｔｐ＋ＮＬＥｎｈ）について説明する図である。
従来法による結果は、エッジの傾斜角度が増すにつれて、ピークＳＮ比が減少しているが、本発明における方向性補間の結果は、エッジの傾斜角度によらず、ほぼ一定であり、最大４．６ｄＢの改善が得られている。また、非線形エンハンサ処理を行うことにより、さらに改善している。補間方向が離散的であっても、重み付け平均を行うことによって、連続的なエッジの方向に対応していることが理解できる。
デインターレース処理および解像度変換処理における方向は、図２にあるようにピクセル精度で５方向、サブピクセル精度で４方向の計９方向とした。方向の推定のためのブロックマッチングのブロックサイズはいずれも９画素×７ライン、各方向の補間結果の重み付け平均のためのσｒは、それぞれ１．０，０．７５とした。非線形エンハンサ処理における階層ＤｏＧフィルタは、σ＝１として、階層はレベル２まで、非線形操作としては、３乗関数を用いた。
（実画像実験）
（デインターレース処理）
図１３は、連続するインターレース走査されたフレーム画像を説明する図である。画像サイズは７２０画素×５７６ライン（ＰＡＬ方式）であり、フィールド間の動きによる縞状のコーミング（ｃｏｍｂｉｎｇ）が見られる。第１画像における奇数フィールド画像をデインターレース処理してフレーム画像に変換する。
（デインターレース処理）
図１３は、連続するインターレース走査されたフレーム画像を説明する図である。画像サイズは７２０画素×５７６ライン（ＰＡＬ方式）であり、フィールド間の動きによる縞状のコーミング（ｃｏｍｂｉｎｇ）が見られる。第１画像における奇数フィールド画像をデインターレース処理してフレーム画像に変換する。
また、図１４は、本発明におけるフィールド内方向性補間処理およびフレーム間時間方向性補間によって、奇数フィールド画素から偶数フィールド画素を生成したフレーム画像への変換結果について説明する図である。
フィールド内における方向としては、図２にあるようにピクセル精度で５方向、サブピクセル精度で４方向の計９方向とした。フィールド内およびフレーム間方向性推定のためのブロックマッチングにおけるブロックサイズは、９画素×７ラインであり、各方向の補間結果の重み付け平均のためのσｒ＝１．０とした。
画像中の枠で囲まれた領域は、エッジ部（１４１）、テクスチャ部（１４２）、平坦部（１４３）、静止テロップ部（１４４）であり、従来法であるキュービック補間との違いを比較するために領域を拡大した画像も示している。図１５のエッジ部は従来法と比較して、方向性補間の重み付け平均の結果はジャギが低減して滑らかなのが理解できる。図１６の静止テロップ部はフレーム間時間方向補間により、フレーム解像度が復元されているのが理解できる。また、テクスチャ部は領域判別の結果から従来法同様、垂直方向のみの補間結果となっている。
ここで、図１５は、図１４に示すエッジ部の領域の拡大画像を説明する図であって、紙面左側が従来法（キュービック補間）を説明し、紙面右側が本発明による画像を説明する図である。また、図１６は、図１４に示す静止テロップ部の領域の拡大画像を説明する図であり、紙面左側が従来法（キュービック補間）を説明し、紙面右側が本発明による画像を説明する図である。
図１７は、領域判別による画素毎のブロックマッチング結果のＳＡＤα値の標準偏差値の画像表示を示しており、白い画素ほどエッジらしさを表し、画素毎のマッチング残差による偏差値の差分絶対値の最大値が白１００％になるようにスケールしたものであって、インターレース画像であるので、垂直方向のサイズがフレーム画像の半分となっていることを説明する図である。
また、図１８は、各領域の画素におけるフィールド内画素の方向性を推定するブロックマッチング結果のＳＡＤα値のグラフの一例を示す図であり、横軸α値０〜８は図２における左上から右下方向から順に右上から左下方向までの９方向を表し、エッジ部（ｅｄｇｅ）、テクスチャ部（ｔｅｘｔｕｒｅ）、平坦部（ｐｌａｎｅ）を示す図である。
領域判別には、ブロックマッチングの結果のＳＡＤα値データをソートして、小さい方から４個のＳＡＤα値を除外した標準偏差σ（４）ＳＡＤを用いた。また、テクスチャ判別のためのしきい値ｅ＝１０とした。
（解像度変換処理・マルチスケール非線形エンハンサ処理）
また、図１９は、デインターレース処理の結果を１３５０画素×１０８０ラインに解像度変換した結果を説明する図であり、図２０は、図１９で示した結果に加えて、さらにマルチスケール非線形エンハンサ処理した結果を説明する図である。
また、図１９は、デインターレース処理の結果を１３５０画素×１０８０ラインに解像度変換した結果を説明する図であり、図２０は、図１９で示した結果に加えて、さらにマルチスケール非線形エンハンサ処理した結果を説明する図である。
解像度変換のためのフレーム内方向性補間におけるブロックマッチングには、デインターレース処理同様、９画素×７ラインのブロックを用いた。方向性も同様に９方向である。非線形エンハンサ処理における階層ＤｏＧフィルタは、σ＝１として、その階層はレベル２まで、非線形操作としては、３乗関数を用いた。
また、図２１、図２２は、図１９（エンハンスなし）、図２０（エンハンスあり）のそれぞれの結果の周波数スペクトル画像について示す図であり、非線形エンハンサ処理により、周波数成分が拡張されていることを説明する図である。
図２３は、垂直周波数０における水平周波数スペクトル（いずれも正規化周波数）のグラフ表示を説明する図であり、レベル０と１のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ）、レベル０と１及びレベル１と２のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ＋Ｃｏａｒｓｅ）、エンハンスなし（Ｎｏｎ−Ｅｎｈａｎｃｅ）を説明する図である。
図２４は、水平周波数０における垂直周波数スペクトル（いずれも正規化周波数）のグラフ表示を説明する図であり、レベル０と１のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ）、レベル０と１及びレベル１と２のＤｏＧフィルタによるエンハンス結果（Ｆｉｎｅ＋Ｃｏａｒｓｅ）、エンハンスなし（Ｎｏｎ−Ｅｎｈａｎｃｅ）を説明する図である。マルチスケール化により、さらに広範囲の周波数成分が拡張されていることが図２３よ図２４とから理解できる。
（まとめ）
上述のように、次世代テレビ放送における過去の映像コンテンツのリパーパスのために、反復によらない１パスビデオ超解像処理として、画像の局所的な時間空間方向による補間とマルチスケール化した非線形エンハンサを提案した。
上述のように、次世代テレビ放送における過去の映像コンテンツのリパーパスのために、反復によらない１パスビデオ超解像処理として、画像の局所的な時間空間方向による補間とマルチスケール化した非線形エンハンサを提案した。
また、インターレース走査されたフィールド画像をプログレッシブ走査されたフレーム画像に変換するデインターレース処理と任意サイズへの拡大を行う解像度変換処理の２段階の処理からなり、デインターレース処理では、フィールド内空間方向性補間にフレーム間時間方向性補間を組み合わせることによって、エッジ部におけるジャギを低減しつつ、静止テロップ部のフレーム解像度を復元した。
また、フィールド内画素の方向を推定するブロックマッチング残差の結果から領域判別処理を行い、領域毎に最良な補間処理も実現した。
また、フレーム内空間方向性補間による解像度変換処理を行った後、マルチスケール化した非線形エンハンサにより、さらなる解像度の向上を図った。
また、上述したすべての処理は１パスでの実現が可能であり、リアルタイムでの処理が期待される。
なお、図２５は従来の内挿補間処理について説明する図であり、図２６は再構成型超解像処理について説明するブロック図である。
本発明は、映像分野全般、特に、映像の各種フォーマット間の変換処理に適するが、画像・映像の様々な解析や認識にも適用することができる。
Claims (10)
- インターレース−プログレッシブ変換において、フィールド内の画素の方向性を注目画素近傍領域からなるブロックによるブロックマッチングにより推定して、各方向性補間の結果をマッチング残差から計算される重み係数による重み付け平均したものを最終的な補間の結果とし、
さらに、フレーム間時間方向における奇数フィールドと偶数フィールドからなるフレーム画像による第２ブロックマッチングを行って時間方向の補間も遂行し、フィールド内空間方向性補間とフレーム間時間方向性を組み合わせる
ことを特徴とする１パスビデオ超解像処理方法。 - 請求項１に記載の１パスビデオ超解像処理方法において、
前記ブロックマッチングの結果から、画像のエッジ部、テクスチャ部、平坦部を判別して、領域毎に最良の補間を選択的に行う
ことを特徴とする１パスビデオ超解像処理方法。 - 請求項１または請求項２に記載の１パスビデオ超解像処理方法において、
前記時間方向の補間結果も前記第２ブロックマッチングのマッチング残差から重み係数を計算して、フィールド内空間方向性補間の重み付け平均に加えることにより統一的に扱う
ことを特徴とする１パスビデオ超解像処理方法。 - 請求項１乃至請求項３のいずれか一項に記載の１パスビデオ超解像処理方法において、
前記インターレース−プログレッシブ変換されたフレーム画像も同様にして、フレーム内方向性補間によって任意サイズへの拡大である解像度変換を行う
ことを特徴とする１パスビデオ超解像処理方法。 - 請求項４に記載の１パスビデオ超解像処理方法において、
前記解像度変換の結果をマルチスケール非線形エンハンサ処理を適応クリップ処理とともに用いて、さらなる解像度の向上を図る
ことを特徴とする１パスビデオ超解像処理方法。 - フィールド内画素の方向による補間を行い、補間画素を中心とする近傍画素からなるブロックを用いたブロックマッチングにより画素の方向性を推定し、
前記ブロックマッチングの結果から重み係数を計算して、すべての方向補間の結果を重み付け平均したものを最終的な補間結果とするとともに、
フレーム間時間方向による補間結果も第２ブロックマッチングを行い、前記第２ブロックマッチングの結果から重み係数を計算して、重み付け平均に加え、前記第２ブロックマッチングの結果から最良の方向の補間を選択し、方向性補間の重み付け平均によりプログレッシブ変換された画像をフレーム内空間性補間により非整数倍の任意サイズへ拡大して、解像度変換の結果を非線形エンハンサ処理により、解像度の向上を図る
ことを特徴とする１パスビデオ超解像処理方法。 - 請求項４に記載の１パスビデオ超解像処理方法において、
前記任意サイズへの拡大は非整数倍の拡大である
ことを特徴とする１パスビデオ超解像処理方法。 - 請求項１乃至請求項７のいずれか一項に記載の１パスビデオ超解像処理方法を用いて映像処理を遂行する映像処理装置。
- 請求項１乃至請求項７のいずれか一項に記載の１パスビデオ超解像処理方法を用いた映像処理をコンピュータに遂行させるためのプログラム。
- 請求項９に記載のプログラムを格納されたプログラム記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013232878A JP6294052B2 (ja) | 2013-11-11 | 2013-11-11 | １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013232878A JP6294052B2 (ja) | 2013-11-11 | 2013-11-11 | １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015095702A JP2015095702A (ja) | 2015-05-18 |
| JP6294052B2 true JP6294052B2 (ja) | 2018-03-14 |
Family
ID=53197853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013232878A Active JP6294052B2 (ja) | 2013-11-11 | 2013-11-11 | １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6294052B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6137437B1 (ja) * | 2015-11-17 | 2017-05-31 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
| CN108961186B (zh) * | 2018-06-29 | 2022-02-15 | 福建帝视信息科技有限公司 | 一种基于深度学习的老旧影片修复重制方法 |
| CN112785501B (zh) * | 2021-01-20 | 2023-09-01 | 北京百度网讯科技有限公司 | 文字图像的处理方法、装置、设备和存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2231460B (en) * | 1989-05-04 | 1993-06-30 | Sony Corp | Spatial interpolation of digital video signals |
| JP4171211B2 (ja) * | 2001-12-18 | 2008-10-22 | 株式会社ルネサステクノロジ | 映像信号表示処理装置 |
| JP3829985B2 (ja) * | 2002-10-31 | 2006-10-04 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4190462B2 (ja) * | 2004-05-28 | 2008-12-03 | シャープ株式会社 | 画素補間方向検出装置、画素補間装置、及び映像信号処理装置 |
-
2013
- 2013-11-11 JP JP2013232878A patent/JP6294052B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015095702A (ja) | 2015-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7406208B2 (en) | Edge enhancement process and system | |
| JP4490987B2 (ja) | 高解像度化装置および方法 | |
| JP5414519B2 (ja) | 運動補償されたビデオの空間アップコンバート | |
| US20110206127A1 (en) | Method and Apparatus of Frame Interpolation | |
| JP5133038B2 (ja) | 画像復元方法および画像復元装置 | |
| JP6294052B2 (ja) | １パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置 | |
| US8594199B2 (en) | Apparatus and method for motion vector filtering based on local image segmentation and lattice maps | |
| US7679676B2 (en) | Spatial signal conversion | |
| JP4355577B2 (ja) | ノイズ抑制対角線方向補正によるアップコンバージョン | |
| Jung et al. | An effective de-interlacing technique using two types of motion information | |
| Park et al. | Covariance-based adaptive deinterlacing method using edge map | |
| KR100913890B1 (ko) | 움직임 적응 시공간 디인터레이싱 방법 | |
| JP4734239B2 (ja) | 空間的信号変換 | |
| Krämer et al. | Super-resolution mosaicing from MPEG compressed video | |
| KR100698266B1 (ko) | 3차원 디인터레이싱 장치 및 그 방법 | |
| KR101010961B1 (ko) | 블럭 기반의 영역 분류를 이용한 공간적 디인터레이싱 방법 | |
| Chen et al. | A gradient inverse weighted filtering approach for video deinterlacing | |
| KR102336387B1 (ko) | 구조 및 경사 기반 영상 보간 방법 | |
| JP2013500666A (ja) | 信号フィルタリング方法及びフィルタ係数計算方法 | |
| Venkatesan et al. | Video deinterlacing with control grid interpolation | |
| Zhang et al. | Fusion-based edge-sensitive interpolation method for deinterlacing | |
| Jin et al. | A gradient guided deinterlacing algorithm | |
| JP2007074051A (ja) | 走査変換装置及びプログラム並びに走査変換装置を有するシステム | |
| Chen et al. | Median Based Wiener Filtering interpolation method for Progressive display using Local Homogeneous Area Selector | |
| Bi et al. | A new source-side de-interlacing method for high quality video content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170706 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170824 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180202 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180215 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6294052 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |