JP3930360B2 - Video decoding device - Google Patents

Video decoding device Download PDF

Info

Publication number
JP3930360B2
JP3930360B2 JP2002097908A JP2002097908A JP3930360B2 JP 3930360 B2 JP3930360 B2 JP 3930360B2 JP 2002097908 A JP2002097908 A JP 2002097908A JP 2002097908 A JP2002097908 A JP 2002097908A JP 3930360 B2 JP3930360 B2 JP 3930360B2
Authority
JP
Japan
Prior art keywords
block boundary
pixels
flat part
length
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002097908A
Other languages
Japanese (ja)
Other versions
JP2003299086A (en
Inventor
裕和 川勝
篤 浅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002097908A priority Critical patent/JP3930360B2/en
Publication of JP2003299086A publication Critical patent/JP2003299086A/en
Application granted granted Critical
Publication of JP3930360B2 publication Critical patent/JP3930360B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、動画像復号装置に関し、特に、ブロック単位で符号化された動画像の復号技術に関する。
【0002】
【従来の技術】
画像信号の符号化は一般的に画面を複数のブロックに分割し、各ブロックに対してDCT(Discrete Cosine Transform:離散コサイン変換)などの符号化、量子化を行う方式が用いられる。このような方式を用いて符号化された画像を復号した場合には、ブロック単位に独立に変換係数の量子化が行われるため、復号画像のブロック境界で不連続なレベルの変化が生じる。このようなレベルの変化はブロック歪と呼ばれている。
【0003】
そこで、このようなブロック歪をなくしてブロック境界周辺の画像をより自然なものにするために、ISO/IEC 14496−2(MPEG−4 visual)では、その付属書において次のようなブロック歪の除去方法を開示している。
【0004】
まず、ブロック境界を中心にして左右方向に5画素づつ計10画素をサンプルし、これらサンプルされた10画素に相当する部分が平坦部分かどうかを判定する。このような判定を垂直方向に所定画素数分だけ行なう。
【0005】
より詳細には、まず、サンプルされた10画素について、隣接する各組の画素の差分値を求める。次に、求まった9つの画素差分値のうち第1の境界値T0以下の値をとる組を見つける。そして、この組の総数が第2の境界値T1以上であるかどうかを判断し、T1以上である場合にはサンプルされた画素の部分は平坦であると判断する。すなわち、隣接する画素の差分値が比較的小さいと判断される部分が所定数以上存在する場合には平坦であると判断している。そして、この平坦であると判断されたサンプル画素において、ブロック境界面を中心として左右方向に各4画素づつ(計8画素)に9タップのローパスフィルタをかけている。また、平坦部分でなく細かい画像であると判定された場合には、ブロック境界が不連続かどうかをブロック境界を中心とする左右方向の2画素(計4画素)に対して判定を行い、ここで不連続と判定された場合にはブロック境界の画素を補正して段差を小さくするという処理が行われる。
【0006】
【発明が解決しようとする課題】
しかしながら、この手法によると、例えばブロック境界を中心にして左右に数個の画素だけが平坦な画像であり、そこから先は細かい画像であったとしても、ブロック境界を挟んだ8画素に対してローパスフィルタをかけるか、あるいは、ブロック境界を挟む2画素の値を補正するかの2通りの方法しかなく、検出された平坦部分に対して適切なフィルタ処理を行なうことができなかった。また、一部に平坦な部分を含んでいても全体として見た場合に平坦ではない画像があった場合には、ローパスフィルタをかける条件からはずれてしまうので画素補正が代わりに行なわれることになり、不自然な画像になってしまう場合があった。
【0007】
本発明はこのような課題に着目してなされたものであり、その目的とするところは、ブロック境界を挟んだ画素の平坦部分の長さに応じて最適な特性のフィルタをかけることにより、画像の特徴に相応したブロック歪の除去を行うことができる動画像復号装置を提供することにある。
【0008】
【課題を解決するための手段】
上記の目的を達成するために、本発明の第1の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号して得られた復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、を具備し、前記平坦部分長判定手段は、前記ブロック境界検出手段により検出されたブロック境界から第1の方向に所定数の画素の平均値である第1の画素平均値と、前記ブロック境界から第2の方向に所定数の画素の平均値である第2の画素平均値との差を求める第1の算出手段と、前記第1の画素平均値からのばらつきと、前記第2の画素平均値からのばらつきとの和を求める第2の算出手段と、前記第1の算出手段の算出結果と、前記第2の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第3の算出手段と、を有する
【0009】
また、本発明の第2の態様に係る動画像復号装置は、第1の態様において、前記第1の方向に所定数の画素の平均値 DC0(n) 、当該平均値からのばらつき SAD0(n) 、前記第2の方向に所定数の画素の平均値 DC1(n) 、当該平均値からのばらつき SAD1(n) をそれぞれ以下の式(但しp、qは画素、nは画素数)で表わしたときに、
【数3】

Figure 0003930360
前記第1の算出手段は、| DC0(n) DC1(n) |の値を求め、前記第2の算出手段は、 SAD0(n) SAD1(n) の値を求め、前記第3の算出手段は、
DC0(n) DC1(n) |×α> SAD0(n) SAD1(n) で表わされる不等式(α:平坦部であるとの判定のされやすさの指数)を用いて前記第1の算出手段の算出結果と前記第2の算出手段の算出結果の大小関係を判定する
【0010】
また、本発明の第3の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号して得られた復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、
前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、復号画像のエッジ部分が検出された画像を作成するエッジ検出用画像作成手段と、を具備し、前記平坦部分長判定手段は、前記エッジ検出用画像作成手段により作成されたエッジ検出用画像について、前記ブロック境界から第1の方向に所定数の画素のパワーと、前記ブロック境界から第2の方向に所定数の画素のパワーとの差を求める第4の算出手段と、前記ブロック境界を挟む2画素の差の絶対値を求める第5の算出手段と、前記第4の算出手段の算出結果と、前記第5の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第6の算出手段と、を有する
【0011】
また、本発明の第4の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号する動画像復号手段と、前記動画像復号手段により復号された復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によりフィルタ処理された平坦部分の長さの画素を、前記動画像復号手段により復号された復号画像とともに表示する表示手段と、を具備し、前記平坦部分長判定手段は、前記ブロック境界検出手段により検出されたブロック境界から第1の方向に所定数の画素の平均値である第1の画素平均値と、前記ブロック境界から第2の方向に所定数の画素の平均値である第2の画素平均値の差を求める第1の算出手段と、前記第1の画素平均値からのばらつきと、前記第2の画素平均値からのばらつきの和を求める第2の算出手段と、前記第1の算出手段の算出結果と、前記第2の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第3の算出手段と、を有する。
【0012】
また、本発明の第5の態様に係る動画像復号装置は、第4の態様において、前記第1の方向に所定数の画素の平均値 DC0(n) 、当該平均値からのばらつき SAD0(n) 、前記第2の方向に所定数の画素の平均値 DC1(n) 、当該平均値からのばらつき SAD1(n) をそれぞれ以下の式(但しp、qは画素、nは画素数)で表わしたときに、
【数4】
Figure 0003930360
前記第1の算出手段は、| DC0(n) DC1(n) |の値を求め、前記第2の算出手段は、 SAD0(n) SAD1(n) の値を求め、前記第3の算出手段は、| DC0(n) DC1(n) |×α> SAD0(n) SAD1(n) で表わされる不等式(α:平坦部であるとの判定のされやすさの指数)を用いて前記第1の算出手段の算出結果と前記第2の算出手段の算出結果の大小関係を判定する
【0013】
また、本発明の第6の態様に係る動画像復号装置は、画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号する動画像復号手段と、前記動画像復号手段により復号された復号画像のブロック境界を検出するブロック境界検出手段と、前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、前記フィルタ処理手段によりフィルタ処理された平坦部分の長さの画素を、前記動画像復号手段により復号された復号画像とともに表示する表示手段と、復号画像のエッジ部分が検出された画像を作成するエッジ検出用画像作成手段と、を具備し、前記平坦部分長判定手段は、前記エッジ検出用画像作成手段により作成されたエッジ検出用画像について、前記ブロック境界から第1の方向に所定数の画素のパワーと、前記ブロック境界から第2の方向に所定数の画素のパワーとの差を求める第4の算出手段と、前記ブロック境界を挟む2画素の差の絶対値を求める第5の算出手段と、前記第4の算出手段の算出結果と、前記第5の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第6の算出手段と、を有する
【0014】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0015】
(第1実施形態)
図1は、本発明の第1の実施形態に係る動画像復号装置の構成を示すブロック図であり、動画像復号部11と、復号画像メモリ12と、ブロック境界ライン抽出部(ブロック境界検出手段)13と、平坦部分長判定部14と、フィルタ特性選出部15と、フィルタ処理部16と、表示画像メモリ17と、表示部18とからなる。また、上記した平坦部分長判定部14は、判定基準値抽出部19と、判定手段20とからなる。
【0016】
上記した構成において、動画像復号部11ではブロック単位で符号化されたビットストリームを受け取り画像データの復号処理を行う。復号された画像データはブロック単位で復号画像メモリ12に蓄積される。ブロック境界ライン抽出部13では縦方向のブロック境界に対する処理の場合は各ラインごとに左右方向に特定数のサンプル画素を抽出する。ブロック境界は1ブロックを構成する画素数により一義的に決まる。例えば1ブロックが8×8画素により構成される場合には最初の画素から8画素目がブロック境界となる。従って、抽出する画素数が8画素であるならば、ブロック境界ライン抽出部13は、図2に示すようにブロック境界から左右方向に8画素づつサンプル画素を抽出する。抽出された画素ラインは平坦部分長判定部14に送られる。
【0017】
平坦部分長判定部14では、ブロック境界から各ブロックの内方向に平坦部分長が何画素分存在するかを図3のフローチャートを実行することにより判定する。まず、ブロック境界から指定された判定サンプル画素を抽出する(ステップS1)。ここでは、平坦部分長を例えば3段階(判定の段階数=3)に求めるとし、その判定基準画素数を2画素、4画素、8画素とする。この場合、判定基準値抽出部19は、ブロック境界に隣接する画素から2画素分、4画素分、8画素分の判定条件値を求めて行く。
【0018】
このときの判定基準値は例えば画素平均値と平均値からのばらつきを用いる場合、判定画素数=nとし、ブロック境界を中心にして一方の側のブロックの画素pに対する画素平均値とばらつき(SAD)をそれぞれDC0(n)、SAD0(n)とし、ブロック境界を中心にして他方の側のブロックの画素qに対する画素平均値とばらつき(SAD)をそれぞれDC1(n)、SAD1(n)とすると、
【数1】
Figure 0003930360
で求めることができる。
【0019】
ステップS2及びS3では、このような式を用いてn画素分のDC(DC0(n)、DC1(n))と、n画素分のSAD(SAD0(n)、SAD1(n))をブロック境界から左右方向にそれぞれ計算する。
【0020】
次に、求めた各画素に対するDC(n)とSAD(n)が判定手段20に送られる。判定手段20では送られてきたDC(n)とSAD(n)から平坦部分長を判定するが、この場合、DCの差が両ブロック間の差となり、SADが平坦度となっており、平坦部分でブロック歪が生じる場合はSADが小さくDCがある程度の差を持つことになり以下の式に基づいて判定がなされる(ステップS4、S5)。
【0021】
すなわち、平坦部であるとの判定のされやすさの指数をαとし
【数2】
Figure 0003930360
が成り立つ場合のn(=2,4,8)を平坦部分長とする(ステップS6)。
【0022】
一方、上記条件が成り立たなかった場合には判定の段階数に応じてnを更新し(ステップS7)、ステップS2に戻る。最終的に条件が成立しなかった場合には平坦部分長=0とする。
【0023】
n=8画素の場合のDC0(8)、DC1(8)、SAD0(8)、SAD1(8)、DC_Diff=lDC0−DC1)lの具体的な例が図2に示されている。
【0024】
上記のようにして求まった平坦部分長nはフィルタ特性選出部15に送られる。以上が、平坦部分長判定部14における平坦部分長判定プロセスの処理内容である。
【0025】
図4は、フィルタ特性選出部15でのフィルタ特性選択プロセスの手順を示している。フィルタ特性選出部15はまず、平坦部分長判定部14から平坦部分長nを取得する(ステップS10)。そして、取得した平坦部分長nに応じたタップ数n+1、特性π/n、対象画素数n/2を計算する(ステップS11)。これらの値はテーブル引きにより求めても良い。次に、計算により求めたタップ数n+1、特性π/n、対象画素数n/2から対応するフィルタを選択してフィルタ処理部16へ送る(ステップS12)。
【0026】
上記の処理をさらに詳細に説明する。例えば平坦部分長n=2が選択された場合にはブロック境界を挟んで左右方向の計4画素が平坦部分となり、この4画素に対して平滑化を行うフィルタが必要となる。周期=4(画素)を平滑化するフィルタの特性を考えると、f=1/4としてフィルタの特性はω=2πf=π/2となる。従って平坦部分長=2に対してはフィルタの特性π/2、タップ数=3のフィルタがブロック境界を挟んだ左右両方向の画素にかかるようにフィルタ特性選出部15での設定がなされる。
【0027】
同様にして平坦部分長がnの場合には、特性π/n、タップ数n+1のフィルタがブロック境界を挟んだn/2画素の計n画素に対してかかるようにフィルタ特性が選択される。
【0028】
フィルタ特性選択部15で求められた特性のフィルタを用いて、ブロック境界ライン抽出部13で抽出された画素群がフィルタ処理部16に送られ、特性に応じたフィルタがかけられる。フィルタ処理を施された画像データは表示画像メモリ17に送られ、所定のタイミングで表示部18で表示がなされる。
【0029】
なお、上記した図1の各部で行なわれる処理はソフトウェア処理であっても、ハードウェア処理であっても実現可能である。
【0030】
(第2実施形態)
図5は、本発明の第2実施形態に係る動画像復号装置の構成を示すブロック図である。図1と同様に動画像復号部11と、復号画像メモリ12と、ブロック境界ライン抽出部13と、平坦部分長判定部14と、フィルタ特性選出部15と、フィルタ処理部16と、表示画像メモリ17と、表示部18を有し、平坦部分長判定部14は、判定基準値抽出部19、判定手段20から構成される。図5の構成はさらに、エッジ検出用画像作成部21、エッジ検出用画像メモリ22を構成要素として備えている。
【0031】
動画像復号部11ではブロック単位で符号化されたビットストリームを受け取り画像データの復号処理を行う。復号された画像データはブロック単位で復号画像メモリ12に蓄積される。エッジ検出用画像作成部21では画像の水平方向または垂直方向ラインに対してエッジ部分を検出するための処理を行い、エッジ成分の特徴のみが現れている画像を作成し、エッジ検出用画像メモリ22に蓄積する。例えば、ハイパスフィルタをかけることでエッジ成分のみが現れることは周知である。この場合フィルタにかけられる画素が全て同じ値の画素であればフィルタ結果はゼロとなり、隣接画素との画素値が異なる場合にのみフィルタ結果が値を持つことが特徴である。
【0032】
第2実施形態では上記復号画像メモリ12に記憶された画像データと、エッジ検出用画像メモリ22に記憶された蓄積されたエッジ検出用画像とを用いて平坦部分長の判定を行う。
【0033】
図6は、第2実施形態に係る平坦部分長判定プロセスの手順を説明するためのフローチャートである。
【0034】
まずブロック境界ライン抽出部13では、縦方向のブロック境界に対する処理の場合は各ラインごとに左右方向に特定数のエッジ検出処理画素をエッジ検出用画像メモリ22から抽出する(ステップS20)。抽出する画素数が8画素であるならば、ブロック境界ライン抽出部13は、図7に示すようにブロック境界から左右方向に8画素づつサンプル画素を抽出する。抽出された画素ラインは平坦部分長判定部14に送られる。
【0035】
図7は、第1実施形態において説明した復号画素についてのn=8画素の場合のDC0(8)、DC1(8)、SAD0(8)、SAD1(8)、DC_Diff=lDC0−DC1)lの例に加えて、エッジ検出用画素の例を示している。
【0036】
上記の処理と並行して、復号画像メモリ12からブロック境界を挟む2画素を判定用サンプル画素として抽出し(ステップS21)、平坦部分長判定部14に送る。
【0037】
平坦部分長判定部14では、ブロック境界から各ブロック内部方向に平坦部分長が何画素分存在するかを判定する。そのため、まずエッジ検出処理画素について、判定の段階数に応じた判定画素数(n)に対してブロック境界から双方向にn画素のパワーPを計算する(ステップS22)。
【0038】
平坦部分長判定部14は、これと並行して、判定用サンプル画素について、ブロック境界を挟む2画素の差の絶対値Dを計算する(ステップS23)。
【0039】
以下に、n画素のパワーPの計算について具体的に説明する。平坦部分長を例えば3段階(判定の段階数=3)に求めるとし、その判定基準画素数を2画素、4画素、8画素とする。この場合、判定基準値抽出部19において、ブロック境界に隣接する画素から2画素分、4画素分、8画素分の判定基準値を求めて行く。判定基準値は上述したように平坦部ではエッジ検出用画像メモリ22の対応画素値がゼロとなっていることから、復号画像の画素値のばらつきは抽出した画素値の大きさを求めることで判定できる。また、同時に求められたブロック境界を挟む両画素の差分からブロック間の画素差分を求めることができる。
【0040】
以上より判定基準画素数=nとし、抽出されたエッジ検出用画像メモリ22から抽出した画素のうち、一方の側のブロックの画素pに対するn画素分のパワーをP0(n)、他方の側のブロックの画素qに対するものをP1(n)とし、ブロック境界を挟んだ両画素の差の絶対値をDとすると、P0(n)、P1(n)、Dはそれぞれ、
【数3】
Figure 0003930360
により求めることができる。
【0041】
このようにして求められた各nに対するパワーP(n)と差の絶対値Dとは、平坦部分長判定部14の判定手段20に送られる。判定手段20では送られてきたパワーP(n)と両画素の差の絶対値Dとに基づいて平坦部分長を判定するが、この場合、Dが両ブロック間の差を、Pが平坦度を表しており、平坦部分でブロック歪が生じる場合はPが小さくDがある程度の差を持つことになり、以下の不等式に基づいて判定を行うことができる(ステップS25)。
【0042】
【数4】
Figure 0003930360
ここでαは、平坦部の判定されやすさの指数を表している。
【0043】
ここでの条件が成り立つことによりステップS25の判断がYESならば平坦画素数をn(=2,4,8)とし(ステップS26)、NOの場合には判定の段階数に応じてnを更新し(ステップS24)、ステップS22に戻る。nを更新しても条件が成り立たなかった場合には平坦部分長=0とする(ステップS26)。
【0044】
上記のようにして求まった平坦部分長をフィルタ特性選出部15に送る(ステップS27)ことにより平坦部分長判定プロセスを終了する。
【0045】
フィルタ特性選出部15では、送られてきた平坦部分長nに応じたフィルタが選択される。例えば平坦部分長nが2画素と選択された場合はブロック境界を挟んで計4画素が平坦部分となり、4画素に対して平滑化を行うフィルタが必要となる。周期=4(画素)を平滑化するフィルタの特性を考えると、f=1/4としてフィルタの特性はω=2πf=π/2となる。
【0046】
従って平坦部分長=2に対してはフィルタの特性π/2、タップ数=3のフィルタがブロック境界を挟んだ左右両方向の画素にかかるようにフィルタ特性選出部15での設定がなされる。
【0047】
同様にして平坦部分長がnの場合には、特性π/n、タップ数n+1のフィルタがブロック境界を挟んだn/2画素の計n画素に対してかけるようにフィルタ特性が選択される。
【0048】
フィルタ特性選択部15で求められた特性のフィルタを用いて、ブロック境界ライン抽出部13で抽出された画素群がフィルタ処理部16に送られ、特性に応じたフィルタがかけられる。フィルタ処理を施された画像データは表示画像メモリ17に送られ、所定のタイミングでモニタ18で表示がなされる。
【0049】
上記した第1及び第2実施形態によれば、平坦部分長判定部14とフィルタ特性選出部15とを新たに付加することにより、ブロック境界を挟んだ画素の平坦部分の長さが長い場合には長い画素に対してかかるローパスフィルタを、平坦部分の長さが短い場合には少ない画素数に対して有効なローパスフィルタをかけるようにしたので、画像の特徴に相応したブロック歪の除去が可能となる。
【0050】
なお、上記した図5の各部で行なわれる処理はソフトウェア処理であっても、ハードウェア処理であっても実現可能である。
【0051】
【発明の効果】
本発明によれば、ブロック境界を挟んだ画素の平坦部分の長さに応じて最適な特性のフィルタをかけるようにしたので、画像の特徴に相応したブロック歪の除去が可能になる。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る動画像復号装置の構成を示すブロック図である。
【図2】本発明の第1実施形態の方法により平坦部分長を求める方法を説明するための図である。
【図3】本発明の第1実施形態の方法により平坦部分長を求める手順を示すフローチャートである。
【図4】本発明の第1実施形態の方法によるフィルタ特性選択プロセスの手順を示すフローチャートである。
【図5】本発明の第2実施形態に係る動画像復号装置の構成を示すブロック図である。
【図6】本発明の第2実施形態の方法により平坦部分長を求める手順を示すフローチャートである。
【図7】本発明の第2実施形態の方法により平坦部分長を求める方法を説明するための図である。
【符号の説明】
11 動画像復号部
12 復号画像メモリ
13 ブロック境界ライン抽出部
14 平坦部分長判定部
15 フィルタ特性選出部
16 フィルタ処理部
17 表示画像メモリ
18 表示部
19 判定基準値抽出部
20 判定手段
21 エッジ検出用画像作成部
22 エッジ検出用画像メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving picture decoding apparatus, and more particularly to a technique for decoding a moving picture encoded in units of blocks.
[0002]
[Prior art]
In general, an image signal is encoded by dividing a screen into a plurality of blocks and performing encoding and quantization such as DCT (Discrete Cosine Transform) on each block. When an image encoded using such a method is decoded, since transform coefficients are quantized independently for each block, discontinuous level changes occur at the block boundaries of the decoded image. Such a change in level is called block distortion.
[0003]
Therefore, in order to eliminate such block distortion and make the image around the block boundary more natural, ISO / IEC 14496-2 (MPEG-4 visual) has the following block distortion in its appendix. A removal method is disclosed.
[0004]
First, a total of 10 pixels are sampled by 5 pixels in the left-right direction around the block boundary, and it is determined whether or not a portion corresponding to the sampled 10 pixels is a flat portion. Such a determination is performed for a predetermined number of pixels in the vertical direction.
[0005]
More specifically, first, a difference value between adjacent groups of pixels is obtained for 10 sampled pixels. Next, a set having a value equal to or smaller than the first boundary value T0 is found among the nine obtained pixel difference values. Then, it is determined whether or not the total number of sets is equal to or greater than the second boundary value T1, and if it is equal to or greater than T1, it is determined that the sampled pixel portion is flat. That is, when there are a predetermined number or more of portions where the difference value between adjacent pixels is determined to be relatively small, it is determined to be flat. The sample pixels determined to be flat are subjected to a 9-tap low-pass filter for each of the four pixels (total of 8 pixels) in the left-right direction around the block boundary surface. If it is determined that the image is not a flat part but a fine image, whether or not the block boundary is discontinuous is determined for two pixels in the left and right direction (four pixels in total) centered on the block boundary. If it is determined that the step is discontinuous, a process of correcting the pixel at the block boundary to reduce the step is performed.
[0006]
[Problems to be solved by the invention]
However, according to this method, for example, only a few pixels on the left and right with the block boundary as the center are flat images. There are only two methods of applying a low-pass filter or correcting the value of two pixels sandwiching the block boundary, and appropriate filter processing cannot be performed on the detected flat portion. In addition, if there is an image that is not flat when viewed as a whole even if it includes a flat part, pixel correction will be performed instead because it will deviate from the conditions for applying the low-pass filter. In some cases, the image looks unnatural.
[0007]
The present invention has been made paying attention to such a problem. The object of the present invention is to apply an image filter by applying an optimum characteristic filter according to the length of the flat portion of the pixel across the block boundary. It is an object of the present invention to provide a moving picture decoding apparatus capable of removing block distortion corresponding to the above feature.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the moving picture decoding apparatus according to the first aspect of the present invention obtains an image obtained by dividing an image into a plurality of blocks and decoding a signal that has been encoded for each divided block. the block boundary detection means for detecting a block boundary of a decoded image that is a flat portion length determination means for determining the length of the flat portion from the block boundary of the detected decoded image by said block boundary detection means, said flat a filter characteristic selection means for selecting a filter characteristic adapted to the length of the determined flat part by part length determination means, the length of the detected flat part with the filter characteristic selected by said filter characteristic selector means comprising a filter processing unit that performs filter processing, the relative pixel, the flat part length determination means, the block boundary detected by said block boundary detection means The difference between the first pixel average value that is the average value of the predetermined number of pixels in the first direction and the second pixel average value that is the average value of the predetermined number of pixels in the second direction from the block boundary. A first calculating means for calculating the first calculating means, a second calculating means for calculating a sum of the variation from the first pixel average value and the variation from the second pixel average value, and the first calculating means And a third calculation unit that compares the calculation result with the calculation result of the second calculation unit and calculates a flat portion length based on the magnitude relationship between the two .
[0009]
The moving picture decoding apparatus according to the second aspect of the present invention, in the first aspect, provides an average value DC0 (n) of a predetermined number of pixels in the first direction and a variation SAD0 (n ) , The average value DC1 (n) of a predetermined number of pixels in the second direction and the variation SAD1 (n) from the average value are expressed by the following equations (where p and q are pixels and n is the number of pixels), respectively. When
[Equation 3]
Figure 0003930360
Said first calculation means, | DC0 (n) - DC1 (n) | calculated value of said second calculating means determines the value of SAD0 (n) + SAD1 (n ), the third The calculation means is
| DC0 (n) - DC1 ( n) | × α> SAD0 (n) + inequality represented by SAD1 (n): the first with a (alpha is index of easiness to a determination that a flat portion) The magnitude relation between the calculation result of the calculation means and the calculation result of the second calculation means is determined .
[0010]
In addition, the moving picture decoding apparatus according to the third aspect of the present invention divides an image into a plurality of blocks and decodes a block boundary of a decoded image obtained by decoding a signal encoded for each divided block. Block boundary detection means for detecting the flat part length determination means for determining the length of the flat part from each block boundary of the decoded image detected by the block boundary detection means,
A filter characteristic selection unit that selects a filter characteristic that matches the length of the flat part determined by the flat part length determination unit; and a filter characteristic that is detected using the filter characteristic selected by the filter characteristic selection unit. comprising a filter processing unit that performs filter processing, an edge detection image generation means for edge creates an image detected in the decoded image, the relative pixel length, the flat part length determination means, the edge detection the edge detection images created by use image creating unit, a first direction of pixels in a predetermined number of power from the block boundary, the difference between the second direction to the power of a predetermined number of pixels from the block boundary a fourth calculating means for calculating a fifth calculating means for calculating the absolute value of the difference between two pixels sandwiching the block boundary, the calculation results of the fourth calculation means, Having a sixth calculating means for calculating a flat portion length by the magnitude relationship between the two by comparing the calculation result of the serial fifth calculating means.
[0011]
The moving picture decoding apparatus according to a fourth aspect of the present invention, an image is divided into a plurality of blocks, and the moving image decoding means for decoding the signal subjected to coding for each block obtained by dividing the moving picture the block boundary detection means for detecting a block boundary of a decoded decoded image by decoding means, said block boundary detection means flat part length determination means for determining the length of the flat portion from the block boundary of the detected decoded image by When the filter characteristic selection means for selecting a filter characteristic adapted to the length of the flat part which is determined by the flat part length determination means, the detected flat with a filter characteristic selected by said filter characteristic selector means and filtering means for performing filtering processing to the length of the pixel portion, the pixel length of the filtered flat portion by the filtering means Anda display means for displaying together with the decoded decoded image by the video decoding unit, the flat part length determination means, from said block boundary detected by the block boundary detection means a predetermined number of the first direction First calculation means for obtaining a difference between a first pixel average value that is an average value of pixels and a second pixel average value that is an average value of a predetermined number of pixels in a second direction from the block boundary; A second calculation means for calculating a sum of variation from the first pixel average value and variation from the second pixel average value, a calculation result of the first calculation means, and a second calculation means And a third calculation means for comparing the calculation results and calculating the flat portion length based on the magnitude relationship between the two.
[0012]
The moving picture decoding apparatus according to the fifth aspect of the present invention, in the fourth aspect, provides an average value DC0 (n) of a predetermined number of pixels in the first direction and a variation SAD0 (n ) , The average value DC1 (n) of a predetermined number of pixels in the second direction and the variation SAD1 (n) from the average value are expressed by the following equations (where p and q are pixels and n is the number of pixels), respectively. When
[Expression 4]
Figure 0003930360
Said first calculation means, | DC0 (n) - DC1 (n) | calculated value of said second calculating means determines the value of SAD0 (n) + SAD1 (n ), the third calculation means, | DC0 (n) - DC1 (n) | × α> SAD0 (n) + SAD1 (n) represented by inequality: using (alpha is index of easiness to a determination that a flat portion) The magnitude relationship between the calculation result of the first calculation means and the calculation result of the second calculation means is determined .
[0013]
The moving picture decoding apparatus according to the sixth aspect of the present invention includes a moving picture decoding unit that divides an image into a plurality of blocks and decodes a signal that has been encoded for each divided block, and the moving picture Block boundary detection means for detecting a block boundary of the decoded image decoded by the decoding means, and flat part length determination means for determining the length of the flat portion from each block boundary of the decoded image detected by the block boundary detection means A filter characteristic selection unit that selects a filter characteristic suitable for the length of the flat part determined by the flat part length determination unit, and the flatness detected using the filter characteristic selected by the filter characteristic selection unit A filter processing means for performing a filtering process on a pixel having a length of a portion, and a pixel having a length of a flat portion filtered by the filter processing means. And display means for displaying together with the decoded decoded image by the moving image decoding means, provided with an edge detection image generation means for generating image edge portion is detected in the decoded image, the flat part length determination means For the edge detection image created by the edge detection image creation means, the power of a predetermined number of pixels in the first direction from the block boundary and the power of a predetermined number of pixels in the second direction from the block boundary Calculating means for calculating a difference between the two pixels, a fifth calculating means for calculating an absolute value of a difference between two pixels sandwiching the block boundary, a calculation result of the fourth calculating means, and the fifth calculating means And a sixth calculation means for calculating the flat part length based on the magnitude relationship between the two .
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0015]
(First embodiment)
FIG. 1 is a block diagram showing the configuration of a moving picture decoding apparatus according to the first embodiment of the present invention. A moving picture decoding unit 11, a decoded image memory 12, a block boundary line extraction unit (block boundary detection means) ) 13, a flat portion length determination unit 14, a filter characteristic selection unit 15, a filter processing unit 16, a display image memory 17, and a display unit 18. The flat portion length determination unit 14 includes a determination reference value extraction unit 19 and a determination unit 20.
[0016]
In the above-described configuration, the moving image decoding unit 11 receives a bit stream encoded in units of blocks and performs decoding processing of image data. The decoded image data is stored in the decoded image memory 12 in units of blocks. In the case of processing for a block boundary in the vertical direction, the block boundary line extraction unit 13 extracts a specific number of sample pixels in the horizontal direction for each line. The block boundary is uniquely determined by the number of pixels constituting one block. For example, when one block is composed of 8 × 8 pixels, the eighth pixel from the first pixel is a block boundary. Therefore, if the number of pixels to be extracted is 8, the block boundary line extraction unit 13 extracts sample pixels by 8 pixels in the horizontal direction from the block boundary as shown in FIG. The extracted pixel line is sent to the flat part length determination unit 14.
[0017]
The flat part length determination unit 14 determines how many pixels of the flat part length exist in the inner direction of each block from the block boundary by executing the flowchart of FIG. First, the determination sample pixel designated from the block boundary is extracted (step S1). Here, it is assumed that the flat part length is obtained in, for example, three levels (number of determination steps = 3), and the determination reference pixel number is 2, 4, and 8 pixels. In this case, the determination reference value extraction unit 19 obtains determination condition values for two pixels, four pixels, and eight pixels from pixels adjacent to the block boundary.
[0018]
For example, when using the pixel average value and the variation from the average value as the determination reference value, the determination pixel number = n, and the pixel average value and the variation (SAD) with respect to the pixel p of the block on one side centering on the block boundary. ) Are DC0 (n) and SAD0 (n), respectively, and the pixel average value and variation (SAD) with respect to the pixel q of the block on the other side centered on the block boundary are DC1 (n) and SAD1 (n), respectively. ,
[Expression 1]
Figure 0003930360
Can be obtained.
[0019]
In steps S2 and S3, the DC boundary for n pixels (DC0 (n), DC1 (n)) and the SAD for n pixels (SAD0 (n), SAD1 (n)) are divided into block boundaries using such an expression. From left to right.
[0020]
Next, DC (n) and SAD (n) for each obtained pixel are sent to the determination means 20. The determination means 20 determines the flat part length from the sent DC (n) and SAD (n). In this case, the difference in DC is the difference between both blocks, and the SAD is flat, and the flatness is flat. If block distortion occurs in the portion, the SAD is small and the DC has a certain difference, and the determination is made based on the following equation (steps S4 and S5).
[0021]
That is, let α be the index of the ease of determining that it is a flat part.
Figure 0003930360
If n holds (= 2, 4, 8), the flat part length is set (step S6).
[0022]
On the other hand, if the above condition is not satisfied, n is updated according to the number of determination stages (step S7), and the process returns to step S2. If the condition is not finally satisfied, the flat part length = 0.
[0023]
A specific example of DC0 (8), DC1 (8), SAD0 (8), SAD1 (8), DC_Diff = lDC0-DC1) l in the case of n = 8 pixels is shown in FIG.
[0024]
The flat part length n obtained as described above is sent to the filter characteristic selector 15. The above is the processing content of the flat part length determination process in the flat part length determination unit 14.
[0025]
FIG. 4 shows the procedure of the filter characteristic selection process in the filter characteristic selection unit 15. The filter characteristic selection unit 15 first acquires the flat part length n from the flat part length determination unit 14 (step S10). Then, the number of taps n + 1, the characteristic π / n, and the number of target pixels n / 2 corresponding to the acquired flat part length n are calculated (step S11). These values may be obtained by table lookup. Next, the corresponding filter is selected from the number of taps n + 1, the characteristic π / n, and the number of target pixels n / 2 obtained by calculation and sent to the filter processing unit 16 (step S12).
[0026]
The above process will be described in more detail. For example, when the flat part length n = 2 is selected, a total of four pixels in the left-right direction across the block boundary becomes a flat part, and a filter for smoothing the four pixels is required. Considering the characteristics of the filter that smoothes the period = 4 (pixels), the characteristic of the filter is ω = 2πf = π / 2 with f = 1/4. Therefore, for the flat part length = 2, the filter characteristic selection unit 15 sets so that the filter having the filter characteristic π / 2 and the number of taps = 3 covers the pixels in both the left and right directions across the block boundary.
[0027]
Similarly, when the flat part length is n, the filter characteristic is selected so that the filter with the characteristic π / n and the number of taps n + 1 applies to a total of n / 2 pixels across the block boundary.
[0028]
The pixel group extracted by the block boundary line extraction unit 13 is sent to the filter processing unit 16 using the filter having the characteristic obtained by the filter characteristic selection unit 15, and is filtered according to the characteristic. The filtered image data is sent to the display image memory 17 and displayed on the display unit 18 at a predetermined timing.
[0029]
Note that the processing performed in each unit of FIG. 1 described above can be realized by software processing or hardware processing.
[0030]
(Second Embodiment)
FIG. 5 is a block diagram showing a configuration of a video decoding apparatus according to the second embodiment of the present invention. As in FIG. 1, the moving image decoding unit 11, the decoded image memory 12, the block boundary line extraction unit 13, the flat part length determination unit 14, the filter characteristic selection unit 15, the filter processing unit 16, and the display image memory 17 and a display unit 18, and the flat part length determination unit 14 includes a determination reference value extraction unit 19 and a determination unit 20. 5 further includes an edge detection image creating unit 21 and an edge detection image memory 22 as constituent elements.
[0031]
The moving image decoding unit 11 receives a bit stream encoded in units of blocks and decodes image data. The decoded image data is stored in the decoded image memory 12 in units of blocks. The edge detection image creation unit 21 performs processing for detecting an edge portion with respect to the horizontal or vertical line of the image, creates an image in which only the feature of the edge component appears, and creates an edge detection image memory 22. To accumulate. For example, it is well known that only an edge component appears by applying a high-pass filter. In this case, if all the pixels to be filtered are pixels having the same value, the filter result is zero, and the filter result has a value only when the pixel values of the adjacent pixels are different.
[0032]
In the second embodiment, the flat part length is determined using the image data stored in the decoded image memory 12 and the accumulated edge detection image stored in the edge detection image memory 22.
[0033]
FIG. 6 is a flowchart for explaining the procedure of the flat part length determination process according to the second embodiment.
[0034]
First, in the case of processing for a block boundary in the vertical direction, the block boundary line extraction unit 13 extracts a specific number of edge detection processing pixels from the edge detection image memory 22 in the horizontal direction for each line (step S20). If the number of pixels to be extracted is 8, the block boundary line extraction unit 13 extracts sample pixels by 8 pixels in the horizontal direction from the block boundary as shown in FIG. The extracted pixel line is sent to the flat part length determination unit 14.
[0035]
FIG. 7 shows DC0 (8), DC1 (8), SAD0 (8), SAD1 (8), DC_Diff = 1DC0−DC1) l in the case of n = 8 pixels for the decoded pixels described in the first embodiment. In addition to the example, an example of the edge detection pixel is shown.
[0036]
In parallel with the above processing, two pixels sandwiching the block boundary are extracted as sample pixels for determination from the decoded image memory 12 (step S21) and sent to the flat part length determination unit 14.
[0037]
The flat part length determination unit 14 determines how many pixels the flat part length exists in the inner direction of each block from the block boundary. Therefore, for the edge detection processing pixel, the power P of n pixels is calculated bi-directionally from the block boundary with respect to the determination pixel number (n) corresponding to the determination stage number (step S22).
[0038]
In parallel with this, the flat part length determination unit 14 calculates the absolute value D of the difference between the two pixels sandwiching the block boundary for the determination sample pixel (step S23).
[0039]
Hereinafter, the calculation of the power P of n pixels will be described in detail. Assume that the flat part length is obtained, for example, in three steps (number of determination steps = 3), and the determination reference pixel number is 2, 4, and 8 pixels. In this case, the determination reference value extraction unit 19 obtains determination reference values for two pixels, four pixels, and eight pixels from pixels adjacent to the block boundary. As described above, since the corresponding pixel value of the edge detection image memory 22 is zero in the flat portion as described above, the variation in the pixel value of the decoded image is determined by obtaining the size of the extracted pixel value. it can. Moreover, the pixel difference between blocks can be calculated | required from the difference of both pixels on both sides of the block boundary calculated | required simultaneously.
[0040]
From the above, the number of determination reference pixels is set to n, and among the extracted pixels from the edge detection image memory 22, the power for n pixels with respect to the pixel p of the block on one side is P0 (n), and the power on the other side If the pixel q of the block is P1 (n) and the absolute value of the difference between the two pixels across the block boundary is D, then P0 (n), P1 (n), D are respectively
[Equation 3]
Figure 0003930360
It can ask for.
[0041]
The power P (n) and the absolute value D of the difference for each n determined in this way are sent to the determination means 20 of the flat part length determination unit 14. The determination means 20 determines the flat part length based on the transmitted power P (n) and the absolute value D of the difference between both pixels. In this case, D is the difference between both blocks, and P is the flatness. When block distortion occurs in a flat portion, P is small and D has a certain difference, and determination can be made based on the following inequality (step S25).
[0042]
[Expression 4]
Figure 0003930360
Here, α represents an index of the ease of determining the flat portion.
[0043]
If the condition here is satisfied, if the determination in step S25 is YES, the number of flat pixels is set to n (= 2, 4, 8) (step S26). If NO, n is updated according to the number of determination stages. Then (step S24), the process returns to step S22. If the condition does not hold even if n is updated, the flat part length is set to 0 (step S26).
[0044]
The flat part length obtained as described above is sent to the filter characteristic selection unit 15 (step S27), thereby completing the flat part length determination process.
[0045]
The filter characteristic selection unit 15 selects a filter corresponding to the sent flat part length n. For example, when the flat part length n is selected as 2 pixels, a total of 4 pixels become flat parts across the block boundary, and a filter for smoothing the 4 pixels is required. Considering the characteristics of the filter that smoothes the period = 4 (pixels), the characteristic of the filter is ω = 2πf = π / 2 with f = 1/4.
[0046]
Therefore, for the flat part length = 2, the filter characteristic selection unit 15 sets so that the filter having the filter characteristic π / 2 and the number of taps = 3 covers the pixels in both the left and right directions across the block boundary.
[0047]
Similarly, when the flat part length is n, the filter characteristic is selected so that a filter having a characteristic π / n and a tap number n + 1 is applied to a total of n / 2 pixels across the block boundary.
[0048]
The pixel group extracted by the block boundary line extraction unit 13 is sent to the filter processing unit 16 using the filter having the characteristic obtained by the filter characteristic selection unit 15, and is filtered according to the characteristic. The filtered image data is sent to the display image memory 17 and displayed on the monitor 18 at a predetermined timing.
[0049]
According to the first and second embodiments described above, when the flat portion length determination unit 14 and the filter characteristic selection unit 15 are newly added, the length of the flat portion of the pixel across the block boundary is long. Since the low-pass filter is applied to long pixels and the effective low-pass filter is applied to a small number of pixels when the length of the flat part is short, it is possible to remove block distortion corresponding to the characteristics of the image. It becomes.
[0050]
Note that the processing performed in each unit of FIG. 5 described above can be realized by software processing or hardware processing.
[0051]
【The invention's effect】
According to the present invention, since the filter having the optimum characteristic is applied according to the length of the flat portion of the pixel across the block boundary, the block distortion corresponding to the feature of the image can be removed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a moving picture decoding apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram for explaining a method of obtaining a flat part length by the method of the first embodiment of the present invention.
FIG. 3 is a flowchart showing a procedure for obtaining a flat part length by the method according to the first embodiment of the present invention;
FIG. 4 is a flowchart showing a procedure of a filter characteristic selection process according to the method of the first embodiment of the present invention.
FIG. 5 is a block diagram showing a configuration of a video decoding device according to a second embodiment of the present invention.
FIG. 6 is a flowchart showing a procedure for obtaining a flat portion length by the method of the second embodiment of the present invention.
FIG. 7 is a diagram for explaining a method of obtaining a flat part length by the method of the second embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 Moving image decoding part 12 Decoded image memory 13 Block boundary line extraction part 14 Flat part length determination part 15 Filter characteristic selection part 16 Filter processing part 17 Display image memory 18 Display part 19 Determination reference value extraction part 20 Determination means 21 For edge detection Image creation unit 22 Image memory for edge detection

Claims (6)

画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号して得られた復号画像のブロック境界を検出するブロック境界検出手段と、
前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、
前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、
前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、を具備し、
前記平坦部分長判定手段は、前記ブロック境界検出手段により検出されたブロック境界から第1の方向に所定数の画素の平均値である第1の画素平均値と、前記ブロック境界から第2の方向に所定数の画素の平均値である第2の画素平均値との差を求める第1の算出手段と、前記第1の画素平均値からのばらつきと、前記第2の画素平均値からのばらつきとの和を求める第2の算出手段と、前記第1の算出手段の算出結果と、前記第2の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第3の算出手段と、を有することを特徴とする動画像復号装置。
Block boundary detecting means for dividing an image into a plurality of blocks and detecting a block boundary of a decoded image obtained by decoding a signal that has been encoded for each of the divided blocks;
A flat part length determination means for determining the length of the flat portion from the block boundary of the detected decoded image by said block boundary detection means,
A filter characteristic selection means for selecting a filter characteristic adapted to the length of the flat part which is determined by the flat part length determination means,
Anda filter processing means for performing a filtering process to the length of the pixels of the detected flat part with the filter characteristic selected by said filter characteristic selection means,
The flat part length determination means includes a first pixel average value that is an average value of a predetermined number of pixels in a first direction from the block boundary detected by the block boundary detection means, and a second direction from the block boundary. First calculating means for obtaining a difference from a second pixel average value that is an average value of a predetermined number of pixels, a variation from the first pixel average value, and a variation from the second pixel average value A second calculation means for obtaining the sum of the first calculation means, a calculation result of the first calculation means, and a calculation result of the second calculation means, and a flat part length is calculated based on a magnitude relationship between the two. A moving picture decoding apparatus.
前記第1の方向に所定数の画素の平均値 DC0(n) 、当該平均値からのばらつき SAD0(n) 、前記第2の方向に所定数の画素の平均値 DC1(n) 、当該平均値からのばらつき SAD1(n) をそれぞれ以下の式(但しp、qは画素、nは画素数)で表わしたときに、
Figure 0003930360
前記第1の算出手段は、| DC0(n) DC1(n) |の値を求め、前記第2の算出手段は、 SAD0(n) SAD1(n) の値を求め、前記第3の算出手段は、
DC0(n) DC1(n) |×α> SAD0(n) SAD1(n) で表わされる不等式(α:平坦部であるとの判定のされやすさの指数)を用いて前記第1の算出手段の算出結果と前記第2の算出手段の算出結果の大小関係を判定することを特徴とする請求項1記載の動画像復号装置。
Average value DC0 (n) of a predetermined number of pixels in the first direction, variation SAD0 (n) from the average value, Average value DC1 (n) of a predetermined number of pixels in the second direction, the average value When the variation SAD1 (n) from the above is expressed by the following equations (where p and q are pixels and n is the number of pixels),
Figure 0003930360
Said first calculation means, | DC0 (n) - DC1 (n) | calculated value of said second calculating means determines the value of SAD0 (n) + SAD1 (n ), the third The calculation means is
| DC0 (n) - DC1 ( n) | × α> SAD0 (n) + inequality represented by SAD1 (n): the first with a (alpha is index of easiness to a determination that a flat portion) The moving picture decoding apparatus according to claim 1 , wherein a magnitude relationship between a calculation result of the calculation means and a calculation result of the second calculation means is determined .
画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号して得られた復号画像のブロック境界を検出するブロック境界検出手段と、
前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、
前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、
前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、
復号画像のエッジ部分が検出された画像を作成するエッジ検出用画像作成手段と、を具備し、
前記平坦部分長判定手段は、前記エッジ検出用画像作成手段により作成されたエッジ検出用画像について、前記ブロック境界から第1の方向に所定数の画素のパワーと、前記ブロック境界から第2の方向に所定数の画素のパワーとの差を求める第4の算出手段と、前記ブロック境界を挟む2画素の差の絶対値を求める第5の算出手段と、前記第4の算出手段の算出結果と、前記第5の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第6の算出手段と、を有することを特徴とする動画像復号装置。
Block boundary detecting means for dividing an image into a plurality of blocks and detecting a block boundary of a decoded image obtained by decoding a signal that has been encoded for each of the divided blocks;
Flat part length determining means for determining the length of the flat part from each block boundary of the decoded image detected by the block boundary detecting means;
Filter characteristic selection means for selecting a filter characteristic suitable for the length of the flat part determined by the flat part length determination means;
Filter processing means for performing filter processing on the pixels of the length of the detected flat portion using the filter characteristics selected by the filter characteristic selection means;
An image generation means for edge detection for creating an image in which an edge portion of the decoded image is detected ;
The flat part length determination means includes a predetermined number of pixel powers in the first direction from the block boundary and a second direction from the block boundary in the edge detection image created by the edge detection image creation means. A fourth calculation unit for obtaining a difference from the power of a predetermined number of pixels, a fifth calculation unit for obtaining an absolute value of a difference between two pixels sandwiching the block boundary, and a calculation result of the fourth calculation unit, A moving picture decoding apparatus comprising: a sixth calculating means for comparing a calculation result of the fifth calculating means and calculating a flat part length based on a magnitude relationship between the two .
画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号する動画像復号手段と、
前記動画像復号手段により復号された復号画像のブロック境界を検出するブロック境界検出手段と、
前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、
前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、
前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、
前記フィルタ処理手段によりフィルタ処理された平坦部分の長さの画素を、前記動画像復号手段により復号された復号画像とともに表示する表示手段と、を具備し、
前記平坦部分長判定手段は、前記ブロック境界検出手段により検出されたブロック境界から第1の方向に所定数の画素の平均値である第1の画素平均値と、前記ブロック境界から第2の方向に所定数の画素の平均値である第2の画素平均値の差を求める第1の算出手段と、前記第1の画素平均値からのばらつきと、前記第2の画素平均値からのばらつきの和を求める第2の算出手段と、前記第1の算出手段の算出結果と、前記第2の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第3の算出手段と、を有することを特徴とする動画像復号装置。
A video decoding means for dividing an image into a plurality of blocks and decoding a signal that has been encoded for each of the divided blocks;
The block boundary detection means for detecting a block boundary of a decoded decoded image by the moving image decoding means,
A flat part length determination means for determining the length of the flat portion from the block boundary of the detected decoded image by said block boundary detection means,
A filter characteristic selection means for selecting a filter characteristic adapted to the length of the flat part which is determined by the flat part length determination means,
And filtering means for performing filtering processing to the length of the pixels of the detected flat part with the filter characteristic selected by said filter characteristic selection means,
Pixel length of the filtered flat portion by the filtering means, comprising a display means for displaying together with the decoded decoded image by the moving image decoding means,
The flat part length determination means includes a first pixel average value that is an average value of a predetermined number of pixels in a first direction from the block boundary detected by the block boundary detection means, and a second direction from the block boundary. A first calculating means for obtaining a difference between the second pixel average values, which is an average value of a predetermined number of pixels, a variation from the first pixel average value, and a variation from the second pixel average value. A second calculation means for calculating the sum, a calculation result of the first calculation means, and a calculation result of the second calculation means, and a third calculation for calculating the flat portion length based on the magnitude relationship between the two video decoding apparatus characterized by comprising a means.
前記第1の方向に所定数の画素の平均値 DC0(n) 、当該平均値からのばらつき SAD0(n) 、前記第2の方向に所定数の画素の平均値 DC1(n) 、当該平均値からのばらつき SAD1(n) をそれぞれ以下の式(但しp、qは画素、nは画素数)で表わしたときに、
Figure 0003930360
前記第1の算出手段は、| DC0(n) DC1(n) |の値を求め、前記第2の算出手段は、 SAD0(n) SAD1(n) の値を求め、前記第3の算出手段は、
DC0(n) DC1(n) |×α> SAD0(n) SAD1(n) で表わされる不等式(α:平坦部であるとの判定のされやすさの指数)を用いて前記第1の算出手段の算出結果と前記第2の算出手段の算出結果の大小関係を判定することを特徴とする請求項4記載の動画像復号装置。
Average value DC0 (n) of a predetermined number of pixels in the first direction, variation SAD0 (n) from the average value, Average value DC1 (n) of a predetermined number of pixels in the second direction, the average value When the variation SAD1 (n) from the above is expressed by the following equations (where p and q are pixels and n is the number of pixels),
Figure 0003930360
Said first calculation means, | DC0 (n) - DC1 (n) | calculated value of said second calculating means determines the value of SAD0 (n) + SAD1 (n ), the third The calculation means is
| DC0 (n) - DC1 ( n) | × α> SAD0 (n) + inequality represented by SAD1 (n): the first with a (alpha is index of easiness to a determination that a flat portion) 5. The moving picture decoding apparatus according to claim 4 , wherein a magnitude relation between the calculation result of the calculation means and the calculation result of the second calculation means is determined .
画像を複数のブロックに分割し、分割した各ブロック毎に符号化を行った信号を復号する動画像復号手段と、
前記動画像復号手段により復号された復号画像のブロック境界を検出するブロック境界検出手段と、
前記ブロック境界検出手段により検出された復号画像の各ブロック境界からの平坦部分の長さを判定する平坦部分長判定手段と、
前記平坦部分長判定手段により判定された平坦部分の長さに適合したフィルタ特性を選択するフィルタ特性選択手段と、
前記フィルタ特性選択手段により選択されたフィルタ特性を用いて前記検出された平坦部分の長さの画素に対するフィルタ処理を行うフィルタ処理手段と、
前記フィルタ処理手段によりフィルタ処理された平坦部分の長さの画素を、前記動画像復号手段により復号された復号画像とともに表示する表示手段と、
復号画像のエッジ部分が検出された画像を作成するエッジ検出用画像作成手段と、を具備し、
前記平坦部分長判定手段は、前記エッジ検出用画像作成手段により作成されたエッジ検出用画像について、前記ブロック境界から第1の方向に所定数の画素のパワーと、前記ブロック境界から第2の方向に所定数の画素のパワーとの差を求める第4の算出手段と、前記ブロック境界を挟む2画素の差の絶対値を求める第5の算出手段と、前記第4の算出手段の算出結果と、前記第5の算出手段の算出結果とを比較して両者の大小関係により平坦部分長を算出する第6の算出手段と、を有することを特徴とする動画像復号装置。
A video decoding means for dividing an image into a plurality of blocks and decoding a signal that has been encoded for each of the divided blocks;
Block boundary detection means for detecting a block boundary of the decoded image decoded by the moving image decoding means;
Flat part length determining means for determining the length of the flat part from each block boundary of the decoded image detected by the block boundary detecting means;
Filter characteristic selection means for selecting a filter characteristic suitable for the length of the flat part determined by the flat part length determination means;
Filter processing means for performing filter processing on the pixels of the length of the detected flat portion using the filter characteristics selected by the filter characteristic selection means;
Display means for displaying pixels of the length of the flat part filtered by the filter processing means together with the decoded image decoded by the moving image decoding means;
An image generation means for edge detection for creating an image in which an edge portion of the decoded image is detected ;
The flat part length determination means includes a predetermined number of pixel powers in the first direction from the block boundary and a second direction from the block boundary in the edge detection image created by the edge detection image creation means. A fourth calculation unit for obtaining a difference from the power of a predetermined number of pixels, a fifth calculation unit for obtaining an absolute value of a difference between two pixels sandwiching the block boundary, and a calculation result of the fourth calculation unit, A moving picture decoding apparatus comprising: a sixth calculating means for comparing a calculation result of the fifth calculating means and calculating a flat part length based on a magnitude relationship between the two .
JP2002097908A 2002-03-29 2002-03-29 Video decoding device Expired - Lifetime JP3930360B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002097908A JP3930360B2 (en) 2002-03-29 2002-03-29 Video decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002097908A JP3930360B2 (en) 2002-03-29 2002-03-29 Video decoding device

Publications (2)

Publication Number Publication Date
JP2003299086A JP2003299086A (en) 2003-10-17
JP3930360B2 true JP3930360B2 (en) 2007-06-13

Family

ID=29387805

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002097908A Expired - Lifetime JP3930360B2 (en) 2002-03-29 2002-03-29 Video decoding device

Country Status (1)

Country Link
JP (1) JP3930360B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100669905B1 (en) 2004-12-02 2007-01-16 한국전자통신연구원 Blocking artifacts reduction apparatus and method using the characteristics of block boundary area
KR101392482B1 (en) * 2007-08-30 2014-05-07 삼성전자주식회사 System and method for blocking effect removal

Also Published As

Publication number Publication date
JP2003299086A (en) 2003-10-17

Similar Documents

Publication Publication Date Title
JP5351038B2 (en) Image processing system for processing a combination of image data and depth data
KR100672592B1 (en) Device and method for compensating image in display device
US20100061649A1 (en) Method and apparatus for reducing block noise
JPH08237669A (en) Picture signal processor, picture signal processing method and picture signal decoder
JPH08251591A (en) Apparatus and method for post-treatment for removal of blocking phenomenon
EP2327219A1 (en) Reducing digital image noise
JPH10327334A (en) Signal adaptive filtering method for decreasing ringing noise and its filter
JP2005184819A (en) Method and apparatus for mpeg artifact reduction
CN109168065B (en) Video enhancement method and device, electronic equipment and storage medium
JP2003517796A (en) How to reduce the "uneven picture" effect
JP2002539657A (en) Process, apparatus and use for evaluating an encoded image
JP2008301336A (en) Image processing device, image encoding device and image decoding device
JP3792837B2 (en) Deblocking filter
JP2007334457A (en) Image processor and image processing method
JPH0767176B2 (en) Coding noise elimination filter
JP4380498B2 (en) Block distortion reduction device
JP3930360B2 (en) Video decoding device
JP2007336075A (en) Block distortion reducing device
US8811766B2 (en) Perceptual block masking estimation system
JPH11187400A (en) Method for removing distorting and its filter
JPH0738762A (en) Control system for post-processing filter for video codec
JP2011114704A (en) Image processing apparatus and image processing method for the same
JP2001245179A (en) Method for reducing image data distortion and equipment of the same
JPH04321391A (en) Picture coder and decoder
JP4449430B2 (en) Image processing apparatus, image processing method, program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070308

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100316

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120316

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130316

Year of fee payment: 6