JP4340532B2 - 誤り隠蔽方法及び装置 - Google Patents

誤り隠蔽方法及び装置 Download PDF

Info

Publication number
JP4340532B2
JP4340532B2 JP2003501202A JP2003501202A JP4340532B2 JP 4340532 B2 JP4340532 B2 JP 4340532B2 JP 2003501202 A JP2003501202 A JP 2003501202A JP 2003501202 A JP2003501202 A JP 2003501202A JP 4340532 B2 JP4340532 B2 JP 4340532B2
Authority
JP
Japan
Prior art keywords
class
algorithm
macroblock
erroneous
macroblocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003501202A
Other languages
English (en)
Other versions
JP2004529585A (ja
Inventor
ウ ヴァランテ,ステファーヌ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2004529585A publication Critical patent/JP2004529585A/ja
Application granted granted Critical
Publication of JP4340532B2 publication Critical patent/JP4340532B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Details Of Aerials (AREA)

Description

発明の詳細な説明
本発明は、各マクロブロックが画素の行及び列を含む、マクロブロック圧縮形式で送信される画像信号中の誤りを隠蔽する方法であって、
a)伝送された画像信号を復号化するステップと、
b)誤りのあるマクロブロックを検出するステップと、
c)誤りのあるマクロブロックが属するクラスを得るよう誤りのあるマクロブロックを分類するステップと、
d)誤りのあるマクロブロックをそのクラスに従って補正するステップとを少なくとも含む方法に関する。
本発明はまた、かかる隠蔽方法を実行する対応する装置に関する。
本発明は特に、MPEG圧縮ビデオ信号の補正に関する。
[発明の背景]
ビデオ信号圧縮の目的のうちの一つに、無線伝送路又はインターネット等のネットワークを通じた伝送がある。伝送誤りは、復号化されたストリームの視覚的な質を損なわせ得るものであり、従って、何らかの有効な誤り隠蔽技術が必要とされる。誤り隠蔽は、欠落したデータを、復号化されたストリーム中で見つかる空間的な冗長量から補間すること、即ち、マクロブロックを囲む幾つかの画素からマクロブロックを補間することによって行われうる。異なる性質を有する幾つかの空間隠蔽アルゴリズムが見いだされうる。復号化器の中で異なる隠蔽アルゴリズムが利用可能であるとき、エッジ情報を保存することが可能なアルゴリズムと、平滑な変化の再構成に専用の他のアルゴリズムを持つことが有利であり得る。欧州特許第0782347号は、誤りのあるマクロブロックを単調クラス、エッジクラス又はテキストクラスへ分類し、誤りのあるマクロブロックをかかる分類に従って修正する方法を記載する。分類は、その中に誤りを含まない所定の数の有効な周囲マクロブロックを考慮に入れる。
これは、
各有効な周囲マクロブロックを、その中にエッジを含まないマクロブロックを表わす単調クラス、その中に1つのエッジを含むマクロブロックを表わすエッジクラス、又は、その中に2以上のエッジを含むマクロブロックを表わすテクスチャクラスへ分類すること、
誤りのあるマクロブロックに対して互いに対向して配置される一対の有効な周囲マクロブロックのみがエッジクラスであり同一のエッジ方向を有する場合にエッジクラスとして分類され、それ以外の場合は単調クラス又はテクスチャクラスを有する周囲マクロブロックの数に依存して単調クラス又はテクスチャクラスのいずれかとして分類すること、
により行われる。
各周囲マクロブロックを分類する提案される方法は、分散計算及び比較的多数の方向性投影を含む多くのステップを含みうる。従って、この方法は、費用がかかり、例えば移動電話機といった小さい資源を有するプロセッサ上でのリアルタイムの適用のために実行されないかもしれない。更に、有効な周囲マクロブロックのクラスに従って誤りのあるマクロブロックを分類する方法は、誤りのあるマクロブロックが所定の数のマクロブロックを有することを想定するが、バースト誤りはマクロブロックの幾つかの行に亘ることがあること、及び、誤りのあるマクロブロックは画像の境界にあることがあるため、そうでないことがある。
本発明は、誤りを隠蔽する費用効果的な方法及び対応する装置を提供することを目的とする。
このために、冒頭の段落に記載された本発明による誤り隠蔽方法は、
i)誤りのあるマクロブロックはその中に誤りを含むことなく少なくとも1つの有効な周囲マクロブロックを有すること、
ii)分類サブステップは、
各有効な周囲マクロブロックについて、誤りのあるマクロブロックに隣接する行又は列の各画素について、行又は列の2つの連続する画素の値を差し引くことにより勾配を計算するサブステップと、
勾配の方向変化の数Cdirを評価するサブステップとを少なくとも含み、
iii)誤りのあるマクロブロックは、少なくとも1つの勾配の絶対値が第1の所定の閾値を上回る場合はエッジクラスとして分類され、Cdirが厳密に正であり第2の所定の閾値を上回る勾配の絶対値の数がαにCdirを乗算したものよりも大きければテクスチャクラスとして分類され、但しαはプログラム可能な量であり、それ以外の場合はノイズ又は単調クラスとして分類されることを更に特徴とする。
本発明によれば、誤りのあるマクロブロックのクラスは、非常に費用効果的な方法で決定される。実際には、誤りのあるマクロブロックに直接隣接する画素のみがかかる決定のうえで考慮に入れられる。即ち、16×16画素のマクロブロックを用いるMPEG−4標準を考えると、誤りのあるマクロブロックを囲む4つのマクロブロックが有効であるとき、すなわちその中に誤りを含むとき、誤りのあるマクロブロックのクラスを決定するには、60個の勾配のみが計算され、2つの閾値と比較されればよい。更に、分類ステップは、誤りのあるマクロブロックが少なくとも1つの有効な周囲ブロックを有したとたんに、有効なマクロブロックの数にかかわらず、任意の誤りのあるマクロブロックに対して適用されうる。従って、この隠蔽方法を再帰的に使用して、画像中に1つの有効なマクロブロックが存在したとたんに、他のマクロブロックは隠蔽されうる。
望ましい実施例では、補正ステップは、所定の選択順序をつけた一組のアルゴリズムから選択される一つのアルゴリズムを用い、組及び/又は選択順序は誤りのあるマクロブロックのクラスに従って変化する。この望ましい実施例によれば、所与のクラスのマクロブロックを補正するために最善の利用可能なアルゴリズムが選択される。何らかの理由により、このアルゴリズムが誤りのあるマクロブロックを隠蔽することができなければ、他のアルゴリズムが試され、以下同様である。
他の望ましい実施例では、選択順序中の第1のアルゴリズムは、誤りのあるマクロブロックがエッジクラス又はテクスチャクラスに属する場合にエッジ情報を保存することが可能なアルゴリズムMedgeであり、誤りのあるマクロブロックがノイズクラス又は単調クラスに属する場合は平滑な変化の再構成に専門のアルゴリズムMsmoothである。
1つの実施例では、Medgeはクワドリリニア(quadrilinear)補間である。
他の実施例では、Msmoothは最大に平滑な補間である。
本発明はまた、プロセッサ又はコンピュータにロードされたときに、プロセッサ又はコンピュータに上述の隠蔽方法を実行させる、一組の命令を含むコンピュータプログラムに関する。本発明の上述及び他の面は、以下説明する実施例を参照することによって明らかとなろう。
以下本発明について、例として、添付の図面を参照して詳述する。本発明による隠蔽方法を、図1に示す。かかる方法は、少なくとも、伝送される画像信号に適用される復号化ステップ102と、検出ステップ103と、勾配計算ステップ104と、第1の比較ステップ105と、第2の比較ステップ106と、評価ステップ107と、分類ステップ108と、補正ステップ109とを含む。
以下では、伝送される画像信号101は、16×16マクロブロックを用いて復号化された、夫々がクロミナンス又はルミナンス値又はそれらをいずれも有する画素を含む、MPEG−4ビデオ信号である(以下、「値」という用語は、クロミナンス又はルミナンスのいずれかを示すものとする)。当業者によれば、本発明による隠蔽方法は、ブロックに基づく処理を用いて符号化された任意の信号とともに使用されることが意図されることが明らかとなろう。
検出ステップ103では、マクロブロックは、誤りのあるものであるのか、そうでないのかについて判定するために解析される。かかる判定は、当業者によって周知であり、例えば「Apparatus for concealing errors in a digital video processing system」なる名称の1993年2月12日出願の米国特許第5,455,629号で見つけることができる。このマクロブロックが、誤りのあるものであれば、全ての有効な周囲マクロブロックの隣接する行及び列の2つの連続する画素間の勾配は、勾配計算ステップ104で計算される。かかる計算は、図2中に詳細に示される。第1の比較ステップ105では、計算された勾配の絶対値が第1の閾値と比較され、第1の閾値を上回る絶対値の勾配の数N1が決定される。第2の比較ステップ106では、計算された勾配の絶対値は第2の閾値と比較され、絶対値が第2の閾値を上回る勾配の数N2が決定される。評価ステップ107では、勾配の方向変化の数Cdirが決定される。分類ステップ108では、N1,N2,及びのCdirの値に従って、誤りのあるマクロブロックのクラスが決定される。補正ステップ109では、誤りのあるマクロブロックは、そのクラスに従って補正される。
図2aは、勾配の計算を示す図である。図2aは、4つの有効な周囲マクロブロックを有する8×8の誤りのあるマクロブロックを示す。誤りのあるマクロブロックの画素を、破線で示す。勾配の計算のために、上及び下の周囲マクロブロックの2つの隣接する行と、左及び右の周囲マクロブロックの2つの列のみが考慮に入れられる。以下の表は、どのようにして勾配が計算されるか、及び、どのようにして勾配の方向変化が決定されるかを示す。この例では、2つの画素201乃至204が考慮され、計算は2つの隣接する行及び列の全ての画素、特に、画素205乃至207に対して同じである。
Gradxxxは、画素xxxに対する勾配を示す。
Valxxxは、画素xxxの値を示す。
画素位置が行番号i及び列番号jによって表わされる場合、
位置(i,j)にある隣接する行の画素について、
Grad(i,j)=Val(i,j+1)−Val(i,j)
であり、
位置(i,j)にある隣接する列の画素について、
Grad(i,j)=Val(i+1,j)−Val(i,j)
である。
Figure 0004340532
図2bは、計算された勾配に基づく分類を示す図である。ステップ208において、分類ステップ108はN1が厳密に正であるかそうでないかを決定する。第1の閾値が比較的高いため、N1が厳密に正であることは、有効な周囲マクロブロック中に少なくとも強いエッジがあることを示す。従って、N1が厳密に正であれば、誤りのあるマクロブロックはステップ109においてエッジクラスとして分類される。N1がゼロに等しければ、分類ステップ108は、αはプログラム可能な量であるときに、N1が量α×Cdirを上回るか等しいかを判定する。第2の閾値が比較的高いが第1の閾値よりも小さい場合、第2の閾値を上回る勾配は顕著なエッジを示す。例えば、所与の画素について、強い又は顕著なエッジなしに勾配の方向変化が生ずる場合、これは一般的にはノイズを示す。従って、Cdirが厳密に正であり、N2が量α×Cdirよりも上であるか等しいとき、誤りのあるマクロブロックはステップ211においてテクスチャクラスとして分類され、これは、このマクロブロックは、視覚的に検出可能でありうる顕著なエッジを有する、構造化されたテクスチャであることを意味する。Cdirがゼロに等しいか、N2が量α×Cdirよりも小さければ、誤りのあるマクロブロックの周りの勾配は単調であるか、誤りのあるマクロブロック中には顕著なエッジよりもはるかに多くのノイズがあることを意味し、誤りのあるマクロブロックはステップ212において単調(monotonous)又はノイズクラスとして分類される。
図3a乃至図4b中、誤りのあるマクロブロックを、それらの有効な周囲マクロブロックの2つの隣接する行及び列とともに示す。周囲画素のルミナンス値が、0乃至255で示される。これらの例では、第1の閾値は40に等しく、第2の閾値は10に等しく、プログラム可能な量αは1.2に等しい。当業者によれば、これらの値は、最善の可能な結果を得るために容易に変更されうることが明らかとなろう。図3は、エッジクラスのマクロブロックに適用される本発明による方法を示す図である。勾配の計算は、強いエッジに対応する第1の閾値を絶対値で上回る2つの勾配があることを示す。従って、この誤りのあるマクロブロックはエッジクラスとして分類される。
図3bは、テクスチャクラスのマクロブロックに適用される、本発明による方法を示す図である。勾配の計算は、
N1=0 N2=28 Cdir=21
であることを示す。従って、顕著なエッジの数N2は、方向変化Cdirの数のプログラム可能な量αよりも大きく、誤りのあるマクロブロックはテクスチャクラスとして分類される。
図4aは、ノイズクラスのマクロブロックに適用される、本発明による方法を示す図である。勾配の計算は、
N1=0 N2=1 Cdir=25
であることを示す。従って、顕著なエッジの数N2は、方向変化Cdirの数のプログラム可能な量αよりも小さく、誤りのあるマクロブロックはノイズクラスとして分類される。
図4bは、単調クラスのマクロブロックに適用される、本発明による方法を示す図である。勾配の計算は、
N1=0 N2=0 Cdir=0
であることを示す。従って、誤りのあるマクロブロックは単調クラスとして分類される。
図5は、各クラスについて一組のアルゴリズム及び選択順序を示す表である。所与のシステムでは、例えば、
・誤りブロックが十分な有効な周囲マクロブロックを有さないため、
・システム中に所与のアルゴリズムを使用するには十分なメモリ資源がないため、
・所与のアルゴリズムを使用することを不可能とする時間制約のため、
誤りのあるマクロブロックを隠蔽するために所与のアルゴリズムが使用されえないことがありうる。
従って、誤りのあるマクロブロックの各クラスについて、選択順序を伴って、システム中で一組のアルゴリズムが利用可能である。システムは、まず選択順序中の第1のアルゴリズムによって所与の誤りのあるマクロブロックを隠蔽しようとする。この誤りのあるマクロブロックについて、このアルゴリズムが使用されえない場合は、システムは選択順序中の第2のアルゴリズムによってマクロブロックを隠蔽しようとし、以下同様に行う。第2のアルゴリズムでは隠蔽の質は第1のアルゴリズムの質ほど良くなくとも、かかる一組のアルゴリズムを使用することの利点は、誤りのあるマクロブロックの隠蔽を殆ど常に可能とすることである。
エッジ又はテクスチャクラスの誤りのあるマクロブロックでは、選択順序中の第1のアルゴリズムはクワドリリニア(quadrilinear)補間である。このアルゴリズムは、誤りのある画素の値をそれを囲む最も近い有効な上、左、下、及び右の画素から補間することによって行われる。クワドリリニア(quadrilinear)補間の例は、スザナ・アイン(Suzanna Aign)及びカーレッド・ファゼル(Khaled Fazel)著、「階層MPEG−2ビデオコーデック用の時間的及び空間的誤り隠蔽技術(Temporal and Spatial Error Concealment Techniques for Hierarchical MPEG−2 Video Code)」、Proc.Globelcom’95、第1778−1783頁に記載されている。このアルゴリズムは、誤りのあるマクロブロック中のエッジ情報の保存において優れていることが知られている。選択順序中の第2のアルゴリズムは、最大に平滑な(Maximally Smooth)補間である。最大に平滑な補間の例は、ヤオ・ワン(Yao Wang)、クイン・ファン・ツー(Quin Fan Zhu)及びレオナード・ショー(Leonard Shaw)著、「変換符号化においける最大に平滑化された画像復元(Maximally Smooth Image Recovery in Transform Coding)」、IEEE通信に関する報告書、第41巻、第10号、1993年10月に記載されている。このアルゴリズムは、平滑な変化を再構成することに優れていることが知られている。選択順序中の第3のアルゴリズムは、例えば、誤りのあるマクロブロックを有効な周囲マクロブロックの平均値で置き換えることによる、単純な(simple)補間である。このような単純な補間は、隠蔽の質が可能な限り良いものでなくとも、誤りのあるマクロブロックの殆どを隠蔽することが可能であることが意図されるものである。
ノイズ又は単調クラスの誤りのあるマクロブロックについては、選択順序中の第1のアルゴリズムは最大に平滑な補間であり、第2のアルゴリズムはクワドリリニア(quadrilinear)補間であり、第3のアルゴリズムは単純な補間である。
図面及びそれらについての上述の説明は、本発明を制限するものではなく例示するものである。これに関して、以下の結びの言葉を述べておく。
誤りのあるブロックが分類された後、誤りのあるブロックを隠蔽するには幾つかの方法がある。図5は、各クラスについて、そのクラスの誤りのあるマクロブロックを隠蔽するために使用されうる一組のアルゴリズムを与える。当業者によれば、本発明の範囲を逸脱することなく、他のアルゴリズムが使用されうることが明らかとなろう。
本発明による隠蔽方法は、セットトップボックス又はテレビジョン受像機に組み込まれることが意図される集積回路中で実現されうる。プログラムメモリにロードされる一組の命令は、集積回路に隠蔽方法を実行させる。一組の命令は、例えばディスクといったデータ担体に格納されうる。一組の命令は、その役割を果たす集積回路のプログラムメモリにロードされるよう、データ担体から読み出されうる。
本発明による方法を示すブロック図である。 勾配の計算を示す図である。 計算された勾配に基づく分類を示す図である。 エッジクラスのマクロブロックに適用された、本発明による方法を示す。 テクスチャクラスのマクロブロックに適用された、本発明による方法を示す。 ノイズクラスのマクロブロックに適用された、本発明による方法を示す。 単調クラスのマクロブロックに適用された、本発明による方法を示す。 各クラスについての一組のアルゴリズム及び選択順序を示す表である。

Claims (11)

  1. 各マクロブロックが画素の行及び列を有し、マクロブロック圧縮形式で伝送される画像信号中の誤りを隠蔽する方法であって、
    a)伝送された画像信号を復号化するステップと、
    b)誤りを有することのない少なくとも1つの有効な周囲マクロブロックを有する、誤りのあるマクロブロックを検出するステップと、
    c)複数のクラスの集合の中のクラスに前記誤りのあるマクロブロックが割り当てられるよう前記誤りのあるマクロブロックを分類するステップであって
    エッジを有するマクロブロックについての第1クラス、
    テクスチャを有するマクロブロックについての第2クラス、及び
    ノイズを有する又は単調であるマクロブロックについての第3クラス
    を有し、それぞれのアルゴリズムは前記第1クラス、第2クラス及び第3クラスのそれぞれに関連付けられる、ステップと、
    d)前記誤りのあるマクロブロックが割り当てられている前記クラスに関連付けられるアルゴリズムに従って前記誤りのあるマクロブロックを補正するステップと、
    を少なくとも有する隠蔽する方法であり、
    前記方法は、
    i)前記分類ステップが、
    各有効な周囲マクロブロックについて、前記誤りのあるマクロブロックに隣接する行又は列の各画素について、前記行又は列の2つの連続する画素の値を減算することにより勾配を計算するサブステップと、
    計算されたそれぞれの隣接する勾配間の正負符号変化の数Cdirを決定するサブステップと、
    を少なくとも有し、
    ii)前記誤りのあるマクロブロックは、
    少なくとも1つの勾配の絶対値が第1の所定の閾値を上回る場合は前記第1クラス
    前記の正負符号変化の数Cdirが0より大きく、第2の所定の閾値を上回る勾配の絶対値の数がαに前記の正負符号変化の数Cdirを乗算したものよりも大きい場合は前記第2クラスに、そして
    それ以外の場合は前記第3クラス
    分類され、ここでαはプログラム可能な量である、
    ことを更に特徴とする隠蔽する方法。
  2. それぞれのアルゴリズムの集合は、誤りのあるマクロブロックが関連付けられることが可能である前記第1クラス、前記第2クラス及び前記第3クラスに関連付けられ、それによりアルゴリズムは各集合においてランク付けされ、前記補正するステップは、前記誤りのあるマクロブロックが関連付けられている前記クラスに関連付けられる前記アルゴリズムの集合から選択されるアルゴリズムを用い、それにより、アルゴリズムの集合における少なくとも1つのアルゴリズムについて、該アルゴリズムを用いることが可能か否かの確認が行われ、該確認は、前記アルゴリズムの集合における最高ランキングを有するアルゴリズムから開始し、前記選択されたアルゴリズムは、前記の最高ランキングを有するアルゴリズムが用いられることが可能であるランキングの順序にある第1アルゴリズムである、請求項1記載の隠蔽する方法。
  3. 前記第1クラス及び前記第2クラスに関連付けられる記アルゴリズムのそれぞれの集合において、前記の最高ランキングを有するアルゴリズムはエッジ情報を保存することが可能なアルゴリズムであり、前記第3クラスに関連付けられる記アルゴリズムの集合において、前記の最高ランキングを有するアルゴリズムは滑らかな変化の再構成において特定化されるアルゴリズムである、請求項2記載の隠蔽する方法。
  4. エッジ情報を保存することが可能な前記アルゴリズムはクワドリリニア(quadrilinear)補間である、請求項3記載の隠蔽する方法。
  5. 滑らかな変化の再構成において特定化される前記アルゴリズムは、前記誤りのあるマクロブロック内の近接するサンプル間の及び前記少なくとも1つの有効な周囲マクロブロック間の差分の合計値を最小化することにより機能する、請求項3記載の隠蔽する方法。
  6. 各マクロブロックが画素の行及び列を有し、マクロブロック圧縮形式で伝送される画像信号中の誤りを隠蔽する装置であって、
    a)前記伝送される画像信号を復号化する手段と、
    b)誤りを有することのない少なくとも1つの有効な周囲マクロブロックを有する、誤りのあるマクロブロックを検出する手段と、
    c)複数のクラスの集合の中のクラスに前記誤りのあるマクロブロックが割り当てられるよう前記誤りのあるマクロブロックを分類する手段であって、
    エッジを有するマクロブロックについての第1クラス、
    テクスチャを有するマクロブロックについての第2クラス、及び
    ノイズを有する又は単調であるマクロブロックについての第3クラス
    を有し、それぞれのアルゴリズムは前記第1クラス、第2クラス及び第3クラスのそれぞれに関連付けられる、手段と、
    d)前記誤りのあるマクロブロックが割り当てられている前記クラスに関連付けられるアルゴリズムに従って前記誤りのあるマクロブロックを補正する手段と、
    を少なくとも有する隠蔽する装置であり、
    前記隠蔽する装置は、
    i)前記分類する手段が、
    各有効な周囲マクロブロックについて、前記誤りのあるマクロブロックに隣接する行又は列の各画素について、前記行又は列の2つの連続する画素の値を減算することにより勾配を計算する手段と、
    計算されたそれぞれの隣接する勾配間の正負符号変化の数Cdirを決定する手段と、
    を少なくとも有し、
    ii)前記誤りのあるマクロブロックは、
    少なくとも1つの勾配の絶対値が第1の所定の閾値を上回る場合は前記第1クラス
    前記の正負符号変化の数Cdirが0より大きく、第2の所定の閾値を上回る勾配の絶対値の数がαに前記の正負符号変化の数Cdirを乗算したものよりも大きい場合は前記第2クラスに、そして
    それ以外の場合は前記第3クラス
    分類され、ここでαはプログラム可能な量である、
    ことを更に特徴とする隠蔽する装置。
  7. それぞれのアルゴリズムの集合は、誤りのあるマクロブロックが関連付けられることが可能である前記第1クラス、前記第2クラス及び前記第3クラスに関連付けられ、それによりアルゴリズムは各集合においてランク付けされ、前記補正する手段は、前記誤りのあるマクロブロックが関連付けられている前記クラスに関連付けられる前記アルゴリズムの集合から選択されるアルゴリズムを用い、それにより、アルゴリズムの集合における少なくとも1つのアルゴリズムについて、該アルゴリズムを用いることが可能か否かの確認が行われ、該確認は、前記アルゴリズムの集合における最高ランキングを有するアルゴリズムから開始し、前記選択されたアルゴリズムは、前記の最高ランキングを有するアルゴリズムが用いられることが可能であるランキングの順序にある第1アルゴリズムである、請求項6記載の隠蔽する装置。
  8. 前記第1クラス及び前記第2クラスに関連付けられる記アルゴリズムのそれぞれの集合において、前記の最高ランキングを有するアルゴリズムはエッジ情報を保存することが可能なアルゴリズムであり、前記第3クラスに関連付けられる記アルゴリズムの集合において、前記の最高ランキングを有するアルゴリズムは滑らかな変化の再構成において特定化されるアルゴリズムである、請求項7記載の隠蔽する装置。
  9. エッジ情報を保存することが可能な前記アルゴリズムはクワドリリニア(quadrilinear)補間である、請求項8記載の隠蔽する装置。
  10. 滑らかな変化の再構成において特定化される前記アルゴリズムは、前記誤りのあるマクロブロック内の近接するサンプル間の及び前記少なくとも1つの有効な周囲マクロブロック間の差分の合計値を最小化することにより機能する、請求項8記載の隠蔽する方法。
  11. プロセッサ又はコンピュータにロードされたときに、前記プロセッサ又はコンピュータに請求項1記載の隠蔽方法を実行させる、命令の集合を有するコンピュータプログラム。
JP2003501202A 2001-05-29 2002-05-28 誤り隠蔽方法及び装置 Expired - Fee Related JP4340532B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01401406 2001-05-29
PCT/IB2002/001887 WO2002098139A1 (en) 2001-05-29 2002-05-28 Error concealment method and device

Publications (2)

Publication Number Publication Date
JP2004529585A JP2004529585A (ja) 2004-09-24
JP4340532B2 true JP4340532B2 (ja) 2009-10-07

Family

ID=8182751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003501202A Expired - Fee Related JP4340532B2 (ja) 2001-05-29 2002-05-28 誤り隠蔽方法及び装置

Country Status (8)

Country Link
US (1) US20040146113A1 (ja)
EP (1) EP1396154B1 (ja)
JP (1) JP4340532B2 (ja)
KR (1) KR100873317B1 (ja)
CN (1) CN1224274C (ja)
AT (1) ATE362275T1 (ja)
DE (1) DE60220047T2 (ja)
WO (1) WO2002098139A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394855B2 (en) * 2003-11-20 2008-07-01 Mitsubishi Electric Research Laboratories, Inc. Error concealing decoding method of intra-frames of compressed videos
JP4165428B2 (ja) * 2004-03-30 2008-10-15 セイコーエプソン株式会社 画像処理装置、画像処理方法、画像処理を行うコンピュータプログラム、コンピュータプログラムを記録する記録媒体、およびプロジェクタ。
US20060285598A1 (en) * 2005-06-17 2006-12-21 Jarno Tulkki Apparatuses, computer program product and method for digital image quality improvement
US8155189B2 (en) * 2005-10-19 2012-04-10 Freescale Semiconductor, Inc. System and method of coding mode decision for video encoding
US7916796B2 (en) * 2005-10-19 2011-03-29 Freescale Semiconductor, Inc. Region clustering based error concealment for video data
US7693219B2 (en) * 2006-01-04 2010-04-06 Freescale Semiconductor, Inc. System and method for fast motion estimation
US7577246B2 (en) * 2006-12-20 2009-08-18 Nice Systems Ltd. Method and system for automatic quality evaluation
WO2008082762A1 (en) * 2006-12-29 2008-07-10 Motorola, Inc. Method and system for processing encoded video data
EP2302845B1 (en) 2009-09-23 2012-06-20 Google, Inc. Method and device for determining a jitter buffer level
CN101770646B (zh) * 2010-02-25 2012-07-04 昆山锐芯微电子有限公司 基于Bayer RGB图像的边缘检测方法
US8630412B2 (en) 2010-08-25 2014-01-14 Motorola Mobility Llc Transport of partially encrypted media
US8477050B1 (en) 2010-09-16 2013-07-02 Google Inc. Apparatus and method for encoding using signal fragments for redundant transmission of data
US8751565B1 (en) 2011-02-08 2014-06-10 Google Inc. Components for web-based configurable pipeline media processing
CN109120943B (zh) * 2018-10-10 2021-02-23 鲍金龙 视频数据恢复方法及装置
CN111182313B (zh) * 2019-12-20 2021-11-02 东华大学 一种面向通用空域错误隐藏的自适应混合填充方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5455629A (en) * 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
JP3399486B2 (ja) * 1993-06-30 2003-04-21 富士ゼロックス株式会社 カラー画像処理装置及び方法
KR960012931B1 (ko) * 1993-08-31 1996-09-25 대우전자 주식회사 분류 벡터 양자화된 영상의 채널 오류 은폐 방법
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
KR100196872B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 복화화 시스템의 영상 에러 복구 장치
KR100220678B1 (ko) * 1995-12-29 1999-09-15 전주범 블록 단위 부호화 장치로부터 전송된 영상신호에서의 채널 에러 정정 방법
US6185340B1 (en) * 1997-02-18 2001-02-06 Thomson Licensing S.A Adaptive motion vector control
FI107108B (fi) * 1998-11-05 2001-05-31 Nokia Mobile Phones Ltd Virheen ilmaiseminen alhaisen bittinopeuden videolähetyksessä
FI116819B (fi) * 2000-01-21 2006-02-28 Nokia Corp Menetelmä kuvien lähettämiseksi ja kuvakooderi

Also Published As

Publication number Publication date
DE60220047T2 (de) 2008-01-10
ATE362275T1 (de) 2007-06-15
EP1396154A1 (en) 2004-03-10
JP2004529585A (ja) 2004-09-24
DE60220047D1 (de) 2007-06-21
EP1396154B1 (en) 2007-05-09
KR20030020423A (ko) 2003-03-08
WO2002098139A1 (en) 2002-12-05
KR100873317B1 (ko) 2008-12-10
CN1463555A (zh) 2003-12-24
CN1224274C (zh) 2005-10-19
US20040146113A1 (en) 2004-07-29

Similar Documents

Publication Publication Date Title
JP4340532B2 (ja) 誤り隠蔽方法及び装置
Tsekeridou et al. MPEG-2 error concealment based on block-matching principles
RU2377737C2 (ru) Способ и устройство для преобразования с повышением частоты кадров с помощью кодера (ea-fruc) для сжатия видеоизображения
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
US20030012286A1 (en) Method and device for suspecting errors and recovering macroblock data in video coding
EP2190205A2 (en) Method and apparatus for reducing block distortion and method and apparatus for encoding data
US8224076B2 (en) Image processing method and image processing apparatus
JP2009512397A (ja) ビデオストリーミングにおける適応gop構造
JPH11243543A (ja) 低解像度ビデオ・デコーダにおいて、予測誤差をもたらすシーン内容を検出し、検出された情報を使用するための方法及び装置
US6873657B2 (en) Method of and system for improving temporal consistency in sharpness enhancement for a video signal
JP2002531020A (ja) 立体画像符号化処理におけるフォアグラウンド情報抽出方法
JP2002290975A (ja) データ処理方法
KR20000014401A (ko) 오류 은폐 방법
US20030206591A1 (en) System for and method of sharpness enhancement for coded digital video
KR20010081009A (ko) 디지털 비디오 화상들에서 블록화 현상들을 식별하는 방법및 디바이스
JPH09503890A (ja) ビデオ画像におけるエラー検出
US5787207A (en) Method and apparatus for minimizing blockiness in reconstructed images
US7782940B2 (en) Methods for encoding or decoding in a videoconference system to reduce problems associated with noisy image acquisition
US20080199153A1 (en) Coding and Decoding Method and Device for Improving Video Error Concealment
US8768088B2 (en) Error concealment method and device
KR20050013621A (ko) 블록킹 아티팩트들 검출 방법
Kirenko Reduction of coding artifacts using chrominance and luminance spatial analysis
JP3566924B2 (ja) 電子透かし埋め込み方法,検出方法,電子透かし埋め込み装置,検出装置および電子透かし埋め込みプログラムを記録した記録媒体,検出プログラムを記録した記録媒体
JP2005521310A (ja) ビデオ信号後処理方法
US20030072377A1 (en) Method of detecting blocking artifacts

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080807

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090225

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090706

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees