JP4203036B2 - 動画像復号装置とこの装置を備えた移動体端末 - Google Patents

動画像復号装置とこの装置を備えた移動体端末 Download PDF

Info

Publication number
JP4203036B2
JP4203036B2 JP2005113825A JP2005113825A JP4203036B2 JP 4203036 B2 JP4203036 B2 JP 4203036B2 JP 2005113825 A JP2005113825 A JP 2005113825A JP 2005113825 A JP2005113825 A JP 2005113825A JP 4203036 B2 JP4203036 B2 JP 4203036B2
Authority
JP
Japan
Prior art keywords
macroblock
error
detected
syntax information
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005113825A
Other languages
English (en)
Other versions
JP2006295569A (ja
Inventor
弘史 森
龍則 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2005113825A priority Critical patent/JP4203036B2/ja
Priority to US11/376,585 priority patent/US7912132B2/en
Publication of JP2006295569A publication Critical patent/JP2006295569A/ja
Application granted granted Critical
Publication of JP4203036B2 publication Critical patent/JP4203036B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Description

この発明は、例えば地上波ディジタル放送やモバイル放送を受信する端末に設けられる動画像復号装置と、この装置を備えた移動体端末に関する。
映像メディアの符号化・復号化技術は、近年ますます進化しつつある。これは、動画像及び音声の高品質化が進み、情報量が多くなったこと、また有線或いは無線によるネットワークが発展し、これらネットワークを通じて画像情報を伝送する要望が高くなったことに起因している。
特に動画像の情報量は大きいため、動画像の符号化・復号化技術は、圧縮効率が高いこと、復号時の品質が高いこと、また伝送効率が良いことなどが要望される。これらの要望に沿う動画像の符号化・復号化技術として、ITU-T勧告H.264/AVC(Advanced video coding)と称せられる技術(以下単にH.264と称する)がある。この動画像符号化・復号化技術は、例えば非特許文献1に開示されている。
H.264 AVCを移動体向け地上波ディジタル放送やモバイル放送に適用した場合、H.264ストリームデータは音声、データ放送などの情報と共にMPEG-2 systemsに多重化されたのち各受信端末へ向け送信される。しかし、受信端末が携帯端末や車載端末に代表される移動体端末の場合、受信端末は移動するため、常に安定した電波環境にてストリームデータを受信することは期待できない。特に、受信端末がビル陰等により隠蔽されるような環境では、ストリームデータ中に高頻度で誤りが混入する。従って、移動体端末に搭載される動画像復号装置には誤り耐性機能が必須となり、様々な検討が行われている(例えば、非特許文献2を参照。)。
IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 13, NO. 7, JULY 2003, Overview of the H.264/AVC Video Coding Standard, Thomas Wiegand 森 弘史,川勝 裕和,鈴木 正和,"H.264における誤り環境下の再生画像に関する一検討,"信学技報,IE 2004-18,May.2004。
ところが、これまでに行われた誤り耐性技術に対する検討の多くは、欠落したマクロブロック(MB)のコンシールメント手法を対象としており、符号化データ列などの設定ルールを表すシンタックス(Syntax)の誤解釈に起因する画質劣化ついては十分議論されていない。
この発明は上記事情に着目してなされたもので、その目的とするところは、マクロブロックのデータの誤解釈による画質劣化を低減するようにした動画像復号装置とこの装置を備えた移動体端末を提供することにある。
上記目的を達成するために、この発明に係わる動画像復号装置とこの装置を備えた移動体端末は、マクロブロック単位で符号化された画像データが多重化されたデータを該マクロブロック単位で復号してシンタックス情報を得、このシンタックス情報に誤りがあるか検出する。そして、誤りが検出されると、この検出された誤りを含んだマクロブロックに先行するマクロブロックのシンタックス情報に基づいて非圧縮のマクロブロックの有無を判定し、非圧縮のマクロブロックが検出された場合は、この非圧縮のマクロブロックと判定されたマクロブロックに誤りがあると推定して、この誤りがあると推定されたマクロブロック以降のシンタックス情報を破棄するようにしたものである。
したがってこの発明によれば、あるマクロブロックでシンタックス情報に誤りが検出されると、この誤りを含んだマクロブロック先行するマクロブロックのシンタックス情報に基づいて非圧縮のマクロブロックがあるか否かが判定される。そして、非圧縮のマクロブロックが見つかった場合に、この非圧縮のマクロブロックに誤りがあると推定されて当該マクロブロック以降のマクロブロックのシンタックス情報が破棄される。
このため、シンタックス情報に誤りが検出されたマクロブロック以降のマクロブロックのシンタックス情報のみを破棄する場合に比べ、誤りが混入してから当該誤りが検出されるまでの誤解釈区間を短縮することができ、これにより誤解釈区間による画質劣化を軽減することができる。また、上記シンタックス情報に誤りが混入したマクロブロックの推定処理と当該マクロブロックのシンタックス情報を破棄する処理は、誤りが検出された場合にのみ行われる。このため、誤りが混入していないときの復号処理に処理遅延等の悪影響を及ぼす心配がない。
一般にH.264では、PCMマクロブロック(Pulse Code Modulation Macro Block)のような非圧縮マクロブロックがストリームデータ中に存在することは考えにくい。従って、ストリームデータ中に非圧縮マクロブロックが見つかった場合にはこれを誤りが混入したマクロブロックと見なすことができ、このマクロブロック以降のマクロブロックを破棄すれば誤解釈区間を短縮できる。また、ストリームデータ中のマクロブロックが非圧縮マクロブロックに変化した場合、これをそのまま復号再生すると著しい画質劣化が生じる。このため、上記非圧縮マクロブロックを破棄することで再生画像の画質を大幅に改善できる。
またこの発明は、推定手段において、検出手段によって検出された誤りを含んだマクロブロックに先行するマクロブロックに非圧縮のマクロブロックが検出されないときは、さらに、先行するマクロブロックのシンタックス情報に基づいてマクロブロックのスキップ数が予め定められた基準を満たしているか判定し、基準を満たさないスキップ数が検出された場合は、この検出されたスキップ数を含むシンタックス情報に対応したマクロブロックに誤りがあると推定することも特徴とする。
H.264では、各マクロブロックの先頭にスキップランの長さ、つまりスキップするマクロブロック数を表す制御データ(mb_skip_run)が挿入されており、このスキップラン長は一般に画像の横サイズ等により決まる。このため、任意に設定される上限長を超えるような著しく大きなmb_skip_runが検出されれば、これを誤りが混入したマクロブロックと見なすことができる。そして、このマクロブロック以降のマクロブロックの復号情報を破棄することで、誤解釈区間を短縮できる。
その他の推定手段としては、復号されたマクロブロックのシンタックス情報をもとに、輝度成分の予測情報と色差成分の予測情報との間の相関の度合いが予め定められたしきい値に満たない画面内予測マクロブロックの有無を判定し、該当するマクロブロックが見つかった場合に、当該画面内予測マクロブロックを誤りが混入したマクロブロック又は誤りが混入したと推定されるマクロブロックと推定するものも考えられる。
H.264では、輝度(Luma)成分と色差(Chroma)成分のそれぞれについて独立して画面内(Intra)予測モードが符号化される。ここで、一般に上記輝度(Luma)成分と色差(Chroma)成分との間には相関があり、これらに対応する予測モード間にも相関がある。そこで、ストリームデータ中のフレームフレーム内予測マクロブロックに、上記輝度(Luma)成分と色差(Chroma)成分に対応する予測モード間の相関がないフレームフレーム内予測マクロブロックが検出されれば、これを誤りが混入したマクロブロックと見なすことができる。そして、このマクロブロック以降のマクロブロックの復号情報を破棄することで、誤解釈区間を短縮できる。
またこの発明は、上記破棄されたシンタックス情報に対応したマクロブロックを、他のマクロブロックの画像データに基づいて復元する処理を行う復元手段を、さらに備えることも特徴とする。
このようにすると、シンタックス情報に誤りが検出された以降のマクロブロックに止まらず、誤りの混入が推定されたマクロブロックから誤りが検出されたマクロブロックまでの誤解釈区間についても、マクロブロックの画像データを復元(concealment)することができ、これにより誤解釈区間を短縮して再生画像の画質をさらに高めることができる。
以上述べたようにこの発明では、あるマクロブロックでシンタックス情報に誤りが検出された場合に、この誤りを含んだマクロブロックに先行するマクロブロックのシンタックス情報に基づいて非圧縮のマクロブロックがあるか否かを判定し、非圧縮のマクロブロックが見つかった場合に、この非圧縮のマクロブロックに誤りがあると推定して当該マクロブロック以降のマクロブロックのシンタックス情報を破棄するようにしている。
したがってこの発明によれば、マクロブロックのデータの誤解釈による画質劣化を低減するようにした動画像復号装置とこの装置を備えた移動体端末を提供することができる。
以下、図面を参照してこの発明の実施形態を説明する。
図1は、この発明に係わる動画像復号装置の一実施形態を示す機能ブロック図である。この実施形態の動画像復号装置は、制御ユニット1と、信号処理ユニット2とを備える。制御ユニット1は、マイクロプロセッサを主構成要素とするもので、復号制御部11と、復号部12と、復号情報メモリ13と、誤り検出部14とを備えている。これらのうち復号制御部11、復号部12及び誤り検出部14はいずれもプログラムを上記マイクロプロセッサに実行させることにより実現される。また復号情報メモリ13は、RAM(Random Access Memory)により構成される。
復号部12は、復号制御部11から転送されたストリームデータをマクロブロックごとに復号し、シンタックスごとの復号情報を復号制御部11に返す。
復号情報メモリ13は、復号制御部11の制御の下、上記復号部12により得られた各マクロブロックの復号情報を順次記憶する。
誤り検出部14は、復号制御部11から上記シンタックスの復号情報が与えられるごとに当該復号情報について誤りの有無を判定し、その判定結果を復号制御部11に返す。
復号制御部11は、ストリームデータをマクロブロックごとに取り込んで上記復号部12に復号させると共に、その復号情報を復号情報メモリ13に記憶させる。そして、1スライスデータの復号が終了すると、上記復号情報メモリ13に記憶された各マクロブロックを、その種類に応じて後述する信号処理ユニット2のInter予測部21、Intra予測部22、及び逆量子化・逆周波数変換部23のいずれかに供給し、画像データの再生処理を行わせる。
また復号制御部11は、上記復号部12により得られたシンタックスの復号情報を上記誤り検出部14に与えて誤りの有無を判定させ、その判定結果をもとに誤りが検出されたマクロブロックを特定する。上記判定の結果、あるマクロブロックにおいて誤りが検出されると、当該マクロブロックより先行する各マクロブロックの復号情報を上記復号情報メモリ13から順次読み出す。そして、これらの復号情報についてそれぞれ規則に適合しないシンタックスを含む復号情報の有無を判定し、その判定結果をもとに誤りが混入したマクロブロックを推定する。
さらに復号制御部11は、上記推定結果に従い、誤りが混入したマクロブロック以降のマクロブロックの復号情報を上記復号情報メモリ13から破棄する。そして、この破棄したマクロブロックの復元指示を後述する信号処理ユニット2のコンシールメント部27に対し指示する。
一方、信号処理ユニット2は、Inter予測部21と、Intra予測部22と、逆量子化・逆周波数変換部23と、データ合成部24と、デブロック(Deblock)部25と、フレームメモリ26と、コンシールメント部27とを備える。これらのうちInter予測部21、Intra予測部22、逆量子化・逆周波数変換部23、データ合成部24、デブロック(Deblock)部25及びコンシールメント部27は、DSP(Digital Signal Processor)の信号処理により実現される。
フレームメモリ26はRAM(Random Access Memory)により構成され、再生されたフレーム画像データが参照画像データとして蓄積される。
Inter予測部21は、フレームメモリ26に蓄積された参照画像データを用いて、Interマクロブロックの予測信号を算出する。
Intra予測部22は、復号中のフレームの参照画素を用いてIntraマクロブロックの予測信号を算出する。
逆量子化・逆周波数変換部23は、入力されたマクロブロックに対し逆量子化・逆周波数変換処理を行い、これにより残差信号を算出する。
データ合成部24は、上記Inter予測部21、Intra予測部22及び逆量子化・逆周波数変換部23により算出された信号を合成して、マクロブロックを再生する。
デブロック(Deblock)部25は、上記データ合成部24により再生されたマクロブロックに対し適応的にデブロッキング・フィルタ処理を行い、これにより画像の符号化時に発生するブロック歪みを除去する。
コンシールメント部27は、誤り等により欠落した情報を補間(Concealment)するもので、上記復号制御部11からの指示に従い、欠落したマクロブロックの画像データを関連する他のマクロブロックの画像データをもとに復元する。補間処理に使用する関連情報としては、例えば補間対象のマクロブロックの周辺に位置するマクロブロックの画像データや、前後のフレームの同一位置にあるマクロブロックの画像データが使用される。
次に、以上のように構成された動画像復号装置の動作を、復号制御部11の制御手順に従い説明する。図2は復号制御部11の制御手順とその制御内容を示すフローチャートである。
ストリームデータが入力されると、復号制御部11は当該ストリームデータをマクロブロックごとに取り込んで復号部12に復号させ、その復号情報を復号情報メモリ13に記憶させる。また、上記復号部12により得られたシンタックスの復号情報を上記誤り検出部14に供給し、誤りの有無を判定させる。この判定の結果、シンタックスに誤りが検出されなければ、ステップS1からステップS2に移行して1スライスデータのすべてのマクロブロックについて復号が終了したか否かを判定する。そして、未復号のマクロブロックが残っていればステップS4で次のマクロブロックを選択し、上記復号制御を実行する。以後、1スライスデータのすべてのマクロブロックに対する復号処理が終了するまで、上記復号制御を繰り返す。
そして、上記1スライスデータのすべてのマクロブロックに対する復号処理が終了すると、復号制御部11は復号情報メモリ13に記憶された1スライスデータ分のマクロブロックを順次読み出し、その種類に応じてInter予測部21、Intra予測部22及び逆量子化・逆周波数変換部23のいずれかに供給する。
この結果、Inter予測部21、Intra予測部22及び逆量子化・逆周波数変換部23ではそれぞれ各予測信号及び残差信号が算出され、この算出された各予測信号及び残差信号はデータ合成部24で合成されてマクロブロックの再生画像データとなる。そして、この再生画像データはデブロック部25によりデブロッキング・フィルタ処理が行われ、これにより画像の符号化時に発生するブロック歪みが除去される。デブロッキング・フィルタ処理された上記再生画像データは、参照画像データとしてフレームメモリ26に蓄積される。
さて、上記復号処理過程においてあるマクロブロックで誤りが検出されたとする。この場合、誤りが検出されたマクロブロックより先行するマクロブロックにおいて誤りが混入している可能性が大きい。そこで復号制御部11は、上記誤りが検出されたマクロブロックより先行するマクロブロックの復号情報を上記復号情報メモリ13から順次読み出し、この復号情報をもとに誤りが混入したマクロブロックを推定するための処理を実行する。誤りが混入したマクロブロックの推定は、H.264独自の符号化ツールの利用状況やシンタックスの構成を考慮して行われる。
すなわち、マクロブロックレイヤのシンタックスの構成は、図3に示すように先ず先頭にマクロブロックのスキップ数を示すmb_skip_runが配置され、次にマクロブロックの種類を表すmb_typeが配置される。マクロブロックの種類には、PCMマクロブロックと、Intraマクロブロックと、Interマクロブロックとがある。Intraマクロブロックはフレーム内予測により生成され、またInterマクロブロックは複数のフレーム間における予測、つまりフレーム間予測により生成される。
ここで、上記各種マクロブロックのうち、PCMマクロブロックは非圧縮データであり、通常のストリームデータにおいてこの非圧縮データのマクロブロックが存在することは考えにくい。従って、ストリームデータ中にPCMマクロブロックが見つかった場合にはこれを誤りが混入したマクロブロックと見なすことが可能である。
また、図3に示したようにマクロブロックの先頭には、マクロブロックのスキップ数を示すmb_skip_runが配置される。マクロブロックのスキップ数は一般に画像の横サイズ等により決まる。したがって、仮に上記mb_skip_runの値が、任意に設定した上限値を超えていれば、このマクロブロックは誤りが混入したマクロブロックと見なすことができる。なお、上記上限値は、画像の横サイズやこれまでに出現した最大スキップ長等をもとに設定される。
さらに、Intraマクロブロックにおける輝度成分(Luma)の予測と色差成分(Chroma)の予測との間には一般に相関がある。そこで、上記輝度成分(Luma)の予測と色差成分(Chroma)の予測との間に相関がない場合には、このIntraマクロブロックを誤りが混入したマクロブロックと見なすことができる。相関の有無は、しきい値を設定し、輝度成分(Luma)の予測と色差成分(Chroma)の予測との間の相関値を当該しきい値より大きいか小さいかを判定することにより可能である。例えば、輝度成分(Luma)が垂直予測で、色差成分(Chroma)が水平予測の組み合わせだった場合に、これを相関が無い状態と判定する。
以上の点に着目して復号制御部11は、図2に示すように先ずステップS5によりPCMマクロブロックの有無を判定する。そして、この判定の結果、PCMマクロブロックが見つかると、当該PCMマクロブロックを誤りが混入したマクロブロックと見なし、ステップS6に移行してここで当該PCMマクロブロック以降の各マクロブロックを破棄する。
図4はこのときの処理動作を説明するためのストリームデータの構成図であり、この場合にはPCMマクロブロックM1以降の各マクロブロックが破棄される。なお、この破棄された各マクロブロックは後述するコンシールメント部27においてコンシールメントされる。したがってこの場合には、誤りが混入したマクロブロック以降の区間のうち、PCMマクロブロックM1以降の区間が破棄されたのちコンシールメントされる。
このため、誤解釈が発生する可能性がある区間は、上記誤りが混入したマクロブロックから上記PCMマクロブロックM1までの区間に限定される。ちなみに、図7に示すように誤りが検出されたマクロブロック以降のマクロブロックのみを破棄してコンシールメントする場合には、誤解釈区間が長くなり、その分画質劣化が大きくなる。
図8(a)(b)は、図7に示した誤り対策を施した再生画像データの一例を示したものである。同図に例示したように、PCMマクロブロックM1が破棄されずに残ると、当該PCMマクロブロックM1に対応する位置にモザイク状の画質劣化ERとなって現れる。これに対し上記実施形態のようにPCMマクロブロックM1を検出し、このPCMマクロブロックM1以降を破棄したのちコンシールメントすると、図9に示すようにPCMマクロブロックM1による画質劣化のない再生画像データが得られる。
一方、上記ステップS5によりPCMマクロブロックが見つからなかったとする。この場合復号制御部11は、ステップS7に移行してここでmb_skip_runの値が任意に設定される上限値を超えているマクロブロックの有無を判定する。そして、この判定の結果、mb_skip_runの値が、上記任意に設定される上限値を超えているマクロブロックが見つかると、当該マクロブロックを誤りが混入したマクロブロックと見なし、ステップS8に移行してここで当該マクロブロック以降の各マクロブロックを破棄する。
図5はこのときの処理動作を説明するためのストリームデータの構成図であり、図中のSkipマクロブロックM2以降の各マクロブロックが破棄され、さらにこの破棄された区間のマクロブロックが後述するコンシールメント部27においてコンシールメントされる。したがってこの場合には、誤りが混入したマクロブロック以降の区間のすべてが破棄されたのちコンシールメントされる。このため、誤解釈が発生する可能性がある区間はなくなり、これにより誤りの混入による画質の劣化は防止される。
また、上記ステップS7によりmb_skip_runの値が任意に設定される上限値を超えているマクロブロックが見つからなかったとする。この場合復号制御部11は、ステップS9に移行してIntraマクロブロックを探す。そして、Intraマクロブロックが見つかると、ステップS10によりIntra modeの相関の有無を判定する。例えば、輝度成分(Luma)の予測と色差成分(Chroma)の予測との間の相関がしきい値より大きいか小さいかを判定する。そして、この判定の結果、Intra modeの相関がないマクロブロックが見つかると、当該Intraマクロブロックを誤りが混入したマクロブロックと見なし、ステップS11に移行してここで当該Intraマクロブロック以降の各マクロブロックを破棄する。
図6はこのときの処理動作を説明するためのストリームデータの構成図であり、図示されるIntraマクロブロックM3以降の区間のマクロブロックが破棄され、さらにこの破棄された区間のマクロブロックが後述するコンシールメント部27においてコンシールメントされる。したがってこの場合には、誤りが混入したマクロブロック以降の区間のすべてが破棄されたのちコンシールメントされる。このため、誤解釈が発生する可能性がある区間はなくなり、これにより誤りの混入による画質の劣化は防止される。
さらに復号制御部11は、上記ステップS9によりIntraマクロブロックが存在しないと判定されるか、又は上記ステップS10においてIntraマクロブロックが見つかってもIntra modeの相関があると判定されると、ステップS12に移行してここで誤りが検出されたマクロブロック以降のマクロブロックを破棄する。
上記した誤りが混入したマクロブロックの推定処理と、当該推定されたマクロブロック以降のマクロブロックの破棄処理が終了すると、続いて復号制御部11は破棄されたマクロブロックの復元を、コンシールメント部27に対し指示する。この結果、コンシールメント部27では、例えばフレームメモリ26から補間対象のマクロブロックの周辺に位置するマクロブロックの画像データ、又は前後のフレームの同一位置にあるマクロブロックの画像データを選択的に読み出し、この読み出された画像データをもとに補間対象のマクロブロックを復元する。
以上述べたようにこの実施形態では、復号部12により復号されたシンタックスの情報について誤り検出部14により誤りの有無を判定し、誤りが検出された場合に当該誤りが検出されたマクロブロックより先行する各マクロブロックの復号情報を復号情報メモリ13から順次読み出す。そして、復号制御部11により、上記読み出された各マクロブロックの復号情報について、PCMマクロブロックの有無、mb_skip_runが任意に設定した上限値を超えるマクロブロックの有無、Intra modeの相関がないマクロブロックの有無をそれぞれ判定し、該当するマクロブロックが見つかった場合に当該マクロブロックを誤りが混入したマクロブロックと推定する。そして、上記推定されたマクロブロック以降のマクロブロックを上記復号情報メモリ13から破棄し、この破棄されたマクロブロック群をコンシールメント部27において復元するようにしている。
すなわち、誤りが混入されたマクロブロックとして推定されたマクロブロック以降のマクロブロックが破棄され、さらにコンシールメントされる。このため、誤りが検出されたマクロブロック以降のマクロブロックの復号情報のみを破棄する場合に比べ、誤りが混入してから当該誤りが検出されるまでの誤解釈区間を短縮することができ、これにより誤解釈区間による画質劣化を軽減することができる。特に、画質に与える影響の大きいPCMマクロブロックを破棄してコンシールメントしているので、高い画質改善効果を得ることができる。
またこの実施形態では、上記誤りが混入したマクロブロックの推定処理とマクロブロックを破棄する処理が、誤りが検出された場合にのみ行われる。このため、誤りが混入していないときの復号処理に処理遅延等の悪影響を及ぼす心配がない。
なお、この発明は上記実施形態に限定されるものではない。例えば、前記実施形態ではPCMマクロブロックの有無、mb_skip_runが難易に設定した値を超えるマクロブロックの有無、Intra modeの相関がないマクロブロックの有無をそれぞれ判定して、誤りが混入したマクロブロックを推定するようにしたが、これらをすべて判定する必要はなく、これらのうちの少なくとも一つを判定するようにしてもよい。
また、前記実施形態では誤りが混入したマクロブロックの推定処理、及びそれ以降のマクロブロックの破棄等を、マイクロプロセッサにプログラムを実行させることにより実現したが、ハードウエアにより実現するようにしてもよい。その他、ストリームデータのフォーマット、制御ユニット及び信号処理ユニットの構成、コンシールメント処理の内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
この発明に係わる動画像復号装置の機能構成を示すブロック図。 図1に示した動画像復号装置の復号制御部における復号制御手順と制御内容を示すフローチャート。 H.264に定義されたマクロブロックレイヤのシンタックス(Syntax)の構成を示す図。 図1に示した動画像復号装置においてPCMマクロブロックが検出された場合の動作を説明するための図。 図1に示した動画像復号装置において任意に設定した最大長を超える長さのmb_skip_runが検出された場合の動作を説明するための図。 図1に示した動画像復号装置においてLuma/Chromaの予測モードに相関の内Intraマクロブロックが検出された場合の動作を説明するための図。 誤りが混入したマクロブロックの推定処理を行わない場合の動作を説明するための図。 誤りが混入したマクロブロックの推定処理を行わない場合の画像データの一例を示す図。 図1に示した動画像復号装置により得られる、画質が改善された画像データを示す図。
符号の説明
1…制御ユニット、2…信号処理ユニット、11…復号制御部、12…復号部、13…復号情報メモリ、14…誤り検出部、21…Inter予測部、22…Intra予測部、23…逆量子化・逆周波数変換部、24…データ合成部、25…デブロック部、26…フレームメモリ、27…コンシールメント部。

Claims (7)

  1. マクロブロック単位で符号化された画像データが多重化されたデータを、マクロブロック単位で復号してシンタックス情報を得る復号手段と、
    前記復号手段によって得られたシンタックス情報に誤りがあるか検出する検出手段と、
    前記検出手段によって誤りが検出されると、検出された誤りを含んだマクロブロックに先行するマクロブロックのシンタックス情報に基づいて非圧縮のマクロブロックの有無を判定し、非圧縮のマクロブロックが検出された場合は、この非圧縮のマクロブロックと判定されたマクロブロックに誤りがあると推定する推定手段と、
    前記推定手段によって誤りがあると推定されたマクロブロック以降のシンタックス情報を破棄する破棄手段と
    を具備することを特徴とする動画像復号装置。
  2. マクロブロック単位で符号化された画像データが多重化され、少なくとも1つのマクロブロックからなるスライスデータを、このスライスデータに含まれる該マクロブロック単位で復号してシンタックス情報を得る復号手段と、
    前記復号手段によって得られたシンタックス情報に誤りがあるか検出する検出手段と、
    前記検出手段によって誤りが検出されると、前記スライスデータに含まれ、かつ検出された誤りを含んだマクロブロックに先行するマクロブロックのシンタックス情報に基づいて非圧縮のマクロブロックの有無を判定し、非圧縮のマクロブロックが検出された場合は、この非圧縮のマクロブロックと判定されたマクロブロックに誤りがあると推定する推定手段と、
    前記推定手段によって誤りがあると推定されると、前記スライスデータに含まれかつ前記推定されたマクロブロック以降のシンタックス情報を破棄する破棄手段と
    を具備することを特徴とする動画像復号装置。
  3. 前記推定手段は、前記検出手段によって検出された誤りを含んだマクロブロックに先行するマクロブロックに非圧縮のマクロブロックが検出されないときは、さらに、前記先行するマクロブロックのシンタックス情報に基づいてマクロブロックのスキップ数が予め定められた基準を満たしているか判定し、前記基準を満たさないスキップ数が検出された場合は、この検出されたスキップ数を含むシンタックス情報に対応したマクロブロックに誤りがあると推定することを特徴とする請求項1又は2に記載の動画像復号装置。
  4. 前記破棄手段によって破棄されたシンタックス情報に対応したマクロブロックを、他のマクロブロックの画像データに基づいて復元する処理を行う復元手段をさらに備えたことを特徴とする請求項1又は2に記載の動画像復号装置。
  5. 無線通信を介して、マクロブロック単位で符号化された画像データが多重化され、少なくとも1つのマクロブロックからなるスライスデータを受信する受信手段と、
    前記受信されたスライスデータを、このスライスデータに含まれる該マクロブロック単位で復号してシンタックス情報を得る復号手段と、
    前記復号手段によって得られたシンタックス情報に誤りがあるか検出する検出手段と、
    前記検出手段によって誤りが検出されると、前記スライスデータに含まれ、かつ検出された誤りを含んだマクロブロックに先行するマクロブロックのシンタックス情報に基づいて非圧縮のマクロブロックの有無を判定し、非圧縮のマクロブロックが検出された場合は、この非圧縮のマクロブロックと判定されたマクロブロックに誤りがあると推定する推定手段と、
    前記推定手段によって誤りがあると推定されると、前記スライスデータに含まれかつ前記推定されたマクロブロック以降のシンタックス情報を破棄する破棄手段と
    を具備することを特徴とする移動体端末。
  6. 前記推定手段は、前記検出手段によって検出された誤りを含んだマクロブロックに先行するマクロブロックに非圧縮のマクロブロックが検出されないときは、さらに、前記先行するマクロブロックのシンタックス情報に基づいてマクロブロックのスキップ数が予め定められた基準を満たしているか判定し、前記基準を満たさないスキップ数が検出された場合は、この検出されたスキップ数を含むシンタックス情報に対応したマクロブロックに誤りがあると推定することを特徴とする請求項5記載の移動体端末
  7. 前記破棄手段によって破棄されたシンタックス情報に対応したマクロブロックを、他のマクロブロックの画像データに基づいて復元する処理を行う復元手段を更に備えたことを特徴とする請求項5記載の移動体端末。
JP2005113825A 2005-04-11 2005-04-11 動画像復号装置とこの装置を備えた移動体端末 Expired - Fee Related JP4203036B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005113825A JP4203036B2 (ja) 2005-04-11 2005-04-11 動画像復号装置とこの装置を備えた移動体端末
US11/376,585 US7912132B2 (en) 2005-04-11 2006-03-15 Moving image decoding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005113825A JP4203036B2 (ja) 2005-04-11 2005-04-11 動画像復号装置とこの装置を備えた移動体端末

Publications (2)

Publication Number Publication Date
JP2006295569A JP2006295569A (ja) 2006-10-26
JP4203036B2 true JP4203036B2 (ja) 2008-12-24

Family

ID=37083146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005113825A Expired - Fee Related JP4203036B2 (ja) 2005-04-11 2005-04-11 動画像復号装置とこの装置を備えた移動体端末

Country Status (2)

Country Link
US (1) US7912132B2 (ja)
JP (1) JP4203036B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139647B2 (en) * 2004-10-29 2012-03-20 Sharp Kabushiki Kaisha Moving image decoding apparatus and moving image decoding method
US8493405B2 (en) * 2006-05-24 2013-07-23 Panasonic Corporation Image control device and image display system for generating an image to be displayed from received imaged data, generating display information based on the received image data and outputting the image and the display information to a display
JP4427086B2 (ja) 2006-12-27 2010-03-03 パナソニック株式会社 動画像復号化装置
EP2105021A4 (en) * 2007-01-17 2011-03-02 Lg Electronics Inc METHOD AND APPARATUS FOR PROCESSING A VIDEO SIGNAL
JP4792001B2 (ja) * 2007-04-27 2011-10-12 株式会社東芝 動画像復号装置、放送受信装置、動画像復号方法
JP2010226376A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 画像復号装置およびコンピュータが実行可能なプログラム
KR20110011361A (ko) * 2009-07-28 2011-02-08 삼성전자주식회사 샘플링을 이용한 영상 데이터 인코딩/디코딩 장치 및 인코딩/디코딩 방법
CN103918259B (zh) * 2011-11-01 2018-01-30 日本电气株式会社 视频编码设备、视频解码设备、视频编码方法、视频解码方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3380841B2 (ja) 1997-03-19 2003-02-24 シャープ株式会社 誤り訂正方式、及び該誤り訂正方式を用いた復号装置
JP3957460B2 (ja) * 2001-01-15 2007-08-15 沖電気工業株式会社 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム
ES2601356T3 (es) * 2001-11-06 2017-02-14 Panasonic Intellectual Property Corporation Of America Método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento

Also Published As

Publication number Publication date
US7912132B2 (en) 2011-03-22
US20060227878A1 (en) 2006-10-12
JP2006295569A (ja) 2006-10-26

Similar Documents

Publication Publication Date Title
JP6325068B2 (ja) サンプル適応オフセットのためのオフセットタイプおよび係数シグナリング方法
JP3923898B2 (ja) 画像符号化方法及び装置
JP2020017986A (ja) 映像復号化方法、映像符号化方法および記録媒体
US9906790B2 (en) Deblock filtering using pixel distance
JP4643454B2 (ja) 動画像復号装置及び動画像復号方法
JP5052891B2 (ja) ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
JP4784188B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP4203036B2 (ja) 動画像復号装置とこの装置を備えた移動体端末
JP2009284518A (ja) ビデオ符号化方法
JP2004328634A (ja) 画像復号化装置及び方法
KR20170062464A (ko) 비디오 코딩을 위한 파이프라인식 인트라 예측 하드웨어 아키텍처
JP4792001B2 (ja) 動画像復号装置、放送受信装置、動画像復号方法
US7792374B2 (en) Image processing apparatus and method with pseudo-coded reference data
JP2014207536A (ja) 画像処理装置および方法
EP3114837B1 (en) Flicker detection and mitigation in video coding
CN111937389B (zh) 用于视频编解码的设备和方法
JP2006279272A (ja) 動画像符号化装置およびその符号化制御方法
US10187640B2 (en) Method of hard-limited packet size for video encoding
KR20060043120A (ko) 영상 신호의 인코딩 및 디코딩 방법
JP2007151163A (ja) 画像復号化方法及び装置
JP2002165223A (ja) 画像信号符号化装置
JP2011109528A (ja) 動画像符号化復号化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080805

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081007

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081009

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111017

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111017

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121017

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131017

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees