JPH09247681A - 動画像復号方法および動画像復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画像データ復号の際、エラーが発生すると
画像が一部失われ、修復しても画質が落ちる。動き補償
予測をすると以降のピクチャの画質も悪くなる。 【解決手段】 動画像データをマクロブロックごとに解
析するビットストリーム解析手段２００、解析中にエラ
ーが検出されれば、その領域を汚染領域として登録する
汚染領域登録部、マクロブロックを復号する際、動き補
償予測に用られる予測画像を決定する動きベクトル選択
部１４、予測画像の汚染有無を判定する汚染領域判定部
１６、予測画像が汚染されていればそれにフィルタをか
けるループフィルタ部２０を持つ。汚染された予測画像
はフィルタリングされてから復号に利用される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、符号化された動
画像データを復号する動画像復号方法および装置に関す
る。この発明は特に、符号化された動画像データを動き
補償予測を利用して復号する動画像復号方法、およびこ
の方法を用いた動画像復号装置に関する。

【０００２】

【従来の技術】一般に動画像は時間的、空間的に大きな
冗長度を持つ。ディジタル高能率符号化技術では、動き
補償予測やＤＣＴなどによって冗長度を取り除き、その
後に量子化を行い、量子化値や動きベクトルなどをその
発生頻度に応じて可変長符号化するアルゴリズムがよく
用いられる。ＩＴＵ−Ｔ Ｈ．２６１やＭＰＥＧ（ＩＳ
Ｏ／ＩＥＣ１１１７２−２、１３８１８−２）などの国
際標準符号化方式でもこのアルゴリズムが採用されてい
る。

【０００３】しかし、このアルゴリズムで符号化された
データを伝送、記録または読み出す際など、処理中にな
んらかの不具合が発生すると、復号時に可変長符号が正
しく解析できないか、または符号化パラメータが不正値
をとるなど、復号誤り（以下単に「エラー」ともいう）
の原因となる。エラーは復号画像の部分的な損失を招
く。動き補償予測を行う場合、この損失は以降の復号画
像にも悪影響を及ぼす。

【０００４】こうした事態を回避するために、復号装置
では、損失した画像に類似すると考えられる画像のデー
タによって、損失した画像を修復する損失修復（エラー
コンシールメント）機能を備えることが多い。エラーコ
ンシールメントアルゴリズムについては、従来よりさま
ざまな提案がなされている。その多くは、同一ピクチャ
内の近傍領域のデータを用いて損失部分を修復する空間
的コンシールメント（Spatial Concealment ）と、フレ
ームメモリ内に残っている過去または未来の画像データ
によって損失部分を置換する時間的コンシールメント
（Temporal Concelament）とに分類される。ピクチャと
は画像の単位で、フレームやフィールドを含む概念であ
る。

【０００５】空間的コンシールメントは、「空間的に互
いに隣合う小領域（画素、ブロックなど）は一般に類似
している（すなわち、相関が高い）」という知見を利用
するもので、例えば、SPIE Visual Communications and
Image Processing'93 の「Performance of MPEG Code
cs in the Presence of Errors」（Y.Q.Zhang andX.Le
e, 1993 ）では、エラーによって動き補償予測のための
情報が失われたマクロブロック（以下「損失マクロブロ
ック」という）を近傍の正しく復号されたマクロブロッ
クの全ブロックの平均ＤＣ値によって置換する。

【０００６】一方、時間的コンシールメントは、「一般
に時間的に近いピクチャ間の動きは小さく（すなわち、
時間的な相関が高く）、空間的に互いに隣合う領域は同
じような動きをする」という知見を利用する。例えば、
SPIE Visual Communicationsand Image Processing'93
の「Transmission Error Detection, Resynchronizati
on ，and Error Concealment for MPEG Video Decode
r」（S.H.Lee 他，1993) では、近傍の正しく復号され
たブロックの動きベクトルから損失ブロックの動きベク
トルを推定し、推定された動きベクトルを用いて過去ま
たは未来の画像から予測画像を特定し、損失ブロックを
置換する方法を開示する。

【０００７】これらのコンシールメント技術は、動画像
の一般的な性質を利用するものであり、動画像の種類に
よっては、単独で用いても、常に満足のいく結果をもた
らすとは限らない。そこで、様々な動画像の性質に動的
に対処すべく、場合に応じてコンシールメント処理を切
り替える方法も提案されている。例えば、SPIE Visual
Communications and Image Processing'92 の「Adapti
ve Error ConcealmentAlgorithm for MPEG Compressed
Video」（H.Sun 他, 1992）において提案される手法で
は、コンシールメントの対象となるブロックの近傍のブ
ロックについて空間的および時間的相関を求め、これら
の相関の比に基づいて空間的コンシールメントと時間的
コンシールメントの切り替えを行っている。

【０００８】以上は復号側の技術であるが、符号化側で
もエラーの影響を小さくする措置がとられる。動画像で
は特に時間方向への損失の影響の伝搬が深刻なので、周
期的に、動き補償予測を行わず自ピクチャ内だけで閉じ
たイントラ符号化を行うこと、すなわち周期リフレッシ
ュを行うことが多い。

【０００９】図１はＭＰＥＧ１またはＭＰＥＧ２を用い
て符号化を行う様子を示す図で、ここでは自ピクチャ内
で閉じた符号化の対象となるＩピクチャを周期的に挿入
している。このため、一旦損失が生じてもつぎのＩピク
チャが到来すれば損失の影響が見えなくなり、動画像復
号シーケンス全体としてエラー耐性が向上する。Ｉピク
チャがない場合、同図のごとく損失の影響は次第に広が
っていく。このほか、イントラ符号化されたマクロブロ
ック群を周期的に挿入するイントラスライスとよばれる
手法もある。

【００１０】一方、同一ピクチャ内においてもＤＰＣＭ
（Differential Phase Code Modulation）などの予測符
号化が行われることが多いため、空間的な損失の影響の
伝搬を防ぐべく、ＤＰＣＭに周期的なリセットの単位が
設けられている。この単位は、例えば図２に示すＭＰＥ
Ｇ１またはＭＰＥＧ２で定義されるスライスに相当す
る。同図では、１マクロブロック列を１スライスで構成
する場合（Ａ）と、２スライスで構成する場合（Ｂ）を
示している。Ｂのように、スライスの長さを短くすれ
ば、損失波及範囲が狭まるため、ＤＰＣＭにおけるエラ
ーは早期にリセットされ、空間方向の損失の影響の伝搬
を低減することができる。

【００１１】

【発明が解決しようとする課題】エラーコンシールメン
ト処理は、エラー訂正処理によっても訂正不可能なビッ
トエラーに対して行われ、その目的は、画像の損失を最
小限にとどめることにある。

【００１２】しかしながら、コンシールメントされた画
像データは本来の画像データとは異なるものである。以
降のピクチャではコンシールメントされた画像領域をも
とに動き補償予測を行うため、予測画像も本来の予測画
像と異なる。こうして、画質劣化の時間的伝搬が発生す
る。Ｉピクチャやイントラスライスを設けても、それら
自体の復号時にエラーが発生する可能性もある。このよ
うな場合、Ｉピクチャ等の効果は期待できない。

【００１３】従来の復号側のエラー処理の主眼は、いか
にコンシールメント処理を的確に行うかにあった。その
根本思想は、コンシールメントが的確であればあるほ
ど、その処理が行われたピクチャの再生画像の画質が改
善される事実に立脚する。しかし、実際にはコンシール
メントには必ず誤差が入る。動き補償予測を行う限り、
通常この誤差による悪影響は広がっていく。

【００１４】従って本発明の目的は、コンシールメント
処理に誤差があることを認めたうえで、（１）そのコン
シールメント処理が施されたピクチャの再生画像の画質
を改善するとともに、（２）コンシールメント処理に伴
う誤差の空間的、時間的影響を抑制することにある。

【００１５】

【課題を解決するための手段】

（１）本発明の動画像復号方法は、符号化された動画像
データを動き補償予測を利用して復号する方法であり、
動画像データを処理単位画像ごとに解析する解析工程
と、ある処理単位画像を解析したときエラーが検出され
れば、その処理単位画像の領域を汚染領域として登録す
る登録工程と、処理単位画像を復号する際、動き補償予
測に用いられる予測画像を決定する決定工程と、決定さ
れた予測画像が前記汚染領域に含まれるか否かを判定す
る判定工程と、判定の結果、前記予測画像が前記汚染領
域に含まれるとき、その予測画像に平滑化処理を施す平
滑化工程とを含む。

【００１６】ここで「処理単位画像」とは、画像の復号
の際に処理単位となる画像をいい、例えばＭＰＥＧのマ
クロブロックをいう。動画像データは、例えばＩＴＵ−
ＴＨ．２６１、ＩＳＯ／ＩＥＣ １１１７２−２（いわ
ゆるＭＰＥＧ１）、ＩＳＯ／ＩＥＣ １３８１８−２
（いわゆるＭＰＥＧ２）などに準拠して符号化される。
「解析」とは、例えばビットストリームという形で受信
する動画像データの内容を判読することをいい、通常は
復号処理の最初の段階で行われる。動画像データ中に判
読できないビット列が含まれていた場合など、エラーが
検出される。汚染領域とは、前記エラーの結果、なんら
かの意味で悪影響を受ける画像領域をいう。「予測画
像」は、動き補償予測に用いられる画像で、例えばある
ピクチャのあるマクロブロックを復号するとき、このマ
クロブロックの領域に対応する直前のピクチャの領域が
判明すれば、この直前のピクチャの領域が復号中のマク
ロブロックの予測画像の領域に相当する。

【００１７】以上の構成にて、まず動画像データが入力
され、これが処理単位画像ごとに解析される。解析中エ
ラーが検出されなければ、通常どおり復号が行われる。
一方、エラーが検出されれば、そのエラーが検出された
処理単位画像の領域が汚染領域として登録される。

【００１８】この登録処理とは別に、任意の処理単位画
像が復号されるとき、動き補償予測に用いられる予測画
像が決定される。ここで、決定された予測画像が前記汚
染領域に含まれるか否かが判定される。判定の結果、そ
の予測画像が汚染領域に含まれるとき、その予測画像に
平滑化処理が施される。この後、この予測画像が復号中
の処理単位画像の予測画像として利用され、復号画像が
得られる。平滑化工程の例として、ローパスフィルタを
用いたフィルタリング処理がある。

【００１９】この動作によれば、汚染領域に含まれる予
測画像が平滑化されるため、再生画像の中で、前記予測
画像が画像の他の部分から際だって異なる印象を与える
状態が回避される。この状態で後続のピクチャが復号さ
れるため、空間的および時間的な画質劣化が低減され
る。

【００２０】（２）本発明のある態様では、前記登録工
程は、１．エラーが検出された処理単位画像の領域だけ
でなく、２．前記汚染領域に含まれる予測画像を用いて
動き補償予測を行った画像領域も汚染領域として登録す
る。１はいま復号中のピクチャにおけるエラーの有無を
後のピクチャの復号の際に参照するためである。一方、
２はすでに前のピクチャでエラーが発生していた場合、
たとえ今回復号中のピクチャでエラーが検出されなくて
も、前のピクチャのエラーの影響が今回復号された画像
に及ぶ限り、この旨を登録しておくものである。これは
後続のピクチャの復号の際に参照される。

【００２１】（３）一方、本発明の動画像復号装置は、
符号化された動画像データを動き補償予測を利用して復
号する装置であり、動画像データを受信し、これを処理
単位画像ごとに解析するビットストリーム解析手段と、
ある処理単位画像を解析したときエラーが検出されれ
ば、その処理単位画像の領域を汚染領域として登録する
汚染領域登録手段と、処理単位画像を復号する際、動き
補償予測に用られる予測画像を決定する予測画像決定手
段と、決定された予測画像の領域と前記汚染領域を比較
することによってその予測画像が汚染されているか否か
を判定する汚染判定手段と、判定の結果、前記予測画像
が前記汚染領域に含まれるとき、その予測画像に平滑化
処理を施す平滑化手段とを含む。この構成による動作の
原理は（１）のとおりである。

【００２２】（４）このとき本発明のある態様では、前
記予測画像決定手段は、処理単位画像ごとにその動きベ
クトルから動き補償予測を行うものであり、前記エラー
に起因して動きベクトルが失われた処理単位画像に対し
ては、その近傍の処理単位画像の動きベクトルをもとに
予測画像を決定する。

【００２３】（５）本発明のある態様では、本装置はさ
らに、復号されたピクチャの数を計数するピクチャ計数
手段を含み、計数されたピクチャの数が所定値に達した
とき、前記汚染領域登録手段は汚染領域の登録を抹消す
る。登録が抹消された時点で汚染領域は存在しない状態
に戻るため、前記平滑化処理が行われなくなる。

【００２４】（６）本発明のある態様では、前記汚染領
域登録手段は、エラーが検出された処理単位画像だけで
なく、前記汚染領域に含まれる予測画像を用いて動き補
償予測を行った画像領域も汚染領域として登録する。こ
の動作原理は（２）で説明したとおりである。

【００２５】（７）本発明のある態様では、前記汚染判
定手段は、前記予測画像の領域と前記汚染領域の重なり
の程度から汚染の有無を判定する。「重なりの程度」の
例として、予測画像の全領域のうち汚染領域に入ってい
る領域の割合が考えられる。すなわち、汚染領域に入っ
ている領域の割合が高いほど、この予測画像は汚染され
ていると判定されやすくなる。

【００２６】（８）本発明のある態様では、該装置はさ
らに、エラーが検出されたとき、エラーの検出された処
理単位画像だけでなく、そのエラーに起因してその処理
単位画像と同様に動きベクトルが失われた画像領域範囲
を決定する損失画像範囲決定手段を含み、前記汚染領域
登録手段は、この画像領域範囲全体を汚染領域として登
録する。

【００２７】（９）本発明のある態様では、本装置は、
復号ピクチャ用汚染領域記憶手段と予測ピクチャ用汚染
領域記憶手段を含み、前記汚染領域登録手段は、現在復
号中のピクチャにおいてエラーが検出されれば、そのエ
ラーが検出された処理単位画像を復号ピクチャ用汚染領
域記憶手段に登録し、復号処理がつぎのピクチャに進ん
だとき復号ピクチャ用汚染領域記憶手段と予測ピクチャ
用汚染領域記憶手段を切り換える。「復号ピクチャ」と
は復号中のピクチャをいい、「予測ピクチャ」とは予測
画像の含まれるピクチャをいう。

【００２８】あるピクチャを復号しおえたとき、そのピ
クチャにおいて検出されたエラーは、次のピクチャの復
号のときに参照すべきである。そのため、まず復号ピク
チャ用汚染領域記憶手段を予測ピクチャ用汚染領域記憶
手段に切り替える。この時点で、もとの予測ピクチャ用
汚染領域記憶手段があくため、これを復号ピクチャ用汚
染領域記憶手段に切り替える。以降、ピクチャを復号す
るたびにこの切り替えを繰り返す。一例として、復号ピ
クチャ用汚染領域記憶手段は登録専用、予測ピクチャ用
汚染領域記憶手段は読み出し専用という構成にすること
もできる。

【００２９】（１０）本発明のある態様では、本装置
は、ピクチャ構造がフレーム形式であるかフィールド形
式であるかを判定するピクチャ構造判定手段と、ピクチ
ャ構造がフレーム形式であるとき、これをフィールド形
式に変換するピクチャ構造変換手段とを含み、ピクチャ
構造がフレーム形式である場合は、これがフィールド形
式に変換された後、前記平滑化処理が行われる。「ピク
チャ構造」とは、処理単位画像のピクチャの構造をい
い、少なくともフレーム形式とフィールド形式を含む。
この態様では、フレーム形式のピクチャが一旦フィール
ドごとに集められるため、フィールド間に存在する動き
（これは平滑化すべきでない）が平滑化されずに残る。

【００３０】

【発明の実施の形態】実施形態１. 図３はＩＴＵ−ＴＨ．２６１規定のビデオ
ビットストリームのデータ構造を示す図である。フレー
ムはピクチャという階層に位置付けられ、マクロブロッ
クの集合としてＧＯＢ（Group Of Blocks ）というレイ
ヤが設けられている。マクロブロックは輝度用のＹブロ
ック、ブルー色差用のＣｂブロック、レッド色差用のＣ
ｒブロックから構成される。

【００３１】本実施形態に係る復号装置はＨ．２６１規
定にしたがって符号化されたビットストリームを受信し
てこれをマクロブロック単位で復号し、動画像データを
再生する。復号の際は、マクロブロック毎にピクチャ間
で動き補償予測を行って得られる動きベクトル情報を利
用する。

【００３２】本装置の処理の特徴は、あるピクチャを復
号するとき、コンシールメント処理の対象となったマク
ロブロック領域を汚染領域として登録し、以降別のピク
チャが復号されるとき、マクロブロックの予測画像がこ
の汚染領域に入る場合に、この予測画像に対してフィル
タリング処理を行う点にある。

【００３３】［構成］図４は本実施形態に係る復号装置
の構成図である。この装置は、まずビデオビットストリ
ーム１を受信する。このビットストリームは画像情報と
付加情報からなる符号化データ列である。画像情報は、
各マクロブロックの原画像または動き補償予測誤差画像
データに対する直交変換から得られる変換係数を各ブロ
ックごとに量子化し、量子化インデックスを可変長符号
化して得られる。付加情報は、ピクチャおよびマクロブ
ロックごと付加される。本装置は、この符号化過程を逆
に辿るための構成を持つ。

【００３４】この装置は、受信したビデオビットストリ
ーム１を復号する可変長復号部２と、この可変長復号部
２から量子化ＤＣＴ係数３及びその逆量子化に必要とな
る量子化パラメータ４を受けて逆量子化を行う逆量子化
部５、逆量子化部５による逆量子化の結果を受けて逆Ｄ
ＣＴ演算を行う逆ＤＣＴ部６、可変長復号部２の出力の
うち、処理中のマクロブロックの画面内位置情報１１と
動きベクトル１２をもとに当該マクロブロックの動きを
最も適切に表現していると考えられる動きベクトル（以
下「最終動きベクトル」という）を選択し、これを出力
する動きベクトル選択部１４、最終動きベクトルと後述
のエラーフラグ８を参照して予測画像が汚染されている
か否かを判定する汚染領域判定部１６、復号された画像
データを格納するフレームメモリ１９、フレームメモリ
１９に対する書き込みと読み出しを制御するメモリイン
タフェイス部１８、ループフィルタ動作指示フラグ１０
または後述の汚染領域フィルタリング指示フラグ１７の
いずれかが１になったとき、これを後段のループフィル
タ部２０に通知するオアゲート４０、ＩＴＵ−ＴＨ．２
６１で規定されるローパスフィルタであって、フレーム
メモリ１９から読み出された画像データに対し、オアゲ
ート４０から通知を受けたときにフィルタリングを行う
ループフィルタ部２０、ループフィルタ部２０から出力
された予測画像と逆ＤＣＴ部６の出力を加算して最終的
な復号画像２２を生成する復号加算部７を含む。

【００３５】本実施形態の可変長復号部２は、受信した
ビデオビットストリーム１を解析するビットストリーム
解析部２００と、解析の結果エラーが検出されたとき、
このエラーによって失われる画像領域を決定する損失画
像範囲決定部２０４と、後述する汚染領域追跡期間を決
定するために、復号したピクチャの数をカウントするピ
クチャ計数部２０８を持つ。ピクチャ計数部２０８はエ
ラー検出以降に復号したピクチャ数をカウントしてもよ
く、いずれの場合でも、カウント値が所定値に達したと
き、汚染領域判定部１６に対して後述の汚染領域記憶メ
モリリセット指示１３を発行する。

【００３６】［動作］図５は本装置による復号動作を示
すフローチャート図である。同図のごとく、まずビット
ストリーム解析部２００がＨ２６１のシンタックスに基
づいてデータストリームの解析を行い、エラー発生の有
無が判定される（Ｓ１００）。ここでは、ビットストリ
ーム１を復号していく際、規格で定められた符号語に当
てはまらないビット列が検出されたとき、エラーが発生
したとみなす。Ｓ１００における分岐により、本装置は
大別して、復号エラーが発生していないときと、発生し
たときで処理を変える。前者はさらに、Ｓ１０６におけ
る分岐により、処理中の画像がイントラ符号化されたも
のでるか、インタ符号化されたものであるかにより、処
理が異なる。イントラ符号化とは、動きベクトル情報を
含めないで行われる符号化をいい、インタ符号化は符号
化の際の属性情報のひとつに動きベクトル情報が含まれ
る符号化をいう。

【００３７】［１］正常時の復号動作 Ｓ１００でエラーが検出されない場合、通常どおりの復
号処理が開始される。まず、処理の対象がイントラ符号
化されたマクロブロック（以下、「イントラ符号化マク
ロブロック」という）である場合（イントラ／インタフ
ラグ９がイントラを示している場合）、処理は図４の可
変長復号部２、逆量子化部５、逆ＤＣＴ部６を経る。イ
ントラ符号化マクロブロックは動きベクトル情報を含ま
ないため、これら以外の構成は原則として利用されな
い。逆ＤＣＴ部６の出力はフレーム内原信号を表し、こ
れが復号加算部７を素通りし、そのまま最終的な復号画
像２２となる。この処理は、図５において、逆量子化
（Ｓ１０２）、逆ＤＣＴ（Ｓ１０４）を行い、イントラ
符号化であるかどうかの判定（Ｓ１０６）を経て復号画
像を出力する（Ｓ１０８）経路で示される。

【００３８】一方、処理の対象がインタ符号化マクロブ
ロックである場合（イントラ／インタフラグ９がインタ
を示している場合）、処理は図４の逆ＤＣＴを経る経路
と、動きベクトル選択部１４等を経る経路の２つからな
り、これらの処理結果が復号加算部７で加算される。

【００３９】まず前者の処理は、図５中の逆量子化（Ｓ
１０２）、逆ＤＣＴ（Ｓ１０４）によって行われる。こ
の場合、逆ＤＣＴ部６の出力信号は動き補償予測フレー
ム間予測誤差信号である。後者の処理は、図５中、Ｓ１
１０〜１２２に相当する。すなわち、Ｓ１０６において
処理の対象がインタ符号化マクロブロックであるため、
Ｓ１１０に進む。ここで、動きベクトル選択部１４から
最終動きベクトル１５が出力される。エラーのない間、
単に当該マクロブロックの動きベクトルをもって最終動
きベクトルとする。この後、当該マクロブロックの画面
内位置情報１１と、最終動きベクトル１５がメモリイン
タフェース部１８に受け渡され、予測画像のアドレスが
生成され、フレームメモリ１９から予測画像が取り出さ
れる（Ｓ１１２）。予測画像はループフィルタ部２０に
送られる。

【００４０】これと並行して、予測画像の汚染有無が判
定される（Ｓ１１４）。判定方法は後に詳述する。ここ
で仮に汚染されていると判定されれば（Ｓ１１４の
Ｙ）、その予測画像が後述の復号ピクチャ用汚染領域記
憶メモリ３６に登録される（Ｓ１１６）。これは、この
ピクチャ以降のピクチャを復号する際に参照するためで
ある。つづいて、汚染領域フィルタリング指示フラグ１
７を１にする。この結果、ループフィルタ部２０でフィ
ルタリングが実行され（Ｓ１１８）、予測画像の最終状
態２１（以下「最終予測画像２１」という）が得られ
る。なお、Ｓ１１４の汚染有無の判定は、復号ピクチャ
用汚染領域記憶メモリ３６を参照することで可能なた
め、予測画像の取り出し（Ｓ１１２）はＳ１１４の前に
ある必要はなく、これらの処理は並列して実行してもよ
い。

【００４１】この後、最終予測画像２１は復号加算部７
に送られ、逆ＤＣＴ部６の出力と加算され、復号画像２
２が出力される（Ｓ１２０）。復号画像２２は、以降の
ピクチャの予測画像として用いられるため、当該マクロ
ブロックの画面内位置情報１１に基づいてフレームメモ
リ１９に書き込まれる。

【００４２】一方、Ｓ１１４において予測画像が汚染さ
れていないと判定されれば（Ｓ１１４のＮ）、ループフ
ィルタ動作指示フラグ１０が１の場合に限り、フィルタ
リングが実行される（Ｓ１２２）。Ｈ２６１では、ルー
プフィルタ動作指示フラグ１０はもとのビットストリー
ム１においてマクロブロック単位で設定することが認め
られるビットフラグであり、設定の内容は符号化側に依
存する。

【００４３】［２］エラー検出時の復号動作 （１）コンシールメント処理 一方、Ｓ１００においてエラーが検出された場合、まず
コンシールメント処理が行われる（Ｓ１２４）。エラー
はイントラ符号化マクロブロック、インタ符号化マクロ
ブロックを問わず発生しうる。コンシールメント処理と
は、エラーによって失われたマクロブロックの動きベク
トルを推定し、すでに正常に復号されフレームメモリ１
９内に格納されているピクチャ（これは予測用に用いら
れるため以降「予測ピクチャ」という）から置換画像を
取り出す処理をいう。この置換画像が当該マクロブロッ
クの予測画像として利用されるため、エラー検出時に
は、逆ＤＣＴ部６の出力は無視される。

【００４４】図６はコンシールメント処理の手順を示す
フローチャート図である。同図に示すごとく、まず損失
画像範囲決定部２０４は、エラーが検出されたデータか
ら、そのエラーの影響を受ける画像データの範囲を特定
する（Ｓ２００）。ここで、例えばピクチャレイヤに属
するデータにおいて復号継続不可能なエラーが発生した
場合（Ｓ２０２のＹ）、そのピクチャは正常な復号がで
きないため、そのピクチャに関するデータをすべて捨て
（Ｓ２２０）、コンシールメント処理を打ち切る。この
場合、ピクチャが１枚飛んでしまうため、例えば同じピ
クチャを２回表示するようなエラー処理を行う。

【００４５】一方、Ｓ２０２でＮの場合、ＧＯＢレイヤ
以下のレベルで復号継続不可能なエラーが発生したと考
えられるから、まずエラーフラグ８を１にして（Ｓ２０
４）、エラーの起きたＧＯＢに関するデータを捨てる
（Ｓ２０６）。この処理により、いくつかのマクロブロ
ックのデータが失われる。そこでこれらのマクロブロッ
ク（以下「損失マクロブロック」という）について、動
きベクトルを推定する（Ｓ２０８）。つづいて、推定さ
れた動きベクトルの妥当性の評価（Ｓ２１０）を経て、
最終動きベクトルが出力される（Ｓ２１２）。

【００４６】動きベクトルの推定から最終動きベクトル
の出力までは、動きベクトル選択部１４で処理される。
図７は本実施形態の動きベクトル選択部１４の内部構成
図である。同図において、動きベクトル選択部１４は、
複数のマクロブロックラインについてマクロブロックご
とにその動きベクトルを格納する動きベクトルバッファ
２６、エラーフラグ８とイントラ／インタフラグ９を参
照し、動きベクトルバッファ２６に対して書き込み指示
２４と書き込みベクトル値２５を与えて書き込みを制御
する書き込みベクトル決定部２３、動きベクトルバッフ
ァ２６に対して読み出し指示２９を与え、ベクトル値の
読み出しを制御する読み出しベクトル決定部２８、動き
ベクトルバッファ２６から読み出された推定動きベクト
ル２７を入力し、そのベクトルの妥当性を判定して最終
動きベクトル１５を出力する最終動きベクトル決定部３
０を持つ。最終動きベクトル決定部３０は、エラーフラ
グ８、当該マクロブロックの画面内位置情報１１を参照
する。

【００４７】本実施形態では、損失マクロブロックの真
上のマクロブロックの動きベクトルを損失マクロブロッ
クの動きベクトルと推定する。これは、近傍のマクロブ
ロック間で動きベクトルの近似度が高いという経験則に
よる。この処理の場合、動きベクトルバッファ２６は、
損失マクロブロックの存在するマクロブロックラインの
１つ上のマクロブロックラインに含まれるマクロブロッ
クに関する動きベクトルを保持していれば足りる。

【００４８】この構成において、書き込みベクトル決定
部２３は、エラーフラグ８が０の間、イントラ符号化マ
クロブロックについてはベクトル値としてゼロ、インタ
符号化マクロブロックについては復号された動きベクト
ル値をそれぞれ書き込みベクトル値２５として動きベク
トルバッファ２６に書き込む。一方、エラーフラグ８が
１の間、当該マクロブロック自身の正しい動きベクトル
が存在しないため、書き込みベクトル値２５としてベク
トル値としてゼロを書き込む。これは、後の処理におい
て、この損失マクロブロックの動きベクトルによって真
下のマクロブロックが悪影響を受けないための配慮であ
る。

【００４９】一方、読み出しベクトル決定部２８は、エ
ラーフラグ８が１のとき、損失マクロブロックの画面内
位置情報１１に基づいて動きベクトルバッファ２６から
損失マクロブロックの真上のマクロブロックの動きベク
トルを推定動きベクトル２７として読み出す。読み出す
べきアドレスは当該マクロブロックの画面内位置情報１
１が与えられているため、これを参照して決める。エラ
ーフラグ８が０のときは、当該マクロブロックの動きベ
クトルが正しく復号されているため、これをそのまま読
み出す。

【００５０】エラーフラグ８が１のとき、つづいて最終
動きベクトル決定部３０において推定動きベクトル２７
の妥当性を評価する（Ｓ２１０）。本実施形態では、推
定動きベクトル２７を当該マクロブロックの動きベクト
ルとして用いたときに、ベクトルが画面の外を指し示す
ような場合、妥当でないと判断する。この場合は、推定
動きベクトル２７のかわりに、ベクトル値をゼロとし、
最終動きベクトル１５として出力する。推定動きベクト
ル２７が妥当であれば、その推定動きベクトル２７を最
終動きベクトル１５として出力する（Ｓ２１２）。最終
動きベクトル１５はメモリインタフェース部１８に受け
渡され、置換画像が得られるため（Ｓ２１４）、これを
予測画像とする。この後、エラーフラグ８を０に戻し
（Ｓ２１６）、次のＧＯＢに処理を進め（Ｓ２１４）、
コンシールメント処理を終える。

【００５１】コンシールメント処理が終われば、図５に
戻り、コンシールメント処理されたマクロブロック、す
なわち損失マクロブロックの領域を汚染領域として復号
ピクチャ用汚染領域記憶メモリ３６に登録する（Ｓ１２
６）。しかる後、得られた予測画像を復号画像２２とし
て出力する（Ｓ１０８）。本実施形態では、エラーフラ
グ８が１のとき、イントラ符号化マクロブロック、イン
タ符号化マクロブロックに関係なく、復号加算部７で逆
ＤＣＴ部６の出力を強制的に無視するのとする。この結
果、推定動きベクトル２７から決まる予測画像がそのま
ま復号画像２２となる。なお、損失マクロブロックの復
号の際、逆ＤＣＴ部６からの動き補償予測フレーム間予
測誤差信号の加算が行われないため、後述のフィルタリ
ングは行わない。

【００５２】（２）汚染領域の判定とフィルタリング処
理 図５のＳ１１４の汚染領域の判定、Ｓ１１６およびＳ１
２６の汚染領域の登録、Ｓ１１８のフィルタリング処理
を説明する。

【００５３】（2-1 ）概要 図８はこれらの処理の概要を示す図である。まず、エラ
ーが検出されたピクチャ８０では、エラーが検出された
マクロブロック８３も含め、コンシールメント処理を行
ったマクロブロック群を汚染領域８４として登録してお
く。次のピクチャ８１では、ビットストリーム１中にエ
ラーが検出されなかった場合でも、同図のマクロブロッ
ク８５、８６のように、汚染領域８４に（少なくとも一
部が）含まれる予測画像８７、８８から動き補償予測が
行われる可能性がある。これらのマクロブロック８５、
８６については、本来得られるべき理想的な予測画像が
得られないため、復号画像の画質が劣化する。同様に、
ピクチャ８２のマクロブロック９３、９４は、ピクチャ
８１の汚染領域９０に含まれる予測画像９１、９２をも
とに動き補償予測が行われるため、汚染は広がってい
く。ここでは、動き補償予測をマクロブロック単位で行
っているため、マクロブロックの境界が目立つ画像が出
力される。そこで、汚染領域に含まれる予測画像にフィ
ルタリングを施し、復号画像をある程度平滑化し、境界
の目立ちを解消する。この結果、フィルタリング処理さ
れた領域が後のピクチャの予測画像となる場合にも、汚
染の影響を低減することができる。

【００５４】汚染領域の判定、汚染領域の登録、フィル
タリング処理は、実際には以下の状況が順に発生したと
き、必要な場面（３、５〜７）で行われる。

【００５５】１．あるピクチャを復号したとき、エラー
が検出される。

【００５６】２．損失マクロブロックに対してコンシー
ルメントを行う。

【００５７】３．前記損失マクロブロックの領域を汚染
領域として登録する。

【００５８】４．別のピクチャを復号する際、あるマク
ロブロックの予測画像を決める。

【００５９】５．その予測画像が汚染領域に含まれるか
否かを判定する。

【００６０】６．その予測画像が汚染領域に含まれれ
ば、新たにその予測画像の領域を汚染領域に登録する。

【００６１】７．その予測画像に対してフィルタリング
処理をする。

【００６２】８．フィルタリング処理した予測画像をも
とに復号画像を出力する。

【００６３】ここで、上記３は図５のＳ１２６に対応す
る登録で、汚染の判定なしに行われる点に特徴がある。
一方、上記６はＳ１１６に対応する登録で、汚染の判定
結果を見て行われる。

【００６４】（2-2 ）汚染領域の判定と登録 汚染領域の判定と特徴は、汚染領域判定部１６において
行われる。図９は、本実施形態の汚染領域判定部１６の
内部構成図である。

【００６５】同図のごとく、汚染領域判定部１６はま
ず、エラーフラグ８、マクロブロックの画面内位置情報
１１、最終動きベクトル１５、後述の汚染領域記憶メモ
リリセット指示１３を参照して、汚染領域の登録と参照
および汚染領域フィルタリング指示フラグ１７を制御す
る汚染領域登録判定部３１を持つ。汚染領域判定部１６
はさらに、復号ピクチャ用汚染領域記憶メモリ３６、予
測ピクチャ用汚染領域記憶メモリ３７の二重バッファを
持つ。前者は現在復号中のピクチャに含まれる汚染領域
を登録し、後者は予測画像が汚染領域に含まれるか否か
を知るために参照される。１ピクチャ分の復号が終了す
ると、登録された汚染領域を次のピクチャの復号の際に
参照できるよう、復号ピクチャ用汚染領域記憶メモリ３
６を予測ピクチャ用汚染領域記憶メモリ３７に切り換え
る。この時点で復号ピクチャ用汚染領域記憶メモリ３６
が空くため、こんどはこれを予測ピクチャ用汚染領域記
憶メモリ３７として利用する。以降、１ピクチャの復号
完了ごとに復号ピクチャ用汚染領域記憶メモリ３６と予
測ピクチャ用汚染領域記憶メモリ３７が切り替えられ
る。前者には登録のみが行われ、後者は参照のみが行わ
れる。

【００６６】汚染領域登録判定部３１は、書き込み指示
３２と、いま処理中のマクロブロックの画面内位置情報
１１に含まれるアドレス３３により、復号ピクチャ用汚
染領域記憶メモリ３６を制御し、同様に、読み出し指示
３４と読み出しの対象となるアドレス３５により、予測
ピクチャ用汚染領域記憶メモリ３７を制御する。

【００６７】以上の構成よる動作を説明する。

【００６８】エラーフラグ８が１の時は、汚染領域登録
判定部３１は処理中のマクロブロックが汚染されている
とみなし、復号ピクチャ用汚染領域記憶メモリ３６にそ
のマクロブロックの画面内位置情報１１を登録する。こ
れは図５のＳ１２６に対応する。

【００６９】一方、エラーフラグ８が０のときは、まず
汚染の判定を行う。図１０は汚染領域登録判定部３１の
処理の様子を示す図である。同図において、まず最終動
きベクトル１５と当該マクロブロックの画面内位置情報
１１とから、予測画像領域１４０を特定する。つづい
て、予測ピクチャ内にあって予測画像領域１４０と重な
る領域を持つマクロブロックのアドレス３５を取得す
る。このアドレスをもとに、予測ピクチャ用汚染領域記
憶メモリ３７から、同図に示す汚染領域３８の分布を得
る。この汚染領域３８と予測画像領域１４０の重なりの
程度を次式によって評価し、当該マクロブロックが汚染
領域に含まれるか否かを判定する。

【００７０】Ｐ１＞ＴＨ （式１） ここで、Ｐ１は予測画像中に含まれる汚染領域の占有率
を示す。予測画像領域のうち、汚染領域に重ならない部
分の面積をＳ１、重なる部分の面積をＳ２とすれば、Ｐ
１は、 Ｐ１＝Ｓ２／（Ｓ１＋Ｓ２） で計算される。一方、ＴＨは汚染判定のためのしきい値
である。本実施形態では、予測画像がこの条件式を満た
す場合、汚染されていると判定する。この式においてＴ
Ｈの決定方法は任意であり、動画像の性質や内容、復号
状況などによらず一定値を用いてもよく、状況等に応じ
て可変値とすることもできる。この値の設定方法によっ
て、汚染領域の分布状態を制御することができ、復号状
況に応じた画質制御が可能である。以上が判定である。

【００７１】判定の結果、復号中のマクロブロックの予
測画像が汚染領域に含まれる場合は、復号ピクチャ用汚
染領域記憶メモリ３６に当該マクロブロックの画面内位
置情報１１を汚染領域として登録し、汚染領域フィルタ
リング指示フラグ１７を１にする。

【００７２】なお、ここでは予測ピクチャ側における汚
染の有無を問題にしたが、仮に復号ピクチャにおいてエ
ラーが検出された場合は、エラーフラグ８を１とし、そ
の次のＧＯＢの直前まで上述のコンシールメント処理を
行い、処理の対象となったマクロブロックをすべて汚染
領域として登録する。

【００７３】（2-3 ）フィルタリング処理 汚染領域フィルタリング指示フラグ１７が１であると
き、ループフィルタ部２０が動作し、予測画像にローパ
スフィルタが施される。

【００７４】図１１はループフィルタ部２０に用いられ
るフィルタの係数を示す図である。同図中の数字は○の
画素に対するフィルタ係数を表す。本実施形態ではこの
フィルタに、Ｈ．２６１で規定されるフィルタを兼用す
る。予測画像を構成する輝度用と色差用の各８×８画素
からなるすべてのブロックに対してそれぞれフィルタリ
ングが施される。

【００７５】（2-4 ）フィルタリング処理の制限 長期間にわたるフィルタリングは解像度の低下をもたら
す。そこで本実施形態では、ピクチャ計数部２０８がエ
ラー検出以降の復号ピクチャ数をカウントし、このカウ
ント値が所定値に達したとき、汚染領域判定部１６に対
して汚染領域記憶メモリリセット指示１３を発行する。

【００７６】汚染領域登録判定部３１は汚染領域記憶メ
モリリセット指示１３に従い、リセット指示３９によっ
て予測ピクチャ用および復号ピクチャ用汚染領域記憶メ
モリ３６、３７の内容の初期化、すなわち既になされた
登録の抹消を行う。この結果、汚染領域の追跡が停止さ
れ、次にエラーが検出されるまで汚染領域の登録、フィ
ルタリングは行われず、フィルタリングによる過度の平
滑化が防止される（汚染領域をリセットする間隔を以降
「汚染領域追跡期間」と呼ぶ）。汚染領域追跡期間の決
定方法は任意であり、一定値、可変値のいずれを採用し
てもよい。この値の設定方法によって汚染領域の分布状
態を制御することができ、復号状況に応じた画質制御が
可能となる。

【００７７】実施形態２. ［構成］図１２は実施形態２に係る復号装置の構成図で
ある。この実施形態では、ＭＰＥＧ１ビデオ（ＩＳＯ／
ＩＥＣ １１１３０−２）規定にしたがって符号化され
たビットストリームを受信して復号し、動画像データを
再生する。

【００７８】一方、図１３はＭＰＥＧ１ビデオ規定のビ
デオビットストリームのデータ構造を示している。フレ
ームはピクチャという階層に位置付けられ、許される予
測方向に応じてＩピクチャ、Ｐピクチャ、Ｂピクチャと
いう３種類のピクチャタイプに分類される。ピクチャは
スライスの集合、スライスはマクロブロックの集合であ
る。マクロブロックは４つの輝度用ブロックＹ１〜４
と、色差用のＣｂ、Ｃｒブロックからなる。図中「予測
方向」の箇所の矢印が予測方向を示す。右に向かう矢印
が前方向予測、その逆が後方向予測である。Ｉピクチャ
では動き補償予測が行われず、すべてピクチャ内で閉じ
た符号化（イントラ符号化）が行われる。Ｐピクチャは
時間的に過去のピクチャのみからの動き補償予測（前方
向予測）のみが許される。Ｂピクチャでは時間的に未来
のピクチャからも動き補償予測（後方向予測）が許され
る。さらに時間的に過去のピクチャからの予測と未来の
ピクチャからの予測を組み合わせた予測も可能であり、
これを内挿予測（双方向予測）と呼ぶ。また、マクロブ
ロックの集合としてスライスレイヤが設けられている。
スライスは最小復号同期単位である。

【００７９】以下、図１２において図４に対応する部材
には同一の符号を与え、実施形態１と異なる部分を中心
に説明する。

【００８０】図１２において図４と異なる点は、受信す
るビデオビットストリーム１がＭＰＥＧ１ビデオ準拠で
あること、可変長復号部２内に、後述するピクチャ構造
を判定するピクチャ構造判定部２０６が新設されたこ
と、量子化パラメータ３と量子化ＤＣＴ係数４とマクロ
ブロックの画面内位置情報１１と動きベクトル１２がパ
ラメータバス４２という形で逆量子化部５に送られるこ
と、規格上はループフィルタ２０が不要であり、この代
わりに汚染領域フィルタリング指示１７に従って動作す
るフィルタ部５６が設けられていること、ループフィル
タ２０の削除に伴ってループフィルタ動作指示１０とオ
アゲート４０が削除されたこと、復号に用いる予測方向
５１が汚染領域判定部１６に与えられることにある。

【００８１】［動作］以下、実施形態１の装置と異なる
動作のみを説明する。

【００８２】［１］正常時の復号動作 図５のＳ１００〜１２２を行う。復号の対象がイントラ
符号化マクロブロックのとき、逆量子化部５はパラメー
タバス４２から量子化パラメータと量子化ＤＣＴ係数を
取り出す。以降は実施形態１と同じである。

【００８３】復号の対象がインタ符号化マクロブロック
のとき、動きベクトル選択部１４はパラメータバス４２
を介して送られる動きベクトルと予測方向情報をラッチ
し、それぞれ最終動きベクトル１５、最終予測方向情報
５１としてそのまま出力する。メモリインタフェース部
１８では、パラメータバス４２から当該マクロブロック
が属するピクチャのタイプと当該マクロブロックの画面
内位置情報をラッチする。次いでピクチャタイプから予
測ピクチャを決定し、当該マクロブロックの画面内位置
情報、最終動きベクトル１５、最終予測方向情報５１に
基づいて予測画像のアドレスを生成し、フレームメモリ
１９から予測画像を取り出す。予測画像はフィルタにか
けられず、そのまま最終的な予測画像２１として復号加
算部７へ送られ、逆ＤＣＴ演算部６の出力と加算され最
終的な復号画像２２となる。ＩまたはＰピクチャの復号
画像は、以降のピクチャの予測ピクチャとして用いられ
るため、メモリインタフェース部１８でラッチされてい
る当該マクロブロックの画面内位置情報に基づいて再び
フレームメモリ１９に書き込まれる。

【００８４】［２］エラー検出時の復号動作 （１）コンシールメント処理 図６に当たる処理を行う。本実施形態では、実施形態１
のＧＯＢをすべてスライスと読み替える。本実施形態の
特徴は、動きベクトルだけでなく、予測方向も考慮して
置換画像の取り出しを行う点にある。本実施形態でコン
シールメントに用いる予測ピクチャと動きベクトルは、
復号ピクチャのタイプごとに以下のとおりとする。

【００８５】１．Ｉピクチャ Ｉピクチャでは本来動き補償予測が行われないが、ここ
では予測ピクチャという概念を導入する。予測ピクチャ
は最も最近復号されたＩまたはＰピクチャとし、推定動
きベクトルはゼロとする。すなわち、最も最近復号され
たＩまたはＰピクチャから、いま処理しているマクロブ
ロックと同じ画面内位置にあるマクロブロックをそのま
ま予測画像とする。従って、Ｉピクチャのコンシールメ
ントは前方向予測によって行われるといってよい。この
予測方向は後述の推定予測方向として扱われる。

【００８６】２．Ｐピクチャ 実施形態１同様、損失マクロブロックの真上のマクロブ
ロックの動きベクトルを推定動きベクトルとする。ま
た、真上のマクロブロックの予測ピクチャをそのまま予
測ピクチャとする。従って、Ｐピクチャの推定予測方向
も前方向である。

【００８７】３．Ｂピクチャ Ｐピクチャと同様に、真上のマクロブロックに従う。従
ってＢピクチャのコンシールメントは、損失マクロブロ
ックの真上のマクロブロックの予測方向により、推定予
測方向は前方向、後方向、双方向のいずれかとなる。

【００８８】こうして決められた推定動きベクトルから
最終動きベクトル１５を生成する処理は、動きベクトル
選択部１４によって行われる。図１４は本実施形態の動
きベクトル選択部１４の内部構成図である。同図と図７
の構成上の主要な違いは、パラメータバス４２の信号群
をラッチするパラメータラッチ部５９が設けられた点に
ある。パラメータラッチ部５９は、各種パラメータのう
ち、復号中のマクロブロックの動きベクトル、予測方
向、画面内位置情報をラッチする。ラッチされた動きベ
クトル６０、予測方向６１、画面内位置情報６２は書き
込みベクトル決定部２３、最終動きベクトル決定部３０
に与えられる。この他、動きベクトルパッファ２６から
推定動きベクトル２７に加えて前述の推定予測方向６９
が最終動きベクトル決定部３０に送られる点が異なる。

【００８９】エラーフラグ８が１のとき、復号中のマク
ロブロックの画面内位置情報６２に基づいて、動きベク
トルバッファ２６からそのマクロブロックの真上のマク
ロブロックの動きベクトルと予測方向をそれぞれ推定動
きベクトル２７、推定予測方向６９として取り出す。こ
れらは最終動きベクトル決定部３０を介して最終動きベ
クトル１５、最終予測方向５１として出力される。最終
動きベクトル決定部３０は、推定動きベクトル２７、推
定予測方向６９に基づき、推定動きベクトル２７の妥当
性を評価する。評価の結果、妥当でないとされたとき
は、最終動きベクトル１５の値としてゼロ、最終予測方
向５１として前方向を出力する。これらはメモリインタ
フェース１８部に渡され、以下実施形態１同様の処理を
経て予測画像が得られる。

【００９０】（２）汚染領域の判定とフィルタリング処
理 図１５は実施形態２による汚染領域の登録、判定、フィ
ルタリング処理の全体処理を説明する図である。同図で
は、Ｂピクチャが内挿予測によって復号される様子が示
されている。ここでは、最初のピクチャ９５のマクロブ
ロック１００においてエラーが検出され、そのマクロブ
ロックの含まれるスライスが汚染領域１０１として登録
されている。汚染領域１０１に含まれる予測画像１０
２、１０３から後のＰピクチャ９７のマクロブロック１
０４、１０５が復号され、結果的にＰピクチャ９７の汚
染領域１０６が拡大している。いま実際に復号中のＢピ
クチャ９６のマクロブロック１０７は、ピクチャ９６に
含まれる予測画像１０８と、Ｐピクチャ９７に含まれる
予測画像１０９を用いる。こうして汚染が伝搬してい
く。

【００９１】ＭＰＥＧでは、Ｂピクチャは他のピクチャ
の予測に使用されない。従って、Ｂピクチャの汚染領域
が他ピクチャ復号時に参照されることはない。このた
め、ＩまたはＰピクチャのみについて汚染領域の登録を
行う。すなわち、エラーを検出したＩまたはＰピクチャ
では、エラーコンシールメントを行ったマクロブロック
を汚染領域として登録する。

【００９２】汚染領域の判定と登録は汚染領域判定部１
６において行われる。本実施形態の汚染領域判定部１６
の構成は図９のものとほぼ同じである。異なる点は、汚
染領域登録判定部３１が実施形態１のそれに加えて、最
終予測方向５１とパラメータバス４２を参照すること、
読み出し指示３４およびアドレス３５が予測ピクチャ用
汚染領域記憶メモリ３７のみならず、復号ピクチャ用汚
染領域記憶メモリ３６にも与えられていることである。
パラメータバス４２は復号中のマクロブロックの画面内
位置情報を取得するために参照される。

【００９３】エラーフラグ８が１のときは、汚染領域登
録判定部３１において復号中のマクロブロックを汚染領
域とみなし、復号ピクチャ用汚染領域記憶メモリ３６に
その画面内位置情報を登録する。ただし、登録の対象は
ＩまたはＰピクチャに限る。

【００９４】一方、エラーフラグ８が０のときに行われ
る汚染の判定は、ＰまたはＢピクチャのみを対象とす
る。Ｉピクチャは他のピクチャを参照せず、先に復号さ
れたピクチャに対する汚染の判定を必要としないためで
ある。

【００９５】Ｐピクチャに対する汚染領域登録判定部３
１の処理は図１０の場合と同じである。Ｂピクチャで内
挿予測が行われる場合に限り、２つの予測画像が存在す
る。このとき判定の方法が異なる。図１６は内挿予測さ
れたＢピクチャに対する汚染領域登録判定部３１の処理
の内容を示す図である。同図のごとく、前方向予測ピク
チャと後方向予測ピクチャのそれぞれに対し、まず実施
形態１同様、汚染領域３８の分布を得る。ここで、 ・Ｓ１を前方向予測ピクチャに含まれる予測画像領域１
４０のうち、そのピクチャの汚染領域３８に重ならない
部分の面積 ・Ｓ２を前方向予測ピクチャに含まれる予測画像領域１
４０のうち、そのピクチャの汚染領域３８に重なる部分
の面積 ・Ｓ３を後方向予測ピクチャに含まれる予測画像領域１
４０のうち、そのピクチャの汚染領域３８に重ならない
部分の面積 ・Ｓ４を後方向予測ピクチャに含まれる予測画像領域１
４０のうち、そのピクチャの汚染領域３８に重なる部分
の面積 と定義し、予測画像中の汚染領域占有率Ｐ２を、 Ｐ２＝｛Ｓ２／（Ｓ１＋Ｓ２）＋Ｓ４／（Ｓ３＋Ｓ
４）｝／２ と決める。ここで実施形態１同様、Ｐ２が以下に示す条
件を満たす場合、その予測画像は汚染されているものと
見なす。

【００９６】Ｐ２＞ＴＨ （式２） なお、Ｂピクチャが単に前方向予測で生成される場合
は、Ｐ２は単に、 Ｐ２＝Ｓ２／（Ｓ１＋Ｓ２） とし、後方向予測で生成される場合は、 Ｐ３＝Ｓ４／（Ｓ３＋Ｓ４） として判定すればよい。

【００９７】なお、内挿予測されたＢピクチャは予測画
像を２つ持つため、復号ピクチャ用汚染領域記憶メモリ
３６と予測ピクチャ用汚染領域記憶メモリ３７を、前方
向予測および後方向予測ピクチャ用の汚染領域記憶メモ
リとして使う。

【００９８】以下、フィルタリング処理は実施形態１と
同様である。なお、本実施形態でも実施形態１同様、汚
染領域追跡期間ごとに汚染領域の登録を抹消するものと
する。

【００９９】実施形態３．つづいて、ＭＰＥＧ２ビデオ
規定にしたがって符号化されたビットストリームを復号
し動画像データを再生する復号装置を説明する。ＭＰＥ
Ｇ１との違いは、符号化の際に、複数の動き補償予測の
モードから所期のモードを指定できる点にある。

【０１００】［構成］この装置の構成は図１２とほぼ同
一であるが、動き補償予測モードが動きベクトル選択部
１４から汚染領域判定部１６に与えられる点で異なる。

【０１０１】ＭＰＥＧ２ビデオ規定のビデオビットスト
リームのデータ構造は図１３同様である。ピクチャはフ
レームまたはフィールドとして定義される。この区別を
ピクチャ構造と呼び、前者をフレームピクチャ、後者を
フィールドピクチャと呼ぶ。ＭＰＥＧ２でもＭＰＥＧ１
同様、Ｉ、Ｐ、Ｂの３種類のピクチャタイプがある。

【０１０２】Ｉピクチャの符号化方法はＭＰＥＧ１と同
一である。Ｐピクチャでは予測方向はＭＰＥＧ１同様で
あるが、動き補償予測モードとして、フレームピクチャ
ではフレーム予測、フィールド予測、デュアルプライム
予測の３種類が選択できる。また、フィールドピクチャ
ではフィールド予測、１６×８ＭＣ予測、デュアルプラ
イム予測の３種類が選択できる。デュアルプライム予測
はフィールド予測の変形で、フレームに含まれる２枚の
フィールドのそれぞれに対し、同パリティフィールドお
よび異パリティフィールドから予測を行う。復号の際に
は合計４つの動きベクトルが生じる。

【０１０３】Ｂピクチャも予測方向はＭＰＥＧ１同様で
あるが、動き補償予測モードとして、フレームピクチャ
ではフレーム予測、フィールド予測の２種類が選択でき
る。また、フィールドピクチャではフィールド予測、１
６×８ＭＣ予測の２種類が選択できる。

【０１０４】なお、フレームピクチャに対してフィール
ド予測を行う場合と、フィールドピクチャに対して１６
×８ＭＣ予測をする場合に限り、動きベクトルが同一予
測方向に２つ発生する。

【０１０５】［動作］以下、実施形態２の装置と異なる
動作のみを説明する。

【０１０６】［１］正常時の復号動作 復号の対象がインタ符号化マクロブロックのとき、動き
ベクトル選択部１４はパラメータバス４２を介して送ら
れる動きベクトルと予測方向情報に加え、動き補償予測
モードをラッチする。以下の処理には、動き補償予測モ
ードも参照される。

【０１０７】［２］エラー検出時の復号動作 （１）コンシールメント処理 本実施形態でコンシールメントに用いる予測ピクチャ、
動きベクトル、動き補償予測モードは、復号ピクチャの
タイプごとに以下のとおりとする。

【０１０８】１．Ｉピクチャ 実施形態２と同じである。

【０１０９】２．Ｐピクチャ 推定動きベクトルと予測ピクチャは実施形態２と同様で
あるが、動きベクトルが２つ存在する場合は、先に復号
したほうを利用する。動き補償予測モードについては、
ピクチャ構造がフレームピクチャであればフレーム予
測、フィールドピクチャであればフィールド予測に固定
する。ただし、この固定的な処理はコンシールメントに
ついて行うだけであり、実際の復号の際には、符号化の
際に指定された動き補償予測モードに忠実に従う点に注
意すべきである。

【０１１０】３．Ｂピクチャ Ｐピクチャと同様である。

【０１１１】動きベクトル選択部１４はこれらの規則に
従い、最終動きベクトル１５、最終予測方向５１に加
え、最終動き補償予測モードを出力する。本実施形態の
動きベクトル選択部１４は、実施形態２のそれに加え
て、パラメータバス４２から復号中のマクロブロックが
含まれるピクチャのピクチャ構造および動き補償予測モ
ードをラッチする点で異なる。

【０１１２】コンシールメントに用いる動き補償予測モ
ードは常にピクチャ構造にあわせるため、動きベクトル
選択部１４で記憶しない。最終動きベクトル決定部３０
では、エラーフラグ８が０のときは、復号された動きベ
クトルと予測方向と動き補償予測モードをそのまま出力
する。エラーフラグ８が１のときは、そのマクロブロッ
クの画面内位置情報と、動きベクトルバッファ２６から
読み出された推定動きベクトル２０と、推定予測方向６
９に基づいて、動きベクトルの妥当性が評価される。妥
当でないと判断されれば、推定動きベクトル２０の代わ
りに、最終動きベクトル１５のベクトル値をゼロ、最終
予測方向５１を前方向で出力する。妥当と判断されれ
ば、推定動きベクトル２０、推定予測方向６９、そのマ
クロブロックの属するピクチャのピクチャ構造に基づい
て決定した最終動きベクトル１５、最終予測方向５１、
最終動き補償予測モードを出力する。以下の処理は実施
形態２同等である。

【０１１３】（２）汚染領域の判定とフィルタリング処
理 本実施形態でも実施形態２同様、ＩまたはＰピクチャの
みについて汚染領域の登録を行う。本実施形態の汚染領
域判定部１６の構成は実施形態２のものとほぼ同じであ
る。異なる点は、汚染領域登録判定部３１が実施形態２
のそれに加えて、動き補償予測モードを参照する点にあ
る。

【０１１４】エラーフラグ８が１のときは、汚染領域登
録判定部３１において復号中のマクロブロックを汚染領
域とみなし、復号ピクチャ用汚染領域記憶メモリ３６に
その画面内位置情報を登録する。

【０１１５】一方、エラーフラグが０のときに行われる
判定は、ＰまたはＢピクチャのみを対象とする。ＭＰＥ
Ｇ２の場合、２つのピクチャ構造に対して、それぞれ３
とおりの動き補償予測モードが存在しうる。このうち、
フレームピクチャに対してフレーム予測、フィールドピ
クチャに対してフィールド予測またはデュアルプライム
予測を適用する３とおりの場合では、予測画像が１つま
たは２つ存在し、その処理は図１６と同様となる。

【０１１６】一方、フレームピクチャに対してフィール
ド予測またはデュアルプライム予測、フィールドピクチ
ャに対して１６×８ＭＣ予測を適用する３とおりの場合
では、予測画像が２つまたは４つ存在しうる。ここで
は、予測画像が４つ存在する場合の判定方法を説明す
る。

【０１１７】図１７は予測画像が４つ存在する場合の汚
染領域登録判定部３１による判定方法を示す図である。
同図は、フレームピクチャに対してフィールド予測を適
用した場合を示している。このとき、前方向予測ピクチ
ャと後方向予測ピクチャのそれぞれにおいて、第１フィ
ールド、第２フィールドのための予測画像が存在する。
ここでもまず、前方向予測ピクチャと後方向予測ピクチ
ャについて汚染領域の分布を得る。ここでＳ１、Ｓ２
を、 ・Ｓ１を前方向予測ピクチャに含まれる第１フィールド
のための予測画像領域１４０のうち、そのピクチャの汚
染領域３８に重ならない部分の面積 ・Ｓ２を前方向予測ピクチャに含まれる第１フィールド
のための予測画像領域１４０のうち、そのピクチャの汚
染領域３８に重なる部分の面積 と定める。Ｓ３〜８についても同図に示すように定め
る。このとき、汚染領域の占有率Ｐ３は、 P3＝{ S2/(S1+S2)＋S4/(S3+S4)＋S6/(S5+S6)＋S8/(S7+S
8) }／4 と決める。Ｐ３が以下に示す条件を満たす場合、その予
測画像は汚染されているものと見なす。

【０１１８】Ｐ３＞ＴＨ （式３） 以上が判定方法である。なおここでも、前方向予測のみ
の場合は、 P3＝{ S2/(S1+S2)＋S4/(S3+S4) }／4 後方向予測のみの場合は、 P3＝{ S6/(S5+S6)＋S8/(S7+S8) }／4 とする。

【０１１９】判定が終わればフィルタリング処理が行わ
れる。本実施形態では、ピクチャ構造によってループフ
ィルタ部２０の処理を変える。図１８は本実施形態のル
ープフィルタ部２０の内部構成図である。ループフィル
タ部２０は、パラメータバス４２からラッチしたピクチ
ャ構造と汚染領域フィルタリング指示フラグ１７に従っ
てＳＷ１、２を制御するブロッキング制御部１２７と、
フレーム形式に配列された予測画像をフィールド形式に
再配列するフィールドブロッキング部１２９と、フィー
ルドブロッキング部１２９を通過または回避した予測画
像にフィルタリング処理を施すフィルタ実行部１３０か
らなる。ブロッキング制御部１２７は、ピクチャ構造が
フレームピクチャで、かつ汚染領域フィルタリング指示
フラグ１７が１の場合に限ってＳＷ１、２を方向Ａに接
続する。

【０１２０】この構成によれば、ピクチャ構造がフレー
ムピクチャ、汚染領域フィルタリング指示フラグ１７が
１の場合、フィールドブロッキング部１２９は、同図に
示すようにデータ形式の変換を行う。この後、フィルタ
リング処理がなされる。このため、フィールドごと（同
図の白い部分と黒い部分ごと）に平滑化が行われること
になり、フィールド間に動きがある場合でも、この動き
が平滑化されて失われる事態が回避される。フィルタリ
ング処理の後、図示しない逆変換回路により、フィール
ド形式からフレーム形式に戻し、データを後段の回路に
渡せばよい。

【０１２１】以上が本実施形態の概要である。なお、本
実施形態について以下の改良または変形が考えられる。

【０１２２】１．実施形態１、２同様、ある周期で汚染
領域の登録を抹消する構成とする。

【０１２３】２．実施形態１〜３の装置の任意の組合せ
を採用することにより、ＩＴＵ−ＴＨ．２６１規格、Ｍ
ＰＥＧ１ビデオ規格、ＭＰＥＧ２ビデオ規格のいずれの
規格に準拠したビットストリームであっても復号可能な
動画像復号装置を提供することができる。

【０１２４】

【発明の効果】本発明の動画像復号方法によれば、予測
画像が汚染領域に含まれるとき、その予測画像に平滑化
処理を施される。このため、たとえ訂正不可能なビット
エラーが混入しても、視覚的に良好な再生画像を得るこ
とができる。

【０１２５】この方法において、汚染領域に含まれる予
測画像を用いて動き補償予測を行った画像領域も汚染領
域として登録する場合は、エラーによる悪影響の伝搬を
低減することができる。

【０１２６】一方、本発明の動画像復号装置によれば、
受信した動画像データを復号し、再生画像を得ることが
できる。この際、訂正不可能なビットエラーが混入して
も、視覚的に良好な再生画像が得られる。

【０１２７】エラーに起因して動きベクトルが失われた
処理単位画像に対して、その近傍の処理単位画像の動き
ベクトルをもとに予測画像を決定する場合は、失われた
画像データを修復することができる。

【０１２８】所定の周期で汚染領域として登録された情
報を抹消する場合は、過度の平滑化処理を防止すること
ができる。

【０１２９】この装置において、汚染領域に含まれる予
測画像を用いて動き補償予測を行った画像領域も汚染領
域として登録する場合は、エラーによる悪影響の伝搬を
低減することができる。

【０１３０】予測画像の領域と汚染領域の重なりの程度
から汚染の有無を判定する場合は、汚染の有無を妥当か
つ客観的に判定することができる。また、汚染領域の大
きさを制御することができ、最適な再生画像を得ること
ができる。

【０１３１】エラーが検出されたとき、そのエラーに起
因してその処理単位画像と同様に動きベクトルが失われ
た画像領域範囲全体を汚染領域として登録する場合は、
符号化されたビットストリームのフォーマットによら
ず、汚染領域を的確に追跡することができ、画質劣化を
低減することができる。

【０１３２】復号ピクチャ用汚染領域記憶手段と予測ピ
クチャ用汚染領域記憶手段が存在する場合は、適宜これ
らを切り替えることにより、少ないメモリ容量で汚染領
域の登録と参照が可能となる。

【０１３３】フレーム形式のピクチャをこれをフィール
ド形式に変換した後、平滑化処理を行う場合は、フィー
ルド間に存在する動きが平滑化される事態を回避するこ
とができ、良好な画像が得られる。

【図面の簡単な説明】

【図１】 ＭＰＥＧ１またはＭＰＥＧ２を用いて符号化
を行う様子を示す図である。

【図２】 ＭＰＥＧ１またはＭＰＥＧ２で定義されるス
ライスを示す図である。

【図３】 ＩＴＵ−ＴＨ．２６１規定のビデオビットス
トリームのデータ構造を示す図である。

【図４】 実施形態１に係る復号装置の構成図である。

【図５】 実施形態１の装置による復号動作を示すフロ
ーチャート図である。

【図６】 コンシールメント処理の手順を示すフローチ
ャート図である。

【図７】 実施形態１の動きベクトル選択部１４の内部
構成図である。

【図８】 汚染領域の登録、判定、フィルタリング処理
の概要を示す図である。

【図９】 実施形態１の汚染領域判定部１６の内部構成
図である。

【図１０】 汚染領域登録判定部３１の処理の様子を示
す図である。

【図１１】 ループフィルタ部２０に用いられるフィル
タの係数を示す図である。

【図１２】 実施形態２に係る復号装置の構成図であ
る。

【図１３】 ＭＰＥＧ１ビデオ規定のビデオビットスト
リームのデータ構造を示す図である。

【図１４】 実施形態２の動きベクトル選択部１４の内
部構成図である。

【図１５】 実施形態２による汚染領域の登録、判定、
フィルタリング処理の全体処理を説明する図である。

【図１６】 内挿予測されたＢピクチャに対する汚染領
域登録判定部３１の処理の内容を示す図である。

【図１７】 予測画像が４つ存在する場合の汚染領域登
録判定部３１による判定方法を示す図である。

【図１８】 実施形態３のループフィルタ部２０の内部
構成図である。

【符号の説明】

１ ビデオビットストリーム、２ 可変長復号部、３
量子化パラメータ、４量子化ＤＣＴ係数、５ 逆量子化
部、６ 逆ＤＣＴ部、７ 復号加算部、８エラーフラ
グ、９ イントラ／インタフラグ、１０ ループフィル
タ動作指示フラグ、１１ 画面内位置情報、１２ 動き
ベクトル、１３ 汚染領域記憶メモリリセット指示、１
４ 動きベクトル選択部、１５ 最終動きベクトル、１
６ 汚染領域判定部、１７ 汚染領域フィルタリング指
示フラグ、１８ メモリインタフェース部、１９ フレ
ームメモリ、２０ ループフィルタ部、２１ 予測画
像、２２ 復号画像、２３ 書き込みベクトル決定部、
２４ 書き込み指示、２５書き込みベクトル値、２６
動きベクトルバッファ、２７ 推定動きベクトル、２８
読み出しベクトル決定部、２９ 読み出し指示、３０
最終動きベクトル決定部、３１ 汚染領域登録判定
部、３２ 書き込み指示、３３，３５ アドレス、３４
読み出し指示、３６ 復号ピクチャ用汚染領域記憶メ
モリ、３７予測ピクチャ用汚染領域記憶メモリ、３８
汚染領域、３９ メモリリセット指示、４０ オアゲー
ト、４２ パラメータバス、５１ 最終予測方向、５６
フィルタ部、５９ パラメータラッチ部、６０ ラッ
チされた動きベクトル、６１ラッチされた予測方向情
報、６２ ラッチされた画面内位置情報、６９ 推定予
測方向、１２７ ブロッキング制御部、１２９ フィー
ルドブロッキング部、１３０ フィルタ実行部、１４０
予測画像領域、２００ ビットストリーム解析部、２
０４ 損失画像範囲決定部、２０６ ピクチャ構造判定
部、２０８ ピクチャ計数部。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 符号化された動画像データを動き補償予
   測を利用して復号する動画像復号方法において、 動画像データを処理単位画像ごとに解析する解析工程
   と、 ある処理単位画像を解析したときエラーが検出されれ
   ば、その処理単位画像の領域を汚染領域として登録する
   登録工程と、 処理単位画像を復号する際、動き補償予測に用いられる
   予測画像を決定する決定工程と、 決定された予測画像が前記汚染領域に含まれるか否かを
   判定する判定工程と、 判定の結果、前記予測画像が前記汚染領域に含まれると
   き、その予測画像に平滑化処理を施す平滑化工程と、 を含むことを特徴とする動画像復号方法。
2. 【請求項２】 請求項１に記載の動画像復号方法におい
   て、 前記登録工程は、エラーが検出された処理単位画像だけ
   でなく、前記汚染領域に含まれる予測画像を用いて動き
   補償予測を行った画像領域も汚染領域として登録するこ
   とを特徴とする動画像復号方法。
3. 【請求項３】 符号化された動画像データを動き補償予
   測を利用して復号する動画像復号装置において、 動画像データを受信し、これを処理単位画像ごとに解析
   するビットストリーム解析手段と、 ある処理単位画像を解析したときエラーが検出されれ
   ば、その処理単位画像の領域を汚染領域として登録する
   汚染領域登録手段と、 処理単位画像を復号する際、動き補償予測に用られる予
   測画像を決定する予測画像決定手段と、 決定された予測画像の領域と前記汚染領域を比較するこ
   とによってその予測画像が汚染されているか否かを判定
   する汚染判定手段と、 判定の結果、前記予測画像が前記汚染領域に含まれると
   き、その予測画像に平滑化処理を施す平滑化手段と、 を含むことを特徴とする動画像復号装置。
4. 【請求項４】 請求項３に記載の動画像復号装置におい
   て、 前記予測画像決定手段は、処理単位画像ごとにその動き
   ベクトルから動き補償予測を行うものであり、前記エラ
   ーに起因して動きベクトルが失われた処理単位画像に対
   しては、その近傍の処理単位画像の動きベクトルをもと
   に予測画像を決定することを特徴とする動画像復号装
   置。
5. 【請求項５】 請求項３、４のいずれかに記載の動画像
   復号装置において、 該装置はさらに、復号されたピクチャの数を計数するピ
   クチャ計数手段を含み、 計数されたピクチャの数が所定値に達したとき、前記汚
   染領域登録手段は、汚染領域の登録を抹消することを特
   徴とする動画像復号装置。
6. 【請求項６】 請求項３〜５のいずれかに記載の動画像
   復号装置において、 前記汚染領域登録手段は、エラーが検出された処理単位
   画像だけでなく、前記汚染領域に含まれる予測画像を用
   いて動き補償予測を行った画像領域も汚染領域として登
   録することを特徴とする動画像復号装置。
7. 【請求項７】 請求項３〜６のいずれかに記載の動画像
   復号装置において、 前記汚染判定手段は、前記予測画像の領域と前記汚染領
   域の重なりの程度から汚染の有無を判定することを特徴
   とする動画像復号装置。
8. 【請求項８】 請求項４〜７のいずれかに記載の動画像
   復号装置において、該装置はさらに、 前記エラーが検出されたとき、エラーの検出された処理
   単位画像だけでなく、そのエラーに起因してその処理単
   位画像と同様に動きベクトルが失われた画像領域範囲を
   決定する損失画像範囲決定手段を含み、 前記汚染領域登録手段は、この画像領域範囲全体を汚染
   領域として登録することを特徴とする動画像復号装置。
9. 【請求項９】 請求項３〜８のいずれかに記載の動画像
   復号装置において、 該装置は、復号ピクチャ用汚染領域記憶手段と予測ピク
   チャ用汚染領域記憶手段を含み、 前記汚染領域登録手段は、現在復号中のピクチャにおい
   てエラーが検出されれば、そのエラーが検出された処理
   単位画像を復号ピクチャ用汚染領域記憶手段に登録し、
   復号処理がつぎのピクチャに進んだとき復号ピクチャ用
   汚染領域記憶手段と予測ピクチャ用汚染領域記憶手段を
   切り換えることを特徴とする動画像復号装置。
10. 【請求項１０】 請求項３〜９のいずれかに記載の動画
    像復号装置において、 該装置は、ピクチャ構造がフレーム形式であるかフィー
    ルド形式であるかを判定するピクチャ構造判定手段と、 ピクチャ構造がフレーム形式であるとき、これをフィー
    ルド形式に変換するピクチャ構造変換手段と、 を含み、ピクチャ構造がフレーム形式である場合は、こ
    れがフィールド形式に変換された後、前記平滑化処理が
    行われることを特徴とする動画像復号装置。