JPH1023431A

JPH1023431A - 動画像復号装置

Info

Publication number: JPH1023431A
Application number: JP17775596A
Authority: JP
Inventors: Tatsuya Sanpei; 達也三瓶
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1996-07-08
Filing date: 1996-07-08
Publication date: 1998-01-23
Anticipated expiration: 2016-07-08
Also published as: EP0818931A2; JP3065251B2

Abstract

(57)【要約】【課題】エラー発生などのために正常に復号できない
入力符号を識別し、復号できない画像符号の代わりに既
復号された正常な画像データを出力する動画像復号装置
を提供することである。【解決手段】エラー検出部９のエラー検出信号出力
と、ヘッダ復号部７のヘッダ情報出力とにより、エラー
処理制御部１０は予測符号化されたピクチャ・タイプに
基づいて正常画像に復号できる入力符号か否かを判定
し、正常画像のみを画像メモリ５に格納し、正常画像に
復号できない入力の場合には復号制御部８に指示して復
号制御部８の制御により復号せずに入力符号を破棄し、
復号制御部８が画像メモリ選択部６を制御し破棄された
画像データの代わりとして画像メモリ５に格納してある
正常な既復号画像を選択し出力している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、復号中のエラー発
生を検出した際、エラー発生のために正常に復号するこ
とが不可能な場合、復号不可能な復号画像の代わりに既
に復号された復号画像を出力する動画像復号装置に関
し、特に、動画像の復号化に際し入力符号の伝送ビット
エラーなどによる出力画像の乱れを解消させる機能を有
する動画像復号装置に関する。

【０００２】

【従来の技術】従来、この種の動画像復号装置は、ＭＰ
ＥＧ（Moving Picture Experts Group）の国際規格など
による動画像圧縮方式に基づく予測符号化および可変長
符号化の技術により圧縮された原画像を復号化する際に
発生する出力画像の乱れを減少させる機能を備えてい
る。

【０００３】まず、予測符号化には、主に３つのピクチ
ャタイプによる予測方法がある。すなわち、３つのピク
チャタイプとしては、Ｉピクチャ（Intra Picture)、Ｐ
ピクチャ（Predictive Picture）、およびＢピクチャ
（Bidirectionally PredictivePicture）がある。Ｉピ
クチャは他の画像からの予測を行わずにフレーム内符号
化した画像、Ｐピクチャは原画像順において過去の画像
からの予測によって符号化した画像、また、Ｂピクチャ
は原画像順において過去および未来の両方の画像からの
予測によって符号化した画像である。

【０００４】Ｂピクチャでは、未来の画像も予測に使用
されるため、この未来の画像を先に符号化しておく必要
がある。したがって、Ｂピクチャが存在する場合には、
原画像の順序と符号化・復号化する順序とが異なる。

【０００５】復号された画像がＩピクチャおよびＰピク
チャの場合では復号画像を他の予測符号化画像の復号の
ための参照用として予測メモリに保存する必要がある
が、復号画像がＢピクチャの場合にはこの復号画像を他
の画像復号のための参照用として用いることはない。

【０００６】可変長符号化を用いて符号化された符号に
伝送ビットエラーなどが生じて誤った符号が復号装置に
入力された場合、可変長復号部はそれ以降の可変長復号
を正常に行うことができなくなり、正常な復号画像とは
異なる乱れた復号画像を出力することになる。しかし、
通常、可変長復号部は、伝送ビットエラーなどによって
正常な可変長復号を行うことができなくなってしまって
も、特定の符号列（スタートコード）を検出することに
よって、スタートコード以降の符号を正常に可変長復号
することが可能である。

【０００７】このような可変長復号の動作が正常にでき
るようになったとしても、正常な復号画像が得られると
は限らない。例えば、他の画像復号のための参照用とな
るＩピクチャまたはＰピクチャの復号中に伝送ビットエ
ラーなどが発生して正常復号することができなくなり、
この後に続く画像が予測符号化されているＰピクチャま
たはＢピクチャの場合には、後続画像の可変長復号の部
分を正常に行うことができても、予測の参照画像は正常
に復号できていない。このため、最終的に得られる復号
画像は正常な復号画像にはならない。

【０００８】従って、可変長復号の段階でエラーが検出
されず可変長復号が正常に行なわれても、出力される画
像は乱れたものとなる。更に、この後続画像がＰピクチ
ャである場合には、このＰピクチャを参照して復号する
他の画像の復号にも悪影響が及ぶ。

【０００９】このように、伝送ビットエラーなどの発生
によって正常復元することができなくなった画像がＩピ
クチャまたはＰピクチャである場合には、エラーの悪影
響が後々まで尾を引き、しばらくの間、乱れた画像が復
号装置から出力されてしまう可能性がある。

【００１０】このような出力画像の乱れを減少させるこ
とを目的として、例えば、特開平６−９８３１３号公報
には、誤り訂正手段で誤り訂正ができない動画像データ
を、すでに復号化された他の動画像データで置き換える
技術が記載されている。

【００１１】この公開公報に記載された装置では、少な
くともフレーム内符号化画像、前方向予測符号化画像、
および両方向予測符号化画像により構成される動画像を
復号化して動画像データを得る際、誤り訂正手段が、動
画像データに誤りがあった場合に誤り訂正を行なうと共
に、動画像データ置換手段が、誤り訂正手段で誤り訂正
ができない動画像データを、すでに復号化された他の動
画像データで置き換えるようしている。

【００１２】図８は従来の動画像復号装置の一例を示す
ブロック図であり、図示される動画像復号装置は、可変
長復号部１と、逆量子化部２と、逆ＤＣＴ（Discrete C
osine Transform ：離散コサイン変換）部３と、動き補
償部４と、画像メモリ５と、画像メモリ選択部６と、ヘ
ッダ復号部１０７と、復号制御部１０８と、エラー検出
部１０９とで構成されており、画像メモリ５は予測メモ
リ５１、予測メモリ５２、およびＢピクチャメモリ５３
により構成されている。

【００１３】入力符号は可変長復号部１に入力され、入
力符号のヘッダ情報部分はヘッダ復号部１０７で復号さ
れ、得られた復号化情報は復号制御部１０８に入力され
る。入力符号の可変長符号部分は可変長復号部１にて可
変長復号される。可変長復号されたデータは、逆量子化
部２で逆量子化された後、逆ＤＣＴ部３で逆ＤＣＴ変換
されて動き補償部４に入力される。

【００１４】予測符号化されている場合には、逆ＤＣＴ
変換されたデータは予測メモリ５１または予測メモリ５
２に保存されている既復号の画像データとの加算処理な
どを施され、復号画像として画像メモリ５内のメモリに
入力される。

【００１５】画像メモリ５に入力された復号画像は、こ
れがＩピクチャまたはＰピクチャであれば予測メモリ５
１または予測メモリ５２に格納され、他の予測符号化画
像の復元のための参照用として保存される。また、予測
メモリに格納される復号画像はフレーム構造画像のフィ
ールド構造画像への変換、画像サイズの拡大・縮小・復
号画像の出力タイミング調整などにも用いられる。ま
た、予測メモリ５１および予測メモリ５２は、Ｉピクチ
ャまたはＰピクチャを復号するごとに交互に格納用とし
て使用される。

【００１６】画像メモリ５に入力された復号画像がＢピ
クチャである場合には、Ｂピクチャは、予測符号化画像
の復元のための参照用として用いられることがないた
め、参照用として保存しておく必要はないが、フレーム
構造画像のフィールド構造画像への変換、画像サイズの
拡大・縮小、復号画像の出力タイミング調整などのため
に、一時的にＢピクチャメモリ５３に格納される。

【００１７】予測メモリ５１および予測メモリ５２に格
納されている復号画像データは、予測符号化画像の復号
のための参照データとして動き補償部４に入力される。
画像メモリ５を構成している予測メモリ５１、予測メモ
リ５２、およびＢピクチャメモリ５３それぞれは、画像
メモリ選択部６に接続されており、画像メモリ選択部６
によって一つを選択され、選択されたメモリに格納され
ている復号画像データが出力画像としてこの復号装置か
ら出力される。

【００１８】これらの一連の復号動作は、復号制御部１
０８によって制御される。

【００１９】また、伝送ビッエラーの発生などのために
正常に可変長復号することができない符号が可変長復号
部１に入力された場合には、エラー検出部９がエラー検
出を復号制御部１０８に通知する。エラー検出通知を受
けた復号制御部１０８は、エラーの発生した画像および
その画像を参照する画像の符号を復号しないように可変
長復号部１を制御し、これらの復号されなかった画像の
代わりに画像メモリ５に格納されている既復号の画像デ
ータを出力するように画像メモリ選択部６を制御する。

【００２０】

【発明が解決しようとする課題】第１の問題点は、従来
の動画像復号装置では、メモリに格納され復号の際に参
照され更に置き換えのために必要な既復号画像が正常な
画像でなければならないにもかかわらず、誤り訂正がで
きない場合に単純に代替え画像としてメモリから出力さ
れていることである。

【００２１】すなわち、メモリに格納される復号画像に
対して、エラーの悪影響が及んだために正常に復号する
ことのできない画像であるのか、そうではなくて正常に
復号することのできる画像であるのかの判定が不十分に
行なわれており、正常ではない既復号画像が代替えの復
号画像に含まれていることである。

【００２２】この第１の理由は、正常に復号できない原
因が、例えば下記のように複数あることである。

【００２３】原因ａ：復号中に伝送ビットエラーなどが
発生して、復号に失敗する。

【００２４】原因ｂ：復号を失敗した画像（ａ）を参照
して、復号（予測）に失敗する。

【００２５】原因ｃ：予測を失敗した画像（ｂ）を参照
して、復号（予測）に失敗する。

【００２６】第２の理由は、ＭＰＥＧ規格などでは、画
像を符号化および復号化する順序と表示する順序が異な
ることである。

【００２７】また第３の理由は、Ｉピクチャ、Ｐピクチ
ャ、およびＢピクチャそれぞれの出現する順序、ならび
にこれら３つのピクチャそれぞれの連続する数が一定で
はないことである。

【００２８】これらの理由によって、エラーの悪影響が
及んで正常に復号することのできない範囲を容易に特定
することができないことを、例を挙げて図面を参照して
説明する。なお、従来の技術で説明された公開公報では
この記載がない。

【００２９】図４は画像の符号化順序の一例を示す説明
図である。図４において、一つの四角枠は一枚の画像を
示し、図示される四角枠内の１行目は予測符号化の種類
（Ｉピクチャ，Ｐピクチャ，またはＢピクチャ）と
“１”から始まる符号化画像の続き番号を示す。２行目
は前方向の参照画像／後ろ方向の参照画像を示し、３行
目は復号した画像を格納するメモリ種別（図８における
予測メモリ５１の予測メモリ１、予測メモリ５２の予測
メモリ２、またはＢピクチャメモリのＢ−メモリ）を示
す。

【００３０】例えば、図示されるように画像３０１〜画
像３１０それぞれの表示は、Ｉ１，−／−，予測メモリ
１、Ｐ２，Ｉ１／−，予測メモリ２、Ｂ３，Ｉ１／Ｐ
２，Ｂ−メモリ、Ｐ４，Ｐ２／−，予測メモリ１、Ｂ
５，Ｐ２／Ｐ４，Ｂ−メモリ、Ｉ６，−／−，予測メモ
リ２、Ｂ７，Ｐ４／Ｉ６，Ｂ−メモリ、Ｐ８，Ｉ６／
−，予測メモリ１、Ｂ９，Ｉ６／Ｐ８，Ｂ−メモリ、お
よびＰ１０，Ｐ８／−，予測メモリ２であるものとす
る。

【００３１】太線で示された四角枠の画像３０２（Ｐ
２）は、伝送ビットエラーなどのエラーが発生して復号
に失敗したことを示すものとする。

【００３２】まず、第１の理由について説明する。

【００３３】画像３０２（Ｐ２）の復号中に伝送ビット
エラーなどによるエラーが発生した場合、画像３０２
（Ｐ２）の復号を正常に行うことができなくなる（上記
復号失敗原因ａ）。

【００３４】また、画像３０３（Ｂ３）は、正常に復号
できなかった画像３０２（Ｐ２）を後ろ方向の参照画像
とするため正常に復号することができない（上記復号失
敗原因ｂ）。

【００３５】同様に、画像３０４（Ｐ４）は、正常に復
号できなかった画像３０２（Ｐ２）を前方向の参照画像
とするため、正常に復号することができない（上記復号
失敗原因ｂ）。

【００３６】更に、画像３０５（Ｐ５）は、正常に復号
できなかった画像３０２（Ｐ２）を前方向の参照画像、
かつ画像３０４（Ｐ４）を後ろ方向の参照画像とするた
め、正常に復号することができない（上記復号失敗原因
ｂ，ｃ）。

【００３７】次の画像３０６（Ｉ６）は、予測を行なわ
ないフレーム内符号化画像のため、正常に復号できる。

【００３８】また、画像３０７（Ｂ７）は、正常に復号
できなかった画像３０４（Ｐ４）を前方向の参照画像と
するため、正常に復号することができない（上記復号失
敗原因ｃ）。

【００３９】これ以降の画像３０８〜画像３１０（Ｐ
８，Ｂ９，Ｐ１０，）については、正常に復号できなか
った画像を参照することがないため、正常に復号するこ
とができる。

【００４０】このように、最初の復号失敗原因ａが、復
号失敗原因ｂ，ｃを引き起こし、複数の画像の復号に悪
影響を与えている。どこで正常復号に復帰できるかはエ
ラーの発生した画像の予測符号化タイプ、またはその後
に続く一連の画像の予測符号化タイプによって決まるた
め、後続の画像の予測符号化タイプを復号し、その内容
を判定しなければ分からない。

【００４１】次に、上記第２の理由について説明する。

【００４２】また、画像３０７（Ｂ７）近傍に着目する
と、画像３０７（Ｂ７）は画像３０６（Ｉ６）を後ろ方
向の参照画像としているため、画像３０６（Ｉ６）が画
像３０７（Ｂ７）に先行して符号化されている。これら
の画像は表示順では画像３０４，３０７，３０６，３０
９となり、画像３０７（Ｂ７）と画像３０６（Ｉ６）の
間を境にして前半の正常復号不可能な画像と後半の正常
復号可能な画像とに奇麗に分けられるが、復号順では画
像３０５，３０６，３０７，３０８であるために正常復
号不可能な画像と正常復号可能な画像とが入り交じった
状態になる。

【００４３】このように、画像を復号する段階において
は正常復号可能な画像と正常復号不可能な画像とがある
点を境にして奇麗に分かれる訳ではないため、正常に復
号できるか否かの判定がしにくい。

【００４４】次に、上記第３の理由について説明する。

【００４５】図４の例では、Ｉピクチャ、Ｐピクチャ、
およびＢピクチャがほぼ規則的に並んでいるが、実際に
は同じ予測符号化タイプが複数枚続いていたり、途中で
並び順序が変更されていたりすることがある。各予測符
号化タイプの画像の出現数および順序が固定かつ既知で
あれば、エラーの発生した画像の予測符号化タイプなど
に応じて決定できる特定の画像位置から正常復号を再開
させるような手段を取ることも可能である。しかし、通
常は各予測符号化タイプの画像の出現数および順序が固
定されず未知であるので、参照するメモリに格納された
画像の正常か否かは、後続の画像の予測符号化タイプを
復号し、その内容を判定することが必要である。

【００４６】次に、第２の問題点は、ＭＰＥＧ規格など
においてピクチャ・レイヤより上位のレイヤでエラーが
発生した場合には、その他の場合とは異なるエラー処理
をする必要があることである。

【００４７】その理由は、ＭＰＥＧ規格では階層データ
構造を採用しているためである。

【００４８】図６はＭＰＥＧ規格によるデータ階層（レ
イヤ）の構造を示す説明図である。図６に示されるよう
に、データ階層（レイヤ）は、最上位レイヤから、シー
ケンス・レイヤ、ＧＯＰ（Group of Pictures)・レイ
ヤ、ピクチャ・レイヤ、スライス・レイヤ、マクロブロ
ック・レイヤ、およびブロックレイヤである。

【００４９】シーケンス・レイヤは、シーケンス・ヘッ
ダおよびシーケンス・エンド・コードの間に下位レイヤ
の複数のＧＯＰ・レイヤを有し、ＧＯＰ・レイヤはＧＯ
Ｐ・ヘッダに続いて下位レイヤの複数のピクチャ・レイ
ヤを有している。ピクチャ・レイヤ、スライス・レイ
ヤ、およびマクロブロック・レイヤそれぞれは、それぞ
れのヘッダに続いて一つ下位のレイヤの複数を有してい
る。最下位のブロックレイヤは画像のブロック・データ
である。

【００５０】従って、ピクチャ・レイヤより上位のレイ
ヤ、たとえば、シーケンス・レイヤのシーケンス・ヘッ
ダ内でエラーが発生したことによって符号化情報が正し
く復号できない場合には、エラーの影響はそれ以下のレ
イヤに含まれているすべての画像にまで及んでしまう。

【００５１】本発明の課題は、エラー発生時の状況、例
えば、エラーが発生したレイヤ、またはエラー発生画像
の予測符号化タイプなどに関わらず、最適なエラー処理
を行うことが可能な動画像復号装置を提供することにあ
る。

【００５２】本発明の他の課題は、符号化の状況、例え
ば、各予測符号化タイプの画像の出現する順序または同
一の予測符号化タイプの画像が連続する数などに関わら
ず、最適なエラー処理を行うことが可能な動画像復号装
置を提供することにある。

【００５３】

【課題を解決するための手段】本発明の動画像復号装置
は、復号中のエラー発生を検出した際にエラー発生のた
め正常に復号することが不可能な場合、復号不可能な復
号画像の代わりに既に復号された復号画像を出力する動
画像復号装置において、出力される復号画像には前記復
号画像の内、正常に復号された復号画像のみを選択する
選択手段を備えている。

【００５４】すなわち、入力符号に基づいて正常に復号
された復号画像は判定可能なので、この判定により正常
な復号画像のみが選択されて出力できる。

【００５５】更に、本発明の動画像復号装置は、入力符
号のヘッダ情報を復号することによって識別された予測
符号化タイプに基づいて正常に予測復号することが可能
な画像か否かを判定し、正常予測復号可能な画像のみを
復号してメモリに格納し、この格納した復号画像から出
力画像を選択して出力する制御手段を備えている。

【００５６】この構成により、入力符号のヘッダ情報を
復号することによって識別された予測符号化タイプに基
づいて正常に復号できる画像か否かを自動的かつ的確に
判定しているため、入力符号の符号化条件を特定のもの
に限定する必要がない。またメモリに格納されている復
号画像は全て正常であり、最近の復号画像を選択するこ
とにより復号画像を見る人に正常な画像を提供できるの
で、違和感を減少させることができる。

【００５７】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【００５８】図１は本発明の実施の一形態を示すブロッ
ク図である。

【００５９】図１に示された動画像復号装置は、可変長
復号部１、逆量子化部２、逆ＤＣＴ部３、動き補償部
４、画像メモリ５、画像メモリ選択部６、ヘッダ復号部
７、復号制御部８、エラー検出部９、およびエラー処理
制御部１０により構成されているものとし、画像メモリ
５は、予測メモリ５１、予測メモリ５２、およびＢピク
チャメモリ５３により構成されているものとする。

【００６０】従来との相違点は、エラー処理制御部１０
を備え、入力符号が正常に画像に復号可能か否かを判定
して復号制御部８に所定の指示を行ない、正常に復号で
きる入力符号のみを復号して画像メモリ５に格納してい
ることである。

【００６１】可変長復号部１は、入力符号を受け、受け
た入力符号のヘッダ情報部分をヘッダ復号部７に送ると
共に、入力符号の可変長符号部分を可変長復号して逆量
子化部２へ送る。可変長復号されたデータは逆量子化部
２で逆量子化された後、逆ＤＣＴ部３で逆ＤＣＴ変換さ
れて動き補償部４に入力される。これら復号処理は、復
号制御部８からの中断指示により中止される。また、可
変長復号部１は、伝送ビットエラー発生などのために可
変長復号することができない符号を受けた場合には、受
けた符号をエラー検出部９へ送るものとする。

【００６２】動き補償部４は、画像が予測符号化されて
いる場合、予測メモリ５１または予測メモリ５２に保存
されている既に復号された画像データを取り出し逆ＤＣ
Ｔ変換されたデータとの加算処理などを施し、復号画像
として画像メモリ５へ出力する。

【００６３】動き補償部４は、画像メモリ５へ出力する
復号画像を、復号制御部８の制御を受け、この復号画像
がＩピクチャまたはＰピクチャであれば予測メモリ５１
または予測メモリ５２に復号するたびごとに交互に格納
し、他の予測符号化画像の参照用として保存される。

【００６４】予測メモリ５１および予測メモリ５２に
は、復号制御部８の制御により、動き補償部４から受け
る復号画像がＩピクチャまたはＰピクチャである場合、
このＩピクチャまたはＰピクチャの復号画像は受けるた
びごとに交互に格納され、他の予測符号化画像の参照用
として保存される。また、予測メモリ５１および予測メ
モリ５２に格納された復号画像はフレーム構造画像のフ
ィールド構造画像への変換、画像サイズの拡大・縮小、
復号画像の出力タイミング調整などにも用いられる。ま
た、予測メモリ５１および予測メモリ５２に格納されて
いる復号画像データは、予測符号化画像の復号のための
参照データとして動き補償部４により取り出される。

【００６５】Ｂピクチャメモリ５３には、復号制御部８
の制御により、動き補償部４から受ける復号画像がＢピ
クチャである場合、このＢピクチャの復号画像が、参照
用として保存しておく必要はないが、フレーム構造画像
のフィールド構造画像への変換、画像サイズの拡大・縮
小、復号画像の出力タイミングの調整などのため、一時
的に格納される。

【００６６】画像メモリ選択部６は、画像メモリ５を構
成している予測メモリ５１、予測メモリ５２、およびＢ
ピクチャメモリ５３それぞれと接続しており、復号制御
部８の指示により、これらの一つを選択して、格納され
ている復号画像データを復号装置から出力する。

【００６７】ヘッダ復号部７は、入力された入力符号の
ヘッダ情報部分を可変長復号部１から受けて復号し、復
号した復号化情報を復号制御部８とエラー処理制御部１
０とに出力するものとする。

【００６８】復号制御部８は、可変長復号部１、逆量子
化部２、逆ＤＣＴ部３、動き補償部４、および画像メモ
リ５を制御して入力符号を画像データに復号し、画像メ
モリ選択部６を制御して画像メモリ５に格納された画像
データを復号装置から出力するものとする。また、復号
制御部８は、エラー処理制御部１０から復号の中止およ
び符号の破棄の指示を受けて可変長復号部１に符号を破
棄するように制御し、逆量子化部２、逆ＤＣＴ部３、お
よび動き補償部４に復号動作を中止するよう制御するも
のとする。

【００６９】また、復号制御部８は、エラー処理制御部
１０の指示により、復号動作を中止した画像データを出
力すべき場合、画像メモリ５および画像メモリ選択部６
を制御して、その画像データの代わりとして予測メモリ
５１または予測メモリ５２に格納されている既復号の画
像データを出力するものとする。

【００７０】エラー検出部９は、伝送ビットエラー発生
などのために可変長復号することができない符号が可変
長復号部１に入力された場合には、エラーを検出しこの
エラー検出をエラー処理制御部１０に通知するものとす
る。エラー検出部９で検出されるエラーの例として、ヘ
ッダ情報や画素データの復号が終了する以前にスタート
コードが検出される、可変長符号テーブルに無い可変長
符号が検出される、復号したデータの値が適正範囲から
はずれている、復号したデータの数が適切でない、など
が挙げられる。

【００７１】エラー処理制御部１０は、ヘッダ復号部７
から符号化情報の入力を受け現在復号中の画像の予測符
号化されたピクチャ・タイプを保存しておくものとす
る。

【００７２】エラー処理制御部１０は、エラー検出通知
をエラー検出部９から受けた際、復号制御部８に対して
現在復号中の画像の復号を中止し、エラー発生時の状況
によって、次のシーケンス・レイヤまたは次の画像まで
の符号を破棄するように指示を出すものとする。

【００７３】また、エラー処理制御部１０は、ヘッダ復
号部７から次に復号すべき画像の予測符号化されたピク
チャ・タイプの入力を受けた際にその画像が正常に復号
できる画像か否かを判定し、その画像が正常に復号でき
る画像であった場合にはその画像を復号するように復号
制御部８に指示を出し、その画像が正常に復号できない
画像であった場合には、さらに次の画像の直前までの符
号を破棄するように復号制御部８に指示を出して、正常
復号状態に戻れるようになるまでの間は次に復号すべき
画像が正常に復号できる画像か否かを判断するものとす
る。

【００７４】次に、図１に図２および図３を併せ参照し
て可変長復号部１でのエラーを検出した際のエラー処理
制御の動作について説明する。

【００７５】図２および図３は、図１における主要動作
の一形態を示す流れ図である。

【００７６】まず、正常復号動作で（手順Ｓ１）、エラ
ーが発生していない場合（手順Ｓ２のＮＯ）、再度手順
Ｓ１に戻って手順が繰り返され画像の復号が行われる。

【００７７】手順Ｓ２が“ＹＥＳ”で復号中にエラーが
発生した場合、エラー処理制御部１０は、可変長復号部
１でのエラーを検出したエラー検出部９から、エラーの
発生を通知されるので、復号制御部０８に対してエラー
の発生によって正常復号できない画像の復号を中断する
ように指示を出す（手順Ｓ３）。

【００７８】次いで、エラー処理制御部１０は、ヘッダ
復号部７から受けている符号化情報によりエラー発生レ
イヤがピクチャ・レイヤよりも上位レイヤであるか否か
を調査する（手順Ｓ４）。

【００７９】エラー処理制御部１０は、ヘッダ復号部７
から受けている符号化情報によりエラー発生レイヤがピ
クチャ・レイヤよりも上位レイヤであると判定された場
合（手順Ｓ５がＹＥＳ）、エラー処理制御部１０は、復
号制御部８に対して次のシーケンス・ヘッダの直前まで
の符号を破棄するように指示を出す（手順Ｓ６）。この
手順Ｓ６の、次のシーケンス・ヘッダ直前までの符号を
破棄することにより、下位レイヤ中のすべての画像が誤
った符号化情報で復号されることを防ぐ。

【００８０】次いで、エラー処理制御部１０が復号制御
部８に対して復号動作を再開するように指示を出すこと
により、エラー処理が終了して通常復号が再開され（手
順Ｓ７）、正常復号動作の手順Ｓ１に進む。

【００８１】一方、手順Ｓ５が“ＮＯ”でエラー発生レ
イヤがピクチャ・レイヤよりも上位レイヤではないと判
定された場合、エラー処理制御部１０は復号制御部８に
対して予測メモリに保存してある最新の復号画像を出力
するように指示を出す（手順Ｓ１１）。ここで出力され
る画像は、エラー発生画像がＩピクチャまたはＰピクチ
ャである場合にはエラー発生画像の復号中に出力される
べき画像そのものであり、エラー発生画像がＢピクチャ
である場合にはこのＢピクチャの代わりとなる画像であ
る。

【００８２】次いで、エラー処理制御部１０は、復号制
御部８に対して次の画像の直前までの符号を破棄するよ
うに指示を出し（手順Ｓ１２）、他方、ヘッダ復号部７
から受けている符号化情報により、エラー発生画像のピ
クチャ・タイプを調査する（手順Ｓ１３）。

【００８３】エラー発生画像がＢピクチャである場合
（手順Ｓ１４のＹＥＳ）では、他の予測符号化画像の復
号に悪影響が及ばないので、エラー処理制御部１０が復
号制御部８に対して指示を出して復号動作を再開する手
順Ｓ７へ進む。

【００８４】手順Ｓ１４が“ＮＯ”でエラー発生画像が
ＩピクチャまたはＰピクチャである場合には、この画像
を参照画像とする予測符号化画像の復号に際して悪影響
が及ぶので、それによる出力画像の乱れを防ぐ必要があ
るので、エラー処理制御部１０は復号制御部８に対して
予測メモリに保存してある最新の復号画像を出力するよ
うに指示を出す（手順Ｓ１５）。

【００８５】ここで出力される画像は、これから復号し
ようとする画像がＩピクチャまたはＰピクチャである場
合には本来この時点で出力されるべき復号に失敗した画
像の代わりとなり、Ｂピクチャの場合には参照画像が正
常復号されていないために正常に復号できないこのＢピ
クチャの代わりとなる。

【００８６】次いで、エラー処理制御部１０は、ヘッダ
復号部７から受ける符号化情報に基づいてこれから復号
しようとする画像のピクチャ・タイプを調査する（手順
Ｓ１６）。この段階でＰピクチャまたはＢピクチャを復
号する場合（手順Ｓ１７のＮＯ）、エラー処理制御部１
０は、正常に復号できていない画像を参照画像とするこ
とになり正常に復号することができないので復号せず、
復号制御部８に対して次の画像の直前までの符号を破棄
するように指示して（手順Ｓ１８）、復号制御部８に対
して予測メモリに保存してある最新の復号画像を出力す
るように指示を出す手順Ｓ１５に進む。

【００８７】一方、手順Ｓ１７が“ＹＥＳ”でこれから
復号しようとする画像がＩピクチャであると判定された
場合、エラー処理制御部１０は、復号制御部８に対して
１枚の画像を復号するように指示を出し（手順Ｓ２
１）、ヘッダ復号部７から受ける符号化情報によりこれ
から復号しようとする画像のピクチャ・タイプを調査す
る（手順Ｓ２２）。これから復号しようとする画像がＩ
またはＰピクチャであると判定された場合（手順Ｓ２３
のＹＥＳ）、エラー処理制御部１０は復号制御部８に対
して指示を出して復号動作を再開する手順Ｓ７へ進む。

【００８８】また、手順Ｓ２３が“ＮＯ”でＢピクチャ
を復号する場合、エラー処理制御部１０は、正常に復号
できていない画像を前方向の参照画像とすることになり
正常に復号することができないので復号制御部８に対し
て予測メモリに保存してある最新の復号画像を出力する
ように指示を出す（手順Ｓ２４）。ここで出力される復
号画像は手順Ｓ２１で復号したＩピクチャである。

【００８９】次いで、エラー処理制御部１０は、復号制
御部８に対して次の画像の直前までの符号を破棄するよ
うに指示を出し（手順Ｓ２５）、これから復号しようと
する画像のピクチャ・タイプを調査する手順Ｓ２２に進
む。この復号画像は上述のようにＩピクチャである。

【００９０】

【実施例】次に、図１から図６までを併せ参照して本発
明の具体例について説明する。

【００９１】まず、図４について説明する。図４は画像
の符号化順序の一例を示す説明図である。

【００９２】図４において、既に説明の通り、一つの四
角枠は一枚の画像を示し、画像３０１から画像３１０ま
でが符号化画像の続き番号を示している。四角枠内の１
行目は予測符号化の種類（Ｉピクチャ、Ｐピクチャ、ま
たはＢピクチャ）と“１”から始まる符号化画像の続き
番号とを併記した画像種別を示している。２行目は前方
向の参照画像／後ろ方向の参照画像を示し、３行目は復
号した画像を格納するメモリを示している。予測メモリ
１は図１の予測メモリ５１、予測メモリ２は図１の予測
メモリ５２、Ｂ−メモリは図１のＢピクチャメモリ５３
それぞれに該当する。四角の太い枠の画像３０２（Ｐ
２）は、伝送ビットエラーなどのエラーが発生して復号
に失敗したものとし、該当の参照画像が正常に復号でき
ていないことを示すものとする。

【００９３】図示されるように、書く画像の表示は、画
像３０１で画像Ｉ１，−／−，予測メモリ１、画像３０
２で画像Ｐ２，Ｉ１／−，予測メモリ２、画像３０３で
画像Ｂ３，Ｉ１／Ｐ２，Ｂ−メモリ、画像３０４で画像
Ｐ４，Ｐ２／−，予測メモリ１、画像３０５で画像Ｂ
５，Ｐ２／Ｐ４，Ｂ−メモリ、画像３０６で画像Ｉ６，
−／−，予測メモリ２、画像３０７で画像Ｂ７，Ｐ４／
Ｉ６，Ｂ−メモリ、画像３０８で画像Ｐ８，Ｉ６／−，
予測メモリ１、画像３０９で画像Ｂ９，Ｉ６／Ｐ８，Ｂ
−メモリ、また、画像３１０で画像Ｐ１０，Ｐ８／−，
予測メモリ２であるものとする。

【００９４】次に、図５は図４に示す符号化順序符号を
復号装置に入力して得られる復号画像の表示順序および
エラー処理によって出力される画像を示す説明図であ
る。表示順序に従って、画像４０１から画像４０９まで
が図示されている。

【００９５】図５において、一つの四角枠は一枚の画像
を示し、四角枠内の１行目は正常に復号できている場合
に復号装置から出力される画像種別を示し、図４の１行
目に対応している。２行目は前方向の参照画像／後ろ方
向の参照画像を示し、３行目は実際に復号装置から出力
される画像種別および符号化画像の続き番号を示し、先
頭の＊マークは正常に復号できなかった画像の代わりに
エラー処理によって出力された既復号の画像であること
を示すものとする。４行目は実際に復号装置から出力さ
れる画像が格納されているメモリを示し、予測メモリ１
は図１の予測メモリ５１、予測メモリ２は図１の予測メ
モリ５２、およびＢ−メモリは図１のＢピクチャメモリ
５３、それぞれに該当する。

【００９６】四角全体が太い枠の画像４０３（Ｐ２）は
伝送ビットエラーなどのエラーが発生して復号に失敗し
た画像であり、該当の参照画像が正常に復号できていな
いことを示す。

【００９７】次に、図１から図６までを参照して本発明
による符号化順序の符号を復号する場合のエラー処理制
御の動作について説明する。

【００９８】まず、手順Ｓ１で画像３０１（Ｉ１）が正
常復号動作し、手順Ｓ２の“ＮＯ”でエラー発生なく手
順Ｓ１に戻るループによって正常に復号された場合、復
号画像は予測メモリ１に格納される。

【００９９】次の画像３０２（Ｐ２）の復号途中でエラ
ーが発生した場合、エラー検出部９がエラー処理部１０
にエラー発生を通知した際、手順Ｓ２で“ＹＥＳ”が選
択されるので、手順Ｓ３に進む。手順Ｓ３で、エラー処
理制御部１０は復号制御部８に対して復号を中断するよ
うに指示を出すので、画像Ｐ２の復号が中断されて手順
は手順Ｓ４に進む。

【０１００】手順Ｓ４で、エラー処理制御部１０がヘッ
ダ復号部７から受けている符号化情報によりエラー発生
レイヤを調査した結果、手順Ｓ５が“ＮＯ”で、エラー
発生レイヤがピクチャ・レイヤよりも上位レイヤではな
いと判定されるので、エラー処理制御部１０は手順を手
順Ｓ１１に進める。

【０１０１】手順Ｓ１１で、エラー処理制御部１０は復
号制御部８に対して予測メモリ１および予測メモリ２に
保存してある最新の復号画像（手順Ｓ１で復号し予測メ
モリ１に格納された画像Ｉ１）を出力するように指示を
出して手順Ｓ１２に進む。画像Ｐ２を復号している時に
出力される画像４０１は、画像Ｐ２のエラー発生の有無
に無関係に画像Ｉ１であり、この段階ではエラーによる
出力画像の乱れは生じない。

【０１０２】手順Ｓ１２で、エラー処理制御部１０は復
号制御部８に対して次の画像の直前までの画像Ｐ２の符
号を破棄するように指示を出して手順Ｓ１３に進む。

【０１０３】手順Ｓ１３で、エラー処理制御部１０がヘ
ッダ復号部７から受けている符号化情報によりエラー発
生画像を調査し、手順Ｓ１４が“ＮＯ”で、エラー発生
画像がＢピクチャでないと判断されるので、手順は手順
Ｓ１５に進む。この場合、エラー発生画像がＰピクチャ
であるため、この画像を参照画像とする予測符号化画像
は正常に復号することができない。

【０１０４】手順Ｓ１５で、エラー処理制御部１０は復
号制御部８に対して予測メモリに保存してある最新の復
号画像（予測メモリ１の画像Ｉ１）を出力するように指
示を出し、手順Ｓ１６に進む。ここで出力される画像
は、これから復号しようとする画像３０３の復号中に出
力される画像４０２であり、正常に復号できない画像Ｂ
３の代わりとなる。

【０１０５】手順Ｓ１６で、エラー処理制御部１０がヘ
ッダ復号部７から受ける符号化情報により、これから復
号しようとする画像種別を調査し、手順Ｓ１７が“Ｎ
Ｏ”で画像３０３（Ｂ３）がＢピクチャであると判定さ
れるので、エラー処理制御部１０は手順Ｓ１８に進む。
画像Ｂ３は、正常に復号できていない画像Ｐ２を後ろ方
向の参照画像とするために正常に復号することができな
い。従って、手順Ｓ１８で、エラー処理制御部１０は復
号制御部８に対して次の画像の直前までの画像Ｂ３の符
号を破棄するように指示を出し、手順Ｓ１５に戻る。

【０１０６】手順Ｓ１５で、エラー処理制御部１０は復
号制御部８に対して予測メモリに保存してある最新の復
号画像（予測メモリ１の画像Ｉ１）を出力するように指
示を出し、手順Ｓ１６に進む。ここで出力される画像
は、これから復号しようとする画像３０４の復号中に出
力される画像４０３であり、エラーが発生した画像Ｐ２
の代わりとなる。

【０１０７】手順Ｓ１６で、エラー処理制御部１０がヘ
ッダ復号部７から受ける符号化情報により、これから復
号しようとする画像種別を調査し、手順Ｓ１７が“Ｎ
Ｏ”で画像３０４（Ｐ４）がＰピクチャであると判定さ
れるので、手順Ｓ１８に進む。画像Ｐ４は、正常に復号
できていない画像Ｐ２を前方向の参照画像とするために
正常に復号することができない。

【０１０８】手順Ｓ１８で、エラー処理制御部１０は復
号制御部８に対して次の画像の直前までの画像Ｐ４の符
号を破棄するように指示を出し、手順Ｓ１５に戻る。

【０１０９】手順Ｓ１５で、エラー処理制御部１０は復
号制御部８に対して予測メモリ１に保存してある最新の
復号画像（予測メモリ１の画像Ｉ１）を出力するように
指示を出し、手順Ｓ１６に進む。ここで出力される画像
は、これから復号しようとする画像３０５の復号中に出
力される画像４０４であり、正常に復号できない画像Ｂ
５の代わりとなる。

【０１１０】手順Ｓ１６で、エラー処理制御部１０がヘ
ッダ復号部７から受ける符号化情報により、これから復
号しようとする画像を調査し、手順Ｓ１７が“ＮＯ”
で、画像３０５（Ｂ５）がＢピクチャであると判定され
るので、手順は手順Ｓ１８に進む。画像Ｂ５は、正常に
復号できていない画像Ｐ２を前方向の参照画像にすると
共に、同様に正常復号できていない画像Ｐ４を後ろ方向
の参照画像とするために正常に復号することができな
い。

【０１１１】手順Ｓ１８で、エラー処理制御部１０は復
号制御部８に対して次の画像の直前までの画像Ｂ５の符
号を破棄するように指示を出し、手順Ｓ１５に戻る。

【０１１２】手順Ｓ１５で、エラー処理制御部１０は復
号制御部８に対して予測メモリに保存してある最新の復
号画像（予測メモリ１の画像Ｉ１）を出力するように指
示を出し、手順Ｓ１６に進む。ここで出力される画像
は、これから復号しようとする画像３０６の復号中に出
力される画像４０５であり、正常に復号できていない画
像Ｐ４の代わりとなる。

【０１１３】手順Ｓ１６で、エラー処理制御部１０がヘ
ッダ復号部７から受ける符号化情報により、これから復
号しようとする画像を調査し、手順Ｓ１７が“ＹＥＳ”
で、画像３０６（Ｉ６）がＩピクチャであると判定され
るので、手順は手順Ｓ２１に進む。

【０１１４】手順Ｓ２１で、エラー制御部１０は復号制
御部８に対して画像を１枚復号するように指示を出し画
像Ｉ６が復号される。画像Ｉ６の復号画像は予測メモリ
２に格納され、手順は手順Ｓ２２に進む。

【０１１５】手順Ｓ２２で、エラー処理制御部１１０が
ヘッダ復号部０７から受ける符号化情報により、これか
ら復号しようとする画像を調査し、手順Ｓ２３が“Ｎ
Ｏ”で画像３０７（Ｂ７）がＩピクチャまたはＰピクチ
ャでないと判定されるので、手順は手順Ｓ２４に進む。
画像Ｂ７は、正常に復号できていない画像Ｐ４を前方向
の参照画像とするために正常に復号することができな
い。

【０１１６】手順Ｓ２４で、エラー処理制御部１０は復
号制御部８に対して予測メモリ２に保存してある最新の
復号画像（手順Ｓ２１で復号した予測メモリ２の画像Ｉ
６）を出力するように指示を出し、手順Ｓ２５に進む。
ここで出力される画像は、これから復号しようとする画
像３０７の復号中に出力される画像４０６であり、正常
に復号できない画像Ｂ７の代わりとなる。

【０１１７】手順Ｓ２５で、エラー処理制御部１０は復
号制御部８に対して次の画像の直前までの画像Ｂ７の符
号を破棄するように指示を出して手順Ｓ２２に戻る。画
像Ｂ７は正常に復号できていない画像Ｐ４を前方向の参
照画像とするために正常に復号することができない。

【０１１８】手順Ｓ２２で、エラー処理制御部１０がヘ
ッダ復号部７から受ける符号化情報より、これから復号
しようとする画像を調査し、手順Ｓ２３が“ＹＥＳ”で
画像３０８（Ｐ８）がＰピクチャであると判定されるの
で、手順は手順Ｓ７に戻る。画像Ｐ８は、手順Ｓ２１で
正常に復号された画像Ｉ６を前方向の参照画像とするた
めに正常に復号することができる。

【０１１９】手順Ｓ７で、エラー処理制御部１０は復号
制御部８に対して復号を再開するように指示を出して手
順Ｓ１に進む。この後に復号される画像Ｐ８が予測メモ
リ１に格納されることによって前後両方向の参照画像が
揃うため、それ以降の状態ではＩピクチャ、Ｐピクチ
ャ、およびＢピクチャのすべてを正常に復号することが
できる。

【０１２０】従って、この後は正常動作となり、手順Ｓ
１と手順Ｓ２の“ＮＯ”とのループによって画像３０８
（Ｐ８）の復号と画像４０７（Ｉ６）の出力とが行わ
れ、次に画像３０９（Ｂ９）の復号と画像４０８（Ｂ
９）の出力とが行われ、続いて画像３１０（Ｐ１０）の
復号と画像４０９（Ｐ８）の出力とが行われる。

【０１２１】次に、図６を参照して本発明の図１とは別
の実施例について説明する。

【０１２２】図６が図１に示すブロック図と相違する点
は、エラー処理条件設定部１２を追加し、エラー処理制
御部１１がエラー処理条件設定部１２の出力を入力して
いることである。

【０１２３】エラー処理条件設定部１２を用いてエラー
処理制御部１１にエラー処理動作から通常動作に戻る条
件を設定することによって、エラー処理動作から通常動
作に戻る条件を必要に応じて変更できるようにしたもの
である。エラー処理動作から通常動作に戻る条件とは、
図２および図３における手順Ｓ５、手順Ｓ１４、手順Ｓ
１７、および手順Ｓ２３などである。

【０１２４】一例として、手順Ｓ５で必ず“ＹＥＳ”が
選択されるように条件式を設定すれば、エラーが発生し
た場合には常にシーケンス内のエラー発生場所以降の符
号をすべて破棄し、次のシーケンスから通常動作に戻る
ようなエラー処理動作にすることができる。

【０１２５】上記説明では、ＭＰＥＧ規格の符号化に基
づいて説明したが、他の規格においても、規格化された
条件をエラー処理制御部およびエラー処理条件設定部に
設定することにより十分な対応ができる。

【０１２６】上記説明で、機能のブロックおよび動作手
順のフローを図示して説明したが、機能の分離合併など
ブロックの配分、または動作手順の前後入れ替え、平行
処理などは、上記説明の機能を満たす限り自由であり、
上記説明が本発明を限定するものではない。

【０１２７】

【発明の効果】第１の効果は、符号化条件に関わらず適
切なエラー処理が行われるということである。このた
め、復号装置に入力する符号の符号化条件を特定のもの
に限定する必要がない。

【０１２８】その理由は、復号時に画像の予測符号化に
よるピクチャ・タイプを判定し、入力したピクチャタイ
プに基づく適切なエラー処理を選択して所定のメモリに
格納しているためである。

【０１２９】第２の効果は、正常復号できない画像があ
っても、出力される画像が乱れないということである。
このため、復号画像を見る人に与える違和感を減少させ
ることができる。

【０１３０】その理由は、正常復号できなかった画像の
代わりに復号装置から出力される画像が既に正常に復号
された画像であるためである。

【０１３１】第３の効果は、ハードウェア規模がさほど
大きくならないということである。このため、製造費用
の上昇を小さくすることができ、故障発生の可能性も小
さくなる。

【０１３２】その理由は、復号装置に元々必要なハード
ウェアに対して、機能が簡単なエラー処理手段とエラー
処理制御手段とを追加したのみの構成であるためであ
る。

【図面の簡単な説明】

【図１】本発明の実施の一形態を示すブロック図であ
る。

【図２】本発明の動作の前半を説明するフロー図であ
る。

【図３】図２に続く動作を説明するフロー図である。

【図４】画像の符号化順序の一形態を示す説明図であ
る。

【図５】画像の表示順序および表示画像の一形態を示す
説明図である。

【図６】ＭＰＥＧ規格のデータ階層を示す説明図であ
る。

【図７】本発明の図１と別の実施の一形態を示すブロッ
ク図である。

【図８】従来例を示すブロック図である。

【符号の説明】

１可変長復号部２逆量子化部３逆ＤＣＴ部４動き補償部５画像メモリ６画像メモリ選択部７ヘッダ復号部８復号制御部９エラー検出部１０、１１エラー処理制御部１２エラー処理条件設定部５１、５２予測メモリ５３Ｂピクチャメモリ

Claims

【特許請求の範囲】

【請求項１】復号中のエラー発生を検出した際、エラ
ー発生のために正常に復号することが不可能な場合、復
号不可能な復号画像の代わりに既に復号された復号画像
を出力する動画像復号装置において、出力される復号画
像には前記復号画像の内、正常に復号された復号画像の
みを選択する選択手段を備えることを特徴とする動画像
復号装置。
【請求項２】復号中のエラー発生を検出した際、エラ
ー発生のために正常に復号することが不可能な場合、復
号不可能な復号画像の代わりに既に復号された復号画像
を出力する動画像復号装置において、入力符号のヘッダ
情報を復号することによって識別された予測符号化タイ
プに基づいて正常に予測復号することが可能な画像か否
かを判定し、正常予測復号可能な画像のみを復号して格
納し、この格納した復号画像から出力画像を選択して出
力する制御手段を備えることを特徴とする動画像復号装
置。
【請求項３】請求項２において、制御手段は、正常に
復号することが不可能な画像の入力に対しては、復号を
中断し、この正常復号不可能な画像の符号を破棄するこ
とを特徴とする動画像復号装置。
【請求項４】復号中のエラー発生を検出した際、エラ
ー発生のために正常に復号することが不可能な場合、復
号不可能な復号画像の代わりに既に復号された復号画像
を出力する動画像復号装置において、入力符号を復号中
にエラー発生を検出するエラー検出部と、入力符号のヘ
ッダ情報を復号するヘッダ復号部と、前記エラー検出部
からエラー発生の通知を受けた際には前記ヘッダ復号部
から受けたヘッダ情報によって識別された予測符号化タ
イプに基づいて正常に予測復号することが可能な画像か
否かを判定し出力するエラー処理制御部と、復号された
復号画像を格納する画像メモリと、この画像メモリから
格納されている復号画像を指示により取出して送出する
画像メモリ選択部と、制御を受け前記入力符号を復号す
る復号部と、この復号部により復号された復号画像を前
記画像メモリに格納する制御を行なうと共に、前記エラ
ー処理制御部から正常に予測復号することが不可能と判
定された画像に代替えして出力する画像の選択を、正常
に予測復号した復号画像および正常に予測復号すること
が可能と判定された復号画像の両者から選択し前記画像
メモリ選択部に指示する復号制御部とを備えることを特
徴とする動画像復号装置。
【請求項５】請求項４において、前記エラー処理制御
部および前記復号制御部は、入力符号を正常に予測復号
することが不可能と判定した場合、前記復号部に復号処
理を中断させ該当入力符号を破棄させることを特徴とす
る動画像復号装置。