JPH0993589A - 動画像圧縮符号の復号方法及び復号装置 - Google Patents

Abstract

(57)【要約】 【課題】 受信した動画像圧縮符号に誤りがあっても復
号画像の画質劣化をごく僅かに押さえる。 【解決手段】 その画像領域の情報が誤っている場合に
復号画像の画質劣化が著しい、参照画像とは独立な情報
のみから復号された画像領域情報を破棄し、破棄した画
像領域と、誤りのために復号できなかった画像領域の復
号画像を、参照画像から生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像圧縮符号の復
号方法及び復号装置に関し、特に、通信路や記憶媒体等
の広義の伝送路において誤りが発生した場合に好適なも
のである。

【０００２】

【従来の技術】デジタル通信において、動画像などの膨
大な情報量を持つデータを送信しようとする場合には、
データは情報圧縮を施され、冗長性を削られる。

【０００３】文献（１）：『ＴＴＣ標準（高位レイヤプ
ロトコル符号化方式）JT-H.261勧告』 文献（１）で規定されている動画像の圧縮符号器・復号
器の構成を図２に示す。動画像の原データであるビデオ
信号は、世界共通の中間フォーマット（ＣＩＦ、ＱＣＩ
Ｆ）で表されており、この動画像データ（１ピックチャ
ー分；１フレーム分）を符号化する場合には、図３に示
すように、グループオブブロック（以下、ＧＯＢ（grou
p of block）と略称する）、マクロブロック（Macroblo
ck）、８×８画素のブロック（Block ）に階層的に分割
する。

【０００４】図２（ａ）に示す符号器で符号化を行なう
場合、ビデオ信号を入力とし、情報源符号器２０１で情
報源符号化される。情報源符号器２０１では、まずマク
ロブロック毎に動き補償フレーム間予測を行ない、次
に、その予測誤差をブロック毎に直交変換した後に量子
化する。予測は通常フレーム間で行なわれるが、シーン
チェンジのときなどは、動画像の原データがそのまま直
交変換される。動き補償フレーム間予測誤差を直交変換
するか又は動画像の原データをそのまま直交変換するか
の判断は、例えば予測誤差データと原データとの分散値
を比較することにより決定される。直交変換には、離散
コサイン変換（ＤＣＴ；Discrete CosineTransform ）
が用いられ、画素領域の表現から周波数領域の表現に変
換する。周波数領域の表現に変換され量子化されたデー
タは、ビデオ信号多重化符号器２０２に入力されて、可
変長符号化され、ヘッダ情報の多重化が行なわれる。情
報源符号器２０１、ビデオ信号多重化符号器２０２で情
報源符号化、多重化されたデータは、送信バッファ２０
３を通って、伝送路符号器２０４において、後述する図
４に示す順で伝送路符号化されて送信される。送信符号
量を制御するために送信バッファ２０３からバッファの
中の状態を符号化制御２０５に伝え、符号化制御２０５
は、情報源符号器２０１及びビデオ信号多重化符号器２
０２に制御信号を出す。

【０００５】図４に、従来の動画像符号化方法で符号化
された符号化ビット列と符号化シンタックスを表す。符
号化シンタックスとは、可変長符号化テーブル、挿入す
るヘッダ情報、送信順序を規定するものである。

【０００６】図４において数字が表示されている要素は
固定長符号化されるデータ種類であり、それ以外の要素
はそれぞれ異なる可変長符号化テーブルを用いて可変長
符号化されるデータ種類である。

【０００７】フレームの最初であることを示すフレーム
開始符号ＰＳＣは固定長の特殊な符号であり、フレーム
開始符号ＰＳＣと同じビット系列が、フレーム開始符号
ＰＳＣ以外の符号化されたデータの中に出現しないよう
になっている。フレームヘッダ情報ＰＨＥＡＤはフレー
ム番号やピクチャータイプ情報などの１フレーム全体に
ついての情報を含み、固定長符号化される。

【０００８】ＧＯＢの最初であることを示すＧＯＢ開始
符号ＧＢＳＣは固定長符号化される。ＧＯＢヘッダ情報
ＧＨＥＡＤは、ＧＯＢのピックチャー（Picture ）の中
の位置を表すＧＯＢ番号やＧＯＢの量子化特性情報な
ど、１つのＧＯＢについての情報を含み、固定長符号化
される。

【０００９】マクロブロックアドレスＭＢＡは、ＧＯＢ
の中のマクロブロックの位置を表すものであり、そのマ
クロブロックアドレスと前に符号化されたマクロブロッ
クアドレスとの差分値が可変長符号化されたものであ
る。マクロブロックは、情報がない場合（例えば前フレ
ームと同一の場合）には符号化されず、マクロブロック
アドレスＭＢＡ、マクロブロックタイプ情報ＭＴＹＰ
Ｅ、マクロブロック量子化特性ＭＱＵＡＮＴ、動きベク
トル情報ＭＶＤ、及び、そのマクロブロックのブロック
情報（ＴＣＯＥＦＦ、ＥＯＢ）は伝送されない。マクロ
ブロックタイプ情報ＭＴＹＰＥは、予測がフレーム間で
あるか（以下、ＩＮＴＥＲモードと呼ぶ）、原信号が直
交変換されるか（以下、ＩＮＴＲＡモードと呼ぶ）など
を表し、可変長符号化される。なお、ＩＮＴＥＲモード
は例えば動きが小さい場合（フレーム間差分が小さい場
合）に採用され、ＩＮＴＲＡモードは動きが大きい場合
に採用される。マクロブロック量子化特性ＭＱＵＡＮＴ
は、そのマクロブロックの量子化ステップサイズを表
し、前に符号化されたマクロブロックの量子化ステップ
サイズと異なる場合に固定長符号化される。動きベクト
ル情報ＭＶＤは、対象マクロブロックの動きベクトルか
ら一つ前のマクロブロックの動きベクトルを減算するこ
とで得られるものであり、可変長符号化される。有意ブ
ロックパターンＣＢＰは、少なくとも一つの変換係数が
伝送されるブロック（有意ブロック）の位置を表すもの
であり、可変長符号化される。

【００１０】上述した変換係数ＴＣＯＥＦＦも可変長符
号化される。ブロックの終わりを示すブロック終了符号
ＥＯＢは固定長符号化されるが、変換係数ＴＣＯＥＦＦ
の可変長符号の符号語の１つである。

【００１１】図５は、マクロブロックの可変長符号化さ
れるデータ種類の可変長符号化テーブルを示すものであ
り、各データ種類はこの可変長テーブルに従って可変長
符号化される。ここで、変換係数ＴＣＯＥＦＦは、直交
変換して量子化した８×８画素のブロックデータを水平
及び垂直方向の低周波成分ほど先になる順序に並べ替
え、そのデータの０が続く個数（０ラン）と、その直後
にくる０でない値（レベル）の組により可変長符号化さ
れる。

【００１２】図６は、従来例の場合のビデオ信号多重化
符号器２０２の多重化処理系統図を示している。

【００１３】各々のフレーム層、ＧＯＢ層、マクロブロ
ック層、ブロック層では、矢印の方向にたどって多重化
される。矢印が分岐しているところは、モード（ＩＮＴ
ＲＡ、ＩＮＴＥＲなど）により、いずれかの矢印が選択
される。ループになっている部分は、そのデータ（ＧＯ
Ｂ層、マクロブロック層、ブロック層、変換係数ＴＣＯ
ＥＦＦ）が終わるまではループ側の矢印が選ばれ、その
データが終了すると、ループでない方の矢印が選ばれ
る。フレームの中のＧＯＢ、ＧＯＢの中のマクロブロッ
ク、マクロブロックの中のブロックには、それぞれ図３
に示すように、左上から順番に、ＧＯＢ番号、マクロブ
ロックアドレス、ブロック番号が付加されている。ＧＯ
Ｂ層、マスクブロック層、ブロック層は、それぞれ番号
（アドレス）の小さい順に符号化され、多重化される。

【００１４】図２（ｂ）に示す復号器で復号を行なう場
合には、送られてきた順に伝送路復号器２０９で伝送路
復号を行ない、受信バッファ２０８を通して、ビデオ信
号多重化復号器２０７に入力する。ビデオ信号多重化復
号器２０７では、ヘッダ情報などを分離し、可変長符号
の復号を行なって、情報源復号器２０６に出力する。情
報源復号器２０６では、逆量子化、逆離散コサイン変換
（逆ＤＣＴ）、動き補償を行なって、ビデオ信号を出力
する。

【００１５】誤りが生じているか否かは、ビデオ信号多
重化復号器２０７の可変長符号の復号において判断する
ことができる。例えば、可変長符号化テーブルの可変長
符号語に存在しないような系列が入力されたときに、誤
りを検出したとすることができる。このような誤りが発
生した場合には、可変長符号の境界を見失い、同期を喪
失してしまう。

【００１６】誤りが生じた場合は、マクロブロックアド
レスＭＢＡが前に符号化されたマクロブロックとの差分
値を符号化したものであるから、たとえ可変長符号の同
期を回復したとしても、誤りが生じた時点から、次のＧ
ＯＢ開始符号ＧＢＳＣ又はフレーム開始符号ＰＳＣを検
出するまでは、復号することができない。したがって、
誤りが生じた時点からＧＯＢ開始符号ＧＢＳＣ又はフレ
ーム開始符号ＰＳＣまでのデータは捨てられることにな
る。その誤りによって捨てられた画像データの部分は、
前のフレーム画像をそのまま出力する。

【００１７】図７に示すフローチャートを用いて、従来
例のビデオ信号多重化復号器２０７の動作を説明する。

【００１８】まず、ビデオ信号多重化復号器２０７に入
力される符号系列からヘッダ情報の分離及び可変長符号
の復号を行なう（ステップＢ１）。その後、可変長符号
の復号で誤りが発生したか否かを判定する（ステップＢ
２）。ここで、誤りが生じていると、次のＧＯＢ開始符
号ＧＢＳＣ又はフレーム開始符号ＰＳＣを検索し（ステ
ップＢ３）、次のＧＯＢ開始符号ＧＢＳＣ又はフレーム
開始符号ＰＳＣを検出したならば（ステップＢ４）、誤
り発生時点から、検出したＧＯＢ開始符号ＧＢＳＣ又は
フレーム開始符号ＰＳＣまでのデータを捨てる（ステッ
プＢ５）。このように誤りが生じて次のＧＯＢ開始符号
ＧＢＳＣ又はフレーム開始符号ＰＳＣまでのデータを捨
てた場合、及び、上記ステップＢ２の判断で誤りがない
と判断された場合には、復号結果を出力し（ステップＢ
６）、さらに入力が終了したか否かを判断する（ステッ
プＢ７）。入力が終了した場合には一連の処理を終了
し、入力が継続していると上述したステップＢ１に戻
る。なお、誤りが生じた時点から次のＧＯＢ開始符号Ｇ
ＢＳＣ又はフレーム開始符号ＰＳＣまでのデータは捨て
られるが、その誤りによって捨てられた画像データの復
号結果としては、上述したように、前フレーム画像のデ
ータをそのまま出力する（ステップＢ６）。

【００１９】

【発明が解決しようとする課題】図４のような動画像符
号化シンクタックス及び図７のようなビデオ信号多重化
復号動作に従う復号方法では、誤りが生じた場合には、
可変長符号の復号において可変長符号語の境界を見失
い、同期を喪失した状態になって復号が不可能になる。
従って、次のフレーム開始符号ＰＳＣ又はＧＯＢ開始符
号ＧＢＳＣを検出するまでの情報を復号することができ
ず、復号することができない部分に誤りが生じていなく
ても、その部分のデータを捨てざるを得ないという問題
がある。

【００２０】また、図８に示すように、誤りが生じた場
合に、一般的には復号側では誤りが生じたことを直ちに
は検出できず、誤ったまま復号した画像データが出力さ
れてしまうため、画質劣化の原因となっている。例え
ば、可変長符号化テーブルの可変長符号語に存在しない
ような系列が入力されたときに誤りを検出したとする場
合において、それ以前に誤りが発生していてもその誤り
時の可変長符号語が可変長符号化テーブルに存在すれば
誤りを検出できず、可変長符号化テーブルに存在しない
可変長符号語を見付けて初めて誤りを検出する。

【００２１】

【課題を解決するための手段】第１の本発明は、現画像
とそれ以前に伝送した参照画像との差分に基づく情報を
伝送する画像領域と、現画像のみからの情報を伝送する
画像領域との可変長符号が混在する動画像圧縮符号を復
号する動画像圧縮符号の復号方法において、伝送路で生
じた誤りが検出された場合に、前の同期位置から次の同
期位置までの間で、参照画像とは独立な現画像の情報の
みから復号された画像領域情報を破棄し、破棄した画像
領域と、誤りのために復号できなかった画像領域との復
号画像を、参照画像から生成することを特徴とする。

【００２２】第２の本発明は、現画像とそれ以前に伝送
した参照画像との差分に基づく情報を伝送する画像領域
と、現画像のみからの情報を伝送する画像領域との可変
長符号が混在する、しかもその可変長符号の自己同期回
復機能が利用可能である動画像圧縮符号を復号する動画
像圧縮符号の復号方法において、伝送路で生じた誤りが
検出された場合に、喪失した可変長符号の同期を回復さ
せ、同期回復以降次の同期位置までの符号データの内、
参照画像との差分に基づく情報を伝送している画像領域
を復号し、前の同期位置から誤りを検出するまでの間
で、参照画像とは独立な現画像の情報のみから復号され
た画像領域情報を破棄し、破棄した画像領域と復号でき
なかった画像領域との復号画像を、参照画像から生成す
ることを特徴とする。

【００２３】第３の本発明は、現画像とそれ以前に伝送
した参照画像との差分に基づく情報を伝送する画像領域
と、現画像のみからの情報を伝送する画像領域との可変
長符号が混在する動画像圧縮符号を復号する動画像圧縮
符号の復号装置において、伝送路で生じた誤りを検出す
る誤り検出手段と、誤りが検出された場合に、前の同期
位置から次の同期位置までの間で、参照画像とは独立な
現画像の情報のみから復号された画像領域情報を破棄す
る破棄手段と、破棄した画像領域と復号できなかった画
像領域との復号画像を、参照画像から生成する画像補間
手段とを有することを特徴とする。

【００２４】第４の本発明は、現画像とそれ以前に伝送
した参照画像との差分に基づく情報を伝送する画像領域
と、現画像のみからの情報を伝送する画像領域との可変
長符号が混在する、しかもその可変長符号の自己同期回
復機能が利用可能である動画像圧縮符号を復号する動画
像圧縮符号の復号装置において、伝送路で生じた誤りを
検出する誤り検出手段と、誤りが検出された場合に、喪
失した可変長符号の同期を回復させる同期回復手段と、
同期回復以降、次の同期位置までの符号データの内、参
照画像との差分に基づく情報を伝送している画像領域を
復号する参照画像利用領域復号手段と、前の同期位置か
ら誤りを検出するまでの間で、参照画像とは独立な現画
像の情報のみから復号された画像領域情報を破棄する破
棄手段と、破棄した画像領域と復号できなかった画像領
域との復号画像を、参照画像から生成する画像補間手段
とを有することを特徴とする。

【００２５】第１〜第４の本発明においては、その画像
領域の情報が誤っている場合に復号画像の画質劣化が著
しい、参照画像とは独立な情報のみから復号された画像
領域情報を破棄し、破棄した画像領域と、誤りのために
復号できなかった画像領域との復号画像を、参照画像か
ら生成するので、受信した動画像圧縮符号に誤りがあっ
ても復号画像の画質劣化をごく僅かに押さえることがで
きる。

【００２６】

【発明の実施の形態】

（Ａ）第１の実施形態 以下、本発明による動画像圧縮符号の復号方法及び復号
装置の第１の実施形態を図面を参照しながら詳述する。

【００２７】図９は、この第１の実施形態に係る動画像
圧縮符号復号器の情報源復号器（上記図２の情報源復号
器２０６対応）周りの構成を示すブロック図である。

【００２８】図９において、第１の実施形態における情
報源復号器は、ビデオ信号多重化復号器（図２参照）か
ら入力される系列からビデオ信号を復号するための情報
源復号器本体１１と、情報源復号器本体１１の復号処理
の過程において利用される、参照フレーム（例えば前フ
レーム）の復号画像を記憶しておくための参照フレーム
画像メモリ１２と、復号中のフレームの復号作業のため
の現フレーム画像メモリ１３と、現フレームの復号作業
時に各マクロブロックがＩＮＴＲＡ／ＩＮＴＥＲのどち
らのモードで復号されたかを記憶するためのＩＮＴＲＡ
／ＩＮＴＥＲモードメモリ１４とから構成されている。

【００２９】なお、参照フレームを前フレームとした場
合には、参照フレーム画像メモリ１２及び現フレーム画
像メモリ１３は、例えば２面のフレーム画像メモリが該
当し、復号時に現フレーム画像を格納しているフレーム
画像メモリが現フレーム画像メモリ１３になり、他方の
フレーム画像メモリが参照フレーム画像メモリ１２にな
り、フレーム毎に、参照フレーム画像メモリ１２及び現
フレーム画像メモリ１３になるフレーム画像メモリが変
化するものであるが、いずれにせよ機能的には、参照フ
レーム画像メモリ１２及び現フレーム画像メモリ１３が
存在する。

【００３０】次に、この第１の実施形態の復号方法、言
い換えると、情報源復号器本体１１の動作を説明する。

【００３１】ビデオ信号多重化復号器から入力される系
列は、情報源復号器本体１１において、各ＧＯＢ毎に参
照フレーム画像メモリ１２を参照しつつ、順にマクロブ
ロック画像に復号され、現フレーム画像メモリ１３に格
納される。この際、各マクロブロックがＩＮＴＲＡモー
ドで復号されたかＩＮＴＥＲモードで復号されたかをＩ
ＮＴＲＡ／ＩＮＴＥＲモードメモリ１４に記憶してお
く。

【００３２】あるＧＯＢで誤りが発生したことをビデオ
信号多重化復号器若しくは情報源復号器本体１１で検出
した場合には、次の同期語（例えばフレーム開始符号Ｐ
ＳＣやＧＯＢ開始符号ＧＢＳＣ）までの入力データを捨
て、また、誤りが検出されるまで復号できたマクロブロ
ックのうちＩＮＴＲＡ／ＩＮＴＥＲモードメモリ１４に
ＩＮＴＲＡモードで復号したと記憶されたマクロブロッ
ク画像も破棄する。その後、復号処理が実行されないマ
クロブロック及びＩＮＴＲＡモードであったために破棄
されたマクロブロックの画像を、参照フレーム画像メモ
リ１２の格納されている参照フレーム画像から生成す
る。

【００３３】なお、ＩＮＴＲＡマクロブロックの破棄
は、誤りが検出されたＧＯＢ内のみに対して行なう。

【００３４】図１は、このような第１の実施形態の復号
方法の処理のうち、各ＧＯＢ毎の処理の流れを示すフロ
ーチャートである。

【００３５】まず、ＧＯＢの最初から順に各マクロブロ
ック（ＭＢ）を復号する（ステップＳ１１）。そして、
誤りが検出されたか否かを判定する（ステップＳ１
２）。

【００３６】各マクロブロックで誤りが検出されなけれ
ば、復号したマクロブロック画像を現フレーム画像メモ
リ１３へ格納すると共に（ステップＳ１３）、このとき
ＩＮＴＲＡモードで復号されたかＩＮＴＥＲモードで復
号されたかのモード情報をＩＮＴＲＡ／ＩＮＴＥＲモー
ドメモリ１４に格納する（ステップＳ１４）。

【００３７】以上のステップＳ１１〜Ｓ１４でなるルー
プ処理を、ＧＯＢの終了を確認しつつＧＯＢが終了する
まで繰返す（ステップＳ１５）。このようにしてＧＯＢ
の終了を検出したときには、今回のＧＯＢには誤りがな
く、復号が全て終了して、復号したマクロブロック画像
が全て現フレーム画像メモリ１３へ格納されたことにな
り、次のＧＯＢの処理に進むことになる。

【００３８】ＧＯＢの終了を検出する前に、上述したス
テップＳ１２で誤りが検出されると、次の同期語（例え
ばフレーム開始符号ＰＳＣやＧＯＢ開始符号ＧＢＳＣ）
までの入力情報を捨て（ステップＳ１６）、また、復号
できたマクロブロックのうちＩＮＴＲＡ／ＩＮＴＥＲモ
ードメモリ１４にＩＮＴＲＡモードであったと記憶され
たマクロブロックを破棄する（ステップＳ１７）。

【００３９】そして、復号画像を破棄したマクロブロッ
クと、入力データが誤っているために復号処理が実行さ
れなかったマクロブロックとの画像を、参照フレーム画
像メモリ１２に格納されている参照フレーム画像から生
成して（例えばそのまま取出して）現フレーム画像メモ
リ１３へ格納し（ステップＳ１８）、誤りが検出された
ＧＯＢの処理を終了する。

【００４０】なお、誤りが検出されたマクロブロック以
降の画像として復号処理を実行して画像を得ても画質劣
化が非常に大きいので、参照フレーム画像を利用（補
間）することは、現フレーム画像データとしておかしな
画像領域を存在させない（完成させる）点から好ましい
ことは勿論であり、上述したように、従来においても採
用されている。

【００４１】そこで、以下では、誤りが検出されたマク
ロブロックの前のマクロブロックの内、ＩＮＴＲＡモー
ドで復号されたマクロブロック画像だけを破棄して参照
フレーム画像を利用して補間するようにした理由を説明
する。

【００４２】上述した図８に示すように、誤りが生じた
場合に、一般的には復号側では誤りが生じたことを直ち
には検出できず、検出位置は発生位置より遅れており、
発生位置及び検出位置間では誤ったまま復号したマクロ
ブロック画像が出力されてしまう。

【００４３】そのため、発生位置及び検出位置間の復号
画像として、参照フレーム画像で補間することは好まし
いが、復号器において発生位置を特定することはできな
いので、発生位置及び検出位置間だけを補間することは
できない。また、発生位置以前の全てのマクロブロック
画像として参照フレーム画像を利用することは、正常に
復号できているマクロブロック画像もあり、一般的にそ
のような正常なマクロブロック画像の方が発生位置及び
検出位置間に対応した誤ったマクロブロック画像より領
域が大きいので、むしろ全体としての画質を劣化させて
しまい、好ましくない。

【００４４】そこで、誤り検出位置以前の部分（正常な
部分、並びに、誤り発生位置及び検出位置間の部分）の
入力データの全てを同様に扱って全体としての画質を向
上できる方法が望まれる。

【００４５】ところで、誤った復号をしたマクロブロッ
ク画像がＩＮＴＲＡモードとして復号された場合と、Ｉ
ＮＴＥＲモードとして復号された場合とでは、前者の復
号画像における画質劣化が甚だしい。

【００４６】誤った復号をしたマクロブロック画像がＩ
ＮＴＥＲモードとして復号された場合は、ＩＮＴＥＲモ
ードが参照画像との差分を伝送するモードであるため、
参照フレーム画像（例えば前フレーム）にノイズをのせ
たような復号画像が得られる。一方、誤った復号をした
マクロブロック画像がＩＮＴＲＡモードとして復号され
た場合は、ＩＮＴＲＡモードでは参照フレーム画像とは
無関係に、現フレーム画像自身の入力データから画像を
復号するため、誤ったＩＮＴＲＡマクロブロック画像
は、周囲のマクロブロックとは全く異なった画像に復号
される可能性が非常に高い。

【００４７】図１０は、この様子を模式的に示したもの
である。図１０（ｂ）に示すように、誤りが生じた場合
に、誤ったまま復号されたマクロブロックがＩＮＴＲＡ
モードとして復号されたものである場合、非常に画質の
劣化が激しい。

【００４８】以上の点を整理すると、画質面から以下の
ことが分かる。ＩＮＴＥＲモードとして復号された領域
は、そこが誤っていたとしても参照フレーム画像にノイ
ズが重畳された程度であり、正常領域を参照フレーム画
像を利用して補間することによる画質劣化を考慮する
と、誤り検出位置以前の部分（正常な部分、並びに、誤
り発生位置及び検出位置間の部分）を同様に扱う場合に
おいて、ＩＮＴＥＲモードとして復号された領域は、参
照フレーム画像を利用して補間しないことが好ましい。
一方、ＩＮＴＲＡモードとして復号された領域は、そこ
が誤っていたときには非常に大きな画質劣化を生じ、正
常領域を参照フレーム画像を利用して補間することによ
る画質劣化は相前後するフレーム画像の相関性からごく
わずかであり、誤り検出位置以前の部分（正常な部分、
並びに、誤り発生位置及び検出位置間の部分）を同様に
扱う場合において、ＩＮＴＲＡモードとして復号された
マクロブロックは、参照フレーム画像を利用して補間す
る（置き換える）ことが好ましい。

【００４９】そこで、第１の実施形態においては、誤り
が検出されたマクロブロックの前のマクロブロックの
内、ＩＮＴＲＡモードで復号されたマクロブロック画像
を破棄して、参照フレーム画像を利用して補間すること
とした。

【００５０】以上のように、第１の実施形態によれば、
誤りを検出した以降のマクロブロックだけでなく、誤り
検出以前でも、誤っていた場合の画質の劣化が激しいＩ
ＮＴＲＡマクロブロックの復号画像を破棄し、破棄した
マクロブロックの画像を参照フレーム画像を利用して補
間するようにしたので、誤りが生じた場合でも、全体と
しての画質劣化を従来より小さく押さえることができ
る。

【００５１】（Ｂ）第２の実施形態 次に、本発明による動画像圧縮符号の復号方法及び復号
装置の第２の実施形態を図面を参照しながら詳述する。

【００５２】動画像符号化・復号方法として、従来、自
己同期回復機能を持つ可変長符号を用いて符号化し、復
号時に誤りを検出したときに、自己同期回復機能を持つ
可変長符号を探索することによって、誤りが発生して可
変長符号の同期を損失しても復号を続けるうちに次の同
期語に至る前に同期を回復し、同期回復以降の復号デー
タを利用できるようにした方法も、同一出願人によって
既に提案されている（特願平６−２４７９７６号明細書
及び図面）。

【００５３】第２の実施形態の復号方法及び復号装置
は、このような自己同期回復機能を持つ可変長符号を用
いている動画像圧縮符号の復号に関するものである。

【００５４】自己同期回復機能を持つ可変長符号を用い
ている動画像圧縮符号の従来の復号方法は、同期語によ
らない自己同期回復により、復号に使用できないデータ
量を減少させるという効果を有するものであるが、誤り
に伴う画質劣化の抑制量がまだまだ低いという課題を有
する。

【００５５】図１１（ａ）に示すように、誤り検出位置
から自己同期回復までのデータを破棄して参照フレーム
画像に置き換える措置を講じていたが、破棄することな
く誤って復号している箇所が存在し、画質劣化を引き起
こすことを避けることができない。すなわち、図１１
（ｂ）に示すように、「発明が解決しようとする課題」
の項で述べたと同様に、誤り検出位置以前に誤り箇所が
存在することもあり得る。また、誤りによるデータ変化
によっては、自己同期回復機能を持つ可変長符号が偶然
に誤り部分に生じる場合も考えられ、このような場合、
自己同期回復と誤って判断することになり、これ以降の
誤ったデータが復号に用いられる。

【００５６】第２の実施形態に係る動画像圧縮符号復号
器の情報源復号器も、その構成は、第１の実施形態に係
る図１に示した構成と同様な構成を有する。すなわち、
情報源復号器本体１１、参照フレーム画像メモリ１２、
現フレーム画像メモリ１３及びＩＮＴＲＡ／ＩＮＴＥＲ
モードメモリ１４を備えている。

【００５７】なお、当該情報源復号器及びその前段のビ
デオ信号多重化復号器が自己同期回復機能に対応してい
る点は、第１の実施形態と相違している。

【００５８】次に、この第２の実施形態の復号方法、言
い換えると、情報源復号器本体１１の動作を説明する。

【００５９】ビデオ信号多重化復号器（図２参照）から
入力される系列は、情報源復号器本体１１において、各
ＧＯＢ毎に参照フレーム画像メモリ１２を参照しつつ、
順にマクロブロック画像に復号され、現フレーム画像メ
モリ１３に格納される。この際、各マクロブロックがＩ
ＮＴＲＡモードで復号されたかＩＮＴＥＲモードで復号
されたかをＩＮＴＲＡ／ＩＮＴＥＲモードメモリ１４に
記憶しておく。

【００６０】あるＧＯＢで誤りが発生したことをビデオ
信号多重化復号器若しくは情報源復号器本体１１で検出
した場合は、同期回復処理を行なって同期回復までの入
力データを捨てる。同期回復以降、次の同期語（例えば
フレーム開始符号ＰＳＣやＧＯＢ開始符号ＧＢＳＣ）ま
での復号データのうち、ＩＮＴＥＲモードであるマクロ
ブロックについてはマクロブロック画像に復号して現フ
レーム画像メモリ１３に格納する。言い換えると、同期
回復以降、次の同期語までの間で、ＩＮＴＲＡモードに
係るマクロブロックの復号画像を破棄したことになる。
また、誤りが検出されるまで復号できたマクロブロック
のうちＩＮＴＲＡ／ＩＮＴＥＲモードメモリ１４にＩＮ
ＴＲＡモードで復号したと記憶されたマクロブロック画
像を破棄する。その後、入力データが誤りのために復号
処理がなされなかったマクロブロック及びＩＮＴＲＡモ
ードであったために復号画像を破棄したマクロブロック
の画像を、参照フレーム画像メモリ１２に格納されてい
る参照フレーム画像から生成（補間）する。

【００６１】なお、ＩＮＴＲＡマクロブロックの破棄
は、誤りが検出されたＧＯＢ内のみに対して行なう。

【００６２】図１２は、このような第２の実施形態の復
号方法の処理のうち、各ＧＯＢ毎の処理の流れを示すフ
ローチャートである。

【００６３】まず、ＧＯＢの最初から順に各マクロブロ
ック（ＭＢ）を復号する（ステップＳ２１）。そして、
誤りが検出されたか否かを判定する（ステップＳ２
２）。各マクロブロックで誤りが検出されなければ、復
号したマクロブロック画像を現フレーム画像メモリ１３
へ格納すると共に（ステップＳ２３）、このときＩＮＴ
ＲＡモードで復号されたかＩＮＴＥＲモードで復号され
たかのモード情報をＩＮＴＲＡ／ＩＮＴＥＲモードメモ
リ１４に格納する（ステップＳ２４）。

【００６４】以上のステップＳ２１〜Ｓ２４でなるルー
プ処理を、ＧＯＢの終了を確認しつつＧＯＢが終了する
まで繰返す（ステップＳ２５）。このようにしてＧＯＢ
の終了を検出したときには、今回のＧＯＢには誤りがな
く、復号が全て終了して、復号したマクロブロック画像
が全て現フレーム画像メモリ１３へ格納されたことにな
り、次のＧＯＢの処理に進むことになる。以上のよう
に、誤りが発生しない場合の処理は、第１の実施形態と
同様である。

【００６５】ＧＯＢの終了を検出する前に、上述したス
テップＳ２２で誤りが検出されると、まず、同期回復処
理を実行する（ステップＳ２６）。この同期回復処理に
は、特願平６−２４７９７６号明細書及び図面に記載の
方法を適用できる。

【００６６】次いで、同期回復以降、次の同期語（例え
ばフレーム開始符号ＰＳＣやＧＯＢ開始符号ＧＢＳＣ）
までの入力データのうち、ＩＮＴＥＲモードの各マクロ
ブロックに係るデータを復号して現フレーム画像メモリ
１３に格納する（ステップＳ２７）。なお、同期が回復
せずに次の同期語に到達してしまった場合は、同期回復
以降、次の同期語までのデータがないものとして、ステ
ップＳ２７では何も復号処理を実行しない。次に、ステ
ップＳ２１〜Ｓ２５でなるループ処理によって復号でき
たマクロブロックのうちＩＮＴＲＡ／ＩＮＴＥＲモード
メモリ１４にＩＮＴＲＡモードであったと記録されたマ
クロブロック画像を破棄する（ステップＳ２８）。最後
に、復号画像を破棄したマクロブロックと、データ誤り
によって復号が実行されなかった残りのマクロブロック
との画像を、参照フレーム画像メモリ１２の格納データ
から生成して現フレーム画像メモリ１３へ格納し（ステ
ップＳ２９）、誤りが検出されたＧＯＢの処理を終了す
る。

【００６７】なお、この第２の実施形態において、同期
回復後にＩＮＴＥＲモードのマクロブロックの画像だけ
を復号し、ＩＮＴＲＡモードのマクロブロックの画像と
して参照フレーム画像を利用して補間するようにしたの
は、第１の実施形態について説明した、誤り検出位置前
において同様な処理を行なう理由と同様である。

【００６８】以上のように、第２の実施形態によれば、
画質の劣化が激しい誤ったＩＮＴＲＡマクロブロックの
画像を破棄しているため、誤りが生じた場合でも極端な
画質の劣化がない。また、正しく復号されている可能性
の高い同期回復以降の符号のうち画質劣化の危険性の高
いＩＮＴＲＡマクロブロックを除くＩＮＴＥＲマクロブ
ロックを復号画像に利用するため画質を従来より向上で
きる。

【００６９】（Ｃ）他の実施形態 上記各実施形態は、ＴＴＣ標準（高位レイヤプロトコル
符号化方式）JT-H.261勧告に従う動画像圧縮符号又はそ
れを一部改良の動画像圧縮符号を復号するものであった
が、本発明を他の動画像圧縮符号の復号に適用できるこ
とは勿論である。例えば、フレーム画像の分割の階層数
が上記のものより少なくても良い。また、直交変換方法
として離散コサイン変換以外のものを適用したものであ
っても良い。さらに、参照画像が符号化位置より上部の
現画像（ライン）であっても良い。しかし、参照画像と
の差分を符号化する領域と、参照画像を用いずに符号化
する領域が混在していることを要する。

【００７０】また、上述の説明では、存在しない可変長
符号語の発見によって誤りを検出するものを示したが、
誤り検出方法もこれに限定されるものではない。例え
ば、変換係数部分の可変長符号（ＴＣＯＥＦＦ）を復号
した際に、所定個数より多いデータが得られた場合に誤
りと検出するようにしても良い。

【００７１】

【発明の効果】以上のように、本発明によれば、その画
像領域の情報が誤っている場合に復号画像の画質劣化が
著しい、参照画像とは独立な情報のみから復号された画
像領域情報を破棄し、破棄した画像領域と、誤りのため
に復号できなかった画像領域の復号画像を、参照画像か
ら生成するようにしたので、動画像圧縮符号に誤りがあ
っても復号画像の画質劣化をごく僅かに押さえることが
できる。

【図面の簡単な説明】

【図１】第１の実施形態の復号処理を示すフローチャー
トである。

【図２】動画像圧縮符号の符号器・復号器の構成を示す
ブロック図である。

【図３】動画像データの階層的分割の説明図である。

【図４】動画像圧縮符号のビット列構成例を示す説明図
である。

【図５】図４に示す動画像圧縮符号のデータ種類毎の可
変長符号化テーブル例を示す説明図である。

【図６】図４に示す動画像圧縮符号の多重化処理系統を
示す説明図である。

【図７】従来の復号処理を示すフローチャートである。

【図８】従来の課題の説明図である。

【図９】第１の実施形態に係る情報源復号器の構成を示
すブロック図である。

【図１０】ＩＮＴＥＲ及びＩＮＴＲＡモード間の誤り時
の復号画質の相違を示す説明図である。

【図１１】第２の実施形態が前提とする従来の復号方法
の課題説明図である。

【図１２】第２の実施形態の復号処理を示すフローチャ
ートである。

【符号の説明】

１１…情報源復号器本体、１２…参照フレーム画像メモ
リ、１３…現フレーム画像メモリ、１４…ＩＮＴＲＡ／
ＩＮＴＥＲモードメモリ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中井 敏久 東京都港区虎ノ門１丁目７番12号 沖電気 工業株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 現画像とそれ以前に伝送した参照画像と
   の差分に基づく情報を伝送する画像領域と、現画像のみ
   からの情報を伝送する画像領域との可変長符号が混在す
   る動画像圧縮符号を復号する動画像圧縮符号の復号方法
   において、 伝送路で生じた誤りが検出された場合に、前の同期位置
   から次の同期位置までの間で、参照画像とは独立な現画
   像の情報のみから復号された画像領域情報を破棄し、破
   棄した画像領域と、誤りのために復号できなかった画像
   領域との復号画像を、参照画像から生成することを特徴
   とする動画像圧縮符号の復号方法。
2. 【請求項２】 現画像とそれ以前に伝送した参照画像と
   の差分に基づく情報を伝送する画像領域と、現画像のみ
   からの情報を伝送する画像領域との可変長符号が混在す
   る、しかもその可変長符号の自己同期回復機能が利用可
   能である動画像圧縮符号を復号する動画像圧縮符号の復
   号方法において、 伝送路で生じた誤りが検出された場合に、喪失した可変
   長符号の同期を回復させ、同期回復以降、次の同期位置
   までの符号データの内、参照画像との差分に基づく情報
   を伝送している画像領域を復号し、前の同期位置から誤
   りを検出するまでの間で、参照画像とは独立な現画像の
   情報のみから復号された画像領域情報を破棄し、破棄し
   た画像領域と復号できなかった画像領域との復号画像
   を、参照画像から生成することを特徴とする動画像圧縮
   符号の復号方法。
3. 【請求項３】 現画像とそれ以前に伝送した参照画像と
   の差分に基づく情報を伝送する画像領域と、現画像のみ
   からの情報を伝送する画像領域との可変長符号が混在す
   る動画像圧縮符号を復号する動画像圧縮符号の復号装置
   において、 伝送路で生じた誤りを検出する誤り検出手段と、 誤りが検出された場合に、前の同期位置から次の同期位
   置までの間で、参照画像とは独立な現画像の情報のみか
   ら復号された画像領域情報を破棄する破棄手段と、 破棄した画像領域と復号できなかった画像領域との復号
   画像を、参照画像から生成する画像補間手段とを有する
   ことを特徴とする動画像圧縮符号の復号装置。
4. 【請求項４】 現画像とそれ以前に伝送した参照画像と
   の差分に基づく情報を伝送する画像領域と、現画像のみ
   からの情報を伝送する画像領域との可変長符号が混在す
   る、しかもその可変長符号の自己同期回復機能を利用可
   能である動画像圧縮符号を復号する動画像圧縮符号の復
   号装置において、 伝送路で生じた誤りを検出する誤り検出手段と、 誤りが検出された場合に、喪失した可変長符号の同期を
   回復させる同期回復手段と、 同期回復以降、次の同期位置までの符号データの内、参
   照画像との差分に基づく情報を伝送している領域を復号
   する参照画像利用領域復号手段と、 前の同期位置から誤りを検出するまでの間で、参照画像
   とは独立な現画像の情報のみから復号された画像領域を
   破棄する破棄手段と、 破棄した画像領域と復号できなかった画像領域との復号
   画像を、参照画像から生成する画像補間手段とを有する
   ことを特徴とする動画像圧縮符号の復号装置。