JP3053781B2 - 動画像圧縮符号の復号方法及び復号装置 - Google Patents

動画像圧縮符号の復号方法及び復号装置

Info

Publication number
JP3053781B2
JP3053781B2 JP6439897A JP6439897A JP3053781B2 JP 3053781 B2 JP3053781 B2 JP 3053781B2 JP 6439897 A JP6439897 A JP 6439897A JP 6439897 A JP6439897 A JP 6439897A JP 3053781 B2 JP3053781 B2 JP 3053781B2
Authority
JP
Japan
Prior art keywords
area
code
decoding
discard
decoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP6439897A
Other languages
English (en)
Other versions
JPH10262243A (ja
Inventor
聰 中川
靖子 松村
敬 西
敏久 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP6439897A priority Critical patent/JP3053781B2/ja
Priority to KR10-1998-0007960A priority patent/KR100370933B1/ko
Priority to US09/038,136 priority patent/US6658153B1/en
Priority to CNB981057152A priority patent/CN1136729C/zh
Priority to EP19980104825 priority patent/EP0866623B1/en
Priority to DE1998634681 priority patent/DE69834681T2/de
Publication of JPH10262243A publication Critical patent/JPH10262243A/ja
Application granted granted Critical
Publication of JP3053781B2 publication Critical patent/JP3053781B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は動画像圧縮符号の復
号方法及び復号装置に関し、特に、通信路や記憶媒体等
の広義の伝送路において誤りが発生した場合に好適なも
のである。
【0002】
【従来の技術】デジタル通信において、動画像などの膨
大な情報量を持つデータを送信しようとする場合には、
データは情報圧縮を施され、冗長性を削られる。
【0003】文献(1):『TTC標準(高位レイヤプ
ロトコル符号化方式)JT-H.261勧告』 文献(1)で規定されている動画像の圧縮符号器・復号
器の構成を図2に示す。動画像の原データであるビデオ
信号は、世界共通の中間フォーマット(CIF、QCI
F)で表されており、この動画像データ(1ピックチャ
ー分;1フレーム分)を符号化する場合には、図3に示
すように、グループオブブロック(以下、GOB(grou
p of block)と略称する)、マクロブロック(Macroblo
ck)、8×8画素のブロック(Block )に階層的に分割
する。
【0004】図2(a)に示す符号器で符号化を行なう
場合、ビデオ信号を入力とし、情報源符号器201で情
報源符号化される。情報源符号器201では、まずマク
ロブロック毎に動き補償フレーム間予測を行ない、次
に、その予測誤差をブロック毎に直交変換した後に量子
化する。予測は通常フレーム間で行なわれるが、シーン
チェンジのときなどは、動画像の原データがそのまま直
交変換される。動き補償フレーム間予測誤差を直交変換
するか又は動画像の原データをそのまま直交変換するか
の判断は、例えば予測誤差データと原データとの分散値
を比較することにより決定される。直交変換には、離散
コサイン変換(DCT;Discrete CosineTransform )
が用いられ、画素領域の表現から周波数領域の表現に変
換する。周波数領域の表現に変換され量子化されたデー
タは、ビデオ信号多重化符号器202に入力されて、可
変長符号化され、ヘッダ情報の多重化が行なわれる。情
報源符号器201、ビデオ信号多重化符号器202で情
報源符号化、多重化されたデータは、送信バッファ20
3を通って、伝送路符号器204において、後述する図
4に示す順で伝送路符号化されて送信される。送信符号
量を制御するために送信バッファ203からバッファの
中の状態を符号化制御205に伝え、符号化制御205
は、情報源符号器201及びビデオ信号多重化符号器2
02に制御信号を出す。
【0005】図4に、従来の動画像符号化方法で符号化
された符号化ビット列と符号化シンタックスを表す。符
号化シンタックスとは、可変長符号化テーブル、挿入す
るヘッダ情報、送信順序を規定するものである。
【0006】図4において数字が表示されている要素は
固定長符号化されるデータ種類であり、それ以外の要素
はそれぞれ異なる可変長符号化テーブルを用いて可変長
符号化されるデータ種類である。
【0007】フレームの最初であることを示すフレーム
開始符号PSCは固定長の特殊な符号であり、フレーム
開始符号PSCと同じビット系列が、フレーム開始符号
PSC以外の符号化されたデータの中に出現しないよう
になっている。フレームヘッダ情報PHEADはフレー
ム番号やピクチャータイプ情報などの1フレーム全体に
ついての情報を含み、固定長符号化される。
【0008】GOBの最初であることを示すGOB開始
符号GBSCは固定長符号化される。GOBヘッダ情報
GHEADは、GOBのピックチャー(Picture )の中
の位置を表すGOB番号やGOBの量子化特性情報な
ど、1つのGOBについての情報を含み、固定長符号化
される。
【0009】マクロブロックアドレスMBAは、GOB
の中のマクロブロックの位置を表すものであり、そのマ
クロブロックアドレスと前に符号化されたマクロブロッ
クアドレスとの差分値が可変長符号化されたものであ
る。マクロブロックは、情報がない場合(例えば前フレ
ームと同一の場合)には符号化されず、マクロブロック
アドレスMBA、マクロブロックタイプ情報MTYP
E、マクロブロック量子化特性MQUANT、動きベク
トル情報MVD、及び、そのマクロブロックのブロック
情報(TCOEFF、EOB)は伝送されない。マクロ
ブロックタイプ情報MTYPEは、予測がフレーム間で
あるか(以下、INTERモードと呼ぶ)、原信号が直
交変換されるか(以下、INTRAモードと呼ぶ)など
を表し、可変長符号化される。なお、INTERモード
は例えば動きが小さい場合(フレーム間差分が小さい場
合)に採用され、INTRAモードは動きが大きい場合
に採用される。マクロブロック量子化特性MQUANT
は、そのマクロブロックの量子化ステップサイズを表
し、前に符号化されたマクロブロックの量子化ステップ
サイズと異なる場合に固定長符号化される。動きベクト
ル情報MVDは、対象マクロブロックの動きベクトルか
ら一つ前のマクロブロックの動きベクトルを減算するこ
とで得られるものであり、可変長符号化される。有意ブ
ロックパターンCBPは、少なくとも一つの変換係数が
伝送されるブロック(有意ブロック)の位置を表すもの
であり、可変長符号化される。
【0010】上述した変換係数TCOEFFも可変長符
号化される。ブロックの終わりを示すブロック終了符号
EOBは固定長符号化されるが、変換係数TCOEFF
の可変長符号の符号語の1つである。
【0011】図5は、マクロブロックの可変長符号化さ
れるデータ種類の可変長符号化テーブルを示すものであ
り、各データ種類はこの可変長テーブルに従って可変長
符号化される。ここで、変換係数TCOEFFは、直交
変換して量子化した8×8画素のブロックデータを水平
及び垂直方向の低周波成分ほど先になる順序に並べ替
え、そのデータの0が続く個数(0ラン)と、その直後
にくる0でない値(レベル)の組により可変長符号化さ
れる。
【0012】図6は、従来例の場合のビデオ信号多重化
符号器202の多重化処理系統図を示している。
【0013】各々のフレーム層、GOB層、マクロブロ
ック層、ブロック層では、矢印の方向にたどって多重化
される。矢印が分岐しているところは、モード(INT
RA、INTERなど)により、いずれかの矢印が選択
される。ループになっている部分は、そのデータ(GO
B層、マクロブロック層、ブロック層、変換係数TCO
EFF)が終わるまではループ側の矢印が選ばれ、その
データが終了すると、ループでない方の矢印が選ばれ
る。フレームの中のGOB、GOBの中のマクロブロッ
ク、マクロブロックの中のブロックには、それぞれ図3
に示すように、左上から順番に、GOB番号、マクロブ
ロックアドレス、ブロック番号が付加されている。GO
B層、マスクブロック層、ブロック層は、それぞれ番号
(アドレス)の小さい順に符号化され、多重化される。
【0014】図2(b)に示す復号器で復号を行なう場
合には、送られてきた順に伝送路復号器209で伝送路
復号を行ない、受信バッファ208を通して、ビデオ信
号多重化復号器207に入力する。ビデオ信号多重化復
号器207では、ヘッダ情報などを分離し、可変長符号
の復号を行なって、情報源復号器206に出力する。情
報源復号器206では、逆量子化、逆離散コサイン変換
(逆DCT)、動き補償を行なって、ビデオ信号を出力
する。
【0015】誤りが生じているか否かは、ビデオ信号多
重化復号器207の可変長符号の復号において判断する
ことができる。例えば、可変長符号化テーブルの可変長
符号語に存在しないような系列が入力されたときに、誤
りを検出したとすることができる。このような誤りが発
生した場合には、可変長符号の境界を見失い、同期を喪
失してしまう。
【0016】誤りが生じた場合は、マクロブロックアド
レスMBAが前に符号化されたマクロブロックとの差分
値を符号化したものであるから、たとえ可変長符号の同
期を回復したとしても、誤りが生じた時点から、次のG
OB開始符号GBSC又はフレーム開始符号PSCを検
出するまでは、復号することができない。したがって、
誤りが生じた時点からGOB開始符号GBSC又はフレ
ーム開始符号PSCまでのデータは捨てられることにな
る。その誤りによって捨てられた画像データの部分は、
前のフレーム画像をそのまま出力する。
【0017】図7に示すフローチャートを用いて、従来
例のビデオ信号多重化復号器207の動作を説明する。
【0018】まず、ビデオ信号多重化復号器207に入
力される符号系列からヘッダ情報の分離及び可変長符号
の復号を行なう(ステップB1)。その後、可変長符号
の復号で誤りが発生したか否かを判定する(ステップB
2)。ここで、誤りが生じていると、次のGOB開始符
号GBSC又はフレーム開始符号PSCを検索し(ステ
ップB3)、次のGOB開始符号GBSC又はフレーム
開始符号PSCを検出したならば(ステップB4)、誤
り発生時点から、検出したGOB開始符号GBSC又は
フレーム開始符号PSCまでのデータを捨てる(ステッ
プB5)。このように誤りが生じて次のGOB開始符号
GBSC又はフレーム開始符号PSCまでのデータを捨
てた場合、及び、上記ステップB2の判断で誤りがない
と判断された場合には、復号結果を出力し(ステップB
6)、さらに入力が終了したか否かを判断する(ステッ
プB7)。入力が終了した場合には一連の処理を終了
し、入力が継続していると上述したステップB1に戻
る。なお、誤りが生じた時点から次のGOB開始符号G
BSC又はフレーム開始符号PSCまでのデータは捨て
られるが、その誤りによって捨てられた画像データの復
号結果としては、上述したように、前フレーム画像のデ
ータをそのまま出力する(ステップB6)。
【0019】
【発明が解決しようとする課題】上述した従来のような
復号方法では、誤りが生じた場合には、可変長符号の復
号において可変長符号語の境界を見失い、同期を喪失し
た状態になって復号が不可能になる。従って、次のフレ
ーム開始符号PSC又はGOB開始符号GBSCを検出
するまでの情報を復号することができず、復号すること
ができない部分に誤りが生じていなくても、その部分の
データを捨てざるを得ないという問題がある。
【0020】
【課題を解決するための手段】かかる課題を解決するた
め、第1の本発明においては、動画像圧縮符号を正しく
復号できないことが明かである復号不能領域を含む符号
系列中で、復号することはできるが正しく復号できたか
誤って復号したかが明らかでない正誤不明領域が生じる
動画像圧縮符号の復号方法において、復号不能領域と正
誤不明領域との 領域境界から正誤不明領域側へ、正誤不
明領域の少なくとも一部からなる破棄範囲内の符号系列
を復号して得た復号画像情報を破棄することを特徴とす
る。
【0021】また、第2の本発明においては、動画像圧
縮符号を正しく復号できないことが明かである復号不能
領域を含む符号系列中で、復号することはできるが正し
く復号できたか誤って復号したかが明らかでない正誤不
明領域が生じる動画像圧縮符号の復号装置において、
(1)復号不能領域と正誤不明領域との領域境界を特定
る領域境界特定手段と、(2)復号不能領域と正誤不明領
域との領域境界から正誤不明領域側へ、正誤不明領域の
少なくとも一部を復号画像情報の破棄範囲として決定す
る破棄範囲決定手段と、(3)破棄範囲内の符号系列を復
号して得た復号画像情報を破棄する復号画像破棄手段と
を有することを特徴とする。
【0022】
【発明の実施の形態】(A)第1の実施形態 以下、本発明による動画像圧縮符号の復号方法及び復号
装置の第1の実施形態を図面を参照しながら詳述する。
【0023】図8に示すように、誤りが生じた場合に、
一般的には復号側では誤りが生じたことを直ちには検出
できず、誤ったまま復号した画像データが出力されてし
まう。このような誤ったまま復号された画像データが、
現画像とそれ以前に伝送した参照画像との差分に基づく
情報を伝送する画像領域(以下、INTERと記すが、
従来のINTERマクロブロックに限定するものではな
い)であった場合と、現画像のみからの情報を伝送する
画像領域(以下、INTRAと記すが、従来のINTR
Aマクロブロックに限定するものではない)であった場
合とでは、図9に模式的に示すような違いがある。すな
わち、誤ったまま復号した画像領域がINTERモード
として復号された画像領域であった場合は、INTER
モードが参照画像との差分を伝送する領域であるため、
参照画像に誤った差分情報によるノイズが重ね合わせら
れたような復号画像となる。一方、誤ったまま復号した
画像領域がINTRAモードとして復号された画像領域
であった場合には、INTRAモードが参照画像とは独
立な情報のみを伝送する領域であるため、誤った情報の
みから復号された周囲の領域とは全く異なった画像に復
号され、非常に画質の劣化が激しい。
【0024】第1の実施形態の動画像圧縮符号の復号方
法及び復号装置は、上記課題を考慮してなされたもので
ある。
【0025】図1は、この第1の実施形態に係る動画像
圧縮符号の復号装置(上述した図2の復号器206及び
207の部分が対応)の構成を示すブロック図である。
【0026】図1において、第1の実施形態の動画像圧
縮符号の復号装置は、動画像符号情報を入力し、復号処
理を行なって得られる復号画像情報を出力する復号処理
部11と、復号処理の過程において使用される参照画像
を記憶しておく参照画像メモリ12と、復号中の画像の
復号作業のための現画像メモリ13と、現画像の復号作
業時に各領域をINTRA/INTERのどちらのモー
ドの領域として復号したかを記憶するためのモードメモ
リ14と、誤りを検出した場合に復号可能であった領域
のうちのどの範囲の領域を破棄するかを決定する破棄範
囲決定処理部15とから構成されている。
【0027】なお、参照画像を前フレームの画像とした
場合には、参照画像メモリ12及び現画像メモリ13
は、例えば2面のフレーム画像メモリが該当し、復号時
に現フレーム画像を格納しているフレーム画像メモリが
現画像メモリ13になり、他方のフレーム画像メモリが
参照画像メモリ12になり、フレーム毎に、参照画像メ
モリ12及び現画像メモリ13になるフレーム画像メモ
リが変化するものであるが、いずれにせよ機能的には、
参照画像メモリ12及び現画像メモリ13が存在する。
【0028】次に、この第1の実施形態の動画像圧縮符
号の復号方法、言い換えると、第1の実施形態の動画像
圧縮符号の復号装置の動作を説明する。
【0029】復号処理部11に順次入力される動画像圧
縮符号の符号系列は、ある同期位置(例えば、従来のフ
レーム開始符号PSCやGOB開始符号GBSCのよう
な同期語を検出した位置)から、次の同期位置までの処
理単位(以下、GOBと呼ぶが、従来のGOBに限定す
るものではない)毎に復号処理が行なわれる。復号処理
部11では、参照画像メモリ12を参照しつつ、各GO
Bに含まれる画像領域(以下、マクロロックと呼ぶ
が、従来のマクロブロックに限定するものではない)を
順に復号し、得られたマクロブロック画像を現画像メモ
リ13に格納する。この際、各マクロブロックがINT
RAモードとして復号されたかINTERモードとして
復号されたかの情報をモードメモリ14に記憶してお
く。
【0030】復号処理部11は、あるGOBの復号中
に、入力される符号系列に伝送路上で誤りが発生したこ
とを検出した場合には、次の同期位置までの人力符号系
列は復号不能として破棄する。
【0031】また、破棄範囲決定処理部15は、破棄範
囲の決定処理を行ない、前の同期位置から誤りを検出す
るまでの間に復号できたマクロブロックの内、どの範囲
までのINTRAマクロブロックを破棄するか(INT
RA破棄範囲)、さらにどの範囲までのINTERマク
ロブロックを破棄するか(INTER破棄範囲)を決定
する。次に、復号処理部11は、破棄範囲決定処理部1
5で決定された破棄範囲に従って復号可能であったマク
ロブロックの内、INTRA破棄範囲に含まれるINT
RAマクロブロック及びINTER破棄範囲に含まれる
INTERマクロロックを破棄する。
【0032】その後、復号処理部11は、復号不能であ
ったマクロブロック及び破棄範囲内にあったために破棄
されたマクロロックの画像を、参照画像メモリ12に
格納されている参照画像から生成する。
【0033】なお、上述した破棄範囲内のマクロブロッ
クの破棄処理は、誤りが検出されたGOB内に対しての
み行なう。
【0034】図10は、この第1の実施形態に係るIN
TRA破棄範囲やINTER破棄範囲等の説明図であ
る。
【0035】相前後する同期位置間で誤りが発生して
も、直ちには検出できず、それより遅れて誤りが検出さ
れることがほとんどである。誤りが検出された位置以降
は、次の同期位置までの情報を破棄する。
【0036】さらに、誤りを検出しても誤り発生位置を
特定することができないので、誤り検出位置より前の情
報も遡って破棄する。ここで、図10に示すように、I
NTRAマクロブロックの情報を破棄する、誤り検出位
置から遡ったINTRA破棄範囲は、INTERマクロ
ブロックの情報を破棄する、誤り検出位置から遡ったI
NTER破棄範囲より広くなされている。従って、IN
TRA破棄範囲には属するがINTER破棄範囲に属さ
ないINTERマクロブロックの情報は破棄されない。
【0037】以上のようなINTRAモード及びINT
ERモードという符号化モードによる破棄範囲の広狭の
違いは、以下のような考え方による。INTRAマクロ
ブロックは、前画像との相関性が低く現画像情報を符号
化したものであり、これに誤りがある場合にはその画質
劣化は著しい。そのため、正常なINTRAマクロブロ
ックの情報を破棄する可能性も高くなるが、誤っていそ
うなINTRAマクロブロックの情報は全て破棄した
く、そこで、INTRA破棄範囲を広範囲にしている。
しかし、実際上、多くのマクロブロックは、INTER
モードで符号化されることが多く、INTRA破棄範囲
を広範囲にしても、その範囲内に存在するINTRAマ
クロブロックの数はごく少なく、正常なINTRAマク
ロブロックの情報が破棄されることは希であろう。一
方、INTERマクロブロックは、前画像との差分を符
号化したものであり、このような小さい値の差分に誤り
があっても画質劣化はごくわずかである。従って、IN
TERマクロブロックの情報は破棄しなくても良い程度
であるが、誤り検出位置の直前では誤っていることが多
く、そのため、誤り検出位置の直前の狭い範囲をINT
ER破棄範囲として、INTERマクロブロックの情報
を破棄することとした。
【0038】すなわち、INTRA破棄範囲は、その範
囲内に、位置は特定できない誤り発生位置が含まれるよ
うに広範囲に定めれており、INTER破棄範囲は、そ
の範囲内に誤り発生位置が含まれていようがいまいが関
係ないように狭範囲に定めれている。
【0039】ここで、INTRA破棄範囲及びINTE
R破棄範囲の決定方法は、シミュレーション等を実行し
て予め破棄範囲の大きさを所定の値に設定しておく方法
や、復号処理によって得られる種々の情報を基に計算に
より決定する方法等を用いることができる。
【0040】この第1の実施形態においては、誤りが発
生したことを検出した位置から、次の同期位置までの人
力符号系列の領域は復号が実行されないので復号不能領
域の符号系列である。また、誤りが発生したことを検出
した位置と、誤りが発生した位置とは必ずしも一致しな
いので、誤りが発生したことを検出した位置以前の符号
系列に対しては復号が行われても、それが正しく復号さ
れたか誤って復号されたかは不明であるので、誤りが発
生した位置以前の符号系列の領域は正誤不明領域と呼ぶ
ことができる。従って、誤りが発生したことを検出した
位置は、復号不能領域と正誤不明領域との領域境界にな
っている。図11は、第1の実施形態の復号処理部11
の処理の内、各GOB毎の処理の流れを示すフローチャ
ートである。
【0041】復号処理部11はまず、GOBの最初から
順に各マクロブロック(MB)を復号し(ステップS1
01)、そして、誤りを検出したか否かを判定する(ス
テップS102)。各マクロブロックで誤りが検出され
なければ、復号したマクロブロック画像を現画像メモリ
13へ格納すると共に(ステップS103)、このと
き、INTRAとして復号したかINTERとして復号
したかのモード情報をモードメモリ14に格納する(ス
テップS104)。
【0042】以上のステップS101〜S104でなる
ループ処理を、GOBが終了するまで繰り返す(ステッ
プS105)。
【0043】GOBの終了を検出する前に、上述したス
テップS102で誤りを検出すると、復号処理部11
は、次の同期位置までの入力符号系列を復号不能として
破棄する(ステップS106)。次に、破棄範囲決定処
理部15によって決定された、図6に示したようなIN
TRA及びINTERの破棄範囲を取り込む(ステップ
S107)。誤りを検出するまでに復号できたマクロブ
ロックの内、ここで決定されたINTRA及びINTE
R破棄範囲に含まれているマクロブロックをモードメモ
リ14を参照しつつ破棄する(ステップS108)。
【0044】そして、復号画像を破棄したマクロブロッ
クと、誤りのために復号不能であったマクロブロックと
の画像を、参照画像メモリ12に格納されている参照画
像から生成して現画像メモリ13ヘ格納し(ステップS
109)、誤りを検出したGOBの処理を終了する。
【0045】以上のように、第1の実施形態によれば、
誤りを検出するまでに復号可能であったマクロブロック
の内、誤っていた場合に画質の劣化が激しいINTRA
として復号したマクロロックを破棄し、破棄したマク
ロブロックの画像を参照画像を利用して補間するように
したので、誤りが生じた場合でも、全体としての画質劣
化を従来より小さく押えることができる。
【0046】また、GOBに含まれているマクロブロッ
クの数が多い場合にも、破棄範囲を決定して破棄範囲外
の誤っていない可能性が非常に高いマクロブロックを破
棄しないようにしたので、画質劣化を小さく抑えること
ができる。
【0047】さらに、誤り検出直前はINTERマクロ
ブロックであっても誤っている可能性が非常に高いた
め、INTRAとは別のINTER破棄範囲内のINT
ERマクロブロックをも破棄することによって画質劣化
を小さくできる。
【0048】(B)第2の実施形態 次に、本発明による動画像圧縮符号の復号方法及び復号
装置の第2の実施形態を図面を参照しながら詳述する。
【0049】動画像圧縮符号の復号方法及び復号装置と
して、図12に示すように、可変長符号の自己同期回復
機能を利用して、復号時に誤りを検出した場合にも可変
長符号の復号を続けることによって自己同期回復以降の
復号データも復号画像の生成に利用できるようにしたも
のが既に提案されている。しかし、図13に示すよう
に、誤っているにも拘らず同期回復したと誤って判断す
ることがある。この場合には、誤った同期回復位置から
真の同期回復位置までの復号画像の画質劣化は甚だし
い。
【0050】第2の実施形態の動画像圧縮符号の復号方
法及び復号装置は、第1の実施形態と同様な誤り検出位
置以前の領域での画質劣化や、上述したような誤った同
期回復位置から真の同期回復位置までの領域での画質劣
化をできるだけ抑えようとしたものである。
【0051】図14は、この第2の実施形態に係る動画
像圧縮符号の復号装置(上述した図2の復号器206及
び207の部分が対応)の構成を示すブロック図であ
る。
【0052】図14において、第2の実施形態の動画像
圧縮符号の復号装置は、動画像符号情報を入力し、復号
処理を行なって得られる復号画像情報を出力する復号処
理部21と、復号処理の過程において使用される参照画
像を記憶しておく参照画像メモリ22と、復号中の画像
の復号作業のための現画像メモリ23と、現画像の復号
作業時に各領域をINTRA/INTERのどちらのモ
ードの領域として復号したかを記憶するためのモードメ
モリ24と、誤りを検出した場合に復号可能であった領
域のうちのどの範囲の領域を破棄するかを決定する破棄
範囲決定処理部25と、誤りを検出した場合に喪失した
可変長符号の同期を回復させる同期回復処理部26とか
ら構成されている。
【0053】次に、この第2の実施形態の動画像圧縮符
号の復号方法、言い換えると、第2の実施形態の動画像
圧縮符号の復号装置の動作を説明する。
【0054】図14に示すように、復号処理部21に順
次入力される動画像圧縮符号の符号系列に対し、ある同
期位置から次の同期位置までのGOB毎に復号処理が行
なわれる。復号処理部21では、参照画像メモリ22を
参照しつつ、各GOBに含まれるマクロブロックを順に
復号し得られたマクロブロック画像を現画像メモリ23
に格納する。この際、各マクロブロックがINTRAモ
ードとして復号されたかINTERモードとして復号さ
れたかの情報をモードメモリ24に記憶しておく。
【0055】あるGOBの復号中に、入力された符号系
列に伝送路上で誤りが発生したことを検出した場合は、
同期回復処理部26によって喪失した可変長符号の同期
を回復させ、同期回復から次の同期位置までの入力符号
系列に含まれるマクロブロックを順に復号し得られたマ
クロブロック画像を現画像メモリ23に格納する。この
ときにも、各マクロブロックがINTRAモードとして
復号されたかINTERモードとして復号されたかの情
報をモードメモリ24に記憶しておく。
【0056】次に、破棄範囲決定処理部25が破棄範囲
決定処理を行ない、前の同期位置から誤りを検出するま
での間に復号できたマクロブロックの内、どの範囲まで
のINTRAマクロブロックを破棄するか(INTRA
破棄範囲1)と、どの範囲までのINTERマクロブロ
ックを破棄するか(INTER破棄範囲1)とを決定す
ると共に、同期回復か次の同期位置までの間に復号で
きたマクロブロックの内どの範囲までのINTRAマク
ロブロックを破棄するか(INTRA破棄範囲2)と、
どの範囲までのINTERマクロブロックを破棄するか
(INTER破棄範囲2)とを決定する。
【0057】破棄範囲決定処理部25で決定された破棄
範囲に従って復号可能であったマクロブロックの内、I
NTRA破棄範囲1及びINTRA破棄範囲2に含まれ
るINTRAマクロロック、INTER破棄範囲1及
びINTER破棄範囲2に含まれるINTERマクロブ
ロックを破棄する。
【0058】その後、復号不能であったマクロブロック
及び破棄範囲内にあったために破棄したマクロブロック
の画像を、参照画像メモリ22に格納されている参照画
像から生成する。
【0059】なお、上述した各破棄範囲内のマクロブロ
ックの破棄処理は、誤りが検出されたGOB内に対して
のみ行なう。
【0060】図15は、この第2の実施形態に係るIN
TRA破棄範囲1やINTER破棄範囲1やINTRA
破棄範囲2やINTER破棄範囲2等の説明図である。
【0061】第2の実施形態のINTRA破棄範囲1及
びINTER破棄範囲1は、第1の実施形態のINTR
A破棄範囲及びINTER破棄範囲に該当するものであ
り、第1の実施形態について説明した考え方に従って決
定されるものである。
【0062】可変長符号を用いた同期回復では、正しく
同期回復がなされることが多いが、本当はまだ同期があ
っていないのに、たまたまそこから次の同期位置までの
間が矛盾なく復号できてしまう「誤った同期回復」がな
されることがある。復号処理部21では、同期回復処理
部26が回復した同期回復位置が誤ったものか正常なも
のかを判別することはできない。そのため、図15に示
すように、「誤って同期回復」した位置と「本来の同期
回復」した位置とが存在する状況も起こり得る。なお、
復号処理部21は、「本来の同期回復」した位置も知る
ことができない。
【0063】図15に示すように、同期回復処理部26
が回復した同期回復位置が誤ったものである場合、「誤
って同期回復」した位置と「本来の同期回復」した位置
との復号画像の画質劣化は甚だしい。そこで、誤り発生
位置及び誤り検出位置の間の復号画像の画質劣化を考慮
してINTRA破棄範囲1及びINTER破棄範囲1を
定めたと同様な考え方により、「誤って同期回復」した
位置と「本来の同期回復」した位置との復号画像の画質
劣化を考慮してINTRA破棄範囲2及びINTER破
棄範囲2を定めている。
【0064】INTRA破棄範囲2及びINTER破棄
範囲2の広狭の違いも、第1の実施形態で説明したIN
TRA破棄範囲1及びINTER破棄範囲1の広狭の違
いを設けたと同じ理由により設けられている。
【0065】すなわち、INTRAマクロブロックは、
前画像との相関性が低く現画像情報を符号化したもので
あり、これに誤りがある場合にはその画質劣化は著し
い。そのため、正常なINTRAマクロブロックの情報
を破棄する可能性も高くなるが、誤っていそうなINT
RAマクロブロックの情報は全て破棄したく、そこで、
INTRA破棄範囲2を広範囲にしている。しかし、実
際上、多くのマクロブロックは、INTERモードで符
号化されることが多く、INTRA破棄範囲2を広範囲
にしても、その範囲内に存在するINTRAマクロブロ
ックの数はごく少なく、正常なINTRAマクロブロッ
クの情報が破棄されることは希であろう。一方、INT
ERマクロブロックは、前画像との差分を符号化したも
のであり、このような小さい値の差分に誤りがあっても
画質劣化はごくわずかである。従って、INTERマク
ロブロックの情報は破棄しなくても良い程度であるが、
同期回復位置の直後の狭い範囲をINTER破棄範囲2
として、INTERマクロブロックの情報を破棄するこ
ととした。
【0066】ここで、INTRA破棄範囲2及びINT
ER破棄範囲2の決定方法も、シミュレーション等を実
行して予め破棄範囲の大きさを所定の値に設定しておく
方法や、復号処理によって得られる種々の情報を基に計
算により決定する方法等を用いることができる。なお、
同期回復が正しい位置でなされることも多いので、IN
TRA破棄範囲2及びINTER破棄範囲2をそれぞ
れ、INTRA破棄範囲1及びINTER破棄範囲1よ
り狭い範囲に定めるようにしても良い。
【0067】この第2の実施形態においては、誤りが発
生したことを検出した位置から、自己同期回復機能によ
り同期が回復した位置までの人力符号系列の領域は復号
処理を実行できない復号不能領域の符号系列である。ま
た、誤りが発生したことを検出した位置と、誤りが発生
した位置とは必ずしも一致しないので、誤りが発生した
ことを検出した位置以前の符号系列に対しては復号が行
われても、それが正しく復号されたか誤って復号された
かは不明であるので、誤りが発生した位置以前の符号系
列の領域は正誤不明領域と呼ぶことができる。さらに、
同期回復位置は正しい同期回復によるものか誤った同期
回復によるものかを決定できないので、同期回復以降の
符号系列に対しては復号が行われても、それが正しく復
号されたか誤って復号されたかは不明であるので、同期
回復位置以降の符号系列の領域も正誤不明領域と呼ぶこ
とができる。従って、誤りが発生したことを検出した位
置や同期回復位置は、復号不能領域と正誤不明領域との
領域境界になっている。図16及び図17は、この第2
の実施形態の復号処理部21の処理の内、各GOB毎の
処理の流れを示すフローチャートである。
【0068】まず、復号処理部21は、GOBの最初か
ら順に各マクロブロック(MB)を復号する(ステップ
S201)。そして、誤りを検出したか否かを判定する
(ステップS202)。
【0069】各マクロブロックで誤りが検出されなけれ
ば、復号したマクロブロック画像を現画像メモリ23へ
格納すると共に(ステップS203)、このときINT
RAとして復号したかINTERとして復号したかのモ
ード情報をモードメモリ24に格納する(ステップS2
04)。
【0070】以上のステップS201からS204でな
るループ処理を、GOBが終了するまで繰り返す(ステ
ップS205)。
【0071】復号処理部21は、GOBの終了を検出す
る前に、上述したステップS202で誤りを検出する
と、同期回復処理部26に同期回復処理を実行させる
(ステップS206)。同期が回復すると、同期回復位
置から順に各マクロブロックを復号する(ステップS2
07)。
【0072】その後、復号処理部21は、誤りを検出し
たか否かを判定する(ステップS208)。誤りを検出
した場合は、同期が回復していなかったものとして同期
回復以降に復号したマクロブロックを破棄し(ステップ
S215)、同期回復処理(ステップS206)ヘ戻
る。
【0073】ステップS208において、各マクロブロ
ックで誤りが検出されなければ、復号したマクロブロッ
ク画像を現画像メモリ23へ格納すると共に(ステップ
S209)、このときINTRAとして復号したかIN
TERとして復号したかのモード情報をモードメモリ2
4に格納する(ステップS210)。
【0074】一度でも誤りが検出されたことで入った以
上のステップS207からS210でなるループ処理
を、GOBが終了するまで繰り返す(ステッブS21
1)。
【0075】GOBの最後までの復号が終了すると(ス
テップS211で肯定結果)、次に破棄範囲決定処理部
25によって、図15に示したようなINTRA破棄範
囲1及びINTRA破棄範囲2、INTER破棄範囲1
及びINTER破棄範囲2を決定させる(ステップS2
12)。
【0076】その後、復号処理部21は、誤りを検出す
るまでに復号できたマクロブロック、及び、同期回復以
降に復号できたマクロブロックの内、決定されたINT
RA破棄範囲1及びINTRA破棄範囲2、INTER
破棄範囲1及びINTER破棄範囲2に含まれているマ
クロブロックをモードメモリ24を参照しつつ破棄する
(ステップS213)。
【0077】そして、復号画像を破棄したマクロブロッ
クと、誤りのために復号不能であったマクロブロックと
の画像を、参照画像メモリ22に格納されている参照画
像から生成して現画像メモリ23ヘ格納し(ステップS
214)、誤りを検出したGOBの処理を終了する。
【0078】以上のように、第2の実施形態によれば、
誤りを検出するまでに復号可能であったマクロブロック
及び同期回復以降に復号可能であったマクロブロックの
内、誤っていた場合に画質の劣化が激しいINTRAと
して復号したマクロブロックを破棄し、破棄したマクロ
ブロックの画像を参照画像を利用して補間するようにし
たので、誤りが生じた場合でも、全体としての画質劣化
を従来より小さく押えることができる。
【0079】また、GOBに含まれているマクロブロッ
クの数が多い場合でも、破棄範囲を決定して破棄範囲外
の誤っていない可能性が非常に高いマクロブロックを破
棄しないようにしたので、この点でも画質劣化を小さく
押さえることができる。
【0080】さらに、誤り検出直前及び同期回復直後は
INTERマクロブロックであっても誤っている可能性
が非常に高いため、INTRAとは別のINTER破棄
範囲内の、INTERマクロブロックをも破棄すること
によって、さらに画質劣化を小さくできる。このとき、
誤り検出までと、同期回復以降では別々の破棄範囲に基
づいて破棄するため、誤りを検出できずに復号してしま
う可能性と、誤って同期が回復してしまう可能性の性質
が異なる場合にも適切な範囲で破棄することが可能とな
る。
【0081】(C)第3の実施形態 次に、本発明による動画像圧縮符号の復号方法及び復号
装置の第3の実施形態を図面を参照しながら詳述する。
【0082】第3の実施形態は、第1の実施形態や第2
の実施形態における破棄範囲決定処理方法を具体的に示
したものであり(この意味では、第1の実施形態や第2
の実施形態に包含されている)、復号対象となる動画像
圧縮符号が、後述する図19に示されるように、各領域
毎に連続した符号系列として伝送される場合の破棄範囲
決定処理方法に特徴を有するものである。
【0083】図18は、この第3の実施形態に係る動画
像圧縮符号の復号装置(上述した図2の復号器206及
び207の部分が対応)の構成を示すブロック図であ
る。
【0084】図18において、第3の実施形態の動画像
圧縮符号の復号装置は、動画像圧縮符号情報を入力し、
復号処理を行なって得られる復号画像情報を出力する復
号処理部31と、誤りを検出した場合に復号可能であっ
た領域の内どの範囲の領域を破棄するかを決定する破棄
範囲決定処理部32と、入力される動画像圧縮符号系列
で各領域がどのような順序で伝送されてきたかを記憶す
る伝送順序メモリ33とから構成されている。
【0085】なお、図18においては、図1や図15に
示した画像メモリや同期回復処理部等は復号処理部31
に含まれているものとして表示しており、破棄処理に関
わる構成要素のみを取り立てて示している。
【0086】次に、この第3の実施形態の動画像圧縮符
号の復号方法、言い換えると、第3の実施形態の動画像
圧縮符号の復号装置の動作を説明する。
【0087】まず、復号処理部31は、第1の実施形態
や第2の実施形態で説明したように、各画像領域(以
下、マクロブロックとする)を順に復号する。この際、
それぞれのマクロブロックがどのような順に伝送された
かを、伝送順序メモリ32に記憶しておく。誤りを検出
すると、破棄範囲決定処理部32では、INTRA及び
INTERの破棄する画像領域数(マクロブロック数)
を決定し、復号可能であった最後のマクロブロックか
ら、伝送順序メモリ32に記憶された伝送順の逆順にそ
れぞれの破棄する画像領域数分のマクロブロックを破棄
範囲として決定して、それぞれ破棄処理を行なう。
【0088】さらに、第2の実施形態のように可変長符
号の同期回復機能を利用する場合は、同期回復以降のI
NTRA及びINTERの破棄する画像領域数(マクロ
ブロック数)をも決定し、同期回復後復号可能てあった
最初のマクロロックから、伝送順序メモリ32に記憶
された伝送順にそれぞれの破棄する画像領域数分のマク
ロブロックを破棄範囲として決定して、それぞれ破棄処
理を行なう。
【0089】図19、破棄画像領域数による破棄範囲
決定の説明図である。図19は、誤り検出位置からの決
定のイメージで示しているが、同期回復位置からの決定
は、図19の時間軸を逆にしたものである。この図19
の例は、INTRA破棄画像領域数(INTRA破棄範
囲)が3、INTER破棄画像領域数(INTER破棄
範囲)が1の場合を示している。
【0090】破棄画像領域数の決定方法は、予め破棄領
域数を所定の値に設定しておく方法や、復号処理によっ
て得られる種々の情報を基に計算により決定する方法等
を用いることができる。
【0091】第3の実施形態については、復号処理部3
1によるGOB毎の処理フローチャートの図示は省略す
るが、以下、第1の実施形態や第2の実施形態に係るフ
ローチャートとの相違点についてのみ簡単に言及する。
【0092】第1の実施形態をベースとした第3の実施
形態であれば、第1の実施形態に係る図11のフローチ
ャートにおいて、例えば、ステップS104の次に、そ
のマクロブロックの伝送順序を伝送順序メモリ33に記
憶する処理を行ない、ステップS107で、伝送順序メ
モリ33に記憶された伝送順序を参照してINTRA破
画像領域数及びINTER破棄画像領域数を決定する
こととなる。
【0093】また、第2の実施形態をベースとした第3
の実施形態であれば、第2の実施形態に係る図16及び
図17のフローチャートにおいて、例えば、ステップS
204やステップS210の次に、そのマクロブロック
の伝送順序を伝送順序メモリ33に記憶する処理を行な
い、ステップS212では、伝送順序メモリ33に記憶
された伝送順序を参照して、誤り検出以前及び同期回復
以降のINTRA破棄画像領域数及びINTER破棄
領域数を決定することとなる。
【0094】なお、予め伝送順序が分かっている動画像
圧縮符号の復号では、伝送順序メモリ32は必要ない。
【0095】上述した第3の実施形態によっても、第1
又は第2の実施形態と同様な効果を得ることができる。
これに加えて、第3の実施形態によれば、第1の実施形
態や第2の実施形態の破棄範囲決定処理において、画像
領域数というもっとも簡単な数値で破棄範囲を決定でき
るため、破棄範囲決定処理及び破棄処理を非常に簡単に
実行できるようになる。
【0096】(D)第4の実施形態 次に、本発明による動画像圧縮符号の復号方法及び復号
装置の第4の実施形態を図面を参照しながら詳述する。
【0097】第4の実施形態は、第1の実施形態や第2
の実施形態における復号対象となる動画像圧縮符号が、
後述する図21に示されるように、ある画像領域に関す
る符号情報が1つの連続した符号系列ではなく、複数の
分散した系列(図21ではA系列及びB系列)として伝
送される可能性がある場合(例えば、特開平8−111
867号参照)の破棄範囲決定処理方法に特徴を有する
ものである。
【0098】図20は、この第4の実施形態に係る動画
像圧縮符号の復号装置(上述した図2の復号器206及
び207の部分が対応)の構成を示すブロック図であ
る。
【0099】図20において、第4の実施形態の動画像
圧縮符号の復号装置は、動画像圧縮符号情報を入力し、
復号処理を行なって得られる復号画像情報を出力する復
号処理部41と、誤りを検出した場合に復号可能であっ
た領域の内どの範囲の領域を破棄するかを決定する破棄
範囲決定処理部42と、入力される動画像圧縮符号系列
中で各領域がどのような符号位置(複数の場合もある)
で伝送されてきたかを記憶する符号位置メモリ43とか
ら構成されている。
【0100】なお、図20においても、図1や図15に
示した画像メモリや同期回復処理部等は復号処理部41
に含まれているものとして表示しており、破棄処理に関
わる構成要素のみを取り立てて示している。
【0101】次に、この第4の実施形態の動画像圧縮符
号の復号方法、言い換えると、第4の実施形態の動画像
圧縮符号の復号装置の動作を説明する。
【0102】まず、復号処理部41は、第1の実施形態
や第2の実施形態で説明したように、各画像領域(以
下、マクロブロック)を順に復号する。この際、それぞ
れのマクロブロックが、入力符号系列のどの位置の符号
系列(複数の場合もある)から復号されたかを符号位置
メモリ42に記憶しておく。誤りを検出すると、破棄範
囲決定処理部42では、INTRA及びINTERの破
棄符号長を決定し、復号不能となった符号位置から破棄
符号長の符号系列の符号情報を含んで復号されたマクロ
ブロックを、符号位置メモリ43を参照しつつ判定し、
これを破棄範囲として決定して、それぞれ破棄処理を行
なう。
【0103】なお、第2の実施形態のように、可変長符
号の同期回復機能を利用する場合は、同期回復以降のI
NTRA及びINTERの破棄符号長をも決定し、同期
回復以降で破棄符号長の符号系列の符号情報を含んで復
号されたマクロブロックも破棄範囲として決定し、それ
ぞれ破棄処理を行なう。
【0104】図21は、破棄符号長による破棄範囲決定
の説明図である。図21は、誤り検出位置からの決定の
イメージで示しているが、同期回復位置からの決定は、
図21の時間軸を逆にしたものである。例えば、図21
において、マクロブロックAが、A(1)の符号系列と
A(2)の符号系列から復号され、マクロブロックB
が、B(1)の符号系列とB(2)の符号系列から復号
されているとすると、マクロブロックBはINTRAで
あってもINTERであっても破棄し、マクロロック
Aは、INTRAの場合は破棄するがINTERの場合
は破棄しない。
【0105】破棄符号長の決定方法は、予め破棄符号長
を所定の値に設定しておく方法や、復号処理によって得
られる種々の情報を基に計算により決定する方法等を用
いることができる。
【0106】第4の実施形態については、復号処理部4
1によるGOB毎の処理フローチャートの図示は省略す
るが、以下、第1の実施形態や第2の実施形態に係るフ
ローチャートとの相違点についてのみ簡単に言及する。
【0107】第1の実施形態をベースとした第4の実施
形態であれば、第1の実施形態に係る図11のフローチ
ャートにおいて、ステップS101では同一マクロブロ
ックに係る全ての符号系列が揃うまでは符号位置メモリ
43に格納する処理を行なうと共に、全ての符号系列が
揃ったときにそのマクロブロックの復号を行なう処理を
行ない、また、ステップS107では、符号位置メモリ
43に記憶された系列情報を参照してINTRA破棄符
号長及びINTER破棄符号長を決定し、さらに、ステ
ップS108では、破棄符号長との関係が図21の関係
にあるマクロブロックを破棄することとなる。
【0108】また、第2の実施形態をベースとした第4
の実施形態であれば、第2の実施形態に係る図16及び
図17のフローチャートにおいて、ステップS201及
びステップS207では同一マクロブロックに係る全て
の符号系列が揃うまでは符号位置メモリ43に格納する
処理を行なうと共に、全ての符号系列が揃ったときにそ
のマクロブロックの復号を行なう処理を行ない、また、
ステップS212では、符号位置メモリ43に記憶され
た系列情報を参照してINTRA破棄符号長及びINT
ER破棄符号長を決定し、さらに、ステップS213で
は、破棄符号長との関係が図21の関係にあるマクロブ
ロックを破棄することとなる。
【0109】上述した第4の実施形態によっても、第1
又は第2の実施形態と同様な効果を得ることができる。
これに加えて、第4の実施形態によれば、第1の実施形
態及び第2の実施形態の破棄範囲決定処理において、あ
る画像領域に関する符号情報が1つの連続した符号系列
とはかぎらず、複数の分散した系列として伝送される可
能性がある場合でも、破棄符号長という簡単な数値で破
棄範囲を決定できるため、破棄範囲決定処理及び破棄処
理を非常に簡単に実行することができる。
【0110】(E)他の実施形態 本発明は、H.261やMPEG1やMPEG2等の動
画像圧縮符号の復号に限定されず、その他様々な動画像
圧縮符号の復号方法として適用できる。
【0111】また、本発明は、現画像とそれ以前に伝送
した参照画像との差分に基づく情報を伝送する画像領域
と、現画像のみからの情報を伝送する画像領域とが混在
して伝送される動画像圧縮符号に限定されず、何種類
(1種類のみの場合もありえる)かの符号化モードで符
号化された領域が混在するような場合でも適用でき、そ
れぞれのモード毎に別々の破棄範囲を決定して破棄処理
を行なうようにすれば良い。上記実施形態で言及したI
NTRA及びINTERはこのようなモードの種類の一
例である。
【0112】上記各実施形態の説明では、画像領域をマ
クロブロックと呼んだが、これは従来のような方形上に
分割された領域に限定されない。すなわち、本発明は、
画像を何らかの形に複数の領域に分割して伝送するよう
な動画像圧縮符号の復号方法として適用可能である。
【0113】同期位置は、従来のような同期語を用いる
場合に限定されず、その他の方法(例えば、伝送路の下
位レイヤで同期を確保する場合等)で同期が確保される
ような場合もあり得る。
【0114】誤りの検出方法は、符号表に存在しない符
号の検出等による方法の他、符号シンタックスの矛盾に
よる方法や、誤り訂正符号を用いるなど、様々な検出方
法を用いることもできる。
【0115】
【発明の効果】以上のように、本発明の動画像圧縮符号
の復号方法及び復号装置によれば、動画像圧縮符号を正
しく復号できないことが明かである復号不能領域を含む
符号系列中で、復号することはできるが正しく復号でき
たか誤って復号したかが明らかでない正誤不明領域が生
じる動画像圧縮符号の復号に関し、復号不能領域と正誤
不明領域との領域境界から正誤不明領域側へ、正誤不明
領域の少なくとも一部からなる破棄範囲内の符号系列を
復号して得た復号画像情報を破棄するようにしたので、
復号画像の画質を従来より高めることができる。
【図面の簡単な説明】
【図1】第1の実施形態の復号装置の構成を示すブロッ
ク図である。
【図2】従来の動画像圧縮符号の符号器・復号器の構成
を示すブロック図である。
【図3】動画像データの階層的分割の説明図である。
【図4】動画像圧縮符号のビット列構成例を示す説明図
である。
【図5】図4に示す動画像圧縮符号のデータ種類毎の可
変長符号化テーブル例を示す説明図である。
【図6】図4に示す動画像圧縮符号の多重化処理系統を
示す説明図である。
【図7】従来の復号方法を示すフローチャートである。
【図8】従来の課題の説明図である。
【図9】INTER及びINTRAモード間の誤り時の
復号画質の相違を示す説明図である。
【図10】第1の実施形態の破棄範囲の説明図である。
【図11】第1の実施形態の復号方法を示すフローチャ
ートである。
【図12】自己同期回復機能の説明図である。
【図13】第2の実施形態が前提とする従来の復号方法
の課題説明図である。
【図14】第2の実施形態の復号装置の構成を示すブロ
ック図である。
【図15】第2の実施形態の破棄範囲の説明図である。
【図16】第2の実施形態の復号方法を示すフローチャ
ート(1)である。
【図17】第2の実施形態の復号方法を示すフローチャ
ート(2)である。
【図18】第3の実施形態の復号装置の構成を示すブロ
ック図である。
【図19】第3の実施形態の破棄範囲の説明図である。
【図20】第4の実施形態の復号装置の構成を示すブロ
ック図である。
【図21】第4の実施形態の破棄範囲の説明図である。
【符号の説明】
11、21、31、41…復号処理部、 12、22…参照画像メモリ、 13、23…現画像メモリ、 14、24…モードメモリ、 15、25、32、41…破棄範囲決定処理部、 26…同期回復処理部、 33…伝送順序メモリ、 43…符号位置メモリ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中井 敏久 東京都港区虎ノ門1丁目7番12号 沖電 気工業株式会社内 (56)参考文献 特開 平7−38888(JP,A) 特開 平8−18980(JP,A) 特開 平8−111867(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68 H04L 1/00 - 1/24

Claims (12)

    (57)【特許請求の範囲】
  1. 【請求項1】 動画像圧縮符号を正しく復号できないこ
    とが明かである復号不能領域を含む符号系列中で、復号
    することはできるが正しく復号できたか誤って復号した
    かが明らかでない正誤不明領域が生じる動画像圧縮符号
    の復号方法において、復号不能領域と正誤不明領域との領域境界から正誤不明
    領域側へ、正誤不明領域の少なくとも一部からなる破棄
    範囲内の符号系列を復号して得た 復号画像情報を破棄す
    ることを特徴とする動画像圧縮符号の復号方法。
  2. 【請求項2】 請求項1に記載の動画像圧縮符号の復号
    方法において、復号不能領域と正誤不明領域との 領域境界が伝送路で生
    じた誤りの検出位置であり、誤り検出位置から、誤り検
    出位置前の符号系列領域である正誤不明領域側へ、正誤
    不明領域の少なくとも一部からなる破棄範囲内の符号系
    列を復号して得た復号画像情報を破棄することを特徴と
    する動画像圧縮符号の復号方法。
  3. 【請求項3】 動画像圧縮符号の誤りに対して可変長符
    号を用いた自己同期回復機能を利用する請求項1に記載
    の動画像圧縮符号の復号方法において、復号不能領域と正誤不明領域との 領域境界は自己同期回
    復位置であり、自己同期回復位置以降の符号系列領域で
    ある正誤不明領域についての復号画像情報のうち、自己
    同期回復位置から正誤不明領域側へ、正誤不明領域の少
    なくとも一部からなる破棄範囲内の符号系列を復号して
    得た復号画像情報を破棄することを特徴とする動画像圧
    縮符号の復号方法。
  4. 【請求項4】 1種類以上の符号化モードで画像領域を
    符号化して形成された動画像圧縮符号を復号する請求項
    1〜3のいずれかに記載の動画像圧縮符号の復号方法に
    おいて、 上記破棄範囲が、各符号化モード毎に定められているこ
    とを特徴とする動画像圧縮符号の復号方法。
  5. 【請求項5】 請求項1〜4のいずれかに記載の動画像
    圧縮符号の復号方法において、上記破棄範囲は画像領域の個数で定められ、 各画像領域
    の符号系列が伝送されてきた順序に基づき、上記領域境
    界から正誤不明領域側への、所定個数の画像領域の符号
    系列に対する復号画像情報を破棄することを特徴とする
    動画像圧縮符号の復号方法。
  6. 【請求項6】 請求項1〜4のいずれかに記載の動画像
    圧縮符号の復号方法において、上記破棄範囲は上記領域境界からの符号長で定められて
    おり、上記領域境界から正誤不明領域側への所定符号長
    に一部でもその符号系列が属する画像領域の復号画像情
    報を破棄する ことを特徴とする動画像圧縮符号の復号方
    法。
  7. 【請求項7】 動画像圧縮符号を正しく復号できないこ
    とが明かである復号不能領域を含む符号系列中で、復号
    することはできるが正しく復号できたか誤って復号した
    かが明らかでない正誤不明領域が生じる動画像圧縮符号
    の復号装置において、復号不能領域と正誤不明領域との 領域境界を特定する領
    域境界特定手段と、復号不能領域と正誤不明領域との領域境界から正誤不明
    領域側へ、正誤不明領域の少なくとも一部を復号画像情
    報の 破棄範囲として決定する破棄範囲決定手段と、破棄範囲内の符号系列を復号して得た 復号画像情報を破
    棄する復号画像破棄手段とを有することを特徴とする動
    画像圧縮符号の復号装置。
  8. 【請求項8】 請求項7に記載の動画像圧縮符号の復号
    装置において、 上記領域境界特定手段が、伝送路で生じた誤りの検出位
    置を、復号不能領域と正誤不明領域との領域境界として
    特定し、上記破棄範囲決定手段が、誤り検出位置から、
    誤り検出位置前の符号系列領域である正誤不明領域側
    へ、正誤不明領域の少なくとも一部からなる領域を破棄
    範囲と決定することを特徴とする動画像圧縮符号の復号
    装置。
  9. 【請求項9】 動画像圧縮符号の誤りに対して可変長符
    号を用いた自己同期回復機能を利用する請求項7に記載
    の動画像圧縮符号の復号装置において、 上記領域境界特定手段が、自己同期回復位置を、復号不
    能領域と正誤不明領域 との領域境界として特定し、上記
    破棄範囲決定手段が、自己同期回復位置以降の符号系列
    領域である正誤不明領域側へ、正誤不明領域の少なくと
    も一部からなる領域を破棄範囲と決定することを特徴と
    する動画像圧縮符号の復号装置。
  10. 【請求項10】 1種類以上の符号化モードで画像領域
    を符号化して形成された動画像圧縮符号を復号する請求
    項7〜9のいずれかに記載の動画像圧縮符号の復号装置
    において、 上記破棄範囲決定手段が、上記復号画像破棄手段が破棄
    処理する上記破棄範囲として、各符号化モード毎に決定
    することを特徴とする動画像圧縮符号の復号装置。
  11. 【請求項11】 請求項7〜10のいずれかに記載の動
    画像圧縮符号の復号装置において、 上記破棄範囲決定手段が、上記破棄範囲を画像領域の個
    数で定めるものであり、各画像領域の符号系列が伝送さ
    れてきた順序に基づき、上記領域境界から正誤不明領域
    側への、所定個数の画像領域を破棄範囲に決定すること
    を特徴とする動画像圧縮符号の復号装置。
  12. 【請求項12】 請求項7〜10のいずれかに記載の動
    画像圧縮符号の復号装置において、 上記破棄範囲決定手段が、上記破棄範囲を上記領域境界
    からの符号長で決定するものであり、上記領域境界から
    正誤不明領域側への所定符号長に一部でもその符号系列
    が属する画像領域の復号画像情報を破棄するものと決定
    することを特徴とする動画像圧縮符号の復号装置
JP6439897A 1997-03-18 1997-03-18 動画像圧縮符号の復号方法及び復号装置 Expired - Fee Related JP3053781B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP6439897A JP3053781B2 (ja) 1997-03-18 1997-03-18 動画像圧縮符号の復号方法及び復号装置
KR10-1998-0007960A KR100370933B1 (ko) 1997-03-18 1998-03-10 동화상압축부호의복호방법및복호장치
US09/038,136 US6658153B1 (en) 1997-03-18 1998-03-11 Method and decoder for decoding compressed moving-picture data
CNB981057152A CN1136729C (zh) 1997-03-18 1998-03-17 解码压缩运动图象数据的方法及解码器
EP19980104825 EP0866623B1 (en) 1997-03-18 1998-03-17 Method and apparatus for decoding compressed moving-picture data
DE1998634681 DE69834681T2 (de) 1997-03-18 1998-03-17 Verfahren und Vorrichtung zur Dekodierung komprimierter Bewegtbilddaten

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6439897A JP3053781B2 (ja) 1997-03-18 1997-03-18 動画像圧縮符号の復号方法及び復号装置

Publications (2)

Publication Number Publication Date
JPH10262243A JPH10262243A (ja) 1998-09-29
JP3053781B2 true JP3053781B2 (ja) 2000-06-19

Family

ID=13257182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6439897A Expired - Fee Related JP3053781B2 (ja) 1997-03-18 1997-03-18 動画像圧縮符号の復号方法及び復号装置

Country Status (6)

Country Link
US (1) US6658153B1 (ja)
EP (1) EP0866623B1 (ja)
JP (1) JP3053781B2 (ja)
KR (1) KR100370933B1 (ja)
CN (1) CN1136729C (ja)
DE (1) DE69834681T2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6996623B1 (en) * 1999-09-08 2006-02-07 Matsushita Electric Industrial Co., Ltd. Reception display apparatus and method for displaying screen partially with certain timing even when all data for the screen has not been received, and computer-readable record medium recording such reception display program
US7224840B2 (en) * 2000-10-26 2007-05-29 International Business Machines Corporation Method, system, and program for error recovery while decoding compressed data
TW533738B (en) * 2000-10-31 2003-05-21 Matsushita Electric Ind Co Ltd Received information record/regenerate method and received information record/regenerate device
US20030118102A1 (en) * 2000-11-10 2003-06-26 Weiping Li Encoding and decoding of truncated scalable bitstreams
KR100372525B1 (ko) * 2000-11-13 2003-02-19 (주)아이디스 네트워크상에서 음성 및 영상 데이터 전송 장치 및 그 방법
CN1167271C (zh) * 2001-01-10 2004-09-15 华为技术有限公司 压缩编码图像传输中的误码处理方法
US6728318B2 (en) * 2001-03-02 2004-04-27 Redrock Semiconductor, Ltd. Error recovery of corrupted MPEG-4 bitstreams using fuzzy decoding of start codes and resync markers
US6778610B2 (en) * 2001-03-02 2004-08-17 Redrock Semiconductor, Ltd. Simultaneous search for different resync-marker patterns to recover from corrupted MPEG-4 bitstreams
ES2733117T3 (es) * 2001-08-31 2019-11-27 Panasonic Ip Corp America Procedimiento de descodificación de imágenes y dispositivo de descodificación
JP2006060813A (ja) * 2004-08-20 2006-03-02 Polycom Inc ビデオデコーダにおける誤り隠蔽
US20060045190A1 (en) * 2004-09-02 2006-03-02 Sharp Laboratories Of America, Inc. Low-complexity error concealment for real-time video decoder
KR100678050B1 (ko) * 2004-10-27 2007-02-02 삼성전자주식회사 이동 통신 시스템에서 영상 데이터를 송수신하기 위한장치 및 방법
JP2011010091A (ja) * 2009-06-26 2011-01-13 Toshiba Corp 出力情報制御装置および出力情報制御方法
US8819525B1 (en) 2012-06-14 2014-08-26 Google Inc. Error concealment guided robustness

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5253053A (en) * 1990-12-31 1993-10-12 Apple Computer, Inc. Variable length decoding using lookup tables
US5455629A (en) * 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
US5168356A (en) 1991-02-27 1992-12-01 General Electric Company Apparatus for segmenting encoded video signal for transmission
DE69228641T2 (de) * 1991-04-10 1999-10-07 Mitsubishi Electric Corp Kodierer und dekodierer
US5428396A (en) * 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
JPH064326A (ja) 1992-06-18 1994-01-14 Sanyo Electric Co Ltd エラー訂正装置
US5565921A (en) * 1993-03-16 1996-10-15 Olympus Optical Co., Ltd. Motion-adaptive image signal processing system
JP3153390B2 (ja) 1993-07-02 2001-04-09 沖電気工業株式会社 動画像復号化装置
US5617333A (en) * 1993-11-29 1997-04-01 Kokusai Electric Co., Ltd. Method and apparatus for transmission of image data
JP2935956B2 (ja) 1994-06-29 1999-08-16 沖電気工業株式会社 動画像復号化装置
JP3164971B2 (ja) * 1994-07-15 2001-05-14 日本電気株式会社 画像再生装置
JPH08154247A (ja) 1994-09-29 1996-06-11 Sanyo Electric Co Ltd 圧縮画像データ処理装置及び方法
JP3474005B2 (ja) * 1994-10-13 2003-12-08 沖電気工業株式会社 動画像符号化方法及び動画像復号方法
US5809173A (en) * 1995-04-18 1998-09-15 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression using previous frame DCT coefficients
US5784494A (en) * 1995-04-18 1998-07-21 Advanced Micro Devices, Inc. Method and apparatus for prestoring dequantization information for DCT VLC decoding
US5818967A (en) * 1995-06-12 1998-10-06 S3, Incorporated Video decoder engine
JP3630474B2 (ja) * 1995-07-14 2005-03-16 沖電気工業株式会社 動画像伝送システム及び動画像伝送装置
JP3157101B2 (ja) * 1996-03-08 2001-04-16 沖電気工業株式会社 画像符号化方法及び画像符号化装置
US5847776A (en) * 1996-06-24 1998-12-08 Vdonet Corporation Ltd. Method for entropy constrained motion estimation and coding of motion vectors with increased search range
US5831690A (en) * 1996-12-06 1998-11-03 Rca Thomson Licensing Corporation Apparatus for formatting a packetized digital datastream suitable for conveying television information
US5910827A (en) * 1997-02-26 1999-06-08 Kwan; Katherine W. Video signal decoding arrangement and method for improved error concealment
US5956429A (en) * 1997-07-31 1999-09-21 Sony Corporation Image data compression and decompression using both a fixed length code field and a variable length code field to allow partial reconstruction

Also Published As

Publication number Publication date
EP0866623A3 (en) 2001-02-07
CN1196640A (zh) 1998-10-21
DE69834681D1 (de) 2006-07-06
KR100370933B1 (ko) 2003-04-21
JPH10262243A (ja) 1998-09-29
EP0866623A2 (en) 1998-09-23
EP0866623B1 (en) 2006-05-31
CN1136729C (zh) 2004-01-28
DE69834681T2 (de) 2007-05-31
KR19980080089A (ko) 1998-11-25
US6658153B1 (en) 2003-12-02

Similar Documents

Publication Publication Date Title
JP3630474B2 (ja) 動画像伝送システム及び動画像伝送装置
JP3474005B2 (ja) 動画像符号化方法及び動画像復号方法
EP1542475B1 (en) Video coding
EP0861001B1 (en) Error resilient video encoding
US7443320B2 (en) Decoding method and encoding method
JP3884172B2 (ja) 可変長復号化装置および復号化方法
US5778191A (en) Method and device for error control of a macroblock-based video compression technique
JP3053781B2 (ja) 動画像圧縮符号の復号方法及び復号装置
JP2000102018A (ja) 動画像復号方法及び装置
KR20050074812A (ko) 전송 에러가 발생한 지점을 탐지하여 바르게 디코딩된데이터를 복원하는 디코딩 방법 및 그 디코딩 장치
EP1040646A2 (en) System for detecting redundant images in a video sequence
KR20050079418A (ko) 에러의 전파를 방지하고 병렬 처리가 가능한 디코딩 방법및 그 디코딩 장치
US6356661B1 (en) Method and device for robust decoding of header information in macroblock-based compressed video data
JP2002027483A (ja) 画像符号化装置、画像復号化装置および記憶媒体
KR100585710B1 (ko) 가변길이 동영상 부호화 방법
JPH10145789A (ja) 動画像符号化方法及び動画像復号方法
US20040013200A1 (en) Advanced method of coding and decoding motion vector and apparatus therefor
JP2887177B2 (ja) 動画像圧縮符号の復号方法及び復号装置
JPH0738888A (ja) 動画像復号化装置
JP3804796B2 (ja) 動画像符号化方法及び動画像復号方法
JP2002290742A (ja) 画像エラーストリーム補正方法及び復号化装置
KR100312418B1 (ko) 동영상부호화장치에서인트라모드부호화선택방법
JPH0951541A (ja) 動画像通信方法
JPH0937244A (ja) 動画像データ誤り検出装置
JPH0951540A (ja) 動画像通信方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080407

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090407

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100407

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110407

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110407

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130407

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees