JPH0818980A - 動画像復号化装置 - Google Patents
動画像復号化装置Info
- Publication number
- JPH0818980A JPH0818980A JP14726694A JP14726694A JPH0818980A JP H0818980 A JPH0818980 A JP H0818980A JP 14726694 A JP14726694 A JP 14726694A JP 14726694 A JP14726694 A JP 14726694A JP H0818980 A JPH0818980 A JP H0818980A
- Authority
- JP
- Japan
- Prior art keywords
- error
- image
- data
- unit
- start code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Error Detection And Correction (AREA)
Abstract
を防止する。 【構成】 多重化分離部21は、回線インタフェース部
20を介して入力された伝送データを画像データと音声
データに分離して、画像データをバッファ部22に記憶
する。シフタ部23は、シフト信号にしたがって画像デ
ータをシフトし、スタートコードマッチング部24は、
シフトされた画像データとスタートコードをマッチング
し、スタートコードマッチング信号を出力する。エラー
検出部27は、マッチング信号と予測信号とを比較し
て、エラーかどうかを判別し、エラーであれば、エラー
信号をエラー区間推定部28に出力する。エラー区間推
定部28は、GOBナンバによりエラー区間を推定し、
該エラー区間をメモリ制御部31に出力する。メモリ制
御部31は、エラー区間が入力されると、置換データ発
生部32により発生した置換データで画像メモリ30の
復号化画像データを置換するように制御する。
Description
テム等に用いられる動画像復号化装置に関するものであ
る。
例えば、次のような文献に記載されるものがあった。 文献1;テレビジョン学会誌、45[7](199
1),P16−18 文献2;特開平4−53379号公報 文献3;特開平4−150653号公報 図2は、前記文献1に記載されたCCITT(国際電信
電話諮問委員会)勧告・H.261で規定された符号
化、復号化方式に則った動画像符号化・復号化装置の構
成図である。この動画像符号化・復号化装置は、情報源
符号器1、ビデオ多重符号化部2、送信バッファ3、符
号化制御部4、伝送路符号器5、伝送路復号器6、受信
バッファ部7、ビデオ多重復号化部8、及び情報源復号
器9を有している。図3は、図2中の情報源符号器1の
構成図である。図に示すように、この情報源符号器1
は、変換器(DCT部)T、量子化器Q、等を備えてい
る。pは伝送/非伝送識別フラグ、qzは量子化特性指
定、qは変換係数の量子化インディクス、vは動きベク
トル、fはループ内フィルタのON/OFF信号であ
る。図4は、図2中の情報源復号器9の構成図である。
図に示すように、この情報源復号器9は、逆量子化器Q
-1、逆変換器(IDCT部)T-1等を備えている。符号
化方式は、図2に示すように、基本的には、動き補償フ
レーム間予測された差分信号をDCT(Discrete Cosin
e Transform)符号化し、これを可変長符号化するもので
ある。符号化モードの単位は、8×8画素の輝度信号ブ
ロック4個と、同じく8×8画素の2個の色差信号ブロ
ックである(以下、これをマクロブロック(MB)と呼
ぶ)。単位ブロックを比較的に大きくしたのは、低レー
ト符号化における画素あたりサイド情報(符号化モー
ド、ブロックアドレス、動きベクトルなど)量を減らす
ためである。1画像フレームは、例えば、12個のGO
B(Group Of Block) から構成され、1GOBは、33
個のMBから構成される。図5は、画像フレームの多重
化構成を示す図である。図に示すように、画像フレーム
は、ピクチャレイヤ、GOBレイヤ、MBレイヤ、ブロ
ックレイヤと階層化された多重化構成となっている。
イヤの構成図である。図に示すように、マクロブロック
レイヤはアドレス、符号化タイプ等で構成されている。
動き補償は、MBを単位として行われ、その範囲は、縦
横共±15画素/フレームで、精度は、整数画素であ
る。動き補償は、ON/OFF可能であり、動きベクト
ル伝送のオーバヘッドを考慮して、予測誤差電力の減少
率により選択される。また、動きベクトルは、前ブロッ
クとの差分値を可変長符号化して伝送することにより、
情報量を削減している。動きベクトルの範囲は、±15
画素に制限されているため、1つの符号語で2値を表す
ことができる。図6は、ループ内フィルタの特性の一例
を示す図である。動き補償予測は、一般に、画像の低域
成分に関して有効であるから、予測値にローパス特性を
有する図6のループ内フィルタを適用することにより、
予測効率を向上させることができる。ただし、比較的高
い符号化レートにおけるカメラのパニングのような単純
な動きに対しては、動き補償予測の精度が高いためフィ
ルタをかけない方が効率が高い。このため、ループ内フ
ィルタもON/OFF可能となっている。また、シーン
チェンジ等の場合に有効なフレーム内モード(入力ビデ
オ信号がそのままDCT符号化される)も用意されてい
る。フレーム間予測を用いる場合、DCT係数には小さ
な値が多く含まれる。このため、DCT係数はジグザグ
にスキャンされて量子化された後、連続したゼロの数
(ラン)と、それに続くゼロ以外の値(レベル)の組み
合わせとして符号化される。このうち発生頻度の高い組
み合わせは、可変長符号で伝送される。また、ブロック
の最後のゼロランは伝送されない。量子化は、基本的に
線形であり、フレーム内符号化の直流成分を除くすべて
のDCT係数に、同一の量子化器が適用される。符号レ
ートを制御するため、量子化器は、31種類用意されて
いる。量子化の結果、有意係数を持たないブロックは、
無効ブロックとなる。6ブロック全てが無効のMBの情
報は伝送せず、次の有意なMBの先頭に、1つ前の有効
MBからの距離を示すアドレスを付加して表現する。
化され、ビット量を削減された後、ビデオマルチプレッ
クスで多重される。これは、画像フレームに対応する構
造を持ち、受信側では、これを順番に解読する。伝送ビ
ット誤りがあると、可変長符号となっているため、それ
以後のデータは、誤りながら解読され、意味のないデー
タを再生し、画像を再生できなくなってしまう。このた
め、GOB単位にユニークワードであるスタートコード
を挿入し、誤りの伝搬を防いでいる。ディジタル伝送路
では、通常、最悪値で10-6程度の伝送ビット誤りが、
ほぼランダムに発生する。このため、誤り訂正符号を用
いて、ビット誤り率を低減させている。ここで、誤り訂
正符号を用いても訂正できなかった場合は、やはり正し
く画像を再生できなくなり、乱れてしまう。基本的にフ
レーム間の符号化となっているため、一度画像が乱れる
と、フレーム内符号化モードで符号化されたブロックが
送られるまで、そのブロックの画像は乱れたままとな
る。そこで、従来、この画像の乱れを防ぐためにいくつ
かの動画像復号化装置が提案されている。前記文献2に
は、誤り訂正・検出回路を設けて誤り符号の訂正・検出
をし、誤りの訂正できなかった部分のデータは使用せず
に、前後の正しい復号化フレームから、その画像情報を
内挿し、画像の乱れを低減する動画像復号化装置が提案
されている。前記文献3には、ビデオ信号の中の水平/
垂直同期信号を検出し、同期信号が検出されなければ、
誤りが発生したと判断し、その誤ったフレームを表示せ
ず、その代わりにエラーが発生した旨を表示する動画像
復号化装置が提案されている。また、動画像復号化装置
では、コストを抑えるために誤り訂正符号を用いない方
法が認められている。つまり、誤り訂正・検出回路を設
けないで、単純にその符号を削除して復号化するもので
ある。このような場合は、GOB単位に存在するスター
トコードを検出し、正しい位置に挿入されているかを調
べることにより誤りがあったかどうかを推定し、同じく
その部分のデータは、使用せず前後の復号画像から内挿
する方法が考えられる。
動画像復号化装置においては、次のような課題があっ
た。従来、誤りによって再生できなかった部分の画像を
前に正しく復号された画像データで置き換え、または前
後の復号画像から内挿しているためその部分の画像とそ
れ以外の部分では時間的にずれた画像となってしまい問
題であった。しかも、フレーム間の符号化であるから次
にその画像が参照画像となって復号化が続けられ次のフ
レームが生成されるため動きのある部分は画像が歪んで
見えたり、二重に見えたりし非常に見ずらいし、特に顔
画像の場合などは不快感を与えるという欠点を有してい
る。しかも、前記文献2では、誤り訂正回路を設けてい
るので、それだけ動画像復号化装置が複雑になるという
問題もあった。また、前記文献3は、同期信号によりエ
ラーを検出し、エラーがあればフレーム全体が別の画像
に置き換えるので、とりわけTV会議等では使用に耐え
られないという問題があった。
を解決するために、動画像をフレーム間の差分をとり、
この差分を可変長符号により圧縮されたデータを含む画
像情報を復号化する復号化手段と、前記復号化手段によ
り復号された復号化画像データを記憶する画像メモリ
と、前記画像メモリを制御するメモリ制御手段とを、備
えた動画像復号化装置において、以下の手段を設けてい
る。すなわち、画像情報に挿入されるスタートコードに
マッチングするデータを前記画像情報から検出するスタ
ートコードマッチング手段と、前記スタートコードマッ
チング手段の検出結果と前記画像情報の並びから予測さ
れるスタートコードの検出位置とに基づいて前記画像情
報のエラーを検出するエラー検出手段と、前記エラー検
出手段によりエラーが検出された時、エラーのある画像
情報の区間を推定するエラー区間推定手段と、前記エラ
ー検出手段によりエラーが検出された時、置換データを
発生する置換データ発生手段とを設けている。さらに、
前記メモリ制御手段は、前記エラー区間推定手段により
エラーと推定された区間の画像情報の復号化画像データ
を前記置換データで置換するように前記画像メモリ及び
前記置換データ発生手段を制御するようにしている。第
2の発明は、第1の発明と同様の手段を設け、メモリ制
御手段は、エラー検出手段によりエラーが検出されてか
ら少なくとも1度以上自信のフレームのみより符号化さ
れた画像情報を復号化するまでは前記エラー区間推定手
段によりエラーと推定された区間と同じ区間の復号化画
像データを前記置換データで置換するように前記画像メ
モリ及び置換データ発生手段を制御するようにしてい
る。
化装置を構成したので、スタートコードマッチング手段
により、画像情報に挿入されるスタートコードにマッチ
ングするデータを前記画像情報から検出し、エラー検出
手段により、前記スタートコードマッチング手段の検出
結果と前記画像情報の並びから予測されるスタートコー
ドの検出位置とに基づいて、画像情報にエラーがあるこ
とを検出する。このエラーが検出された時、エラー区間
推定手段により、エラーのある区間を推定する。たとえ
ば、エラーのあるスタートのコードが検出されたGOB
の一つ前の番号がエラーのある画像情報の区間として推
定する。置換データ発生手段は、エラー検出手段により
エラーが検出された時、置換データを発生し、メモリ制
御手段は、エラー区間推定手段によりエラーと推定され
た区間の画像情報の復号化画像データを置換データで置
換するように画像メモリ及び置換データ発生手段を制御
する。第2の発明によれば、メモリ制御手段は、エラー
検出手段によりエラーが検出されてから少なくとも1度
以上自信のフレームのみより符号化された画像情報を復
号化するまではエラー区間推定手段によりエラーと推定
された区間と同じアドレス区間の復号化画像データを置
換データで置換する。従って、前記課題を解決できるの
である。
の構成図である。この動画像復号化装置は、回線インタ
フェース部20、多重化分離部21、バッファ部22、
シフタ部23、スタートコードマッチング部24、及び
可変長符号マッチング部25を有している。さらに、動
画像復号化装置は、シーケンス制御部26、エラー検出
部27、エラー区間推定部28、復号化部29、画像メ
モリ30、メモリ制御部31、置換データ発生部32、
及び表示部33を有している。回線インタフェース部2
0は、電話回線等に接続され、フレーム間差分の可変長
復号化による圧縮を含む画像情報、及び音声情報の伝送
データS19を入力し、そのデータS20を多重化分離
部21に出力する手段である。多重化分離部21は、デ
ータS20を画像データS21aと音声データS21b
とに分離し、画像データ21aは、バッファ部22に出
力し、音声データS21bは、図示しない音声再生器に
出力する手段である。バッファ部22は、画像データS
21aを一時的に記憶する手段であり、シフタ部23
は、バッファ部22に記憶された画像データS22を読
み出して、シーケンス制御部26により指示されるシフ
ト信号S26cにしたがってシフトし、シフトした画像
データS23をスタートコードマッチング部24、及び
可変長マッチング部25に出力する手段である。スター
トコードマッチング部24は、画像データS23とスタ
ートコードをマッチングし、スタートコードマッチング
信号24をエラー検出部27、及びメモリ制御部31に
出力するスタートコードマッチング手段である。可変長
符号マッング部25は、シーケンス制御部26により指
定されるテーブル切換信号S26にしたがい、画像デー
タ、量子化ステップサイズ、フレーム間/内モード切換
信号、フィルタON/OFF信号を含む出力信号S25
aを復号化部29に出力し、マクロブロック位置、GO
Bナンバ信号、動きベクトル信号を含む出力信号S25
bをメモリ制御部31に出力し、GOBナンバの出力信
号S25cをエラー区間推定部28に出力し、符号語長
信号S25dをシーケンス制御部26に出力する手段で
ある。
チング信号S24とシーケンス制御部26からのスター
トコード予測信号S26aとに基づいて、リセット信号
S27aをシーケンス制御部26に出力し、エラー信号
S27bをエラー区間推定部28に出力するエラー検出
手段である。エラー区間推定部28は、エラーのGOB
ナンバ信号S28をメモリ制御部31に出力するエラー
区間推定手段である。復号化部29は、可変長マッチン
グ部25からの画像データ、量子化ステップサイズ、フ
レーム間/内モード切換信号、フィルタON/OFF信
号を含む出力信号S25a及び画像メモリ30からの前
画面データS30bを入力して、復号画像データS29
を画像メモリ30に出力する復号化手段である。メモリ
制御部31は、可変長符号マッチング部25からのマク
ロブロック位置、GOBナンバ、動きベクトル信号を含
む出力信号S25b、及びエラー区間推定部28からの
エラー区間推定信号S28を入力して、メモリ制御信号
S31aを画像メモリ30に出力し、起動信号S31b
を置換データ発生部32に出力するメモリ制御手段であ
る。置換データ発生部32は、メモリ制御部31からの
起動信号S31bを入力し、置換データS32を発生
し、この置換データS32を画像メモリ30に出力する
置換データ発生手段である。画像メモリ30は、メモリ
制御部31からのメモリ制御信号S31aに基づいて、
復号化部29からの復号画像データS29、置換データ
発生部32からの置換データS32を記憶するととも
に、再生画像データS30aを表示部33に出力し、前
復号画像S30bを復号化部29に出力する手段であ
る。表示部33は、再生画像S30aを画面に表示する
手段である。次に、図1の動画像復号化装置の動作を説
明する。回線からの伝送データS19は、回線インター
フェース部20に入力される。回線インターフェース部
20は、伝送されたデータS20を多重化分離部21に
出力する。多重化分離部21は、入力されたデータS2
0を画像データS21aと音声データS21bに分離
し、画像データS21aをバッファ22に出力し、音声
データS21bを図示しない音声出力部に出力する。バ
ッファ部22は、画像データS21aを蓄積し、回線側
のデータタイミングと、復号化側のデータタイミングの
ズレを吸収する。
の頭を示すピクチャスタートコードを検出するために、
シフト信号S26cを発生してシフタ部23に出力す
る。シフタ部23は、シーケンス制御部26からのシフ
ト信号S26cによって、伝送されたビット列の順番で
バッファ部22から1ビットずつデータS22を読み出
し、シフタ部23内のシフトレジスタに格納していく。
シフトレジスタ上に並べられたデータは、並べたデータ
分のビット幅のデータが、スタートコードマッチング部
24、及び可変長符号マッチング部25に出力する。そ
れぞれのマッチング部24、25でマッチングをとるた
めには、シフタ部23のシフトレジスタに並べられるビ
ット数は、最低でも符号化で用いられる最長語長のビッ
ト数が必要となる。バッファ部22から読み出された出
力データS22は、シフタ部23内を順番にシフトさ
れ、1つシフトしたら次の1ビットが読み出されシフタ
部23に入力されるという動作を行う。このシフトはシ
ーケス制御部26のシフト信号S26cによって行われ
る。スタートコードマッチング部24は、シフタ部23
により出力されたデータS23がピクチャスタートコー
ドであるかを判別する。マッチングがとれない場合は、
その旨を通知する信号S27aが、エラー検出部27よ
りシーケンス制御部26に入力され、再度、シフト信号
S26cがシーケンス制御部26により発生され、シフ
タ部23に出力される。マッチングがとれた場合は、ス
タートコードマッチング部24は、その旨通知するピク
チャスタートコードマッチング信号S24をエラー検出
部27に出力する。エラー検出部27は、ピクチャのリ
セット信号S27aをシーケンス制御部27に出力す
る。シーケンス制御部27は、このリセット信号S27
aによって、次のシーケンスに移り、ピクチャスタート
コードに続くヘッダ情報を可変長符号マッチング部25
で比較するために、ヘッダ情報のテーブル切換信号S2
6bを可変長符号マッチング部25に出力する。解読す
るシーケンスは予めわかっており、そのフレームのヘッ
ダ情報の後にGOBスタートコードが続くので、シーケ
ンス制御部26は、GOBスタートコード予測信号S2
6aをエラー検出部27に出力する。エラー検出部27
は、スタートコードマッチング部24からの出力信号S
24とGOBスタートコードとを比較し、一致しない時
にピクチャのリセット信号S27aをシーケンス制御部
26に出力する。シーケンス制御部26は、リセット信
号27aが入力されなければ、GOBヘッダ情報の中で
次の情報を解読する制御を行う。
ドに続いて、GOBナンバ4ビット、量子化ステップサ
イズ5ビット…が続く。このため、シーケンス制御部2
6は、GOBスタートコードを検出した後、そのコード
のビット数分をシフタ信号S26cとして出力し、シフ
タ部23にシフトするように指示する。シフタ部23
は、指定されたビット数分シフトを行い、次の4ビット
を可変長符号マッチング部25を経由して、メモリ制御
部31、及びエラー区間推定部28に出力する。次に、
シーケンス制御部26は、このGOBナンバ4ビットを
シフトするようにシフト信号S26cをシフタ部23に
出力する。シフタ23は、次の5ビットを量子化ステッ
プサイズとして可変長符号マッチング部25を経由し
て、復号化部29に出力する。さらに、拡張用データが
挿入される場合があるが、ここでは省略する。GOBの
ヘッダ情報の解読が終わると、マクロブロックの情報の
解読を行う。マクロブロックの情報は、ほどんどが可変
長符号となっており、しかも、不必要なデータは、伝送
されないようになっている。そのため、どのデータが伝
送されているかを示す情報とブロックの終了を示す情報
が含まれている。図7はマクロブロックの情報を示す図
である。図に示すように、マクロブロックの情報は、マ
クロブロックアドレス、タイプ情報、量子化ステップサ
イズ、動きベクトル情報、有意ブロックパターン、ブロ
ックデータという順番で伝送される。マクロブロックア
ドレスは、そのGOB内のどの位置のマクロブロックの
情報であるかを示し、タイプ情報は、動き補償有り/無
し、フレーム間/内符号化モード、フィルタON/OF
F、さらにその後に続く量子化ステップサイズ等のデー
タのどれが含まれているかを示すものである。有意ブロ
ックパターンは、さらに、細分化されたブロックのどの
ブロックの画像データが伝送されているかを示すもので
ある。このマクロブロック情報の解読は、まず、シーケ
ンス制御部26がマクロブロックアドレステーブルに切
り換えるテーブル切換信号S26bを可変長符号マッチ
ング部25に出力することによって始められる。
ブル内でマッチングのとれた符号に対応する値のアドレ
ス値S25bをメモリ制御部31に出力する。さらに、
マッチングのとれた符号語長信号S25dをシーケンス
制御部26に出力する。シーケンス制御部26は、符号
語長信号S25dを受けて、その語長ビット数のシフト
信号S26cを発生し、シフタ部23でデータがシフト
される。次に、シーケンス制御部26は、タイプ情報の
解読を行う。シーケンス制御信号26は、タイプ情報用
のテーブルに切り換えるためテーブル切換信号S26b
を可変長符号マッチング部25に出力する。可変長符号
マッチング部25は、タイプ情報用のテーブルの中から
マッチングする符号を選び、その符号を解読する。も
し、この符号の解読結果が、フレーム間符号化モード、
動き情報有り、フィルタONであれば、さらにその符号
の後に続くデータの解読を行う。そして、そのデータが
動きベクトル情報、有意ブロックパターン、ブロックデ
ータである場合には、フレーム符号化、フィルタONの
出力信号S25aを復号化部29に出力し、動き補償有
りの出力信号S25bをメモリ制御部31に出力し、そ
のデータの各タイプをシーケンス制御部26に出力す
る。シーケンス制御部26は、データのタイプに応じ
て、シフト信号S26c、テーブル切換信号S26bを
シフタ部23、可変長符号マッチング部25に出力す
る。可変長符号マッチング部25は、次々に各テーブル
とデータとのマッチングを行い、解読結果に応じて、そ
れぞれのデータを復号化部29、メモリ制御部31、エ
ラー区間推定部28に出力する。ブロックデータの終り
は、必ずブロック終了符号で終わっているので、可変長
符号マッチング部25は、その符号を検出した時には、
シーケンス制御部26にその旨S25dを通知する。ブ
ロック終了符号には、マクロブロックアドレスか、ある
いはスキップされて次のGOBスタートコードが続くと
推定できるので、シーケンス制御部26は、そのブロッ
ク終了符号ビット分シフトするように指示するシフト信
号S26cをシフタに出力するともに、GOBスタート
コード予測信号S26aをエラー検出部27に出力す
る。
ス制御部26は、エラー検出部27からGOBのリセッ
ト信号S27aが与えられ、GOBのシーケンスに移
り、GOBスタートコードでなければ、GOBのリセッ
ト信号が与えられないので、マクロブロックアドレスと
してマクロブロックのシーケンス制御を行う。このよう
にして解読が続けられる。メモリ制御部31は、可変長
符号マッチング部25、スタートコードマッチング部2
4から与えられるGOBナンバ、マクロブロックアドレ
ス、動きベクトル、スタート信号から画像メモリ30内
に記憶された前画面及び現画面のアドレスを計算して、
前画面のマクロブロックの画像データを復号化部29に
与え、出力の復号化画像を現画像として、画像メモリ3
0内に格納するように制御を行う。復号化部29は、可
変長マッチング部25からの符号化モード信号、フィル
タON/OFF、量子化ステップサイズ、及び復号化前
の画像データを受け取り、逆量子化、逆DCT、フィル
タ処理、及び前画面との加算等を行い、復号化した画像
データを画像メモリに出力する。表示部33は、画像メ
モリ30に記憶された画像データの表示を行う。このよ
うにして、動画像の復号化が行われる。ここで、もし伝
送されてきたデータにビットの誤りがあったとすると、
可変長符号マッチング部25のテーブルの異なった符号
がマッチングされることになる。可変長符号の場合、各
符号でその語長か異なるから、次の符号を解読するため
にシフト部23に出力するシフト信号S26cにより指
示されるシフト量も異なることになり、このため次の符
号に伝送ビット誤りがなくても、マッチング位置が異な
るため、誤った符号が解読され、以後この状態が続くこ
とになる。このため、復号化部29には、誤ったデータ
が入力され、復号画像が乱れることになる。
タ部23でデータのシフト中であっても、比較動作を続
けるようになっており、このスタートコードは必ず発見
できるようになっている。可変長符号マッチング部24
の解読が誤っているため、シーケンス制御部26からの
GOBスタートコード予測信号とスタートコードマッチ
ング部24からのGOBスタートコードマッチング信号
S24にずれが生じることになる。そこで、エラー検出
部27は、GOBスタートコード予測信号S26aが入
力されていないにもかかわらず、GOBスタートコード
マッチング信号S24を受け取った場合には、エラー信
号S27bをエラー区間推定部28に出力するととも
に、GOBのリセット信号S27aをシーケンス制御部
26に与え、そのシフタ部23内のデータの位置から解
読を開始するようにする。よって、このスタートコード
以後のデータは正しく解読できるようになる。エラー区
間推定部28は、このエラー信号S27bを入力した直
後に、正しく解読されたGOBナンバS25cを可変長
符号マッチング部25より受取り、前回受け取ったGO
Bナンバから、エラー区間を推定する。例えば、前回受
け取ったGOBナンバが「2」でエラー信号S27b直
後に受け取ったGOBナンバが「3」であった場合は、
GOBナンバ「2」の中のどこかにビット誤りがあり、
画像が乱れたことが分かる。しかし、どのデータから誤
り続けたかは不明なので、エラー区間推定部28は、そ
のGOB内のデータをすべて誤りとして、そのGOBナ
ンバ「2」を誤り推定区間S28としてメモリ制御部3
1に伝える。メモリ制御部31は、エラー区間推定部2
8からエラー区間を示すGOBナンバS28を指示され
ると、シーケンス制御部26に停止信号S31cを出力
し、シーケンス制御部26の動作を一旦停止させるとと
もに、その区間のデータが記憶された画像メモリのアド
レスを計算し、そのアドレスに対して書き込み可能にな
るように画像メモリ30を制御し、さらに置換データ発
生部32に起動信号S31bを出力することにより、現
在復号化を行っているフレームの画像メモリ30上のG
OBナンバ「2」の位置に置換データ発生部32が発生
した置換データS32を転送するように制御を行う。
1からの起動信号S31cに基づいて、エラーブロック
に置き換えるための置換データS32を発生し、この置
換データS32を画像メモリ30内のエラーブロックの
データが格納されている領域にその置換データS32を
転送する。これにより、誤りがあったと推定された区間
の復号化画像が置換データS32で置き換えられる。置
換データ発生部32の発生するデータは、好みの画像で
あっても良いし、また固定値であってもよい。一般的
に、画像データは輝度信号と2つの色差信号で表される
が、例えば各信号の範囲が0〜255の場合はそれぞれ
128の固定値で置換したとすると、エラー推定区間の
GOB「2」の領域は灰色の画像で置き換えられること
になる。置換動作が終了すると、メモリ制御部31は、
シーケンス制御部26に復号動作開始を命令する信号S
31cを出力することにより、それまで与えていた停止
信号を解除し、復号化を進める。このようにして完成さ
れたフレームの復号化画像データS30aは表示部33
へ転送されると共に、次のフレームの復号化画像データ
は参照画像として用いられる。次のフレームの復号化の
際に、エラー区間として扱われたGOB「2」の部分
は、例えば、灰色であったとすると伝送されてきた前フ
レームとの伝送されてきた前フレームとの差分画像とし
て加算して得られた再生画像は、くすんだ灰色がかった
画像となる。しかし、GOB「2」の部分のデータは、
エラー発生時に置換されており、エラー発生前に伝送さ
れてきたデータが残っていないのでためそれによって生
じる歪んで見えたり二重に見えたりすることがない。以
上のように、本第1の実施例では、エラー検出部27
と、エラー区間推定部28と、置換データ発生部32と
を設け、エラー検出部27によりエラーと判断された場
合、エラー区間推定部28からのエラー区間を示す信号
よりその部分の復号化データを予め用意した他のデータ
で置換するようにしたので、画像の歪みや二重に見える
ことが防止でき不快感を低減することができるという利
点がある。
の構成図であり、第1の実施例の動画像復号化装置を示
す図1中の要素と共通の要素には共通の符号が付されて
いる。本第2の実施例の動画像復号化装置が第1の実施
例の動画像復号化装置と異なる点は、メモリ制御部41
は、スタートコードマッチング部24からのスタートコ
ードハッチング信号S24、エラー区間推定部28から
のエラー信号S28に加えて、可変長符号マッチング2
5により出力されるフレーム間/内モード切換信号S2
5b−1に基づいて、置換データ発生部32に起動信号
S41bを与えるようにしたことである。以下、図を参
照しつつ動画像復号化装置の動作を説明する。第1の実
施例と同様に、エラー検出部27によりエラーが検出さ
れると、エラー区間推定部28にエラー信号27bが出
力される。エラー区間推定部28は、このエラー信号S
27bを入力した直後に、正しく解読されたGOBナン
バS25cを可変長符号マッチング部25より受取り、
前回受け取ったGOBナンバから、エラー区間を推定す
る。例えば、前回受け取ったGOBナンバが「2」でエ
ラー信号S27b直後に受け取ったGOBナンバが
「3」であった場合は、GOBナンバ「2」の中のどこ
かにビット誤りがあり、画像が乱れたことが分かる。し
かし、どのデータから誤り続けたかは不明なので、エラ
ー区間推定部28は、そのGOB内のデータをすべて誤
りとして、そのGOBナンバ「2」をメモリ制御部41
に伝える。メモリ制御部41は、エラー区間推定部28
からエラー区間を示すGOBナンバS28を指示される
と、シーケンス制御部26に停止信号S31cを出力
し、シーケンス制御部26の動作を一旦停止させるとと
もに、その区間のデータが記憶された画像メモリ30の
アドレスを計算し、そのアドレスに対して書き込み可能
になるように画像メモリ30を制御し、さらに置換デー
タ発生部32に起動信号S41bを出力することによ
り、現在復号化を行っているフレームの画像メモリ30
上のGOBナンバ「2」の位置に置換データ発生部32
が発生した置換データS32を転送するように制御を行
う。
1からの起動信号S41bに基づいて、エラーブロック
に置き換えるための置換データS32を発生し、この置
換データS32を画像メモリ30内のエラーブロックの
データが格納されている領域にその置換データS32を
転送する。これにより、誤りがあったと推定された区間
の復号化画像が置換データS32で置き換えられる。置
換動作が終了すると、メモリ制御部41は、シーケンス
制御部26に復号動作開始を命令する信号S31cを出
力することにより、それまで与えていた停止信号を解除
し、復号化を進める。このようにして完成されたフレー
ムの復号化画像データは表示部33へ転送されると共
に、次のフレームの復号化画像データは参照画像として
用いられる。ここで、フレーム間符号化では、前フレー
ムとの差分が符号化されるので符号化器と復号化器の逆
DCTなどの演算誤差が蓄積されてしまうので、それを
リフレッシュするためにそれぞれのマクロブロックに対
して一定間隔以内にフレーム自信の画像により画像を符
号化するフレーム内符号化モードで伝送するようになっ
ている。メモリ制御部41はエラー推定区間のGOBナ
ンバ「2」を記憶しており、次のフレームのGOBナン
バ「2」の領域の復号化時はそのマクロブロックのヘッ
ダにある符号化モードを示す符号により可変長符号マッ
チング部25が発生するフレーム間/内モード切換信号
S26b−1を参照し、フレーム内モードである場合の
み復号化部25からの復号化データで画像メモリ30の
データを更新し、エラー区間を示すマクロブロックの位
置のデータは、それ以後に続くフレームはフレーム間符
号化モードであっても置換データS32による更新を続
けるようにする。
と推定されたGOBの領域は、1度でもフレーム内符号
化モードで伝送されてきたマクロブロックの位置のみ通
常の復号化による画像メモリ30の更新が行われるが、
フレーム間符号化モードでしか伝送されていないマクロ
ブロックの位置は、置換データ発生部32の発生した置
換データS32のままとなる。このようなマクロブロッ
クの位置は少しの間マスクのかかった状態となるが定期
的に挿入されるフレーム内符号化により通常の状態に復
帰する。以上説明したように、本第2の実施例では、エ
ラー区間と推定されたGOBナンバ「2」の領域のデー
タは、エラー発生時に置換され、さらにフレーム内符号
化されたマクロブロックから復号化データによる画像メ
モリ30の更新が再開されるので、エラー発生前のデー
タが残って生じる歪みや二重に見えることがない。な
お、本発明は、上記実施例に限定されず種々の変形が可
能である。その変形例としては、例えば次のようなもの
がある。 (1) スタートコードマッチング部、シフタ部、可変
長符号マッチング部、シーケンス制御部等は、個別回路
であってもよいし、マイクロCPU等に置き換えること
も可能である。 (2) 本実施例では、通信回線を使用した動画像復号
化装置に適用した例を説明したが、CD−ROMなど蓄
積媒体を使用した動画像復号化装置であっても基本的に
フレーム間、可変長符号を使用し方式であれば適用可能
である。
の発明によれば、動画像復号化装置において、スタート
コードマッチング手段と、エラー検出手段と、エラー区
間推定手段と、置換データを発生する置換データ発生手
段とを設け、メモリ制御手段は、前記エラー区間推定手
段によりエラーと推定された区間の画像情報の復号化画
像データを前記置換データで置換するように画像メモリ
及び置換データ発生手段を制御するようにしたので、エ
ラー発生前のデータが残って生じる歪みや再生画像が二
重に見えることをなくすことができる。
の構成図である。
る。
る。
の構成図である。
Claims (2)
- 【請求項1】 動画像をフレーム間の差分をとり、この
差分を可変長符号により圧縮されたデータを含む画像情
報を復号化する復号化手段と、 前記復号化手段により復号された復号化画像データを記
憶する画像メモリと、 前記画像メモリを制御するメモリ制御手段とを、 備えた動画像復号化装置において、 画像情報に挿入されるスタートコードにマッチングする
データを前記画像情報から検出するスタートコードマッ
チング手段と、 前記スタートコードマッチング手段の検出結果と前記画
像情報の並びから予測されるスタートコードの検出位置
とに基づいて前記画像情報のエラーを検出するエラー検
出手段と、 前記エラー検出手段によりエラーが検出された時、エラ
ーのある画像情報の区間を推定するエラー区間推定手段
と、 前記エラー検出手段によりエラーが検出された時、置換
データを発生する置換データ発生手段とを設け、 前記メモリ制御手段は、前記エラー区間推定手段により
エラーと推定された区間の画像情報の復号化画像データ
を前記置換データで置換するように前記画像メモリ及び
置換データ発生手段を制御するようにしたことを特徴と
する動画像復号化装置。 - 【請求項2】 動画像をフレーム間の差分をとり、この
差分を可変長符号により圧縮されたデータを含む画像情
報を復号化する復号化手段と、 前記復号化手段により復号された復号化画像データを記
憶する画像メモリと、 前記画像メモリを制御するメモリ制御手段とを、 備えた動画像復号化装置において、 画像情報に挿入されるスタートコードにマッチングする
データを前記画像情報から検出するスタートコードマッ
チング手段と、 前記スタートコードマッチング手段の出力結果と前記画
像情報の並びから予測されるスタートコードの検出位置
とに基づいて前記画像情報のエラーを検出するエラー検
出手段と、 前記エラー検出手段によりエラーが検出された時、エラ
ーのある画像情報の区間を推定するエラー区間推定手段
と、 前記エラー検出手段によりエラーが検出された時、置換
データを発生する置換データ発生手段とを設け、 前記メモリ制御手段は、前記エラー検出手段によりエラ
ーが検出されてから少なくとも1度以上自信のフレーム
のみより符号化された画像情報を復号化するまでは前記
エラー区間推定手段によりエラーと推定された区間と同
じアドレスの区間の復号化画像データを前記置換データ
で置換するように前記画像メモリ及び置換データ発生手
段を制御するようにしたことを特徴とする動画像復号化
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14726694A JP2935956B2 (ja) | 1994-06-29 | 1994-06-29 | 動画像復号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14726694A JP2935956B2 (ja) | 1994-06-29 | 1994-06-29 | 動画像復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0818980A true JPH0818980A (ja) | 1996-01-19 |
JP2935956B2 JP2935956B2 (ja) | 1999-08-16 |
Family
ID=15426344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14726694A Expired - Fee Related JP2935956B2 (ja) | 1994-06-29 | 1994-06-29 | 動画像復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2935956B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003036988A1 (en) * | 2001-10-25 | 2003-05-01 | Matsushita Electric Industrial Co., Ltd. | Media separating method, image decoding method and image decoding device |
US6658153B1 (en) | 1997-03-18 | 2003-12-02 | Oki Electric Industry Co., Ltd. | Method and decoder for decoding compressed moving-picture data |
KR100480051B1 (ko) * | 2002-06-17 | 2005-03-30 | 엘지전자 주식회사 | 영상신호 디코딩 방법 |
WO2006106935A1 (ja) * | 2005-04-01 | 2006-10-12 | Matsushita Electric Industrial Co., Ltd. | 画像復号化装置及び画像復号化方法 |
CN100446561C (zh) * | 2003-03-24 | 2008-12-24 | 日本电气株式会社 | 检查图片有效性的可视电话设备及可视电话系统 |
JP2010063160A (ja) * | 2009-12-09 | 2010-03-18 | Mitsubishi Electric Corp | 動画像復号方法 |
JP2010063161A (ja) * | 2009-12-09 | 2010-03-18 | Mitsubishi Electric Corp | 動画像復号方法 |
-
1994
- 1994-06-29 JP JP14726694A patent/JP2935956B2/ja not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6658153B1 (en) | 1997-03-18 | 2003-12-02 | Oki Electric Industry Co., Ltd. | Method and decoder for decoding compressed moving-picture data |
WO2003036988A1 (en) * | 2001-10-25 | 2003-05-01 | Matsushita Electric Industrial Co., Ltd. | Media separating method, image decoding method and image decoding device |
KR100480051B1 (ko) * | 2002-06-17 | 2005-03-30 | 엘지전자 주식회사 | 영상신호 디코딩 방법 |
CN100446561C (zh) * | 2003-03-24 | 2008-12-24 | 日本电气株式会社 | 检查图片有效性的可视电话设备及可视电话系统 |
WO2006106935A1 (ja) * | 2005-04-01 | 2006-10-12 | Matsushita Electric Industrial Co., Ltd. | 画像復号化装置及び画像復号化方法 |
JP4722125B2 (ja) * | 2005-04-01 | 2011-07-13 | パナソニック株式会社 | 画像復号化装置及び画像復号化方法 |
US8885707B2 (en) | 2005-04-01 | 2014-11-11 | Panasonic Corporation | Image decoding apparatus and image decoding method |
JP2010063160A (ja) * | 2009-12-09 | 2010-03-18 | Mitsubishi Electric Corp | 動画像復号方法 |
JP2010063161A (ja) * | 2009-12-09 | 2010-03-18 | Mitsubishi Electric Corp | 動画像復号方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2935956B2 (ja) | 1999-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3630474B2 (ja) | 動画像伝送システム及び動画像伝送装置 | |
USRE42503E1 (en) | Moving-picture signal coding and/or decoding system resistant to transmission error | |
JP3462208B2 (ja) | 独立に圧縮された偶数および奇数フィールド・データ用のビデオ信号圧縮解除装置 | |
US6744924B1 (en) | Error concealment in a video signal | |
JPH04358486A (ja) | 高能率符号化信号処理装置 | |
JP2004215252A (ja) | ビデオエラー隠蔽のための動的イントラ符号化マクロブロックリフレッシュインターバル | |
JP2003504988A (ja) | 画像復号化方法、画像符号化方法、画像エンコーダ、画像デコーダ、無線通信デバイス、および、画像コーデック | |
EP0827344A2 (en) | Video decoder | |
EP0667717B1 (en) | Method and apparatus for reproducing picture data | |
JPH0818980A (ja) | 動画像復号化装置 | |
JP3153390B2 (ja) | 動画像復号化装置 | |
JPH07312755A (ja) | 動画像符号化復号化装置 | |
KR100557047B1 (ko) | 동영상 디코딩 방법 | |
KR100590328B1 (ko) | 동영상 디코더 및 이를 이용한 디코딩 방법 | |
JPH06245201A (ja) | 高能率符号化復号化システム | |
JPH08317400A (ja) | 動き補償予測フレーム間符号化装置 | |
JPH03256483A (ja) | 映像信号伝送装置 | |
KR20050026110A (ko) | 동영상 디코더 및 디코딩 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990525 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090604 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090604 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100604 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100604 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110604 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110604 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120604 Year of fee payment: 13 |
|
LAPS | Cancellation because of no payment of annual fees |