JP2887177B2 - Method and apparatus for decoding moving image compression code - Google Patents

Method and apparatus for decoding moving image compression code

Info

Publication number
JP2887177B2
JP2887177B2 JP25063395A JP25063395A JP2887177B2 JP 2887177 B2 JP2887177 B2 JP 2887177B2 JP 25063395 A JP25063395 A JP 25063395A JP 25063395 A JP25063395 A JP 25063395A JP 2887177 B2 JP2887177 B2 JP 2887177B2
Authority
JP
Japan
Prior art keywords
image
decoded
decoding
error
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25063395A
Other languages
Japanese (ja)
Other versions
JPH0993589A (en
Inventor
聰 中川
靖子 松村
敬 西
敏久 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP25063395A priority Critical patent/JP2887177B2/en
Publication of JPH0993589A publication Critical patent/JPH0993589A/en
Application granted granted Critical
Publication of JP2887177B2 publication Critical patent/JP2887177B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は動画像圧縮符号の復
号方法及び復号装置に関し、特に、通信路や記憶媒体等
の広義の伝送路において誤りが発生した場合に好適なも
のである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and an apparatus for decoding a moving image compression code, and more particularly, to a method suitable for a case where an error occurs in a broadly defined transmission path such as a communication path or a storage medium.

【0002】[0002]

【従来の技術】デジタル通信において、動画像などの膨
大な情報量を持つデータを送信しようとする場合には、
データは情報圧縮を施され、冗長性を削られる。
2. Description of the Related Art In digital communication, when transmitting data having an enormous amount of information such as a moving image,
Data is subjected to information compression to reduce redundancy.

【0003】文献(1):『TTC標準(高位レイヤプ
ロトコル符号化方式)JT-H.261勧告』 文献(1)で規定されている動画像の圧縮符号器・復号
器の構成を図2に示す。動画像の原データであるビデオ
信号は、世界共通の中間フォーマット(CIF、QCI
F)で表されており、この動画像データ(1ピックチャ
ー分;1フレーム分)を符号化する場合には、図3に示
すように、グループオブブロック(以下、GOB(grou
p of block)と略称する)、マクロブロック(Macroblo
ck)、8×8画素のブロック(Block )に階層的に分割
する。
Reference (1): "TTC standard (higher layer protocol coding method) JT-H.261 recommendation" FIG. 2 shows the configuration of a moving picture compression encoder / decoder specified in reference (1). Show. A video signal, which is the original data of a moving image, has a globally common intermediate format (CIF, QCI
F), and when this moving image data (one picker; one frame) is encoded, as shown in FIG. 3, a group of blocks (hereinafter referred to as GOB (grou
p of block), macro block (Macroblo
ck), and divided hierarchically into blocks of 8 × 8 pixels (Block).

【0004】図2(a)に示す符号器で符号化を行なう
場合、ビデオ信号を入力とし、情報源符号器201で情
報源符号化される。情報源符号器201では、まずマク
ロブロック毎に動き補償フレーム間予測を行ない、次
に、その予測誤差をブロック毎に直交変換した後に量子
化する。予測は通常フレーム間で行なわれるが、シーン
チェンジのときなどは、動画像の原データがそのまま直
交変換される。動き補償フレーム間予測誤差を直交変換
するか又は動画像の原データをそのまま直交変換するか
の判断は、例えば予測誤差データと原データとの分散値
を比較することにより決定される。直交変換には、離散
コサイン変換(DCT;Discrete CosineTransform )
が用いられ、画素領域の表現から周波数領域の表現に変
換する。周波数領域の表現に変換され量子化されたデー
タは、ビデオ信号多重化符号器202に入力されて、可
変長符号化され、ヘッダ情報の多重化が行なわれる。情
報源符号器201、ビデオ信号多重化符号器202で情
報源符号化、多重化されたデータは、送信バッファ20
3を通って、伝送路符号器204において、後述する図
4に示す順で伝送路符号化されて送信される。送信符号
量を制御するために送信バッファ203からバッファの
中の状態を符号化制御205に伝え、符号化制御205
は、情報源符号器201及びビデオ信号多重化符号器2
02に制御信号を出す。
When encoding is performed by the encoder shown in FIG. 2A, a video signal is input and the information is encoded by an information source encoder 201. The information source encoder 201 first performs motion compensation inter-frame prediction for each macroblock, and then quantizes the prediction error after performing orthogonal transform for each block. Prediction is usually performed between frames, but at the time of a scene change or the like, the original data of a moving image is orthogonally transformed as it is. The determination as to whether to orthogonally transform the motion-compensated inter-frame prediction error or to perform orthogonal transformation on the original data of the moving image as it is is determined by, for example, comparing the variance of the prediction error data and the original data. Discrete Cosine Transform (DCT) for orthogonal transform
Is used to convert from the representation in the pixel domain to the representation in the frequency domain. The data converted to the frequency domain representation and quantized is input to the video signal multiplexing encoder 202, subjected to variable length coding, and multiplexed with header information. The source coded and multiplexed data by the source coder 201 and the video signal multiplexing coder 202 are transmitted to the transmission buffer 20.
3, the transmission path encoder 204 performs transmission path encoding in the order shown in FIG. In order to control the transmission code amount, the state in the buffer is transmitted from the transmission buffer 203 to the encoding control 205, and the encoding control 205
Are the source coder 201 and the video signal multiplexing coder 2
02, a control signal is issued.

【0005】図4に、従来の動画像符号化方法で符号化
された符号化ビット列と符号化シンタックスを表す。符
号化シンタックスとは、可変長符号化テーブル、挿入す
るヘッダ情報、送信順序を規定するものである。
FIG. 4 shows a coded bit sequence and a coding syntax coded by a conventional moving picture coding method. The encoding syntax defines a variable-length encoding table, header information to be inserted, and a transmission order.

【0006】図4において数字が表示されている要素は
固定長符号化されるデータ種類であり、それ以外の要素
はそれぞれ異なる可変長符号化テーブルを用いて可変長
符号化されるデータ種類である。
[0006] In FIG. 4, elements indicated by numerals are data types to be fixed-length coded, and other elements are data types to be variable-length coded using different variable-length coding tables. .

【0007】フレームの最初であることを示すフレーム
開始符号PSCは固定長の特殊な符号であり、フレーム
開始符号PSCと同じビット系列が、フレーム開始符号
PSC以外の符号化されたデータの中に出現しないよう
になっている。フレームヘッダ情報PHEADはフレー
ム番号やピクチャータイプ情報などの1フレーム全体に
ついての情報を含み、固定長符号化される。
The frame start code PSC indicating the beginning of a frame is a special fixed-length code, and the same bit sequence as the frame start code PSC appears in encoded data other than the frame start code PSC. Not to be. The frame header information PHEAD includes information on the entire frame such as a frame number and picture type information, and is fixed-length coded.

【0008】GOBの最初であることを示すGOB開始
符号GBSCは固定長符号化される。GOBヘッダ情報
GHEADは、GOBのピックチャー(Picture )の中
の位置を表すGOB番号やGOBの量子化特性情報な
ど、1つのGOBについての情報を含み、固定長符号化
される。
[0008] The GOB start code GBSC indicating the beginning of the GOB is fixed-length coded. The GOB header information GHEAD includes information on one GOB, such as a GOB number indicating a position in a picture of the GOB and quantization characteristic information of the GOB, and is fixed-length encoded.

【0009】マクロブロックアドレスMBAは、GOB
の中のマクロブロックの位置を表すものであり、そのマ
クロブロックアドレスと前に符号化されたマクロブロッ
クアドレスとの差分値が可変長符号化されたものであ
る。マクロブロックは、情報がない場合(例えば前フレ
ームと同一の場合)には符号化されず、マクロブロック
アドレスMBA、マクロブロックタイプ情報MTYP
E、マクロブロック量子化特性MQUANT、動きベク
トル情報MVD、及び、そのマクロブロックのブロック
情報(TCOEFF、EOB)は伝送されない。マクロ
ブロックタイプ情報MTYPEは、予測がフレーム間で
あるか(以下、INTERモードと呼ぶ)、原信号が直
交変換されるか(以下、INTRAモードと呼ぶ)など
を表し、可変長符号化される。なお、INTERモード
は例えば動きが小さい場合(フレーム間差分が小さい場
合)に採用され、INTRAモードは動きが大きい場合
に採用される。マクロブロック量子化特性MQUANT
は、そのマクロブロックの量子化ステップサイズを表
し、前に符号化されたマクロブロックの量子化ステップ
サイズと異なる場合に固定長符号化される。動きベクト
ル情報MVDは、対象マクロブロックの動きベクトルか
ら一つ前のマクロブロックの動きベクトルを減算するこ
とで得られるものであり、可変長符号化される。有意ブ
ロックパターンCBPは、少なくとも一つの変換係数が
伝送されるブロック(有意ブロック)の位置を表すもの
であり、可変長符号化される。
The macro block address MBA is GOB
Indicates the position of the macroblock in the macroblock, and the difference between the macroblock address and the previously coded macroblock address is variable-length coded. If there is no information (for example, the same as the previous frame), the macro block is not coded, and the macro block address MBA, the macro block type information MTYP
E, the macroblock quantization characteristics MQUANT, the motion vector information MVD, and the block information (TCOEFF, EOB) of the macroblock are not transmitted. The macroblock type information MTYPE indicates whether the prediction is between frames (hereinafter, referred to as an INTER mode), whether or not the original signal is orthogonally transformed (hereinafter, referred to as an INTRA mode), and is variable-length coded. The INTER mode is adopted, for example, when the motion is small (the difference between frames is small), and the INTRA mode is adopted when the motion is large. Macro block quantization characteristics MQUANT
Represents the quantization step size of the macroblock, and is fixed-length coded if different from the quantization step size of the previously encoded macroblock. The motion vector information MVD is obtained by subtracting the motion vector of the previous macroblock from the motion vector of the current macroblock, and is subjected to variable length coding. The significant block pattern CBP indicates the position of a block (significant block) to which at least one transform coefficient is transmitted, and is subjected to variable length coding.

【0010】上述した変換係数TCOEFFも可変長符
号化される。ブロックの終わりを示すブロック終了符号
EOBは固定長符号化されるが、変換係数TCOEFF
の可変長符号の符号語の1つである。
The above-described transform coefficient TCOEFF is also subjected to variable length coding. The block end code EOB indicating the end of the block is fixed-length coded, but the transform coefficient TCOEFF
Is one of the codewords of the variable length code.

【0011】図5は、マクロブロックの可変長符号化さ
れるデータ種類の可変長符号化テーブルを示すものであ
り、各データ種類はこの可変長テーブルに従って可変長
符号化される。ここで、変換係数TCOEFFは、直交
変換して量子化した8×8画素のブロックデータを水平
及び垂直方向の低周波成分ほど先になる順序に並べ替
え、そのデータの0が続く個数(0ラン)と、その直後
にくる0でない値(レベル)の組により可変長符号化さ
れる。
FIG. 5 shows a variable-length coding table of data types to be subjected to variable-length coding of macroblocks. Each data type is subjected to variable-length coding according to the variable-length table. Here, the transform coefficient TCOEFF is obtained by rearranging block data of 8 × 8 pixels quantized by orthogonal transformation in the order of lower frequency components in the horizontal and vertical directions, and the number of consecutive 0s (0 run) ) And a non-zero value (level) immediately after the variable-length coding.

【0012】図6は、従来例の場合のビデオ信号多重化
符号器202の多重化処理系統図を示している。
FIG. 6 shows a multiplexing processing system diagram of the video signal multiplexing encoder 202 in the case of the conventional example.

【0013】各々のフレーム層、GOB層、マクロブロ
ック層、ブロック層では、矢印の方向にたどって多重化
される。矢印が分岐しているところは、モード(INT
RA、INTERなど)により、いずれかの矢印が選択
される。ループになっている部分は、そのデータ(GO
B層、マクロブロック層、ブロック層、変換係数TCO
EFF)が終わるまではループ側の矢印が選ばれ、その
データが終了すると、ループでない方の矢印が選ばれ
る。フレームの中のGOB、GOBの中のマクロブロッ
ク、マクロブロックの中のブロックには、それぞれ図3
に示すように、左上から順番に、GOB番号、マクロブ
ロックアドレス、ブロック番号が付加されている。GO
B層、マスクブロック層、ブロック層は、それぞれ番号
(アドレス)の小さい順に符号化され、多重化される。
In each of the frame layer, GOB layer, macroblock layer and block layer, multiplexing is performed in the direction of the arrow. Where the arrow branches, the mode (INT
RA, INTER, etc.), one of the arrows is selected. The looped part is the data (GO
B layer, macroblock layer, block layer, conversion coefficient TCO
Until EFF) ends, the arrow on the loop side is selected, and when that data ends, the non-loop arrow is selected. The GOB in the frame, the macroblock in the GOB, and the block in the macroblock are shown in FIG.
As shown in the figure, a GOB number, a macroblock address, and a block number are added in order from the upper left. GO
The B layer, the mask block layer, and the block layer are coded and multiplexed in ascending order of number (address).

【0014】図2(b)に示す復号器で復号を行なう場
合には、送られてきた順に伝送路復号器209で伝送路
復号を行ない、受信バッファ208を通して、ビデオ信
号多重化復号器207に入力する。ビデオ信号多重化復
号器207では、ヘッダ情報などを分離し、可変長符号
の復号を行なって、情報源復号器206に出力する。情
報源復号器206では、逆量子化、逆離散コサイン変換
(逆DCT)、動き補償を行なって、ビデオ信号を出力
する。
When decoding is performed by the decoder shown in FIG. 2B, the transmission path is decoded by the transmission path decoder 209 in the order in which it is transmitted, and is transmitted to the video signal multiplexing decoder 207 through the reception buffer 208. input. The video signal multiplexing decoder 207 separates the header information and the like, decodes the variable-length code, and outputs the result to the information source decoder 206. The information source decoder 206 performs inverse quantization, inverse discrete cosine transform (inverse DCT), and motion compensation, and outputs a video signal.

【0015】誤りが生じているか否かは、ビデオ信号多
重化復号器207の可変長符号の復号において判断する
ことができる。例えば、可変長符号化テーブルの可変長
符号語に存在しないような系列が入力されたときに、誤
りを検出したとすることができる。このような誤りが発
生した場合には、可変長符号の境界を見失い、同期を喪
失してしまう。
Whether or not an error has occurred can be determined in the decoding of the variable length code by the video signal multiplexing decoder 207. For example, it can be assumed that an error is detected when a sequence that does not exist in the variable-length codeword of the variable-length coding table is input. When such an error occurs, the boundary of the variable-length code is lost and synchronization is lost.

【0016】誤りが生じた場合は、マクロブロックアド
レスMBAが前に符号化されたマクロブロックとの差分
値を符号化したものであるから、たとえ可変長符号の同
期を回復したとしても、誤りが生じた時点から、次のG
OB開始符号GBSC又はフレーム開始符号PSCを検
出するまでは、復号することができない。したがって、
誤りが生じた時点からGOB開始符号GBSC又はフレ
ーム開始符号PSCまでのデータは捨てられることにな
る。その誤りによって捨てられた画像データの部分は、
前のフレーム画像をそのまま出力する。
If an error occurs, the macroblock address MBA is a value obtained by encoding a difference value from a previously encoded macroblock. From the point of occurrence, the next G
Until the OB start code GBSC or the frame start code PSC is detected, decoding cannot be performed. Therefore,
Data from the time when the error occurs to the GOB start code GBSC or the frame start code PSC is discarded. The part of the image data discarded due to the error is
Output the previous frame image as it is.

【0017】図7に示すフローチャートを用いて、従来
例のビデオ信号多重化復号器207の動作を説明する。
The operation of the conventional video signal multiplexing decoder 207 will be described with reference to the flowchart shown in FIG.

【0018】まず、ビデオ信号多重化復号器207に入
力される符号系列からヘッダ情報の分離及び可変長符号
の復号を行なう(ステップB1)。その後、可変長符号
の復号で誤りが発生したか否かを判定する(ステップB
2)。ここで、誤りが生じていると、次のGOB開始符
号GBSC又はフレーム開始符号PSCを検索し(ステ
ップB3)、次のGOB開始符号GBSC又はフレーム
開始符号PSCを検出したならば(ステップB4)、誤
り発生時点から、検出したGOB開始符号GBSC又は
フレーム開始符号PSCまでのデータを捨てる(ステッ
プB5)。このように誤りが生じて次のGOB開始符号
GBSC又はフレーム開始符号PSCまでのデータを捨
てた場合、及び、上記ステップB2の判断で誤りがない
と判断された場合には、復号結果を出力し(ステップB
6)、さらに入力が終了したか否かを判断する(ステッ
プB7)。入力が終了した場合には一連の処理を終了
し、入力が継続していると上述したステップB1に戻
る。なお、誤りが生じた時点から次のGOB開始符号G
BSC又はフレーム開始符号PSCまでのデータは捨て
られるが、その誤りによって捨てられた画像データの復
号結果としては、上述したように、前フレーム画像のデ
ータをそのまま出力する(ステップB6)。
First, the header information is separated from the code sequence input to the video signal multiplexing decoder 207 and the variable length code is decoded (step B1). Thereafter, it is determined whether or not an error has occurred in decoding the variable length code (step B).
2). If an error has occurred, the next GOB start code GBSC or frame start code PSC is searched (step B3), and if the next GOB start code GBSC or frame start code PSC is detected (step B4), Data from the error occurrence point to the detected GOB start code GBSC or frame start code PSC is discarded (step B5). If an error occurs and data up to the next GOB start code GBSC or frame start code PSC is discarded, and if it is determined in step B2 that there is no error, a decoding result is output. (Step B
6) It is further determined whether or not the input has been completed (step B7). When the input has been completed, a series of processing is ended, and when the input is continued, the process returns to step B1 described above. Note that the next GOB start code G
The data up to the BSC or the frame start code PSC is discarded, but as the decoding result of the image data discarded due to the error, the data of the previous frame image is output as it is as described above (step B6).

【0019】[0019]

【発明が解決しようとする課題】図4のような動画像符
号化シンクタックス及び図7のようなビデオ信号多重化
復号動作に従う復号方法では、誤りが生じた場合には、
可変長符号の復号において可変長符号語の境界を見失
い、同期を喪失した状態になって復号が不可能になる。
従って、次のフレーム開始符号PSC又はGOB開始符
号GBSCを検出するまでの情報を復号することができ
ず、復号することができない部分に誤りが生じていなく
ても、その部分のデータを捨てざるを得ないという問題
がある。
In the decoding method according to the moving picture coding syntax shown in FIG. 4 and the video signal multiplexing decoding operation shown in FIG. 7, when an error occurs,
When decoding the variable-length code, the boundary of the variable-length code word is lost, and synchronization is lost, so that decoding becomes impossible.
Therefore, information cannot be decoded until the next frame start code PSC or GOB start code GBSC is detected, and even if no error occurs in a part that cannot be decoded, data in that part must be discarded. There is a problem that can not be obtained.

【0020】また、図8に示すように、誤りが生じた場
合に、一般的には復号側では誤りが生じたことを直ちに
は検出できず、誤ったまま復号した画像データが出力さ
れてしまうため、画質劣化の原因となっている。例え
ば、可変長符号化テーブルの可変長符号語に存在しない
ような系列が入力されたときに誤りを検出したとする場
合において、それ以前に誤りが発生していてもその誤り
時の可変長符号語が可変長符号化テーブルに存在すれば
誤りを検出できず、可変長符号化テーブルに存在しない
可変長符号語を見付けて初めて誤りを検出する。
As shown in FIG. 8, when an error occurs, generally, the decoding side cannot immediately detect that the error has occurred, and the decoded image data is output with the error. Therefore, this is a cause of image quality deterioration. For example, if an error is detected when a sequence that does not exist in the variable-length codeword of the variable-length coding table is input, the variable-length code at the time of the error even if an error has occurred earlier. If the word exists in the variable length coding table, the error cannot be detected, and the error is detected only after finding a variable length code word that does not exist in the variable length coding table.

【0021】[0021]

【課題を解決するための手段】第1の本発明は、現画像
とそれ以前に伝送した参照画像との差分に基づく情報を
伝送する画像領域と、現画像のみからの情報を伝送する
画像領域との可変長符号が混在する動画像圧縮符号を復
号する動画像圧縮符号の復号方法において、伝送路で生
じた誤りが検出された場合に、前の同期位置から次の同
期位置までの間で、参照画像とは独立な現画像の情報の
みから復号された画像領域情報を破棄し、破棄した画像
領域と、誤りのために復号できなかった画像領域との復
号画像を、参照画像から生成することを特徴とする。
According to a first aspect of the present invention, there is provided an image area for transmitting information based on a difference between a current image and a previously transmitted reference image, and an image area for transmitting information only from the current image. In the moving picture compression code decoding method of decoding a moving picture compression code in which variable length codes are mixed with the above, when an error occurring in the transmission path is detected, the error is detected between the previous synchronization position and the next synchronization position. Discards image region information decoded only from information of the current image independent of the reference image, and generates a decoded image of the discarded image region and an image region that could not be decoded due to an error from the reference image It is characterized by the following.

【0022】第2の本発明は、現画像とそれ以前に伝送
した参照画像との差分に基づく情報を伝送する画像領域
と、現画像のみからの情報を伝送する画像領域との可変
長符号が混在する、しかもその可変長符号の自己同期回
復機能が利用可能である動画像圧縮符号を復号する動画
像圧縮符号の復号方法において、伝送路で生じた誤りが
検出された場合に、喪失した可変長符号の同期を回復さ
せ、同期回復以降次の同期位置までの符号データの内、
参照画像との差分に基づく情報を伝送している画像領域
を復号し、前の同期位置から誤りを検出するまでの間
で、参照画像とは独立な現画像の情報のみから復号され
た画像領域情報を破棄し、破棄した画像領域と復号でき
なかった画像領域との復号画像を、参照画像から生成す
ることを特徴とする。
According to a second aspect of the present invention, a variable length code for an image area for transmitting information based on a difference between a current image and a reference image transmitted before that and an image area for transmitting information only from the current image are used. In a moving picture compression code decoding method for decoding a moving picture compression code in which the self-synchronization recovery function of the variable-length code is available, when the error occurring in the transmission path is detected, The synchronization of the long code is recovered, and of the code data from the synchronization recovery to the next synchronization position,
An image area that transmits information based on a difference from a reference image, and is decoded only from information of a current image that is independent of the reference image during a period from a previous synchronization position until an error is detected. The information is discarded, and a decoded image of the discarded image area and an image area that cannot be decoded is generated from the reference image.

【0023】第3の本発明は、現画像とそれ以前に伝送
した参照画像との差分に基づく情報を伝送する画像領域
と、現画像のみからの情報を伝送する画像領域との可変
長符号が混在する動画像圧縮符号を復号する動画像圧縮
符号の復号装置において、伝送路で生じた誤りを検出す
る誤り検出手段と、誤りが検出された場合に、前の同期
位置から次の同期位置までの間で、参照画像とは独立な
現画像の情報のみから復号された画像領域情報を破棄す
る破棄手段と、破棄した画像領域と復号できなかった画
像領域との復号画像を、参照画像から生成する画像補間
手段とを有することを特徴とする。
According to a third aspect of the present invention, a variable-length code for an image area for transmitting information based on a difference between a current image and a reference image transmitted earlier and an image area for transmitting information only from the current image are used. In a moving picture compression code decoding device for decoding mixed moving picture compression codes, an error detection means for detecting an error occurring in a transmission path, and when an error is detected, from an earlier synchronization position to a next synchronization position. A discarding unit for discarding image region information decoded only from information of the current image independent of the reference image, and generating a decoded image of the discarded image region and the image region that could not be decoded from the reference image. Image interpolating means for performing the operation.

【0024】第4の本発明は、現画像とそれ以前に伝送
した参照画像との差分に基づく情報を伝送する画像領域
と、現画像のみからの情報を伝送する画像領域との可変
長符号が混在する、しかもその可変長符号の自己同期回
復機能が利用可能である動画像圧縮符号を復号する動画
像圧縮符号の復号装置において、伝送路で生じた誤りを
検出する誤り検出手段と、誤りが検出された場合に、喪
失した可変長符号の同期を回復させる同期回復手段と、
同期回復以降、次の同期位置までの符号データの内、参
照画像との差分に基づく情報を伝送している画像領域を
復号する参照画像利用領域復号手段と、前の同期位置か
ら誤りを検出するまでの間で、参照画像とは独立な現画
像の情報のみから復号された画像領域情報を破棄する破
棄手段と、破棄した画像領域と復号できなかった画像領
域との復号画像を、参照画像から生成する画像補間手段
とを有することを特徴とする。
According to a fourth aspect of the present invention, a variable-length code for an image area for transmitting information based on a difference between a current image and a reference image transmitted before that and an image area for transmitting information only from the current image are used. In a moving picture compression code decoding apparatus for decoding a moving picture compression code in which the self-synchronization recovery function of the variable length code is available, error detection means for detecting an error occurring in a transmission path, Synchronization recovery means for recovering the synchronization of the lost variable-length code when detected,
A reference image using area decoding unit that decodes an image area transmitting information based on a difference from a reference image among code data up to the next synchronization position after synchronization recovery, and detects an error from a previous synchronization position. In the meantime, the discarding means for discarding the image area information decoded only from the information of the current image independent of the reference image, and the decoded image of the discarded image area and the image area that could not be decoded from the reference image. And an image interpolating means for generating.

【0025】第1〜第4の本発明においては、その画像
領域の情報が誤っている場合に復号画像の画質劣化が著
しい、参照画像とは独立な情報のみから復号された画像
領域情報を破棄し、破棄した画像領域と、誤りのために
復号できなかった画像領域との復号画像を、参照画像か
ら生成するので、受信した動画像圧縮符号に誤りがあっ
ても復号画像の画質劣化をごく僅かに押さえることがで
きる。
According to the first to fourth aspects of the present invention, when the information of the image area is incorrect, the image quality of the decoded image is significantly deteriorated, and the image area information decoded only from information independent of the reference image is discarded. However, since the decoded image of the discarded image region and the image region that could not be decoded due to the error are generated from the reference image, even if the received moving image compression code has an error, the image quality of the decoded image is extremely deteriorated. Can be held down slightly.

【0026】[0026]

【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION

(A)第1の実施形態 以下、本発明による動画像圧縮符号の復号方法及び復号
装置の第1の実施形態を図面を参照しながら詳述する。
(A) First Embodiment Hereinafter, a first embodiment of a method and apparatus for decoding a moving image compression code according to the present invention will be described in detail with reference to the drawings.

【0027】図9は、この第1の実施形態に係る動画像
圧縮符号復号器の情報源復号器(上記図2の情報源復号
器206対応)周りの構成を示すブロック図である。
FIG. 9 is a block diagram showing the configuration around the information source decoder (corresponding to the information source decoder 206 in FIG. 2) of the moving picture compression code decoder according to the first embodiment.

【0028】図9において、第1の実施形態における情
報源復号器は、ビデオ信号多重化復号器(図2参照)か
ら入力される系列からビデオ信号を復号するための情報
源復号器本体11と、情報源復号器本体11の復号処理
の過程において利用される、参照フレーム(例えば前フ
レーム)の復号画像を記憶しておくための参照フレーム
画像メモリ12と、復号中のフレームの復号作業のため
の現フレーム画像メモリ13と、現フレームの復号作業
時に各マクロブロックがINTRA/INTERのどち
らのモードで復号されたかを記憶するためのINTRA
/INTERモードメモリ14とから構成されている。
Referring to FIG. 9, an information source decoder according to the first embodiment includes an information source decoder main body 11 for decoding a video signal from a sequence input from a video signal multiplexing decoder (see FIG. 2). A reference frame image memory 12 for storing a decoded image of a reference frame (for example, a previous frame) used in a decoding process of the information source decoder body 11, and a decoding operation of a frame being decoded. And an INTRA for storing which mode of INTRA / INTER each macroblock was decoded at the time of decoding the current frame.
/ INTER mode memory 14.

【0029】なお、参照フレームを前フレームとした場
合には、参照フレーム画像メモリ12及び現フレーム画
像メモリ13は、例えば2面のフレーム画像メモリが該
当し、復号時に現フレーム画像を格納しているフレーム
画像メモリが現フレーム画像メモリ13になり、他方の
フレーム画像メモリが参照フレーム画像メモリ12にな
り、フレーム毎に、参照フレーム画像メモリ12及び現
フレーム画像メモリ13になるフレーム画像メモリが変
化するものであるが、いずれにせよ機能的には、参照フ
レーム画像メモリ12及び現フレーム画像メモリ13が
存在する。
When the reference frame is the previous frame, the reference frame image memory 12 and the current frame image memory 13 correspond to, for example, two frame image memories, and store the current frame image during decoding. The frame image memory becomes the current frame image memory 13, the other frame image memory becomes the reference frame image memory 12, and the frame image memory that becomes the reference frame image memory 12 and the current frame image memory 13 changes for each frame. However, functionally, the reference frame image memory 12 and the current frame image memory 13 exist in any case.

【0030】次に、この第1の実施形態の復号方法、言
い換えると、情報源復号器本体11の動作を説明する。
Next, the decoding method of the first embodiment, in other words, the operation of the information source decoder main body 11 will be described.

【0031】ビデオ信号多重化復号器から入力される系
列は、情報源復号器本体11において、各GOB毎に参
照フレーム画像メモリ12を参照しつつ、順にマクロブ
ロック画像に復号され、現フレーム画像メモリ13に格
納される。この際、各マクロブロックがINTRAモー
ドで復号されたかINTERモードで復号されたかをI
NTRA/INTERモードメモリ14に記憶してお
く。
The sequence input from the video signal multiplexing decoder is sequentially decoded into a macroblock image in the information source decoder body 11 while referring to the reference frame image memory 12 for each GOB, and the current frame image memory 13 is stored. At this time, whether each macroblock is decoded in the INTRA mode or in the INTER mode is determined by I
It is stored in the NTRA / INTER mode memory 14.

【0032】あるGOBで誤りが発生したことをビデオ
信号多重化復号器若しくは情報源復号器本体11で検出
した場合には、次の同期語(例えばフレーム開始符号P
SCやGOB開始符号GBSC)までの入力データを捨
て、また、誤りが検出されるまで復号できたマクロブロ
ックのうちINTRA/INTERモードメモリ14に
INTRAモードで復号したと記憶されたマクロブロッ
ク画像も破棄する。その後、復号処理が実行されないマ
クロブロック及びINTRAモードであったために破棄
されたマクロブロックの画像を、参照フレーム画像メモ
リ12の格納されている参照フレーム画像から生成す
る。
When the video signal multiplexing decoder or the information source decoder main body 11 detects that an error has occurred in a certain GOB, the next synchronization word (for example, the frame start code P
The input data up to the SC or GOB start code GBSC) is discarded, and the macroblock image stored in the INTRA / INTER mode memory 14 as decoded in the INTRA mode among the macroblocks that could be decoded until an error is detected is also discarded. I do. After that, an image of a macroblock for which decoding processing is not executed and an image of a macroblock discarded due to the INTRA mode are generated from the reference frame images stored in the reference frame image memory 12.

【0033】なお、INTRAマクロブロックの破棄
は、誤りが検出されたGOB内のみに対して行なう。
The INTRA macroblock is discarded only in the GOB in which an error has been detected.

【0034】図1は、このような第1の実施形態の復号
方法の処理のうち、各GOB毎の処理の流れを示すフロ
ーチャートである。
FIG. 1 is a flowchart showing the flow of processing for each GOB among the processing of the decoding method of the first embodiment.

【0035】まず、GOBの最初から順に各マクロブロ
ック(MB)を復号する(ステップS11)。そして、
誤りが検出されたか否かを判定する(ステップS1
2)。
First, each macro block (MB) is decoded sequentially from the beginning of the GOB (step S11). And
It is determined whether an error has been detected (step S1).
2).

【0036】各マクロブロックで誤りが検出されなけれ
ば、復号したマクロブロック画像を現フレーム画像メモ
リ13へ格納すると共に(ステップS13)、このとき
INTRAモードで復号されたかINTERモードで復
号されたかのモード情報をINTRA/INTERモー
ドメモリ14に格納する(ステップS14)。
If no error is detected in each macroblock, the decoded macroblock image is stored in the current frame image memory 13 (step S13), and mode information indicating whether the image was decoded in the INTRA mode or in the INTER mode at this time. Is stored in the INTRA / INTER mode memory 14 (step S14).

【0037】以上のステップS11〜S14でなるルー
プ処理を、GOBの終了を確認しつつGOBが終了する
まで繰返す(ステップS15)。このようにしてGOB
の終了を検出したときには、今回のGOBには誤りがな
く、復号が全て終了して、復号したマクロブロック画像
が全て現フレーム画像メモリ13へ格納されたことにな
り、次のGOBの処理に進むことになる。
The loop processing of steps S11 to S14 is repeated while confirming the end of the GOB until the end of the GOB (step S15). GOB in this way
Is detected, there is no error in the current GOB, decoding is completed, all decoded macroblock images are stored in the current frame image memory 13, and the process proceeds to the next GOB. Will be.

【0038】GOBの終了を検出する前に、上述したス
テップS12で誤りが検出されると、次の同期語(例え
ばフレーム開始符号PSCやGOB開始符号GBSC)
までの入力情報を捨て(ステップS16)、また、復号
できたマクロブロックのうちINTRA/INTERモ
ードメモリ14にINTRAモードであったと記憶され
たマクロブロックを破棄する(ステップS17)。
If an error is detected in step S12 before the end of the GOB is detected, the next synchronizing word (eg, frame start code PSC or GOB start code GBSC)
The input information up to this point is discarded (step S16), and among the macroblocks that can be decoded, the macroblock stored in the INTRA / INTER mode memory 14 as being in the INTRA mode is discarded (step S17).

【0039】そして、復号画像を破棄したマクロブロッ
クと、入力データが誤っているために復号処理が実行さ
れなかったマクロブロックとの画像を、参照フレーム画
像メモリ12に格納されている参照フレーム画像から生
成して(例えばそのまま取出して)現フレーム画像メモ
リ13へ格納し(ステップS18)、誤りが検出された
GOBの処理を終了する。
Then, the image of the macroblock from which the decoded image has been discarded and the image of the macroblock for which the decoding process has not been executed because the input data is incorrect are extracted from the reference frame image stored in the reference frame image memory 12. It is generated (for example, taken out as it is) and stored in the current frame image memory 13 (step S18), and the processing of the GOB in which the error is detected is ended.

【0040】なお、誤りが検出されたマクロブロック以
降の画像として復号処理を実行して画像を得ても画質劣
化が非常に大きいので、参照フレーム画像を利用(補
間)することは、現フレーム画像データとしておかしな
画像領域を存在させない(完成させる)点から好ましい
ことは勿論であり、上述したように、従来においても採
用されている。
It should be noted that even if an image is obtained by executing a decoding process as an image after the macroblock in which an error is detected, the image quality deteriorates very much. Of course, it is preferable from the viewpoint that a strange image area does not exist (complete) as data, and as described above, it is conventionally employed.

【0041】そこで、以下では、誤りが検出されたマク
ロブロックの前のマクロブロックの内、INTRAモー
ドで復号されたマクロブロック画像だけを破棄して参照
フレーム画像を利用して補間するようにした理由を説明
する。
Therefore, in the following, only the macroblock image decoded in the INTRA mode among the macroblocks before the macroblock in which the error is detected is discarded and the interpolation is performed using the reference frame image. Will be described.

【0042】上述した図8に示すように、誤りが生じた
場合に、一般的には復号側では誤りが生じたことを直ち
には検出できず、検出位置は発生位置より遅れており、
発生位置及び検出位置間では誤ったまま復号したマクロ
ブロック画像が出力されてしまう。
As shown in FIG. 8 described above, when an error occurs, generally, the decoding side cannot immediately detect that the error has occurred, and the detection position is later than the occurrence position.
Between the occurrence position and the detection position, a decoded macroblock image is output with an error.

【0043】そのため、発生位置及び検出位置間の復号
画像として、参照フレーム画像で補間することは好まし
いが、復号器において発生位置を特定することはできな
いので、発生位置及び検出位置間だけを補間することは
できない。また、発生位置以前の全てのマクロブロック
画像として参照フレーム画像を利用することは、正常に
復号できているマクロブロック画像もあり、一般的にそ
のような正常なマクロブロック画像の方が発生位置及び
検出位置間に対応した誤ったマクロブロック画像より領
域が大きいので、むしろ全体としての画質を劣化させて
しまい、好ましくない。
For this reason, it is preferable to interpolate a reference frame image as a decoded image between the occurrence position and the detection position, but since the occurrence position cannot be specified in the decoder, only the interpolation between the occurrence position and the detection position is performed. It is not possible. In addition, using the reference frame image as all the macroblock images before the occurrence position means that some macroblock images can be decoded normally, and such a normal macroblock image generally has the occurrence position and Since the area is larger than the erroneous macroblock image corresponding to between the detection positions, the image quality as a whole is rather deteriorated, which is not preferable.

【0044】そこで、誤り検出位置以前の部分(正常な
部分、並びに、誤り発生位置及び検出位置間の部分)の
入力データの全てを同様に扱って全体としての画質を向
上できる方法が望まれる。
Therefore, there is a demand for a method capable of improving the image quality as a whole by treating all the input data of the part before the error detection position (the normal part and the part between the error occurrence position and the detection position) in the same manner.

【0045】ところで、誤った復号をしたマクロブロッ
ク画像がINTRAモードとして復号された場合と、I
NTERモードとして復号された場合とでは、前者の復
号画像における画質劣化が甚だしい。
By the way, when the erroneously decoded macro block image is decoded in the INTRA mode,
When decoding is performed in the NTER mode, image quality of the former decoded image is significantly deteriorated.

【0046】誤った復号をしたマクロブロック画像がI
NTERモードとして復号された場合は、INTERモ
ードが参照画像との差分を伝送するモードであるため、
参照フレーム画像(例えば前フレーム)にノイズをのせ
たような復号画像が得られる。一方、誤った復号をした
マクロブロック画像がINTRAモードとして復号され
た場合は、INTRAモードでは参照フレーム画像とは
無関係に、現フレーム画像自身の入力データから画像を
復号するため、誤ったINTRAマクロブロック画像
は、周囲のマクロブロックとは全く異なった画像に復号
される可能性が非常に高い。
An erroneously decoded macroblock image is I
When decoded as the NTER mode, the INTER mode is a mode for transmitting the difference from the reference image.
A decoded image obtained by adding noise to the reference frame image (for example, the previous frame) is obtained. On the other hand, when the erroneously decoded macroblock image is decoded in the INTRA mode, the erroneous INTRA macroblock image is decoded in the INTRA mode, irrespective of the reference frame image, from the input data of the current frame image itself. It is very likely that an image will be decoded into an image that is completely different from the surrounding macroblocks.

【0047】図10は、この様子を模式的に示したもの
である。図10(b)に示すように、誤りが生じた場合
に、誤ったまま復号されたマクロブロックがINTRA
モードとして復号されたものである場合、非常に画質の
劣化が激しい。
FIG. 10 schematically shows this state. As shown in FIG. 10 (b), when an error occurs, a macroblock that is erroneously decoded is INTRA
When the mode is decoded, the image quality is extremely deteriorated.

【0048】以上の点を整理すると、画質面から以下の
ことが分かる。INTERモードとして復号された領域
は、そこが誤っていたとしても参照フレーム画像にノイ
ズが重畳された程度であり、正常領域を参照フレーム画
像を利用して補間することによる画質劣化を考慮する
と、誤り検出位置以前の部分(正常な部分、並びに、誤
り発生位置及び検出位置間の部分)を同様に扱う場合に
おいて、INTERモードとして復号された領域は、参
照フレーム画像を利用して補間しないことが好ましい。
一方、INTRAモードとして復号された領域は、そこ
が誤っていたときには非常に大きな画質劣化を生じ、正
常領域を参照フレーム画像を利用して補間することによ
る画質劣化は相前後するフレーム画像の相関性からごく
わずかであり、誤り検出位置以前の部分(正常な部分、
並びに、誤り発生位置及び検出位置間の部分)を同様に
扱う場合において、INTRAモードとして復号された
マクロブロックは、参照フレーム画像を利用して補間す
る(置き換える)ことが好ましい。
When the above points are arranged, the following can be understood from the aspect of image quality. The region decoded in the INTER mode is such that even if it is erroneous, noise is superimposed on the reference frame image, and in consideration of the image quality deterioration due to interpolation of the normal region using the reference frame image, an error occurs. In a case where a part before the detection position (a normal part and a part between the error occurrence position and the detection position) is similarly treated, it is preferable that the region decoded in the INTER mode is not interpolated using the reference frame image. .
On the other hand, when the region decoded in the INTRA mode is incorrect, the image quality deteriorates significantly when the region is erroneous, and the image quality deterioration due to interpolation of the normal region using the reference frame image is caused by the correlation between the successive frame images. From the error detection position (normal part,
In addition, when treating the portion between the error occurrence position and the detection position in the same manner, it is preferable that the macroblock decoded in the INTRA mode is interpolated (replaced) using the reference frame image.

【0049】そこで、第1の実施形態においては、誤り
が検出されたマクロブロックの前のマクロブロックの
内、INTRAモードで復号されたマクロブロック画像
を破棄して、参照フレーム画像を利用して補間すること
とした。
Therefore, in the first embodiment, among the macroblocks before the macroblock in which the error is detected, the macroblock image decoded in the INTRA mode is discarded, and interpolation is performed using the reference frame image. It was decided to.

【0050】以上のように、第1の実施形態によれば、
誤りを検出した以降のマクロブロックだけでなく、誤り
検出以前でも、誤っていた場合の画質の劣化が激しいI
NTRAマクロブロックの復号画像を破棄し、破棄した
マクロブロックの画像を参照フレーム画像を利用して補
間するようにしたので、誤りが生じた場合でも、全体と
しての画質劣化を従来より小さく押さえることができ
る。
As described above, according to the first embodiment,
Not only the macroblock after the error is detected, but also before the error is detected, the image quality is severely degraded when an error is detected.
Since the decoded image of the NTRA macroblock is discarded and the image of the discarded macroblock is interpolated using the reference frame image, even if an error occurs, the overall image quality degradation can be kept smaller than before. it can.

【0051】(B)第2の実施形態 次に、本発明による動画像圧縮符号の復号方法及び復号
装置の第2の実施形態を図面を参照しながら詳述する。
(B) Second Embodiment Next, a second embodiment of a moving picture compression code decoding method and decoding apparatus according to the present invention will be described in detail with reference to the drawings.

【0052】動画像符号化・復号方法として、従来、自
己同期回復機能を持つ可変長符号を用いて符号化し、復
号時に誤りを検出したときに、自己同期回復機能を持つ
可変長符号を探索することによって、誤りが発生して可
変長符号の同期を損失しても復号を続けるうちに次の同
期語に至る前に同期を回復し、同期回復以降の復号デー
タを利用できるようにした方法も、同一出願人によって
既に提案されている(特願平6−247976号明細書
及び図面)。
Conventionally, as a moving image encoding / decoding method, a variable length code having a self-synchronization recovery function is used for coding, and when an error is detected during decoding, a variable-length code having a self-synchronization recovery function is searched for. In this way, even if an error occurs and the synchronization of the variable length code is lost, the synchronization is restored before the next synchronization word is reached while decoding continues, and the decoded data after the synchronization recovery can be used. Has already been proposed by the same applicant (Japanese Patent Application No. 6-247976 and the drawings).

【0053】第2の実施形態の復号方法及び復号装置
は、このような自己同期回復機能を持つ可変長符号を用
いている動画像圧縮符号の復号に関するものである。
The decoding method and the decoding apparatus according to the second embodiment relate to decoding of a moving picture compression code using a variable length code having such a self-synchronization recovery function.

【0054】自己同期回復機能を持つ可変長符号を用い
ている動画像圧縮符号の従来の復号方法は、同期語によ
らない自己同期回復により、復号に使用できないデータ
量を減少させるという効果を有するものであるが、誤り
に伴う画質劣化の抑制量がまだまだ低いという課題を有
する。
The conventional decoding method of a moving picture compression code using a variable-length code having a self-synchronization recovery function has an effect of reducing the amount of data that cannot be used for decoding by self-synchronization recovery not depending on a synchronization word. However, there is a problem that the amount of suppression of image quality deterioration due to errors is still low.

【0055】図11(a)に示すように、誤り検出位置
から自己同期回復までのデータを破棄して参照フレーム
画像に置き換える措置を講じていたが、破棄することな
く誤って復号している箇所が存在し、画質劣化を引き起
こすことを避けることができない。すなわち、図11
(b)に示すように、「発明が解決しようとする課題」
の項で述べたと同様に、誤り検出位置以前に誤り箇所が
存在することもあり得る。また、誤りによるデータ変化
によっては、自己同期回復機能を持つ可変長符号が偶然
に誤り部分に生じる場合も考えられ、このような場合、
自己同期回復と誤って判断することになり、これ以降の
誤ったデータが復号に用いられる。
As shown in FIG. 11A, a measure was taken to discard the data from the error detection position to the self-synchronization recovery and replace it with the reference frame image. Is present, and it cannot be avoided that image quality deteriorates. That is, FIG.
As shown in (b), "Problems to be solved by the invention"
In the same manner as described in the section, an error part may exist before the error detection position. In addition, depending on a data change due to an error, a variable length code having a self-synchronization recovery function may accidentally occur in an error portion. In such a case,
The self-synchronization recovery is erroneously determined, and erroneous data thereafter is used for decoding.

【0056】第2の実施形態に係る動画像圧縮符号復号
器の情報源復号器も、その構成は、第1の実施形態に係
る図1に示した構成と同様な構成を有する。すなわち、
情報源復号器本体11、参照フレーム画像メモリ12、
現フレーム画像メモリ13及びINTRA/INTER
モードメモリ14を備えている。
The information source decoder of the moving picture compression code decoder according to the second embodiment has the same configuration as the configuration shown in FIG. 1 according to the first embodiment. That is,
Information source decoder body 11, reference frame image memory 12,
Current frame image memory 13 and INTRA / INTER
A mode memory 14 is provided.

【0057】なお、当該情報源復号器及びその前段のビ
デオ信号多重化復号器が自己同期回復機能に対応してい
る点は、第1の実施形態と相違している。
Note that the information source decoder and the preceding video signal multiplexing decoder correspond to the self-synchronization recovery function, which is different from the first embodiment.

【0058】次に、この第2の実施形態の復号方法、言
い換えると、情報源復号器本体11の動作を説明する。
Next, the decoding method of the second embodiment, in other words, the operation of the information source decoder main body 11 will be described.

【0059】ビデオ信号多重化復号器(図2参照)から
入力される系列は、情報源復号器本体11において、各
GOB毎に参照フレーム画像メモリ12を参照しつつ、
順にマクロブロック画像に復号され、現フレーム画像メ
モリ13に格納される。この際、各マクロブロックがI
NTRAモードで復号されたかINTERモードで復号
されたかをINTRA/INTERモードメモリ14に
記憶しておく。
The sequence input from the video signal multiplexing decoder (see FIG. 2) is read by the information source decoder body 11 while referring to the reference frame image memory 12 for each GOB.
They are sequentially decoded into macroblock images and stored in the current frame image memory 13. At this time, each macro block is I
Whether the data is decoded in the NTRA mode or the INTER mode is stored in the INTRA / INTER mode memory 14.

【0060】あるGOBで誤りが発生したことをビデオ
信号多重化復号器若しくは情報源復号器本体11で検出
した場合は、同期回復処理を行なって同期回復までの入
力データを捨てる。同期回復以降、次の同期語(例えば
フレーム開始符号PSCやGOB開始符号GBSC)ま
での復号データのうち、INTERモードであるマクロ
ブロックについてはマクロブロック画像に復号して現フ
レーム画像メモリ13に格納する。言い換えると、同期
回復以降、次の同期語までの間で、INTRAモードに
係るマクロブロックの復号画像を破棄したことになる。
また、誤りが検出されるまで復号できたマクロブロック
のうちINTRA/INTERモードメモリ14にIN
TRAモードで復号したと記憶されたマクロブロック画
像を破棄する。その後、入力データが誤りのために復号
処理がなされなかったマクロブロック及びINTRAモ
ードであったために復号画像を破棄したマクロブロック
の画像を、参照フレーム画像メモリ12に格納されてい
る参照フレーム画像から生成(補間)する。
When the video signal multiplexing decoder or the information source decoder main body 11 detects that an error has occurred in a certain GOB, it performs synchronization recovery processing and discards input data until the synchronization recovery. After the synchronization recovery, among the decoded data up to the next synchronization word (for example, the frame start code PSC or the GOB start code GBSC), the macroblock in the INTER mode is decoded into a macroblock image and stored in the current frame image memory 13. . In other words, the decoded image of the macroblock related to the INTRA mode has been discarded between the synchronization recovery and the next synchronization word.
Also, among the macroblocks that could be decoded until an error was detected, the INTRA / INTER mode memory 14
The macroblock image stored as decoded in the TRA mode is discarded. Thereafter, an image of a macroblock in which decoding processing has not been performed due to an error in the input data and a macroblock in which the decoded image has been discarded due to the INTRA mode are generated from the reference frame image stored in the reference frame image memory 12. (Interpolate).

【0061】なお、INTRAマクロブロックの破棄
は、誤りが検出されたGOB内のみに対して行なう。
The INTRA macroblock is discarded only in the GOB where an error has been detected.

【0062】図12は、このような第2の実施形態の復
号方法の処理のうち、各GOB毎の処理の流れを示すフ
ローチャートである。
FIG. 12 is a flowchart showing the flow of processing for each GOB in the processing of the decoding method according to the second embodiment.

【0063】まず、GOBの最初から順に各マクロブロ
ック(MB)を復号する(ステップS21)。そして、
誤りが検出されたか否かを判定する(ステップS2
2)。各マクロブロックで誤りが検出されなければ、復
号したマクロブロック画像を現フレーム画像メモリ13
へ格納すると共に(ステップS23)、このときINT
RAモードで復号されたかINTERモードで復号され
たかのモード情報をINTRA/INTERモードメモ
リ14に格納する(ステップS24)。
First, each macro block (MB) is decoded sequentially from the beginning of the GOB (step S21). And
It is determined whether an error has been detected (step S2).
2). If no error is detected in each macroblock, the decoded macroblock image is stored in the current frame image memory 13.
(Step S23), and at this time INT
The mode information indicating whether the decoding is performed in the RA mode or the INTER mode is stored in the INTRA / INTER mode memory 14 (step S24).

【0064】以上のステップS21〜S24でなるルー
プ処理を、GOBの終了を確認しつつGOBが終了する
まで繰返す(ステップS25)。このようにしてGOB
の終了を検出したときには、今回のGOBには誤りがな
く、復号が全て終了して、復号したマクロブロック画像
が全て現フレーム画像メモリ13へ格納されたことにな
り、次のGOBの処理に進むことになる。以上のよう
に、誤りが発生しない場合の処理は、第1の実施形態と
同様である。
The loop processing consisting of the above steps S21 to S24 is repeated while confirming the end of the GOB until the end of the GOB (step S25). GOB in this way
Is detected, there is no error in the current GOB, decoding is completed, all decoded macroblock images are stored in the current frame image memory 13, and the process proceeds to the next GOB. Will be. As described above, the processing when no error occurs is the same as in the first embodiment.

【0065】GOBの終了を検出する前に、上述したス
テップS22で誤りが検出されると、まず、同期回復処
理を実行する(ステップS26)。この同期回復処理に
は、特願平6−247976号明細書及び図面に記載の
方法を適用できる。
If an error is detected in step S22 before the end of the GOB is detected, first, a synchronization recovery process is executed (step S26). The method described in Japanese Patent Application No. 6-247976 and the drawings can be applied to the synchronization recovery processing.

【0066】次いで、同期回復以降、次の同期語(例え
ばフレーム開始符号PSCやGOB開始符号GBSC)
までの入力データのうち、INTERモードの各マクロ
ブロックに係るデータを復号して現フレーム画像メモリ
13に格納する(ステップS27)。なお、同期が回復
せずに次の同期語に到達してしまった場合は、同期回復
以降、次の同期語までのデータがないものとして、ステ
ップS27では何も復号処理を実行しない。次に、ステ
ップS21〜S25でなるループ処理によって復号でき
たマクロブロックのうちINTRA/INTERモード
メモリ14にINTRAモードであったと記録されたマ
クロブロック画像を破棄する(ステップS28)。最後
に、復号画像を破棄したマクロブロックと、データ誤り
によって復号が実行されなかった残りのマクロブロック
との画像を、参照フレーム画像メモリ12の格納データ
から生成して現フレーム画像メモリ13へ格納し(ステ
ップS29)、誤りが検出されたGOBの処理を終了す
る。
Next, after synchronization recovery, the next synchronization word (for example, frame start code PSC or GOB start code GBSC)
Of the input data up to this point, the data relating to each macroblock in the INTER mode is decoded and stored in the current frame image memory 13 (step S27). If the synchronization has not been restored and the next synchronization word has been reached, it is assumed that there is no data up to the next synchronization word after the synchronization recovery, and no decoding process is executed in step S27. Next, among the macroblocks decoded by the loop processing of steps S21 to S25, the macroblock image recorded in the INTRA / INTER mode memory 14 as being in the INTRA mode is discarded (step S28). Finally, an image of the macroblock from which the decoded image has been discarded and the remaining macroblocks that have not been decoded due to a data error are generated from the data stored in the reference frame image memory 12 and stored in the current frame image memory 13. (Step S29), the process of the GOB in which the error is detected ends.

【0067】なお、この第2の実施形態において、同期
回復後にINTERモードのマクロブロックの画像だけ
を復号し、INTRAモードのマクロブロックの画像と
して参照フレーム画像を利用して補間するようにしたの
は、第1の実施形態について説明した、誤り検出位置前
において同様な処理を行なう理由と同様である。
In the second embodiment, only the image of the macro block in the INTER mode is decoded after synchronization recovery, and interpolation is performed using the reference frame image as the image of the macro block in the INTRA mode. This is the same as the reason for performing the same processing before the error detection position described in the first embodiment.

【0068】以上のように、第2の実施形態によれば、
画質の劣化が激しい誤ったINTRAマクロブロックの
画像を破棄しているため、誤りが生じた場合でも極端な
画質の劣化がない。また、正しく復号されている可能性
の高い同期回復以降の符号のうち画質劣化の危険性の高
いINTRAマクロブロックを除くINTERマクロブ
ロックを復号画像に利用するため画質を従来より向上で
きる。
As described above, according to the second embodiment,
Since an image of an erroneous INTRA macroblock whose image quality is significantly deteriorated is discarded, there is no extreme image quality deterioration even when an error occurs. In addition, since the INTER macroblocks other than the INTRA macroblocks, which are highly likely to be degraded in image quality among the codes after synchronization recovery that are highly likely to be correctly decoded, are used for the decoded image, the image quality can be improved as compared with the related art.

【0069】(C)他の実施形態 上記各実施形態は、TTC標準(高位レイヤプロトコル
符号化方式)JT-H.261勧告に従う動画像圧縮符号又はそ
れを一部改良の動画像圧縮符号を復号するものであった
が、本発明を他の動画像圧縮符号の復号に適用できるこ
とは勿論である。例えば、フレーム画像の分割の階層数
が上記のものより少なくても良い。また、直交変換方法
として離散コサイン変換以外のものを適用したものであ
っても良い。さらに、参照画像が符号化位置より上部の
現画像(ライン)であっても良い。しかし、参照画像と
の差分を符号化する領域と、参照画像を用いずに符号化
する領域が混在していることを要する。
(C) Other Embodiments Each of the above embodiments decodes a moving image compression code according to the TTC standard (higher layer protocol coding method) JT-H.261 recommendation or a partially improved moving image compression code. However, it goes without saying that the present invention can be applied to decoding of other moving image compression codes. For example, the number of layers for dividing the frame image may be smaller than that described above. Further, a method other than the discrete cosine transform may be applied as the orthogonal transform method. Further, the reference image may be the current image (line) above the encoding position. However, it is necessary that an area for encoding the difference from the reference image and an area for encoding without using the reference image coexist.

【0070】また、上述の説明では、存在しない可変長
符号語の発見によって誤りを検出するものを示したが、
誤り検出方法もこれに限定されるものではない。例え
ば、変換係数部分の可変長符号(TCOEFF)を復号
した際に、所定個数より多いデータが得られた場合に誤
りと検出するようにしても良い。
In the above description, an error is detected by finding a non-existent variable-length codeword.
The error detection method is not limited to this. For example, when decoding a variable length code (TCOEFF) of a transform coefficient portion, if more data than a predetermined number is obtained, an error may be detected.

【0071】[0071]

【発明の効果】以上のように、本発明によれば、その画
像領域の情報が誤っている場合に復号画像の画質劣化が
著しい、参照画像とは独立な情報のみから復号された画
像領域情報を破棄し、破棄した画像領域と、誤りのため
に復号できなかった画像領域の復号画像を、参照画像か
ら生成するようにしたので、動画像圧縮符号に誤りがあ
っても復号画像の画質劣化をごく僅かに押さえることが
できる。
As described above, according to the present invention, when the information of the image area is incorrect, the image quality of the decoded image is significantly deteriorated, and the image area information decoded only from the information independent of the reference image. Is discarded, and the decoded image of the discarded image region and the decoded image of the image region that could not be decoded due to an error are generated from the reference image. Can be suppressed very slightly.

【図面の簡単な説明】[Brief description of the drawings]

【図1】第1の実施形態の復号処理を示すフローチャー
トである。
FIG. 1 is a flowchart illustrating a decoding process according to a first embodiment.

【図2】動画像圧縮符号の符号器・復号器の構成を示す
ブロック図である。
FIG. 2 is a block diagram illustrating a configuration of an encoder / decoder of a moving image compression code.

【図3】動画像データの階層的分割の説明図である。FIG. 3 is an explanatory diagram of hierarchical division of moving image data.

【図4】動画像圧縮符号のビット列構成例を示す説明図
である。
FIG. 4 is an explanatory diagram illustrating an example of a bit sequence configuration of a moving image compression code.

【図5】図4に示す動画像圧縮符号のデータ種類毎の可
変長符号化テーブル例を示す説明図である。
FIG. 5 is an explanatory diagram showing an example of a variable-length encoding table for each data type of the moving image compression code shown in FIG. 4;

【図6】図4に示す動画像圧縮符号の多重化処理系統を
示す説明図である。
FIG. 6 is an explanatory diagram showing a multiplexing processing system of the moving image compression code shown in FIG. 4;

【図7】従来の復号処理を示すフローチャートである。FIG. 7 is a flowchart showing a conventional decoding process.

【図8】従来の課題の説明図である。FIG. 8 is an explanatory diagram of a conventional problem.

【図9】第1の実施形態に係る情報源復号器の構成を示
すブロック図である。
FIG. 9 is a block diagram illustrating a configuration of an information source decoder according to the first embodiment.

【図10】INTER及びINTRAモード間の誤り時
の復号画質の相違を示す説明図である。
FIG. 10 is an explanatory diagram illustrating a difference in decoded image quality between an INTER mode and an INTRA mode when an error occurs.

【図11】第2の実施形態が前提とする従来の復号方法
の課題説明図である。
FIG. 11 is an explanatory diagram of a problem of a conventional decoding method premised on the second embodiment.

【図12】第2の実施形態の復号処理を示すフローチャ
ートである。
FIG. 12 is a flowchart illustrating a decoding process according to the second embodiment.

【符号の説明】[Explanation of symbols]

11…情報源復号器本体、12…参照フレーム画像メモ
リ、13…現フレーム画像メモリ、14…INTRA/
INTERモードメモリ。
11: information source decoder main body, 12: reference frame image memory, 13: current frame image memory, 14: INTRA /
INTER mode memory.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中井 敏久 東京都港区虎ノ門1丁目7番12号 沖電 気工業株式会社内 (58)調査した分野(Int.Cl.6,DB名) H04N 7/24 - 7/68 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Toshihisa Nakai 1-7-12 Toranomon, Minato-ku, Tokyo Oki Electric Industry Co., Ltd. (58) Field surveyed (Int. Cl. 6 , DB name) H04N 7 / 24-7/68

Claims (4)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 現画像とそれ以前に伝送した参照画像と
の差分に基づく情報を伝送する画像領域と、現画像のみ
からの情報を伝送する画像領域との可変長符号が混在す
る動画像圧縮符号を復号する動画像圧縮符号の復号方法
において、 伝送路で生じた誤りが検出された場合に、前の同期位置
から次の同期位置までの間で、参照画像とは独立な現画
像の情報のみから復号された画像領域情報を破棄し、破
棄した画像領域と、誤りのために復号できなかった画像
領域との復号画像を、参照画像から生成することを特徴
とする動画像圧縮符号の復号方法。
1. A moving image compression system in which variable-length codes are mixed in an image area for transmitting information based on a difference between a current image and a reference image transmitted before that, and an image area for transmitting information only from the current image. In the decoding method of a moving image compression code for decoding a code, when an error occurring in a transmission path is detected, information of a current image independent of a reference image from a previous synchronization position to a next synchronization position. Decoding of a video compression code, wherein a decoded image of a discarded image region and an image region that could not be decoded due to an error is generated from a reference image Method.
【請求項2】 現画像とそれ以前に伝送した参照画像と
の差分に基づく情報を伝送する画像領域と、現画像のみ
からの情報を伝送する画像領域との可変長符号が混在す
る、しかもその可変長符号の自己同期回復機能が利用可
能である動画像圧縮符号を復号する動画像圧縮符号の復
号方法において、 伝送路で生じた誤りが検出された場合に、喪失した可変
長符号の同期を回復させ、同期回復以降、次の同期位置
までの符号データの内、参照画像との差分に基づく情報
を伝送している画像領域を復号し、前の同期位置から誤
りを検出するまでの間で、参照画像とは独立な現画像の
情報のみから復号された画像領域情報を破棄し、破棄し
た画像領域と復号できなかった画像領域との復号画像
を、参照画像から生成することを特徴とする動画像圧縮
符号の復号方法。
2. An image area for transmitting information based on a difference between a current image and a reference image transmitted before that, and an image area for transmitting information only from the current image, in which variable-length codes are mixed. In a moving picture compression code decoding method for decoding a moving picture compression code in which a self-synchronization recovery function of a variable length code is available, when an error occurring in a transmission path is detected, synchronization of the lost variable length code is performed. After the synchronization recovery, in the code data up to the next synchronization position, the image area transmitting the information based on the difference from the reference image is decoded, and until the error is detected from the previous synchronization position. Discarding image region information decoded only from information of a current image independent of a reference image, and generating a decoded image of the discarded image region and an image region that could not be decoded from the reference image. Video compression mark Method of decoding.
【請求項3】 現画像とそれ以前に伝送した参照画像と
の差分に基づく情報を伝送する画像領域と、現画像のみ
からの情報を伝送する画像領域との可変長符号が混在す
る動画像圧縮符号を復号する動画像圧縮符号の復号装置
において、 伝送路で生じた誤りを検出する誤り検出手段と、 誤りが検出された場合に、前の同期位置から次の同期位
置までの間で、参照画像とは独立な現画像の情報のみか
ら復号された画像領域情報を破棄する破棄手段と、 破棄した画像領域と復号できなかった画像領域との復号
画像を、参照画像から生成する画像補間手段とを有する
ことを特徴とする動画像圧縮符号の復号装置。
3. A moving picture compression system in which variable-length codes are mixed in an image area for transmitting information based on a difference between a current image and a reference image transmitted before that, and an image area for transmitting information based on only the current image. In a moving picture compression code decoding apparatus for decoding a code, an error detection means for detecting an error occurring in a transmission path, and when an error is detected, a reference is provided between a previous synchronization position and a next synchronization position. Discarding means for discarding image area information decoded only from information of the current image independent of the image; and image interpolating means for generating a decoded image of the discarded image area and the image area that could not be decoded from the reference image. An apparatus for decoding a moving image compression code, comprising:
【請求項4】 現画像とそれ以前に伝送した参照画像と
の差分に基づく情報を伝送する画像領域と、現画像のみ
からの情報を伝送する画像領域との可変長符号が混在す
る、しかもその可変長符号の自己同期回復機能を利用可
能である動画像圧縮符号を復号する動画像圧縮符号の復
号装置において、 伝送路で生じた誤りを検出する誤り検出手段と、 誤りが検出された場合に、喪失した可変長符号の同期を
回復させる同期回復手段と、 同期回復以降、次の同期位置までの符号データの内、参
照画像との差分に基づく情報を伝送している領域を復号
する参照画像利用領域復号手段と、 前の同期位置から誤りを検出するまでの間で、参照画像
とは独立な現画像の情報のみから復号された画像領域を
破棄する破棄手段と、 破棄した画像領域と復号できなかった画像領域との復号
画像を、参照画像から生成する画像補間手段とを有する
ことを特徴とする動画像圧縮符号の復号装置。
4. An image area for transmitting information based on a difference between a current image and a reference image transmitted before that, and an image area for transmitting information only from the current image, and variable-length codes are mixed. In a moving picture compression code decoding apparatus for decoding a moving picture compression code capable of utilizing a self-synchronization recovery function of a variable length code, an error detection means for detecting an error occurring on a transmission line, and Synchronization recovery means for recovering the synchronization of the lost variable-length code, and a reference image for decoding an area transmitting information based on a difference from the reference image in code data up to the next synchronization position after the synchronization recovery. Use area decoding means; discard means for discarding an image area decoded only from information of a current image independent of a reference image until an error is detected from a previous synchronization position; and discarded image area and decoding Can Bought and the decoded image of the image area, the image interpolation means and decoding apparatus of the moving image compression encoding, characterized by having a generated from the reference image.
JP25063395A 1995-09-28 1995-09-28 Method and apparatus for decoding moving image compression code Expired - Fee Related JP2887177B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25063395A JP2887177B2 (en) 1995-09-28 1995-09-28 Method and apparatus for decoding moving image compression code

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25063395A JP2887177B2 (en) 1995-09-28 1995-09-28 Method and apparatus for decoding moving image compression code

Publications (2)

Publication Number Publication Date
JPH0993589A JPH0993589A (en) 1997-04-04
JP2887177B2 true JP2887177B2 (en) 1999-04-26

Family

ID=17210765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25063395A Expired - Fee Related JP2887177B2 (en) 1995-09-28 1995-09-28 Method and apparatus for decoding moving image compression code

Country Status (1)

Country Link
JP (1) JP2887177B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006046476A1 (en) 2004-10-29 2006-05-04 Sharp Kabushiki Kaisha Moving image decoding apparatus and moving image decoding method
JP5499700B2 (en) * 2009-12-25 2014-05-21 日本電気株式会社 Information compression apparatus, information restoration apparatus, information compression method, information restoration method, and processing program therefor

Also Published As

Publication number Publication date
JPH0993589A (en) 1997-04-04

Similar Documents

Publication Publication Date Title
JP3630474B2 (en) Moving picture transmission system and moving picture transmission apparatus
JP4537583B2 (en) Error concealment of video signal
EP1542475B1 (en) Video coding
JP5007012B2 (en) Video encoding method
US5703889A (en) High efficiency coding signal processing apparatus with error propagation influence reduction
JP3762392B2 (en) Video coding method and apparatus
EP0920214B1 (en) Apparatus and method of coding/decoding moving picture
JPH08111867A (en) Coding method and decoding method for dynamic image
KR20030090688A (en) Image coding method and apparatus and image decoding method and apparatus
JP3053781B2 (en) Method and apparatus for decoding moving image compression code
US5557331A (en) Image encoding method, an image encoding circuit, an image encoding apparatus, and an optical disk
US6356661B1 (en) Method and device for robust decoding of header information in macroblock-based compressed video data
JP2002027483A (en) Picture coding system, picture decoding system, and storage media
JP2887177B2 (en) Method and apparatus for decoding moving image compression code
JP3245496B2 (en) Image encoding method, image encoding circuit, image encoding device, and playback device
JPH10145789A (en) Animation encoding and decoding method
JP3976975B2 (en) Image processing apparatus and method, and storage medium
JP2001309388A (en) Error image supplementing method in image decoder
JPH1023415A (en) Method and device for encoding and decoding picture
KR100312418B1 (en) Intra mode code selection method in video coder
JP3474862B2 (en) Moving picture decoding apparatus and moving picture decoding method
JP3474861B2 (en) Moving picture decoding apparatus and moving picture decoding method
JPH10136369A (en) Decoder for digital moving image
JP3756901B2 (en) Moving picture decoding apparatus and moving picture decoding method
KR20050089457A (en) Error concealment method in decoding motion picture

Legal Events

Date Code Title Description
FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090219

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090219

Year of fee payment: 10

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100219

Year of fee payment: 11

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110219

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110219

Year of fee payment: 12

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120219

Year of fee payment: 13

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees