JPH03124182A - Cell abort compensation picture decoding system - Google Patents
Cell abort compensation picture decoding systemInfo
- Publication number
- JPH03124182A JPH03124182A JP1262257A JP26225789A JPH03124182A JP H03124182 A JPH03124182 A JP H03124182A JP 1262257 A JP1262257 A JP 1262257A JP 26225789 A JP26225789 A JP 26225789A JP H03124182 A JPH03124182 A JP H03124182A
- Authority
- JP
- Japan
- Prior art keywords
- block
- data
- cell
- frame
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 44
- 230000000694 effects Effects 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 17
- 230000009466 transformation Effects 0.000 description 12
- 238000013139 quantization Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
Abstract
Description
【発明の詳細な説明】
〔概 要〕
複数の画素をブロックとして入力画像データを符号化し
、セル単位で伝送する画像データ伝送システムにおいて
、セル廃棄が起こった場合のセル廃棄補償画像復号化方
式に関し、
セル廃棄のあったブロックの前のフレーム内の該当する
ブロック内のデータの交流成分を0にクリアしてそのデ
ータを出力することにより、セル廃棄の前の模様を消す
ことを目的とし、複数の画素をブロックとして入力画像
データを直交変換し、該直交変換係数領域の係数を符号
化してセル単位で伝送し、受信側に受信データを逆直交
変換して画像データを出力する逆直交変換部を有する画
像データ伝送システムにおいて、該画像データ伝送シス
テムの受信側に、セル廃棄の有無を検出し、廃棄のあっ
た時には該廃棄セルに対応するブロックを含むフレーム
より時間的に1枚前のフレーム内で該ブロックに対応す
るブロックの係数領域の復号化後のデータを、交流成分
を表す全ての係数を0クリアして逆直交変換部)に出力
し、セル廃棄のない時には復号化後の入力をそのまま逆
直交変換部に出力する廃棄補償手段を有するように構成
する。[Detailed Description of the Invention] [Summary] This invention relates to a cell discard compensation image decoding method when cell discard occurs in an image data transmission system in which input image data is encoded using a plurality of pixels as blocks and transmitted in units of cells. , The purpose is to erase the pattern before cell discard by clearing the AC component of the data in the corresponding block in the frame before the block where the cell was discarded to 0 and outputting that data. an inverse orthogonal transform unit that orthogonally transforms input image data using pixels as blocks, encodes coefficients in the orthogonal transform coefficient region, transmits them in cell units, performs inverse orthogonal transform on the received data to the receiving side, and outputs image data. In an image data transmission system having an image data transmission system, the receiving side of the image data transmission system detects the presence or absence of discarded cells, and when there is discarded cell, a frame that is one frame before the frame containing the block corresponding to the discarded cell is sent to the receiving side of the image data transmission system. The decoded data of the coefficient domain of the block corresponding to the block is output to the inverse orthogonal transform unit (inverse orthogonal transform unit) with all coefficients representing AC components cleared to 0, and when there is no cell discard, the data after decoding is input. It is configured to have a discard compensation means for outputting the same as it is to the inverse orthogonal transform section.
〔産業上の利用分野〕
本発明は画像データの伝送方式に係り、さらに詳しくは
複数の画素をブロックとして入力画像データを符号化し
、セル単位で伝送する画像データ伝送システムにおいて
、セル廃棄が起こった場合のセル廃棄補償画像復号化方
式に関する。[Industrial Application Field] The present invention relates to an image data transmission method, and more specifically, the present invention relates to an image data transmission method, and more specifically, to an image data transmission system in which input image data is encoded using a plurality of pixels as a block and transmitted in units of cells, in which cell discard occurs. The present invention relates to a cell discard compensation image decoding method for cases in which cells are discarded.
最近画像機器のディジタル化、画像ディジタル信号の伝
送方式などが、テレビ電話など多くの応用分野で広く開
発、研究されている。一般に画像データはその情報量が
非常に多い。例えば現在のテレビをそのままディジタル
化すると100Mb/Sの伝送容量が必要であり、画像
データは音声の1500倍の情報量を持っている。テレ
ビでは1秒間に画面が30回切替わり、1/30秒でフ
レームが切換えられる。1枚のフレームに対応する1画
面上に画素は一般的に2次元的に配置されており、1画
素のレベルを例えば8ビツトで表すとしても、1フレー
ムに対する画像データは非常にその情報量が多くなる。Recently, the digitization of image equipment and the transmission method of image digital signals have been widely developed and researched in many application fields such as videophones. Generally, image data has a very large amount of information. For example, if current televisions were to be digitized as is, a transmission capacity of 100 Mb/s would be required, and image data has 1,500 times more information than audio. On a television, the screen changes 30 times per second, and frames change every 1/30 of a second. Pixels are generally arranged two-dimensionally on one screen corresponding to one frame, and even if the level of one pixel is represented by, for example, 8 bits, the amount of information in the image data for one frame is extremely large. There will be more.
しかしながらテレビで1730秒でフレームが切換えら
れる場合にも、各フレームの絵の内容はあまり大きく変
化しないことが多い。すなわち画像は空や背景などのよ
うに全体的に止まっている部分が多く、フレーム毎に変
化する部分が少ない。However, even when frames are switched every 1730 seconds on a television, the content of the pictures in each frame often does not change significantly. In other words, there are many parts of the image that are completely static, such as the sky and background, and there are few parts that change from frame to frame.
そこで画像データを圧縮して符号化する1つの方式とし
てフレーム間符号化方式がある。Therefore, one method for compressing and encoding image data is an interframe encoding method.
フレーム間符号化方式では時間的に連続する2つのフレ
ームの間で例えば対応する画素毎に、レベルデータの差
がとられ、その差が例えばハフマン符号化されて伝送路
上に送出される。大部分の画素に対するレベルが変化し
ないとすると、それらの画素に対する差は0となり、そ
の差は1ビツトで表すことができる。レベル差の大きい
画素に対する符号は8ビツト以上必要となるが、これら
の差分だけを符号化することにより、結果として伝送す
べき情報量が大きく圧縮されることになる。In the interframe coding method, a difference in level data is determined for each corresponding pixel between two temporally consecutive frames, and the difference is subjected to, for example, Huffman encoding and sent onto a transmission path. If the level for most pixels does not change, the difference for those pixels will be 0, and the difference can be represented by one bit. Pixels with large level differences require codes of 8 bits or more, but by coding only these differences, the amount of information to be transmitted can be greatly compressed.
これに対して1フレーム内のデータをそのまま符号化す
る方式はフレーム内符号化方式と呼ばれる。On the other hand, a method of encoding data within one frame as is is called an intraframe encoding method.
フレーム間符号化、フレーム内符号化のいずれを用いる
としても、画像信号のディジタル表現には標本化および
量子化の2つの操作が基本的に必要になる。画像の標本
化には2つの方法があり、その第1は画像をフレーム内
の画素に対応する離散的な点記列に対するレベル値で表
すことである。Regardless of whether interframe coding or intraframe coding is used, two operations, sampling and quantization, are basically required for digital representation of an image signal. There are two ways to sample an image; the first is to represent the image in terms of level values for discrete sequences of dots corresponding to pixels within a frame.
第2の方法はフレーム面に対応するXY平面で定義され
たレベル値関数(画像関数)を正規直交展開し、その展
開係数を標本値とすることである。The second method is to perform orthonormal expansion of a level value function (image function) defined on the XY plane corresponding to the frame surface, and use the expansion coefficients as sample values.
第10図は第2の方式である正規直交変換を用いた画像
伝送システムの全体ブロック図である。FIG. 10 is an overall block diagram of an image transmission system using orthonormal transformation, which is the second method.
第10図において入力画像は1でブロック化され、2で
直交変換された後、3で量子化され、4で例えばハフマ
ン符号化されて送り側から伝送路5に送り出される。そ
して受信側では伝送路5からの信号を6で復号化し、7
で逆直交変換し、8で逆ブロック化して画像データとし
て出力する。ここで1のブロック化は2次元のKXK個
(1画面分)の画素のデータを−まとめにして直交変換
するのでなく、4×4〜16X16個程度の画素を1ブ
ロックとしてブロック単位に変換係数を求めることによ
り、変換時間を短縮するために行われる。In FIG. 10, the input image is divided into blocks at 1, orthogonally transformed at 2, quantized at 3, and subjected to, for example, Huffman coding at 4, and sent from the sending side to the transmission line 5. Then, on the receiving side, the signal from transmission line 5 is decoded by 6, and 7
The data is inversely orthogonally transformed in step 8, converted into inverse blocks in step 8, and output as image data. Here, block 1 does not perform orthogonal transformation on two-dimensional KXK pixel data (for one screen), but instead transforms the data in units of blocks by treating approximately 4 x 4 to 16 x 16 pixels as one block. This is done to shorten the conversion time by determining .
2の直交変換の種類としては、例えばアダマール変換、
コサイン変換、カルーネン・レーベ変換などがあるが、
近年ではコサイン変換の離散表現であり、後述するディ
スクリートコサイン変換(DCT)がよく用いられてい
る。Examples of the types of orthogonal transformations in 2 are Hadamard transform,
There are cosine transformations, Karhunen-Loewe transformations, etc.
In recent years, discrete cosine transform (DCT), which is a discrete representation of cosine transform and will be described later, is often used.
第10図で用いられている直交変換符号化方式では画面
内の小領域の相関が着目され、小領域の画素を数値列と
して直交変換が行われる。その結果得られる変換係数は
周波数成分に相当し、低周波゛から高周波までの各成分
を表している。画像信号では一般に低周波成分が電力的
に太き(高周波成分は電力的に小さいため、低周波成分
には多くのビット数、高周波成分には少ないビット数を
割当てる量子化を行うことにより、伝送すべき情報量が
削減される。The orthogonal transform encoding method used in FIG. 10 focuses on the correlation between small areas within the screen, and orthogonal transform is performed using the pixels of the small area as a numerical string. The resulting conversion coefficients correspond to frequency components and represent each component from low frequency to high frequency. In image signals, the low frequency components are generally large in terms of power (the high frequency components are small in terms of power), so by performing quantization, which assigns a large number of bits to the low frequency components and a small number of bits to the high frequency components, transmission is reduced. The amount of information required is reduced.
第11図は4×4個の画素によって構成される1ブロツ
ク内の画像データに直交変換を施した後の変換係数領域
を示す図である。この変換係数領域において、一般に最
も左上のM域9は信号の直流成分を表し、またその他の
領域の係数は全て交流成分を表している。交流成分はそ
れぞれ低周波から高周波までの各周波数に対応し、右下
方向にいくほどその周波数は高くなる。FIG. 11 is a diagram showing a transform coefficient area after orthogonal transform is applied to image data in one block composed of 4×4 pixels. In this conversion coefficient region, the M region 9 at the top left generally represents the DC component of the signal, and the coefficients in the other regions all represent the AC component. The AC components correspond to each frequency from low frequency to high frequency, and the frequency becomes higher toward the lower right.
以上のように複数の画素をブロックとしてブロック単位
で符号化を行い画像データを伝送する場合には、その符
号化方式がフレーム内かフレーム間か、また直交変換係
数領域か画素領域かにかかわらず、画像データは伝送路
上で、例えばセルと呼ばれる宛先などを示すヘッダが付
加された数バイトの固定長パケットによって伝送される
。As described above, when transmitting image data by encoding multiple pixels in blocks, regardless of whether the encoding method is intra-frame or inter-frame, or whether it is in the orthogonal transform coefficient domain or pixel domain. Image data is transmitted on a transmission path in fixed-length packets of several bytes to which a header indicating a destination, called a cell, is added.
このようにヘッダが付加されたセルがネットワーク内で
伝送される時、ヘッダエラーやセルが増加してネットワ
ークの処理能力を越えるような場合にはセルの廃棄が起
こり、受信部において画像が劣化するという問題点があ
った。?!i数の画素を1つのブロックとして符号化す
るブロック符号化方式において、従来はセル廃棄がある
と廃棄されたブロックの画像データとして現在のフレー
ムより1枚前のフレーム内の該当するブロックのデータ
がそのまま用いられていたために、セル廃棄の前のフレ
ームの輪郭等がそのまま残ってしまうという問題点があ
った。When cells with headers added in this way are transmitted within a network, if there is a header error or the number of cells increases to exceed the processing capacity of the network, cells will be discarded and the image will deteriorate in the receiving section. There was a problem. ? ! In a block encoding method that encodes i number of pixels as one block, conventionally, when cells are discarded, the data of the corresponding block in the frame one frame before the current frame is used as the image data of the discarded block. Since it was used as is, there was a problem in that the outline of the frame before cell discarding remained as it was.
例えば、前のフレーム内の対応するブロックにおける複
数画素のうちの半分が黒、半分が白でブロック内の模様
が形成されていたとし、次のフレーム内の複数画素の全
てが白に変わる場合を考えると、セル廃棄が起こった場
合には前のフレームのブロックのデータがそのまま用い
られるためにセル廃棄の前の模様がそのまま残ってしま
うことになる。For example, assume that half of the pixels in the corresponding block in the previous frame were black and half were white to form a pattern within the block, and all of the pixels in the next frame change to white. Considering this, when cell discard occurs, the data of the block of the previous frame is used as is, so the pattern before cell discard remains as is.
本発明は、セル廃棄のあったブロックの前のフレーム内
の該当するブロック内のデータの交流成分を0にクリア
してそのデータを出力することにより、セル廃棄の前の
模様を消すことを目的とする。The purpose of the present invention is to erase the pattern before cell discard by clearing to 0 the AC component of the data in the corresponding block in the frame before the block where the cell was discarded and outputting that data. shall be.
第1図は本発明の原理ブロック図である。同図は複数の
画素をブロックとして、入力画像データを符号化してセ
ル単位で伝送する画像データ伝送システムにおける受信
側の構成を示すブロック図である。第1図Ca>は入力
画像データを直交変換し、直交変換係数領域の係数を符
号化して伝送する場合に対応する第1の発明の原理ブロ
ック図である。同図において、受信側には伝送路14か
ら受信される信号を復号化する復号化部15、および直
交変換された係数領域の係数データを画素領域のデータ
に逆変換する逆直交変換部11がある。FIG. 1 is a block diagram of the principle of the present invention. This figure is a block diagram showing the configuration of a receiving side in an image data transmission system that encodes input image data using a plurality of pixels as blocks and transmits it in units of cells. FIG. 1 is a block diagram of the principle of the first invention, which corresponds to the case where input image data is orthogonally transformed, and coefficients in the orthogonal transform coefficient domain are encoded and transmitted. In the figure, the receiving side includes a decoding unit 15 that decodes the signal received from the transmission path 14, and an inverse orthogonal transformation unit 11 that inversely transforms coefficient data in the coefficient domain that has been orthogonally transformed into data in the pixel domain. be.
復号化部15内の廃棄補償手段12は、例えば復号器に
よって復号され、送信側における量子化器によって量子
化された信号から元の形式の信号に戻された受信画像デ
ータを用いて、例えば伝送路中におけるセル廃棄の有無
を検出し、セル廃棄があった時にはその廃棄セルに対応
するブロックを含むフレームの前のフレーム内でそのブ
ロックに対応するブロックの係数領域のデータを、交流
成分を表す全ての係数を0クリアして、すなわち直流成
分の係数をそのままに、他の係数を全てOとして逆直交
変換部11に出力する。The discard compensation means 12 in the decoding unit 15 uses, for example, the received image data that has been decoded by a decoder and quantized by a quantizer on the transmitting side back to a signal in the original format, for example, for transmission. The presence or absence of cell discard on the road is detected, and when a cell is discarded, data in the coefficient area of the block corresponding to the block in the frame before the frame containing the block corresponding to the discarded cell is used to represent the AC component. All the coefficients are cleared to 0, that is, the DC component coefficient is left as is, and all other coefficients are set to O and output to the inverse orthogonal transform section 11.
第1図(b)は第2の発明、すなわち画素領域における
符号化を用いた場合のセル廃棄補償画像復号化方式の原
理ブロック図である。同図において、伝送路14から受
信されたデータは復号化部15を経由して画像データと
して出力される。復号化部15内の廃棄補償手段13は
、第1の発明におけると同様に例えば伝送路14から入
力し、復号化され、送信側での量子化前の形式に戻され
たデータを用いてセル廃棄の有無を検出し、セル廃棄が
あった時にはそのセルに対応するブロック単位むフレー
ムより前のフレーム内でそのブロックに対応するブロッ
クを構成する全ての画素に対するデータの平均値を求め
、そのブロックを構成する全ての画素に対するデータを
その平均値で置き換えて画像データとして出力し、セル
廃棄がない時には量子化以前の形式に戻された入力デー
タをそのまま画像データとして出力する。FIG. 1(b) is a principle block diagram of the second invention, that is, the cell discard compensation image decoding method when coding in the pixel domain is used. In the figure, data received from a transmission path 14 is output as image data via a decoding section 15. The discard compensating means 13 in the decoding unit 15 uses data that is input from the transmission line 14, decoded, and returned to the format before quantization on the transmitting side, as in the first invention, to convert the data into cells. The presence or absence of cell discard is detected, and when a cell is discarded, the average value of data for all pixels constituting the block corresponding to that block in the frame before the frame containing the block unit corresponding to that cell is calculated, and the data for that block is calculated. The data for all pixels constituting the image data is replaced with the average value and output as image data, and when no cells are discarded, the input data returned to the format before quantization is output as image data as is.
本発明においては、複数の画素をブロックとしてブロッ
ク単位で符号化された画像データが、例えばセルの形式
で伝送される画像データ伝送システムにおけるセル廃棄
時の受信側における補償が行われる。第1図(a)の第
1の発明においては、直交変換係数領域における補償を
対象とし、セル廃棄によりそのデータが全く受信できな
いブロックに対しては、その前のフレーム内の該当する
ブロックにおける直流成分、すなわち係数領域の最も左
上の係数のみがそのままで、交流成分、すなわち他の全
ての係数がOとされて、これらの係数が廃棄されたブロ
ックのデータとして逆直交変換部11に出力される。In the present invention, compensation is performed on the receiving side when a cell is discarded in an image data transmission system in which image data encoded in blocks of a plurality of pixels is transmitted in the form of cells, for example. In the first invention shown in FIG. 1(a), compensation in the orthogonal transform coefficient domain is targeted, and for a block whose data cannot be received at all due to cell discard, DC current is applied to the corresponding block in the previous frame. The components, that is, only the upper left coefficient in the coefficient area remains as is, and the AC components, that is, all other coefficients, are set to O, and these coefficients are output to the inverse orthogonal transform unit 11 as data of the discarded block. .
また第1図(b)の第2の発明においては、画素領域に
おける補償が対象となる。セル廃棄によりその内容が全
く不明となったブロックの前のフレーム内の該当するブ
ロック内の全ての画素のデータが平均され、その平均値
が廃棄されたブロックの全ての画素のデータとして用い
られ、それが画像データとして出力される。すなわち画
素領域における出力データはそのブロックについては全
て一定となる。Further, in the second invention shown in FIG. 1(b), compensation in the pixel area is targeted. The data of all the pixels in the corresponding block in the frame before the block whose contents have become completely unknown due to cell discard are averaged, and the average value is used as the data of all the pixels of the discarded block. It is output as image data. That is, all output data in the pixel area is constant for that block.
以上のように本発明によれば、セル廃棄によってそのデ
ータが全く不明となったブロックに対しては、そのブロ
ックを含むフレームの前のフレーム内で対応するブロッ
クにおける直流成分、すなわち平均値のみがそのブロッ
クを構成する全ての画素に対して出力されることになり
、そのブロック内は模様がなく、−様な色で表示画面上
に表示されることになる。As described above, according to the present invention, for a block whose data has become completely unknown due to cell discard, only the DC component, that is, the average value, of the corresponding block in the frame before the frame including the block is determined. This will be outputted to all the pixels constituting the block, and the inside of the block will have no pattern and will be displayed in --like colors on the display screen.
第2図は係数N城における本発明の実施例Φ概念を示し
ている。同図(a)は、伝送路からの入力データが受信
側では16で復号化され、17で逆直交変換されて画像
データとして出力されることを示している。同図(b)
はセルの廃棄がなか場合、すなわち通常の復号化処理後
の係数領域の例を示しており、ここでは簡単のために2
×2の係数領域が示されている。ここで最も左上の係数
が直流分を、他の全ての係数は交流分を表す。同図(c
)はセル廃棄が起こった時の復号化処理後の係数領域を
示し、本発明においては1枚前のフレーム内の対応する
ブロックの直流分(dc’で示す)のみがそのままとさ
れ、全ての交流分はOにクリアされる。FIG. 2 shows an embodiment of the Φ concept of the invention with a coefficient N. FIG. 5A shows that input data from the transmission path is decoded at 16 on the receiving side, subjected to inverse orthogonal transformation at 17, and output as image data. Same figure (b)
shows an example of the coefficient domain after normal decoding when cells are not discarded.
A ×2 coefficient region is shown. Here, the upper leftmost coefficient represents the DC component, and all other coefficients represent the AC component. The same figure (c
) indicates the coefficient area after decoding processing when cell discard occurs; in the present invention, only the DC component (indicated by dc') of the corresponding block in the previous frame is left as is, and all The AC portion is cleared to O.
第3図は画素領域における本発明の実施例の概念を説明
するものである。同図(a)は、伝送路からの受信部へ
の入力データが18で復号化され画像データとして出力
されることを示している。FIG. 3 explains the concept of the embodiment of the present invention in the pixel area. FIG. 5A shows that input data from the transmission path to the receiving section is decoded at 18 and output as image data.
同図(b)はセル廃棄が起こらなかった場合の通常の復
号化処理後の画素領域を示し、各画素に対するデータ、
例えば濃度データなどがそのまま出力されている。同図
(c)はセル廃棄が起こった場合の復号化処理後の画素
領域を示し、1つ前のフレーム内の該当するブロックの
画素領域のデータ(ダッシュで示す)を平均した値がブ
ロック内の全ての画素のデータとして出力されることを
示している。Figure (b) shows the pixel area after normal decoding when no cell discard occurs, and the data for each pixel,
For example, density data is output as is. Figure (c) shows the pixel area after decoding when cell discard occurs, and the average value of the pixel area data (indicated by a dash) of the corresponding block in the previous frame is This indicates that the data is output as data for all pixels in the image.
第4図は係数領域における画像データ伝送システムの実
施例の全体構成ブロック図である。同図において、送信
側は入力画像データを直交変換の一種であるディスクリ
ートコサイン変換(DCT)するDCT部20SDCT
部20の出力■Sとフレームメモリ21に格納されてい
る1つ前のフレーム内の対応するブロックデータ■Sと
の差をとる減算器22、減算器22の出力■Sを量子化
する量子化器23、量子化器23の出力を再び量子化前
の形式■Sに戻す逆量子化器24、逆量子化器24の出
力■Sとフレームメモリ21の出力である前のフレーム
内のブロックデータ■Sとを加算する加算器25、加算
器25の出力■Sにリーク係数αをかけフレームメモリ
21に出力するリーク係数乗算器26から成る。FIG. 4 is a block diagram of the overall configuration of an embodiment of an image data transmission system in the coefficient domain. In the figure, the transmitting side includes a DCT unit 20SDCT that performs discrete cosine transform (DCT), which is a type of orthogonal transform, on input image data.
A subtracter 22 that takes the difference between the output S of the unit 20 and the corresponding block data S in the previous frame stored in the frame memory 21, and quantization that quantizes the output S of the subtractor 22. Inverse quantizer 24 returns the output of the quantizer 23 to the pre-quantization format S (2) An adder 25 that adds S to S, and a leak coefficient multiplier 26 that multiplies the output (S) of the adder 25 by a leak coefficient α and outputs it to the frame memory 21.
また受信側は、伝送路を経由して入力される、信号■S
が量子化された入力データを再び元の形式■Rに戻す逆
量子化器27、その出力■Rとフレームメモリ28に格
納されている前のフレーム内のブロックデータ■Rとの
和をとる加算器29、第1図の廃棄補償手段12に相当
する廃棄補償部(A)30、廃棄補償部(A)30の出
力■Rに対して逆デイスクリートコサイン変換を施し画
素領域の画像データを出力する逆DCT部31、および
廃棄補償部(A)30の出力■Rにリーク係数αをかけ
てフレームメモリ28に出力するリーク係数乗算器32
から成る。Also, on the receiving side, the signal ■S input via the transmission path
An inverse quantizer 27 that returns the quantized input data to its original format ■R, and an addition that takes the sum of its output ■R and the block data ■R in the previous frame stored in the frame memory 28 29, a discard compensating section (A) 30 corresponding to the discard compensating means 12 in FIG. and a leak coefficient multiplier 32 that multiplies the output of the discard compensation unit (A) 30 by the leak coefficient α and outputs it to the frame memory 28.
Consists of.
ここでディスクリートコサイン変換(DCT)はコサイ
ン関数から作られた変換行列を用いるものであり、演算
に乗算器が必要で高速演算に難点があったが、高速の信
号処理プロセッサの開発に伴い、静止画伝送やテレビ会
議信号などの準動画伝送に盛んに使われるようになって
いる。Here, the discrete cosine transform (DCT) uses a transformation matrix created from a cosine function, and it required a multiplier for calculation, making it difficult to perform high-speed calculations, but with the development of high-speed signal processing processors, stationary It is now widely used for semi-video transmission such as image transmission and video conference signals.
第4図はフレーム間符号化方式を用いた本発明の実施例
であり、例えば送信側では現在送信すべきフレーム内の
ブロックデータ■Sと前に送信されたフレーム内のブロ
ックデータ■Sとの差、すなわちフレーム間差分が■S
とされ、それが量子化されて例えばハフマン符号化され
、伝送路上に出力される。受信側では伝送路から差分■
Rを受けとり、前のフレーム内のブロックデータ■Rと
の和をとることによって現在のフレーム内のブロックデ
ータ■Rを得ることになる。そして送信側では差分■S
と前のフレーム内のブロックデータ■Sとの和が加算器
25によってとられ、リーク係数αが乗じられた後に、
フレームメモリ21に次のフレームに対するフレーム間
差分を求めるために格納される。受信部においても、同
様に現在のブロックデータ■Rにリーク係数αが乗じら
れた後、フレームメモリ28に格納される。FIG. 4 shows an embodiment of the present invention using an interframe coding method. For example, on the transmitting side, block data S in the frame to be currently transmitted and block data S in the previously transmitted frame are The difference, that is, the difference between frames is ■S
It is quantized and, for example, Huffman encoded, and output on a transmission path. On the receiving side, the difference from the transmission path ■
By receiving R and calculating the sum with the block data ■R in the previous frame, the block data ■R in the current frame is obtained. And on the sending side, the difference ■S
The adder 25 calculates the sum of the block data ■S in the previous frame and multiplies it by the leakage coefficient α.
It is stored in the frame memory 21 in order to obtain the inter-frame difference for the next frame. In the receiving section as well, the current block data (1) R is similarly multiplied by the leakage coefficient α and then stored in the frame memory 28.
リーク係数αは例えばセル廃棄が起こってもその影響を
短時間のうちに減衰させるためのものである。例えば受
信側において差分D1が入力し、フレームメモリ28に
格納されているその前のフレームのブロックデータFM
、との和がとられ、その和(DB +FMa )に対
してリーク係数αが乗じられ、次式で表される現在のフ
レームに対するブロックデータがフレームメモリ28の
内容FM1になったものとする。The leakage coefficient α is used, for example, to attenuate the effect of cell discard in a short time even if cell discard occurs. For example, the difference D1 is input on the receiving side, and the block data FM of the previous frame stored in the frame memory 28
, and the sum (DB + FMa) is multiplied by the leakage coefficient α, and the block data for the current frame expressed by the following equation becomes the content FM1 of the frame memory 28.
FMI = (DI +FM+ )α
=D、α十FMOα
続いて次のフレーム間のブロックデータである差分D2
が伝送路から入力されるとフレームメモリ28の内容は
次式となる。FMI = (DI + FM+) α = D, α + FMO α Next, the difference D2 which is the block data between the next frames
When input from the transmission line, the contents of the frame memory 28 become as follows.
F Mz = (Dz + F Ml )α= 02
tx + l)、α”+FM6α2さらに次のフレーム
間のブロックデータD3が入力されるとフレームメモリ
28の内容は次式で与えられる。F Mz = (Dz + F Ml ) α= 02
tx+l), α''+FM6α2 When block data D3 between the next frames is further input, the contents of the frame memory 28 are given by the following equation.
FM2 = (Ds +F’Mz ) α=D2 a
+Dz α” +1)、a”+FMOα3
このように例えばセル廃棄が起こった場合の予測誤差D
+の画像全体への影響は、nフレームの入力後にはα7
に減衰する。そこでαを1より小さくとることにより、
短時間のうちにその影響をほぼ0にすることができる。FM2 = (Ds +F'Mz) α=D2 a
+Dz α” +1), a”+FMOα3 In this way, for example, the prediction error D when cell discard occurs
The influence of + on the entire image is α7 after inputting n frames.
attenuates to Therefore, by setting α smaller than 1,
The effect can be reduced to almost zero in a short period of time.
第5図は第4図の画像データ伝送システムにおける係数
領域の係数データの実施例である。同図において(a)
は送信側における係数データを示し、現在のフレーム内
のブロックデータ■Sから前のフレーム内のブロックデ
ータ■Sを引いたものがフレーム間信号として符号化さ
れるブロックデータ■Sを示している。同図(b)は受
信側におけるフレーム廃棄が起こった場合のブロックデ
ータを示し、受信データ■Rは全く不明である。FIG. 5 is an example of coefficient data in the coefficient domain in the image data transmission system of FIG. 4. In the same figure (a)
indicates coefficient data on the transmitting side, and indicates block data S which is encoded as an interframe signal by subtracting block data S in the previous frame from block data S in the current frame. FIG. 6(b) shows block data when frame discard occurs on the receiving side, and the received data ■R is completely unknown.
この場合には廃棄補償部(A)30によって前のフレー
ム内のブロックデータ■Rの係数のうちの直流成分のみ
が残され、他の係数、すなわち全ての交流成分は0とさ
れて、現フレームに対するブロックデータ■Rとして逆
DCT部31に出力される。同図(C)は本発明を用い
ない場合の従来の受信側の処理を示し、前のフレーム内
のブロックデータ■Rがそのまま現在のフレーム内ブロ
ックデータ■Rとして逆DCT部31に出力される。In this case, the discard compensator (A) 30 leaves only the DC component of the coefficients of the block data ■R in the previous frame, and sets the other coefficients, that is, all the AC components to 0, so that the current frame The data is output to the inverse DCT unit 31 as block data ■R. Figure (C) shows conventional processing on the receiving side when the present invention is not used, in which block data ■R in the previous frame is output as is to the inverse DCT unit 31 as block data ■R in the current frame. .
第6図は画素領域における画像データ伝送システムの実
施例の全体構成ブロック図である。同図を係数領域にお
ける第4図と比較すると、直交変換としてディスクリー
トコサイン変換を行うDCT部20と、逆直交変換を行
う逆DCT部31とがない以外は全く第4図における構
成と同じである。その・作用も画素データそのもの、例
えば画素濃度データを直交変換することなく画素領域で
そのまま符号化する以外には、第4図におけると全く同
様である。FIG. 6 is a block diagram of an overall configuration of an embodiment of an image data transmission system in a pixel area. Comparing this figure with FIG. 4 in the coefficient domain, the configuration is completely the same as that in FIG. 4 except that the DCT section 20 that performs discrete cosine transform as orthogonal transform and the inverse DCT section 31 that performs inverse orthogonal transform are not present. . Its operation is exactly the same as that shown in FIG. 4, except that pixel data itself, for example, pixel density data, is encoded as is in the pixel area without orthogonal transformation.
第7図は第6図の画素領域における画像データ伝送シス
テム内のブロックデータの実施例である。FIG. 7 is an example of block data in the image data transmission system in the pixel area of FIG.
同図の意味は各データが画素領域における各画素のデー
タそのものである点を除いては第5図におけると全く同
様である。同図(a)は送信側のデータであり、同図(
b)は本発明の処理を示し、セル廃棄が起こって現フレ
ーム内のブロックデータ■Rが不明である時に、前のフ
レーム内のブロックデータ■R内の全ての画素に対する
データの平均値がとられ、その平均値が現フレームのブ
ロックデータ■Rの全ての画素に対するデータとされる
。これに対して従来の処理を示す同図(C)では、前の
フレーム内のブロックデータ■Rがそのまま現フレーム
内のブロックデータ■Rとして用いられている。例えば
データ0が黒を、データ255が白を表すものとすると
、本発明においては半分ば黒、半分が白という模様の代
わりに、それらを平均したデータ127に対する色、例
えば灰色が廃棄されたブロックに対して出力されること
になる。The meaning of this diagram is exactly the same as that of FIG. 5 except that each data is the data itself of each pixel in the pixel area. Figure (a) shows the data on the sending side;
b) shows the process of the present invention, in which when cell discard occurs and the block data ■R in the current frame is unknown, the average value of data for all pixels in the block data ■R in the previous frame is determined. The average value is taken as the data for all pixels of block data ①R of the current frame. On the other hand, in FIG. 2C, which shows conventional processing, the block data ■R in the previous frame is used as it is as the block data ■R in the current frame. For example, if data 0 represents black and data 255 represents white, in the present invention, instead of a pattern of half black and half white, the color for data 127 that is the average of these, for example gray, is used for the discarded block. will be output for.
第8図は第4図における受信側の廃棄補償部(A)30
の処理の実施例を示すフローチャートである。同図で処
理がスタートすると、まずステップ34でセル廃棄が起
こったか否かが判定され、セル廃棄が起こった場合には
ステップ35で前のフレーム内の対応するブロックの係
数領域内の交流係数が全てOクリアされて処理を終わり
、またステップ34でセル廃棄がない場合には加算器2
9の出力としての現フレーム内のブロックデータ■Rを
そのまま出力するために処理を終了する。Figure 8 shows the discard compensation section (A) 30 on the receiving side in Figure 4.
3 is a flowchart showing an example of processing. When the process starts in the same figure, it is first determined in step 34 whether or not cell discard has occurred, and if cell discard has occurred, in step 35 the AC coefficient in the coefficient area of the corresponding block in the previous frame is determined. If all O's are cleared and the process ends, and if no cells are discarded in step 34, adder 2
The process is terminated in order to output the block data ■R in the current frame as the output of step 9 as is.
第9図は第6図における廃棄補償部(B)33の処理実
施例のフローチャートである。同図において処理がスタ
ートすると、まずステップ36でセル廃棄が起こったか
否かが判定される。セル廃棄が起こった場合にはステッ
プ37で前のフレームの対応するブロックの画素領域の
データから直流成分が分離1.すなわちブロック内の全
画素に対するデータの平均値がとられ、ステップ38で
交流成分が0クリア、すなわち各画素のデータとして平
均値が割当てられて処理が終了する。ステップ36でセ
ル廃棄がないと判定された場合には、加算器29からの
入力に対して何ら処理を施すことなく、入力データをそ
のまま出力する。FIG. 9 is a flowchart of a processing example of the discard compensation section (B) 33 in FIG. In the figure, when the process starts, it is first determined in step 36 whether or not cell discard has occurred. If cell discard occurs, in step 37, the DC component is separated from the data in the pixel area of the corresponding block of the previous frame.1. That is, the average value of data for all pixels in the block is taken, and in step 38, the AC component is cleared to 0, that is, the average value is assigned as data for each pixel, and the process ends. If it is determined in step 36 that no cells are discarded, the input data from the adder 29 is output as is without any processing.
なお、以上においては画素数が2×2の領域を例にとり
、また符号化方式としてフレーム間符号化をとって実施
例を説明したが、ブロックの画素数が2×2に限定され
ないことは当然であり、また符号化の方式もフレーム間
符号化に限らずフレーム内符号化であってもよいことは
当然である。Note that although the example above has been explained using an area with a 2×2 pixel count and using interframe encoding as the encoding method, it is obvious that the number of pixels in a block is not limited to 2×2. It goes without saying that the encoding method is not limited to interframe encoding, but may also be intraframe encoding.
以上詳細に説明したように、本発明によればセル廃棄が
起こっても前のフレーム内のブロックの模様がそのまま
残されることなく−様な色で表現されるため、セル廃棄
の画質への影響を低減することができる。As explained in detail above, according to the present invention, even if cells are discarded, the block pattern in the previous frame is not left as is and is expressed in a --like color, so that the effect of cell discard on image quality is reduced. can be reduced.
第1図は本発明の原理ブロック図、
第2図は係数領域における本発明の実施例の概念を示す
図、
第3図は画素領域における本発明の実施例の概念を示す
図、
第4図は係数領域における画像データ伝送システムの実
施例の全体構成を示すブロック図、第5図は第4図の画
像データ伝送システムにおけるブロックデータの実施例
を示す図、第6図は画素領域における画像データ伝送シ
ステムの実施例の全体構成を示すブロック図、第7図は
第6図の画像データの伝送システムにおけるブロックデ
ータの実施例を示す図、第8図は廃棄補償部(A)の処
理実施例のフローチャート、
第9図は廃棄補償部(B)の処理実施例のフローチャー
ト、
第10図は正規直交変換を用いる画像データ伝送システ
ムの全体構成を示すブロック図、第11図は画像データ
の直交変換後の変換係数領域を示す図である。
20・・・ディスクリートコサイン変換(DCT)部、
21.28・・・フレームメモリ、
22・・・減算器、
25.29・・・加算器、
26.32・・・リーク係数(α)乗算器、30・・・
廃棄補償部(A)、
31・・・逆デイスクリートコサイン変換(DCT)部
、
33・・・廃棄補償部(B)。FIG. 1 is a block diagram of the principle of the present invention. FIG. 2 is a diagram showing the concept of an embodiment of the present invention in the coefficient domain. FIG. 3 is a diagram showing the concept of an embodiment of the present invention in the pixel domain. is a block diagram showing the overall configuration of an embodiment of the image data transmission system in the coefficient domain, FIG. 5 is a diagram showing an embodiment of block data in the image data transmission system of FIG. 4, and FIG. A block diagram showing the overall configuration of an embodiment of the transmission system, FIG. 7 is a diagram showing an embodiment of block data in the image data transmission system of FIG. 6, and FIG. 8 is a processing example of the discard compensation unit (A). 9 is a flowchart of a processing example of the discard compensation unit (B), FIG. 10 is a block diagram showing the overall configuration of an image data transmission system using orthonormal transformation, and FIG. 11 is orthogonal transformation of image data. It is a figure which shows the subsequent transformation coefficient area|region. 20... Discrete cosine transform (DCT) unit, 21.28... Frame memory, 22... Subtractor, 25.29... Adder, 26.32... Leak coefficient (α) multiplier , 30...
Discard compensation section (A), 31... inverse discrete cosine transform (DCT) section, 33... discard compensation section (B).
Claims (1)
変換し、該直交変換係数領域の係数を符号化してセル単
位で伝送し、受信側に受信データを逆直交変換して画像
データを出力する逆直交変換部(11)を有する画像デ
ータ伝送システムにおいて、 該画像データ伝送システムの受信側に、セル廃棄の有無
を検出し、廃棄のあった時には該廃棄セルに対応するブ
ロックを含むフレームより時間的に1枚前のフレーム内
で該ブロックに対応するブロックの係数領域の復号化後
のデータを、交流成分を表す全ての係数を0クリアして
逆直交変換部(11)に出力し、セル廃棄のない時には
復号化後の入力をそのまま逆直交変換部(11)に出力
する廃棄補償手段(12)を有することを特徴とするセ
ル廃棄補償画像復号化方式。 2)複数の画素をブロックとして画素領域で入力画像デ
ータを符号化し、セル単位で伝送する画像データ伝送シ
ステムにおいて、 該画像データ伝送システムの受信側にセル廃棄の有無を
検出し、廃棄のあった時には該廃棄セルに対応するブロ
ックを含むフレームより時間的に1枚前のフレーム内で
、該ブロックに対応するブロックを構成する全ての画素
に対する復号化後のデータの平均値を求め該ブロックを
構成する全ての画素に対するデータを該平均値で置換え
て出力し、セル廃棄のない時には復号化後の入力をその
まま出力する廃棄補償手段(13)を有することを特徴
とするセル廃棄補償画像復号化方式。[Claims] 1) Orthogonally transform input image data using a plurality of pixels as a block, encode the coefficients in the orthogonal transform coefficient area, transmit it in units of cells, and inverse orthogonally transform the received data to the receiving side. In an image data transmission system having an inverse orthogonal transform unit (11) that outputs image data, on the receiving side of the image data transmission system, the presence or absence of cell discard is detected, and when there is discard, a block corresponding to the discarded cell is installed. An inverse orthogonal transform unit (11) clears all the coefficients representing AC components to 0 after decoding the data of the coefficient domain of the block corresponding to the block in a frame temporally one frame earlier than the frame containing the block. A cell discard compensation image decoding system comprising a discard compensating means (12) for outputting a decoded input as is to an inverse orthogonal transform unit (11) when there is no cell discard. 2) In an image data transmission system in which input image data is encoded in the pixel area using multiple pixels as blocks and transmitted in cell units, the receiving side of the image data transmission system detects whether or not cells are discarded and detects whether or not cells have been discarded. Sometimes, the average value of the decoded data for all pixels constituting the block corresponding to the block is determined in a frame that is one frame before the frame that includes the block corresponding to the discarded cell, and the block is constructed. A cell discard compensation image decoding system characterized by having a discard compensating means (13) which replaces data for all pixels with the average value and outputs the data, and outputs the decoded input as is when there is no cell discard. .
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1262257A JPH03124182A (en) | 1989-10-09 | 1989-10-09 | Cell abort compensation picture decoding system |
CA002027184A CA2027184C (en) | 1989-10-09 | 1990-10-09 | Image data transmission system |
EP90119308A EP0422575B1 (en) | 1989-10-09 | 1990-10-09 | Image data transmission system |
US07/594,090 US5191446A (en) | 1989-10-09 | 1990-10-09 | Image data transmission system |
DE69031106T DE69031106D1 (en) | 1989-10-09 | 1990-10-09 | System for transferring image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1262257A JPH03124182A (en) | 1989-10-09 | 1989-10-09 | Cell abort compensation picture decoding system |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH03124182A true JPH03124182A (en) | 1991-05-27 |
Family
ID=17373269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1262257A Pending JPH03124182A (en) | 1989-10-09 | 1989-10-09 | Cell abort compensation picture decoding system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH03124182A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04252534A (en) * | 1991-01-28 | 1992-09-08 | Fujitsu Ltd | Cell abort compensation method and cell abort compensation device in picture communication |
JPH05161128A (en) * | 1991-12-04 | 1993-06-25 | Sharp Corp | Moving picture conversion coding error correction device |
JPH06105295A (en) * | 1992-04-13 | 1994-04-15 | Nec Corp | Error correction system for orthogonal transform encoded picture data |
-
1989
- 1989-10-09 JP JP1262257A patent/JPH03124182A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04252534A (en) * | 1991-01-28 | 1992-09-08 | Fujitsu Ltd | Cell abort compensation method and cell abort compensation device in picture communication |
JPH05161128A (en) * | 1991-12-04 | 1993-06-25 | Sharp Corp | Moving picture conversion coding error correction device |
JPH06105295A (en) * | 1992-04-13 | 1994-04-15 | Nec Corp | Error correction system for orthogonal transform encoded picture data |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100253931B1 (en) | Approximate mpeg decoder with compressed reference frames | |
KR0183688B1 (en) | Image encoding method and device | |
JP2630809B2 (en) | Video image transmission system | |
KR101010722B1 (en) | Coding transform coefficients in image/video encoder and/or decoders | |
US5438374A (en) | System and method for filtering video signals | |
EP0585051B1 (en) | Image processing method and apparatus | |
US8064516B2 (en) | Text recognition during video compression | |
JPH08280032A (en) | Digital video signal encoding device using adaptive scanningtechnique | |
US5844607A (en) | Method and apparatus for scene change detection in digital video compression | |
EP0680217B1 (en) | Video signal decoding apparatus capable of reducing blocking effects | |
KR100683380B1 (en) | Method and apparatus for transformation and inverse transformation of image for image compression coding | |
KR100312421B1 (en) | A conversion method of the compressed moving video on the video communication system | |
US7436889B2 (en) | Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation | |
US6040875A (en) | Method to compensate for a fade in a digital video input sequence | |
JPH1013859A (en) | High efficiency encoder for picture, high efficiency decoder for picture and high efficiency encoding and decoding system | |
JPH03124182A (en) | Cell abort compensation picture decoding system | |
EP0720372A1 (en) | Apparatus for parallel encoding/decoding of digital video signals | |
JP2776424B2 (en) | Cell loss compensation image decoding method | |
JPH07222048A (en) | Image pickup device | |
JP2776425B2 (en) | Cell loss compensation image decoding method | |
JPH07107464A (en) | Picture encoding device and decoding device | |
WO2022037464A1 (en) | Video decoding method and apparatus, video coding method and apparatus, device, and storage medium | |
KR100207380B1 (en) | Apparatus for reducing the data in motion picture | |
JP2710135B2 (en) | Adaptive coding between frames / intra-frame | |
KR100207384B1 (en) | Apparatus for decoding intra dc coefficient of video signal decoding system |