JP3681835B2 - The image coding apparatus and image decoding apparatus and coding and decoding system - Google Patents

The image coding apparatus and image decoding apparatus and coding and decoding system

Info

Publication number
JP3681835B2
JP3681835B2 JP26966996A JP26966996A JP3681835B2 JP 3681835 B2 JP3681835 B2 JP 3681835B2 JP 26966996 A JP26966996 A JP 26966996A JP 26966996 A JP26966996 A JP 26966996A JP 3681835 B2 JP3681835 B2 JP 3681835B2
Authority
JP
Grant status
Grant
Patent type
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26966996A
Other languages
Japanese (ja)
Other versions
JPH09238366A (en )
Inventor
篤道 村上
光太郎 浅井
隆浩 福原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
この発明は、画像の高能率符号化あるいは復号化を行い、画像の効率的伝送もしくは蓄積を行うシステムに供することのできる画像符号化器および画像復号化器に関するものである。 The present invention performs high-efficiency encoding or decoding of an image, and an image encoder and an image decoder which can be subjected to a system for efficient transmission or storage of images.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
従来の代表的な高能率符号化方式として、ISO/IEC JTC1/SC29/WG11において検討された国際標準方式であるMPEG2がある。 As a conventional typical high-efficiency coding and MPEG2 which is an international standard method, which is discussed in ISO / IEC JTC1 / SC29 / WG11. 例えば「テレビジョン学会誌 画像情報工学と放送技術」の1995年4月号では、MPEGを特集テーマとして解説している。 For example, in the April 1995 issue of "television Journal image information engineering and broadcasting technology" is describes the MPEG as the featured theme. 同誌p. Magazine p. 29−60に渡り、「3−2ビデオ圧縮」としてMPEG2の符号化方式が紹介されている。 Over the 29-60, MPEG2 coding scheme as "3-2 video compression" has been introduced. 以下、同解説を基にして従来の高能率符号化方式について説明する。 The following describes a conventional high-efficiency coding scheme based on the description.
【0003】 [0003]
図25は上記解説に示された画像フォーマットの説明図であり、輝度信号と色差成分のサンプル密度比のフォーマットを示すものである。 Figure 25 is an explanatory view of an image format shown in the above description, it shows the format of the sample density ratio of the luminance signal and color difference components. MPEG2には4:2:0または4:2:2または4:4:4の3つのフォーマットがあるが、これらのフォーマットが動的に変更されることはなく、いずれかのフォーマットに固定した状態で符号化ないし復号を行う。 The MPEG2 4: 2: 0 or 4: 2: 2 or 4: 4: Condition There are 4 three formats, it is meant that these formats is dynamically changed, fixed to one of the formats encoding or decoding performed in.
また、4:4:4フォーマットは1995年11月現在、MPEG2の中でフォーマットとしての定義はされているものの、プロファイルと呼ばれるクラスの中ではどこにも属さず、実質的に使用されないフォーマットとなっている。 In addition, 4: 4: 4 format 1995 of November, although the definition is as a format in MPEG2, does not belong anywhere is in a class called a profile, become a format that is not substantially use there. 4:2:0および4:2:2フォーマットでは、輝度成分のサンプル密度に対し、色差成分のサンプル密度が低い。 4: 2: 0 and 4: 2: 2 format, to the sample density of the luminance component, a low sample density of a color difference component. これは人間の解像度識別能力が輝度に対してより高いことを利用して情報の圧縮効果を得ようとするためである。 This is because the human resolution discriminating ability is to be obtained compression effect of information using higher than the luminance.
【0004】 [0004]
図26は上記解説に示されたMPEG符号器の基本構成図である。 Figure 26 is a basic configuration diagram of an MPEG encoder shown above commentary. 図において、1はA/D変換部、28はフォーマット変換部、29は画面並び換え部、16はインタ(フレーム内)/イントラ(フレーム間)切り替えセレクタ、4はDCT(Discreat Cosine Transform)部、5は量子化部、6は可変長符号化部、7は送信バッファ、8はレート制御部である。 In the figure, reference numeral 1 denotes an A / D conversion unit, 28 the format conversion unit, 29 screen rearrangement unit, 16 interface (within a frame) / intra (inter-frame) switching selector, 4 is DCT (Discreat Cosine Transform) unit, 5 quantization unit, 6 the variable length coding unit, 7 transmission buffer, 8 is a rate control unit. また、11は逆量子化部、12は逆DCT部、17は加算器、18はフレームメモリ、19は動き補償部で、これらの付加ループは予測符号化手段を構成している。 Also, 11 is the inverse quantization unit 12 inverse DCT unit, 17 an adder, 18 is a frame memory, 19 is a motion compensation unit, these additional loops constitute a predictive encoding means.
図27は同じ解説に示されたMPEG復号器の基本構成図である。 Figure 27 is a basic configuration diagram of an MPEG decoder shown in the same explanation. 図において、9は受信バッファ、10は可変長復号化部、11は逆量子化部、12は逆DCT部、30はフォーマット変換部、14はD/A変換部である。 In FIG, 9 is the receiving buffer, 10 a variable length decoding unit, 11 inverse quantization unit 12 inverse DCT unit, 30 is the format conversion unit, 14 is a D / A conversion unit. また、18はフレームメモリ、24は動き補償予測部、17は加算器で、これらは予測復号化手段を構成している。 Further, 18 is a frame memory, 24 is a motion compensation prediction unit, 17 an adder, these constitute a predictive decoding means. また、、104はDCTによる変換係数、105は変換係数の量子化インデックス、107は符号化ビットストリーム、108は情報発生量を示す信号、109は可変長復号された変換係数の量子化インデックス、110は逆量子化された変換係数、116は入力画像データ、117は予測誤差画像データ、118は逆DCTによって画素空間領域に戻された画像データ、119は予測画像データ、120は復号された画像データ、125は動き補償予測データ、126は動きベクトル情報である。 Also ,, 104 transform by DCT coefficients, quantization index of 105 transform coefficients, 107 coded bit stream, the signal indicating the information generation amount 108, the transform coefficients variable-length decoded 109 quantization index, 110 transform coefficients is dequantized, 116 input image data, 117 is the prediction error image data, the image data returned to the pixel space region by inverse DCT 118, 119 predicted image data, the image data 120 that has been decoded , 125 motion compensation predictive data, 126 is a motion vector information.
【0005】 [0005]
図26によって符号器の動作を説明する。 Illustrating the operation of the encoder by Figure 26.
入力画像信号はA/D変換1においてディジタル化される。 The input image signal is digitized in the A / D converter 1. 入力画面は動き補償予測+DCT符号化によって符号化される。 Input screen is coded by motion compensated prediction + DCT coding. 入力された画像データ116と、参照画面から動き予測によって生成される動き補償予測画像データ125との差分をとり、予測誤差信号117が得られる。 And image data 116 that is input, calculates a difference between the motion compensation prediction image data 125 generated by the motion prediction from the reference picture, the prediction error signal 117 is obtained. この予測誤差信号を8画素×8ラインのブロック単位でDCT4により空間周波数領域の変換係数104に変換し、量子化部5により量子化を行う。 The prediction error signal into a transform coefficient 104 of the spatial frequency domain by 8 pixels × DCT4 by 8 line blocks of, performs quantization by the quantization unit 5.
動き補償予測を行わないイントラ符号化の際は入力画像データ116がそのままDCT符号化される。 The time of intra encoding is not performed motion compensation prediction is input image data 116 is directly DCT coding. この切り替えがセレクタ16によって行われる。 This switching is performed by the selector 16. 後で動き補償予測の参照画面として用いるため、量子化された情報105を逆量子化部11で逆量子化し、逆DCT部12で逆DCT化して、動き補償予測信号119と加算器17で加算し、すなわち、局部復号によって画像を復号し、フレームメモリ18に蓄積する。 Later for use as a reference picture for motion compensation prediction, inverse quantization information 105 quantized by the inverse quantization unit 11, turned into the inverse DCT by the inverse DCT unit 12, adder 17 and the motion compensated prediction signal 119 and, that decodes the picture by the local decoding is stored in the frame memory 18.
量子化後の8×8DCT係数は低周波数成分から順にスキャンされ1次元情報となった後、動きベクトル等の他の符号化情報とともに可変長符号化部6で可変長符号化される。 After 8 × 8 DCT coefficients after quantization became a one-dimensional information are scanned in order from low frequency components are variable length coded by the variable length coding unit 6 along with other coding information such as motion vectors. 可変となる符号発生量を一定に保つ場合は、出力バッファ7を監視することで発生符号量108を把握し、フィードバックによってレート制御部で量子化制御を行う手法が一般的である。 If keeping the code generation rate is variable constant, to determine the amount of generated code 108 by monitoring the output buffer 7, method of performing quantization control by the rate control unit by feedback it is common. バッファ7の出力は符号化ビットストリーム107である。 The output of the buffer 7 is encoded bitstream 107.
【0006】 [0006]
図27によって復号器の動作を説明する。 The operation of the decoder will be explained with reference to FIG. 27.
復号処理は基本的に符号化器の逆の動作となる。 Decoding process in an operation opposite to the essentially coder. まず符号化されたビットストリーム107はバッファ9に蓄積される。 Bitstream 107 is first encoded is stored in the buffer 9. バッファ9内のデータは読み出され、可変長復号化部10で復号が行われる。 The data in the buffer 9 are read out, decoded by the variable length decoding unit 10 is performed. この過程でDCT係数の情報109、動きベクトルの情報126等が復号・分離される。 Information 109 of the DCT coefficients in this process, information 126 such as motion vectors are decoded and separated. 復号された8×8の量子化DCT係数109は逆量子化部11でDCT係数110に復元され、逆DCT部12により画素空間データ118に変換される。 Quantized DCT coefficients 109 of the decoded 8 × 8 is restored to the DCT coefficients 110 by the inverse quantization unit 11, are converted into pixel spatial data 118 by an inverse DCT unit 12. イントラ符号化の際はこの段階で復号画像が得られている。 When intra-coded are decoded image is obtained at this stage.
動き補償予測が行われている際は参照画面からの動き補償予測によって生成される動き補償予測画像データ119との加算によって画像が復号される。 When the motion compensated prediction is being performed image is decoded by adding the motion compensation prediction image data 119 generated by the motion compensation prediction from the reference picture. 復号画像は必要に応じ、その後の復号処理で参照画面として用いるためにフレームメモリ18に蓄積される。 Decoded image if necessary, is stored in the frame memory 18 for use as a reference picture in the subsequent decoding process.
【0007】 [0007]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
上記の例は従来方式の代表的なものである。 The above example is typical of the conventional method. この例において、入力画像の符号化はブロック単位のDCTを基本としており、輝度・色差成分のサンプル密度比は4:2:0や4:2:2など静的に固定されている。 In this example, the encoding of the input image is a base of DCT block unit, sample density ratio of luminance and color difference components is 4: 2: 0 and 4: 2: 2, etc. are statically secured. このことから、次のような課題が生じる。 From this fact, it occurs the following problems. 前提として、圧縮による画像品質の劣化はブロック単位で観察される。 As a prerequisite, the image quality degradation is observed in blocks by compression. これは、量子化によって特定の変換係数に生じた雑音が逆DCTによってブロック全体に波及することが原因である。 This is because the noise generated in the specific transform coefficients by the quantization is spread to the entire block by inverse DCT. さらに、この劣化が色差成分に顕著に現われるように観察される。 Furthermore, this degradation is observed to appear conspicuously chrominance components. これは、色差成分のサンプル密度が一般に輝度成分のサンプル密度より低いことが原因である。 This is due sample density of the color difference component is lower than the sample density of generally luminance component. 色差成分のサンプル密度を上げれば、色雑音が特に目立つという現象は緩和されるが、符号化すべきサンプル数が多くなり、圧縮効率を高める上で不利となるというジレンマがある。 Increasing the sample density of the color difference components, but the color noise is mitigated phenomenon particularly noticeable, the number the number of samples to be coded, there is a dilemma that a disadvantage in increasing the compression efficiency.
【0008】 [0008]
この発明は上記のような課題を解消するためになされたもので、圧縮率を高めた際に顕著となる色雑音を低減し、圧縮効率を低下させないで、より高品質の符号化画像が得られるような画像符号化器および画像復号化器を得ることを目的とする。 The present invention has been made to solve the above problems, the color noise becomes noticeable when the enhanced compressibility reduces, without reducing the compression efficiency, higher quality of the coded images obtained and to obtain an image encoder and an image decoder, such as those.
【0009】 [0009]
【課題を解決するための手段】 In order to solve the problems]
この発明に係る画像符号化装置は、ディジタル化入力画像をフォーマット変換し、フォーマット変換された画像を量子化する量子化部と、量子化された量子化画像データを符号化する符号化部を備えて、符号化ビットストリームを出力する画像符号化装置において、 The image coding apparatus according to the present invention is to format conversion digitized input image, comprising: a quantization unit for quantizing format-converted image, a coding unit for encoding the quantized image data quantized Te, in the image coding apparatus which outputs a coded bit stream,
フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、 In format conversion, a plurality format converter for converting a plurality of the image data of the spatial resolution of a predetermined luminance signal and color difference signals,
選択結果が、上記複数フォーマット変換部により変換された画像データか、変換前の元の画像データかを示す選択情報を出力し、該選択結果の画像データを後段に伝える画像判定部と、 Selection result, the multiple formats or converted image data by the converting unit, and outputs the selection information indicating whether pre-conversion of the original image data, and an image determination unit for transmitting the image data of the selected result to the subsequent stage,
上記量子化された量子化画像データを逆量子化し、動きの予測差分とを加算して、複数の、所定の空間解像度の画像データに変換する第2の複数フォーマット変換部と、上記逆量子化した画像信号または上記第2の複数フォーマット変換部出力の画像信号を選択して記憶し、該記憶された参照画像データを用いて動きの予測差分を得るために、複数の、所定の空間解像度の画像データに変換する第3の複数フォーマット変換部と、を設けて、上記参照画像データまたは上記第3の複数フォーマット変換部の出力である画像信号を選択して元の画像データかまたはフォーマット変換後の出力に帰還減算する帰還符号化部と、を備えて、 Inversely quantizing the quantized quantized image data, by adding the prediction difference of motion, a second plurality format conversion section for converting a plurality of the image data of a predetermined spatial resolution, the inverse quantization image signal or by selecting the second image signal of the plurality format converter output stores the, in order to obtain a prediction difference of the motion using the reference image data that is the storage of a plurality of predetermined spatial resolution provided a third plurality format converter for converting the image data, and the reference image data or the third select an image signal after the original image data or format conversion, which is the output of the plurality format converter provided with a feedback encoder unit which returns subtracted output,
上記符号化装置は、上記画像判定部が出力する選択情報に従って上記複数フォーマット変換部により変換された画像データか、または元の画像データのいずれかを選択して画像送信し、かつ上記選択情報を送信することを特徴とする The encoding device selects one of the image data or the original image data, converted by said plurality format converter in accordance with selection information which the image determination unit outputs to image transmission, and the selection information and transmitting.
【0011】 [0011]
この発明に係る画像復号化装置は、入力の符号化ビットストリームを復号化する復号化部と、復号された復号データのうち、変換係数に対応するデータを逆量子化及び逆変換する逆量子化部と逆変換部を備え、逆量子化及び逆変換された画像データによりディジタル画像データを復元する構成において、 The image decoding apparatus according to the present invention includes a decoding unit to decode the input coded bit stream, among the decoded decoded data, inverse quantization of inverse quantization and inverse transform data corresponding to the transform coefficients provided with parts and inverse transform unit, in the configuration of restoring the digital image data by inverse quantization and inverse transformed image data,
逆変換された画像データを入力として、複数の、所定の輝度信号と色差信号による空間解像度のいずれかに変換して出力する複数フォーマット変換部を備え As inputs the inverse transformed image data, a plurality of, multiple format converter for converting to any spatial resolution by a predetermined luminance signal and color difference signals,
画像復号化装置は、符号化ビットストリームに含まれる選択情報を抽出し、この選択情報に基いて複数フォーマット変換部の出力か、または複数フォーマット変換部が変換する前の画像データのいずれかによりディジタル画像データを復元するようにした。 Image decoding apparatus extracts the selection information included in the encoded bit stream, digital by any of the image data before or output of multiple formats conversion unit based on the selection information, or a plurality format conversion unit converts It was to restore the image data.
【0012】 [0012]
また更に 、逆変換画像データを所定のフォーマット変換後に参照画像データとして記憶し、動きの予測誤差分を元の画像データかまたはフォーマット変換後の出力に加算する帰還予測手段を備え、 Furthermore, stored as reference image data to the inverse transformed image data after a predetermined format conversion includes a feedback prediction means for adding the prediction error of the motion output after the original image data or format conversion,
上記帰還予測手段は、上記参照画像データを得るために、複数の、所定の輝度信号と色差信号による空間解像度のどれかで再生画像データに変換する第2の複数フォーマット変換部と、帰還予測手段出力を元の画像データかまたはフォーマット変換後の出力に加算するために、複数の、所定の空間解像度の予測誤差分に変換する第3の複数フォーマット変換部と、を設けた。 The feedback predicting means, in order to obtain the reference image data, a plurality of, and a second plurality format converter for converting the reproduced image data in one of the spatial resolution by a predetermined luminance signal and color difference signals, the feedback prediction means to be added to the output after the original image data or format conversion output and the plurality, the third plurality format converter for converting the prediction error of a predetermined spatial resolution, a provided.
【0013】 [0013]
また更に、画像状態判定部は、入力画像データまたは量子化画像データ中の色差信号の状態を設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。 Furthermore, the image state determination unit compares the status of the input image data or the color-difference signals in the quantized image data and a set reference, and to select the output of the corresponding spatial resolution from the plurality format converter output.
【0014】 [0014]
また更に、画像状態判定部は、入力画像データまたは量子化画像データ中の輝度信号の状態を設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。 Furthermore, the image state determination unit compares the input image data or state setting reference luminance signal in quantized image data, and to select the output of the corresponding spatial resolution from the plurality format converter output.
【0015】 [0015]
また更に、画像状態判定部は、動き補償予測部からの動きベクトルの値を、設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。 Furthermore, the image state determination unit, the value of the motion vector from the motion compensation prediction unit, as compared with the set reference, and to select the output of the corresponding spatial resolution from the plurality format converter output.
【0016】 [0016]
また更に、画像状態判定部は、所定の空間解像度の画像データと動き補償後の予測信号との差である予測誤差値を、設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。 Furthermore, the image state determination unit, the prediction error value is the difference between the image data and the prediction signal after motion compensation of a predetermined spatial resolution, as compared with the set reference, the corresponding spatial resolution from the plurality format converter output the output of the was to be selected.
【0017】 [0017]
また更に、画像状態判定部は、符号化ビットストリームに基づき発生した符号化量から量子化ステップサイズを、設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。 Furthermore, the image state determination unit, the quantization step size from the generated coding amount based on the coded bit stream, and compared with a set reference, so as to select the output of the corresponding spatial resolution from the plurality format converter output It was.
【0018】 [0018]
また更に、画像状態判定部は、入力画像データまたは量子化画像データ中の色差信号または輝度信号の状態と、動き補償予測部からの動きベクトルの値と、予測誤差値と、量子化ステップサイズとのいずれか複数の値を加算して、設定基準と比較して、複数フォーマット変換部出力から対応する空間解像度の出力を選択するようにした。 Furthermore, the image state determination unit includes a state of the input image data or the color difference signal or luminance signal in quantized image data, and the value of the motion vector from the motion compensation prediction unit, the prediction error value, and the quantization step size by adding one plurality of values ​​of, in comparison with the set reference, and to select the output of the spatial resolution corresponding plurality format converter output.
【0019】 [0019]
また基本構成に加えて更に、送信側の画像符号化装置中の色差信号、輝度信号または動きの変化の検出に対応する画像状態判定部を設け、送信側と同一の設定基準で入力の符号化ビットストリームの状態変化を検出して、複数の空間解像度のどれかを選択して復号化画像を得るようにした。 Further in addition to the basic configuration, a color difference signal in the image coding apparatus on the transmission side, the image state determination unit corresponding to the detection of a change in the luminance signal or motion provided, coding of the input with the same set reference transmission side by detecting a change in the state of the bit stream so as to obtain a decoded image by selecting one of the plurality of spatial resolutions.
【0020】 [0020]
この発明に係る画像符号化・復号化システムは、ディジタル化入力画像をフォーマット変換し、量子化し、符号化して、符号化ビットストリームを出力するために、 Image encoding and decoding system according to the present invention is to format conversion digitized input image, quantized, and encoded, to output a coded bit stream,
(1)フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、 (1) When the format conversion, a plurality format converter for converting a plurality of the image data of the spatial resolution of a predetermined luminance signal and color difference signals,
(2)選択結果が、上記複数フォーマット変換部により変換された画像データか、変換前の元の画像データかを示す選択情報を出力し、この選択結果の画像データを後段に伝える画像判定部と、 (2) selection result, the multiple formats or converted image data by the converting unit, and outputs the selection information indicating whether pre-conversion of the original image data, and an image determination unit for transmitting the image data of the selection result to the subsequent stage ,
(3)上記量子化された量子化画像データを逆量子化し、動きの予測差分とを加算して、複数の、所定の空間解像度の画像データに変換する第2の複数フォーマット変換部と、上記逆量子化した画像信号または上記第2の複数フォーマット変換部出力の画像信号を選択して記憶し、この記憶された参照画像データを用いて動きの予測差分を得るために、複数の、所定の空間解像度の画像データに変換する第3の複数フォーマット変換部と、を設けて、上記参照画像データまたは上記第3の複数フォーマット変換部の出力である画像信号を選択して元の画像データかまたはフォーマット変換後の出力に帰還減算する帰還符号化部と、を備え、 (3) the the quantized image data to inverse quantization, by adding the prediction difference of motion, a second plurality format conversion section for converting a plurality of the image data of a predetermined spatial resolution, the select and stores the inverse-quantized image signal or the second image signal of the plurality format converter output has, in order to obtain a prediction difference of the motion by using the stored reference image data, a plurality of, predetermined It provided a third plurality format converter for converting the image data of spatial resolution, and selects the image signal or the original image data which is the output of the reference image data or the third plurality format converter and a feedback coding unit which returns subtraction output after format conversion,
上記画像判定部が出力する選択情報に従って上記複数フォーマット変換部により変換された画像データか、または元の画像データのいずれかを選択して画像送信し、かつ上記選択情報を送信する画像符号化装置と、 The image encoding device transmits the multiple formats or converted image data by the conversion unit, or by selecting one of the original image data and image transmission, and the selection information according to selection information which the image determination unit outputs When,
上記画像符号化装置から送られる入力の符号化ビットストリームを復号化し、 復号された復号化データのうち、変換係数に対応するデータを逆量子化及び逆変換し、逆量子化及び逆変換された画像データによりディジタル画像データを復元するために、 The image encoding and decoding an input coded bit stream sent from the device, among the decoded decoding data, the data corresponding to the transform coefficients inverse quantized and inverse transform, which is inverse quantized and inverse transform to restore the digital image data by the image data,
(4)上記逆変換された画像データを入力として、複数の、所定の輝度信号と色差信号による空間解像度のいずれかに変換して出力する複数フォーマット変換部を備え (4) as inputs the inverse transformed image data, a plurality of, multiple format converter for converting to any spatial resolution by a predetermined luminance signal and color difference signals,
上記符号化ビットストリームに含まれる選択情報を抽出し、この選択情報に基づいて複数フォーマット変換部の出力か、またはこの複数フォーマット変換部が変換する前の画像データのいずれかによりディジタル画像データを復元する画像復号化装置と、 Extracting selected information included in the encoded bit stream, restores the digital image data by either of the previous image data output of the plurality format converter, or to the more format conversion unit is converted based on the selection information and an image decoding apparatus,
で構成した。 In was constructed.
【0023】 [0023]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
実施の形態1. The first embodiment.
本発明の装置の具体的な応用例としては、衛星や地上波、有線通信網を介して行うディジタル放送システム、ディジタルビデオディスク等がある。 Specific applications of the apparatus of the present invention, satellite or terrestrial digital broadcasting system for over a wired communication network, there is a digital video disc or the like.
以下、この発明による画像の高能率符号化器および復号化器の実施の形態を図について説明する。 A description is given of a preferred embodiment of the high-efficiency encoder and decoder of the image according to the present invention. 図1は動き補償を含む予測符号化ループがない場合の基本的な画像符号化装置の構成図である。 Figure 1 is a block diagram of a basic image coding apparatus in the absence of predictive encoding loop including motion compensation. 図において、新規な要素として、2は局所的フォーマット変換部(複数フォーマット変換部)、3は(画像状態)判定部である。 In the figure, as a new element, 2 is the local format converter (multiple format converter), 3 is (image state) determination unit. その他のA/D変換部1、DCT部4、量子化部5、可変長符号化部6、バッファ7、レート制御部8は従来と同等の要素である。 Other A / D converter 1, DCT unit 4, the quantization unit 5, a variable length coding unit 6, a buffer 7, the rate control unit 8 is similar elements and conventional. また、101はディジタル化された画像データ、102は局所的にフォーマット変換された画像データ、103は動的にフォーマットを切り替えられた画像データ、104はDCTによる変換係数、105は変換係数の量子化インデックス(量子化画像データ)、106はどのフォーマットを用いたかを示す信号、107は符号化ビットストリーム、108は情報発生量を示す信号である。 Further, 101 digitized image data, 102 is locally format-converted image data, 103 is dynamically image is switched format data, 104 conversion by DCT coefficients, 105 is quantization of the transform coefficients index (quantized image data) 106 signal indicating whether using any format, the 107 coded bit stream, 108 is a signal indicating the information generation amount.
【0024】 [0024]
次に動作について説明する。 Next, the operation will be described.
この実施の形態ではDCT符号化方式を用いる。 Using DCT encoding method in this embodiment. 入力画像信号はA/D変換1においてディジタル化された後、フォーマット変換される。 The input image signal after being digitized in the A / D converter 1, is format conversion. 今、画像データ101のフォーマットは図25(c)に示す4:4:4フォーマットであるとする。 Now, the format of the image data 101 shown in FIG. 25 (c) 4: 4: and a 4 format. すなわち、輝度成分と色差成分のサンプル密度は等しい。 That is, sample density of the luminance component and color difference components are equal. この画像データを局所的フォーマット変換(複数フォーマット変換)2によって別のフォーマット変換、例えば図25(a)に示す4:2:0フォーマットの画像データに変換する。 The image data locally format conversion (s format conversion) 2 different format conversion by, for example, shown in FIG. 25 (a) 4: 2: 0 is converted into the image data format. 4:2:0フォーマットは4:4:4フォーマットに比べて色差成分のサンプル密度が低いため、符号化すべき総サンプル数は小さくなり、圧縮効率は高まる。 4: 2: 0 format is 4: 4: 4 due to low sample density of a color difference component as compared with the format, the total number of samples to be coded is reduced, the compression efficiency is enhanced. 反面、色雑音が画面上の広い範囲に波及する可能性がある。 On the other hand, there is a possibility that color noise is spread over a wide range on the screen. これら4:4:4フォーマットの画像データと4:2:0フォーマットの画像データを動的に、例えばブロック単位もしくは複数のブロックを単位としてセレクタ3において切り替えながら符号化を行う。 These 4: 4: 4 format image data and the fourth: 2: 0 format image data dynamically in performs encoding while switching the selector 3 units, for example block or multiple blocks. 輝度成分(Y)の8画素×8ラインブロック4個と位置的に等しい青、赤の色差成分(Cb、Cr)のブロックから構成されるマクロブロックの構成を図2に示す。 8 pixels × 8 lines blocks 4 and positionally equal blue luminance component (Y), red color difference components (Cb, Cr) the structure of the macro-block composed of a block of FIG. 2. マクロブロックは切り替えを行う単位の例である。 Macroblock is an example of a unit for switching.
【0025】 [0025]
上記局所的フォーマット変換部2における実際の構成例を図示したのが、図3ないし図6である。 It was shown an actual configuration example in the local format conversion unit 2, a 3 to 6. 図3では、多重化された輝度・色差信号である入力画像データ101を、輝度・色差信号分離器31において輝度信号132と色差信号133とに分離する。 In Figure 3, the input image data 101 is multiplexed luminance and color difference signals, is separated into a luminance signal 132 and chrominance signal 133 in the luminance-chrominance signal separator 31. 色差信号133はさらに色差信号ダウンサンプリング器32においてダウンサンプリングされるか、または色差信号アップサンプリング器においてアップサンプリングされる。 Either down-sampled in the chrominance signal 133 is further chrominance signal downsampling unit 32, or up-sampled in the chrominance signal upsampler. 上記処理によってフォーマット変換された色差信号134は、前記輝度信号132と共に輝度・色差信号多重器34において多重化されて、多重化信号である複数フォーマット変換部出力信号102が送出される。 Color difference signals 134 format conversion by the above process are multiplexed in the luminance and color difference signals multiplexer 34 together with the luminance signal 132, a plurality format converter output signal 102 is a multiplexed signal is transmitted. 従って、上記実施の形態の場合は、局所的フォーマット変換2において4:4:4フォーマットが4:2:0フォーマットに変換されるので、図3の動作は色差信号ダウンサンプリング器32が選択され、ダウンサンプルされた信号が出ることになる。 Therefore, in the case of the above-described embodiment, in a local format converter 2 4: 4: 4 format is 4: 2: 0 because it is converted into a format, the operation of FIG. 3 is a color difference signal down-sampler 32 is selected, so that the down-sampled signal exits.
【0026】 [0026]
輝度・色差信号分離器31と輝度・色差信号多重器34の構成はよく知られているのでここでの記述は省略する。 Description here, because construction of the luminance and color difference signals separator 31 and the luminance and color difference signals multiplexer 34 are well known is omitted. 色差信号ダウンサンプリング器32の詳細動作を説明する。 Describing the detailed operation of the color difference signals downsampler 32.
輝度・色差信号分離器31において分離された色差信号133は、画素レベルに分離される。 Color difference signal 133 separated in the luminance and color difference signals separator 31 is separated into the pixel level. 図2(c)の4:4:4フォーマットから図2(a)の4:2:0フォーマットにダウンサンプリングされる場合、Cb、Cr信号は共に16×16から8×8画素になる。 Figure 2 (c) 4: 4: 4 4 format of FIG. 2 (a): 2: 0 if it is down-sampled format, Cb, Cr signal are both composed of 16 × 16 to 8 × 8 pixels. 各画素の色差信号の生成は例えば相隣なる左右の画素の信号も考慮してダウンサンプリングするなら、図3のMで示される平均値算出部は、2つの画素値を入力として、ダウンサンプリングされて半減された8×8画素の新しい画素の値を出力する。 If generation of the color difference signal of each pixel is also considered down-sampling signals of the left and right pixel to be the neighbors for example, the average value calculating unit represented by M in FIG. 3, as input two pixel values ​​are downsampled It outputs the value of the new pixels of 8 × 8 pixels by half Te. 例えば、2画素を1画素にダウンサンプリングする例で、1番目の画素には、係数w1を、2番目の画素にはそれぞれw2の係数を乗じて、平均値算出部において平均値を求めるとすると、上記2つの画素がp1、p2であれば平均値=(p1×w1+p2×w2)/(w1+w2) For example, two pixels in the example downsampling to one pixel, the first pixel, the coefficients w1, 2-th to the pixel multiplied by the coefficient w2 respectively, when the average value in the average value calculating section , if the two pixels p1, p2 average = (p1 × w1 + p2 × w2) / (w1 + w2)
で算出することができる。 In can be calculated.
次に、各平均値算出部より出力された平均値は、色差信号多重部において多重化されて、32の出力となる。 Then, the average value output from the average calculation unit are multiplexed in a chrominance signal multiplexing unit, an output of 32.
上記において、フィルタ係数wを可変にすることも可能であり、また1/2のダウンサンプリングに限らず、1/3、1/4等の任意のダウンサンプリングを行うことができる。 In the above, it is also possible to filter coefficients w to the variable, also not limited to 1/2 down-sampling, it is possible to perform any downsampling such as 1 / 3,1 / 4.
【0027】 [0027]
また図3のアップサンプリング構成は、2/1の倍のアップサンプリングを行う構成例である。 The up-sampling structure of FIG. 3 is a configuration example in which 2/1 times upsampling. 即ち元の1画素を、拡大して2画素とする。 That the original one pixel, and expanded by two pixels.
まず、輝度・色差信号分離器31において分離された画素はすべて繰り返し用いるため、2系統の出力をする(同一画素を2度繰り返して用いればよいので、別の構成も多く考えられる)。 First, in order to use repeated all isolated pixels in luminance and color difference signal splitter 31, the outputs of the two systems (since the same pixel may be used repeatedly twice, contemplated many different configurations). 次に、色差信号分離部において分離された色差信号は、黒丸の部分から出力して、平均値算出部において平均値が算出される。 Then, the color difference signal separated by the color-difference signal separator is to output the portion of the black circle, the average value in the average value calculating unit is calculated. 点線表示用のように、拡大された新画素に対し、元の複数の画素から画素値を与える構成とすれば、平均化された色差信号値が得られる。 As for dotted line, to the new pixel is enlarged, with the configuration that gives the pixel values ​​from the original of a plurality of pixels, it averaged chrominance signal values ​​are obtained. この場合には、ダウンサンプリング器32の構成例に示したフィルタ係数を乗じていないが、これを用いることができるのは言うまでもない。 In this case, although not multiplied by the filter coefficients shown in example of the configuration of down-sampler 32, it is needless to say this can be used. 各平均値算出部Mより出力された平均の画素信号は、所定のブロック毎に輝度・色差信号多重器34において多重化されて、局所的フォーマット変換2の出力となる。 Pixel signals of the average output from the average calculation unit M is multiplexed in the luminance and color difference signals multiplexer 34 for each predetermined block, the output of the local format conversion 2.
なお、これら複数の、色差信号に対してアップサンプリングまたはダウンサンプリングされて異なる空間解像度を持つ画像データ102に対して、それを選択するか、または元の空間解像度の画像データ101を選択するかを判断して選択する判定部3は、ここでは構成と動作は述べていない。 Incidentally, the plurality, the image data 102 with the up-sampling or down-sampled by different spatial resolutions with respect to the color difference signal, whether to select it, or selects the image data 101 of the original spatial resolution determination unit 3 for selecting decision to does not describe the construction and operation here. 判断部3の入力は以後の実施の形態で各種の場合があり、そこで動作を説明する。 Input determination unit 3 may of various in subsequent embodiment, where the operation will be described.
また、上記実施の形態では、局所的フォーマット変換部2の入出力は共に輝度信号と色差信号が多重化されているとしたが、もとから両者の信号が分離されて回路内を流れている場合には図3の輝度・色差信号分離器31及び色差信号多重器34が不要である。 In the above embodiment, although the both luminance signal and color difference signals are input and output of the local format conversion unit 2 are multiplexed, and are both signal separated from the original flow in the circuit case is not required luminance and color difference signal splitter 31 and the color difference signal multiplexer 34 of FIG. この場合には、図4に示すように構成することができる。 In this case, it may be configured as shown in FIG. さらに、回路の性格上、輝度・色差信号分離器31のみが必要な場合、または色差信号多重器34のみが必要な場合も考えられる。 Furthermore, the nature of the circuit, if only the luminance and color difference signals separator 31 is required, or only the color difference signal multiplexer 34 is also conceivable, if necessary. 図5、図6が上記例に相当している。 5, FIG. 6 is equivalent to the above example. この局所的フォーマット変換部2の構成は、以下の本発明の各実施の形態においても全く同様である。 The local format conversion unit 2 configuration is exactly the same in each of the embodiments of the invention that follows.
【0028】 [0028]
いずれのフォーマットを選んだ場合も、8画素×8ラインのブロック単位でDCT4により画像データを空間周波数領域の変換係数104に変換し、量子化部5で変換係数の量子化を行う。 May chose any format, converts the image data into transform coefficients 104 of the spatial frequency domain by DCT4 in block units of 8 pixels × 8 lines, it performs a quantization of the transform coefficients by the quantization unit 5. 量子化後の8×8DCT係数105は、低周波数成分から順にスキャンされ1次元情報となった後、可変長符号化部6で可変長符号化される。 8 × 8 DCT coefficients 105 after quantization, after a one-dimensional information are scanned in order from low frequency components are variable length coded by the variable length coding unit 6. フォーマットの切り替えを行う個々の単位において、いずれのフォーマットを選んだかを示す情報106を符号化情報の一部として多重化する。 In each unit for switching format, it multiplexes the information 106 indicating whether chose any format as part of the encoded information. 符号化データはバッファ7に一時蓄積された後、符号化ビットストリーム107として出力される。 Coded data after being temporarily stored in the buffer 7 is outputted as the coded bit stream 107.
可変となる符号発生量を一定に保つ場合は、出力バッファ7を監視することで発生符号量108を把握し、フィードバックによって量子化制御を行う。 If keeping the code generation rate is variable constant, to determine the amount of generated code 108 by monitoring the output buffer 7, performs quantization control by feedback.
【0029】 [0029]
なお、本実施の形態ではDCT符号化を用いたが、サブバンド符号化等、他の符号化方式であってもこの発明を適用することができるのは言うまでもない。 Incidentally, in this embodiment but using DCT encoding, sub-band coding or the like, even in other encodings is of course possible to apply this invention. また、本実施の形態では、局所的フォーマット変換を行ったデータと行っていないデータとを(画像状態)判定部により切り替える構成を示したが、局所的フォーマット変換自体が処理内容を切り替えるような構成をとっても本質的に変わりのないことは勿論である。 Further, in the present embodiment, as a configuration has been shown to switch between data is not performed and data subjected to the local format conversion by (image state) determination unit switches the local format conversion itself processing content structure very that there is no change in essentially is a matter of course.
【0030】 [0030]
少なくとも内部的には色差信号についても高精度処理をし、また処理能力あるいはビットレートにも余裕があるとすれば、入力画像101に対して常にアップサンプリングされた局所的フォーマット変換後の画像信号102(この場合は選択後の画像信号103にも等しい)を出力する。 At least also the high-precision processing for the color difference signals internally, also if there is a margin in the processing capacity or bit rate, the image signals 102 after the local format conversion is always up-samples the input image 101 and outputs (in this case also equal to the image signal 103 after selection).
実は、画像状態判定部3の出力選択ビットとして少なくとも1ビットが必要であるが、上記固定出力の場合には選択ビットが不要となる。 In fact, at least one bit as the output selection bit image state determination unit 3 but it is necessary, the selected bit is not required in the case of the fixed output. そして常に高精度の色差信号が得られる。 And always accurate color difference signals are obtained.
この場合の構成を図7に示す。 It shows the structure of this case is shown in FIG. 図7に示す画像符号化装置によれば、局所的フォーマット変換2からフォーマット変換信号130が出力される。 According to the image encoding apparatus shown in FIG. 7, the format conversion signal 130 from the local format conversion 2 are output. このフォーマット変換信号は、DCT4に入力して該フォーマットの符号化を行う。 The format conversion signal performs coding of the format is input to DCT4. 尚、本構成は、以下の他の実施の形態においても全く同様に考えることができ、符号化・復号化器においてセレクタを用いてフォーマット信号を切り換える他に、上記構成とすることができる。 Note that this configuration also can be considered to be exactly the same in other embodiments described below, in addition to switch the format signal using the selector in the encoding and decoding unit may be an above-described configuration.
【0031】 [0031]
実施の形態2. The second embodiment.
図8は動き補償を含む予測符号化手段を備えた画像符号化装置の構成図である。 Figure 8 is a block diagram of an image encoding apparatus having a predictive coding means including motion compensation. 図において、新規な要素として、20の第2の局所的フォーマット変換部、21の判定部3の出力部のセレクタ、22の第3の局所的フォーマット変換部、23の判定部3の出力部のセレクタがある。 In the figure, as a new element, a second local format conversion unit 20, 21 of the determination unit 3 of the output of the selector, the third local format conversion unit 22, the output of the determining unit 3 of the 23 there is a selector. その他の減算器15、インタ(フレーム内)/イントラ(フレーム間)切り替えセレクタ16、加算器17、フレーム(画像)メモリ18、動き補償ベクトル推定および動き補償を行う動き補償予測部19は従来と同等の要素である。 Other subtractor 15, inter (inter-frame) (intra-frame) / intra switching selector 16, an adder 17, a frame (image) memory 18, equivalent to the motion compensated prediction unit 19 prior to performing motion compensation vector estimation and compensation which is the element.
また、116は適応的にフォーマットの切り替えられた画像データ、117は予測誤差画像データ、118は逆DCTによって画素空間領域に戻された画像データ、119は予測画像データ、120は復号された画像データ、121は局所的にフォーマット変換された復号画像データ、122はフォーマットを統一された復号画像データ、123は動き補償予測部19から読み出された動き補償後の画像データ、124は局所的にフォーマット変換された画像データ、125は動き補償予測データ、126は動きベクトル情報、127は局所的にいずれのフォーマットが使われたかを示す信号である。 The image data that has been switched adaptive manner formats 116, 117 prediction error image data, the image data returned to the pixel space region by inverse DCT 118, 119 predicted image data, the image data 120 that has been decoded , 121 locally format-converted decoded image data, decoded image data which has been unified format 122, 123 image data after motion compensation has been read from the motion compensation prediction unit 19, 124 is locally formatted converted image data, 125 is a motion compensated prediction data, 126 motion vector information, is 127 a signal indicating whether locally either format is used. 上記以外は既に説明された番号のものと同等である。 The others are already equivalent to those of the described number.
【0032】 [0032]
次に動作について説明する。 Next, the operation will be described.
この実施の形態では動き補償予測とDCT符号化方式を用いる。 Using motion compensated prediction and DCT coding method in this embodiment. 入力画像信号はA/D変換1にてディジタル化された後、フォーマット変換される。 The input image signal after being digitized by the A / D converter 1, is format conversion. 今、画像データ101のフォーマットは図25(c)に示す4:4:4フォーマットであるとする。 Now, the format of the image data 101 shown in FIG. 25 (c) 4: 4: and a 4 format. すなわち、輝度成分と色差成分のサンプル密度は等しい。 That is, sample density of the luminance component and color difference components are equal. この画像データ101を局所的フォーマット変換2によって別のフォーマット、例えば図25(a)に示す4:2:0フォーマットの画像データ102に変換する。 The image data 101 different formats by local format conversion 2, for example 4 shown in FIG. 25 (a): 2: 0 is converted into the image data 102 format. 4:2:0フォーマットは4:4:4フォーマットに比べて色差成分のサンプル密度が低いため、符号化すべき総サンプル数は小さくなり、圧縮効率は高まる。 4: 2: 0 format is 4: 4: 4 due to low sample density of a color difference component as compared with the format, the total number of samples to be coded is reduced, the compression efficiency is enhanced. 反面、色雑音が画面上の広い範囲に波及する可能性がある。 On the other hand, there is a possibility that color noise is spread over a wide range on the screen. これら4:4:4フォーマットの画像データと4:2:0フォーマットの画像データを動的に、例えばブロック単位もしくは複数のブロックを単位として判定部3において切り替えながら符号化を行うことが基本である。 These 4: 4: 4 format image data and the fourth: 2: 0 format image data dynamically, for example by performing the coding while switching the determination unit 3 a block or a plurality of block units is a basic .
【0033】 [0033]
判定部3での選択後の入力画像データ116と、参照画面から動き予測によって生成される動き補償予測画像データ125との差分をとり、予測誤差信号117を得るためには、入力画像データ116のフォーマットと動き補償予測画像データ125のフォーマットとが同じでなければならない。 The input image data 116 after the selection in the determination unit 3, a reference screen takes the difference between the motion compensation prediction image data 125 generated by the motion prediction, in order to obtain a prediction error signal 117, the input image data 116 format and the format of the motion compensated predictive image data 125 must be the same. このため、フレームメモリ18から読み出された動き補償予測画像データに対しても第3の局所的フォーマット変換22とセレクタ23を用いてフォーマットをそろえる。 Therefore, align format also using the third local format conversion 22 and the selector 23 with respect to the motion compensation prediction image data read out from the frame memory 18. 例えば、フレームメモリ18に蓄積された参照画像のフォーマットが効率を重んじて4:2:0のフォーマットであれば、第3の局所的フォーマット変換22はサンプル密度を上げる方向の変換となる。 For example, honor format of the reference image stored in the frame memory 18 efficiently 4: 2: If 0 format, the third local format conversion 22 is the conversion of the direction of increasing the sample density.
【0034】 [0034]
フォーマットが一致して予測誤差信号117が得られた後、8画素×8ラインのブロック単位でDCT4により画像データ103を空間周波数領域の変換係数104に変換し、量子化部5で変換係数の量子化を行う。 After the format is the prediction error signal 117 is coincident obtained, it converts the image data 103 to the transform coefficients 104 of the spatial frequency domain by DCT4 in block units of 8 pixels × 8 lines, quantum conversion coefficient by the quantization unit 5 carry out the reduction. 後で動き補償予測の参照画面として用いるため、量子化された情報105を逆量子化部11で逆量子化し、逆DCTして画像データ118を得て、予測画像データ(動き補償予測信号)119と加算器17で加算する。 For use as a reference picture for motion compensation prediction later, inversely quantizes the information 105 quantized by the inverse quantization unit 11, to obtain image data 118 and inverse DCT, predictive image data (motion compensated prediction signal) 119 to be added by the adder 17. すなわち局部復号によって画像を復号し、フレームメモリ18に蓄積する。 That decoded image by the local decoding is stored in the frame memory 18. この際、フレームメモリ18に蓄積するフォーマットを統一するために、必要に応じて第2の局所的フォーマット変換20とセレクタ21により局所的フォーマット変換を行う。 At this time, in order to unify a format for storing in the frame memory 18, it performs a local format converted by the second local format conversion 20 and the selector 21 as required. 量子化後の8×8DCT係数105は低周波数成分から順にスキャンされ1次元情報となった後、可変長符号化部6で可変長符号化される。 The 8 × 8 DCT coefficients 105 after quantization after a one-dimensional information are scanned in order from low frequency components are variable length coded by the variable length coding unit 6. また、フォーマットの切り替えを行う個々の単位において、いずれのフォーマットを選んだかを示す情報127を符号化情報の一部として多重化する。 Also, multiplexed in the individual units for switching format, the information 127 indicating whether chose any format as part of the encoded information.
可変となる符号発生量を一定に保つ場合は、出力バッファ7を監視することで発生符号量108を把握し、レート制御部8によるフィードバックによって量子化制御を行う。 If keeping the code generation rate is variable constant, to determine the amount of generated code 108 by monitoring the output buffer 7, performs quantization controlled by feedback by the rate control unit 8.
【0035】 [0035]
なお、本実施の形態ではDCT符号化を用いたが、サブバンド符号化等、他の符号化方式であってもこの発明を適用することができるのは言うまでもない。 Incidentally, in this embodiment but using DCT encoding, sub-band coding or the like, even in other encodings is of course possible to apply this invention. また、本実施の形態では、局所的フォーマット変換を行ったデータと行っていないデータとを判定部3により切り替える構成を示したが、局所的フォーマット変換自体が処理内容を切り替えるような構成をとっても本質的に変わりのないことは勿論である。 Further, in the present embodiment, a configuration has been shown to switch the determination unit 3 and the data is not performed and data subjected to the local format conversion, very essence a configuration as to switch the local format conversion itself process content it is, of course, that there is no change to the basis.
【0036】 [0036]
実施の形態3. Embodiment 3.
図9は予測復号化ループがない場合の、基本的な画像復号化装置の構成図である。 Figure 9 is the case where there is no prediction decoding loop, a block diagram of a basic image decoding apparatus. 図において、新規な要素として13の局所的フォーマット変換(複数フォーマット変換)部がある。 In FIG, 13 local format conversion as a new element (s format conversion) unit is. また、図の復号化装置における判定部3aは、画像状態判定はせず、入力は選択情報113で出力選択をする。 The determination unit 3a in the decoding apparatus of FIG., The image state determination does not input to the output selected by the selection information 113. その他のバッファ9、可変長復号化部10、逆量子化部11、逆DCT部12、D/A変換部14は、従来と同様の要素である。 Other buffer 9, the variable length decoding unit 10, inverse quantization unit 11, inverse DCT section 12, D / A conversion unit 14 is a conventional and similar elements.
また、109は可変長復号された量子化インデックス情報、110は逆量子化された変換係数、111は逆DCTによって画素空間領域に戻された画像データ、112は局所的フォーマット変換された画像データ、113はいずれのフォーマットが選ばれたかを示す情報で、符号化装置側の選択情報106に対応しており、114はフォーマットの統一された画像データ、115は再生された画像信号である。 Further, the variable length decoded quantization index information 109, transform coefficients are dequantized 110, image data is returned to the pixel space area by the inverse DCT 111, 112 locally format-converted image data, 113 is information indicating which format is selected, corresponds to the selection information 106 of the coding apparatus side, the format of the unified image data 114, 115 is an image signal reproduced. 上記以外は既に説明された番号のものと同等である。 The others are already equivalent to those of the described number.
【0037】 [0037]
次に動作について説明する。 Next, the operation will be described.
この実施の形態の復号化装置は、実施の形態1で述べた画像符号化装置に呼応する復号化装置である。 Decoding apparatus of this embodiment is a decoding apparatus responsive to the image coding apparatus described in the first embodiment. まず符号化されたビットストリーム107はバッファ9に蓄積される。 Bitstream 107 is first encoded is stored in the buffer 9. バッファ9内のデータは読み出され、可変長復号化部10において可変長復号が行われる。 The data in the buffer 9 are read out, the variable-length decoding is performed in the variable length decoding unit 10. この過程でDCT係数の情報109、ブロックもしくは複数のブロックで形成される個々の単位においてどのようなフォーマットが選択されたかを示す情報113等が復号・分離される。 Information 109 of the DCT coefficients in this process, any format is information such as 113, which indicates whether the selected at each unit formed by the block or multiple blocks are decoded and separated. 復号された8×8の量子化DCT係数109は逆量子化部11でDCT係数110に復元され、逆DCT部12により画素空間データ111に変換される。 Quantized DCT coefficients 109 of the decoded 8 × 8 is restored to the DCT coefficients 110 by the inverse quantization unit 11, are converted into pixel spatial data 111 by an inverse DCT unit 12.
【0038】 [0038]
復号画像として出力する前に、局所的フォーマット変換側か元の画像信号のフォーマット側かを示す例えば1ビットの情報113に従って、画面のフォーマットを均一にするための局所的フォーマット変換13を判定部3aにおいて動的に切り替えながら行い、復号画像114を得る。 Before outputting as a decoded image, according to example 1 bit of information 113 indicating whether the format-side local format conversion side or the original image signal, a local format conversion 13 to a uniform format of the screen determination unit 3a performed while dynamically switched in, to obtain a decoded image 114. 最後にD/A変換14によって再生画像信号を得る。 Obtaining a reproduced image signal finally by the D / A converter 14.
【0039】 [0039]
実施の形態4. Embodiment 4.
図10は動き補償を含む予測復号化手段を備えた画像復号化装置の構成図である。 Figure 10 is a block diagram of an image decoding apparatus having a predictive decoding means including motion compensation. 図において、新規な要素は、先の実施の形態で示した第2の局所的フォーマット変換部20と、第3の局所的フォーマット変換部22と、セレクタ21、23である。 In the figure, the new element, the second local format conversion unit 20 shown in the above embodiment, the third local format conversion unit 22, a selector 21, 23. また、24は動き補償予測部である。 Further, 24 is a motion compensation prediction unit. また、128は局所的にフォーマット変換された復号画像データである。 Also, 128 is a decoded image data which is locally format conversion. 上記以外は既に説明された番号のものと同等である。 The others are already equivalent to those of the described number.
【0040】 [0040]
次に動作について説明する。 Next, the operation will be described.
この実施の形態の復号化装置は、実施の形態2で述べた画像符号化装置に呼応する復号化装置である。 Decoding apparatus of this embodiment is a decoding apparatus responsive to the image coding apparatus described in the second embodiment. まず入力の符号化されたビットストリーム107はバッファ9に蓄積される。 Bitstream 107 that is encoded in first inputted is stored in the buffer 9. バッファ9内のデータは読み出され、可変長復号化部10で可変長復号が行われる。 The data in the buffer 9 are read out, the variable-length decoding is performed in the variable length decoding unit 10. この過程でDCT係数の情報109、動きベクトルの情報126、ブロックもしくは複数のブロックで形成される個々の単位においてどのようなフォーマットが選択されたかを示す情報127等が復号・分離される。 Information 109 of the DCT coefficients in this process, information of the motion vector 126, any format information 127, etc., which indicates whether the selected at each unit formed by the block or multiple blocks are decoded and separated. 復号された8×8の量子化DCT係数109は逆量子化部11でDCT係数110に復元され、逆DCT部12により画素空間データ118に変換される。 Quantized DCT coefficients 109 of the decoded 8 × 8 is restored to the DCT coefficients 110 by the inverse quantization unit 11, are converted into pixel spatial data 118 by an inverse DCT unit 12.
動き補償予測が行われている際は、上記の画素空間データ118と、参照画面からの動き補償予測によって生成される動き補償予測画像データ117との加算器17による加算で画像が復号され、復号画像120は必要に応じてその後の復号処理で参照画面として用いるためにフレームメモリ18に蓄積されるのが基本である。 When the motion compensated prediction is performed, the above pixel spatial data 118, the image is decoded by the addition by the adder 17 to the motion compensation prediction image data 117 generated by the motion compensation prediction from the reference picture, decoding image 120 is a basic being stored in a frame memory 18 for use as a reference picture in the subsequent decoding processing, if necessary.
【0041】 [0041]
復号された差分画素空間データ118と、参照画面から動き予測によって生成される動き補償予測画像データ117との加算を行うには、復号差分画素空間データ118のフォーマットと動き補償予測画像データ117のフォーマットとが同じでなければならない。 A decoded differential pixel spatial data 118, to do the addition of the motion compensation prediction image data 117 generated by the motion prediction from the reference picture, the format of the format and the motion compensation prediction image data 117 of the decoded difference pixel spatial data 118 door must be the same. このため、フレームメモリ18から読み出された動き補償予測画像データに対して、必要に応じて第3の局所的フォーマット変換部22と、セレクタ23により局所的フォーマット変換を行ってフォーマットをそろえる。 Therefore, with respect to the motion compensation prediction image data read out from the frame memory 18, a third local format conversion unit 22 if necessary, align the format by performing a local format conversion by the selector 23. この局所的フォーマット変換が必要であるかどうか(セレクタでどちらを選ぶか)は、先に分離したフォーマット選択情報127によって知られる。 This whether local format conversion is required (The choice selector) is known by the format selection information 127 separated earlier.
【0042】 [0042]
復号画像として出力する前に、選択されたフォーマットを示す情報127に従って、画面のフォーマットを均一にするための局所的フォーマット変換部13を判定部3aにおいて動的に切り替えながら行い、復号画像114を得る。 Before outputting as a decoded image, according to the information 127 indicating the selected format, performed while dynamically switching the determination unit 3a the local format conversion unit 13 for equalizing the format of the screen, to obtain a decoded image 114 .
復号画像114をフレームメモリ18に蓄積する際にも、フォーマットを統一するために、必要に応じて第2の局所的フォーマット変換部20とセレクタ21によって局所的フォーマット変換を行う。 When storing the decoded image 114 to the frame memory 18 also, in order to unify the format, performs local format conversion by the second local format conversion unit 20 and the selector 21 as required.
【0043】 [0043]
実施の形態5. Embodiment 5.
図11は局所的フォーマット(複数フォーマット)変換で、どのフォーマット変換を選択するかを切り替える具体的な基準の例を示した基本的符号化装置の構成図である。 Figure 11 is a block diagram of a basic coder shown an example of a specific criteria for switching whether a local format (multiple formats) conversion, to select which format conversion. 図において、新規な要素は25の色差成分によるフォーマット判定部があり、図1の判定部3の入力信号を特定したものである。 In the figure, the new element has the format determination unit according to the color difference components of 25, it is obtained by identifying the input signal of the determination unit 3 of FIG. 上記以外は既に説明された番号のものと同等である。 The others are already equivalent to those of the described number.
【0044】 [0044]
次に動作について説明する。 Next, the operation will be described.
本実施の形態で説明するのは、局所的フォーマット変換を行うか否か、及びどのようなフォーマットを選択するかを決定する基準を与える仕組みである。 To describe in this embodiment is a mechanism for providing a reference for determining whether to perform local format conversion, and to select what format. 今、フォーマットを選択する範囲はブロックもしくは複数のブロックをまとめたある単位とする。 Now, the range of selecting the format to a unit that summarizes the block or multiple blocks. 本実施の形態では、色差成分によるフォーマット判定部25が同単位に含まれる画像データの色差成分に基づいてフォーマットを選択する。 In this embodiment, the format determination unit 25 according to the chrominance components is to select a format based on the color difference component of the image data contained in the unit. 例えば、色雑音が顕著に検知され得るのは、濃い色の部分、色の値が激しく変化している部分等、色のアクティビティが高い部分である。 For example, the color noise can be detected remarkably, the dark portion of the portion such as the color values ​​are violently changed, the color of the activity is high part. また、顔や唇を含む人間の肌の色の周辺も色雑音が顕著に検知され得る部分である。 In addition, the periphery of the color of human skin, including the face and lips is also a portion where the color noise can be significantly detected. このことを利用すれば、色雑音の目立ちやすくなるような箇所において、色差成分のサンプル密度の高いフォーマットを選択することができる。 By utilizing this fact, the easier becomes such locations noticeable color noise, it is possible to select a higher format of the sample density of the color difference component.
【0045】 [0045]
具体的な構成例として、図12にフォーマット判定部25を示す。 As a specific configuration example shows the format determination unit 25 in FIG. 12. 図に示すように、画像入力信号101が輝度・色差信号が多重化されていた場合には、輝度・色差信号分離器31において各信号に分離され、色差信号136が出力される。 As shown, the image input signal 101 is when the luminance and color difference signals have been multiplexed is separated into signals in the luminance and color difference signal splitter 31, the color difference signal 136 is output. 他方、入力信号101が元来色差信号に分離されていた場合には、直接色差信号136となり、色差平均値検出器35及び色差分散値算出器36に入力される。 On the other hand, when the input signal 101 has been separated into the original chrominance signal is input directly next to the color difference signals 136, the color difference average value detector 35 and the color difference variance value calculator 36. 色差平均値検出器35では、ブロックもしくは複数のブロックをまとめたある単位毎の画像領域に対する色差の平均値137を算出する。 The color difference average value detector 35, calculates the average value 137 of the color difference with respect to the image area for each certain unit summarizes the block or multiple blocks. 該色差平均値137及び色差信号136を用いて、色差分散値算出器36では色差分散値138を算出する。 Using the color difference average value 137 and the color difference signals 136, calculating the color difference variance value 138 in the color difference variance value calculator 36. フォーマット決定部37は、色差分散値138を予め定められた閾値との大小比較することで、局所的フォーマット変換するか否か、さらにどのフォーマットに変換するかのフォーマット切り替え情報106が得られる。 Format determining unit 37, by comparison between the color difference variance 138 predetermined threshold, whether to convert local format, is obtained of the format switching information 106 into a further which format. また局所的フォーマット変換する場合は、図11に示すように信号103は信号102を選択する。 In the case of converting local format signal 103 as shown in FIG. 11 selects the signal 102.
【0046】 [0046]
ここで、例えば閾値を2つ(Th1,Th2)用意して、局所的フォーマット変換する場合を考えると色差成分の分散値Devを考えて、これと閾値Th1,Th2の大小関係を考える。 Here, for example, two (Th1, Th2) prepared threshold, consider the dispersion value Dev of thinking the chrominance components when converting local format, consider the magnitude relationship between this and the threshold value Th1, Th2. 原信号101が4:4:4、または逆に4:2:0の場合には、下記の通りになる。 Original signal 101 is 4: 4: 4 or conversely 4: 2: 0, the made as follows.
1) 原信号101=4:4:4の場合1−1) if(Dev<Th1)(但し、Th1<Th2) 1) the original signal 101 = 4: 4: For 4 1-1) if (Dev <Th1) (where, Th1 <Th2)
これは色の変化が平坦であると考えられる。 This change of color is considered to be flat. 従って、 Therefore,
{4:4:4⇒4:2:0へDown−Sampling} {4: 4: 4⇒4: 2: 0 to Down-Sampling}
1−2) if(Dev≧Th1&Dev2<Th2) 1-2) if (Dev ≧ Th1 & Dev2 <Th2)
これは上記より変化するが、変化の割合は激しくないと考えられる。 This varies from the above, the rate of change is not considered to be severe. 従って、 Therefore,
{4:4:4⇒4:2:2にDown−Sampling} {4: 4: 4⇒4: 2: 2 to Down-Sampling}
1−3) else 1-3) else
{No Change} {No Change}
2) 原信号101=4:2:0の場合、 2) the original signal 101 = 4: 2: 0,
2−1) if(Dev>Th1)(但し、Th1>Th2) 2-1) if (Dev> Th1) (However, Th1> Th2)
{4:2:0⇒4:4:4へUp−Sampling} {4: 2: 0⇒4: 4: Up-Sampling to 4}
2−2) if(Dev≦Th1&Dev>Th2) 2-2) if (Dev ≦ Th1 & Dev> Th2)
{4:2:0⇒4:2:2へUp−Sampling} {4: 2: 0⇒4: 2: 2 to Up-Sampling}
2−3) else 2-3) else
{No Change} {No Change}
また、上記説明したように、判定基準としては、例えば画素値(上記例では色差値)の分散値を用いているが、これは分散値が大きいことは画素値の振幅が大きいことを意味し、逆に分散値が小さいときには画素値は平坦であり、全体が平均値に近いことを意味することを利用している。 Further, as described above, as a criterion is, for example, the pixel value (in the above example Irosachi) uses the variance value of which is large variance means that the amplitude of the pixel value is large , when the dispersion value in the opposite smaller pixel values ​​is flat, it is utilized to mean that the whole is close to the average value.
【0047】 [0047]
この実施の形態では実施の形態1の画像符号化装置のフォーマット切換基準の選択について説明したが、これは輝度成分と色差成分のサンプル密度比を切り替えるための判断基準を与える仕組の具体例なので、予測符号化手段を付加した形式の実施の形態2で示した画像符号化装置においても適用できることは言うまでもない。 It has been described for the selection of the format switching reference of the image coding apparatus of the first embodiment in this embodiment, because this is a specific example of a mechanism that gives criteria for switching the sample density ratio of the luminance component and chrominance components, also it can of course be applied in an image coding apparatus as shown in the second embodiment of the format added with the predictive coding means. この場合の構成例を図13に示す。 It shows a configuration example in this case is shown in FIG. この図13では、フォーマット判定部25とそのセレクタ部3bとは別要素として表示しているが、図11と同様に3bはそのセレクタ部分を表していてフォーマット判定部25内にある。 In FIG 13, although the format determination unit 25 and its selector portion 3b are displayed as a separate element, as in FIG. 11 3b is in the format determination unit 25 represents that selector portion.
本発明を実施の形態2の画像符号化装置に適用する場合には、フォーマットの選択を行う単位における色差成分のフレーム間におけるアクティビティを基準に用いることも可能である。 When applying the present invention to an image encoding apparatus of the second embodiment, it is also possible to use based on the activity between frames of a color difference component in a unit for selecting a format.
なお、本実施の形態では色差成分によるフォーマット判定部25への入力として、入力画像信号101の色差信号分を用いた例を説明したが、後の実施の形態の他の基準入力のように量子化部5の出力である量子化インデックス105を用いてもよい。 Incidentally, as input to the format determination unit 25 according to the chrominance components in the present embodiment, an example has been described using a color difference signal of the input image signal 101, the quantum as other reference input embodiment after it may be used quantization index 105 is the output of the unit 5.
【0048】 [0048]
実施の形態6. Embodiment 6.
図14は局所的フォーマット変換で、どのフォーマット変換を選択するかを切り替える他の具体的な基準を用いた予測符号化手段付の符号化装置の構成図である。 Figure 14 is a block diagram of an encoding device with a predictive coding means using other specific criteria for switching whether in local format conversion, to select which format conversion. 図において、新規な要素は26の動きによるフォーマット判定部であり、図1の判定部3の入力信号を特定したものである。 In the figure, the new element is a format determination section due to the motion of 26 is obtained by identifying the input signal of the determination unit 3 of FIG. また、判定部分とセレクタ部分3bを別枠表示したのは図13と同様である。 Further, the determination portion and a selector portion 3b displaying separate frame is the same as FIG. 13. 上記以外は既に説明された番号のものと同等である。 The others are already equivalent to those of the described number.
【0049】 [0049]
次に動作について説明する。 Next, the operation will be described.
本実施の形態で説明するのは、局所的フォーマット変換の選択基準を得る他の仕組である。 To describe in the present embodiment is another mechanism for obtaining the selection criteria for the local format conversion. 今、フォーマットを選択する範囲はブロックもしくは複数のブロックをまとめたある単位とする。 Now, the range of selecting the format to a unit that summarizes the block or multiple blocks. この本実施の形態では、同単位における動き補償予測のための動きベクトル126に基づいてフォーマットを選択する。 In the present embodiment, to select a format based on the motion vector 126 for motion compensated prediction in the same units. 例えば、色雑音が顕著に検知され得るのは、フレーム間で動きがあり、情報量が大きく発生するところで圧縮を行わねばならない部分である。 For example, the color noise can be significantly detected, there is a movement between frames, a portion that must be performed compression where the amount of information is generated greatly. このことを利用すれば、動きベクトルの値に基づいて色雑音の目立ちやすくなるような箇所を判断して、色差成分のサンプル密度の高いフォーマットを選択すれことができる。 By utilizing this fact, to determine the locations such that conspicuous color noises on the basis of the values ​​of the motion vectors, it is possible by selecting a higher format of the sample density of the color difference component. また、動きベクトルは元々符号化情報の一部として復号側に与えるべき情報であるため、改めてフォーマット選択情報を復号側に与える必要はなくなるという利点もある。 Moreover, there is since a motion vector is originally information to be supplied to the decoding side as a part of the encoded information, an advantage that it becomes unnecessary to provide again the format selection information to the decoding side. また実施の形態5と同様に、フォーマット変換の有無、さらにどのフォーマットに変換するかは、輝度成分の値の閾値との大小判定により行う。 Also as in the fifth embodiment, the presence or absence of a format conversion, is to convert more which format is performed by size determination of the threshold value of the luminance component.
【0050】 [0050]
上記動きによるフォーマット判定部26の構成例を具体的に示したのが、図15である。 The specifically shows a configuration example of a format determination unit 26 according to the motion, a diagram 15. 図中、動きベクトル126を入力した動きベクトル絶対値算出器38では、動きベクトルの絶対値、すなわち水平成分と垂直成分のそれぞれの絶対値和を算出する。 In the figure, the motion vector magnitude calculator 38 to enter the motion vector 126, the absolute value of the motion vectors, i.e., calculates the respective sums of absolute values ​​of the horizontal and vertical components. フォーマット決定部39では、得られた動きベクトルの絶対値139の値を、例えば予め定められた閾値と比較することで動きの激しさを判定して、局所的フォーマット変換を用いるかどうか決定し、フォーマット切り替え情報106を出力する。 The format determining unit 39, the value of the absolute value 139 of the obtained motion vector, to determine the intensity of movement by comparing, for example, a predetermined threshold value, and determines whether to use the local format conversion, and it outputs the format switching information 106.
また上記説明では動きベクトルの絶対値を用いたが、動きベクトルの水平・垂直成分の2乗和でも有効であることに変わりはない。 Also using the absolute value of the motion vector in the above description, but instead not to be effective in the sum of the squares of the horizontal and vertical components of the motion vector.
【0051】 [0051]
実施の形態7. Embodiment 7.
図16は実施の形態6の符号化装置に対応する受け側の予測復号化手段を備えた画像復号化装置の構成図である。 Figure 16 is a block diagram of an image decoding apparatus having a predictive decoding means receiving side corresponding to the coding apparatus of the sixth embodiment. 図中の番号の各要素は既に説明された番号のものと同等である。 Each element of the numbers in the figure are already equivalent to those of the described number. 但し3bは動きによるフォーマット判定部26のセレクタ部分である。 However 3b denotes a selector portion of the format determination unit 26 due to the motion.
【0052】 [0052]
次に動作について説明する。 Next, the operation will be described.
まず入力の符号化されたビットストリーム107は、バッファ9に蓄積される。 Bitstream 107 that is encoded in first inputted is stored in the buffer 9. バッファ9内のデータは読み出され、可変長復号化部10で可変長復号が行われる。 The data in the buffer 9 are read out, the variable-length decoding is performed in the variable length decoding unit 10. この過程でDCT係数の情報109、動きベクトルの情報126等が復号・分離される。 Information 109 of the DCT coefficients in this process, information 126 such as motion vectors are decoded and separated. 復号された8×8の量子化DCT係数109は逆量子化部11でDCT係数110に復元され、逆DCT部12により画素空間データ118に変換される。 Quantized DCT coefficients 109 of the decoded 8 × 8 is restored to the DCT coefficients 110 by the inverse quantization unit 11, are converted into pixel spatial data 118 by an inverse DCT unit 12. 動き補償予測が行われている際は参照画面からの動き補償予測によって生成される動き補償予測画像データ117との加算によって画像が復号され、復号画像120は必要に応じてその後の復号処理で参照画面として用いるためにフレームメモリに蓄積されるのが基本である。 When the motion compensated prediction being performed image is decoded by adding the motion compensation prediction image data 117 generated by the motion compensation prediction from the reference picture, the decoded image 120 is optionally referred to in the subsequent decoding process is the basic being accumulated in the frame memory for use as a screen.
【0053】 [0053]
復号された差分画素空間データ118と、参照画面から動き予測によって生成される動き補償予測画像データ117との加算を行う際に必要なフォーマットの一致のため、フレームメモリ18から読み出された動き補償予測画像データに対して、第3の局所的フォーマット変換22とセレクタ23を用いる。 A decoded differential pixel spatial data 118, since the reference screen matches the format required for performing addition of the motion compensation prediction image data 117 generated by the motion prediction, motion compensation is read from the frame memory 18 the prediction image data, the third local format conversion 22 and the selector 23 is used. この局所的フォーマット変換のセレクタによる選択には、先に分離した動きベクトル情報126を入力とする動きによるフォーマット判定部26で得られるフォーマット情報106が用いられる。 This by choice selectors local format conversion, format information 106 obtained by the format determination unit 26 due to the motion of the input motion vector information 126 separated previously is used.
実は、動きベクトル情報は動き補償を行う場合は、必らず伝送されるものであり、従って符号化装置側から対応する選択情報127は伝送は必要なく、伝送ビットを減らすことができる。 In fact, the motion vector information when performing motion compensation, which is 必 Razz transmission, thus selection information 127 corresponding from the encoding apparatus side transmission is not required, it is possible to reduce the transmission bit.
復号画像として出力する前に、選択されたフォーマットを示す情報106に従って、画面のフォーマットを均一にするための局所的フォーマット変換部13出力を動きによるフォーマット判定部26のセレクタ部分3bによって動的に切り替えながら行い、復号画像114を得る。 Before outputting as a decoded image, dynamically switched according to the information 106 indicating the selected format, by the selector portion 3b of the format determination unit 26 according to the local format conversion unit 13 outputs the motion for a uniform format of the screen performed while to obtain a decoded image 114. 復号画像をフレームメモリ18に蓄積する際にも、フォーマットを統一するために、第2の局所的フォーマット変換部20とセレクタ21により局所的フォーマット変換を行う。 When storing the decoded picture in the frame memory 18 also, in order to unify the format, performs local format converted by the second local format conversion unit 20 and the selector 21.
【0054】 [0054]
実施の形態8. Embodiment 8.
図17は局所的フォーマット変換で、どのフォーマット変換を選択するかを切り替える基準として、更に他の具体例を記載した基本的な画像符号化装置の構成図である。 Figure 17 is a local format conversion, as a criterion for switching between the choice of format conversion, a further block diagram of a basic image coding apparatus according to another embodiment. 図において、新規な要素は27の輝度成分によるフォーマット判定部であり、図1の判定部3の入力信号を特定したものである。 In the figure, the new element is the format determination unit according to the luminance component of 27 is obtained by identifying the input signal of the determination unit 3 of FIG. また判定部分とセレクタ部分とを別枠表示したのは図13と同様である。 Also a determining section and a selector section to display a separate frame is the same as FIG. 13. またその具体構成例は図12の色差信号の場合と同様である。 Further examples thereof include configuration is the same as that of the color difference signal of FIG. 12. 上記以外の要素は既に説明された番号のものと同等である。 Elements other than the above are already equivalent to those of the described number.
【0055】 [0055]
次に動作について説明する。 Next, the operation will be described.
フォーマット選択の範囲も、他の実施の形態と同様に、ブロックまたは複数ブロックを単位とする。 Range format selection, similar to the other embodiments, a unit of block or blocks. 本実施の形態では、同単位に含まれる画像データの輝度成分に基づいて、局所的フォーマット変換出力を用いるかどうかを輝度成分によるフォーマット判定部27で選択する。 In this embodiment, on the basis of the luminance component of the image data contained in the unit, to select whether to use the local format conversion output format determination unit 27 according to the luminance component. 例えば、色雑音が顕著に検知され得るのは、輝度が高い、すなわち明るい部分である。 For example, the color noise can be significantly detected, high brightness, that is, bright portion. 暗い部分では色に対する感度が低下するために色雑音は目立ちにくい。 Color noise for sensitivity to color is reduced in a dark portion is less conspicuous. このことを利用すれば、例えば図12同等の構成回路により、色雑音の目立ちやすくなるような箇所において、色差成分のサンプル密度の高いフォーマットを選択すれことができる。 By utilizing this fact, for example, by 12 same configuration circuit, at a point such that conspicuous color noises, it is possible by selecting a higher format of the sample density of the color difference component. また、輝度成分のサンプル密度を一定にして色差成分のサンプル密度を可変にしておけば、輝度成分はフォーマット選択の情報によらず復号側において復号可能であるため、復号側でも輝度成分を基に同一アルゴリズムでフォーマット選択を行うことができる。 Further, if the sample density of the color difference component by a constant sample density of the luminance component in the variable, since the luminance component can be decoded at the decoding side regardless of the information format selection, based on the luminance component in the decoding side it is possible to perform format selection on the same algorithm. このため、改めてフォーマット選択情報を復号側に与える必要はなくなる。 Therefore, it is unnecessary to provide a format selection information to the decoding side again. また、実施の形態5で述べた様にフォーマット変換の有無、さらにどのフォーマットに変換するかは、輝度成分値の閾値との大小判定により行う。 Also, the presence of the format conversion as described in the fifth embodiment, will either further converted to any format, performed by size determination of the threshold of the luminance component value.
【0056】 [0056]
本実施の形態では実施の形態1相当の基本的な構成の符号化装置におけるフォーマット切換基準を与える他の場合を説明したが、基本的に輝度成分と色差成分のサンプル密度比を切り替えるための判断基準を与える具体例なので、予測符号化手段を付加した形式である実施の形態2の画像符号化装置においても適用できることは言うまでもない。 In the present embodiment has described the case of addition to providing formatting switching reference in the encoder of the basic configuration of a substantial first embodiment, basically judgment for switching the sample density ratio of a luminance component and a color difference component since specific examples giving reference, can also be applied in the image encoding apparatus of the predictive coding means embodiment in the form of adding the second embodiment. この場合の構成例を図18に示す。 Shows a configuration example in this case is shown in FIG. 18. フォーマット判定部分27とそのセレクタ部分3bとの分離表示も図17と同様である。 Separation display format determination part 27 and its selector portion 3b is the same as FIG. 17. また、予測帰還ループのある図18の場合には、フォーマットの選択を行う単位における輝度成分のフレーム間におけるアクティビティを、局部的フォーマット変換の出力を選択するか否かの選択基準に用いることも可能である。 In the case of Figure 18 with a predicted feedback loop, the activity between frames of the luminance component in a unit for selecting a format, can also be used to select whether or not criteria for selecting the output of the local format conversion it is.
上記、輝度成分によるフォーマット判定部27の構成としては、量子化された輝度値105の大小判定を行う部分をフォーマット判定部27の中に持たせ、その結果に基いてセレクタ部分3bで出力を選択し、判定を行った結果のフォーマット切り替え情報(選択情報)106を出力する構成とすればよい。 Above, the configuration of the format determination unit 27 according to the luminance component, to have in part a format determination unit 27 for size determination of the luminance value 105 the quantized, select the output by the selector portion 3b on the basis of the result and the format switching information results of determination may be configured to output (selection information) 106.
なお、本実施の形態では輝度成分によるフォーマット判定部27への入力を量子化部5の出力である量子化インデックスである輝度値105を用いたが、先の実施の形態の色差成分によるとそれと同様に入力画像信号101の輝度信号分を用いてもよい。 Although the inputs to the format determination unit 27 according to the luminance component in this embodiment using the luminance value 105 is the quantization index which is the output of the quantization unit 5, according to the color difference components of the previous embodiment at the same it may be used a luminance signal of the input image signal 101 in the same manner.
【0057】 [0057]
実施の形態9. Embodiment 9.
図19は実施の形態8の予測符号化手段付の画像符号化装置に対応する受け側の予測符号化手段付の画像復号化装置の構成図である。 Figure 19 is a block diagram of an image decoding device with receiving side of the predictive coding means corresponding to the image coding apparatus with predictive coding means of the eighth embodiment. 図中の番号は既に説明された番号のものと同等である。 Numbers in the figure are already equivalent to those of the described number.
次に動作について説明する。 Next, the operation will be described.
まずバッファ9内で蓄積された符号化ビットストリーム107は読み出され、可変長復号が行われる。 First encoded bit stream 107 stored in the buffer 9 are read, the variable length decoding is performed. この過程でDCT係数の情報109、動きベクトルの情報126等が復号・分離される。 Information 109 of the DCT coefficients in this process, information 126 such as motion vectors are decoded and separated. 復号された8×8の量子化DCT係数109は逆量子化されてDCT係数110に復元され、逆DCT化により画素空間データ118に変換される。 Quantized DCT coefficients 109 of the decoded 8 × 8 is restored to the DCT coefficients 110 are inverse quantized and converted into pixel spatial data 118 by an inverse DCT of. これに、動き補償予測が行われている際は動き補償予測画像データ117と加算されて画像が復号され、復号画像120は必要に応じてフレームメモリ18に蓄積されるのが基本である。 Thereto, when the motion compensation prediction is performed an image is added to the motion compensated prediction image data 117 is decoded, it is fundamental to the decoded image 120 is stored in the frame memory 18 as needed.
【0058】 [0058]
復号された差分画素空間データ118と、参照画面から動き予測によって生成される動き補償予測画像データ117との加算を行う際に必要なフォーマットの一致のため、先の実施の形態で述べたように、フレームメモリ18から読み出された動き補償予測画像データに対して、第3の局所的フォーマット変換部22とセレクタ23を用いる。 A decoded differential pixel spatial data 118, since the reference picture of the addition matches the format required for performing the motion compensation prediction image data 117 generated by the motion prediction, as described in the above embodiment for the motion compensation prediction image data read out from the frame memory 18, the third local format conversion unit 22 and the selector 23 is used. この局所的フォーマット変換のセレクタによる選択には、輝度成分の量子化値109を用いる。 The selection by the selector of the local format conversion, using the quantization values ​​109 of the luminance component. 例えば、色雑音が顕著に検知され得るのは、輝度が高い、すなわち明るい部分である。 For example, the color noise can be significantly detected, high brightness, that is, bright portion. 暗い部分では色に対する感度が定価低下するために色雑音は目立ちにくい。 Color noise for sensitivity to color is reduced price in a dark portion is less conspicuous. 符号化側と同一のアルゴリズムによってフォーマットを選択するものとすれば、フォーマット選択情報は不要である。 Assuming that selects the format by the encoding side and the same algorithm, format selection information is not required. 復号画像として出力する前に、選択されたフォーマットを示す情報106に従って、画面のフォーマットを均一にするための局所的フォーマット変換部13出力をフォーマット判定部27のセレクタ部分3bによって動的に切り替えながら行い、復号画像114を得る。 Before outputting as a decoded image, according to the information 106 indicating the selected format, performed while dynamically switched by the selector portion 3b of the format determination unit 27 local format converter 13 output to a uniform format of the screen to obtain a decoded image 114. 復号画像をフレームメモリ18に蓄積する際にも、フォーマットを統一するために、第2の局所的フォーマット変換部20とセレクタ21により局所的フォーマット変換を行う。 When storing the decoded picture in the frame memory 18 also, in order to unify the format, performs local format converted by the second local format conversion unit 20 and the selector 21.
【0059】 [0059]
実施の形態10. Embodiment 10.
図20は局所的フォーマット変換で、どのフォーマット変換を選択するかを切り替える他の具体的な基準を用いた画像符号化装置の構成図である。 Figure 20 is a block diagram of an image coding apparatus using the other specific criteria for switching whether in local format conversion, to select which format conversion.
図において、新規な要素は40の予測誤差によるフォーマット判定部であり、図1の判定部3の入力信号を特定したものである。 In the figure, the new element is the format determination unit according to the prediction error of 40 is obtained by identifying the input signal of the determination unit 3 of FIG. また判定部分40とセレクタ部分3bとを別枠表示したのは、図13と同様である。 The determination portion 40 and the a selector portion 3b displayed separate frame is similar to FIG. 13. 上記以外の要素は既に説明された番号のものと同等である。 Elements other than the above are already equivalent to those of the described number.
【0060】 [0060]
次に動作について説明する。 Next, the operation will be described. なお、局部的フォーマット変換の出力を選択するか否かの切り替えの基準を与える部分以外の動作は重複を避けて説明を省略する。 The operation other than the portion which gives whether the reference switching to select the output of the local format conversion will be omitted to avoid duplication. 本実施の形態の構成では、フォーマット選択情報106を復号側に与える必要がない。 In the configuration of the present embodiment, it is not necessary to provide a format selection information 106 to the decoding side.
図20において、フォーマット変換の選択単位における動き補償予測後の予測誤差データ117に基づいてフォーマットを選択する。 In Figure 20, you select the format based on the prediction error data 117 after motion compensation prediction in the selected units of format conversion. 例えば、色雑音が顕著に検知され得るのは、予測誤差のエネルギーが大きい時に頻繁に起こる。 For example, the color noise can be significantly detected, frequently occurs when the energy of the prediction error is large. 図20の構成で、予測誤差値によるフォーマット判定を設定しきい値と比較して、そのしきい値より大きいことで予測誤差のエネルギーが大きいことが判る。 In the configuration of FIG. 20, as compared to the set thresholds the format determination by the prediction error values, it can be seen that the energy of the prediction error by greater than the threshold is greater. 従って、この時に限り色差成分のサンプル数を増やし、それ以外の場合には減らすことが効率的である。 Thus, increasing the number of samples of the color difference component only if this, it is efficient to reduce otherwise. また、上記の説明では、フォーマット判定部40は、予測誤差データ117を入力してフォーマットの判定を行う構成としていたが、量子化部5の出力である量子化インデックス105を入力してフォーマットの判定を行う構成としてもよい。 In the above description, the format determination unit 40, which had been configured to perform determination of the format by entering the prediction error data 117, determines the format by entering the quantization index 105 is the output of the quantization unit 5 it may be configured to perform. また、実施の形態5において述べた様に、上記予測誤差値と閾値との大小判定によりフォーマット変換を行うか、さらにどのフォーマットに変換するかを決定する構成とする。 Also, as described in the fifth embodiment, whether to perform the format conversion by size determination of the prediction error value and the threshold value is configured to determine whether to convert more which format.
【0061】 [0061]
実施の形態11. Embodiment 11.
図21は実施の形態10の符号化装置に呼応する、受け側の画像復号化装置の構成図である。 Figure 21 is responsive to the coding apparatus of the tenth embodiment is a configuration diagram of a receiving side image decoding apparatus. 図中の番号は既に説明された番号のものと同等である。 Numbers in the figure are already equivalent to those of the described number.
なお、切り替えの基準に関する部分以外の動作は重複を避けて説明を省略する。 The operation other than the portion related to the reference of the changeover will be omitted to avoid duplication. バッファ9内の符号化ビットストリーム107が読み出され、可変長復号が行われる。 Coded bit stream 107 in the buffer 9 are read out, the variable-length decoding is performed. この過程でDCT係数の情報109、動きベクトルの情報126等が復号・分離される。 Information 109 of the DCT coefficients in this process, information 126 such as motion vectors are decoded and separated.
復号された差分画素空間データ118と、動き補償予測画像データ117との加算を行う際に必要なフォーマットの一致のため、既に述べたようにフレームメモリ18から読み出された動き補償予測画像データに対して、第3の局所的フォーマット変換部22とセレクタ23を用いる。 A decoded differential pixel spatial data 118, for matching the format required for performing addition of the motion compensation prediction image data 117, to the motion compensation prediction image data read out from the frame memory 18 as already stated in contrast, the third local format conversion unit 22 and the selector 23 is used. この局所的フォーマット変換のセレクタによる選択には、先に分離した動きベクトル情報126を入力とする予測誤差値によるフォーマット判定部40からの出力情報を用いる。 This by choice selectors local format conversion, using the output information from the format determination unit 40 by the prediction error value to the input motion vector information 126 separated earlier.
【0062】 [0062]
実施の形態12. Embodiment 12.
図22は局所的フォーマット変換で、どのフォーマット変換を選択するかを切り替える他の具体的な基準を用いた画像符号化装置の構成図である。 Figure 22 is a block diagram of an image coding apparatus using the other specific criteria for switching whether in local format conversion, to select which format conversion.
図において、新規な要素は41の量子化ステップサイズによるフォーマット判定部であり、図1の判定部3の入力信号を特定したものである。 In the figure, the new element is a format determination section by the quantization step size of 41 is obtained by identifying the input signal of the determination unit 3 of FIG. また判定部分41とセレクタ部分3bを別枠表示したのは、図13と同様である。 Also the determination section 41 and a selector portion 3b displayed separate frame is similar to FIG. 13. 上記以外は既に説明された番号のものと同等である。 The others are already equivalent to those of the described number.
【0063】 [0063]
次に動作について説明する。 Next, the operation will be described.
本実施の形態の構成によっても、フォーマット選択情報を復号側に与える必要がない。 Also the configuration of the present embodiment, it is not necessary to provide a format selection information to the decoding side. また、切り替えの基準に関する部分以外の動作説明は省略する。 Also, the description of the operation of the other parts related to the reference of the changeover will be omitted. 本実施の形態では、符号化係数または符号化画像を量子化する量子化ステップサイズ140に基づいてフォーマットを選択する。 In this embodiment, to select a format based on the quantization step size 140 of quantizing the coding coefficients, or coded image. これは、レート制御部8の出力である量子化ステップサイズ140が大きい時に画像の劣化が顕著になることを利用し、量子化ステップサイズ140が大きい時に色差成分のサンプル密度の高いフォーマットに設定し、逆に量子化ステップサイズ140が小さい時には該色差成分のサンプル密度を低く設定することが効果的である。 This utilizes image degradation may become noticeable when is the output quantization step size 140 of the rate control unit 8 is large is set to a high sample density of color difference components format when the quantization step size 140 is large , when the quantization step size 140 to the opposite small it is effective to set low sample density of the color difference component. 即ち、図22の構成で量子化ステップサイズによるフォーマット判定41は設定閾値と比較して、セレクタ部分3の選択をする。 That is, the format determination 41 by the quantization step size in the configuration of FIG. 22 is compared with the preset threshold, the selection of the selector portion 3. ここで、フォーマット変換の有無、さらにどのフォーマットに変換するかは、実施の形態5と同様にして上記量子化ステップサイズと閾値との大小判定により行う。 Here, the presence or absence of format conversion, is to convert more which format is performed by size determination of the quantization step size and the threshold value in the same manner as in the fifth embodiment.
【0064】 [0064]
量子化ステップサイズ140はフォーマット選択の情報によらず復号側において復号可能であるため、復号側でも輝度成分を基に同一アルゴリズムでフォーマット選択を行うことができる。 Since the quantization step size 140 can be decoded at the decoding side regardless of the information format selection, it is possible to format selected by the same algorithm based on the luminance component in the decoding side. このため、改めてフォーマット選択情報を復号側に与える必要はなくなる。 Therefore, it is unnecessary to provide a format selection information to the decoding side again.
本実施の形態では、予測符号化手段のない基本的画像符号化装置で説明したが、量子化ステップサイズによるフォーマット判定は、輝度成分と色差成分のサンプル密度比を切り替えるための判断基準を与えるためのものなので、予測符号化手段を備えた画像符号化装置においても適用できることは言うまでもない。 In the present embodiment it has been described in the basic image encoding apparatus with no predictive encoding means, format determination by the quantization step size to provide a criterion for switching the sample density ratio of a luminance component and a color difference component since those, the present invention can be applied in the image encoding apparatus having a predictive coding means. この時の構成例を図23に示す。 It shows a configuration example in this Figure 23.
【0065】 [0065]
実施の形態13. Embodiment 13.
図24は実施の形態12の予測符号化手段付画像符号化装置に呼応する、受け側の予測復号化手段付の画像復号化装置の構成図である。 Figure 24 is a block diagram of a prediction responsive to coded image coding apparatus with means, receiving side of the image decoding apparatus with predictive decoding means embodiment 12. 図中の番号は既に説明された番号のものと同等である。 Numbers in the figure are already equivalent to those of the described number.
次に動作について説明する。 Next, the operation will be described.
同図の中で、復号された差分画素空間データ118と、動き予測によって生成される動き補償予測画像データ117との加算を行う際に必要なフォーマットの一致のため、既述のように、フレームメモリ18から読み出された動き補償予測画像データに対して、第3の局所的フォーマット変換部22とセレクタ23を用いる。 In the figure, the differential pixel spatial data 118 decoded, for matching the format required for performing addition of the motion compensation prediction image data 117 generated by the motion prediction, as described above, the frame relative motion compensated prediction image data read out from the memory 18, the third local format conversion unit 22 and the selector 23 is used. この局所的フォーマット変換のセレクタによる選択には、可変長復号化の過程で得られる分離された信号の量子化値ステップサイズ140を用いる。 This by choice selectors local format conversion, using the quantization value step size 140 of the separated signals obtained in the process of variable length decoding.
復号画像として出力する前に、選択されたフォーマットを示す情報106に従って、画面のフォーマットを均一にするための局所的フォーマット変換13をフォーマット判定部41のセレクタ部分3bによって動的に切り替えながら行い、復号画像114を得る。 It performed before outputting as a decoded image, according to the information 106 indicating the selected format, while dynamically switched by the selector portion 3b of the format determination unit 41 local format conversion 13 to a uniform format of the screen, decoding obtaining an image 114. 復号画像をフレームメモリ18に蓄積する際にも、第2の局所的フォーマット変換部20とセレクタ21により局所的フォーマット変換を行う。 When storing the decoded picture in the frame memory 18 also performs a local format converted by the second local format conversion unit 20 and the selector 21.
【0066】 [0066]
なお、上記各実施の形態では局所的フォーマット変換で、複数フォーマット変換の出力を選択するかしないかを判定部で行うための信号として、単一の成分、例えば色差成分等を用いた場合を説明した。 In local format conversion in the above embodiments, as a signal for performing whether to select the output of multiple formats conversion determination unit, a single component, for example, the case of using the color difference components such as described did. しかし、勿論判定入力として、単一成分ではなくて複数の成分を入力とし、加重加算した信号を用いたり、各成分の選択後の結果の論理演算結果で最終的な選択出力情報106を与えるようにしてもよい。 However, of course the decision input, rather than a single component as an input a plurality of components, or using a weighted addition signal, so as to provide a final selection output information 106 in the logical operation result of the results after selection of each component it may be.
また、上記説明した画像符号化装置と、画像復号化装置は組にして伝送路を介して、または記録媒体等を介して画像符号化・復号化システムを構成する。 Further, constituting the image coding apparatus described above, the image decoding apparatus via a transmission path in the set, or an image coding and decoding system through a recording medium or the like.
【0067】 [0067]
【発明の効果】 【Effect of the invention】
以上のようにこの発明によれば、符号化装置において、複数フォーマット変換部と各種の画像状態判定部を備えて、所定の画像データの状態変化を検出してフォーマットを選択するようにしたので、色差成分のサンプル数を大幅に増やさないで色雑音を低減する効果がある。 According to the invention, as described above, in the encoding device, an image state determination unit of the plurality format conversion unit and various, since to choose the format by detecting a change in the state of the predetermined image data, an effect of reducing the color noise without greatly increasing the number of samples of the color difference component.
【0068】 [0068]
また、復号化装置においても、複数フォーマット変換部を備えて復号化過程で得られる値によりフォーマットを選択するようにしたので、色雑音が低減された復号画像が得られる効果がある。 Also in the decoding apparatus, since the to select the format by the value obtained in the decoding process includes a plurality format converter, the effect of the decoded image in which the color noise is reduced can be obtained.
【0069】 [0069]
また符号化装置において、色差信号、輝度信号、動きベクトルの値、画像データと動き補償後予測信号との予測誤差値、量子化ステップサイズを設定値と比較してフォーマット変換を切り換えるようにしたので、色雑音の目立ちやすい部分で色差成分のサンプル密度を上げ、場合によっては復号側に選択情報を送らないでよく、色雑音を低減して、場合によっては符号化効率が高まる効果がある。 In addition the coding apparatus, the color difference signals, the luminance signal, the value of the motion vector, the image data and the prediction error value between the motion compensated prediction signals, since the switch the format conversion as compared to the setpoint quantization step size , increasing the sample density of the color difference component in noticeable color part noise, as the case may not send the selection information to the decoding side, by reducing the color noise, in some cases the effect of encoding efficiency increases.
【0070】 [0070]
また復号化装置においても、符号化側と対応した構成としたので、色雑音の低減がなされ、場合によっては高い符号化効率による一層の低減が得られる効果がある。 Also in the decoding apparatus, since a structure which corresponds with the encoding side, the reduction of color noises is made, in some cases the effect of further reduction due to high encoding efficiency is obtained.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】 本発明の実施の形態1における基本的な画像符号化装置の構成ブロック図である。 1 is a configuration block diagram of a basic image coding apparatus according to the first embodiment of the present invention.
【図2】 8X8ブロックの輝度成分と色差成分のサンプルのフォーマットを示す図である。 2 is a diagram showing a format of a sample of the luminance component and color difference components of 8X8 blocks.
【図3】 図1における局所的フォーマット変換部の構成例を示す図である。 It is a diagram illustrating a configuration example of a local format conversion unit in FIG. 3 FIG.
【図4】 図1における局所的フォーマット変換部の構成例を示す図である。 Is a diagram illustrating a configuration example of a local format conversion unit in FIG. 1;
【図5】 図1における局所的フォーマット変換部の構成例を示す図である。 It is a diagram illustrating a configuration example of a local format conversion unit in FIG. 5 FIG.
【図6】 図1における局所的フォーマット変換部の構成例を示す図である。 It is a diagram illustrating a configuration example of a local format conversion unit in FIG. 6 FIG.
【図7】 本発明の実施の形態1における基本的な画像符号化装置の他の構成ブロック図である。 Figure 7 is another block diagram of a basic image coding apparatus according to the first embodiment of the present invention.
【図8】 本発明の実施の形態2における予測符号化手段を備えた画像符号化装置の構成ブロック図である。 8 is a block diagram of an image encoding apparatus having a predictive coding means according to the second embodiment of the present invention.
【図9】 本発明の実施の形態3における基本的な画像復号化装置の構成ブロック図である。 9 is a block diagram of a basic image decoding device in the third embodiment of the present invention.
【図10】 本発明の実施の形態4における予測復号化手段を備えた画像復号化装置の構成ブロック図である。 10 is a block diagram of an image decoding apparatus having a predictive decoding means according to the fourth embodiment of the present invention.
【図11】 本発明の実施の形態5における基本的な画像符号化装置の構成ブロック図である。 11 is a block diagram of a basic image coding device in the fifth embodiment of the present invention.
【図12】 図11における色差成分によるフォーマット判定部の構成例を示す図である。 12 is a diagram showing a configuration example of a format determination unit by the color difference component in FIG 11.
【図13】 本発明の実施の形態5における予測符号化手段を備えた画像符号化装置の構成ブロック図である。 13 is a block diagram of an image encoding apparatus having a predictive coding means according to the fifth embodiment of the present invention.
【図14】 本発明の実施の形態6における予測符号化手段を備えた画像符号化装置の構成ブロック図である。 14 is a block diagram of an image encoding apparatus having a predictive coding means according to the sixth embodiment of the present invention.
【図15】 図14における動きによるフォーマット判定部の構成例を示す図である。 15 is a diagram showing a configuration example of a format determination unit by the motion of FIG. 14.
【図16】 本発明の実施の形態7における予測復号化手段を備えた画像復号化装置の構成ブロック図である。 16 is a block diagram of an image decoding apparatus having a predictive decoding means according to the seventh embodiment of the present invention.
【図17】 本発明の実施の形態8における基本的な画像符号化装置の構成ブロック図である。 17 is a block diagram of a basic image coding apparatus according to the eighth embodiment of the present invention.
【図18】 本発明の実施の形態8における予測符号化手段を備えた画像符号化装置の構成ブロック図である。 FIG. 18 is a block diagram of an image encoding apparatus having a predictive coding means according to the eighth embodiment of the present invention.
【図19】 本発明の実施の形態9における予測復号化手段を備えた画像復号化装置の構成ブロック図である。 19 is a block diagram of an image decoding apparatus having a predictive decoding means according to the ninth embodiment of the present invention.
【図20】 本発明の実施の形態10における予測符号化手段を備えた画像符号化装置の構成ブロック図である。 FIG. 20 is a block diagram of an image encoding apparatus having a predictive coding in Embodiment 10 of the present invention.
【図21】 本発明の実施の形態11における予測復号化手段を備えた画像復号化装置の構成ブロック図である。 FIG. 21 is a block diagram of an image decoding apparatus having a predictive decoding means according to Embodiment 11 of the present invention.
【図22】 本発明の実施の形態12における基本的な画像符号化装置の構成ブロック図である。 FIG. 22 is a block diagram of a basic image coding apparatus according to Embodiment 12 of the present invention.
【図23】 本発明の実施の形態12における予測符号化手段を備えた画像符号化装置の構成ブロック図である。 FIG. 23 is a block diagram of an image encoding apparatus having a predictive coding unit of the twelfth embodiment of the present invention.
【図24】 本発明の実施の形態13における予測復号化手段を備えた画像復号化装置の構成ブロック図である。 FIG. 24 is a block diagram of an image decoding apparatus having a predictive decoding means in the embodiment 13 of the present invention.
【図25】 ビデオ圧縮の画像符号化方式における画像フォーマットの説明図である。 FIG. 25 is an explanatory view of an image format of the image encoding method of video compression.
【図26】 従来の画像符号化器の構成ブロック図である。 FIG. 26 is a block diagram of a conventional image encoder.
【図27】 従来の画像復号化器の構成ブロック図である。 FIG. 27 is a block diagram of a conventional image decoder.
【符号の説明】 DESCRIPTION OF SYMBOLS
1 A/D変換部、2 局所的フォーマット変換部、3、3a (画像状態)判定部、4 DCT部、5 量子化部、6 可変長符号化部、7 送信バッファ、8 レート制御部、9 受信バッファ、10 可変長復号化部、11 逆量子化部、12 逆DCT部、13 局所的フォーマット変換部、14 D/A変換部、15 減算器、16 セレクタ、17 加算器、18 フレームメモリ、19 動き補償ベクトル推定および動き補償予測部、20 第2の局所的フォーマット変換部、21 セレクタ、22 第3の局所的フォーマット変換部、23 セレクタ、24 動き補償予測部、25 色差成分によるフォーマット判定部、26 動きによるフォーマット判定部、27 輝度成分によるフォーマット判定部、30 フォーマット判定部、31 輝度・色差信号分離器、 1 A / D conversion unit, 2 local format conversion unit, 3, 3a (image state) determination unit, 4 DCT unit, 5 a quantization unit, 6 the variable length coding unit, 7 transmission buffer, 8-rate control unit, 9 receive buffer, 10 a variable length decoding unit, 11 inverse quantization unit 12 inverse DCT unit, 13 local format converting unit, 14 D / A conversion unit, 15 a subtractor, 16 a selector, 17 an adder, 18 a frame memory, 19 motion compensation vector estimation and motion compensation prediction unit, 20 second local format converter, 21 a selector, 22 a third local format converter, 23 a selector, 24 a motion compensation prediction unit, the format determination unit according to 25 color difference component , format determination unit by 26 motion, the format determination unit according to 27 luminance components, 30 format determination unit, 31 luminance and color difference signals separator, 2 色差信号ダウンサンプリング器、33 色差信号アップサンプリング器、34 輝度・色差信号多重器、35 色差平均値検出器、36 色差分散値算出器、37 フォーマット決定部、38 動きベクトル絶対値算出器、39 フォーマット決定器、S4 予測誤差によるフォーマット判定部、41 量子化ステップサイズによるフォーマット判定部、101 ディジタル化された画像データ、102 局所的にフォーマット変換された画像データ、103 動的にフォーマットが切り替わっている画像データ、104 DCT変換係数、105 DCT変換係数の量子化インデックス、106 フォーマットの切り替え情報、107 符号化ビットストリーム、108 情報発生量を示す信号、109 可変長復号された変換係数の量子化インデックス、11 2 color difference signal downsampler, 33 color difference signal upsampler, 34 luminance and color difference signals multiplexer, 35 chrominance average value detector, 36 chrominance variance value calculator, 37 format determining unit, 38 motion vector absolute value calculator, 39 format determiner, the format determination unit according S4 prediction error, the format determination unit according to 41 quantization step size, 101 digitized image data, 102 locally format-converted image data, is switched is 103 dynamically formats image data, 104 DCT transform coefficients, the quantization index 105 DCT transform coefficients, 106 format switching information 107 encoded bit stream, a signal indicating the 108 information generation amount, 109 of the variable-length decoded transform coefficient quantization indices, 11 逆量子化された変換係数、111 逆DCTによって得られた画素空間領域のデータ、112 局所的にフォーマット変換された画素空間領域のデータ、113 フォーマットの切り替え情報、114 復号画像データ、115 再生画像信号、116 動的にフォーマットが切り替わっている画像データ、117 予測誤差データ、118 逆DCTによって得られた画素空間領域の差分画像データ、119 動き補償予測データ、120 復号画像データ、121 局所的にフォーマット変換された復号画像データ、122 フォーマットを統一された復号画像データ、123 動き補償予測のためにフレームメモリから読み出された画像データ、124 局所的にフォーマット変換された画像データ、125 予測信号、126 動きベクトル情報、127 Inverse quantized transform coefficients, the data of the pixel space area obtained by 111 inverse DCT, 112 locally format-converted pixel space area data 113 format switching information 114 decoded image data, 115 reproduced image signal , 116 dynamically image data switched formats, 117 prediction error data, the difference image data pixel space area obtained by 118 inverse DCT, 119 motion compensated prediction data, 120 the decoded image data, 121 locally format conversion has been decoded image data, decoded image data which has been unified 122 format, the image data read out from the frame memory for 123 motion compensated prediction, 124 locally format-converted image data, 125 predicted signal, 126 a motion vector information, 127 ォーマットの切り替え情報、128 局所的にフォーマット変換された復号画像データ、130 局所的フォーマットの切り替え信号、131 多重化された輝度・色差信号入力、132 分離された輝度信号、133 分離された色差信号、134 フォーマット変換された色差信号、135 多重化された輝度・色差信号出力、136 分離された色差信号、137 色差平均値、138 色差分散値、139 動きベクトル絶対値、140 量子化ステップサイズ。 Formatting switching information, 128 locally format-converted decoded image data, the switching signal 130 local format, 131 multiplexed luminance and color difference signal input, 132 separated luminance signal, 133 separated chrominance signals, 134 format converted color difference signals, 135 multiplexed luminance and color difference signals output, 136 separated chrominance signals, 137 color difference average, 138 chrominance variance, 139 a motion vector magnitude, 140 the quantization step size.

Claims (11)

  1. ディジタル化入力画像をフォーマット変換し、該フォーマット変換された画像を量子化する量子化部と、該量子化された量子化画像データを符号化する符号化部を備えて、該符号化された符号化ビットストリームを出力する画像符号化装置において、 Digitized input image format conversion, a quantization unit for quantizing the format-converted image, and includes an encoding unit for encoding the quantized quantization image data, which is the encoded code in the image coding apparatus outputting a bit stream,
    フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、 In format conversion, a plurality format converter for converting a plurality of the image data of the spatial resolution of a predetermined luminance signal and color difference signals,
    選択結果が、上記複数フォーマット変換部により変換された画像データか、変換前の元の画像データかを示す選択情報を出力し、該選択結果の画像データを後段に伝える画像判定部と、 Selection result, the multiple formats or converted image data by the converting unit, and outputs the selection information indicating whether pre-conversion of the original image data, and an image determination unit for transmitting the image data of the selected result to the subsequent stage,
    上記量子化された量子化画像データを逆量子化し、動きの予測差分とを加算して、複数の、所定の空間解像度の画像データに変換する第2の複数フォーマット変換部と、上記逆量子化した画像信号または上記第2の複数フォーマット変換部出力の画像信号を選択して記憶し、該記憶された参照画像データを用いて動きの予測差分を得るために、複数の、所定の空間解像度の画像データに変換する第3の複数フォーマット変換部と、を設けて、上記参照画像データまたは上記第3の複数フォーマット変換部の出力である画像信号を選択して元の画像データかまたはフォーマット変換後の出力に帰還減算する帰還符号化部と、を備えて、 Inversely quantizing the quantized quantized image data, by adding the prediction difference of motion, a second plurality format conversion section for converting a plurality of the image data of a predetermined spatial resolution, the inverse quantization image signal or by selecting the second image signal of the plurality format converter output stores the, in order to obtain a prediction difference of the motion using the reference image data that is the storage of a plurality of predetermined spatial resolution provided a third plurality format converter for converting the image data, and the reference image data or the third select an image signal after the original image data or format conversion, which is the output of the plurality format converter provided with a feedback encoder unit which returns subtracted output,
    上記符号化装置は、上記画像判定部が出力する選択情報に従って上記複数フォーマット変換部により変換された画像データか、または元の画像データのいずれかを選択して画像送信し、かつ上記選択情報を送信することを特徴とする画像符号化装置。 The encoding device selects one of the image data or the original image data, converted by said plurality format converter in accordance with selection information which the image determination unit outputs to image transmission, and the selection information image encoding device and transmits.
  2. 画像判定部は、入力画像データまたは量子化画像データ中の色差信号の状態を設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項1記載の画像符号化装置。 Image determination unit, and wherein the input image data or by comparing the state of setting a reference of the color difference signal in quantized image data, and to select the output of the spatial resolution corresponding from the output of the plurality format converter image encoding apparatus according to claim 1 wherein the.
  3. 画像判定部は、入力画像データまたは量子化画像データ中の輝度信号の状態を設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項1記載の画像符号化装置。 Image determination unit, and wherein the input image data or by comparing the state of setting the reference luminance signal in quantized image data, and to select the output of the spatial resolution corresponding from the output of the plurality format converter image encoding apparatus according to claim 1 wherein the.
  4. 画像判定部は、動き補償予測部からの動きベクトルの値を、設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項1記載の画像符号化装置。 Image determining unit, claims the value of the motion vector from the motion compensation prediction unit, and compared with the set reference, characterized in that so as to select the output of the spatial resolution corresponding from the output of the plurality format converter 1 image coding apparatus according.
  5. 画像判定部は、所定の空間解像度の画像データと動き補償後の予測信号との差である予測誤差値を、設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項1記載の画像符号化装置。 Image determination unit, the prediction error value is the difference between the image data and the prediction signal after motion compensation of a predetermined spatial resolution, as compared with the set reference, the output of the spatial resolution corresponding from the output of the plurality format converter image encoding apparatus according to claim 1, characterized in that to choose.
  6. 画像判定部は、符号化ビットストリームに基き発生した符号化量による量子化ステップサイズを、設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項1記載の画像符号化装置。 Image determination unit, the quantization step size by coding amount generated based on the encoded bit stream, that in comparison with the set reference, and to select the output of the spatial resolution corresponding from the output of the plurality format converter image encoding apparatus according to claim 1, wherein.
  7. 画像判定部は、入力画像データまたは量子化画像データ中の、それぞれ色差信号または輝度信号の状態と、動き補償予測部からの動きベクトルの値と、予測誤差値と、量子化ステップサイズと、のいずれか複数の値を加算して、設定基準と比較して、複数フォーマット変換部の出力から対応する空間解像度の出力を選択するようにしたことを特徴とする請求項1記載の画像符号化装置。 Image determining unit, in the input image data or quantized image data, and status of the color difference signal or luminance signal, respectively, and the value of the motion vector from the motion compensation prediction unit, the prediction error value, and the quantization step size, the by adding one plurality of values, and compared with the set reference, the image coding apparatus according to claim 1, characterized in that so as to select the output of the spatial resolution corresponding from the output of the plurality format converter .
  8. 入力の符号化ビットストリームを復号化する復号化部と、該復号された復号データのうち、変換係数に対応するデータを逆量子化及び逆変換する逆量子化部と逆変換部を備え、該逆量子化及び逆変換された画像データによりディジタル画像データを復元する画像復号化装置において、 A decoding unit to decode the input coded bit stream, among the decoded data No.該復includes an inverse quantization unit and the inverse transform unit for inverse quantization and inverse transform data corresponding to the transform coefficients, the in the image decoding apparatus for restoring the digital image data by inverse quantization and inverse transformed image data,
    上記逆変換された画像データを入力として、複数の、所定の輝度信号と色差信号による空間解像度のいずれかに変換して出力する複数フォーマット変換部を備え As input image data the inverse transform, a plurality of, multiple format converter for converting to any spatial resolution by a predetermined luminance signal and color difference signals,
    画像復号化装置は、上記符号化ビットストリームに含まれる選択情報を抽出し、該選択 情報に基いて上記複数フォーマット変換部の出力か、または該複数フォーマット変換部が変換する前の画像データのいずれかによりディジタル画像データを復元することを特徴とする画像復号化装置。 Image decoding apparatus extracts the selection information included in the coded bit stream, which image data before the output of the plurality format conversion unit based on the selection information, or the plurality of format conversion unit converts image decoding apparatus characterized by restoring the digital image data by one.
  9. 逆変換画像データを所定のフォーマット変換後に参照画像データとして記憶し、動きの予測誤差分を元の画像データかまたはフォーマット変換後の出力に加算する帰還予測手段を備え、 The inverse transform image data stored as the reference image data after a predetermined format conversion includes a feedback prediction means for adding the prediction error of the motion output after the original image data or format conversion,
    上記帰還予測手段は、上記参照画像データを得るために、複数の、所定の輝度信号と色差信号による空間解像度のどれかで再生画像データに変換する第2の複数フォーマット変換部と、上記帰還予測手段出力を元の画像データかまたはフォーマット変換後の出力に加算するために、複数の、所定の空間解像度の予測誤差分に変換する第3の複数フォーマット変換部と、を設けたことを特徴とする請求項記載の画像復号化装置。 The feedback predicting means, in order to obtain the reference image data, a plurality of, and a second plurality format converter for converting the reproduced image data in one of the spatial resolution by a predetermined luminance signal and color difference signals, the feedback prediction to adding means output or the original image data or the output after the format conversion, and characterized by providing a third plurality format converter for converting a plurality of, the prediction error of a predetermined spatial resolution, a the image decoding apparatus according to claim 8 wherein.
  10. 送信側の画像符号化装置中の色差信号、輝度信号または動きの変化の検出に対応する画像状態判定部を設け、送信側と同一の設定基準で入力の符号化ビットストリームの状態を検出して、複数の空間解像度のどれかを選択して復号化画像を得るようにしたことを特徴とする請求項8記載の画像復号化装置。 Color difference signal in the image coding apparatus on the transmission side, the image state determination unit corresponding to the detection of a change in the luminance signal or movement provided, to detect the state of the input coded bit stream with the same set reference transmission side the image decoding apparatus according to claim 8, characterized in that to obtain a decoded image by selecting one of the plurality of spatial resolutions.
  11. ディジタル化入力画像をフォーマット変換し、量子化し、符号化して、符号化ビットストリームを出力するために、 Digitized input image format conversion, and quantization, and encoding to output the encoded bit stream,
    (1)フォーマット変換に際して、複数の、所定の輝度信号と色差信号による空間解像度の画像データに変換する複数フォーマット変換部と、 (1) When the format conversion, a plurality format converter for converting a plurality of the image data of the spatial resolution of a predetermined luminance signal and color difference signals,
    (2)選択結果が、上記複数フォーマット変換部により変換された画像データか、変換前の元の画像データかを示す選択情報を出力し、該選択結果の画像データを後段に伝える画像判定部と、 (2) selection result, the multiple formats or converted image data by the converting unit, and outputs the selection information indicating whether pre-conversion of the original image data, and an image determination unit for transmitting the image data of the selected result to the subsequent stage ,
    (3)上記量子化された量子化画像データを逆量子化し、動きの予測差分とを加算して、複数の、所定の空間解像度の画像データに変換する第2の複数フォーマット変換部と、上記逆量子化した画像信号または上記第2の複数フォーマット変換部出力の画像信号を選択して記憶し、該記憶された参照画像データを用いて動きの予測差分を得るために、複数の、所定の空間解像度の画像データに変換する第3の複数フォーマット変換部と、を設けて、上記参照画像データまたは上記上記第3の複数フォーマット変換部出力の画像信号を選択して元の画像データかまたはフォーマット変換後の出力に帰還減算する帰還符号化部と、を備え、 (3) the the quantized image data to inverse quantization, by adding the prediction difference of motion, a second plurality format conversion section for converting a plurality of the image data of a predetermined spatial resolution, the select dequantized image signal or the second image signal of the plurality format converter output was stored, in order to obtain a prediction difference of the motion using the reference image data that is the storage of multiple, predetermined It provided a third plurality format converter for converting the image data of spatial resolution, and the reference image data or the above third image data or the format of the original and selects the image signals of a plurality format converter output and a feedback coding unit which returns subtraction output after conversion,
    上記画像判定部が出力する選択情報に従って上記複数フォーマット変換部により変換された画像データか、または元の画像データのいずれかを選択して画像送信し、かつ上記選択情報を送信する画像符号化装置と、 The image encoding device transmits the multiple formats or converted image data by the conversion unit, or by selecting one of the original image data and image transmission, and the selection information according to selection information which the image determination unit outputs When,
    上記画像符号化装置から送られる入力の符号化ビットストリームを復号化し、逆量子化及び逆変換し、 該逆量子化及び逆変換された画像データによりディジタル画像データを再生するために、 To the image coding and decoding an input coded bit stream sent from the device, inverse quantization and inverse transformation, to reproduce the digital image data by inverse quantization and inverse transformed image data,
    (4)上記逆変換された画像データを、入力の符号化ビットストリームの状態変化を判定して、 上記ディジタル画像データを得るために、複数の、所定の輝度信号と色差信号による空間解像度のどれかでディジタル画像データに再生する複数フォーマット変換部と、 (4) the inverse transformed image data, to determine the state change of the input coded bit stream, in order to obtain the digital image data, which of the spatial resolution of a plurality of predetermined luminance signal and color difference signal a plurality format conversion unit for reproducing the digital image data in either
    (5)上記符号化ビットストリームに含まれる選択情報を抽出して、該抽出した選択情報に基づいて、複数フォーマット変換部の出力か、または該複数フォーマット変換部が変換する前の画像データのいずれかを選択して出力する判定部と、を備えた画像復号化装置と、 (5) extracts the selection information included in the coded bit stream, based on the selection information the extracted, any image data before the output of the plurality format conversion unit, or plural format conversion unit converts a judging unit for selecting and outputting either the image decoding apparatus equipped with,
    で構成されることを特徴とする画像符号化・復号化システム。 Image encoding and decoding system characterized by being configured in.
JP26966996A 1995-12-27 1996-10-11 The image coding apparatus and image decoding apparatus and coding and decoding system Expired - Fee Related JP3681835B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP7-340871 1995-12-27
JP34087195 1995-12-27
JP26966996A JP3681835B2 (en) 1995-12-27 1996-10-11 The image coding apparatus and image decoding apparatus and coding and decoding system

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP26966996A JP3681835B2 (en) 1995-12-27 1996-10-11 The image coding apparatus and image decoding apparatus and coding and decoding system
CA 2191271 CA2191271C (en) 1995-12-27 1996-11-26 Video coding and decoding system and method
DE1996624669 DE69624669D1 (en) 1995-12-27 1996-11-29 Video encoder and -dekodierersystem and methods
DE1996624669 DE69624669T2 (en) 1995-12-27 1996-11-29 Video encoder and -dekodierersystem and methods
EP19960119162 EP0782342B1 (en) 1995-12-27 1996-11-29 Video coding and decoding system and methods
US08766179 US6018366A (en) 1995-12-27 1996-12-12 Video coding and decoding system and method
KR19960072357A KR100263627B1 (en) 1995-12-27 1996-12-26 Video coding and decoding system and method

Publications (2)

Publication Number Publication Date
JPH09238366A true JPH09238366A (en) 1997-09-09
JP3681835B2 true JP3681835B2 (en) 2005-08-10

Family

ID=26548871

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26966996A Expired - Fee Related JP3681835B2 (en) 1995-12-27 1996-10-11 The image coding apparatus and image decoding apparatus and coding and decoding system

Country Status (6)

Country Link
US (1) US6018366A (en)
EP (1) EP0782342B1 (en)
JP (1) JP3681835B2 (en)
KR (1) KR100263627B1 (en)
CA (1) CA2191271C (en)
DE (2) DE69624669T2 (en)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2768006B1 (en) * 1997-09-04 1999-10-15 Alsthom Cge Alcatel method of compressing a signal samples multidimensional
JPH11122495A (en) * 1997-10-09 1999-04-30 Olympus Optical Co Ltd Picture encoding device
US6519288B1 (en) * 1998-03-06 2003-02-11 Mitsubishi Electric Research Laboratories, Inc. Three-layer scaleable decoder and method of decoding
US6188730B1 (en) * 1998-03-23 2001-02-13 Internatonal Business Machines Corporation Highly programmable chrominance filter for 4:2:2 to 4:2:0 conversion during MPEG2 video encoding
KR100418874B1 (en) * 1998-10-10 2004-04-17 엘지전자 주식회사 Method of Buffering Video in the Video Compression System
US6229852B1 (en) * 1998-10-26 2001-05-08 Sony Corporation Reduced-memory video decoder for compressed high-definition video data
JP3623679B2 (en) * 1999-01-06 2005-02-23 日本電気株式会社 Moving picture coding apparatus
US6912318B2 (en) * 2000-06-06 2005-06-28 Kabushiki Kaisha Office Noa Method and system for compressing motion image information
US7085424B2 (en) * 2000-06-06 2006-08-01 Kobushiki Kaisha Office Noa Method and system for compressing motion image information
US7039241B1 (en) * 2000-08-11 2006-05-02 Ati Technologies, Inc. Method and apparatus for compression and decompression of color data
JP4834917B2 (en) * 2001-05-14 2011-12-14 株式会社ニコン The image coding apparatus and image server device
US7649947B2 (en) 2001-06-05 2010-01-19 Qualcomm Incorporated Selective chrominance decimation for digital images
US6803969B2 (en) * 2001-06-07 2004-10-12 Oki Electric Industry Co., Ltd. Video signal processing apparatus for digital video decoder
KR20040101220A (en) * 2002-02-07 2004-12-02 더 유니버시티 오브 마이애미 Schwann cell bridge implants and phosphodiesterase inhibitors to stimulate cns nerve regeneration
JP4015934B2 (en) * 2002-04-18 2007-11-28 株式会社東芝 Video encoding method and apparatus
US6930776B2 (en) * 2002-07-25 2005-08-16 Exfo Electro-Optical Engineering Inc. High optical rejection optical spectrum analyzer/monochromator
CN101563715B (en) * 2006-03-14 2012-05-30 惠而浦股份公司 System for programming domestic appliances and method for programming assembly-line programmable domestic appliances
US8655087B2 (en) * 2007-01-12 2014-02-18 Mitsubishi Electric Corporation Image decoding device and image decoding method for decoding compressed data
US8139632B2 (en) * 2007-03-23 2012-03-20 Advanced Micro Devices, Inc. Video decoder with adaptive outputs
CN101796813A (en) * 2007-09-10 2010-08-04 Nxp股份有限公司 Method and apparatus for motion estimation in video image data
US20090202165A1 (en) * 2008-02-13 2009-08-13 Kabushiki Kaisha Toshiba Image decoding method and image decoding apparatus
EP2177299B1 (en) * 2008-10-17 2013-07-31 PRIMA INDUSTRIE S.p.A. laser machine
CA2650102C (en) * 2009-01-09 2013-01-22 Michael D. Zulak Earth drilling reamer with replaceable blades
JP5624576B2 (en) * 2012-03-14 2014-11-12 株式会社東芝 Image compression controller and image compression apparatus
JP6074181B2 (en) * 2012-07-09 2017-02-01 キヤノン株式会社 Image processing apparatus and method
US9258517B2 (en) * 2012-12-31 2016-02-09 Magnum Semiconductor, Inc. Methods and apparatuses for adaptively filtering video signals

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4903317A (en) * 1986-06-24 1990-02-20 Kabushiki Kaisha Toshiba Image processing apparatus
DE3735349C2 (en) * 1986-10-18 1992-04-09 Kabushiki Kaisha Toshiba, Kawasaki, Kanagawa, Jp
JP2826321B2 (en) * 1988-07-23 1998-11-18 日本電気株式会社 Orthogonal transform coding device
US5253078A (en) * 1990-03-14 1993-10-12 C-Cube Microsystems, Inc. System for compression and decompression of video data using discrete cosine transform and coding techniques
JP2924430B2 (en) * 1991-04-12 1999-07-26 三菱電機株式会社 Motion compensated predictive coding apparatus and the motion compensation prediction decoding device
JPH0595540A (en) * 1991-09-30 1993-04-16 Sony Corp Dynamic picture encoder
US5220410A (en) * 1991-10-02 1993-06-15 Tandy Corporation Method and apparaus for decoding encoded video data
US5262854A (en) * 1992-02-21 1993-11-16 Rca Thomson Licensing Corporation Lower resolution HDTV receivers
US5363213A (en) * 1992-06-08 1994-11-08 Xerox Corporation Unquantized resolution conversion of bitmap images using error diffusion
JPH06205439A (en) * 1992-12-29 1994-07-22 Sony Corp Video signal recording device
JPH06233277A (en) * 1993-02-05 1994-08-19 Sharp Corp Picture encoder
US5526052A (en) * 1993-02-25 1996-06-11 Hyundai Electronics Ind. Co., Ltd. Quantization adaptive to the human visual system
EP0618731B1 (en) * 1993-03-31 1999-05-19 Sony Corporation High efficiency encoding of picture signals
JP3277418B2 (en) * 1993-09-09 2002-04-22 ソニー株式会社 The motion vector detection apparatus and method
JP2576771B2 (en) * 1993-09-28 1997-01-29 日本電気株式会社 Motion-compensated prediction apparatus
US5453787A (en) * 1993-12-10 1995-09-26 International Business Machines Corporation Variable spatial frequency chrominance encoding in software motion video compression

Also Published As

Publication number Publication date Type
CA2191271A1 (en) 1997-06-28 application
JPH09238366A (en) 1997-09-09 application
EP0782342A3 (en) 1998-02-11 application
DE69624669T2 (en) 2003-07-17 grant
DE69624669D1 (en) 2002-12-12 grant
EP0782342A2 (en) 1997-07-02 application
EP0782342B1 (en) 2002-11-06 grant
US6018366A (en) 2000-01-25 grant
KR100263627B1 (en) 2000-08-01 grant
CA2191271C (en) 2000-07-25 grant

Similar Documents

Publication Publication Date Title
US5847762A (en) MPEG system which decompresses and then recompresses MPEG video data before storing said recompressed MPEG video data into memory
US5657086A (en) High efficiency encoding of picture signals
US5729295A (en) Image sequence encoding device and area extracting device
US5428693A (en) Motion compensation predicting coding method and apparatus
US5633682A (en) Stereoscopic coding system
US5737022A (en) Motion picture error concealment using simplified motion compensation
US5633684A (en) Image information compression and decompression device
US6694342B1 (en) Scaled forward and inverse discrete cosine transform and video compression/decompression systems employing the same
US6078617A (en) Apparatus and method for coding and decoding video images
US5796434A (en) System and method for performing motion estimation in the DCT domain with improved efficiency
US5832124A (en) Picture signal coding method and picture signal coding apparatus, and picture signal decoding method and picture signal decoding apparatus
US6078694A (en) Image signal padding method, image signal coding apparatus, image signal decoding apparatus
US5434622A (en) Image signal encoding apparatus using adaptive frame/field format compression
US5946043A (en) Video coding using adaptive coding of block parameters for coded/uncoded blocks
US5473377A (en) Method for quantizing intra-block DC transform coefficients using the human visual characteristics
US6173013B1 (en) Method and apparatus for encoding enhancement and base layer image signals using a predicted image signal
US5812197A (en) System using data correlation for predictive encoding of video image data subject to luminance gradients and motion
EP0644695A2 (en) Spatially scalable video encoding and decoding
US20050220190A1 (en) Method and apparatus for effectively compressing motion vectors in multi-layer structure
US20120076203A1 (en) Video encoding device, video decoding device, video encoding method, and video decoding method
US5475435A (en) Layer encoding apparatus and layer decoding apparatus for input non-interlace video signal
US6301304B1 (en) Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders
US5973742A (en) System and method for performing motion estimation with reduced memory loading latency
US6005622A (en) Video coder providing implicit or explicit prediction for image coding and intra coding of video
US5438374A (en) System and method for filtering video signals

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041214

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050519

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080527

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090527

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100527

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100527

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110527

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110527

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120527

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120527

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130527

Year of fee payment: 8

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140527

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees