JP4359184B2 - Prediction information / quantized value control compression encoding apparatus, prediction information / quantization value control compression encoding program - Google Patents

Prediction information / quantized value control compression encoding apparatus, prediction information / quantization value control compression encoding program Download PDF

Info

Publication number
JP4359184B2
JP4359184B2 JP2004141665A JP2004141665A JP4359184B2 JP 4359184 B2 JP4359184 B2 JP 4359184B2 JP 2004141665 A JP2004141665 A JP 2004141665A JP 2004141665 A JP2004141665 A JP 2004141665A JP 4359184 B2 JP4359184 B2 JP 4359184B2
Authority
JP
Japan
Prior art keywords
prediction information
prediction
output
image
compressed data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004141665A
Other languages
Japanese (ja)
Other versions
JP2005323315A (en
Inventor
和久 井口
慎一 境田
清一 合志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2004141665A priority Critical patent/JP4359184B2/en
Publication of JP2005323315A publication Critical patent/JP2005323315A/en
Application granted granted Critical
Publication of JP4359184B2 publication Critical patent/JP4359184B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、動画像を圧縮符号化する予測情報・量子化値制御圧縮符号化装置、予測情報・量子化値制御圧縮符号化プログラムおよび予測情報・量子化値制御圧縮符号化方法に関する。   The present invention relates to a prediction information / quantization value control compression encoding apparatus, a prediction information / quantization value control compression encoding program, and a prediction information / quantization value control compression encoding method for compressing and encoding a moving image.

一般に、動画像を圧縮符号化すると、圧縮符号化した符号化画像を復号した復号画像に、フリッカと呼ばれるちらつき(輝度や色の変動による画質劣化)が発生する場合があることが知られている。   In general, it is known that when a moving image is compression-encoded, flickering (degradation of image quality due to luminance or color variation) may occur in a decoded image obtained by decoding the encoded image that has been compression-encoded. .

従来、このフリッカを低減(軽減)する(フリッカ妨害を防ぐ)ものとして、例えば、「フリッカ低減回路」(特許文献1参照)が開示されている。このフリッカ低減回路は、A/D変換における量子化時のフリッカを軽減するものであり、入力した映像信号をA/D変換した後の現デジタル信号をラッチ回路でラッチし、フィールドメモリに記録し、この記録した現デジタル信号と、前回入力した映像信号をA/D変換した後の前デジタル信号とを減算して、絶対値をとり、この絶対値が1よりも小さいか判別してから出力することでフリッカを軽減するものである。   Conventionally, for example, a “flicker reduction circuit” (see Patent Document 1) has been disclosed as a means for reducing (reducing) the flicker (preventing flicker interference). This flicker reduction circuit reduces the flicker at the time of quantization in A / D conversion, and the current digital signal after A / D conversion of the input video signal is latched by the latch circuit and recorded in the field memory. Then, the recorded current digital signal and the previous digital signal after A / D conversion of the previously input video signal are subtracted to obtain an absolute value, and output after determining whether the absolute value is smaller than 1 By doing so, flicker is reduced.

ここで、図9、図10を参照して、入力信号(デジタル信号)を量子化した量子化後の信号(信号波形)について説明する。図9は、信号波形を描く前のグラフを示したものである。この図9において、横軸は時間軸であり、横軸の刻みはデジタル信号の区切り(縦軸から最初の刻みまでの間が1番目のサンプル、次の刻みまでの間が2番目のサンプル、・・・)を示すものである。また、縦軸はデジタル信号の取りうる値を示すものであり、図9中の点線は量子化後の信号が取りうる値を示し、図9中の一点鎖線は量子化後の値(0または1)が変化する境界値を示している。   Here, a quantized signal (signal waveform) obtained by quantizing an input signal (digital signal) will be described with reference to FIGS. FIG. 9 shows a graph before a signal waveform is drawn. In FIG. 9, the horizontal axis is a time axis, and the horizontal axis is a digital signal delimiter (the first sample from the vertical axis is the first sample, the next sample is the second sample, ...)). Also, the vertical axis indicates the value that can be taken by the digital signal, the dotted line in FIG. 9 shows the value that can be taken by the quantized signal, and the alternate long and short dash line in FIG. 9 shows the value after quantization (0 or 1) shows the changing boundary value.

図10(a)は、入力信号(デジタル信号)の例を示したものであり、図10(b)は、図10(a)に示した入力信号を単純に量子化した結果(量子化後の信号)を示したものである。図10(b)に示したように、量子化後の信号は、入力信号に比べ、変動(振幅差)が大きくなり、フリッカ妨害が発生している。   FIG. 10A shows an example of an input signal (digital signal), and FIG. 10B shows the result of simple quantization of the input signal shown in FIG. 10A (after quantization). Signal). As shown in FIG. 10B, the quantized signal has a larger fluctuation (amplitude difference) than the input signal, and flicker interference occurs.

この図10(b)の信号波形を、従来の「フリッカ低減回路」に入力すると、図10(c)に示す信号波形となる。この図10(c)において、2番目のサンプルは、1番目のサンプルとの差が1であるため1番目のサンプルと同じ値を出力している。これにより、従来の「フリッカ低減回路」では、量子化した場合(図10(b))に発生するフリッカ妨害を単純に防ぐことができる。   When the signal waveform of FIG. 10B is input to a conventional “flicker reduction circuit”, the signal waveform shown in FIG. 10C is obtained. In FIG. 10C, the second sample outputs the same value as the first sample because the difference from the first sample is 1. As a result, the conventional “flicker reduction circuit” can simply prevent flicker interference that occurs when quantization is performed (FIG. 10B).

ところで、動画像を圧縮符号化する際に、原画像の映像信号(原信号)から予測信号を減算した残差信号を処理する過程で量子化する処理を行う圧縮符号化方式を用いると、圧縮符号化した符号化画像を復号した復号画像に、輝度や色の変動(フリッカ)が現れ、当該復号画像の画像劣化が生じる。この画質劣化は、周期的に(イントラフレームの周期で)発生し、特に、符号化画像の圧縮率が高い場合に顕著に現れる。   By the way, when compressing and encoding a moving image, if a compression encoding method that performs quantization in the process of processing the residual signal obtained by subtracting the prediction signal from the video signal (original signal) of the original image is compressed. Variations in luminance and color (flicker) appear in the decoded image obtained by decoding the encoded image, and image degradation of the decoded image occurs. This deterioration in image quality occurs periodically (in the period of an intra frame), and particularly appears when the compression rate of the encoded image is high.

特開平8−163470号公報(段落0004〜0008、図1)JP-A-8-163470 (paragraphs 0004 to 0008, FIG. 1)

しかしながら、予測信号を用いる圧縮符号化方式は、従来のフリッカ低減回路では対応しておらず、当該フリッカ低減回路を、予測信号を用いる圧縮符号化方式に適用しても、フリッカ妨害を防ぐことができないという問題がある。   However, the compression coding method using the prediction signal is not supported by the conventional flicker reduction circuit, and even if the flicker reduction circuit is applied to the compression coding method using the prediction signal, flicker interference can be prevented. There is a problem that you can not.

ここで、図11を参照して、予測信号を用いる圧縮符号化方式に従来のフリッカ低減回路を適用した場合の量子化後の信号(信号波形)について説明する。図11に示したグラフは、図9に示したグラフと同様の見方をするものである。この図11において、説明を簡単にするため、一般的な映像圧縮で行われる変換処理は省略している。すなわち、原画像の映像信号(原信号)から予測信号を減算した残差信号を量子化するものとして説明する。ちなみに、復号時には、量子化した量子化値を逆量子化し、予測信号を加算して、元の原画像の映像信号(原信号)とする。   Here, with reference to FIG. 11, a quantized signal (signal waveform) when a conventional flicker reduction circuit is applied to a compression encoding method using a prediction signal will be described. The graph shown in FIG. 11 has the same view as the graph shown in FIG. In FIG. 11, in order to simplify the description, conversion processing performed in general video compression is omitted. That is, description will be made assuming that the residual signal obtained by subtracting the prediction signal from the video signal (original signal) of the original image is quantized. Incidentally, at the time of decoding, the quantized quantized value is inversely quantized, and the prediction signal is added to obtain a video signal (original signal) of the original original image.

図11(a)は、原信号と、予測信号と、当該原信号から当該予測信号を減算した残差信号とを示したものである。
図11(b)は、図11(a)の残差信号を量子化した量子化信号を、さらに逆量子化した逆量子化信号として示したものである。従来のフリッカ低減回路を用いると、量子化後の値(現デジタル信号)と、前フレームの出力(前回入力した映像信号をA/D変換した後の前デジタル信号)との差が1(絶対値を取ったものが1)のとき、現在の量子化値を前フレームの出力とする。
FIG. 11A shows an original signal, a prediction signal, and a residual signal obtained by subtracting the prediction signal from the original signal.
FIG. 11B shows a quantized signal obtained by quantizing the residual signal of FIG. 11A as an inversely quantized signal obtained by further inverse quantization. When the conventional flicker reduction circuit is used, the difference between the quantized value (current digital signal) and the output of the previous frame (previous digital signal after A / D conversion of the previously input video signal) is 1 (absolute When the value is 1), the current quantized value is used as the output of the previous frame.

図11(b)において、2番目のサンプル(凸部分)に注目すると、1番目のサンプルとの差が2であるため、2番目のサンプルがそのまま出力となる(つまり、1番目のサンプルがコピーされない)。3番目のサンプルも、2番目のサンプルとの差が2であるため、3番目のサンプルがそのまま出力となる(つまり、2番目のサンプルがコピーされない)。すなわち、図11(b)に示した例では、従来のフリッカ低減回路を適用しても、単純に量子化した場合と結果は変わらない。   In FIG. 11B, when focusing on the second sample (convex portion), the difference from the first sample is 2, so the second sample is output as it is (that is, the first sample is copied). Not) Since the difference between the third sample and the second sample is 2, the third sample is output as it is (that is, the second sample is not copied). That is, in the example shown in FIG. 11B, even if a conventional flicker reduction circuit is applied, the result is not different from the case of simple quantization.

図11(c)は、図11(b)の出力を逆量子化して、予測信号を加算した復号信号として示したものである。原信号(図11(a)参照)が図10(a)に示した入力信号(映像信号)と同様であるにも拘わらず、復号信号の値(復号信号の信号波形)は大きく変動し、フリッカ妨害が発生している。すなわち、予測信号を用いる圧縮符号化方式(原信号から予測信号を減算した残差信号を量子化するもの)については、先に述べたように、従来のフリッカ低減回路では、フリッカ妨害を防ぐ効果が生じない。   FIG. 11C shows a decoded signal obtained by dequantizing the output of FIG. 11B and adding the prediction signal. Although the original signal (see FIG. 11 (a)) is the same as the input signal (video signal) shown in FIG. 10 (a), the value of the decoded signal (the signal waveform of the decoded signal) varies greatly. Flicker interference has occurred. That is, as described above, the compression encoding method using the prediction signal (quantizing the residual signal obtained by subtracting the prediction signal from the original signal) has the effect of preventing flicker interference in the conventional flicker reduction circuit. Does not occur.

また、予測信号を用いる別の圧縮符号化方式(例えば、H.264方式)に、特願2003−197008に開示されている手法(フリッカ低減量子化器、フリッカ低減量子化方法、及びそのプログラム)を適用する場合、量子化値の制御に加え、予測信号に対する量子化・逆量子化処理を行っている。しかし、予測信号の量子化・逆量子化処理はH.264方式の規格に準拠した復号器では、復号できないという問題がある。つまり、予測信号の量子化・逆量子化処理はH.264方式から逸脱している処理であるため実行できない。   Further, another compression coding method (for example, H.264 method) using a prediction signal is disclosed in Japanese Patent Application No. 2003-197008 (flicker reduction quantizer, flicker reduction quantization method, and program thereof). In addition to controlling the quantization value, quantization / inverse quantization processing is performed on the prediction signal. However, the quantization / inverse quantization processing of the prediction signal is performed in H.264. A decoder compliant with the H.264 standard has a problem that it cannot be decoded. That is, the quantization / inverse quantization processing of the prediction signal is performed by H.264. It cannot be executed because the process deviates from the H.264 system.

そこで、本発明では、前記した問題を解決し、予測信号を用いる圧縮符号化方式において、フリッカ妨害を防ぐことができる予測情報・量子化値制御圧縮符号化装置、予測情報・量子化値制御圧縮符号化プログラムおよび予測情報・量子化値制御圧縮符号化方法を提供することを目的とする。   Therefore, in the present invention, a prediction information / quantization value control compression encoding apparatus, prediction information / quantization value control compression, which can solve the above-described problems and prevent flicker interference in a compression encoding method using a prediction signal. It is an object of the present invention to provide an encoding program and a prediction information / quantized value control compression encoding method.

前記課題を解決するため、請求項1記載の予測情報・量子化値制御圧縮符号化装置は、動画像に含まれている所定ブロックの画像を、当該所定ブロックの動きや当該所定ブロックの近傍の領域の動きから予測する予測情報に基づいて生成した複数予測情報と前記動画像を量子化した量子化値であり前記複数予測情報に対応する対応量子化値との組合せを制御して、前記動画像を圧縮符号化する予測情報・量子化値制御圧縮符号化装置であって、予測情報推定手段と、組合せ発生手段と、予測信号生成手段と、量子化値出力手段と、ローカルデコード画像出力手段と、圧縮データ出力手段と、選択手段と、出力手段と、を備える構成とした。   In order to solve the above-described problem, the prediction information / quantization value control compression encoding apparatus according to claim 1 is configured to extract an image of a predetermined block included in a moving image in a motion of the predetermined block or a neighborhood of the predetermined block. Controlling the combination of multiple prediction information generated based on prediction information predicted from the motion of a region and a quantization value obtained by quantizing the moving image and a corresponding quantization value corresponding to the multiple prediction information; A prediction information / quantization value control compression encoding apparatus for compressing and encoding an image, comprising: prediction information estimation means, combination generation means, prediction signal generation means, quantization value output means, and local decoded image output means And compressed data output means, selection means, and output means.

かかる構成によれば、予測情報・量子化値制御圧縮符号化装置は、予測情報推定手段によって、参照画像とブロック画像とに基づき予測情報を推定して、組合せ発生手段に出力し、組合せ発生手段によって、予測情報に基づいて生成される複数の複数予測情報と、この複数予測情報に対応する対応量子化値とを発生する。予測情報は、予測信号を生成する際のモード(動作仕方)や値を規定したものであり、例えば、H.264方式では、「動き補償」というモードで、動きベクトルの値を使って予測信号を生成するように規定していたり、「イントラ予測」というモードで、予測の方向を示す値を使って予測信号を生成するように規定していたりするものである。 According to this configuration, the prediction information / quantization value control compression encoding apparatus estimates the prediction information based on the reference image and the block image by the prediction information estimation unit, and outputs the prediction information to the combination generation unit. by, for generating a plurality of multiple prediction information generated based on the prediction information, and corresponding quantized values corresponding to the plurality prediction information. The prediction information defines a mode (operation method) and a value for generating a prediction signal. In the H.264 system, it is defined that a prediction signal is generated using a motion vector value in a mode called “motion compensation”, or a prediction signal is used using a value indicating a prediction direction in a mode called “intra prediction”. It is stipulated to generate.

続いて、予測情報・量子化値制御圧縮符号化装置は、予測信号生成手段によって複数予測情報に基づいて、参照画像における所定領域のブロックを予測信号として生成し、量子化値出力手段によって、ブロック画像から予測信号を減算した減算信号を符号化した量子化値を組合せ発生手段に出力する。予測信号は、予測の結果作成されたもので、例えば、輝度信号である。ブロック画像は、圧縮符号化するフレームの所定領域のブロックである。ローカルデコード画像は、一旦符号化したブロック画像を復号したものである。   Subsequently, the prediction information / quantization value control compression encoding apparatus generates a block of a predetermined region in the reference image as a prediction signal based on the multiple prediction information by the prediction signal generation unit, and the quantization value output unit A quantized value obtained by encoding a subtraction signal obtained by subtracting the prediction signal from the image is output to the combination generating means. The prediction signal is created as a result of prediction, and is, for example, a luminance signal. A block image is a block in a predetermined area of a frame to be compression-encoded. The local decoded image is obtained by decoding a once-encoded block image.

そして、予測情報・量子化値制御圧縮符号化装置は、圧縮データ出力手段によって、組合せ発生手段で発生した複数予測情報と対応量子化値との組合せを圧縮して圧縮データとして出力し、ローカルデコード画像出力手段によって、圧縮データの中の量子化値を復号してローカルデコード画像として出力する。 Then, the prediction information and quantization value control compression encoding apparatus, the compressed data output means, to compress the combination of a plurality prediction information generated by the combination generating means and a corresponding quantized value outputted as compressed data, the local decoded The quantized value in the compressed data is decoded by the image output means and output as a local decoded image .

そして、予測情報・量子化値制御圧縮符号化装置は、選択手段によって、ブロック画像の直前のフレームにおける所定領域と同じ領域の直前ブロック画像を復号した復号直前ブロック画像とローカルデコード画像との輝度差が予め設定した設定値未満となる圧縮データを選択する。なお、設定値は、復号した復号直前ブロック画像とローカルデコード画像との輝度差が十分小さくなる値、つまり、輝度変動が画質劣化として視認(認識)できない程度の差となる値のことである。   Then, the prediction information / quantization value control compression encoding apparatus uses the selection unit to determine the luminance difference between the block image immediately before decoding and the local decoded image obtained by decoding the block image immediately before the predetermined region in the frame immediately before the block image. Compressed data that becomes less than a preset value is selected. Note that the set value is a value at which the luminance difference between the decoded block image immediately before decoding and the local decoded image becomes sufficiently small, that is, a value at which the luminance variation cannot be visually recognized (recognized) as image quality degradation.

そして、予測情報・量子化値制御圧縮符号化装置は、出力手段によって、圧縮データ出力手段で出力された圧縮データを保持し、選択手段で選択された圧縮データを最適圧縮データとして出力する。つまり、出力手段は、バッファリングの機能を有しており、選択手段で選択された圧縮データを、最適圧縮データとして出力している。   Then, the prediction information / quantized value control compression encoding apparatus holds the compressed data output by the compressed data output means by the output means, and outputs the compressed data selected by the selection means as the optimum compressed data. In other words, the output means has a buffering function, and outputs the compressed data selected by the selection means as optimum compressed data.

請求項2記載の予測情報・量子化値制御圧縮符号化装置は、動画像に含まれている所定ブロックの画像を、当該所定ブロックの動きや当該所定ブロックの近傍の領域の動きから予測する予め数が限定されている複数予測情報と前記動画像を量子化した量子化値であり前記複数予測情報に対応する対応量子化値との組合せを制御して、前記動画像を圧縮符号化する予測情報・量子化値制御圧縮符号化装置であって、組合せ発生手段と、予測信号生成手段と、量子化値出力手段と、ローカルデコード画像出力手段と、圧縮データ出力手段と、選択手段と、出力手段と、を備える構成とした。 The prediction information / quantization value control compression encoding apparatus according to claim 2 predicts an image of a predetermined block included in a moving image based on a motion of the predetermined block or a motion of a region near the predetermined block in advance. Prediction that compresses and encodes the moving image by controlling the combination of the limited number of prediction information and the quantized value obtained by quantizing the moving image and the corresponding quantized value corresponding to the multiple prediction information An information / quantized value control compression encoding apparatus, wherein a combination generating means, a prediction signal generating means, a quantized value output means, a local decoded image output means, a compressed data output means, a selection means, and an output Means.

かかる構成によれば、予測情報・量子化値制御圧縮符号化装置は、組合せ発生手段によって、複数予測情報と、この複数予測情報に対応する対応量子化値とを発生する。続いて、予測情報・量子化値制御圧縮符号化装置は、予測信号生成手段によって、複数予測情報に基づいて、参照画像における所定領域のブロックを予測信号として生成し、量子化値出力手段によって、ブロック画像から予測信号を減算した減算信号を符号化した量子化値を組合せ発生手段に出力する。   According to this configuration, the prediction information / quantized value control compression encoding apparatus generates multiple prediction information and a corresponding quantized value corresponding to the multiple prediction information by the combination generation unit. Subsequently, the prediction information / quantization value control compression encoding device generates a block of a predetermined region in the reference image as a prediction signal based on the multiple prediction information by the prediction signal generation unit, and the quantization value output unit A quantized value obtained by encoding a subtraction signal obtained by subtracting the prediction signal from the block image is output to the combination generating means.

そして、予測情報・量子化値制御圧縮符号化装置は、圧縮データ出力手段によって、組合せ発生手段で発生した複数予測情報と対応量子化値との組合せを圧縮して圧縮データとして出力し、ローカルデコード画像出力手段によって、圧縮データの中の量子化値を復号してローカルデコード画像として出力する。 Then, the prediction information and quantization value control compression encoding apparatus, the compressed data output means, to compress the combination of a plurality prediction information generated by the combination generating means and a corresponding quantized value outputted as compressed data, the local decoded The quantized value in the compressed data is decoded by the image output means and output as a local decoded image .

そして、予測情報・量子化値制御圧縮符号化装置は、選択手段によって、ブロック画像の直前のフレームにおける所定領域と同じ領域の直前ブロック画像を復号した復号直前ブロック画像とローカルデコード画像との輝度差が予め設定された設定値未満となる圧縮データを選択する。そして、予測情報・量子化値制御圧縮符号化装置は、出力手段によって、圧縮データ出力手段で出力された圧縮データを保持し、選択手段で選択された圧縮データを最適圧縮データとして出力する。   Then, the prediction information / quantization value control compression encoding apparatus uses the selection unit to determine the luminance difference between the block image immediately before decoding and the local decoded image obtained by decoding the block image immediately before the predetermined region in the frame immediately before the block image. Compressed data that becomes less than a preset value is selected. Then, the prediction information / quantized value control compression encoding apparatus holds the compressed data output by the compressed data output means by the output means, and outputs the compressed data selected by the selection means as the optimum compressed data.

つまり、この予測情報・量子化値制御圧縮符号化装置は、請求項1における予測情報・量子化値制御圧縮符号化装置において、予測情報を推定しない態様である。すなわち、予測情報に基づいて生成される複数予測情報の数が限定される場合に、組合せ発生手段で、予測情報の入力を必要とせずに、複数の複数予測情報を発生させている。なお、この場合、事前に、複数の複数予測情報が限定されること(予測信号を生成するためのモードや値が少ないこと)を組合せ発生手段に入力しておく必要がある。例えば、H.264のイントラ予測では、予測情報が数種類しかないことが規格で定められているので、このことを組合せ発生手段に予め設定(入力)しておけばよい。 That is, this prediction information / quantization value control compression encoding apparatus is a mode in which prediction information is not estimated in the prediction information / quantization value control compression encoding apparatus according to claim 1. That is, when the number of pieces of multiple prediction information generated based on the prediction information is limited, the combination generation unit generates a plurality of pieces of multiple prediction information without requiring input of prediction information. In this case, it is necessary to input in advance to the combination generation means that a plurality of pieces of prediction information are limited (a mode or a value for generating a prediction signal is small). For example, H.M. In the H.264 intra prediction, since the standard defines that there are only several types of prediction information, this may be set (input) in advance in the combination generating means.

請求項3記載の予測情報・量子化値制御圧縮符号化装置は、請求項1または請求項2に記載の予測情報・量子化値制御圧縮符号化装置において、前記選択手段が、前記輝度差が最小となる前記圧縮データを選択することを特徴とする。   The prediction information / quantization value control compression encoding apparatus according to claim 3 is the prediction information / quantization value control compression encoding apparatus according to claim 1 or 2, wherein the selection unit is configured to determine whether the luminance difference is The compressed data that is minimized is selected.

かかる構成によれば、予測情報・量子化値制御圧縮符号化装置は、選択手段によって、輝度差が最小となる圧縮データを選択することで、当該圧縮データ(最適圧縮データ)を復号した際に、フリッカ妨害を最も軽減することができる。   According to such a configuration, the prediction information / quantized value control compression encoding apparatus selects the compressed data that minimizes the luminance difference by the selection unit, thereby decoding the compressed data (optimum compressed data). Flicker interference can be reduced most.

請求項4記載の予測情報・量子化値制御圧縮符号化装置は、請求項1に記載の予測情報・量子化値制御圧縮符号化装置において、前記組合せ発生手段が、前記ブロック画像が、イントラ予測を行うブロックでない場合には、前記予測情報推定手段が出力した前記予測情報を入力したときは、前記複数予測情報として当該予測情報のみを出力し、かつ、前記量子化値出力手段が出力した前記量子化値を入力したときは、前記対応量子化値として当該量子化値のみを出力することを特徴とする。 4. prediction information and quantization value control compression encoding apparatus described in the prediction information and quantized value control compression encoding apparatus according to claim 1, wherein the combination generating means, the block image, the intra prediction When the prediction information output by the prediction information estimation unit is input, only the prediction information is output as the multiple prediction information, and the quantization value output unit outputs the prediction information. When a quantized value is input, only the quantized value is output as the corresponding quantized value .

かかる構成によれば、予測情報・量子化値制御圧縮符号化装置は、組合せ発生手段によって、例えば、フレーム内のブロック画像について、イントラ予測インター予測とのいずれかを選択して処理できる場合に、イントラ予測を行うブロック画像のみを処理することで、出力手段から出力された最適圧縮データを復号した際に、フリッカ妨害を軽減することができる。ちなみに、イントラ予測とは、符号化しようとするフレームと同じフレームから予測信号を作成する予測モードのことであり、インター予測とは、符号化しようとするフレームと異なるフレームから予測信号を作成する予測モードのことである。 According to such a configuration, when the prediction information / quantization value control compression encoding apparatus can select and process either intra prediction or inter prediction for a block image in a frame , for example, by a combination generation unit. the intra prediction by processing only the rows naive lock image, when decoding the optimal compression data outputted from the output means, it is possible to reduce the flicker disturbance. Incidentally, intra prediction is a prediction mode in which a prediction signal is created from the same frame as the frame to be encoded, and inter prediction is a prediction in which a prediction signal is created from a frame different from the frame to be encoded. It is a mode.

請求項5記載の予測情報・量子化値制御圧縮符号化装置は、請求項1に記載の予測情報・量子化値制御圧縮符号化装置において、前記組合せ発生手段前記ブロック画像が、イントラフレーム内のブロックでない場合には、前記予測情報推定手段が出力した前記予測情報を入力したときは、前記複数予測情報として当該予測情報のみを出力し、かつ、前記量子化値出力手段が出力した前記量子化値を入力したときは、前記対応量子化値として当該量子化値のみを出力することを特徴とする。 6. The prediction information / quantization value control compression encoding apparatus according to claim 5 is the prediction information / quantization value control compression encoding apparatus according to claim 1 , wherein the combination generation unit is configured to transmit the block image as an intra frame. If the prediction information output by the prediction information estimation means is input, the prediction information output means outputs only the prediction information as the multiple prediction information, and the quantization value output means outputs the prediction information. When a quantized value is input, only the quantized value is output as the corresponding quantized value .

かかる構成によれば、予測情報・量子化値制御圧縮符号化装置は、組合せ発生手段によって、イントラフレーム内のブロック画像のみを処理することで、出力手段から出力された最適圧縮データを復号した際に、フリッカ妨害を軽減することができる。イントラフレームとは、当該イントラフレーム内の全てのブロックにおいて、インター予測が禁止されているフレームのことである。 According to such a configuration, the prediction information / quantization value control compression encoding apparatus decodes the optimum compressed data output from the output unit by processing only the block image in the intra frame by the combination generation unit. In addition, flicker interference can be reduced. An intra frame is a frame in which inter prediction is prohibited in all blocks in the intra frame.

請求項6記載の予測情報・量子化値制御圧縮符号化装置は、請求項1に記載の予測情報・量子化値制御圧縮符号化装置において、前記ブロック画像と、前記復号直前ブロック画像との輝度差を比較し、比較結果を出力するブロック比較手段を備え、前記組合せ発生手段前記ブロック比較手段が出力した比較結果に含まれる輝度差が予め定めた値より大きい場合には、前記予測情報推定手段が出力した前記予測情報を入力したときは、前記複数予測情報として当該予測情報のみを出力し、かつ、前記量子化値出力手段が出力した前記量子化値を入力したときは、前記対応量子化値として当該量子化値のみを出力することを特徴とする。 The prediction information / quantization value control compression encoding apparatus according to claim 6 is the prediction information / quantization value control compression encoding apparatus according to claim 1 , wherein brightness of the block image and the block image immediately before decoding is determined. Block comparison means for comparing the difference and outputting a comparison result, wherein the combination generation means is configured to output the prediction information when a luminance difference included in the comparison result output from the block comparison means is greater than a predetermined value. When the prediction information output by the estimation means is input, only the prediction information is output as the plurality of prediction information, and when the quantization value output by the quantization value output means is input, the corresponding Only the quantized value is output as a quantized value .

かかる構成によれば、予測情報・量子化値制御圧縮符号化装置は、ブロック比較手段によって、ブロック画像と、復号直前ブロック画像との輝度差を比較し、組合せ発生手段によって、ブロック画像と復号直前ブロック画像との輝度差が一定値以下のブロック画像のみを処理することで、出力手段から出力された最適圧縮データを復号した際に、フリッカ妨害を軽減することができる。つまり、ブロック画像と復号直前ブロック画像との輝度差が一定値よりも大きい場合には、元々の動画像(原画像)に輝度変動が存在していることが想定されるので、輝度差に基づいて、フリッカ妨害を軽減する処理を施す必要が無く、処理速度を向上させることができる。 According to such a configuration, the prediction information / quantization value control compression encoding apparatus compares the luminance difference between the block image and the block image immediately before decoding by the block comparison unit, and the block generation unit immediately before decoding by the combination generation unit. By processing only the block image whose luminance difference from the block image is a certain value or less, flicker interference can be reduced when the optimal compressed data output from the output means is decoded. That is, when the luminance difference between the block image and the block image immediately before decoding is larger than a certain value, it is assumed that there is a luminance variation in the original moving image (original image). Thus, it is not necessary to perform processing for reducing flicker interference, and the processing speed can be improved.

請求項7記載の予測情報・量子化値制御圧縮符号化装置は、請求項1から請求項6のいずれか一項に記載の予測情報・量子化値制御圧縮符号化装置において、前記選択手段が、前記復号直前ブロック画像の代わりに、前記ブロック画像の直前のイントラフレームにおける前記所定領域と同じ領域の直前イントラブロック画像を復号した復号直前イントラブロック画像と前記ローカルデコード画像との輝度差が最小となる圧縮データを選択することを特徴とする。   The prediction information / quantization value control compression encoding apparatus according to claim 7 is the prediction information / quantization value control compression encoding apparatus according to any one of claims 1 to 6, wherein the selection unit includes: Instead of the block image immediately before decoding, the luminance difference between the intra block image immediately before decoding and the local decoded image obtained by decoding the immediately preceding intra block image in the same region as the predetermined region in the intra frame immediately before the block image is minimized. The compressed data to be selected is selected.

かかる構成によれば、予測情報・量子化値制御圧縮符号化装置は、選択手段によって、例えば、ビットレートが低い場合は、直前のフレームの所定領域と同じ領域のブロック画像ではなく、復号時に直前のイントラフレームにおける所定領域と同じ領域の直前イントラブロック画像を復号した復号直前イントラブロック画像とローカルデコード画像との輝度差が最小となる圧縮データを選択することで、出力手段から出力された最適圧縮データを復号した際に、フリッカ妨害を軽減することができる。   According to such a configuration, the prediction information / quantization value control compression encoding apparatus, when the bit rate is low, is not the block image of the same area as the predetermined area of the immediately preceding frame, but immediately before decoding. Optimal compression output from the output means by selecting the compressed data that minimizes the luminance difference between the intra-block image immediately before decoding and the local decoded image obtained by decoding the previous intra-block image in the same area as the predetermined area in the intra frame Flicker interference can be reduced when data is decoded.

請求項8記載の予測情報・量子化値制御圧縮符号化装置は、請求項1から請求項7のいずれか一項に記載の予測情報・量子化値制御圧縮符号化装置において、前記選択手段が、前記輝度差に加え、色相の差に基づいて、前記圧縮データを選択することを特徴とする。   The prediction information / quantization value control compression encoding apparatus according to claim 8 is the prediction information / quantization value control compression encoding apparatus according to any one of claims 1 to 7, wherein the selection unit includes: The compressed data is selected based on a difference in hue in addition to the luminance difference.

かかる構成によれば、予測情報・量子化値制御圧縮符号化装置は、選択手段によって、輝度値の差に加え、色相の差に基づいて、圧縮データを選択することで、出力手段から出力された最適圧縮データを復号した際に、フリッカ妨害を軽減することができる。   According to such a configuration, the prediction information / quantized value control compression encoding apparatus outputs the output from the output unit by selecting the compressed data based on the difference in hue as well as the difference in luminance value by the selection unit. When the optimum compressed data is decoded, flicker interference can be reduced.

請求項9記載の予測情報・量子化値制御圧縮符号化プログラムは、動画像に含まれている所定ブロックの画像を、当該所定ブロックの動きや当該所定ブロックの近傍の領域の動きから予測する予測情報に基づいて生成した複数予測情報と前記動画像を量子化した量子化値であり前記複数予測情報に対応する対応量子化値との組合せを制御して、前記動画像を圧縮符号化するために、コンピュータを、予測情報推定手段、組合せ発生手段、予測信号生成手段、量子化値出力手段、ローカルデコード画像出力手段、圧縮データ出力手段、選択手段、出力手段、として機能させる構成とした。   The prediction information / quantization value control compression encoding program according to claim 9 predicts an image of a predetermined block included in a moving image from a motion of the predetermined block or a motion of a region near the predetermined block. Controlling a combination of multiple prediction information generated based on information and a quantization value obtained by quantizing the moving image and a corresponding quantization value corresponding to the multiple prediction information, and compressing and encoding the moving image In addition, the computer is configured to function as prediction information estimation means, combination generation means, prediction signal generation means, quantized value output means, local decoded image output means, compressed data output means, selection means, and output means.

かかる構成によれば、予測情報・量子化値制御圧縮符号化プログラムは、予測情報推定手段によって、参照画像とブロック画像とに基づき予測情報を推定して、組合せ発生手段に出力し、組合せ発生手段によって、予測情報に基づいて生成される複数の複数予測情報と、この複数予測情報に対応する対応量子化値とを発生する。続いて、予測情報・量子化値制御圧縮符号化プログラムは、予測信号生成手段によって、複数予測情報に基づいて、参照画像における所定領域のブロックを予測信号として生成する。そして、予測情報・量子化値制御圧縮符号化装置は、量子化値出力手段によって、ブロック画像から予測信号を減算した減算信号を符号化した量子化値を組合せ発生手段に出力し、圧縮データ出力手段によって、組合せ発生手段で発生された複数予測情報と対応量子化値との組合せを圧縮して圧縮データを出力し、ローカルデコード画像出力手段によって、圧縮データの中の量子化値を復号してローカルデコード画像として出力する。 According to this configuration, the prediction information / quantization value control compression encoding program estimates the prediction information based on the reference image and the block image by the prediction information estimation unit, and outputs the prediction information to the combination generation unit. To generate a plurality of pieces of prediction information generated based on the prediction information and a corresponding quantized value corresponding to the pieces of prediction information. Subsequently, the prediction information / quantized value control compression encoding program generates a block of a predetermined region in the reference image as a prediction signal based on the plurality of pieces of prediction information by the prediction signal generation unit. The prediction information / quantized value control compression encoding apparatus outputs a quantized value obtained by encoding a subtraction signal obtained by subtracting the prediction signal from the block image to the combination generating unit by the quantized value output unit, and outputs compressed data. Means for compressing the combination of the multiple prediction information generated by the combination generating means and the corresponding quantized value and outputting the compressed data, and decoding the quantized value in the compressed data by the local decoded image output means Output as a local decoded image .

そして、予測情報・量子化値制御圧縮符号化プログラムは、選択手段によって、ブロック画像の直前のフレームにおける所定領域と同じ領域の直前ブロック画像を復号した復号直前ブロック画像とローカルデコード画像との輝度差が予め設定した設定値未満となる圧縮データを選択し、出力手段によって、圧縮データ出力手段で出力された圧縮データの中から選択手段で選択された圧縮データを最適圧縮データとして出力する。   Then, the prediction information / quantization value control compression encoding program uses the selection unit to calculate the luminance difference between the block image immediately before decoding and the local decoded image obtained by decoding the block image immediately before the predetermined region in the frame immediately before the block image. Is selected to be less than a preset set value, and the output means outputs the compressed data selected by the selection means from among the compressed data output by the compressed data output means as the optimum compressed data.

請求項1、2、及び9記載の発明によれば、ブロック画像と直前のフレーム内の直前ブロック画像との若干の輝度差が量子化処理により拡大されて生じるフリッカ妨害(画質劣化)を、当該輝度差が設定未満となる複数予測情報と対応量子化値との組合せを選択することで、低減することができる。すなわち、予測信号を用いる圧縮符号化方式において、フリッカ妨害を防ぐことができる。 According to claim 1, 2, and 9 SL placing the invention, flicker disturbance caused slight brightness difference between the immediately preceding block image in the frame immediately preceding the block image is enlarged by the quantization processing (image quality deterioration), It can be reduced by selecting a combination of the multiple prediction information and the corresponding quantized value for which the luminance difference is less than the setting. In other words, flicker interference can be prevented in the compression encoding method using the prediction signal.

請求項3記載の発明によれば、ブロック画像と直前ブロック画像との若干の輝度差が量子化処理により拡大されて生じるフリッカ妨害(画質劣化)を、当該輝度差が最小となる予測情報と量子化値との組合せを選択することで、低減することができる。   According to the third aspect of the present invention, flicker interference (deterioration in image quality) caused by a slight luminance difference between the block image and the immediately preceding block image being enlarged by the quantization process is detected with the prediction information and the quantum that minimize the luminance difference. This can be reduced by selecting a combination with the digitization value.

請求項4記載の発明によれば、イントラ予測とインター予測とのいずれかを選択して行うフレーム内のブロック画像について、インター予測を行うブロック画像では、輝度の変動が生じにくいので、イントラ予測を行うブロック画像のみ処理することで、十分に輝度の変動を抑制することができ、フリッカ妨害を防ぐことができる。特にビットレートが低い場合には、インター予測を行うブロック画像は、直前のフレームのコピーの場合が多いので、インター予測を行うブロック画像には適用せず、イントラ予測を行うブロック画像のみ適用することで、フリッカ妨害抑制の効果が十分に得られる。 According to the fourth aspect of the present invention, the block image in the frame to perform by selecting one of the intra prediction and inter prediction, the inter prediction line naive locked image, the variation in brightness is less likely to occur, intra predict by processing only the rows naive locked image, it is possible to sufficiently suppress the variation in luminance, it is possible to prevent flicker disturbance. Particularly when the bit rate is low, the row naive lock image inter prediction, since in many cases a copy of the previous frame, without applying the inter prediction in the row naive lock image, row intra prediction naive By applying only the lock image, the effect of suppressing flicker interference can be sufficiently obtained.

請求項5記載の発明によれば、インターフレーム内のブロック画像は処理せずに、イントラフレーム内のブロック画像のみを処理することで、フリッカ妨害を低減することができる。すなわち、インターフレーム内では、イントラ予測を行うブロック画像が少ない。また、インター予測が行われなかったということは、動画像(原画像、原信号)の段階でフレーム間(現在のフレームと直前のフレームとの間)の輝度差が大きかった(もともと大きな輝度変動があった)可能性が高く、圧縮符号化によって、大きな輝度変動が生じたからではないので、イントラフレーム内のブロック画像のみを処理すれば、フリッカ妨害抑制の効果が十分に得られる。   According to the fifth aspect of the present invention, flicker interference can be reduced by processing only the block image in the intra frame without processing the block image in the inter frame. That is, there are few block images which perform intra prediction within an inter frame. In addition, the fact that inter prediction was not performed means that the luminance difference between frames (between the current frame and the previous frame) was large at the stage of the moving image (original image, original signal) (originally large luminance fluctuation). This is not because there was a large luminance fluctuation due to compression encoding, so if only the block image in the intra frame is processed, the effect of suppressing flicker interference can be sufficiently obtained.

請求項6記載の発明によれば、圧縮符号化しようとしているブロック画像と、復号直前ブロック画像との輝度差が大きい場合には、動画像(原画像、原信号)が大きな輝度変動を持っている可能性が高いので、このようなブロック画像以外に処理を施せば、圧縮符号化によって生じるフリッカ妨害を低減することができる。   According to the sixth aspect of the present invention, when the luminance difference between the block image to be compression-encoded and the block image immediately before decoding is large, the moving image (original image, original signal) has a large luminance variation. Therefore, if processing other than such a block image is performed, flicker interference caused by compression coding can be reduced.

請求項7記載の発明によれば、イントラフレームを圧縮符号化する際には、直前のインターフレームではなく、直前のイントラフレーム内の復号直前ブロック画像との輝度差が小さくなるように予測情報と量子化値との組合せを選択すれば、フリッカ妨害抑制の効果を十分に得ることができる。すなわち、ビットレートが低い場合に、インターフレームが連続する(インターフレーム群が存在する)際には、当該インターフレーム群の直前に存在するイントラフレーム内のブロック画像の輝度値が保持されていることが多いからである(特に動画像中で、静止している映像部分が多い場合)。   According to the seventh aspect of the present invention, when compressing and encoding an intra frame, the prediction information and the prediction information are set so that the luminance difference between the intra frame immediately before decoding and the block image immediately before decoding in the previous intra frame is small. If the combination with the quantized value is selected, the effect of suppressing flicker interference can be sufficiently obtained. That is, when the bit rate is low, when the inter frame is continuous (the inter frame group exists), the luminance value of the block image in the intra frame existing immediately before the inter frame group is retained. This is because there are many (especially when there are many still video portions in a moving image).

請求項8記載の発明によれば、色相の差に基づいて、圧縮データを選択することで、出力手段から出力された最適圧縮データを復号した際に、フリッカ妨害を軽減することができる。   According to the eighth aspect of the present invention, flicker interference can be reduced when the optimum compressed data output from the output means is decoded by selecting the compressed data based on the difference in hue.

次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
ここでは、予測情報・量子化値制御圧縮符号化装置の3つの実施形態(第一実施形態から第三実施形態まで)について説明する。なお、当該装置の動作については、各装置の構成が第一実施形態の構成を基本にしたものであるので、第一実施形態の動作のみを説明することとする。
Next, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
Here, three embodiments (from the first embodiment to the third embodiment) of the prediction information / quantized value control compression encoding apparatus will be described. In addition, about operation | movement of the said apparatus, since the structure of each apparatus is based on the structure of 1st embodiment, suppose that only operation | movement of 1st embodiment is demonstrated.

〈予測情報・量子化値制御圧縮符号化装置(第一実施形態)の構成〉
図1は、予測情報・量子化値制御圧縮符号化装置(第一実施形態)のブロック図である。この図1に示すように、予測情報・量子化値制御圧縮符号化装置1は、予測情報と量子化値との組合せを制御して、動画像を圧縮符号化するもので、組合せ発生手段3と、映像圧縮手段5と、選択手段7と、出力手段9とを備えている。
<Configuration of Prediction Information / Quantization Value Control Compression Encoding Device (First Embodiment)>
FIG. 1 is a block diagram of a prediction information / quantization value control compression encoding apparatus (first embodiment). As shown in FIG. 1, the prediction information / quantized value control compression encoding apparatus 1 compresses and encodes a moving image by controlling a combination of prediction information and a quantization value. A video compression means 5, a selection means 7, and an output means 9.

なお、この図1では図示していないが、予測情報・量子化値制御圧縮符号化装置1は、動画像である入力信号から圧縮対象となるブロック画像を切り出す処理を行う入力処理手段や、出力手段9から出力される最適圧縮データをさらに圧縮するための可変長符号化手段や、ローカルデコード画像B′(c,p)を参照画像に反映させるために保持するフレームメモリ(ローカルデコード画像記憶手段)等を備えている。   Although not shown in FIG. 1, the prediction information / quantization value control compression encoding apparatus 1 includes an input processing unit that performs a process of cutting out a block image to be compressed from an input signal that is a moving image, and an output. Variable-length encoding means for further compressing the optimum compressed data output from the means 9, and a frame memory (local decoded image storage means) for holding the local decoded image B ′ (c, p) in the reference image ) Etc.

組合せ発生手段3は、映像圧縮手段5から出力された予測情報と量子化値とを入力とし、当該予測情報のバリエーションである複数予測情報を発生し、当該複数予測情報に対応する対応量子化値とを発生して、これらの組合せのうち何通りかを映像圧縮手段5に出力するものである。   The combination generating unit 3 receives the prediction information and the quantized value output from the video compression unit 5 and generates a plurality of prediction information that is a variation of the prediction information, and a corresponding quantized value corresponding to the plurality of prediction information And some of these combinations are output to the video compression means 5.

予測情報は、画像信号を予測するためのものであり、予測信号を生成する際に用いる予測方法の種類と、予測する際に使用する値とを規定したものである。例えば、動き補償予測や隣接画素からの画素値予測等の予測方法の種類と、動きベクトル値や隣接画素値等の値とを規定している。   Prediction information is for predicting an image signal, and defines the type of prediction method used when generating a prediction signal and the value used for prediction. For example, the types of prediction methods such as motion compensation prediction and pixel value prediction from adjacent pixels, and values such as motion vector values and adjacent pixel values are defined.

複数予測情報は、予測情報に基づいて発生させられるものであり、例えば、予測情報に含まれている予測する際に使用する値に、予め設定した特定の値(例えば、±1)を加算したものである。つまり、複数予測情報は、1つの予測情報から派生したもの(バリエーション)と言えるものである。   The multiple prediction information is generated based on the prediction information. For example, a specific value (for example, ± 1) set in advance is added to a value used for prediction included in the prediction information. Is. That is, the multiple prediction information can be said to be derived from one prediction information (variation).

量子化値は、動画像である入力信号(原信号)を、変換処理後(DCT変換等)、量子化特性値(Q;大きくなればなるほど、量子化された際の情報量は減少するが復号画素は粗くなる性質を有する値)で除算したものである。   The quantized value is obtained by converting the input signal (original signal) that is a moving image after the conversion process (DCT conversion or the like), and the larger the quantization characteristic value (Q; the greater the amount of information when quantized). The decoded pixel is divided by a value having a property of becoming coarse.

対応量子化値は、複数予測情報に対応して求められた量子化値である。
組合せは、複数予測情報と対応量子化値との組を指しており、予測情報に含まれる予測方法の種類によって、発生する組合せの数は異なるものである。
The corresponding quantized value is a quantized value obtained corresponding to multiple prediction information.
A combination refers to a set of multiple prediction information and a corresponding quantized value, and the number of generated combinations differs depending on the type of prediction method included in the prediction information.

ここで、組合せの例を説明する。対応量子化値は、映像圧縮手段5から得られる量子化値に−1,0,+1を加算して、3通りを選択することとする。こうすると、フリッカ妨害を抑制する効果と当該装置1で演算する演算量とのバランス(パフォーマンス)が良くなる。   Here, examples of combinations will be described. The corresponding quantization value is selected from three types by adding −1, 0, +1 to the quantization value obtained from the video compression means 5. This improves the balance (performance) between the effect of suppressing flicker interference and the amount of calculation performed by the device 1.

複数予測情報は、当該装置1で適用する圧縮符号化方式(映像圧縮手法)に用いる予測手法に大きく依存し、例えば、動き補償予測を用いる場合は、動きベクトルの値(水平方向、垂直方向それぞれ)に−1,0,+1を加算したものを選択することとする。   The multi-prediction information largely depends on the prediction method used in the compression coding method (video compression method) applied in the apparatus 1. For example, when motion compensation prediction is used, values of motion vectors (horizontal direction and vertical direction respectively) ) Plus -1, 0, +1.

また、H.264方式におけるイントラ予測のように予測手法が数通りに限られているものは、全ての予測手法を選択してもよい。これら2つの例(動き補償予測と、H.264方式におけるイントラ予測)について組合せの数を求めると、動き補償予測の場合には、3(量子化値が3通り)×3(水平方向の動きベクトルが3通り)×3(垂直方向の動きベクトルが3通り)=27通りとなる。また、H.264方式におけるイントラ予測の場合には、3(量子化値が3通り)×4(H.264方式におけるイントラ16×16の予測モードの数)=12通りとなる。   H. For prediction methods that are limited in several ways, such as intra prediction in H.264, all prediction methods may be selected. When the number of combinations is calculated for these two examples (motion compensation prediction and intra prediction in the H.264 system), in the case of motion compensation prediction, 3 (three quantization values) × 3 (horizontal motion) 3 types of vectors) × 3 (3 types of motion vectors in the vertical direction) = 27 types. H. In the case of intra prediction in the H.264 system, 3 (3 quantization values) × 4 (the number of intra 16 × 16 prediction modes in the H.264 system) = 12.

なお、これらの組合せ全てを、組合せ発生手段3から映像圧縮手段5に出力する必要はなく、演算量に応じて適宜、省略して出力することは可能である。   Note that it is not necessary to output all of these combinations from the combination generating unit 3 to the video compression unit 5, and it is possible to omit and output them appropriately according to the amount of calculation.

映像圧縮手段5は、圧縮しようとするブロック画像B(c,p)(第cフレーム中の所定位置pのブロックの画像)と、参照画像(動画像を映像圧縮する時に参照する画像)とを入力し、組合せ発生手段3との間において、予測情報と量子化値との出力および複数予測情報と対応量子化値との入力を行って、圧縮データと、ローカルデコード画像B′(c,p)(第cフレーム中の所定位置pのブロックを復号して得られる復号ブロック画像)とを出力するものである。   The video compression means 5 selects a block image B (c, p) to be compressed (an image of a block at a predetermined position p in the c-th frame) and a reference image (an image to be referred to when a moving image is compressed). Input and output of prediction information and quantized values and input of plural prediction information and corresponding quantized values between the combination generating means 3 and the compressed data and the local decoded image B ′ (c, p ) (Decoded block image obtained by decoding a block at a predetermined position p in the c-th frame).

つまり、映像圧縮手段5は、組合せ発生手段3で発生させた複数予測情報に基づいて、入力されたブロック画像B(c,p)を圧縮し、符号化した量子化値を出力し、組合せ発生手段3から出力された対応量子化値と、複数予測情報とから圧縮データを生成して出力する。また、映像圧縮手段5は、圧縮データを復号したローカルデコード画像B′(c,p)を出力する。   That is, the video compression means 5 compresses the input block image B (c, p) based on the multiple prediction information generated by the combination generation means 3, outputs the encoded quantized value, and generates a combination. Compressed data is generated from the corresponding quantized value output from the means 3 and the plurality of prediction information and output. The video compression means 5 outputs a local decoded image B ′ (c, p) obtained by decoding the compressed data.

なお、この後、予測情報・量子化値制御圧縮符号化装置1は、ブロック画像B(c,p)と同じ所定領域(空間的位置)に存在する直前の復号されたブロックである復号直前ブロック画像B′(r,p)(第rフレーム中の位置pの部分、この場合、第rフレームが第cフレームの直前であるため、r=c−1である)から、ローカルデコード画像B′(c,p)を減算し、最も差(輝度差)が小さくなる組合せを選択手段7で選択して、この組合せ(複数予測情報、対応量子化値)で生成された圧縮データを、最適圧縮データとして出力手段9から出力する。   After this, the prediction information / quantization value control compression coding apparatus 1 is a block immediately before decoding, which is a decoded block immediately before existing in the same predetermined area (spatial position) as the block image B (c, p). From the image B ′ (r, p) (part of position p in the r-th frame, in this case, r = c−1 since the r-th frame is immediately before the c-th frame), the local decoded image B ′ (C, p) is subtracted, the combination having the smallest difference (luminance difference) is selected by the selection means 7, and the compressed data generated by this combination (multiple prediction information, corresponding quantized value) is optimally compressed. Output from the output means 9 as data.

なお、ローカルデコード画像B′(c,p)と、復号直前ブロック画像B′(r,p)との差が最小となる組合せが複数ある場合には、画像の圧縮率や画質の良い方を選択すればよいことになる。また、差が最小の組合せを選ばなくても、差が十分に小さな(設定値未満となる)組合せの中から画像の圧縮率や画質の良い方を選択すればよい。ちなみに、画像の圧縮率は、圧縮データのサイズから得られるもので、例えば、圧縮データのサイズが小さい方が画像の圧縮率が良いことになる。画質の良さは、ローカルデコード画像B′(c,p)とブロック画像B(c,p)とを比較して、その差が小さいほど良いことになる。   When there are a plurality of combinations that minimize the difference between the local decoded image B ′ (c, p) and the block image B ′ (r, p) immediately before decoding, the one with the better image compression rate and image quality is selected. You just have to choose. Even if the combination with the smallest difference is not selected, a combination with a sufficiently small image difference (less than the set value) may be selected with a better image compression rate or image quality. Incidentally, the compression rate of the image is obtained from the size of the compressed data. For example, the smaller the size of the compressed data, the better the compression rate of the image. The better the image quality, the better the smaller the difference between the local decoded image B ′ (c, p) and the block image B (c, p).

ここで、この映像圧縮手段5を展開した(構成を分割化した)ブロック図である図2を参照して、詳細に映像圧縮手段5を説明する。図2に示すように、映像圧縮手段5は、予測情報推定手段11と、予測信号生成手段13と、符号化手段(量子化値出力手段)15と、圧縮データ生成手段(圧縮データ出力手段)17と、復号手段(ローカルデコード画像出力手段)19とを備えている。   Here, the video compression means 5 will be described in detail with reference to FIG. 2 which is a block diagram in which the video compression means 5 is expanded (the structure is divided). As shown in FIG. 2, the video compression means 5 includes a prediction information estimation means 11, a prediction signal generation means 13, an encoding means (quantized value output means) 15, and a compressed data generation means (compressed data output means). 17 and a decoding means (local decoded image output means) 19.

予測情報推定手段11は、符号化しようとするブロック画像B(c,p)と参照画像とから予測情報を推定するものである。この予測情報は、例えば、予測画像と原画像とが最も近くなるように、動きベクトルやイントラ予測の方向等を求めたものである。なお、ここでは、図示を省略したが、この予測情報推定手段11には、動きベクトル推定手段やイントラ予測推定手段を内包しており、予測情報推定手段11は、既存の技術により予測情報を求めているものである。 The prediction information estimation means 11 estimates prediction information from the block image B (c, p) to be encoded and the reference image. This prediction information is obtained, for example, for the motion vector, the direction of intra prediction, and the like so that the predicted image and the original image are closest. In addition, although illustration was abbreviate | omitted here, this prediction information estimation means 11 includes a motion vector estimation means and an intra prediction estimation means, and the prediction information estimation means 11 calculates | requires prediction information by the existing technique. It is what.

予測信号生成手段13は、組合せ発生手段3で発生させた複数予測情報に基づいて、参照画像から予測信号を生成するものである。予測信号は、予測情報による予測の結果生成される輝度信号(または色差信号)である。なお、予測情報を用いる圧縮符号化方式では、伝送効率を向上させるために、現在のフレーム内の所定領域と、直前のフレーム内の所定領域を複写(コピー)したものとの差分を伝送している。   The prediction signal generation unit 13 generates a prediction signal from the reference image based on the multiple prediction information generated by the combination generation unit 3. The prediction signal is a luminance signal (or color difference signal) generated as a result of prediction based on prediction information. In the compression coding method using prediction information, in order to improve transmission efficiency, a difference between a predetermined area in the current frame and a copy of the predetermined area in the immediately preceding frame is transmitted. Yes.

ちなみに、MPEG−2やMPEG−4では、予測信号は、符号化しようとするフレームの1つ前または1つ後のフレームから複写(コピー)してきたものである(インター予測)。   By the way, in MPEG-2 and MPEG-4, the prediction signal is copied (copied) from the frame one frame before or after the frame to be encoded (inter prediction).

符号化手段15は、入力されたブロック画像B(c,p)から、予測信号生成手段13で生成された予測信号を減算した減算信号を符号化するもので、変換手段15aと、量子化手段15bとを備えている。   The encoding unit 15 encodes a subtraction signal obtained by subtracting the prediction signal generated by the prediction signal generation unit 13 from the input block image B (c, p). The conversion unit 15a and the quantization unit 15b.

変換手段15aは、減算信号に変換処理を施すものであり、この実施形態ではDCT変換を採用している。なお、変換処理には、DCT変換以外に、例えば、アダマール変換等がある。
量子化手段15bは、変換手段15aで変換された変換信号を量子化して、量子化値として組合せ発生手段3(図1参照)に出力するものである。
The conversion means 15a performs a conversion process on the subtraction signal, and in this embodiment, DCT conversion is adopted. Note that the conversion process includes, for example, Hadamard conversion in addition to DCT conversion.
The quantizing unit 15b quantizes the converted signal converted by the converting unit 15a and outputs the quantized value to the combination generating unit 3 (see FIG. 1) as a quantized value.

圧縮データ生成手段17は、組合せ発生手段3で発生させた複数予測情報と対応量子化値とを組み合わせたもの(復号するのに必要な情報)を、可変長符号化手段(図示せず)等で圧縮した圧縮データとして生成し出力するものである。   The compressed data generation means 17 is a variable length encoding means (not shown), etc., which is a combination of the prediction information generated by the combination generation means 3 and the corresponding quantized value (information necessary for decoding). It is generated and output as compressed data compressed in step (b).

復号手段19は、圧縮データ生成手段17で生成された圧縮データの中に含まれている対応量子化値を復号し、予測信号を加算して、ローカルデコード画像B′(c,p)を出力するもので、逆量子化手段19aと、逆変換手段19bとを備えている。   The decoding unit 19 decodes the corresponding quantized value included in the compressed data generated by the compressed data generating unit 17, adds the prediction signal, and outputs a local decoded image B ′ (c, p). In this case, an inverse quantization unit 19a and an inverse transformation unit 19b are provided.

逆量子化手段19aは、対応量子化値を逆量子化した変換信号として逆変換手段19bに出力するものである。
逆変換手段19bは、逆量子化手段19aで対応量子化値が逆量子化された結果である変換信号を逆変換して復号信号として出力するものである。復号手段19は、この復号信号に予測信号を加算してローカルデコード画像B′(c,p)として出力する。
The inverse quantization means 19a outputs the corresponding quantized value to the inverse transform means 19b as a transformed signal obtained by inverse quantization.
The inverse transform unit 19b performs inverse transform on the transform signal that is the result of inverse quantization of the corresponding quantized value by the inverse quantizer 19a and outputs it as a decoded signal. The decoding means 19 adds the prediction signal to this decoded signal and outputs it as a local decoded image B ′ (c, p).

なお、映像圧縮手段5は、図2に示した構成を全て揃える必要はなく、予測情報推定手段11と、予測信号生成手段13と、符号化手段15とがあれば、どのような圧縮符号化方式(映像圧縮手法)にも適用可能である。   The video compression means 5 does not need to have all the configurations shown in FIG. 2. If the prediction information estimation means 11, the prediction signal generation means 13, and the encoding means 15 are provided, any compression encoding is possible. The method (video compression method) can also be applied.

図1に戻って、予測情報・量子化値制御圧縮符号化装置1の構成の説明を続ける。
選択手段7は、当該装置1に入力された直前のフレーム(直前のインターフレーム、または、1つ前のイントラフレーム)のブロック画像B(r,p)を復号した復号直前ブロック画像B′(r,p)から、映像圧縮手段5から出力されたローカルデコード画像B′(c,p)を減算した結果(残差信号)に基づいて、輝度値が設定値未満(最小)となる圧縮データを選択するものである。
Returning to FIG. 1, the description of the configuration of the prediction information / quantized value control compression encoding apparatus 1 will be continued.
The selection means 7 decodes the block image B ′ (r immediately before decoding) obtained by decoding the block image B (r, p) of the immediately preceding frame (the immediately preceding inter frame or the immediately preceding intra frame) input to the apparatus 1. , P), based on the result (residual signal) obtained by subtracting the local decoded image B ′ (c, p) output from the video compression unit 5, compressed data whose luminance value is less than the set value (minimum) is obtained. To choose.

設定値未満とは、輝度の変動が目障りにならない程度の値であり、例えば、8bit画像である場合には10(この数値は任意の数)であり、十分に小さな値であればよい。但し、この設定値があまり大きすぎると、フリッカ妨害が抑制できなくなってしまう。   The value less than the set value is a value that does not disturb the luminance fluctuation. For example, in the case of an 8-bit image, it is 10 (this numerical value is an arbitrary number), and may be a sufficiently small value. However, if this set value is too large, flicker interference cannot be suppressed.

また、選択手段7は、復号直前ブロック画像B′(r,p)の代わりに、ブロック画像の直前のイントラフレームにおける所定領域と同じ領域の直前イントラブロック画像を復号した復号直前イントラブロック画像IB′(c(n-1),p)とローカルデコード画像B′(c(n),p)との輝度差が最小となる圧縮データを選択することも可能である。ここで、c(n)は現在のイントラフレームを、c(n-1)は一つ前のイントラフレームを指すものである。 Further, the selection means 7 decodes the intra block image IB ′ immediately before decoding obtained by decoding the immediately preceding intra block image in the same area as the predetermined area in the intra frame immediately before the block image, instead of the block image B ′ (r, p) immediately before decoding. It is also possible to select compressed data that minimizes the luminance difference between (c (n−1) , p) and the local decoded image B ′ (c (n) , p). Here, c (n) indicates the current intra frame, and c (n-1) indicates the previous intra frame.

つまり、予測情報・量子化値制御圧縮符号化装置1は、選択手段7によって、例えば、ビットレートが低い場合は、直前のフレームの所定領域と同じ領域のブロック画像ではなく、復号時に直前のイントラフレームにおける所定領域と同じ領域の直前イントラブロック画像を復号した復号直前イントラブロック画像IB′(c(n-1),p)とローカルデコード画像B′(c(n),p)との輝度差が最小となる圧縮データを選択することで、出力手段9から出力された最適圧縮データを復号した際に、フリッカ妨害を軽減することができる。 In other words, the prediction information / quantized value control compression encoding apparatus 1 uses the selection unit 7 to select the previous intra-frame at the time of decoding instead of the block image in the same area as the predetermined area of the previous frame when the bit rate is low. Luminance difference between the intra-block image IB ′ (c (n−1) , p) immediately before decoding and the local decoded image B ′ (c (n) , p) obtained by decoding the previous intra-block image in the same area as the predetermined area in the frame By selecting the compressed data that minimizes the flicker interference when the optimum compressed data output from the output means 9 is decoded.

さらに、選択手段7は、輝度値の差に加え、色相の差に基づいて、圧縮データを選択することも可能である。つまり、予測情報・量子化値制御圧縮符号化装置1は、選択手段7によって、輝度値の差に加え、色相の差に基づいて、圧縮データを選択すること、つまり、復号直前ブロック画像B′(r,p)とローカルデコード画像B′(c(n),p)との色相の差が最小となる圧縮データを選択することで、出力手段9から出力された最適圧縮データを復号した際に、フリッカ妨害を軽減することができる。 Further, the selection means 7 can select compressed data based on a difference in hue in addition to a difference in luminance value. That is, the prediction information / quantization value control compression encoding apparatus 1 selects the compressed data based on the difference in hue as well as the difference in luminance value by the selection unit 7, that is, the block image B ′ immediately before decoding. When the optimum compressed data output from the output means 9 is decoded by selecting the compressed data that minimizes the hue difference between (r, p) and the local decoded image B ′ (c (n) , p) In addition, flicker interference can be reduced.

出力手段9は、不揮発性のメモリ等を備えて構成されバッファリング機能を有しており、映像圧縮手段5から出力された複数予測情報と対応量子化値との組合せ(圧縮データ)を保持して、選択手段7で選択された圧縮データを、最適圧縮データとして出力するものである。   The output unit 9 includes a nonvolatile memory and has a buffering function, and holds a combination (compressed data) of the plurality of prediction information output from the video compression unit 5 and the corresponding quantized value. Thus, the compressed data selected by the selection means 7 is output as optimum compressed data.

この予測情報・量子化値制御圧縮符号化装置1によれば、映像圧縮手段5で、参照画像とブロック画像とに基づき予測情報が推定されて、組合せ発生手段3で予測情報に基づいて複数の複数予測情報が発生される。そして、映像圧縮手段5で、複数予測情報に基づいて、予測信号が生成され、ブロック画像B(c,p)から予測信号を減算した減算信号を変換量子化した量子化値が出力される。さらに、組合せ発生手段3で、複数予測情報と対応量子化値との組合せが発生され、映像圧縮手段5で、この組合せを圧縮した圧縮データが出力されると共に、この圧縮データの中の対応量子化値を複合したローカルデコード画像B′(c,p)が出力される。そして、選択手段7で、復号直前ブロック画像B′(r,p)とローカルデコード画像B′(c,p)との輝度差を予め設定された設定値未満となる圧縮データが、最適圧縮データとして選択され、出力手段9で出力される。このため、ブロック画像B(c,p)と直前のフレーム内の直前ブロック画像B(r,p)との若干の輝度差が量子化処理により拡大されて生じるフリッカ妨害(画質劣化)を、当該輝度差が設定未満となる複数予測情報と対応量子化値との組合せを選択することで、低減することができる。すなわち、予測信号を用いる圧縮符号化方式において、フリッカ妨害を防ぐことができる。 According to the prediction information and quantization value control compression encoding apparatus 1, the video compression unit 5, the prediction information based on the reference image and the block image is estimated, a combination generating unit 3, based on the prediction information more multiple prediction information is generated. Then, in the image compression unit 5, on the basis of a plurality prediction information, the prediction signal is generated, the block image B (c, p) quantized values ized converting quantum subtraction signal obtained by subtracting the prediction signal from the Ru is output. Further, the combination generating unit 3 generates a combination of the plurality of prediction information and the corresponding quantized value, and the video compression unit 5 outputs compressed data obtained by compressing the combination, and the corresponding quantum in the compressed data. A local decoded image B ′ (c, p) in which the digitized values are combined is output. Then, the selection unit 7 compresses the optimum compressed data so that the compressed data in which the luminance difference between the block image B ′ (r, p) immediately before decoding and the local decoded image B ′ (c, p) is less than a preset set value And output by the output means 9. For this reason, flicker interference (image quality degradation) caused by a slight luminance difference between the block image B (c, p) and the immediately preceding block image B (r, p) in the immediately preceding frame being expanded by the quantization process This can be reduced by selecting a combination of multiple prediction information and a corresponding quantized value for which the luminance difference is less than the setting. In other words, flicker interference can be prevented in the compression encoding method using the prediction signal.

また、予測情報・量子化値制御圧縮符号化装置1によれば、ブロック画像と直前ブロック画像との若干の輝度差が量子化処理により拡大されて生じるフリッカ妨害(画質劣化)を、選択手段7により当該輝度差が最小となる予測情報と量子化値との組合せを選択することで、低減することができる。   Further, according to the prediction information / quantized value control compression encoding apparatus 1, flicker interference (image quality degradation) caused by a slight luminance difference between the block image and the immediately preceding block image being expanded by the quantization process is selected by the selection unit 7. By selecting a combination of prediction information and a quantized value that minimizes the luminance difference, it can be reduced.

〈予測情報・量子化値制御圧縮符号化装置(第一実施形態)の動作〉
次に、図6に示すフローチャートを参照して、図1に示した予測情報・量子化値制御圧縮符号化装置1の動作について説明する(適宜、図1参照)。なお、このフローチャートに示した予測情報・量子化値制御圧縮符号化装置1の動作の説明は、コンピュータ上で動作する予測情報・量子化値制御圧縮符号化プログラムの説明と同義である。
<Operation of Prediction Information / Quantization Value Control Compression Encoding Device (First Embodiment)>
Next, the operation of the prediction information / quantized value control compression encoding apparatus 1 shown in FIG. 1 will be described with reference to the flowchart shown in FIG. 6 (see FIG. 1 as appropriate). The description of the operation of the prediction information / quantization value control compression encoding apparatus 1 shown in this flowchart is synonymous with the description of the prediction information / quantization value control compression encoding program operating on the computer.

まず、予測情報・量子化値制御圧縮符号化装置1は、ローカルデコード画像(復号したブロック画像)B′(c,p)と復号直前ブロック画像B′(r,p)との輝度差の最小値を示す変数(以下、最小値変数という)を初期化する(ステップS1)。なお、初期化する値は、2つのブロック画像(ローカルデコード画像B′(c,p)と復号直前ブロック画像B′(r,p))の差が取りうる最大値より大きな値とする。   First, the prediction information / quantization value control compression encoding apparatus 1 minimizes the luminance difference between the local decoded image (decoded block image) B ′ (c, p) and the block image B ′ (r, p) immediately before decoding. A variable indicating a value (hereinafter referred to as a minimum value variable) is initialized (step S1). Note that the value to be initialized is larger than the maximum value that can be taken by the difference between the two block images (local decoded image B ′ (c, p) and block image B ′ (r, p) immediately before decoding).

続いて、予測情報・量子化値制御圧縮符号化装置1は、映像圧縮手段5から組合せ発生手段3に予測情報を入力する、つまり、組合せ発生手段3からすると、予測情報を取得する(ステップS2)。すると、予測情報・量子化値制御圧縮符号化装置1は、組合せ発生手段3によって、予測情報の組合せを決定する、つまり、複数の複数予測情報を発生する(ステップS3)。 Subsequently, the prediction information / quantized value control compression encoding apparatus 1 inputs the prediction information from the video compression means 5 to the combination generation means 3, that is, obtains prediction information from the combination generation means 3 (step S2). ). Then, the prediction information / quantized value control compression coding apparatus 1 determines a combination of prediction information by the combination generation unit 3, that is, generates a plurality of pieces of prediction information (step S3).

そして、予測情報・量子化値制御圧縮符号化装置1は、組合せ発生手段3から複数予測情報を出力し(ステップS4)、映像圧縮手段5によって量子化値を出力する、つまり、組合せ発生手段3からすると量子化値を取得する(ステップS5)。すると、予測情報・量子化値制御圧縮符号化装置1は、組合せ発生手段3によって、取得した量子化値を元に、対応する量子化値の組合せを決定する、つまり、対応量子化値を発生する(ステップS6)。そして、予測情報・量子化値制御圧縮符号化装置1は、組合せ発生手段3によって、対応量子化値の1つを、映像圧縮手段5に出力する(ステップS7)。   Then, the prediction information / quantized value control compression encoding apparatus 1 outputs a plurality of pieces of prediction information from the combination generation unit 3 (step S4), and outputs a quantized value by the video compression unit 5, that is, the combination generation unit 3 Therefore, a quantized value is acquired (step S5). Then, the prediction information / quantized value control compression coding apparatus 1 determines a combination of corresponding quantized values based on the acquired quantized values by the combination generating means 3, that is, generates corresponding quantized values. (Step S6). Then, the prediction information / quantized value control compression encoding apparatus 1 outputs one of the corresponding quantized values to the video compression unit 5 by the combination generation unit 3 (step S7).

予測情報・量子化値制御圧縮符号化装置1は、映像圧縮手段5によって、復号画像(ローカルデコード画像B′(c,p))を取得し(ステップS8)、この復号画像(ローカルデコード画像B′(c,p))と、復号直前ブロック画像B′(r,p))との差と、最小値変数とを選択手段7によって比較し、この差が最小値(最小値変数)より小さいかどうかを判断する(ステップS9)。この差が最小値(最小値変数)よりも小さいと判断した場合(ステップS9、Yes)、最小値(最小値変数)を更新し(ステップS10)、複数予測情報と対応量子化値とを圧縮した圧縮データとして、出力手段9によって、保存(保持)する(ステップS11)。   The prediction information / quantized value control compression encoding apparatus 1 acquires a decoded image (local decoded image B ′ (c, p)) by the video compression means 5 (step S8), and this decoded image (local decoded image B). '(C, p)) and the block image B' (r, p)) immediately before decoding are compared with the minimum value variable by the selection means 7, and this difference is smaller than the minimum value (minimum value variable). Is determined (step S9). If it is determined that this difference is smaller than the minimum value (minimum value variable) (step S9, Yes), the minimum value (minimum value variable) is updated (step S10), and the multiple prediction information and the corresponding quantized value are compressed. The compressed data is saved (held) by the output means 9 (step S11).

また、ステップS9にて、復号画像(ローカルデコード画像B′(c,p))と、復号直前ブロック画像B′(r,p))との差が最小値(最小値変数)よりも小さいと判断しなかった場合(ステップS9、No)、予測情報・量子化値制御圧縮符号化装置1は、映像圧縮手段5によって、対応量子化値がまだあるかどうかを判断し(ステップS12)、対応量子化値がまだあると判断した場合(ステップS12、Yes)には、ステップS7からステップS12までの動作を繰り返す。   In step S9, if the difference between the decoded image (local decoded image B ′ (c, p)) and the block image B ′ (r, p) immediately before decoding is smaller than the minimum value (minimum value variable). If not determined (step S9, No), the prediction information / quantized value control compression encoding apparatus 1 determines whether or not there is a corresponding quantized value by the video compression unit 5 (step S12). When it is determined that there are still quantized values (step S12, Yes), the operations from step S7 to step S12 are repeated.

そして、予測情報・量子化値制御圧縮符号化装置1は、映像圧縮手段5によって、対応量子化値がまだあると判断しなかった場合(ステップS12、No)には、複数予測情報がまだあるかどうかを判断する(ステップS13)。また、複数予測情報がまだあると判断した場合(ステップS13、Yes)には、ステップS4からステップS12までの動作を繰り返す。さらに、複数予測情報がまだあると判断しなかった場合(ステップS13、No)には、出力手段9に保存(保持)してある圧縮データ(圧縮した複数予測情報および対応量子化値)を最適圧縮データとして出力する(ステップS14)。   Then, when the prediction information / quantization value control compression encoding apparatus 1 does not determine that the corresponding quantization value still exists by the video compression unit 5 (No in step S12), there is still multiple prediction information. Is determined (step S13). If it is determined that there is still multiple prediction information (step S13, Yes), the operations from step S4 to step S12 are repeated. Furthermore, when it is not determined that there is still multiple prediction information (No in step S13), the compressed data (the compressed multiple prediction information and the corresponding quantized value) stored (held) in the output unit 9 is optimized. Output as compressed data (step S14).

〈フリッカ妨害を抑制した例について〉
次に、図7、図8を参照して、予測情報・量子化値制御圧縮符号化装置1(1A、1B)によって、動画像を圧縮符号化した際に、フリッカ妨害を抑制した例について説明する(適宜、図1および図6参照)。
<Example of suppressing flicker interference>
Next, an example in which flicker interference is suppressed when a moving image is compression encoded by the prediction information / quantization value control compression encoding device 1 (1A, 1B) will be described with reference to FIGS. (See FIGS. 1 and 6 as appropriate).

これら図7、図8では、説明を簡略化するため、動画像の代わりに時間的に変化する1次元信号(原信号)を用いて、予測信号と予測情報とを同義とし、符号化手段15の変換手段15aにおける変換処理を省略している。   In FIGS. 7 and 8, in order to simplify the description, a prediction signal and prediction information are synonymous using a one-dimensional signal (original signal) that changes with time instead of a moving image, and encoding means 15 The conversion process in the conversion means 15a is omitted.

図7(a)は、原信号と予測信号とを示したものである。なお、この図7(a)の原信号は、背景技術で説明した従来のフリッカ低減回路に入力する入力信号(デジタル信号)と同じものである。図7(a)において、2つ目のサンプル(時間軸上で1つ目の区切りと2つ目の区切りの間の信号)に着目して説明する。   FIG. 7A shows the original signal and the prediction signal. Note that the original signal in FIG. 7A is the same as the input signal (digital signal) input to the conventional flicker reduction circuit described in the background art. In FIG. 7A, description will be given focusing on the second sample (a signal between the first and second segments on the time axis).

図7(a)に示した(イ)が、当該装置1の動作で説明したステップS2で取得した予測情報(予測信号)である。この(イ)の他に、(ア)および(ウ)に点線で示した予測信号についてもテストした(映像圧縮手段5で取り扱った)とする。これら(ア)、(イ)および(ウ)の3通りについて、ステップS4からステップS13までのループ処理を行っている。   (A) shown to Fig.7 (a) is the prediction information (prediction signal) acquired by step S2 demonstrated by operation | movement of the said apparatus 1. FIG. In addition to (A), it is assumed that the prediction signals indicated by dotted lines in (A) and (C) were also tested (handled by the video compression means 5). The loop processing from step S4 to step S13 is performed for these three types (a), (b), and (c).

まず、予測信号(ア)の場合について説明する。
予測信号(ア)は、予測情報・量子化値制御圧縮符号化装置1の動作であるステップS4にて出力されたものである。ここで、原信号から予測信号を減算した残差信号を図7(b)に示す。なお、変換処理を省略しているので、この残差信号を量子化した値が映像圧縮手段5からの出力となる。また、当該装置1の動作であるステップS5にて、映像圧縮手段5から得られる対応量子化値の例を図7(c)に示す。
First, the case of the prediction signal (a) will be described.
The prediction signal (A) is output in step S4, which is the operation of the prediction information / quantization value control compression encoding apparatus 1. Here, FIG. 7B shows a residual signal obtained by subtracting the prediction signal from the original signal. Since the conversion process is omitted, a value obtained by quantizing the residual signal is an output from the video compression unit 5. FIG. 7C shows an example of the corresponding quantization value obtained from the video compression unit 5 in step S5 which is the operation of the apparatus 1.

ステップS6では、得られた量子化値と、この量子化値に±1した値(対応量子化値)の3通りの組合せを決定している。このステップS6にて決定した3通りの対応量子化値を図7(d)に示す。この3通りの対応量子化値について、ステップS7からステップ12までのループ処理を行っている。ステップS8で得られる復号信号(ローカルデコード画像B′(c,p))を図7(e)に示す。変換処理を省略しているので、図7(e)では、図7(d)に示す対応量子化値に図7(a)に示す予測信号(a)を加算した値となる。   In step S6, three combinations of the obtained quantized value and a value obtained by adding ± 1 to the quantized value (corresponding quantized value) are determined. FIG. 7D shows the three corresponding quantization values determined in step S6. For these three corresponding quantized values, a loop process from step S7 to step 12 is performed. FIG. 7E shows the decoded signal (local decoded image B ′ (c, p)) obtained in step S8. Since the conversion process is omitted, in FIG. 7E, a value obtained by adding the prediction signal (a) shown in FIG. 7A to the corresponding quantized value shown in FIG. 7D is obtained.

次に、当該装置1の動作であるステップS9にて、復号信号と直前のフレームにおける復号信号(復号直前ブロック画像B′(r,p))の差と、最小値変数の値とを比較し、この差が最小値変数の値よりも小さい場合には、ステップS10にて、最小値変数を、復号信号と直前のフレームにおける復号信号(復号直前ブロック画像B′(r,p))の差に更新し、ステップS11にて、複数予測情報と対応量子化値とを保存している。   Next, in step S9 which is the operation of the apparatus 1, the difference between the decoded signal and the decoded signal in the immediately preceding frame (block image B ′ (r, p) immediately before decoding) is compared with the value of the minimum value variable. If this difference is smaller than the value of the minimum value variable, in step S10, the minimum value variable is set to the difference between the decoded signal and the decoded signal in the immediately preceding frame (block image B ′ (r, p) immediately before decoding). In step S11, the plurality of pieces of prediction information and the corresponding quantized values are stored.

予測信号(ア)の場合、対応量子化値を−1とした場合と、0とした場合が共に最小の値となる。このように、復号信号と、直前のフレームにおける復号信号との差が最小となるものが複数ある場合には、圧縮率や復号信号(復号画像)の画質が良い方(この場合、対応量子化値を0とした場合)を選択することとする。   In the case of the prediction signal (a), both the case where the corresponding quantization value is -1 and the case where it is 0 are minimum values. As described above, when there are a plurality of signals in which the difference between the decoded signal and the decoded signal in the immediately preceding frame is minimum, the one with the better compression rate or the image quality of the decoded signal (decoded image) (in this case, corresponding quantization) Suppose that the value is 0).

以上の処理を予測信号(イ)、予測信号(ウ)についても行う。予測信号(イ)または予測信号(ウ)を用いた場合、残差信号は、図7(b)に示すようになり、当該装置1の動作であるステップS5にて得られる量子化値は、図7(c)に示すようになる。   The above processing is also performed for the prediction signal (A) and the prediction signal (C). When the prediction signal (A) or the prediction signal (C) is used, the residual signal is as shown in FIG. 7B, and the quantized value obtained in step S5 which is the operation of the apparatus 1 is As shown in FIG.

予測信号(ア)の場合と同様に、ステップS6にて決定される対応量子化値は図8(a)(予測信号(イ))および図8(c)(予測信号(ウ))に示すようになり、それぞれの対応量子化値を復号した復号信号は、図8(b)(予測信号(イ))および図8(d)(予測信号(ウ))に示すようになる。   As in the case of the prediction signal (a), the corresponding quantized values determined in step S6 are shown in FIG. 8A (prediction signal (A)) and FIG. 8C (prediction signal (C)). The decoded signals obtained by decoding the corresponding quantized values are as shown in FIG. 8B (predicted signal (A)) and FIG. 8D (predicted signal (C)).

図7(e)、図8(b)および図8(d)に示した9通りの復号信号が、例示した全ての組合せである。従って、当該装置1の動作であるステップS10にて、直前のフレームの復号信号との差が最小となる復号信号は、予測信号(ウ)を選択し、対応量子化値−1にした場合である。予測信号と対応量子化値の組合せをステップS14にて出力している。   The nine decoded signals shown in FIG. 7E, FIG. 8B, and FIG. 8D are all illustrated combinations. Therefore, in step S10, which is the operation of the apparatus 1, the decoded signal that minimizes the difference from the decoded signal of the immediately preceding frame is selected when the predicted signal (c) is selected and the corresponding quantized value is -1. is there. The combination of the prediction signal and the corresponding quantized value is output in step S14.

〈予測情報・量子化値制御圧縮符号化装置(第二実施形態)の構成〉
図3は、予測情報・量子化値制御圧縮符号化装置(第二実施形態)のブロック図である。この図3に示すように、予測情報・量子化値制御圧縮符号化装置1Aは、複数予測情報と対応量子化値との組合せを制御して、動画像を圧縮符号化するもので、組合せ発生手段3と、映像圧縮手段5Aと、選択手段7と、出力手段9とを備えている。なお、図1に示した予測情報・量子化値制御圧縮符号化装置1の構成と同じ構成については、同一の符号を付して、その説明を省略する。
<Configuration of Prediction Information / Quantization Value Control Compression Encoding Device (Second Embodiment)>
FIG. 3 is a block diagram of a prediction information / quantization value control compression encoding apparatus (second embodiment). As shown in FIG. 3, the prediction information / quantization value control compression coding apparatus 1A compresses and encodes a moving image by controlling a combination of multiple prediction information and corresponding quantization values. Means 3, video compression means 5A, selection means 7, and output means 9 are provided. In addition, about the same structure as the structure of the prediction information and quantization value control compression encoding apparatus 1 shown in FIG. 1, the same code | symbol is attached | subjected and the description is abbreviate | omitted.

組合せ発生手段3Aは、映像圧縮手段5Aからの予測情報を入力することなく、予め数が限定される複数予測情報を発生し出力すると共に、映像圧縮手段5Aから入力された量子化値に基づいて、対応量子化値を出力するものである。予め数が限定される複数予測情報と対応量子化値との組合せの数とは、例えば、H.246方式におけるイントラ予測の場合、12通り(3[量子化値が−1,0,+1の3通り]×4[H.264方式におけるイントラ16×16の予測モードの数])となる。この複数予測情報の対応量子化値との組合せの数は、フリッカ妨害抑制の効果と、当該装置1Aの演算量とバランス(パフォーマンス)を考慮して、適切な数となるように設定した。 The combination generating unit 3A generates and outputs a plurality of pieces of prediction information whose number is limited in advance without inputting the prediction information from the video compression unit 5A, and based on the quantization value input from the video compression unit 5A. The corresponding quantized value is output. The number of combinations of multiple prediction information whose number is limited in advance and the corresponding quantized value is, for example, H.264. In the case of intra prediction in the H.246 system, there are 12 types (3 [three types of quantization values of −1, 0, +1] × 4 [number of intra 16 × 16 prediction modes in the H.264 system]). The number of combinations with the corresponding quantized values of the multiple prediction information is set to an appropriate number in consideration of the effect of suppressing flicker interference and the amount of calculation and balance (performance) of the apparatus 1A.

映像圧縮手段5Aは、圧縮しようとするブロック画像B(c,p)と、参照画像とを入力し、組合せ発生手段3Aとの間において、量子化値の出力および複数予測情報と対応量子化値との入力を行って、圧縮データと、ローカルデコード画像B′(c,p)とを出力するものである。   The video compression unit 5A receives the block image B (c, p) to be compressed and the reference image, outputs the quantization value and the multiple prediction information and the corresponding quantization value between the combination generation unit 3A. And the compressed data and the local decoded image B ′ (c, p) are output.

この映像圧縮手段5Aを展開した(構成を分割化した)ブロック図である図4を参照して、詳細に映像圧縮手段5Aを説明する。図4に示すように、映像圧縮手段5Aは、予測信号生成手段13と、符号化手段15と、圧縮データ生成手段17と、復号手段19とを備えている。なお、図2に示した映像圧縮手段5の構成と同じ構成については、同一の符号を付して、その説明を省略する。   The video compression unit 5A will be described in detail with reference to FIG. 4 which is a block diagram in which the video compression unit 5A is developed (the configuration is divided). As shown in FIG. 4, the video compression unit 5 </ b> A includes a prediction signal generation unit 13, an encoding unit 15, a compressed data generation unit 17, and a decoding unit 19. In addition, about the same structure as the structure of the video compression means 5 shown in FIG. 2, the same code | symbol is attached | subjected and the description is abbreviate | omitted.

図4に示すように、映像圧縮手段5Aは、図2で示した映像圧縮手段5から予測情報推定手段11を省略したものであり、映像圧縮手段5Aでは、予測情報の推定を行っておらず、組合せ発生手段3Aで発生させ出力された複数予測情報に基づいて、予測信号生成手段13で予測信号を発生させている。   As shown in FIG. 4, the video compression unit 5A is obtained by omitting the prediction information estimation unit 11 from the video compression unit 5 shown in FIG. 2, and the video compression unit 5A does not estimate the prediction information. Based on the multiple prediction information generated and output by the combination generation means 3A, the prediction signal generation means 13 generates a prediction signal.

この予測情報・量子化値制御圧縮符号化装置1Aによれば、組合せ発生手段3Aで複数の複数予測情報が発生されて、映像圧縮手段5Aで、複数予測情報に基づいて、予測信号が生成され、ブロック画像B(c,p)から予測信号を減算した減算信号を変換量子化した量子化値が出力される。さらに、組合せ発生手段3Aで、複数予測情報と対応量子化値との組合せが発生され、映像圧縮手段5Aで、この組合せを圧縮した圧縮データが出力されると共に、この圧縮データの中の対応量子化値を複合したローカルデコード画像B′(c,p)が出力される。つまり、映像圧縮手段5Aで予測情報を推定せずに、組合せ発生手段3Aで複数の複数予測情報を出力しているので、複数予測情報が限定される場合、すなわち、予測信号を生成するモードや値の数が限定されている場合に適用することができ、予測情報・量子化値制御圧縮符号化装置1と同様に、予測信号を用いる圧縮符号化方式において、フリッカ妨害を防ぐことができる。 According to the prediction information and quantization value control compression encoding device 1A, a plurality of multiple prediction information is generated by combining generator 3A, the video compression unit 5A, on the basis of a plurality prediction information generated prediction signal is, block image B (c, p) quantized values ized converting quantum subtraction signal obtained by subtracting the prediction signal from the Ru is output. Further, the combination generating unit 3A generates a combination of the plurality of prediction information and the corresponding quantized value, and the video compression unit 5A outputs compressed data obtained by compressing the combination, and the corresponding quantum in the compressed data. A local decoded image B ′ (c, p) in which the digitized values are combined is output. That is, since the plurality of pieces of prediction information is output by the combination generation unit 3A without estimating the prediction information by the video compression unit 5A, when the plurality of pieces of prediction information is limited, that is, a mode for generating a prediction signal, This can be applied when the number of values is limited, and, similarly to the prediction information / quantized value control compression encoding apparatus 1, flicker interference can be prevented in the compression encoding method using the prediction signal.

〈予測情報・量子化値制御圧縮符号化装置(第三実施形態)の構成〉
図5は、予測情報・量子化値制御圧縮符号化装置(第三実施形態)のブロック図である。この図5に示すように、予測情報・量子化値制御圧縮符号化装置1Bは、圧縮符号化するブロック画像B(c,p)と、復号直前ブロック画像B′(r,p)とのブロック比較を行った後、複数予測情報と対応量子化値との組合せを制御して、動画像を圧縮符号化するもので、組合せ発生手段3Bと、映像圧縮手段5と、選択手段7と、出力手段9と、ブロック比較手段21とを備えている。なお、図1に示した予測情報・量子化値制御圧縮符号化装置1の構成と同じ構成については、同一の符号を付して、その説明を省略する。
<Configuration of Prediction Information / Quantization Value Control Compression Encoding Device (Third Embodiment)>
FIG. 5 is a block diagram of a prediction information / quantization value control compression encoding apparatus (third embodiment). As shown in FIG. 5, the prediction information / quantization value control compression encoding apparatus 1B is configured to block a block image B (c, p) to be compression encoded and a block image B ′ (r, p) immediately before decoding. After the comparison, the combination of the plurality of prediction information and the corresponding quantized value is controlled to compress and encode the moving image. The combination generating means 3B, the video compressing means 5, the selecting means 7, and the output Means 9 and block comparison means 21 are provided. In addition, about the same structure as the structure of the prediction information and quantization value control compression encoding apparatus 1 shown in FIG. 1, the same code | symbol is attached | subjected and the description is abbreviate | omitted.

組合せ発生手段3Bは、ブロック比較手段21から出力される比較結果に基づいて、映像圧縮手段5に出力する複数予測情報と対応量子化値との組合せを1つに限定して出力するものである。つまり、組合せ発生手段3Bは、映像圧縮手段5から出力される予測情報と量子化値との組合せをそのまま出力する。   Based on the comparison result output from the block comparison unit 21, the combination generation unit 3 </ b> B outputs only one combination of the multiple prediction information output to the video compression unit 5 and the corresponding quantized value. . That is, the combination generation unit 3B outputs the combination of the prediction information output from the video compression unit 5 and the quantized value as it is.

ブロック比較手段21は、圧縮符号化するブロック画像B(c,p)と、復号直前ブロック画像B′(r,p)とのブロック比較を行った比較結果を組合せ発生手段3Bに出力するものである。このブロック比較手段21では、2つのブロック(ブロック画像B(c,p)および復号直前ブロック画像B′(r,p))の比較(差の大きさ)を、各画素値の差の絶対値和で求めている。なお、2つのブロックの比較(差の大きさ)は、各画素値の差の自乗和等で求めてもよい。この差(例えば、8bit画像の場合、30[この数値は任意の数])が輝度の変動として認識されるほど大きい場合に、組合せ発生手段3Bでは、複数予測情報と対応量子化値との組合せを1つに限定して映像圧縮手段5に出力する。ちなみに、この差は、十分に大きければよく、逆に小さすぎると、適用可能なブロックが減ってしまい、フリッカ妨害を抑制する効果が減退することになる。 The block comparison unit 21 outputs a comparison result obtained by performing block comparison between the block image B (c, p) to be compression-encoded and the block image B ′ (r, p) immediately before decoding to the combination generation unit 3B. is there. The block comparison means 21 compares the two blocks (the block image B (c, p) and the block image B ′ (r, p) immediately before decoding) with the absolute value of the difference between the pixel values. Seeking in the sum. Note that the comparison of two blocks (difference magnitude) may be obtained by the sum of squares of differences between pixel values or the like. When this difference (for example, in the case of an 8-bit image, 30 [this numerical value is an arbitrary number]) is large enough to be recognized as a variation in luminance, the combination generating unit 3B combines the multiple prediction information and the corresponding quantized value. Are limited to one and output to the video compression means 5. Incidentally, it is sufficient that this difference is sufficiently large. On the contrary, if the difference is too small, the number of applicable blocks is reduced, and the effect of suppressing flicker interference is reduced.

この予測情報・量子化値制御圧縮符号化装置1Bによれば、ブロック比較手段21でブロック画像B(c,p)と復号直前ブロック画像B′(r,p)とが比較され、この比較された比較結果に基づき、映像圧縮手段5が組合せ発生手段3Bから出力された複数予測情報に従い、ブロック画像B(c,p)と復号直前ブロック画像B′(r,p)と輝度差が一定値以下のブロック画像のみを処理することも可能である。すなわち、映像圧縮手段5によって、復号直前ブロック画像との輝度差が一定値以下のブロック画像のみを処理することで、出力手段9から出力された最適圧縮データを復号した際に、フリッカ妨害を軽減することができる。つまり、復号直前ブロック画像との輝度差が一定値よりも大きい場合には、元々の動画像(原画像)に輝度変動が存在していることが想定されるので、輝度差に基づいて、フリッカ妨害を軽減する処理を施す必要が無く、処理速度を向上させることができる。   According to the prediction information / quantized value control compression encoding apparatus 1B, the block comparison unit 21 compares the block image B (c, p) with the block image B ′ (r, p) immediately before decoding, and compares them. Based on the comparison result, the video compression means 5 has a constant luminance difference between the block image B (c, p) and the block image B ′ (r, p) immediately before decoding according to the multiple prediction information output from the combination generation means 3B. It is also possible to process only the following block images. That is, the video compression unit 5 processes only the block image whose luminance difference from the block image immediately before decoding is a predetermined value or less, thereby reducing flicker interference when decoding the optimum compressed data output from the output unit 9. can do. That is, when the luminance difference from the block image immediately before decoding is larger than a certain value, it is assumed that there is a luminance variation in the original moving image (original image). There is no need to perform processing to reduce the interference, and the processing speed can be improved.

以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、予測情報・量子化値制御圧縮符号化装置1(1A、1B)として説明したが、当該装置1(1A、1B)の各構成の処理を汎用的または特殊なコンピュータ言語で記述した予測情報・量子化値制御圧縮符号化プログラムとみなすことも可能である。また、当該装置1(1A、1B)の各構成の処理を一つずつ情報処理過程と捉えた予測情報・量子化値制御圧縮符号化方法とみなすことも可能である。これらの場合、当該装置1(1A、1B)と同様の効果を得ることができる。   As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. For example, in the present embodiment, the prediction information / quantization value control compression encoding apparatus 1 (1A, 1B) has been described. However, the processing of each component of the apparatus 1 (1A, 1B) is a general-purpose or special computer language. It can also be regarded as the prediction information / quantized value control compression encoding program described in (1). Moreover, it is also possible to regard the processing of each component of the apparatus 1 (1A, 1B) as a prediction information / quantized value control compression encoding method in which each process is regarded as an information processing process. In these cases, the same effect as that of the device 1 (1A, 1B) can be obtained.

本発明の実施形態に係る予測情報・量子化値制御圧縮符号化装置(第一実施形態)のブロック図である。1 is a block diagram of a prediction information / quantized value control compression coding apparatus (first embodiment) according to an embodiment of the present invention. FIG. 図1における映像圧縮手段を展開したブロック図である。It is the block diagram which expand | deployed the video compression means in FIG. 本発明の実施形態に係る予測情報・量子化値制御圧縮符号化装置(第二実施形態)のブロック図である。It is a block diagram of the prediction information and quantization value control compression encoding apparatus (2nd embodiment) which concerns on embodiment of this invention. 図2における映像圧縮手段を展開したブロック図である。It is the block diagram which expand | deployed the video compression means in FIG. 本発明の実施形態に係る予測情報・量子化値制御圧縮符号化装置(第三実施形態)のブロック図である。It is a block diagram of the prediction information and quantization value control compression encoding apparatus (3rd embodiment) which concerns on embodiment of this invention. 図1に示した予測情報・量子化値制御圧縮符号化装置(第一実施形態)の動作を説明したフローチャートである。It is the flowchart explaining operation | movement of the prediction information and quantization value control compression encoding apparatus (1st embodiment) shown in FIG. 予測情報・量子化値制御圧縮符号化装置によって、動画像を圧縮符号化した際に、フリッカ妨害を抑制した例について説明した図である。It is the figure explaining the example which suppressed flicker interference when the moving image was compression-encoded by the prediction information / quantized value control compression encoding device. 予測情報・量子化値制御圧縮符号化装置によって、動画像を圧縮符号化した際に、フリッカ妨害を抑制した例について説明した図である(図7の続き)。FIG. 8 is a diagram for explaining an example in which flicker interference is suppressed when a moving image is compression-encoded by a prediction information / quantized value control compression encoding device (continuation of FIG. 7). 従来のフリッカ低減回路における、入力信号(デジタル信号)を量子化した量子化後の信号(信号波形)について説明した図である(グラフの見方を説明したもの)。It is the figure explaining the signal (signal waveform) after quantization which quantized the input signal (digital signal) in the conventional flicker reduction circuit (what demonstrated the view of a graph). 従来のフリッカ低減回路における、入力信号(デジタル信号)を量子化した量子化後の信号(信号波形)について説明した図である(入力信号、量子化後の波形を示したもの)。It is a figure explaining the signal (signal waveform) after the quantization which quantized the input signal (digital signal) in the conventional flicker reduction circuit (the signal which showed the waveform after an input signal and quantization). 予測信号を用いる圧縮符号化方式に従来のフリッカ低減回路を適用した場合の量子化後の信号(信号波形)について説明した図である。It is a figure explaining the signal (signal waveform) after quantization at the time of applying the conventional flicker reduction circuit to the compression coding system using a prediction signal.

符号の説明Explanation of symbols

1、1A、1B 予測情報・量子化値制御圧縮符号化装置
3、3A、3B 組合せ発生手段
5、5A 映像圧縮手段
7 選択手段
9 出力手段
11 予測情報推定手段
13 予測信号生成手段
15 符号化手段(量子化値出力手段)
15a 変換手段
15b 量子化手段
17 圧縮データ生成手段(圧縮データ出力手段)
19 復号手段(ローカルデコード画像出力手段)
19a 逆量子化手段
19b 逆変換手段
21 ブロック比較手段
DESCRIPTION OF SYMBOLS 1, 1A, 1B Prediction information / quantization value control compression encoding apparatus 3, 3A, 3B Combination generation means 5, 5A Video compression means 7 Selection means 9 Output means 11 Prediction information estimation means 13 Prediction signal generation means 15 Encoding means (Quantized value output means)
15a Conversion means 15b Quantization means 17 Compressed data generation means (compressed data output means)
19 Decoding means (local decoded image output means)
19a Inverse quantization means 19b Inverse transformation means 21 Block comparison means

Claims (9)

動画像に含まれている所定ブロックの画像を、当該所定ブロックの動きや当該所定ブロックの近傍の領域の動きから予測する予測情報に基づいて生成した複数予測情報と前記動画像を量子化した量子化値であり前記複数予測情報に対応する対応量子化値との組合せを制御して、前記動画像を圧縮符号化する予測情報・量子化値制御圧縮符号化装置であって、
圧縮符号化する際に参照するフレームである参照画像と圧縮符号化するフレームの所定領域のブロックであるブロック画像とに基づき、予測方法の種類と予測する際に使用する値とを含んだ前記予測情報を推定し出力する予測情報推定手段と、
前記予測情報に対して複数の前記複数予測情報を発生すると共に、前記複数予測情報と、当該複数予測情報に対応する前記対応量子化値との組合せを発生する組合せ発生手段と、
前記組合せ発生手段が発生した前記複数予測情報に基づいて、前記参照画像における所定領域のブロックを予測信号として生成する予測信号生成手段と、
前記ブロック画像から前記予測信号生成手段が生成した前記予測信号を減算した減算信号を変換量子化した量子化値として出力する量子化値出力手段と、
前記組合せ発生手段が発生した前記複数予測情報と前記対応量子化値との組合せ圧縮して、圧縮データとして出力する圧縮データ生成手段と、
前記圧縮データ生成手段が出力した前記圧縮データの中に含まれている前記対応量子化値を復号し、逆量子化及び逆変換することによって復号信号を生成し、当該復号信号と、前記対応量子化値と組合せとなる前記複数予測情報に基づいて生成された前記予測信号とを加算してローカルデコード画像として出力するローカルデコード画像出力手段と、
前記ブロック画像の直前のフレームにおける前記所定領域と同じ領域の直前ブロック画像を復号した復号直前ブロック画像と、前記ローカルデコード画像出力手段が出力した前記ローカルデコード画像との輝度差が予め設定した設定値未満となる前記圧縮データを選択し、選択情報を出力する選択手段と、
前記圧縮データ出力手段で出力された前記圧縮データを保持し、前記選択手段が出力した前記選択情報で選択された前記圧縮データを最適圧縮データとして出力する出力手段と、
を備え、
前記組合せ発生手段は、
前記予測情報推定手段が出力した前記予測情報を入力した場合には、前記予測方法の種類に基づき、当該予測情報に含まれる予測する際に使用する値に予め設定した複数の所定の値を加算して、複数の前記複数予測情報を発生し、
前記発生させた前記複数予測情報に対応する、前記量子化値出力手段が出力した前記量子化値を入力した場合には、当該量子化値の成分に予め設定した複数の所定の値を加算して、複数の対応量子化値を生成し、前記複数予測情報と当該複数予測情報に対応する前記対応量子化値との組合せを発生する
ことを特徴とする予測情報・量子化値制御圧縮符号化装置。
Multiple prediction information generated based on prediction information for predicting an image of a predetermined block included in a moving image from a motion of the predetermined block or a region in the vicinity of the predetermined block, and the moving image are quantized A predictive information / quantized value control compression encoding apparatus that compresses and encodes the moving image by controlling a combination of the quantized value and a corresponding quantized value corresponding to the multiple prediction information,
The prediction including a type of prediction method and a value used for prediction based on a reference image that is a frame to be referred to when compression-encoding and a block image that is a block in a predetermined area of the frame to be compression-encoded Prediction information estimation means for estimating and outputting information;
Together with the generating a plurality of said plurality prediction information to the prediction information, and the plurality prediction information, and combining means for generating a combination of said corresponding quantized values corresponding to the plurality prediction information,
Based on the multiple prediction information generated by the combination generation means, a prediction signal generation means for generating a block of a predetermined region in the reference image as a prediction signal;
A quantized value output means for outputting a subtracted signal obtained by subtracting the predicted signal generated by the predicted signal generating means from the block image as a quantized value obtained by transform quantization ;
Compressed data generating means for compressing the combination of the multiple prediction information generated by the combination generating means and the corresponding quantized value, and outputting the compressed data as compressed data;
Decoding the corresponding quantized value included in the compressed data output by the compressed data generating means , generating a decoded signal by inverse quantization and inverse transform, and generating the decoded signal and the corresponding quantum A local decoded image output means for adding the prediction signal generated based on the plurality of prediction information to be combined with the quantization value and outputting as a local decoded image;
A setting value in which a luminance difference between a block image immediately before decoding the block image immediately before the predetermined area in the frame immediately before the block image and the local decoded image output by the local decoded image output unit is set in advance Selecting means for selecting the compressed data to be less than, and outputting selection information ;
And output means for outputting holds the compressed data output by the compressed data output means, said compressed data selected by the selection information in which the selection means is output as optimum compressed data,
With
The combination generating means includes
When the prediction information output by the prediction information estimation unit is input, based on the type of the prediction method, a plurality of predetermined values set in advance are added to values used for prediction included in the prediction information And generating a plurality of the plurality of prediction information,
When the quantized value output from the quantized value output unit corresponding to the generated multiple prediction information is input, a plurality of predetermined values set in advance are added to the quantized value component. Generating a plurality of corresponding quantized values, and generating a combination of the plurality of prediction information and the corresponding quantized value corresponding to the plurality of prediction information . apparatus.
動画像に含まれている所定ブロックの画像を、当該所定ブロックの動きや当該所定ブロックの近傍の領域の動きから予測する予め数が限定されている複数予測情報と前記動画像を量子化した量子化値であり前記複数予測情報に対応する対応量子化値との組合せを制御して、前記動画像を圧縮符号化する予測情報・量子化値制御圧縮符号化装置であって、
予測方法の種類と予測する際に使用する値とを含んだ複数の前記複数予測情報を発生すると共に、前記複数予測情報と、当該複数予測情報に対応する前記対応量子化値との組合せを発生する組合せ発生手段と、
前記組合せ発生手段が発生した前記複数予測情報に基づいて、圧縮符号化する際に参照するフレームである参照画像における所定領域のブロックを予測信号として生成する予測信号生成手段と、
圧縮符号化するフレームの所定領域のブロックであるブロック画像から前記予測信号生成手段が生成した前記予測信号を減算した減算信号を変換量子化した量子化値として出力する量子化値出力手段と、
前記組合せ発生手段が発生した前記複数予測情報と前記対応量子化値との組合せ圧縮して、圧縮データとして出力する圧縮データ生成手段と、
前記圧縮データ生成手段が出力した前記圧縮データの中に含まれている前記対応量子化値を復号し、逆量子化及び逆変換することによって復号信号を生成し、当該復号信号と、前記対応量子化値と組合せとなる前記複数予測情報に基づいて生成された前記予測信号とを加算してローカルデコード画像として出力するローカルデコード画像出力手段と、
前記ブロック画像の直前のフレームにおける前記所定領域と同じ領域の直前ブロック画像を復号した復号直前ブロック画像と、前記ローカルデコード画像出力手段が出力した前記ローカルデコード画像との輝度差が予め設定した設定値未満となる前記圧縮データを選択し、選択情報を出力する選択手段と、
前記圧縮データ出力手段で出力された前記圧縮データを保持し、前記選択手段が出力した前記選択情報で選択された前記圧縮データを最適圧縮データとして出力する出力手段と、
を備え、
前記組合せ発生手段は、
前記発生させた前記複数予測情報に対応する、前記量子化値出力手段が出力した前記量子化値を入力した場合には、当該量子化値の成分に予め設定した複数の所定の値を加算して、複数の対応量子化値を生成し、前記複数予測情報と当該複数予測情報に対応する前記対応量子化値との組合せを発生する
ことを特徴とする予測情報・量子化値制御圧縮符号化装置。
Predicting a predetermined block image included in a moving image from the movement of the predetermined block or the movement of an area in the vicinity of the predetermined block, a plurality of pieces of prediction information, and the moving image are quantized A predictive information / quantized value control compression encoding apparatus that compresses and encodes the moving image by controlling a combination of the quantized value and a corresponding quantized value corresponding to the multiple prediction information,
Thereby generating a plurality of said plurality prediction information including a value to be used in predicting the type of prediction methods, the plurality prediction information, the combination of the corresponding quantization values corresponding to the plurality prediction information generating A combination generating means for
Based on the multiple prediction information generated by the combination generation means, a prediction signal generation means for generating a block of a predetermined region in a reference image, which is a frame to be referred to when performing compression encoding, as a prediction signal;
A quantized value output means for outputting a subtracted signal obtained by subtracting the predicted signal generated by the predicted signal generating means from a block image that is a block in a predetermined region of a frame to be compressed and encoded as a quantized value obtained by transform quantization ;
Compressed data generating means for compressing the combination of the multiple prediction information generated by the combination generating means and the corresponding quantized value, and outputting the compressed data as compressed data;
Decoding the corresponding quantized value included in the compressed data output by the compressed data generating means , generating a decoded signal by inverse quantization and inverse transform, and generating the decoded signal and the corresponding quantum A local decoded image output means for adding the prediction signal generated based on the plurality of prediction information to be combined with the quantization value and outputting as a local decoded image;
A setting value in which a luminance difference between a block image immediately before decoding the block image immediately before the predetermined area in the frame immediately before the block image and the local decoded image output by the local decoded image output unit is set in advance Selecting means for selecting the compressed data to be less than, and outputting selection information ;
And output means for outputting holds the compressed data output by the compressed data output means, said compressed data selected by the selection information in which the selection means is output as optimum compressed data,
With
The combination generating means includes
When the quantized value output from the quantized value output unit corresponding to the generated multiple prediction information is input, a plurality of predetermined values set in advance are added to the quantized value component. Generating a plurality of corresponding quantized values, and generating a combination of the plurality of prediction information and the corresponding quantized value corresponding to the plurality of prediction information . apparatus.
前記選択手段は、前記輝度差が最小となる前記圧縮データを選択することを特徴とする請求項1または請求項2に記載の予測情報・量子化値制御圧縮符号化装置。   The prediction information / quantized value control compression encoding apparatus according to claim 1, wherein the selection unit selects the compressed data that minimizes the luminance difference. 前記組合せ発生手段は、
前記ブロック画像が、イントラ予測を行うブロックでない場合には、前記予測情報推定手段が出力した前記予測情報を入力したときは、前記複数予測情報として当該予測情報のみを出力し、かつ、前記量子化値出力手段が出力した前記量子化値を入力したときは、前記対応量子化値として当該量子化値のみを出力する
ことを特徴とする請求項1に記載の予測情報・量子化値制御圧縮符号化装置。
The combination generating means includes
When the block image is not a block that performs intra prediction, when the prediction information output by the prediction information estimation unit is input, only the prediction information is output as the multiple prediction information, and the quantization when the value output means enter the quantized values output prediction information and quantization value control compressed codes according to claim 1, characterized in that it outputs only the quantized value as the corresponding quantized value Device.
前記組合せ発生手段は、
前記ブロック画像が、イントラフレーム内のブロックでない場合には、前記予測情報推定手段が出力した前記予測情報を入力したときは、前記複数予測情報として当該予測情報のみを出力し、かつ、前記量子化値出力手段が出力した前記量子化値を入力したときは、前記対応量子化値として当該量子化値のみを出力する
ことを特徴とする請求項1に記載の予測情報・量子化値制御圧縮符号化装置。
The combination generating means includes
When the block image is not a block in an intra frame, when the prediction information output by the prediction information estimation unit is input, only the prediction information is output as the multiple prediction information, and the quantization when the value output means enter the quantized values output prediction information and quantization value control compressed codes according to claim 1, characterized in that it outputs only the quantized value as the corresponding quantized value Device.
前記ブロック画像と、前記復号直前ブロック画像との輝度差を比較し、比較結果を出力するブロック比較手段を備え、
前記組合せ発生手段は、
前記ブロック比較手段が出力した比較結果に含まれる輝度差が予め定めた値より大きい場合には、前記予測情報推定手段が出力した前記予測情報を入力したときは、前記複数予測情報として当該予測情報のみを出力し、かつ、前記量子化値出力手段が出力した前記量子化値を入力したときは、前記対応量子化値として当該量子化値のみを出力する
ことを特徴とする請求項1に記載の予測情報・量子化値制御圧縮符号化装置。
Comparing the luminance difference between the block image and the block image immediately before decoding, and comprising block comparison means for outputting a comparison result,
The combination generating means includes
When the luminance difference included in the comparison result output by the block comparison unit is larger than a predetermined value, when the prediction information output by the prediction information estimation unit is input, the prediction information as the multiple prediction information outputs only, and, when inputting the quantized values the quantized value output means has output claim 1, characterized in that outputs only the quantized value as the corresponding quantized value Prediction information / quantization value control compression encoding apparatus.
前記選択手段は、前記復号直前ブロック画像の代わりに、前記ブロック画像の直前のイントラフレームにおける前記所定領域と同じ領域の直前イントラブロック画像を復号した復号直前イントラブロック画像と前記ローカルデコード画像との輝度差が最小となる圧縮データを選択することを特徴とする請求項1から請求項6のいずれか一項に記載の予測情報・量子化値制御圧縮符号化装置。   The selection means includes, instead of the block image immediately before decoding, the luminance between the intra block image immediately before decoding and the local decoded image obtained by decoding the immediately preceding intra block image in the same region as the predetermined region in the intra frame immediately before the block image. 7. The prediction information / quantized value controlled compression encoding apparatus according to claim 1, wherein compressed data that minimizes the difference is selected. 前記選択手段は、前記輝度差に加え、色相の差に基づいて、前記圧縮データを選択することを特徴とする請求項1から請求項7のいずれか一項に記載の予測情報・量子化値制御圧縮符号化装置。   8. The prediction information / quantized value according to claim 1, wherein the selection unit selects the compressed data based on a difference in hue in addition to the luminance difference. 9. Control compression encoding device. 動画像に含まれている所定ブロックの画像を、当該所定ブロックの動きや当該所定ブロックの近傍の領域の動きから予測する予測情報に基づいて生成した複数予測情報と前記動画像を量子化した量子化値であり前記複数予測情報に対応する対応量子化値との組合せを制御して、前記動画像を圧縮符号化するために、コンピュータを、
圧縮符号化する際に参照するフレームである参照画像と圧縮符号化するフレームの所定領域のブロックであるブロック画像とに基づき、予測方法の種類と予測する際に使用する値とを含んだ前記予測情報を推定し出力する予測情報推定手段、
前記予測情報に対して複数の前記複数予測情報を発生すると共に、前記複数予測情報と、当該複数予測情報に対応する前記対応量子化値との組合せを発生する組合せ発生手段、
前記組合せ発生手段が発生した前記複数予測情報に基づいて、前記参照画像における所定領域のブロックを予測信号として生成する予測信号生成手段、
前記ブロック画像から前記予測信号生成手段が生成した前記予測信号を減算した減算信号を変換量子化した量子化値として出力する量子化値出力手段、
前記組合せ発生手段が発生した前記複数予測情報と前記対応量子化値との組合せ圧縮して、圧縮データとして出力する圧縮データ生成手段、
前記圧縮データ生成手段が出力した前記圧縮データの中に含まれている前記対応量子化値を復号し、逆量子化及び逆変換することによって復号信号を生成し、当該復号信号と、前記対応量子化値と組合せとなる前記複数予測情報に基づいて生成された前記予測信号とを加算してローカルデコード画像として出力するローカルデコード画像出力手段、
前記ブロック画像の直前のフレームにおける前記所定領域と同じ領域の直前ブロック画像を復号した復号直前ブロック画像と、前記ローカルデコード画像出力手段が出力した前記ローカルデコード画像との輝度差が予め設定した設定値未満となる前記圧縮データを選択し、選択情報を出力する選択手段、
前記圧縮データ出力手段で出力された前記圧縮データを保持し、前記選択手段が出力した前記選択情報で選択された前記圧縮データを最適圧縮データとして出力する出力手段、
として機能させ
前記組合せ発生手段は、
前記予測情報推定手段が出力した前記予測情報を入力した場合には、前記予測方法の種類に基づき、当該予測情報に含まれる予測する際に使用する値に予め設定した複数の所定の値を加算して、複数の前記複数予測情報を発生し、
前記発生させた前記複数予測情報に対応する、前記量子化値出力手段が出力した前記量子化値を入力した場合には、当該量子化値の成分に予め設定した複数の所定の値を加算して、複数の対応量子化値を生成し、前記複数予測情報と当該複数予測情報に対応する前記対応量子化値との組合せを発生する
ことを特徴とする予測情報・量子化値制御圧縮符号化プログラム。
Multiple prediction information generated based on prediction information for predicting an image of a predetermined block included in a moving image from a motion of the predetermined block or a region in the vicinity of the predetermined block, and the moving image are quantized In order to compress and encode the moving image by controlling a combination with a corresponding quantization value corresponding to the multiple prediction information that is a quantization value,
The prediction including a type of prediction method and a value used for prediction based on a reference image that is a frame to be referred to when compression-encoding and a block image that is a block in a predetermined area of the frame to be compression-encoded Prediction information estimation means for estimating and outputting information,
Wherein together to generate a plurality of said plurality prediction information to the prediction information, the plurality prediction information and, combining means for generating a combination of said corresponding quantized values corresponding to the plurality prediction information,
Prediction signal generation means for generating a block of a predetermined region in the reference image as a prediction signal based on the multiple prediction information generated by the combination generation means,
A quantized value output means for outputting a subtracted signal obtained by subtracting the predicted signal generated by the predicted signal generating means from the block image as a quantized value obtained by transform quantization ;
Compressed data generating means for compressing the combination of the multiple prediction information generated by the combination generating means and the corresponding quantized value, and outputting the compressed data as compressed data;
Decoding the corresponding quantized value included in the compressed data output by the compressed data generating means , generating a decoded signal by inverse quantization and inverse transform, and generating the decoded signal and the corresponding quantum A local decoded image output means for adding the prediction signal generated based on the plurality of prediction information to be combined with the quantization value and outputting as a local decoded image;
A setting value in which a luminance difference between a block image immediately before decoding the block image immediately before the predetermined area in the frame immediately before the block image and the local decoded image output by the local decoded image output unit is set in advance Selecting means for selecting the compressed data to be less than, and outputting selection information ;
Output means for outputting holds the compressed data output by the compressed data output means, said compressed data selected by the selection information in which the selection means is output as optimum compressed data,
To function as,
The combination generating means includes
When the prediction information output by the prediction information estimation unit is input, based on the type of the prediction method, a plurality of predetermined values set in advance are added to values used for prediction included in the prediction information And generating a plurality of the plurality of prediction information,
When the quantized value output from the quantized value output unit corresponding to the generated multiple prediction information is input, a plurality of predetermined values set in advance are added to the quantized value component. Generating a plurality of corresponding quantized values, and generating a combination of the plurality of prediction information and the corresponding quantized value corresponding to the plurality of prediction information . program.
JP2004141665A 2004-05-11 2004-05-11 Prediction information / quantized value control compression encoding apparatus, prediction information / quantization value control compression encoding program Expired - Fee Related JP4359184B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004141665A JP4359184B2 (en) 2004-05-11 2004-05-11 Prediction information / quantized value control compression encoding apparatus, prediction information / quantization value control compression encoding program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004141665A JP4359184B2 (en) 2004-05-11 2004-05-11 Prediction information / quantized value control compression encoding apparatus, prediction information / quantization value control compression encoding program

Publications (2)

Publication Number Publication Date
JP2005323315A JP2005323315A (en) 2005-11-17
JP4359184B2 true JP4359184B2 (en) 2009-11-04

Family

ID=35470224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004141665A Expired - Fee Related JP4359184B2 (en) 2004-05-11 2004-05-11 Prediction information / quantized value control compression encoding apparatus, prediction information / quantization value control compression encoding program

Country Status (1)

Country Link
JP (1) JP4359184B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1845735A4 (en) * 2004-12-28 2009-07-15 Nec Corp Moving picture encoding method, and apparatus and computer program using the same
JP5298487B2 (en) * 2007-09-28 2013-09-25 日立コンシューマエレクトロニクス株式会社 Image encoding device, image decoding device, and image encoding method
CN102217315B (en) * 2008-11-12 2016-03-09 汤姆森特许公司 For the I frame blink-off of the parallel multithread Video coding of picture group
EP2345244B1 (en) 2008-11-13 2014-08-06 Thomson Licensing Multiple thread video encoding using gop merging and bit allocation
KR102338980B1 (en) 2015-03-23 2021-12-13 삼성전자주식회사 Encoder for adjusting quantization coefficient to remove flicker and device including the same

Also Published As

Publication number Publication date
JP2005323315A (en) 2005-11-17

Similar Documents

Publication Publication Date Title
US6104434A (en) Video coding apparatus and decoding apparatus
US8325805B2 (en) Video encoding/decoding apparatus and method for color image
US9930355B2 (en) Optimized image decoding device and method for a predictive encoded BIT stream
KR100750136B1 (en) Method and apparatus for encoding and decoding of video
KR100446083B1 (en) Apparatus for motion estimation and mode decision and method thereof
US8396311B2 (en) Image encoding apparatus, image encoding method, and image encoding program
US20130101040A1 (en) Method for coding a block of a sequence of images and method for reconstructing said block
KR20080064355A (en) Method and apparatus for prediction video encoding, and method and apparatus for prediction video decoding
WO2010070818A1 (en) Moving image encoding device, moving image encoding method, moving image decoding device and moving image decoding method
JP2009290463A (en) Encoding/decoding device, encoding/decoding method, and program
JP5213964B2 (en) Video encoding apparatus and video decoding apparatus
JP5130245B2 (en) Imaging resolution prediction type moving picture encoding apparatus and decoding apparatus
JP4359184B2 (en) Prediction information / quantized value control compression encoding apparatus, prediction information / quantization value control compression encoding program
JP4964689B2 (en) Image encoding method, image decoding method, image encoding device, image decoding device, image encoding program, image decoding program, and computer-readable recording medium
JP4357560B2 (en) Moving picture coding apparatus, moving picture coding method, and moving picture coding program
JP2006246277A (en) Re-encoding apparatus, re-encoding method, and re-encoding program
KR20110024574A (en) Integrated video encoding method and apparatus
JP2007251815A (en) Re-encoding apparatus, and program for re-encoding
JP3348776B2 (en) Moving picture coding apparatus and method
US20230403399A1 (en) Coding apparatus and method, and storage medium
JP4798652B2 (en) Video rate converter
JP2009111718A (en) Video recoding apparatus, video recoding method, video recoding program and computer-readable recording medium with the program recorded therein
JP2006020355A (en) Coding mode selecting method, video encoding apparatus, encoding method, recording method, and transmission method
JP2004153853A (en) Video signal encoding/decoding apparatus and encoding/decoding method
JP2005176237A (en) Image encoding apparatus, image encoding method, and its program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

RD13 Notification of appointment of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7433

Effective date: 20080903

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080912

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090807

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140814

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees