JP4078652B2 - Image signal decoding apparatus and image signal decoding method - Google Patents

Image signal decoding apparatus and image signal decoding method Download PDF

Info

Publication number
JP4078652B2
JP4078652B2 JP2005010268A JP2005010268A JP4078652B2 JP 4078652 B2 JP4078652 B2 JP 4078652B2 JP 2005010268 A JP2005010268 A JP 2005010268A JP 2005010268 A JP2005010268 A JP 2005010268A JP 4078652 B2 JP4078652 B2 JP 4078652B2
Authority
JP
Japan
Prior art keywords
image data
class
dynamic range
block
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2005010268A
Other languages
Japanese (ja)
Other versions
JP2005160117A (en
Inventor
秀雄 中屋
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005010268A priority Critical patent/JP4078652B2/en
Publication of JP2005160117A publication Critical patent/JP2005160117A/en
Application granted granted Critical
Publication of JP4078652B2 publication Critical patent/JP4078652B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

本発明は画像信号復号装置及び画像信号復号方法に関し、特にブロツク符号化方式を用いて高能率圧縮符号化した画像信号を復号する際に適用して好適なものである。   The present invention relates to an image signal decoding apparatus and an image signal decoding method, and is particularly suitable for application when decoding an image signal that has been subjected to high-efficiency compression encoding using a block encoding method.

従来、例えばテレビ会議システムなどのように画像信号を遠隔地に伝送するいわゆる画像信号伝送システムや、画像信号をデイジタル化してビデオテープレコーダやビデオデイスクレコーダに記録し再生する装置においては、伝送路や記録媒体を効率的に利用するため、デイジタル化した画像信号の相関を利用して有意情報を効率的に符号化することにより伝送情報量や記録情報量を削減し、伝送効率や記録効率を高めるようになされている。   Conventionally, in a so-called image signal transmission system that transmits an image signal to a remote place, such as a video conference system, or in an apparatus that digitizes an image signal and records and reproduces it on a video tape recorder or a video disk recorder, In order to efficiently use recording media, significant information is efficiently encoded using the correlation of digitized image signals to reduce the amount of transmitted information and recorded information, thereby increasing transmission efficiency and recording efficiency. It is made like that.

このような場合、一般的には、画像信号を高能率圧縮符号化することによりデータ量を大幅に削減するようになされている。この高能率圧縮符号化の手法として、入力された画像信号を複数のブロツクに分割し、例えばADRC符号化(Adaptive Dynamic Range Coding :適応ダイナミツクレンジ符号化)やDCT符号化(Discrete Cosine Transform :離散コサイン変換符号化)等を施すブロツク符号化が提案されている。   In such a case, in general, the amount of data is greatly reduced by performing high-efficiency compression coding of an image signal. As a technique for this high-efficiency compression coding, an input image signal is divided into a plurality of blocks, for example, ADRC coding (Adaptive Dynamic Range Coding) or DCT coding (Discrete Cosine Transform: discrete). Block coding for performing cosine transform coding and the like has been proposed.

因みに、ADRC符号化は視覚のダイナミツクレンジ依存性を利用したものであり、画素分布のダイナミツクレンジの大きい領域では画素レベルの微小な変動は視認されにくく、反対にダイナミツクレンジの小さい領域では画素レベルの微小な変動も視認されやすいという視覚特性を利用して画像圧縮する符号化方式である。またDCT符号化は基底波形として複数のコサイン関数を用いたもので、画像信号をこれら複数の基底波形に分解して表現する符号化方式である。   Incidentally, ADRC coding uses visual dynamic range dependence, and in the region where the dynamic range of the pixel distribution is large, minute fluctuations in the pixel level are difficult to see, and conversely in the region where the dynamic range is small. This is an encoding method that compresses an image using a visual characteristic that even a minute fluctuation of a pixel level is easily visible. DCT encoding uses a plurality of cosine functions as the base waveform, and is an encoding method that decomposes and expresses an image signal into these base waveforms.

ところで上述のような手法によつて非常に低いレートに圧縮した場合、復元時、ブロツク境界付近にブロツク歪みが発生して画像劣化が生じることがある。特に、割当ビツト数が少なくなるような平坦なブロツクではその傾向が著しく現れる。このためブロツク境界に対して局所的に低域通過フイルタ(いわゆるローパスフイルタ)をかけることにより、一般的にはこのようなブロツク歪みを除去して画像劣化を低減するようになされている。
ところが低域通過フイルタをかけると、高周波成分を含むエツジやデイテール部分をなまらせてしまう不具合が発生し、ブロツク歪みの除去方法としては未だ不十分な点がある。
By the way, when the image is compressed to a very low rate by the above-described method, block distortion may occur in the vicinity of the block boundary during restoration, and image degradation may occur. This tendency is particularly noticeable in flat blocks where the number of allocated bits is small. For this reason, by applying a low-pass filter (so-called low-pass filter) locally to the block boundary, generally, such block distortion is removed to reduce image deterioration.
However, when a low-pass filter is applied, there is a problem that edges and detail portions containing high-frequency components are blurred, which is still insufficient as a method for removing block distortion.

本発明は以上の点を考慮してなされたもので、エツジやデイテール部分をなまらせることなく、ブロツク歪みを除去し得る画像信号復号装置及び画像信号復号方法を提案しようとするものである。   The present invention has been made in consideration of the above points, and an object of the present invention is to propose an image signal decoding apparatus and an image signal decoding method capable of removing block distortion without distorting edges and details.

かかる課題を解決するため本発明においては、画像データが所定の圧縮符号化手段によりブロツク単位で圧縮符号化された圧縮画像データを復号する画像信号復号装置において、圧縮画像データをブロツク単位で復号した復号画像データの各ブロツクのダイナミツクレンジを検出するダイナミツクレンジ検出手段と、復号画像データの各ブロツク内において注目画素を中心とする周辺画素を圧縮符号化して得られる値を、各画素を空間パターン分類した場合に分類されるクラスを表すクラス分類コードとすることにより当該復号画像データが属する第1クラスを検出するクラス検出手段と、復号画像データのブロツク内における注目画素の相対位置を表す位置情報を検出する位置情報検出手段と、第1クラスのクラス分類コードにダイナミツクレンジの要素及び位置情報の要素を付加した第2クラス毎に、画像データと復号画像データとの相関関係を線形1次結合により表すと共にブロツクのダイナミツクレンジが小さいときほど強い低域通過フイルタが施されるような係数組みを予め記憶し、クラス検出手段によって得た第1クラスのクラス分類コードにダイナミツクレンジ検出手段によつて得たダイナミツクレンジの要素及び位置情報検出手段によつて得た位置情報の要素を付加した上記第2クラスに応じ、係数組みを読み出して出力する係数テーブルと、係数テーブルから出力された係数組みと復号画像データとを積和演算することにより当該復号画像データを修正する積和演算手段とを設けるようにした。 In order to solve this problem, in the present invention, in an image signal decoding apparatus for decoding compressed image data obtained by compressing and encoding image data in units of blocks by predetermined compression encoding means, the compressed image data is decoded in units of blocks. Dynamic range detection means for detecting the dynamic range of each block of the decoded image data, and values obtained by compressing and encoding peripheral pixels centering on the target pixel in each block of the decoded image data. a class detection means for detecting a first class to which the decoded image data belongs by a classification code representing a class to be classified when pattern classification, the position indicating the relative position of the target pixel in the block of decoded image data position information detection means for detecting information, Dainamitsu to the classification code of the first class Every second class by adding the elements of the range elements and location information, a strong low-pass filter as when the correlation between the image data and the decoded image data is smaller dynamic range of the block with expressed by linear combination is The coefficient set to be applied is stored in advance, and the class classification code of the first class obtained by the class detecting means is obtained by the dynamic range detecting element obtained by the dynamic range detecting means and the position information detecting means. In accordance with the second class to which the position information element is added, a coefficient table for reading and outputting the coefficient combination, and a coefficient sum output from the coefficient table and the decoded image data are used to calculate the decoded image data. And product-sum operation means for correcting the above.

また本発明においては、画像データが所定の圧縮符号化手段によりブロツク単位で圧縮符号化された圧縮画像データを復号する画像信号復号方法において、圧縮画像データをブロツク単位で復号した復号画像データの各ブロツクのダイナミツクレンジを検出するダイナミツクレンジ検出ステツプと、復号画像データの各ブロツク内において注目画素を中心とする周辺画素を圧縮符号化して得られる値を、各画素を空間パターン分類した場合に分類されるクラスを表すクラス分類コードとすることにより当該復号画像データが属する第1クラスを検出するクラス検出ステツプと、復号画像データのブロツク内における注目画素の相対位置を表す位置情報を検出する位置情報検出ステツプと、第1クラスのクラス分類コードにダイナミツクレンジの要素及び位置情報の要素を付加した第2クラス毎に、画像データと復号画像データとの相関関係を線形1次結合により表すと共にブロツクのダイナミツクレンジが小さいときほど強い低域通過フイルタが施されるような係数組みを予め記憶した係数テーブルから、クラス検出ステツプによって得た第1クラスのクラス分類コードにダイナミツクレンジ検出ステツプによつて得たダイナミツクレンジの要素及び位置情報検出ステツプによつて得た位置情報の要素を付加した第2クラスに応じ、係数組みを読み出して出力する係数読出ステツプと、係数テーブルから出力された係数組みと復号画像データとを積和演算することにより当該復号画像データを修正する積和演算ステツプとを設けるようにした。 According to the present invention, in the image signal decoding method for decoding compressed image data obtained by compressing and encoding image data in units of blocks by predetermined compression encoding means, each of the decoded image data obtained by decoding the compressed image data in units of blocks When the dynamic range detection step for detecting the dynamic range of the block and the values obtained by compressing and encoding the peripheral pixels centering on the target pixel in each block of the decoded image data are classified into spatial patterns. A class detection step for detecting the first class to which the decoded image data belongs by using a class classification code representing the class to be classified, and a position for detecting position information indicating the relative position of the pixel of interest within the block of the decoded image data Information detection step and first class classification code dynamic range For each second class to which elements of elements and position information are added, the correlation between the image data and the decoded image data is expressed by a linear primary combination, and a stronger low-pass filter is applied as the block dynamic range is smaller. In accordance with the dynamic range element and position information detection step obtained from the dynamic range detection step, the class classification code of the first class obtained from the class detection step is stored in the coefficient table in which such coefficient sets are stored in advance. In accordance with the second class to which the position information element obtained is added, the coefficient read step for reading and outputting the coefficient set, and the coefficient set output from the coefficient table and the decoded image data are subjected to a product-sum operation, thereby the decoded image. A product-sum operation step for correcting data is provided.

検出した第1クラスにダイナミツクレンジの要素及び位置情報の要素を付加して新たな第2クラスを生成し、当該第2クラスに応じて係数を読み出し、復号画像データに積和演算を施して当該復号画像データを修整するようにしたことにより、第1クラス毎に符号化前後の画像データにおける相関関係及びブロツク内の相対位置に基づき適切に画像データを最適に適応予測処理し得ることに加え、エツジやデイテール部分をなまらせることなく、ブロツク境界付近に発生するブロツク歪みを適応的に除去することができる。なぜならエツジやデイテール部分を含むブロツクとブロツク歪みが出やすいブロツクとでは、ブロツクのダイナミツクレンジが異なるため、ブロツクのダイナミツクレンジを考慮して適応的な修整をすれば、エツジやデイテール部分をなまらせることを未然に回避し得る。 A dynamic second range element and a position information element are added to the detected first class to generate a new second class, a coefficient is read according to the second class, and a product-sum operation is performed on the decoded image data. In addition to the fact that the decoded image data is modified, the image data can be optimally adaptively predicted optimally based on the correlation between the image data before and after encoding and the relative position in the block for each first class. Thus, block distortion generated near the block boundary can be adaptively removed without causing the edges and detail to be smoothed. This is because the block dynamic range is different between the block containing the edge and the detail portion and the block where the block distortion is likely to occur. Can be avoided in advance.

本発明によれば、検出した第1クラスにダイナミツクレンジの要素及び位置情報の要素を付加して新たな第2クラスを生成し、当該第2クラスに応じて係数を読み出し、復号画像データに積和演算を施して当該復号画像データを修整するようにしたことにより、第1クラス毎に符号化前後の画像データにおける相関関係及びブロツク内の相対位置に基づき適切に画像データを最適に適応予測処理し得ることに加え、エツジやデイテール部分をなまらせることなく、ブロツク境界付近に発生するブロツク歪みを適応的に除去することができる。 According to the present invention, the dynamic range element and the position information element are added to the detected first class to generate a new second class, the coefficients are read according to the second class, and the decoded image data is generated. Since the decoded image data is modified by performing a product-sum operation, the image data is optimally and adaptively predicted appropriately based on the correlation in the image data before and after encoding and the relative position in the block for each first class. In addition to being able to be processed, the block distortion generated near the block boundary can be adaptively removed without blurring the edges and detail portions.

以下図面について、本発明の一実施の形態を詳述する。   Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

(1)第1実施例
図1において、1は全体として第1実施例による画像信号復号装置を示し、DCT符号化によつて高能率圧縮符号化された伝送画像データS1をエラー訂正回路(図示せず)を経由してフレーム分解回路2に入力するようになされている。フレーム分解回路2は伝送画像データS1から水平同期信号S2及び垂直同期信号S3を抽出して制御回路3に出力すると共に、伝送画像データS1を後段のブロツク復号回路4に供給する。
(1) First Embodiment In FIG. 1, reference numeral 1 denotes an image signal decoding apparatus according to the first embodiment as a whole, which converts transmission image data S1 that has been highly efficient compression-encoded by DCT encoding into an error correction circuit (FIG. 1). (Not shown) to be input to the frame decomposition circuit 2. The frame decomposition circuit 2 extracts the horizontal synchronization signal S2 and the vertical synchronization signal S3 from the transmission image data S1, outputs them to the control circuit 3, and supplies the transmission image data S1 to the block decoding circuit 4 at the subsequent stage.

ブロツク復号回路4は圧縮符号化された伝送画像データS1をブロツク単位で復元するものであり、可変長符号化に対する復号を施した後、逆量子化して係数を算出し、逆DCT変換して元のレベルデータを復元する。このようにして復元されたブロツク単位の画像データS4はブロツク遅延回路5、ダイナミツクレンジ検出回路6に供給される。   The block decoding circuit 4 restores the compression-encoded transmission image data S1 in units of blocks. After decoding the variable-length coding, inverse quantization is performed to calculate a coefficient, and inverse DCT conversion is performed to perform original DCT conversion. Restore level data. The restored block-unit image data S4 is supplied to the block delay circuit 5 and the dynamic range detection circuit 6.

ダイナミツクレンジ検出回路6においては、画像データS4は最大値検出回路6A及び最小値検出回路6Bに供給される。最大値検出回路6Aは画像データS4から各ブロツク内の最大値を検出し、その検出した最大値を減算器6Cに供給する。また最小値検出回路6Bは各ブロツク内の最小値を検出し、その検出した最小値を減算器6Cに供給する。減算器6Cは供給された最大値から最小値を差し引くことにより各ブロツクのダイナミツクレンジを求め、その求めたダイナミツクレンジをダイナミツクレンジメモリ(以下、これをDRメモリと呼ぶ)7に供給する。これによりDRメモリ7には各ブロツクのダイナミツクレンジが順次蓄えられて行く。
一方、ブロツク遅延回路5は時間的な調整を行うための回路であり、上述のようにしてダイナミツクレンジを検出するまでにかかる時間分だけ画像データS4を遅延し、その遅延した画像データS5をブロツク分解メモリ8に供給する。
In the dynamic range detection circuit 6, the image data S4 is supplied to the maximum value detection circuit 6A and the minimum value detection circuit 6B. The maximum value detection circuit 6A detects the maximum value in each block from the image data S4, and supplies the detected maximum value to the subtractor 6C. The minimum value detection circuit 6B detects the minimum value in each block and supplies the detected minimum value to the subtractor 6C. The subtractor 6C obtains the dynamic range of each block by subtracting the minimum value from the supplied maximum value, and supplies the obtained dynamic range to the dynamic range memory (hereinafter referred to as DR memory) 7. . As a result, the dynamic range of each block is sequentially stored in the DR memory 7.
On the other hand, the block delay circuit 5 is a circuit for performing temporal adjustment, and delays the image data S4 by the time required to detect the dynamic range as described above. The block decomposition memory 8 is supplied.

ブロツク分解メモリ8は例えばフレームメモリでなり、供給された画像データS5をブロツク分解して蓄積すると共に、蓄積された画像データを読み出して後段の積和演算回路9に供給する。その際、ブロツク分解メモリ8は読み出した画像データを積和演算回路9の演算形態に合つた信号フオーマツトに変換して当該積和演算回路9に供給する。例えば積和演算回路9が1次元で演算処理する場合には、読み出した画像データを1次元の時系列データに変換して供給し、積和演算回路9が2次元で演算処理する場合には、読み出した画像データを所望ライン数の並列時系列データに変換して供給する。   The block decomposition memory 8 is composed of, for example, a frame memory, and blocks and stores the supplied image data S5, and reads the stored image data and supplies it to the subsequent product-sum operation circuit 9. At this time, the block decomposition memory 8 converts the read image data into a signal format suitable for the calculation form of the product-sum operation circuit 9 and supplies the signal format to the product-sum operation circuit 9. For example, when the product-sum operation circuit 9 performs one-dimensional arithmetic processing, the read image data is converted into one-dimensional time-series data and supplied. When the product-sum arithmetic circuit 9 performs two-dimensional arithmetic processing, The read image data is converted into parallel time-series data having a desired number of lines and supplied.

このようなブロツク分解メモリ8の読み出し動作に同期して、DRメモリ7からは注目画素に対応するブロツクのダイナミツクレンジ(DR)が読み出される。すなわちDRメモリ7はブロツク分解メモリ8が読み出している注目画素のブロツクダイナミツクレンジを読み出し、その読み出したダイナミツクレンジをアドレス情報として係数テーブル回路10に供給する。   In synchronism with the reading operation of the block decomposition memory 8, the dynamic range (DR) of the block corresponding to the target pixel is read from the DR memory 7. That is, the DR memory 7 reads the block dynamic range of the target pixel read by the block decomposition memory 8, and supplies the read dynamic range to the coefficient table circuit 10 as address information.

係数テーブル回路10はメモリでなり、積和演算回路9の積和演算に使用される係数組みが予め記憶されており、供給されたダイナミツクレンジ(DR)をアドレス情報としてその係数組みを読み出し、積和演算回路9に供給する。この係数組みは積和演算回路9の演算処理によつて低域通過フイルタが実現されるような数値の組み合わせであり、ダイナミツクレンジが大きい場合にはカツトオフ周波数が高く、ダイナミツクレンジが小さい場合にはカツトオフ周波数が低くなるように設定されている。   The coefficient table circuit 10 is a memory, and coefficient combinations used for the product-sum operation of the product-sum operation circuit 9 are stored in advance, and the coefficient combination is read out using the supplied dynamic range (DR) as address information, The product-sum operation circuit 9 is supplied. This coefficient combination is a combination of numerical values such that a low-pass filter is realized by the arithmetic processing of the product-sum operation circuit 9. When the dynamic range is large, the cut-off frequency is high, and the dynamic range is small. Is set so that the cut-off frequency is low.

これはダイナミツクレンジの小さいブロツクは平坦な画像と見なされ、低ビツト割当てが施されているためにブロツク歪みが出やすいということと、平坦な画像の場合には多少強く低域通過フイルタをかけても画像のぼけには影響しないということから、ダイナミツクレンジの小さいブロツクに対しては強めに低域通過フイルタをかければブロツク歪みを効果的に除去できるという原理に基づくものである。またダイナミツクレンジが大きいブロツクに対しては、エツジやデイテール部分が含まれているため、ごく弱い低域通過フイルタをかけるか、又はそのまま通過させることにより、画像のぼけを効果的に防げるというものである。   This is because a block with a small dynamic range is regarded as a flat image, and since low bit allocation is applied, block distortion tends to occur, and in the case of a flat image, a low-pass filter is applied somewhat strongly. However, since it does not affect the blurring of the image, it is based on the principle that the block distortion can be effectively removed by applying a low-pass filter to a block having a small dynamic range. For blocks with a large dynamic range, edges and details are included, so it is possible to effectively prevent image blurring by applying a very weak low-pass filter or letting it pass as it is. It is.

また係数テーブル回路10は制御回路3の制御によつて同じブロツクであつてもブロツク境界付近とブロツク中央付近では異なる係数組みを出力するようになされている。すなわち係数テーブル回路10はブロツク境界付近では低域通過フイルタを実現するような係数組みを出力し、ブロツク中央付近では画像データをそのまま通過させるような係数組みを出力する。これにより画像データのうちブロツク境界付近の画素に対してのみ低域通過フイルタをかけることができる。   The coefficient table circuit 10 outputs different coefficient sets near the block boundary and near the block center even under the same block under the control of the control circuit 3. That is, the coefficient table circuit 10 outputs a coefficient set that realizes a low-pass filter near the block boundary, and outputs a coefficient set that passes the image data as it is near the center of the block. As a result, a low-pass filter can be applied only to pixels near the block boundary in the image data.

積和演算回路9は上述のようにしてブロツク分解メモリ8から供給された画像データと係数テーブル回路10から供給された係数組みを用いて、注目画素毎に所定タツプ数の積和演算(Σa:但し、aは係数、xは画像データとする)を施すことにより、画像データのうちブロツク境界付近の画素に対して低域通過フイルタをかけ、画像データからブロツク歪みを除去し、そのブロツク歪みを除去した画像データS6を出力する。その際、係数テーブル回路10から供給される係数組みがブロツクダイナミツクレンジの大きさによつて切り換わるため低域通過フイルタの通過帯域特性を適宜に切り換えることができ、ブロツク歪みを適応的に除去することができる。 The product-sum operation circuit 9 uses the image data supplied from the block decomposition memory 8 and the coefficient set supplied from the coefficient table circuit 10 as described above to perform a product-sum operation (Σa i) with a predetermined number of taps for each pixel of interest. x i : where a i is a coefficient and x i is image data), a low-pass filter is applied to pixels near the block boundary in the image data to remove block distortion from the image data. The image data S6 from which the block distortion has been removed is output. At this time, since the coefficient set supplied from the coefficient table circuit 10 is switched depending on the size of the block dynamic range, the pass band characteristic of the low-pass filter can be appropriately switched, and the block distortion is adaptively removed. can do.

因みに、制御回路3からブロツク分解メモリ8やDRメモリ7に供給されている信号(S7、S8)は、書き込み動作及び読み出し動作時に使用するアドレス信号やイネーブル信号等の制御信号である。また制御回路3から係数テーブル回路10に供給されている信号(S9)は、水平同期信号S2及び垂直同期信号S3を基に求めたブロツク内の画素の相対的な位置情報、すなわちブロツク境界を認識するための識別情報である。従つて係数テーブル回路10はこの制御回路3から供給される位置情報を基に、ブロツク境界を認識し、上述のようにブロツク境界付近とブロツク中央付近で出力する係数組みを切り換える。   Incidentally, the signals (S7, S8) supplied from the control circuit 3 to the block decomposition memory 8 and the DR memory 7 are control signals such as an address signal and an enable signal used during the write operation and the read operation. The signal (S9) supplied from the control circuit 3 to the coefficient table circuit 10 recognizes the relative position information of the pixels in the block obtained based on the horizontal synchronizing signal S2 and the vertical synchronizing signal S3, that is, the block boundary. This is identification information. Therefore, the coefficient table circuit 10 recognizes the block boundary based on the position information supplied from the control circuit 3, and switches the coefficient set to be output near the block boundary and near the block center as described above.

ここで係数テーブル回路10が出力する係数組みについて説明する。例えば積和演算回路9が注目画素に対して3タツプの1次元の積和演算を行う場合には、図2に示すように、ダイナミツクレンジが大きく、かつ注目画素がブロツク境界付近のときには〔1/4、2/4、1/4〕でなる係数組みを出力し、ダイナミツクレンジが小さく、かつ注目画素がブロツク境界付近のときには〔1/8、6/8、1/8〕でなる係数組みを出力し、注目画素がブロツク中央付近のときにはダイナミツクレンジの大きさに関係なく〔0、1、0〕でなる係数組みを出力する。   Here, the coefficient combinations output by the coefficient table circuit 10 will be described. For example, when the product-sum operation circuit 9 performs a three-dimensional one-dimensional product-sum operation on the target pixel, as shown in FIG. 2, when the dynamic range is large and the target pixel is near the block boundary, [1/4, 2/4, 1/4] is output, and when the dynamic range is small and the target pixel is near the block boundary, [1/8, 6/8, 1/8] Coefficient combinations are output. When the target pixel is near the center of the block, a coefficient combination consisting of [0, 1, 0] is output regardless of the size of the dynamic range.

また例えば積和演算回路9が注目画素に対して(3×3)タツプの2次元の積和演算を行う場合には、図3に示すように、ダイナミツクレンジが大きく、かつ注目画素がブロツク境界付近のときには〔0、1/6、0、1/6、1/3、1/6、0、1/6、0〕でなる係数組みを出力し、ダイナミツクレンジが小さく、かつ注目画素がブロツク境界付近のときには〔0、1/8、0、1/8、1/2、1/8、0、1/8、0〕でなる係数組みを出力し、注目画素がブロツク中央付近のときにはダイナミツクレンジの大きさに関係なく〔0、0、0、0、1、0、0、0、0〕でなる係数組みを出力する。   Also, for example, when the product-sum operation circuit 9 performs a (3 × 3) -tap two-dimensional product-sum operation on the target pixel, as shown in FIG. 3, the dynamic range is large and the target pixel is blocked. When near the boundary, [0, 1/6, 0, 1/6, 1/3, 1/6, 0, 1/6, 0] is output, the dynamic range is small, and the pixel of interest Is near the block boundary, a coefficient set of [0, 1/8, 0, 1/8, 1/2, 1/8, 0, 1/8, 0] is output, and the pixel of interest is near the center of the block. Sometimes, a coefficient set consisting of [0, 0, 0, 0, 1, 0, 0, 0, 0] is output regardless of the size of the dynamic range.

以上の構成において、画像信号復号装置1では、DCT符号化によつて高能率圧縮符号化された伝送画像データS1をまずブロツク復号回路4によつて復号する。そして最大値検出回路6A、最小値検出回路6B及び減算器6Cを用いて、復元した画像データS4から各ブロツク内の最大値及び最小値を検出し、検出した最大値と最小値の差分を求めて各ブロツクのダイナミツクレンジを求める。この求めたダイナミツクレンジはDRメモリ7を介して係数テーブル回路10にアドレス情報として供給される。また制御回路3は水平同期信号S2及び垂直同期信号S3を基にブロツク内の画素の相対的な位置情報を求め、係数テーブル回路10に供給する。   In the above configuration, the image signal decoding apparatus 1 first decodes the transmission image data S1 subjected to the high-efficiency compression coding by the DCT coding by the block decoding circuit 4. Then, using the maximum value detection circuit 6A, the minimum value detection circuit 6B, and the subtractor 6C, the maximum value and the minimum value in each block are detected from the restored image data S4, and the difference between the detected maximum value and the minimum value is obtained. To determine the dynamic range of each block. The obtained dynamic range is supplied as address information to the coefficient table circuit 10 via the DR memory 7. The control circuit 3 obtains the relative position information of the pixels in the block based on the horizontal synchronizing signal S2 and the vertical synchronizing signal S3 and supplies it to the coefficient table circuit 10.

係数テーブル回路10は、予め記憶されている低域通過フイルタの通過帯域特性を決める係数組みを、供給されたダイナミツクレンジをアドレス情報として読み出し、積和演算回路9に供給する。その際、係数テーブル回路10は供給された位置情報を基に注目画素がブロツク境界付近であるか、それともブロツク中央付近であるかを認識し、出力する係数組みを切り換える。具体的には、注目画素がブロツク境界付近であれば、低域通過フイルタを実現するような係数組みを出力し、ブロツク中央付近であればそのまま通過させるような係数組みを出力する。   The coefficient table circuit 10 reads a set of coefficients for determining the pass band characteristics of the low-pass filter stored in advance as the supplied dynamic range as address information, and supplies it to the product-sum operation circuit 9. At that time, the coefficient table circuit 10 recognizes whether the pixel of interest is near the block boundary or near the center of the block based on the supplied position information, and switches the coefficient set to be output. Specifically, if the target pixel is near the block boundary, a coefficient set that realizes a low-pass filter is output, and if it is near the center of the block, a coefficient set that passes is output as it is.

積和演算回路9はこの供給された係数組みを用いて積和演算を行うことにより、画像データのうちブロツク境界付近の画素に対してのみ低域通過フイルタをかけ、ブロツク歪みを除去する。その際、係数テーブル回路10から出力される係数組みがダイナミツクレンジの大きさに応じて変化するため、ブロツク歪みが出やすいダイナミツクレンジの小さいブロツクとエツジやデイテール部分を含みやすいダイナミツクレンジの大きいブロツクとで低域通過フイルタの通過帯域特性を変化させることができる。   The product-sum operation circuit 9 performs a product-sum operation using the supplied coefficient set, thereby applying a low-pass filter only to pixels near the block boundary in the image data to remove block distortion. At this time, since the coefficient set output from the coefficient table circuit 10 changes according to the magnitude of the dynamic range, the dynamic range of the dynamic range which is easy to include blocks having a small dynamic range, which is likely to cause block distortion, and edges and detail portions. A large block can change the passband characteristics of the low-pass filter.

このようにして画像信号復号装置1では、ブロツク内の最大値と最小値を基にその差分であるダイナミツクレンジを検出し、検出したダイナミツクレンジの大きさに応じてブロツク境界付近の画素にかける低域通過フイルタの通過帯域特性を変化させる。これによりエツジやデイテール部分をなまらせることなく、ブロツク歪みを適応的に除去することができる。   In this way, the image signal decoding apparatus 1 detects the dynamic range which is the difference based on the maximum value and the minimum value in the block, and applies it to the pixels near the block boundary according to the size of the detected dynamic range. The pass band characteristic of the low pass filter to be applied is changed. As a result, the block distortion can be removed adaptively without blurring the edges or the detail portion.

因みに、この実施例の場合には、画像信号復号装置1における処理だけで良いため、送信側の装置に負担をかけることもなく、また伝送フオーマツトを変更する必要もないという利点がある。   Incidentally, in the case of this embodiment, since only the processing in the image signal decoding apparatus 1 is required, there is an advantage that there is no burden on the transmission side apparatus and the transmission format need not be changed.

以上の構成によれば、ブロツク内のダイナミツクレンジを検出し、検出したダイナミツクレンジの大きさに応じてブロツク境界付近の画素にかける低域通過フイルタの通過帯域特性を変化させるようにしたことにより、エツジやデイテール部分をなまらせることなく、ブロツク歪みを適応的に除去することができる。   According to the above configuration, the dynamic range in the block is detected, and the pass band characteristic of the low-pass filter applied to the pixels near the block boundary is changed according to the detected size of the dynamic range. Thus, the block distortion can be adaptively removed without blurring the edges and detail portions.

(2)第2実施例
図1との対応部分に同一符号を付して示す図4において、20は全体として第2実施例による画像信号復号装置を示し、この実施例の場合には、クラス毎の適応予測処理を行うことによりブロツク歪みを適応的に除去する。
(2) Second Embodiment In FIG. 4, in which parts corresponding to those in FIG. 1 are assigned the same reference numerals, 20 denotes an image signal decoding apparatus according to the second embodiment as a whole. Block distortion is adaptively removed by performing adaptive prediction processing for each.

まず画像信号復号装置20では、第1実施例と同様に、DCT符号化によつて高能率圧縮符号化された伝送画像データS1をフレーム分解回路2を介してブロツク復号回路4に入力し、ここでブロツク単位で元のレベルデータに復元する。このブロツク単位で復元された画像データS4はダイナミツクレンジ検出回路6の最大値検出回路6A及び最小値検出回路6Bに供給され、ここで各ブロツク毎に最大値及び最小値が検出される。検出された最大値及び最小値は減算器6Cに供給され、ここでその差分を求めることにより各ブロツクのダイナミツクレンジが求められる。この求められたダイナミツクレンジはブロツク毎に順次DRメモリ7に蓄えられて行く。   First, in the image signal decoding apparatus 20, as in the first embodiment, the transmission image data S1 that has been compression-encoded with high efficiency by DCT encoding is input to the block decoding circuit 4 via the frame decomposition circuit 2, where To restore the original level data in blocks. The image data S4 restored in units of blocks is supplied to the maximum value detection circuit 6A and the minimum value detection circuit 6B of the dynamic range detection circuit 6, where the maximum value and the minimum value are detected for each block. The detected maximum value and minimum value are supplied to the subtractor 6C, and the dynamic range of each block is obtained by obtaining the difference. The obtained dynamic range is sequentially stored in the DR memory 7 for each block.

また復元された画像データS4はブロツク遅延回路5に供給され、ここでダイナミツクレンジを検出するまでにかかる時間分だけ遅延させられた後、遅延・予測タツプメモリ21及びクラス生成回路22に供給される。   The restored image data S4 is supplied to the block delay circuit 5, where it is delayed by the time required for detecting the dynamic range, and then supplied to the delay / prediction tap memory 21 and the class generation circuit 22. .

遅延・予測タツプメモリ21は供給された画像データS5をブロツク分解して蓄積する。また遅延・予測タツプメモリ21は、蓄積された画像データを読み出す際に、後述するクラス生成回路22、DRメモリ7及び制御回路23の処理時間分だけ遅延処理して時間調整し、かつ注目画素を中心としてその周辺画素を集めることによつて積和演算に要する予測タツプを形成した上で、蓄積された画像データを読み出す。そして遅延・予測タツプメモリ21はその読み出した画像データを後段の積和演算回路24の演算形態に合つた信号フオーマツトに変換して当該積和演算回路24に供給する。例えば積和演算回路24が1次元で演算処理する場合には、読み出した画像データを1次元の時系列データに変換して供給し、積和演算回路24が2次元で演算処理する場合には、読み出した画像データを所望ライン数の並列時系列データに変換して供給する。   The delay / prediction tap memory 21 stores the supplied image data S5 after block decomposition. The delay / prediction tap memory 21 delays the processing by the processing time of a class generation circuit 22, a DR memory 7 and a control circuit 23, which will be described later, and adjusts the time when reading the stored image data. By collecting the peripheral pixels, a prediction tap required for the product-sum operation is formed, and the stored image data is read out. The delay / prediction tap memory 21 converts the read image data into a signal format suitable for the calculation form of the subsequent product-sum operation circuit 24 and supplies the signal format to the product-sum operation circuit 24. For example, when the product-sum operation circuit 24 performs one-dimensional arithmetic processing, the read image data is converted into one-dimensional time-series data and supplied. When the product-sum arithmetic circuit 24 performs two-dimensional arithmetic processing, The read image data is converted into parallel time-series data having a desired number of lines and supplied.

このような遅延・予測タツプメモリ21の読み出し動作に同期して、DRメモリ7からは注目画素に対応するブロツクのダイナミツクレンジ(DR:例えば8ビツト)が読み出される。DRメモリ7は読み出したダイナミツクレンジをそのまま、又はnビツトシフトダウンしてビツト数を減らしたものを、係数テーブル回路25をアクセスするためのアドレス情報の一部として当該係数テーブル回路25に供給する。   In synchronism with the read operation of the delay / prediction tap memory 21 as described above, the dynamic range (DR: for example, 8 bits) of the block corresponding to the target pixel is read from the DR memory 7. The DR memory 7 supplies the coefficient table circuit 25 with the read dynamic range as it is or with n bits shifted down to reduce the number of bits as part of the address information for accessing the coefficient table circuit 25. .

また制御回路23は水平同期信号S2及び垂直同期信号S3を基にして注目画素のブロツク内での相対的な位置を示す位置情報を求める。例えば図5に示すように、ブロツクが(8×8)画素でなる場合、縦横それぞれ3ビツトずつの合計6ビツトでブロツク内画素の相対的な位置を表す。このようにして表された位置情報S21は、同様に係数テーブル回路25をアクセスするためのアドレス情報の一部として当該係数テーブル回路25に供給される。   The control circuit 23 obtains position information indicating the relative position in the block of the pixel of interest based on the horizontal synchronizing signal S2 and the vertical synchronizing signal S3. For example, as shown in FIG. 5, when the block is composed of (8 × 8) pixels, the relative position of the pixels in the block is represented by a total of 6 bits, 3 bits each in length and width. The position information S21 represented in this way is supplied to the coefficient table circuit 25 as a part of address information for accessing the coefficient table circuit 25.

またクラス生成回路22は注目画素を中心タツプとする空間クラスタツプを設定し、この空間クラスタツプ内の復号値を例えばADRC符号化することにより、空間パターン分類によるクラス検出を行い(すなわち注目画素が属するクラスを検出し)、その結果得られるクラス分類コードS22を同様に係数テーブル回路25をアクセスするためのアドレス情報の一部として当該係数テーブル回路25に供給する。因みに、ADRC符号化する際には、ダイナミツクレンジ検出回路6から出力されるブロツク毎のダイナミツクレンジが用いられる。   Further, the class generation circuit 22 sets a spatial cluster centered on the target pixel, and performs class detection by spatial pattern classification by, for example, ADRC encoding the decoded value in the spatial cluster (that is, the class to which the target pixel belongs). The class classification code S22 obtained as a result is supplied to the coefficient table circuit 25 as a part of address information for accessing the coefficient table circuit 25 in the same manner. Incidentally, when ADRC encoding is performed, the dynamic range for each block output from the dynamic range detection circuit 6 is used.

係数テーブル回路25はメモリでなり、積和演算回路24の積和演算に使用されるクラス毎の係数組みが予め学習によつて記憶されており、供給されたダイナミツクレンジDR、位置情報S21及びクラス分類コードS22を合わせたものをアドレス情報としてそのクラス毎の係数組みを読み出し、積和演算回路24に供給する。すなわち係数テーブル回路25はクラス分類コードS22にダイナミツクレンジDR及び位置情報S21を付加したものを新たなクラス分類コードとしてクラス毎の係数組みを読み出す。   The coefficient table circuit 25 is a memory, and a coefficient set for each class used for the product-sum operation of the product-sum operation circuit 24 is stored in advance by learning, and the supplied dynamic range DR, position information S21, and The combination of the class classification codes S22 is used as address information, and the coefficient combination for each class is read and supplied to the product-sum operation circuit 24. That is, the coefficient table circuit 25 reads out a coefficient set for each class by using the class classification code S22 plus the dynamic range DR and the position information S21 as a new class classification code.

積和演算回路24は遅延・予測タツプメモリ21から供給された画像データと係数テーブル回路25から供給された係数組みとを積和演算処理することにより画像データに対してクラス毎の修整を行い(いわゆるクラス毎の適応予測処理を行い)、その結果得られる画像データS23を出力する。その際、係数テーブル回路25から供給される係数組みは、ブロツク歪みが出やすい、或いはエツジやデイテール部分を含みやすい等といつた特徴を表すブロツクのダイナミツクレンジ(DR)や、注目画素がブロツク内のどの位置に当たるかといつたことを表す位置情報(S21)が考慮された係数組みであるため、エツジやデイテール部分をなまらせることもなく、ブロツク歪みを適応的に除去することができる。   The product-sum operation circuit 24 performs a product-sum operation process on the image data supplied from the delay / prediction tap memory 21 and the coefficient set supplied from the coefficient table circuit 25, thereby modifying the image data for each class (so-called so-called). Adaptive prediction processing is performed for each class), and the resulting image data S23 is output. At this time, the coefficient set supplied from the coefficient table circuit 25 is a block dynamic range (DR) that represents characteristics such as block distortion or the presence of an edge or detail portion. Since the position information (S21) indicating the position and the position of the position is taken into consideration, the block distortion can be adaptively removed without blurring the edges and detail portions.

ここで係数テーブル回路25に記憶されている係数組みは、以下に説明するような学習により求められる。まず既に知られている第1の画像データと、その第1の画像データに対してDCT符号化及び復号化を施した第2の画像データを用意する。また上述のクラス分類と同様に、ADRC符号化によつて得たクラス分類コードにダイナミツクレンジ及び位置情報を付加した新たなクラス分類コードを生成する。そしてその求めたクラス分類コード毎に、第1及び第2の画像データに対して最小二乗法を適用した学習を施し、最適な係数組みを求める。この求めた係数組みをクラス分類コード毎にメモリに記憶することにより係数テーブル回路25が形成される。 Here, the coefficient combinations stored in the coefficient table circuit 25 are obtained by learning as described below . First, already known first image data and second image data obtained by applying DCT encoding and decoding to the first image data are prepared. Similarly to the above-described class classification, a new class classification code is generated by adding the dynamic range and position information to the class classification code obtained by ADRC encoding. Then, for each of the obtained class classification codes, learning using the least square method is performed on the first and second image data to obtain an optimum coefficient set. The coefficient table circuit 25 is formed by storing the obtained coefficient group in the memory for each class classification code.

すなわち係数テーブル回路25を形成する際には、図6に示すような係数作成回路30が用いられる。まず係数作成回路30に対しては既に知られている画像データS30が入力される。この画像データS30は学習処理のため係数選定回路31に入力されると共に、符号化復号化処理のためにDCT符号化回路32に入力される。また画像データS30のうち垂直同期信号や水平同期信号等の位置情報S31も、位置情報によるクラス分類を行うため係数選定回路31に入力される。   That is, when the coefficient table circuit 25 is formed, a coefficient creating circuit 30 as shown in FIG. 6 is used. First, the already-known image data S30 is input to the coefficient creating circuit 30. The image data S30 is input to the coefficient selection circuit 31 for learning processing, and is input to the DCT encoding circuit 32 for encoding / decoding processing. In addition, position information S31 such as a vertical synchronization signal and a horizontal synchronization signal in the image data S30 is also input to the coefficient selection circuit 31 for performing class classification based on the position information.

DCT符号化回路32は画像データS30にブロツク単位のDCT符号化を施し、その結果得られる圧縮符号化された画像データS32をデコーダ33に供給する。デコーダ33は圧縮符号化された画像データS32をブロツク単位で復号し、復号された画像データS33を係数選定回路31に供給すると共に、ダイナミツクレンジ検出回路34及びクラス生成回路35に供給する。   The DCT coding circuit 32 performs block-unit DCT coding on the image data S30, and supplies the compression-coded image data S32 obtained as a result to the decoder 33. The decoder 33 decodes the compressed and encoded image data S32 in units of blocks, and supplies the decoded image data S33 to the coefficient selection circuit 31 and also to the dynamic range detection circuit 34 and the class generation circuit 35.

ダイナミツクレンジ検出回路34は画像データS33を基に各ブロツクのダイナミツクレンジDRを検出する。このダイナミツクレンジDRは、クラス分類の一要素として係数選定回路31に供給される。またクラス生成回路35は画像データS33にADRC符号化を施すことによつてクラス分類コードS34を生成する。このクラス分類コードS34は新たなクラス分類の一要素として係数選定回路31に供給される。   The dynamic range detection circuit 34 detects the dynamic range DR of each block based on the image data S33. This dynamic range DR is supplied to the coefficient selection circuit 31 as an element of class classification. The class generation circuit 35 generates a class classification code S34 by performing ADRC encoding on the image data S33. This class classification code S34 is supplied to the coefficient selection circuit 31 as an element of a new class classification.

係数選定回路31は供給されたクラス分類コードS34にダイナミツクレンジDR及び位置情報S31の要素を付加した新たなクラス分類コードを作成し、そのクラス毎に画像データS30、S33の相関関係を線形1次結合で表し、このとき用いた係数組みを最小二乗法を適用した学習により求める。そしてその求めた係数組みをクラス分類コードと共に係数テーブル回路25を形成するメモリに供給する。これにより最適に適応予測処理し得る係数テーブルが作成される。
因みに、ブロツク歪みが出やすい、或いはエツジやデイテール部分を含みやすい等といつた特徴を表すブロツクのダイナミツクレンジや、注目画素がブロツク内のどの位置に当たるかといつたことを表す位置情報を考慮した上で、係数組みを求めると、ブロツク歪みを適応的に低減するような係数組みが得られることになる。
The coefficient selection circuit 31 creates a new class classification code by adding the elements of the dynamic range DR and the position information S31 to the supplied class classification code S34, and linearly correlates the correlation between the image data S30 and S33 for each class. The coefficient combination used at this time is obtained by learning using the least square method. The obtained coefficient set is supplied to a memory forming the coefficient table circuit 25 together with the class classification code. As a result, a coefficient table capable of optimal adaptive prediction processing is created.
By the way, the dynamic range of the block that expresses when the block distortion is likely to occur or the edge or detail part is included easily, and the position information that indicates when and where the target pixel falls in the block are considered. When the coefficient group is obtained above, a coefficient group that adaptively reduces block distortion is obtained.

以上の構成において、画像信号復号装置20では、DCT符号化によつて高能率圧縮符号化された伝送画像データS1をまずブロツク復号回路4によつて復号する。そしてダイナミツクレンジ検出回路6によつて各ブロツクのダイナミツクレンジを求め、そのダイナミツクレンジをDRメモリ7を介して係数テーブル回路25に供給する。また復元されたブロツク単位の画像データS5をクラス生成回路22に供給し、ここでADRC符号化によるクラス分類コードS22を生成し、そのクラス分類コードS22を係数テーブル回路25に供給する。
また制御回路23では、水平同期信号S2及び垂直同期信号S3を基にして注目画素のブロツク内での相対的な位置を示す位置情報S21を求め、この位置情報S21を係数テーブル回路25に供給する。
In the above configuration, the image signal decoding apparatus 20 first decodes the transmission image data S1 that has been subjected to high-efficiency compression coding by DCT coding, by the block decoding circuit 4. Then, the dynamic range detection circuit 6 obtains the dynamic range of each block and supplies the dynamic range to the coefficient table circuit 25 via the DR memory 7. Also, the restored block-unit image data S5 is supplied to the class generation circuit 22, where a class classification code S22 by ADRC encoding is generated, and the class classification code S22 is supplied to the coefficient table circuit 25.
Further, the control circuit 23 obtains position information S21 indicating the relative position in the block of the target pixel based on the horizontal synchronizing signal S2 and the vertical synchronizing signal S3, and supplies this position information S21 to the coefficient table circuit 25. .

係数テーブル回路25は供給されたクラス分類コードS22、ダイナミツクレンジDR及び位置情報S21を合わせたものをアドレス情報として予めクラス毎に記憶されている係数組みを読み出す。すなわちクラス分類コードS22にダイナミツクレンジDR及び位置情報S21を付加したものをクラス分類コードとして係数組みを読み出す。   The coefficient table circuit 25 reads out a coefficient set stored in advance for each class by using a combination of the supplied class classification code S22, dynamic range DR and position information S21 as address information. That is, the coefficient combination is read out by using the class classification code S22 plus the dynamic range DR and the position information S21 as the class classification code.

積和演算回路24は遅延・予測タツプメモリ21から供給された画像データと係数テーブル回路25から供給された係数組みとを積和演算処理することにより画像データに対してクラス毎の修整を行う。その際、係数テーブル回路25から供給される係数組みは、ブロツク歪みが出やすい、或いはエツジやデイテール部分を含みやすい等といつた特徴を表すブロツクのダイナミツクレンジ(DR)や、注目画素がブロツク内のどの位置に当たるかといつたことを表す位置情報(S21)が考慮された係数組みであるため、エツジやデイテール部分をなまらせることもなく、ブロツク境界付近に発生するブロツク歪みを適応的に除去することができる。   The product-sum operation circuit 24 performs the product-sum operation processing on the image data supplied from the delay / prediction tap memory 21 and the coefficient set supplied from the coefficient table circuit 25 to correct the image data for each class. At this time, the coefficient set supplied from the coefficient table circuit 25 is a block dynamic range (DR) that represents characteristics such as block distortion or the presence of an edge or detail portion. Since the position information (S21) indicating the position and the position in the position is taken into consideration, the block distortion generated near the block boundary is adaptively removed without blurring the edges and details. can do.

このようにして画像信号復号装置20では、ブロツク内のダイナミツクレンジ(DR)を検出すると共に、ブロツク内の画素の相対的な位置情報(S21)を検出する。そして復元した画像データ(S5)をパターン分類して得られるクラス分類コード(S22)に検出したダイナミツクレンジや位置情報を付加して新たなクラス分類を行い、そのクラス毎に画像データの修整を行う。これによりエツジやデイテール部分をなまらせることもなく、ブロツク歪みを適応的に除去することができる。   In this way, the image signal decoding apparatus 20 detects the dynamic range (DR) in the block and also detects the relative position information (S21) of the pixels in the block. Then, new class classification is performed by adding the detected dynamic range and position information to the class classification code (S22) obtained by pattern classification of the restored image data (S5), and image data is corrected for each class. Do. As a result, the block distortion can be removed adaptively without causing the edges and detail to be blurred.

因みに、この実施例の場合にも、画像信号復号装置20における処理だけで良いため、送信側の装置に負担をかけることもなく、また伝送フオーマツトを変更する必要もないという利点がある。またこの実施例の場合には、クラス毎に画像データを修整する、いわゆる適応予測処理を行うことにより、ブロツク歪みを適応的に除去し得るだけでなく、解像度も向上し得る。   Incidentally, in the case of this embodiment, since only the processing in the image signal decoding apparatus 20 is required, there is an advantage that there is no burden on the transmission side apparatus and the transmission format need not be changed. In the case of this embodiment, by performing so-called adaptive prediction processing that modifies image data for each class, not only block distortion can be removed adaptively, but also the resolution can be improved.

以上の構成によれば、復元した画像データをパターン分類して得られるクラス分類コードに検出したダイナミツクレンジや位置情報を付加して新たなクラス分類を行い、そのクラス毎に係数を読み出して画像データの修整を行うようにしたことにより、エツジやデイテール部分をなまらせることもなく、ブロツク歪みを適応的に除去することができる。   According to the above configuration, a new class classification is performed by adding the detected dynamic range and position information to a class classification code obtained by pattern classification of the restored image data, and a coefficient is read out for each class. By correcting the data, it is possible to adaptively remove block distortion without blurring the edges and detail portions.

(3)他の実施例
(3−1)なお上述の第1実施例においては、画像データS1がDCT符号化によつて圧縮符号化された場合について述べたが、本発明はこれに限らず、画像データがADRC符号化、DPCM(Differential Pulse Code Modulation)符号化、BTC(Block Truncation Coding )符号化等、その他の圧縮符号化によつて符号化された場合にも上述の場合と同様の効果を得ることができる。
例えば入力された画像データがADRC符号化によつて圧縮符号化されている場合には、ダイナミツクレンジによつて適応的に決められた量子化ステツプ幅で逆量子化した後、最小値を加算して復号処理するようなブロツク符号回路を設ければ良い。またこの場合には、符号化された画像データの中にダイナミツクレンジがそもそも存在するため単にそのダイナミツクレンジを抽出すれば良く、最大値検出回路6A、最小値検出回路6B及び減算器6Cでなるダイナミツクレンジ検出回路6を設ける必要はなくなる。
(3) Other Embodiments (3-1) In the first embodiment described above, the case where the image data S1 is compression-coded by DCT coding has been described. However, the present invention is not limited to this. Even when the image data is encoded by other compression encoding such as ADRC encoding, DPCM (Differential Pulse Code Modulation) encoding, BTC (Block Truncation Coding) encoding, etc., the same effect as described above Can be obtained.
For example, if the input image data is compressed and encoded by ADRC encoding, the minimum value is added after inverse quantization with the quantization step width adaptively determined by the dynamic range. Then, a block encoding circuit that performs decoding processing may be provided. In this case, since the dynamic range is originally present in the encoded image data, it is only necessary to extract the dynamic range, and the maximum value detection circuit 6A, the minimum value detection circuit 6B, and the subtractor 6C. There is no need to provide the dynamic range detection circuit 6.

(3−2)また上述の第1実施例においては、注目画素に対して対応するダイナミツクレンジを1つだけDRメモリ7から読み出した場合について述べたが、本発明はこれに限らず、隣接する周辺ブロツクのダイナミツクレンジもDRメモリ7から読み出し、適当な情報量にスケールダウンして用いるようにすれば、周辺ブロツクの様子も考慮した細かなブロツク歪み除去を行うことができる。 (3-2) In the first embodiment described above, the case where only one dynamic range corresponding to the pixel of interest is read from the DR memory 7 has been described. If the dynamic range of the peripheral block to be read is also read out from the DR memory 7 and scaled down to an appropriate amount of information, it is possible to remove fine block distortion considering the state of the peripheral block.

(3−3)さらに上述の第1実施例においては、係数テーブル回路10と積和演算回路9とを分けて説明したが、本発明はこれに限らず、係数テーブル回路10と積和演算回路9とをまとめてブロツク歪み除去回路とするようにしても良い。 (3-3) Furthermore, in the first embodiment described above, the coefficient table circuit 10 and the product-sum operation circuit 9 have been described separately. However, the present invention is not limited to this, and the coefficient table circuit 10 and the product-sum operation circuit 9 9 may be combined into a block distortion removing circuit.

(3−4)また上述の第2実施例においては、画像データS1がDCT符号化によつて圧縮符号化された場合について述べたが、本発明はこれに限らず、画像データがADRC符号化、DPCM符号化、BTC符号化等、その他の圧縮符号化によつて符号化された場合にも上述の場合と同様の効果を得ることができる。 (3-4) In the second embodiment described above, the case where the image data S1 is compression-coded by DCT coding has been described. However, the present invention is not limited to this, and the image data is ADRC-coded. In the case of encoding by other compression encoding such as DPCM encoding or BTC encoding, the same effect as described above can be obtained.

例えば入力された画像データがADRC符号化によつて圧縮符号化されている場合には、図7に示すように構成すれば良い。すなわちADRC符号化された画像データS40をフレーム分解回路2を介してADRCデコーダ41、クラス生成回路42及びDRメモリ7に供給する。その際、フレーム分解回路2によつて抽出した水平同期信号S2及び垂直同期信号S3を制御回路23に供給する。   For example, when input image data is compression-encoded by ADRC encoding, the configuration may be as shown in FIG. That is, the ADRC-encoded image data S40 is supplied to the ADRC decoder 41, the class generation circuit 42, and the DR memory 7 via the frame decomposition circuit 2. At that time, the horizontal synchronizing signal S2 and the vertical synchronizing signal S3 extracted by the frame decomposing circuit 2 are supplied to the control circuit 23.

ADRCデコーダ41は、ダイナミツクレンジによつて適応的に決められた量子化ステツプ幅で逆量子化した後、最小値を加算して復号処理することによりADRC符号化された画像データS40をブロツク単位で復元し、その結果得られる画像データS41を遅延・予測タツプメモリ21に供給する。   The ADRC decoder 41 performs inverse quantization with a quantization step width adaptively determined by the dynamic range, and then adds the minimum value to perform decoding processing to block the ADRC-encoded image data S40 in units of blocks. The image data S41 obtained as a result is supplied to the delay / prediction tap memory 21.

クラス生成回路42はADRC符号化された画像データS40に含まれる再量子化コードQを抽出し、その抽出した再量子化コードQをそのまま用いるか、又は所定タツプ数分集めることによりクラス分類コードS42を生成し、そのクラス分類コードS42を係数テーブル回路43に供給する。   The class generation circuit 42 extracts the requantization code Q included in the ADRC-encoded image data S40, and uses the extracted requantization code Q as it is or collects a predetermined number of taps to classify the classification code S42. And the class classification code S42 is supplied to the coefficient table circuit 43.

DRメモリ7はADRC符号化された画像データS40に含まれるダイナミツクレンジDRを抽出し、その抽出したダイナミツクレンジを順次蓄積すると共に、読み出して係数テーブル回路43に供給する。すなわちこの場合には、画像データS40の中にそもそもダイナミツクレンジが含まれているため、そのダイナミツクレンジを抽出するだけで良い。   The DR memory 7 extracts the dynamic range DR included in the ADRC-encoded image data S40, stores the extracted dynamic range sequentially, and reads it out and supplies it to the coefficient table circuit 43. That is, in this case, since the dynamic range is originally included in the image data S40, it is only necessary to extract the dynamic range.

制御回路23は第2実施例と同様に供給された水平同期信号S2及び垂直同期信号S3を基にして注目画素のブロツク内での相対的な位置を示す位置情報を求め、その求めた位置情報S21を係数テーブル回路43に供給する。
遅延・予測タツプメモリ21は第2実施例と同様に遅延とブロツク分解及び予測タツプ形成を兼ねたメモリであり、蓄積された画像データを順次読み出して積和演算回路24に供給する。
The control circuit 23 obtains position information indicating the relative position in the block of the pixel of interest based on the horizontal synchronizing signal S2 and the vertical synchronizing signal S3 supplied as in the second embodiment, and the obtained position information. S21 is supplied to the coefficient table circuit 43.
The delay / prediction tap memory 21 is a memory that combines delay, block decomposition, and prediction tap formation as in the second embodiment, and sequentially reads the stored image data and supplies it to the product-sum operation circuit 24.

係数テーブル回路43は積和演算回路24の積和演算に使用されるクラス毎の係数組みが予め学習によつて記憶されたメモリであり、供給されたダイナミツクレンジDR、位置情報S21及びクラス分類コードS42を合わせたものをアドレス情報としてその記憶されている係数組みを読み出して積和演算回路24に供給する。   The coefficient table circuit 43 is a memory in which coefficient pairs for each class used for the product-sum operation of the product-sum operation circuit 24 are stored in advance by learning. The supplied dynamic range DR, position information S21, and class classification The stored coefficient group is read out using the combination of the codes S42 as address information and supplied to the product-sum operation circuit 24.

かくして積和演算回路24において、遅延・予測タツプメモリ21から供給された画像データと係数テーブル回路43から供給された係数組みとを積和演算処理してクラス毎に適応予測処理を行うことにより、ブロツク歪みを除去した画像データS43が得られる。
このようにして入力された画像データS40がADRC符号化によつて圧縮符号化されている場合には、ダイナミツクレンジ検出回路が不要になり、構成を一段と簡易にすることができる。
In this way, the product-sum operation circuit 24 performs a product-sum operation process on the image data supplied from the delay / prediction tap memory 21 and the coefficient set supplied from the coefficient table circuit 43 to perform an adaptive prediction process for each class. Image data S43 from which distortion has been removed is obtained.
When the image data S40 input in this way is compressed and encoded by ADRC encoding, the dynamic range detection circuit is not required, and the configuration can be further simplified.

因みに、この場合には、図8に示すような係数作成回路50を用いて係数テーブル回路43を形成する。この係数作成回路50においては、まず学習処理のために、既に知られている画像データS50と、その画像データS50をADRC符号化回路52及びADRCデコーダ53によつて符号化復号化処理した画像データS51とを係数選定回路51に供給する。
また係数作成回路50においては、クラス分類のために、画像データS50のうち垂直同期信号や水平同期信号等の位置情報S52と、ADRC符号化した画像データS53に含まれるダイナミツクレンジDRと、画像データS53に含まれる再量子化コードQを基にしてクラス生成回路54で発生したクラス分類コードS54とを係数選定回路51に供給する。
Incidentally, in this case, the coefficient table circuit 43 is formed by using a coefficient creating circuit 50 as shown in FIG. In this coefficient creation circuit 50, first, for learning processing, already known image data S50 and image data obtained by coding and decoding the image data S50 by the ADRC coding circuit 52 and the ADRC decoder 53 are used. S51 is supplied to the coefficient selection circuit 51.
In addition, in the coefficient generation circuit 50, for class classification, position information S52 such as a vertical synchronization signal and a horizontal synchronization signal in the image data S50, a dynamic range DR included in the ADRC-encoded image data S53, and an image The class selection code S54 generated by the class generation circuit 54 based on the requantization code Q included in the data S53 is supplied to the coefficient selection circuit 51.

係数選定回路51は供給されたクラス分類コードS54にダイナミツクレンジDR及び位置情報S52の要素を付加した新たなクラス分類コードを作成し、そのクラス毎に画像データS50、S51の相関関係を最小二乗法を適用した学習により求める。そしてその求めた相関関係を表す係数組みをクラス分類コードと共に係数テーブル回路43を形成するメモリに供給する。これにより最適に適応予測処理し得る係数テーブルが作成される。   The coefficient selection circuit 51 creates a new class classification code by adding the elements of the dynamic range DR and the position information S52 to the supplied class classification code S54, and sets the correlation between the image data S50 and S51 to the minimum two for each class. Obtained by learning using multiplication. Then, the coefficient group representing the obtained correlation is supplied to the memory forming the coefficient table circuit 43 together with the class classification code. As a result, a coefficient table capable of optimal adaptive prediction processing is created.

(3−5)さらに上述の第2実施例においては、クラス生成回路22でクラス分類する際、ADRC符号化を用いた場合について述べたが、本発明はこれに限らず、クラス分類の手法としてはDCT符号化、DPCM符号化、BTC符号化等、その他の圧縮符号化を用いるようにしても上述の場合と同様の効果を得ることができる。 (3-5) Further, in the second embodiment described above, the case where ADRC encoding is used when class classification is performed by the class generation circuit 22 has been described. However, the present invention is not limited to this, and a class classification technique is used. Even if other compression coding such as DCT coding, DPCM coding, BTC coding or the like is used, the same effect as in the above case can be obtained.

(3−6)また上述の実施例においては、圧縮符号化されて伝送されてきた伝送画像データS1を復号する画像信号復号装置に本発明を適用した場合について述べたが、本発明はこれに限らず、例えば圧縮符号化されて記録された画像データを復号して再生する画像信号復号装置に適用した場合にも上述の場合と同様の効果を得ることができる。要は、圧縮符号化された画像データを復号する画像信号復号装置であれば広く適用し得る。 (3-6) Further, in the above-described embodiment, the case where the present invention is applied to the image signal decoding apparatus that decodes the transmission image data S1 transmitted after being compressed and encoded has been described. The present invention is not limited to this, and the same effects as those described above can also be obtained when the present invention is applied to, for example, an image signal decoding apparatus that decodes and reproduces image data recorded by compression encoding. In short, any image signal decoding apparatus that decodes compression-encoded image data can be widely applied.

本発明は、例えば、ブロツク符号化方式を用いて高能率圧縮符号化した画像信号を復号する際に利用することができる。   The present invention can be used, for example, when decoding an image signal that has been subjected to high-efficiency compression coding using a block coding method.

本発明の一実施例による画像信号復号装置の構成を示すブロツク図である。It is a block diagram which shows the structure of the image signal decoding apparatus by one Example of this invention. 係数テーブル回路から出力される係数組みの一例を示す略線図である。It is a basic diagram which shows an example of the coefficient group output from a coefficient table circuit. 係数テーブル回路から出力される係数組みの一例を示す略線図である。It is a basic diagram which shows an example of the coefficient group output from a coefficient table circuit. 第2実施例による画像信号復号装置の構成を示すブロツク図である。It is a block diagram which shows the structure of the image signal decoding apparatus by 2nd Example. ブロツク内画素の相対位置についての説明に供する略線図である。It is a basic diagram with which it uses for description about the relative position of the pixel in a block. 係数作成回路の構成を示すブロツク図である。It is a block diagram which shows the structure of a coefficient production circuit. 他の実施例による画像信号復号装置の構成を示すブロツク図である。It is a block diagram which shows the structure of the image signal decoding apparatus by another Example. 他の実施例による係数作成回路の構成を示すブロツク図である。It is a block diagram which shows the structure of the coefficient preparation circuit by another Example.

符号の説明Explanation of symbols

1、20、40……画像信号復号装置、3、23……制御回路、4……ブロツク復号回路、6……ダイナミツクレンジ検出回路、7……DRメモリ、8……ブロツク分解メモリ、9、24……積和演算回路、10、25、43……係数テーブル回路、21……遅延・予測タツプメモリ、22、42、54……クラス生成回路、30、50……係数作成回路、31、51……係数選定回路、41……ADRCデコーダ。
1, 20, 40... Image signal decoding device, 3, 23... Control circuit, 4... Block decoding circuit, 6... Dynamic range detection circuit, 7. , 24... Product-sum operation circuit, 10, 25, 43... Coefficient table circuit, 21... Delay / prediction tap memory, 22, 42, 54... Class generation circuit, 30, 50. 51 …… Coefficient selection circuit, 41 …… ADRC decoder.

Claims (2)

画像データが所定の圧縮符号化手段によりブロツク単位で圧縮符号化された圧縮画像データを復号する画像信号復号装置において、
上記圧縮画像データをブロツク単位で復号した復号画像データの各ブロツクのダイナミツクレンジを検出するダイナミツクレンジ検出手段と、
上記復号画像データの各ブロツク内において注目画素を中心とする周辺画素を圧縮符号化して得られる値を、各画素を空間パターン分類した場合に分類されるクラスを表すクラス分類コードとすることにより当該復号画像データが属する第1クラスを検出するクラス検出手段と、
上記復号画像データの上記ブロツク内における上記注目画素の相対位置を表す位置情報を検出する位置情報検出手段と、
上記第1クラスのクラス分類コードに上記ダイナミツクレンジの要素及び上記位置情報の要素を付加した第2クラス毎に、上記画像データと上記復号画像データとの相関関係を線形1次結合により表すと共に上記ブロツクのダイナミツクレンジが小さいときほど強い低域通過フイルタが施されるような係数組みを予め記憶し、上記クラス検出手段によって得た第1クラスのクラス分類コードに上記ダイナミツクレンジ検出手段によつて得たダイナミツクレンジの要素及び上記位置情報検出手段によつて得た上記位置情報の要素を付加した上記第2クラスに応じ、上記係数組みを読み出して出力する係数テーブルと、
上記係数テーブルから出力された係数組みと上記復号画像データとを積和演算することにより当該復号画像データを修正する積和演算手段と
を具えることを特徴とする画像信号復号装置。
In an image signal decoding apparatus for decoding compressed image data in which image data is compression-encoded in units of blocks by predetermined compression encoding means,
Dynamic range detection means for detecting the dynamic range of each block of the decoded image data obtained by decoding the compressed image data in units of blocks;
The by a value obtained by the peripheral pixel compression coding, the classification code representing a class to be classified when each pixel classified spatial pattern centering on the target pixel in each block of the decoded image data Class detection means for detecting a first class to which the decoded image data belongs;
Position information detecting means for detecting position information representing a relative position of the target pixel in the block of the decoded image data;
For each second class obtained by adding the dynamic range element and the position information element to the class classification code of the first class , the correlation between the image data and the decoded image data is represented by a linear primary combination. Coefficient sets that are subjected to a stronger low-pass filter as the block dynamic range is smaller are stored in advance, and the first class classification code obtained by the class detection unit is stored in the dynamic range detection unit. A coefficient table for reading out and outputting the coefficient set according to the second class to which the element of the dynamic range obtained and the element of the position information obtained by the position information detecting means is added;
An image signal decoding apparatus comprising: a product-sum operation unit that corrects the decoded image data by performing a product-sum operation on the coefficient set output from the coefficient table and the decoded image data.
画像データが所定の圧縮符号化手段によりブロツク単位で圧縮符号化された圧縮画像データを復号する画像信号復号方法において、In an image signal decoding method for decoding compressed image data obtained by compressing and encoding image data in units of blocks by predetermined compression encoding means,
上記圧縮画像データをブロツク単位で復号した復号画像データの各ブロツクのダイナミツクレンジを検出するダイナミツクレンジ検出ステツプと、A dynamic range detection step for detecting a dynamic range of each block of the decoded image data obtained by decoding the compressed image data in units of blocks;
上記復号画像データの各ブロツク内において注目画素を中心とする周辺画素を圧縮符号化して得られる値を、各画素を空間パターン分類した場合に分類されるクラスを表すクラス分類コードとすることにより当該復号画像データが属する第1クラスを検出するクラス検出ステツプと、A value obtained by compressing and encoding peripheral pixels centering on the target pixel in each block of the decoded image data is used as a class classification code representing a class classified when each pixel is classified into a spatial pattern. A class detection step for detecting a first class to which the decoded image data belongs;
上記復号画像データの上記ブロツク内における上記注目画素の相対位置を表す位置情報を検出する位置情報検出ステツプと、A position information detection step for detecting position information indicating a relative position of the target pixel in the block of the decoded image data;
上記第1クラスのクラス分類コードに上記ダイナミツクレンジの要素及び上記位置情報の要素を付加した第2クラス毎に、上記画像データと上記復号画像データとの相関関係を線形1次結合により表すと共に上記ブロツクのダイナミツクレンジが小さいときほど強い低域通過フイルタが施されるような係数組みを予め記憶した係数テーブルから、上記クラス検出ステツプによつて得た第1クラスのクラス分類コードに上記ダイナミツクレンジ検出ステツプによつて得たダイナミツクレンジの要素及び上記位置情報検出ステツプによつて得た上記位置情報の要素を付加した上記第2クラスに応じ、上記係数組みを読み出して出力する係数読出ステツプと、For each second class obtained by adding the dynamic range element and the position information element to the class classification code of the first class, the correlation between the image data and the decoded image data is represented by a linear primary combination. From the coefficient table in which coefficient combinations that are subjected to a strong low-pass filter as the block dynamic range is smaller are stored in advance, the first class classification code obtained by the class detection step is added to the dynamic class. Coefficient reading that reads out and outputs the coefficient set according to the second class to which the element of the dynamic range obtained by the microphone range detection step and the element of the position information obtained by the position information detection step are added. Steps,
上記係数テーブルから出力された係数組みと上記復号画像データとを積和演算することにより当該復号画像データを修正する積和演算ステツプとA product-sum operation step for correcting the decoded image data by performing a product-sum operation on the coefficient set output from the coefficient table and the decoded image data;
を具えることを特徴とする画像信号復号方法。An image signal decoding method comprising:
JP2005010268A 2005-01-18 2005-01-18 Image signal decoding apparatus and image signal decoding method Expired - Lifetime JP4078652B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005010268A JP4078652B2 (en) 2005-01-18 2005-01-18 Image signal decoding apparatus and image signal decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005010268A JP4078652B2 (en) 2005-01-18 2005-01-18 Image signal decoding apparatus and image signal decoding method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP17654395A Division JP3661883B2 (en) 1995-06-19 1995-06-19 Image signal decoding apparatus and image signal decoding method

Publications (2)

Publication Number Publication Date
JP2005160117A JP2005160117A (en) 2005-06-16
JP4078652B2 true JP4078652B2 (en) 2008-04-23

Family

ID=34737553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005010268A Expired - Lifetime JP4078652B2 (en) 2005-01-18 2005-01-18 Image signal decoding apparatus and image signal decoding method

Country Status (1)

Country Link
JP (1) JP4078652B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011066704A (en) 2009-09-17 2011-03-31 Konica Minolta Business Technologies Inc Image decoding apparatus

Also Published As

Publication number Publication date
JP2005160117A (en) 2005-06-16

Similar Documents

Publication Publication Date Title
WO1997049250A1 (en) Device and method for encoding picture and device and method for decoding picture
JP4462823B2 (en) Image signal processing apparatus and processing method, coefficient data generating apparatus and generating method used therefor, and program for executing each method
JP4762352B1 (en) Image processing apparatus and image processing method
US20120093227A1 (en) Data compression method and data compression device
JPWO2002080574A1 (en) Image processing apparatus, image processing method, image processing program, and recording medium
JP4543873B2 (en) Image processing apparatus and processing method
JP2723867B2 (en) Image signal decoding device
JP3760517B2 (en) Image signal processing apparatus and method
JP4078652B2 (en) Image signal decoding apparatus and image signal decoding method
JP3627291B2 (en) Block distortion removing apparatus and method
JP3661883B2 (en) Image signal decoding apparatus and image signal decoding method
JP3271098B2 (en) Digital image signal decoding apparatus and method
JP2900808B2 (en) Method for reducing mosquito noise generated when decoding image data and image data decoding apparatus
JP3896635B2 (en) Image data conversion apparatus and method, prediction coefficient generation apparatus and method
JP2900815B2 (en) Method and device for adaptive coring
JP3170929B2 (en) Digital signal quantizer
JP3853257B2 (en) Mosquito distortion reducing apparatus and mosquito distortion reducing method
JP6388476B2 (en) Encoding apparatus and program
JP3945503B2 (en) Coefficient data generation apparatus and method
JP3627256B2 (en) Apparatus and method for receiving / reproducing digital image signal
JP3271100B2 (en) Digital image signal decoding apparatus and method
JP4552264B2 (en) Error correction apparatus and method
JP2891251B2 (en) Image encoding device and image decoding device
JP2001285882A (en) Device and method for reducing noise
JP3991800B2 (en) INFORMATION SIGNAL PROCESSING DEVICE, INFORMATION SIGNAL PROCESSING METHOD, IMAGE SIGNAL PROCESSING DEVICE AND IMAGE DISPLAY DEVICE, CORRECTION DATA GENERATION DEVICE AND GENERATION METHOD USED FOR THE SAME, PROGRAM FOR EXECUTING each METHOD, AND COMPUTER READABLE RECORDING THE PROGRAM Medium

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20070727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140215

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term