WO2001086820A1 - Data processing device and data processing method, and recorded medium - Google Patents

Data processing device and data processing method, and recorded medium Download PDF

Info

Publication number
WO2001086820A1
WO2001086820A1 PCT/JP2001/003873 JP0103873W WO0186820A1 WO 2001086820 A1 WO2001086820 A1 WO 2001086820A1 JP 0103873 W JP0103873 W JP 0103873W WO 0186820 A1 WO0186820 A1 WO 0186820A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
class
prediction
coefficient
teacher
Prior art date
Application number
PCT/JP2001/003873
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Toshihiko Hamamatsu
Hideo Nakaya
Takeharu Nishikata
Hideki Ohtsuka
Takeshi Kunihiro
Takafumi Morifuji
Masashi Uchida
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2000135356A external-priority patent/JP4517448B2/ja
Priority claimed from JP2000135357A external-priority patent/JP4752088B2/ja
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US10/030,591 priority Critical patent/US7035471B2/en
Priority to EP01930004A priority patent/EP1282236B1/en
Publication of WO2001086820A1 publication Critical patent/WO2001086820A1/ja
Priority to US11/348,720 priority patent/US7206452B2/en
Priority to US11/584,483 priority patent/US7336829B2/en
Priority to US11/584,789 priority patent/US7289671B2/en
Priority to US11/584,772 priority patent/US7283678B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Definitions

  • the present invention relates to a data processing device, a data processing method, and a recording medium, and more particularly to a data processing device, a data processing method, and a recording method that are suitable for, for example, decoding an irreversibly compressed image or the like.
  • a data processing device a data processing method, and a recording method that are suitable for, for example, decoding an irreversibly compressed image or the like.
  • the medium a data processing device, a data processing method, and a recording method that are suitable for, for example, decoding an irreversibly compressed image or the like.
  • a compression encoding method for a still image is used.
  • JPEG Joint Photographic Experts Group
  • MPEG Motion Picture Experts Group
  • FIG. 1A shows an example of the configuration of a conventional JPEG encoding device 5.
  • C The image data to be encoded is input to the blocking circuit 1, and the blocking circuit 1 is input there.
  • the image data to be processed is divided into blocks of 8 ⁇ 8 pixels of 64 pixels.
  • Each block obtained by the blocking circuit 1 is supplied to a discrete cosine transform (DCT) circuit 2.
  • DCT circuit 2 is a block circuit DCT processing is applied to the blocks from 1 and a direct current (DC) component and a total of 6 frequency (AC: alternating current) components in the horizontal and vertical directions 6 Convert to 4 DCT coefficients.
  • the 64 DCT coefficients for each block are supplied from the DCT circuit 2 to the quantization circuit 3.
  • the quantization circuit 3 quantizes the DCT coefficient from the DCT circuit 2 according to a predetermined quantization table, and uses the quantization result (hereinafter, appropriately referred to as a quantized DCT coefficient) together with a quantization table used for quantization.
  • FIG. 1B shows an example of a quantization table used in the quantization circuit 3.
  • quantization is performed such that low-frequency DCT coefficients with high importance are finely quantized and DCT coefficients with low importance are coarsely quantized. Steps are set, so that efficient compression is performed while suppressing deterioration of the image quality.
  • the entropy coding circuit 4 performs an entropy coding process such as Huffman coding on the quantized DCT coefficient from the quantization circuit 3 and adds the quantization table from the quantization circuit 3 to The resulting encoded data is output as a JPEG encoded result.
  • an entropy coding process such as Huffman coding on the quantized DCT coefficient from the quantization circuit 3 and adds the quantization table from the quantization circuit 3 to The resulting encoded data is output as a JPEG encoded result.
  • FIG. 1C shows an example of a configuration of a conventional J PEG decoding device 10 that decodes the encoded data output from the J PEG encoding device 5 of FIG. 1A.
  • the encoded data is input to the entropy decoding circuit 11.
  • the entropy decoding circuit 11 separates the encoded data into quantized DCT coefficients subjected to entropy encoding and a quantization table. Further, the entropy decoding circuit 11 performs entropy decoding of the entropy-encoded quantized DCT coefficient, and supplies the resulting quantized DCT coefficient to the inverse quantization circuit 12 together with the quantization table.
  • the inverse quantization circuit 12 inversely quantizes the quantized DCT coefficient from the entropy decoding circuit 11 in accordance with the quantization table from the entropy decoding circuit 11, and converts the DCT coefficient obtained as a result. Supply to the inverse DCT circuit 13.
  • the inverse DCT circuit 13 performs an inverse DCT process on the DCT coefficient from the inverse quantization circuit 12, and supplies the resulting 8 ⁇ 8 pixel decoding block to the block decomposition circuit 14.
  • the block decomposition circuit 14 obtains a decoded image by deblocking the decoded block from the inverse DCT circuit 13. Output.
  • the quantization circuit 3 reduces the amount of encoded data by increasing the quantization step of a quantization table used for quantization of the program. be able to. That is, high compression can be realized.
  • the so-called quantization error is also increased, so that the image quality of the decoded image obtained by the JPEG decoder 10 in FIG. 1C is degraded. That is, in the decoded image, block noise, mosquito noise, and the like are remarkably exhibited.
  • the present invention has been made in view of such circumstances, and is intended to efficiently obtain a high-quality decoded image from a JPEG-encoded image or the like. .
  • the tap data obtained by performing the learning is acquired, and a predetermined prediction operation is performed using the tap coefficient and the converted data, thereby converting the converted data to the original data. Decrypt.
  • the data processing device performs a predetermined prediction operation using an acquisition unit that acquires a tap coefficient obtained by learning, and a tap coefficient and conversion data, thereby obtaining a conversion data.
  • decoding means for decoding the original data overnight.
  • the data processing method includes: an acquisition step of acquiring a tap coefficient obtained by performing learning; and performing a predetermined prediction operation using the tap coefficient and the conversion data. Decoding the converted data into the original data.
  • the recording medium provides a conversion data by performing a predetermined prediction operation using an acquisition step of acquiring a tap coefficient obtained by learning, and a tap coefficient and a conversion data. And a decoding step of decoding the original data into original data.
  • At least orthogonal transformation or frequency conversion is performed on teacher data as a teacher to generate student data as students, and a teacher obtained by performing a prediction operation using the tap coefficients and the student data.
  • the training coefficient is learned so that the prediction error of the predicted value of the data is statistically minimized, and the evening coefficient is obtained.
  • the data processing device includes: a generation unit that generates a student data to be a student by performing at least an orthogonal transformation or a frequency conversion on the teacher data to be a teacher; And learning means for learning so as to statistically minimize the prediction error of the predicted value of the teacher data obtained by performing the prediction operation using the student data and calculating the evening coefficient. It is characterized by having.
  • the data processing method uses a generation step of generating student data to be a student by at least performing orthogonal transformation or frequency conversion of teacher data to be a teacher, and using an evening coefficient and student data.
  • a learning step of learning so as to statistically minimize the prediction error of the predicted value of the teacher data obtained by performing the prediction operation, and obtaining an evening coefficient.
  • the recording medium includes a generation step of generating student data to be a student by at least orthogonally transforming or frequency-converting teacher data to be a teacher; A learning step of learning so as to statistically minimize the prediction error of the predicted value of the teacher's data obtained by performing the prediction calculation using the above, and calculating the evening coefficient. It is characterized by that.
  • the tap coefficient obtained by performing the learning is obtained, and the By performing a predetermined prediction operation using the conversion coefficient and the transformed data, the transformed data is decoded into the original data, and processed data obtained by subjecting the original data to a prescribed process is obtained.
  • the data processing device performs a predetermined prediction operation using the acquisition means for acquiring the tap coefficient obtained by performing the learning, and the tap coefficient and the conversion data, thereby obtaining the conversion data.
  • the data processing method includes a step of obtaining a tap coefficient obtained by performing learning, and performing a predetermined prediction operation using the tap coefficient and the conversion data to perform conversion.
  • the recording medium includes an acquisition step of acquiring a tap coefficient obtained by performing learning, and performing a predetermined prediction operation using the tap coefficient and the conversion data, thereby obtaining the conversion data based on the conversion coefficient. And a calculation step of decoding the original data and performing a predetermined process on the original data to obtain a processed data.
  • a process based on a predetermined process is performed on the teacher data to be a teacher, and the resulting quasi-teacher data is subjected to at least orthogonal transform or frequency conversion to generate a student data to be a student. . Then, learning is performed so as to statistically minimize the prediction error of the prediction value of the teacher data obtained by performing the prediction operation using the tap coefficient and the student data, and the evening coefficient is obtained.
  • the data processing device performs processing based on predetermined processing on teacher data to be a teacher, and generates a quasi-teacher data generating unit that obtains quasi-teacher data, and performs at least orthogonal transformation or frequency conversion on the quasi-teacher data.
  • the student data generating means for generating the student data as a student, and the prediction error of the predicted value of the teacher data obtained by performing the measurement operation using the evening coefficient and the student data are statistically minimized.
  • learning means for calculating the evening coefficient.
  • the data processing method further includes a step of performing a process based on a predetermined process on teacher data to be a teacher, and generating a quasi-teacher data to obtain quasi-teacher data; A student data overnight generation step of generating a student data night as a student by conversion, and a prediction value of a teacher data overnight obtained by performing a prediction operation using the evening coefficient and the student data A learning step for performing learning so that the error is statistically minimized, and obtaining a sunset coefficient.
  • the recording medium performs a process based on a predetermined process on teacher data to be a teacher, and generates a quasi-teacher data overnight to obtain quasi-teacher data;
  • a learning step of performing learning so as to statistically minimize the learning coefficient and obtaining an evening coefficient.
  • the target data of interest among the original data is classified into one of several classes, and the predetermined data obtained by performing learning is determined. And the sop coefficient corresponding to the class of interest is obtained from the evening coefficient of each class. Then, the conversion data is decoded into the original data by performing a predetermined prediction operation using the evening coefficients corresponding to the classes of the converted data and the focused data.
  • the data processing device provides a class for classifying the focused data of the original data into one of several classes based on the additional information.
  • Classification means acquisition means for acquiring tap coefficients corresponding to the class of the data of interest among the tap coefficients for each of the predetermined classes obtained by performing the learning; and correspondence to the classes of the conversion data and the data of interest
  • decoding means for decoding the converted data to the original data by performing a predetermined prediction operation using the tap coefficients.
  • the data processing method provides a method for processing original data based on additional information.
  • the conversion data is converted to the original data by performing a predetermined prediction operation using the acquisition step for obtaining the tap coefficient corresponding to the data class and the conversion coefficient and the evening coefficient corresponding to the data class of interest.
  • a decoding step for decoding.
  • the recording medium includes a class classification step of classifying target data of interest in the original data into one of several classes based on the additional information;
  • At least orthogonal transformation or frequency transformation is performed on teacher data to be a teacher to generate student data to be a student, and based on predetermined additional information used when generating the student data, the teacher data is generated.
  • the learning is performed so that the prediction error of the predicted value of the teacher data obtained by performing the prediction operation using the evening coefficient and the student data corresponding to the class of the teacher data of interest is statistically minimized. And calculate the coefficient for each class.
  • the data processing device comprises: generating means for generating student data to be a student by performing at least orthogonal transformation or frequency conversion on teacher data to be a teacher; Classifying means for classifying the noted teacher data of interest in the teacher data into any of several classes based on predetermined additional information used at the time of generation; Learning is performed so that the prediction error of the prediction value of the teacher data obtained by performing the prediction operation using the tap coefficient corresponding to the evening class and the student data is statistically minimized, and the tap coefficient for each class is calculated. And a learning means to be sought.
  • At least teacher data as a teacher is directly
  • the recording medium includes: a generating step of generating a student data as a student by at least orthogonally transforming or frequency-converting the teacher data as a teacher; and generating the student data in the generating step.
  • the conversion data used to classify the target processing data into any of several classes is extracted from at least blocks other than the block corresponding to the target processing data to obtain a class map, Based on the class map, a class classification for obtaining a class of the processing data of interest is performed, the evening coefficient and conversion data of the class of the processing data of interest are calculated, and a predetermined prediction operation is performed to obtain the attention. Processing Determining the predicted value of overnight.
  • the data processing device includes: an obtaining unit that obtains an evening coefficient obtained by performing learning; and an attention processing data, which is an attention processing data, among several classes.
  • Cluster data extraction means for extracting at least conversion data used for class classification into blocks other than the block corresponding to the target processing data and outputting it as a cluster, and processing the target processing data based on the class data.
  • Class classification means for performing class classification for obtaining a class; The present invention is characterized in that it comprises a calculating means for obtaining a predicted value of the processing data of interest by performing a predetermined prediction operation using the evening-up coefficient and the conversion data of the evening class.
  • the data processing method further comprises: an obtaining step of obtaining a tap coefficient obtained by performing learning; and an attention processing data which is an attention processing data among several classes.
  • the recording medium according to the present invention may further comprise: an acquisition step of acquiring a tap coefficient obtained by performing learning; and an attention processing data, which is an attention processing data, in any of several classes.
  • a calculating step of calculating a predicted value of the processing data may further comprise: an acquisition step of acquiring a tap coefficient obtained by performing learning; and an attention processing data, which is an attention processing data, in any of several classes.
  • the student data used to classify the target teacher data into one of several classes is extracted from at least the blocks other than the block corresponding to the target teacher data, and the class data is extracted. Then, based on the class map, a class classification for obtaining a class of the teacher data of interest is performed. Then, learning is performed so that the prediction error of the predicted value of the teacher data obtained by performing the prediction operation using the evening coefficient and the student data for each class is statistically minimized, and the tap coefficient is calculated. Is required for each class.
  • the data processing device includes: a generation unit configured to generate converted data in block units as a student data to be a student at the time of learning; As teacher data to become teachers, at least the student data used to classify the focused teacher data, which is the focused teacher data into one of several classes, at least to the focused teacher data A cluster group extracting unit that extracts from a class other than the corresponding class and outputs it as a class group; a class classifying unit that performs a class classification for obtaining a class of a focused teacher based on the cluster group; Learning means for learning so as to statistically minimize the prediction error of the predicted value of teacher data obtained by performing a prediction operation using the learning coefficient and student data, and obtaining tap coefficients for each class. And characterized in that:
  • the data processing method focuses on a generation step for generating conversion data in block units as student data to be a student during learning, and teacher data as processing data to be a teacher during learning.
  • the student data used to classify the target teacher data, which is the target teacher data, into one of several classes is extracted from at least the blocks other than the blocks corresponding to the target teacher data, and the class is extracted.
  • a cluster group extraction step for outputting as a class; a class classification step for classifying the class of attention teacher data based on the class class; and a prediction calculation using a tap coefficient and student data for each class.
  • the training is performed so that the prediction error of the prediction value obtained over time is statistically minimized. Characterized in that it comprises a learning step of obtaining the and.
  • the recording medium includes a generation step of generating conversion data in block units as student data to be a student at the time of learning; At least the student data used to classify certain attention teacher data into one of several classes is extracted from at least the blocks other than the block corresponding to the attention teacher data, and output as a class map.
  • the training is performed so that the prediction error of the prediction value of the teacher data obtained by performing the process is statistically minimized, and the tap coefficient is set for each class.
  • Program and a Mel learning step is characterized in that it is recorded.
  • the conversion data used for the prediction calculation for decoding the data of the data block of interest of interest among the data blocks is at least a data tab block other than the data tab of interest. Then, the extracted data is extracted from the conversion process corresponding to, and is used as a prediction tap, and a predetermined prediction calculation is performed using the tap coefficient and the prediction tap, thereby decoding the conversion data into the original data.
  • the data processing device includes: an obtaining unit that obtains an evening coefficient obtained by performing learning; and an attention data of an evening block that is an evening block.
  • the conversion data used for the prediction operation for decoding the data of the overnight block is extracted at least from the conversion block that is the conversion data block corresponding to the data block other than the data block of interest, and the prediction is performed.
  • a prediction tap extracting unit that outputs the data as a sunset, and a calculation unit that decodes the converted data into the original data by performing a predetermined prediction calculation using the tap coefficient and the prediction tap. I do.
  • the data processing method further includes an acquisition step of acquiring the evening coefficient obtained by performing the learning, and an attention step which is one of the data tabs which is an overtime data.
  • the conversion data used for the prediction operation for decoding the data of the data block is extracted at least from the conversion block which is the block of the conversion data corresponding to the data block other than the data block of interest, and the prediction data is extracted.
  • the recording medium includes: an acquisition step for acquiring a tap coefficient obtained by performing learning; and a data step for obtaining a data block of interest among data blocks which are blocks of data.
  • the conversion data used for the prediction calculation for decoding the sunset is extracted from at least the conversion block that is the conversion data block corresponding to the data block other than the data block of interest, and output as the prediction map.
  • At least orthogonal transformation or frequency transformation is performed on the teacher data as a teacher to generate a student data as a student and decode the teacher data of the noted teacher block of interest among the teacher blocks.
  • At least the student data used for the prediction calculation for the prediction is extracted from the student block corresponding to the teacher block other than the teacher block of interest, and is used as the prediction algorithm, and the prediction coefficient and the prediction tap are used. Then, learning is performed so that the prediction error of the prediction value of the teacher data obtained by performing the prediction operation is statistically minimized, and the tap coefficients are obtained.
  • the data processing device includes: a generation unit that generates student data to be a student by at least orthogonally or frequency-converting the teacher data to be a teacher; and a teacher program that is a block of the teacher data.
  • the student data used for the prediction calculation for decoding the teacher data of the teacher block is a student data block corresponding to a teacher block other than the teacher block of interest.
  • a prediction block extracting means for extracting from a student block which is a block and outputting the prediction block as a prediction, and a teacher data obtained by performing a prediction calculation using the prediction coefficient and the prediction block. It is characterized by comprising learning means for learning so as to statistically minimize the prediction error of the evening predicted value and obtaining a tap coefficient.
  • the data processing method includes a generation step of generating a student data as a student by performing at least an orthogonal transformation or a frequency conversion on teacher data as a teacher,
  • the student data used for the prediction operation for decoding the teacher data of the attention teacher block of the attention teacher block of the attention teacher block is, at least, a block of the student data corresponding to the teacher block other than the attention teacher block.
  • the recording medium includes: a generation step of generating student data to be a student by at least orthogonally transforming or frequency-converting teacher data to be a teacher; Of the attention teachers of interest, the number of student data used for the prediction calculation for decoding the teacher data of the block is reduced.
  • a prediction step extraction step that extracts from a student program that is a student data block corresponding to a teacher program other than the attention teacher block and outputs the prediction step, a prediction coefficient, and a prediction coefficient
  • a program is provided that has a learning step of learning so as to statistically minimize the prediction error of the predicted value of the teacher data obtained by performing the prediction operation using the evening calculation and obtaining the evening coefficient. It is characterized by being done.
  • the first data and the second data for learning the extraction pattern are used to determine the first data having a predetermined positional relationship with the second data at the predetermined position.
  • the correlation with the second data at the position of is determined for each predetermined positional relationship, and based on the correlation, the first data is used as the prediction data used for the prediction calculation for obtaining the second data.
  • the data processing device uses the first data and the second data for learning of the extracted pattern, and uses the first data and the second data for learning the second data at a predetermined position in a predetermined positional relationship.
  • Correlation calculation means for obtaining a correlation between the first data and the second data at a predetermined position for each predetermined positional relationship, and a prediction used in a prediction operation for obtaining second data based on the correlation Setting means for setting an extraction pattern of the first day as an evening-up.
  • the data processing method is characterized in that the first data and the second data for learning the extraction pattern use the first data having a predetermined positional relationship with the second data at a predetermined position.
  • a correlation calculation step for obtaining a correlation between the second data at a predetermined position and the second data at a predetermined position, and a prediction algorithm used for a prediction calculation for obtaining the second data based on the correlation.
  • a setting step for setting an extraction pattern for the first day.
  • the recording medium uses the first data and the second data for learning the extraction pattern, and the first data having a predetermined positional relationship with the second data at the predetermined position.
  • FIG. 2 is a diagram showing a configuration example of an image transmission system to which the present invention is applied.
  • FIG. 3 is a block diagram illustrating a configuration example of a decoder in the image transmission system.
  • FIG. 4 is a flowchart for explaining the processing of the decoder.
  • FIG. 5 is a block diagram showing a configuration example of a coefficient conversion circuit in the decoder.
  • FIG. 6 is a diagram for explaining an example of a prediction map and a class map in the decoder. . ..
  • FIG. 7 is a block diagram illustrating a configuration example of a class classification circuit in the coefficient conversion circuit.
  • FIG. 8 is a diagram for explaining the processing of the power calculation circuit in the soil coefficient conversion circuit.
  • FIG. 9 is a flowchart illustrating the processing of the coefficient conversion circuit.
  • FIG. 10 is a flowchart for explaining the processing of the coefficient conversion circuit in more detail.
  • FIG. 11 is a block diagram illustrating a configuration example of a learning device that learns tap coefficients of the coefficient conversion circuit.
  • FIG. 12 is a flowchart illustrating the processing of the learning device.
  • FIG. 13 is a block diagram showing another configuration example of the coefficient conversion circuit.
  • FIG. 14 is a block diagram showing another configuration example of the learning device.
  • FIG. 15 is a block diagram illustrating another configuration example of the coefficient conversion circuit.
  • FIG. 16 is a block diagram showing another configuration example of the learning device.
  • FIG. 17 is a block diagram showing another configuration example of the coefficient conversion circuit.
  • FIG. 18 is a block diagram showing another configuration example of the learning device.
  • FIG. 19 is a block diagram illustrating a configuration example of an encoder in the image transmission system.
  • FIG. 20 is a block diagram showing a configuration example of the MPEG decoder.
  • FIG. 21 is a block diagram showing another configuration example of the coefficient conversion circuit.
  • FIG. 22 is a block diagram illustrating another configuration example of the learning device.
  • FIG. 23 is a block diagram showing a configuration example of a decoder according to another embodiment in which the present invention is applied to the image transmission system.
  • FIG. 24 is a diagram showing how the 8 ⁇ 8 DCT coefficient is decoded into 16 ⁇ 16 pixels in the decoder.
  • FIG. 25 is a flowchart illustrating the processing of the decoder.
  • FIG. 26 is a block diagram illustrating a configuration example of a coefficient conversion circuit in the decoder.
  • FIG. 27 is a block diagram illustrating a configuration example of a class classification circuit in the coefficient conversion circuit.
  • FIG. 28 is a flowchart illustrating the processing of the coefficient conversion circuit.
  • FIG. 29 is a flowchart illustrating details of the processing in the coefficient conversion circuit.
  • FIG. 30 is a block diagram illustrating a configuration example of a learning device that learns tap coefficients of the coefficient conversion circuit.
  • FIG. 31 is a flowchart illustrating the processing of the learning device.
  • FIG. 32 is a block diagram illustrating another configuration example of the coefficient conversion circuit.
  • FIG. 33 is a block diagram showing another configuration example of the learning device.
  • FIG. 34 is a block diagram illustrating another configuration example of the coefficient conversion circuit.
  • FIG. 35 is a block diagram showing another configuration example of the learning device.
  • FIG. 36 is a block diagram illustrating another configuration example of the coefficient conversion circuit.
  • FIG. 37 is a block diagram showing another configuration example of the learning device.
  • FIG. 38 is a block diagram showing a configuration example of the encoder.
  • FIG. 39 is a block diagram illustrating another configuration example of the coefficient conversion circuit.
  • FIG. 40 is a block diagram showing another configuration example of the learning device.
  • FIGS. 41A and 41B are diagrams showing images with improved temporal resolution.
  • FIGS. 42A and 42B are diagrams showing images with improved temporal resolution.
  • FIG. 43 is a diagram illustrating that a cluster map and a prediction map are formed from DCT coefficients of two or more frames.
  • FIG. 44 is a block diagram illustrating a configuration example of a decoder according to another embodiment in which the present invention is applied to the image transmission system.
  • FIG. 45 is a flowchart for explaining the processing of the decoder.
  • FIG. 46 is a block diagram illustrating a configuration example of a coefficient conversion circuit in the decoder.
  • FIG. 47 is a block diagram illustrating a configuration example of a class classification circuit in the coefficient conversion circuit.
  • FIG. 48 is a flowchart for explaining the processing of the coefficient conversion circuit.
  • FIG. 49 is a flowchart illustrating the details of the processing of the coefficient conversion circuit.
  • FIG. 50 is a block diagram illustrating a configuration example of a learning device that learns tap coefficients of the coefficient conversion circuit.
  • FIG. 51 is a flowchart illustrating the processing of the learning device.
  • FIG. 52 is a block diagram showing another configuration example of the coefficient conversion circuit.
  • FIG. 53 is a block diagram illustrating a configuration example of the learning device.
  • FIG. 54 is a block diagram illustrating another configuration example of the coefficient conversion circuit.
  • FIG. 55 is a block diagram illustrating a configuration example of a learning device to which the present invention has been applied.
  • FIG. 56 is a block diagram showing another configuration example of the coefficient conversion circuit.
  • FIG. 57 is a block diagram illustrating a configuration example of the learning device.
  • FIG. 58 is a block diagram showing a configuration example of an encoder in the image transmission system.
  • FIG. 59 is a block diagram illustrating a configuration example of an MPEG decoder in the image transmission system.
  • FIG. 60 is a block diagram showing another configuration example of the coefficient conversion circuit.
  • FIG. 61 is a block diagram illustrating another configuration example of the learning device.
  • FIG. 62 is a block diagram showing a configuration example of a decoder according to another embodiment in which the present invention is applied to the image transmission system.
  • FIG. 63 is a flowchart for explaining the processing of the decoder.
  • FIG. 64 is a block diagram illustrating a configuration example of a coefficient conversion circuit in the decoder.
  • FIG. 65A and FIG. 65B are diagrams illustrating examples of class taps in the coefficient conversion circuit.
  • FIG. 66 is a block diagram illustrating a configuration example of a class classification circuit in the coefficient conversion circuit.
  • FIG. 67 is a flowchart for explaining the processing of the coefficient conversion circuit.
  • FIG. 68 is a flowchart illustrating the details of the processing of the coefficient conversion circuit.
  • FIG. 69 is a diagram for explaining the method of class classification.
  • FIG. 70 is a flowchart for explaining the processing of the class classification circuit.
  • FIG. 71 is a diagram for explaining another method of class classification.
  • FIG. 72 is a block diagram showing another configuration example of the class classification circuit.
  • FIG. 73 is a flowchart for explaining the processing of the class classification circuit.
  • FIG. 74 is a block diagram illustrating another configuration example of the coefficient conversion circuit.
  • FIG. 75 is a block diagram illustrating a configuration example of a learning device that learns the skip coefficient of the coefficient conversion circuit.
  • FIG. 76 is a block diagram illustrating a configuration example of the coefficient conversion circuit.
  • FIG. 77 is a block diagram showing another configuration example of the above-mentioned 3 learning device.
  • FIG. 78 is a block diagram showing a configuration example of a decoder according to another embodiment in which the present invention is applied to the image transmission system.
  • FIG. 79 is a flowchart for explaining the processing of the decoder.
  • FIG. 80 is a block diagram illustrating a configuration example of a coefficient conversion circuit in the decoder.
  • FIG. 81 is a block diagram illustrating a configuration example of a class classification circuit in the coefficient conversion circuit.
  • FIG. 82 is a flowchart illustrating the processing of the coefficient conversion circuit.
  • FIG. 83 is a flowchart for explaining the processing of the coefficient conversion circuit in more detail.
  • FIG. 84 is a block diagram illustrating a configuration example of a tap coefficient learning device that learns tap coefficients of the coefficient conversion circuit.
  • FIG. 85 is a flowchart for explaining the processing of the evening coefficient learning apparatus.
  • FIG. 86 is a block diagram illustrating a configuration example of a pattern learning device that learns pattern information.
  • FIG. 87A, FIG. 87B and FIG. 87C are diagrams for explaining the processing of the addition circuit in the pattern learning device.
  • FIG. 88 is a flowchart illustrating the processing of the pattern learning device.
  • FIG. 89 is a block diagram illustrating a configuration example of the coefficient conversion circuit.
  • FIG. 90 is a block diagram showing another configuration example of the above-mentioned Sop coefficient learning device.
  • FIG. 91 is a block diagram showing another configuration example of the pattern learning device.
  • FIG. 92 is a block diagram illustrating another configuration example of the coefficient conversion circuit.
  • FIG. 93 is a block diagram showing another configuration example of the tap coefficient learning device.
  • FIG. 94 is a block diagram showing another configuration example of the pattern learning device.
  • FIG. 95A, FIG. 95B, and FIG. 95C are diagrams for explaining the processing of the addition circuit in the pattern learning device.
  • FIG. 96 is a block diagram illustrating another configuration example of the coefficient conversion circuit.
  • FIG. 97 is a block diagram showing another configuration example of the evening coefficient learning apparatus.
  • FIG. 98 is a block diagram showing another configuration example of the pattern learning device.
  • FIG. 99 is a block diagram showing another configuration example of the coefficient conversion circuit.
  • FIG. 100 is a block diagram showing another configuration example of the evening-up coefficient learning device.
  • FIG. 101 is a block diagram showing another configuration example of the pattern learning device.
  • FIG. 102 is a block diagram showing a configuration example of a computer according to an embodiment of the present invention.
  • the present invention is applied to, for example, an image transmission system 20 having a configuration as shown in FIG. 2 ⁇ In this image transmission system 20, image data to be transmitted is supplied to an encoder 21. .
  • the encoder 21 encodes the image data supplied thereto, for example, by JPEG encoding, and sets it as encoded data. That is, the encoder 21 has, for example, the same configuration as the above-described JPEG encoding device 5 shown in FIG. 1A and JPEG-encodes image data.
  • the encoded data obtained by the encoder 21 performing the JPEG encoding is recorded on a recording medium 23 composed of, for example, a semiconductor memory, a magneto-optical disk, a magnetic disk, an optical disk, a magnetic tape, and a phase change disk.
  • a recording medium 23 composed of, for example, a semiconductor memory, a magneto-optical disk, a magnetic disk, an optical disk, a magnetic tape, and a phase change disk.
  • the c- decoder 22 transmitted through a transmission medium 24 consisting of a terrestrial wave, a satellite line, a CATV (Cable Television) network, an in-net network, a public line, etc. It receives the encoded data provided via 23 or the transmission medium 24 and decodes the original image data.
  • the decoded image data is supplied to, for example, a monitor (not shown) and displayed.
  • the decoder 22 includes an entropy decoding circuit 31, a coefficient conversion circuit 32, and a work decomposition circuit 33.
  • the encoded data is supplied to an entropy decoding circuit 31.
  • the entropy decoding circuit 31 entropy-decodes the encoded data, and supplies the resulting quantized DCT coefficient Q for each block to the coefficient conversion circuit 32.
  • the encoded data includes not only the entropy-coded quantized DCT coefficients but also a quantization table as in the case of the entropy decoding circuit 11 in FIG. 1C.
  • the quantization table can be used for decoding the quantized DCT coefficients as needed, as described later.
  • the coefficient transforming circuit 32 performs a predetermined prediction operation using the quantized DCT coefficient Q from the entropy decoding circuit 31 and an evening coefficient obtained by performing learning described later, thereby obtaining a block-by-block basis. Quantized DCT coefficients are converted to the original block of 8 x 8 pixels. Decrypt.
  • the block decomposition circuit 33 obtains and outputs a decoded image by deblocking the decoded block (decoding work) obtained in the coefficient conversion circuit 32. Next, the processing of the decoder 22 of FIG. 3 will be described with reference to the flowchart of FIG.
  • the encoded data is sequentially supplied to an entropy decoding circuit 31.
  • the entropy decoding circuit 31 performs entropy decoding of the encoded data, and quantizes the DCT coefficient of each block.
  • Q is supplied to a coefficient conversion circuit 32.
  • the coefficient conversion circuit 32 decodes the quantized DCT coefficient Q for each block from the entropy decoding circuit 31 into a pixel value for each block by performing a prediction operation using a tap coefficient. This is supplied to the block decomposition circuit 33.
  • the block decomposition circuit 33 outputs the block of the pixel value from the coefficient conversion circuit 32.
  • (Decryption block) Performs block decomposition for deblocking, outputs the resulting decoded image, and ends the processing.
  • the coefficient conversion circuit 32 in FIG. 3 can decode the quantized DCT coefficient into a pixel value by using, for example, the classification adaptive processing.
  • Classification adaptive processing includes class classification processing and adaptive processing. Classification processing classifies data into classes based on their properties, and performs adaptive processing for each class. Is based on the following method.
  • a quantized DCT coefficient is decoded into an original pixel value by obtaining a predicted value of an original pixel by a linear combination of the quantized DCT coefficient and a predetermined tap coefficient.
  • a certain image is used as teacher data, the image is subjected to DCT processing in units of blocks, and quantized DCT coefficients obtained by quantization are used as student data.
  • the predicted value E [y] of the value y is transformed to a set of several quantized DCT coefficients ⁇ ⁇ 3 ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ Let's consider finding it with a coupled model. In this case, the predicted value E [y] can be expressed by the following equation (1).
  • Equation (1) a matrix W consisting of a set of evening coefficients, a matrix X consisting of a set of student data and evening, and a matrix Y consisting of a set of predicted values E [yj] are given by r
  • the component of the matrix X means the j-th student data set in the i-th set of student data (a set of student data used for prediction of the i-th teacher data yi),
  • the component Wj of the matrix W represents a sunset coefficient by which a product with the j-th student data in the set of student data is calculated.
  • y i represents the i-th teacher data
  • E [yi] represents the predicted value of the i-th teacher data. Note that y on the left side of equation (1) is the same as the matrix Y except that the suffix i of the component yi is omitted, and X 1, 2,... On the right side of equation (1) is The suffix i of the component is omitted.
  • the type coefficient Wj for obtaining the predicted value E [y] close to the original pixel value y is the square error
  • the evening coefficient Wj that satisfies the following equation (4) is a predicted value E [y] that is close to the original pixel value y. Is the optimum value.
  • equation (7) Note that the normal equation shown in equation (7) is a matrix (covariance matrix) A and vector V N
  • Equation 1 If the vector W is defined as shown in Equation 1, it can be expressed by the following equation (8).
  • AW the normal equations in V (8) Equation (7), by preparing a set of student de Isseki and teacher de Isseki yi only a certain number, the same number as the number J of the tap coefficients w 3 to be determined Therefore, by solving equation (8) with respect to the vector W (however, in order to solve equation (8), the matrix A in equation (8) must be non-singular) It is possible to obtain a simple set coefficient (here, a type coefficient that minimizes the square error). In solving equation (8), for example, a sweeping method (Gauss-Jordan elimination method) can be used.
  • the optimum tap coefficient is obtained, and the tap
  • the adaptive processing is to obtain a predicted value E [y] close to the original pixel value y by the equation (1) using the coefficient W j and equation (1).
  • the tap coefficient As a result, when decoding JPEG-encoded image data into the original image data, one with a statistically minimum prediction error is obtained.
  • the decoding processing in which the prediction error is statistically minimized is performed.
  • the decoding process of the JPEG encoded image and the process of improving the image quality are performed simultaneously.
  • FIG. 5 shows a configuration example of the coefficient conversion circuit 32 of FIG. 3 that decodes the quantized DCT coefficients into pixel values by the above-described class classification adaptive processing.
  • the quantized DCT coefficients output from the entropy decoding circuit 31 (FIG. 3) for each of the processes are calculated by the prediction map extraction circuit 41 and the class filter extraction. Circuit 42.
  • the prediction tap extraction circuit 41 generates a block of pixel values corresponding to a block of quantized DCT coefficients supplied thereto (hereinafter referred to as a DCT block as appropriate).
  • the value block does not exist at this stage, but is assumed virtually) (hereinafter referred to as a pixel block as appropriate) as a target pixel block.
  • each pixel constituting the target pixel block is, for example,
  • the prediction pixel is sequentially extracted in the order of the so-called raster scan c.
  • the prediction tap extraction circuit 41 extracts a quantized DCT coefficient used for predicting the pixel value of the pixel of interest, and sets it as a prediction tap.
  • the prediction tap extraction circuit 41 generates all the quantized DCT coefficients of the DCT process corresponding to the pixel process to which the pixel of interest belongs, that is, 64 ⁇ 8 ⁇ 8 coefficients. Extract the quantized DCT coefficients as prediction taps. Therefore, in this embodiment, the same prediction pulse is formed for all pixels in a certain pixel block.
  • the prediction type can be configured with different quantized DCT coefficients for each target pixel.
  • the prediction algorithm for each pixel constituting the pixel block obtained in the prediction algorithm extraction circuit 41 is a product-sum operation Supplied to circuits 45.
  • the prediction algorithm of .64 sets for each of the 64 pixels is a product-sum operation Supplied to circuits 45.
  • the same prediction map is formed for all pixels of the pixel block, one set is actually set for one pixel block. What is necessary is just to supply the prediction sum of the above to the product-sum operation circuit 45.
  • the class map extraction circuit 42 extracts a quantized DCT coefficient used for class classification for classifying the pixel of interest into one of several classes, and sets it as a class map.
  • the cluster group extraction circuit 42 forms the same class map for each pixel of a certain pixel block.
  • the class group extraction circuit 42 includes, for example, the prediction group extraction circuit 41
  • all the 8 ⁇ 8 quantized DCT coefficients of the DCT block corresponding to the pixel block to which the target pixel belongs as shown in FIG. 6 are extracted as a class map.
  • the class tap extracting circuit 42 does not include the 64 pixels constituting the target pixel block and the 64 sets of clusters for classifying the target pixel block, but one class for classifying the target pixel block. It is sufficient to form a class map for each pixel. For this reason, the cluster group extraction circuit 42, for each pixel work, classifies the pixel work into 64 classes of DCT corresponding to the pixel work. Quantized DCT coefficients are extracted to make a class map.
  • quantized DCT coefficients making up the prediction group tap are not limited to those described above.
  • the class map of the target pixel block obtained in the class map extraction circuit 42 is supplied to the class classification circuit 43.
  • the class classification circuit 43 classifies the pixel block of interest based on the class map from the class map extraction circuit 42, and outputs a class code corresponding to the class obtained as a result.
  • ADR C Adaptive Dynamic Range Coding
  • the quantized DCT coefficient constituting the class tap is subjected to ADRC processing, and the class of the target pixel block is determined according to the resulting ADRC code.
  • the quantized DCT coefficients constituting the class tap are requantized to K bits. That is, the minimum value MIN is subtracted from the quantized DCT coefficients forming the class map, and the subtracted value is divided (quantized) by DR / 2K. Then, a bit sequence obtained by arranging the K-bit quantized DCT coefficients constituting the class tap in a predetermined order, which is obtained as described above, is output as an ADRC code.
  • each of the quantized DCT coefficients constituting the class map has a maximum value MAX after subtracting the minimum value MIN. Divided by the average of the minimum value MIN and the minimum value MIN. (Binarized). Then, a bit sequence in which the one-bit quantized DCT coefficients are arranged in a predetermined order is output as an ADRC code.
  • the class classification circuit 43 can output the level distribution pattern of the quantized DCT coefficients constituting the class taps as a class code, for example.
  • the number of class taps is N. It is composed of quantized DCT coefficients, and K bits are assigned to each quantized DCT coefficient.
  • the number of class codes output by the classification circuit 43 is (2 N ) ⁇ Which is a huge number exponentially proportional to the number of bits K of the quantized DCT coefficient.
  • the class classification circuit 43 it is preferable to perform the class classification after compressing the information amount of the cluster group by the above-described ADCR processing or vector quantization.
  • the class tap is composed of 64 quantized DCT coefficients as described above.
  • Kurasuko the number of cases of de is a large value of 2 84 kinds.
  • the class classification circuit 43 extracts feature values having high importance from the quantized DCT coefficients constituting the class map, and performs class classification based on the feature values. With this, the number of classes is reduced.
  • FIG. 7 shows a configuration example of the class classification circuit 43 of FIG.
  • the class tap is supplied to the power calculation circuit 51.
  • the power calculation circuit 51 divides the quantized DCT coefficients constituting the class tap into those of several spatial frequency bands, and calculates the power of each frequency band.
  • the power operation circuit 51 converts the 8 ⁇ 8 quantized DCT coefficients constituting the class tap into four spatial frequency bands S as shown in FIG. , S l3 S 2 , S 3 .
  • the 8 ⁇ 8 quantized DCT coefficients that make up the class map are added to the alphabet and are assigned sequential integers starting from 0 in raster scan order as shown in Fig. 6.
  • spatial frequency band S. Is the four quantized DCT coefficients ⁇ . , ⁇ , a, ⁇ 9 and the spatial frequency band S i is DCT coefficients X 2, X 3, X 4 , X 5, X 6, X 7, 1 0, 1 1, X 12, 13, 14, x comprised 15.
  • the spatial frequency band S 2 has 12 quantized DCT coefficients
  • the spatial frequency band S 3 is 36 DCT coefficients x ia , x i9j X 2
  • the power calculation circuit 51 has a spatial frequency band S. , Si, S 2 , S 3 and the power P of the AC component of the quantized DCT coefficient. Calculates the P l5 P 2, P 3, and outputs the class scores one de generation circuit 52.
  • the power operation circuit 51 performs the spatial frequency band S.
  • AC components X 1, of, xi, a, X 9 8 ,. 9 obtains the square sum of x + x ⁇ + xs 2, this power P. Is output to the class code generation circuit 52.
  • the power calculation circuit 51 obtains the AC component of the above-mentioned 12 quantized DCT coefficients for the spatial frequency band Si, that is, the sum of squares of all 12 quantized DCT coefficients, and calculates this.
  • the power is output to the class code generation circuit 52 as power.
  • the power calculation circuit 51 obtains the power P 2 and the power P 3 for the spatial frequency band S 2 and the spatial frequency band S 3 in the same manner as in the spatial frequency band S i, Output to the code generation circuit 52.
  • the class code generation circuit 52 calculates the power P from the power calculation circuit 51.
  • P!, P 2 , and P 3 are the corresponding threshold values stored in the threshold value table storage unit 53. , ⁇ , ⁇ 2 , ⁇ ⁇ 3 and compare them and output the class code based on their magnitude relation. That is, the class code generation circuit 52 generates the power ⁇ . And the threshold ⁇ . And obtains a one-bit code representing the magnitude relationship. Similarly, the class code generation circuit 52 obtains a 1-bit code for each of the power and the threshold ⁇ by comparing the power P 2 with the threshold TH 2 and the power P 3 with the threshold TH 3. .
  • the class code generation circuit 52 outputs a 4-bit code (for example, 0 to 1) obtained by arranging the four 1-bit codes obtained as described above in, for example, a predetermined order.
  • Class representing the class of the pixel block of interest Output as code.
  • the threshold table storage unit 53 stores the spatial frequency band S. ⁇ S 3 power P. ⁇ P 3 and their respective comparison threshold! ⁇ ⁇ Ding! I remember ⁇ .
  • the DC component x of the quantized DCT coefficient is used for the class classification processing. Is not used, but this DC component x. Classification can also be performed using
  • the class code output from the class classification circuit 43 as described above is given as an address to the coefficient table storage unit 44.
  • the coefficient table storage unit 44 stores a coefficient table in which evening coefficients obtained by performing a learning process described later are registered, and corresponds to a class code output from the classifying circuit 43.
  • the coefficient stored in the address is output to the product-sum operation circuit 45.
  • the coefficient table storage unit 44 stores 64 sets of set coefficients for an address corresponding to one class code.
  • the product-sum operation circuit 45 acquires the prediction tap output from the prediction tap extraction circuit 41 and the sunset coefficient output from the coefficient table storage unit 44, and obtains the prediction tap and the sunset.
  • the coefficient is used to perform the linear prediction operation (product-sum operation) shown in equation (1), and the 8 ⁇ 8 pixel value of the pixel block of interest obtained as a result is decoded as the result of decoding the corresponding DCT block.
  • Output to decomposition circuit 33 (Fig. 3).
  • each pixel of the target pixel block is sequentially set as the target pixel.
  • the product-sum operation circuit 45 determines the target pixel of the target pixel block as the target pixel.
  • the operation is performed in the operation mode corresponding to the position of the pixel (hereinafter, appropriately referred to as pixel position mode). That is, for example, among the pixels of the target pixel block, the i-th pixel in the raster scan order is denoted by P i, and when the pixel pi is the target pixel, the product-sum operation circuit 45 sets the pixel position mode # Perform the processing of i.
  • the coefficient table storage unit 44 outputs 64 sets of sunset coefficients for decoding the 64 pixels constituting the target pixel block and each of them.
  • the product-sum operation circuit 45 indicates that when the operation mode is the pixel position mode # i, The product-sum operation of the equation (1) is performed using the set W i of the 64-set type coefficients, and the result of the product-sum operation is used as the decoding result of the pixel P i.
  • the quantized DCT coefficient for each block output from the entropy decoding circuit 31 is sequentially received by the prediction tap extraction circuit 41 and the class tap extraction circuit 42.
  • the prediction type extraction circuit 41 sequentially sets the pixel blocks corresponding to the quantized DCT coefficient blocks (DCT blocks) supplied thereto as target pixel blocks.
  • step S11 the class-map extraction circuit 42 extracts, from the quantized DCT coefficients received there, one used to classify the target pixel block into a class, and extracts the class map. And supplies it to the classification circuit 43.
  • step S12 the class classification circuit 43 classifies the pixel block of interest using the class map from the class map extraction circuit 42, and stores the resulting class code in a coefficient table. Part 4 Output to 4.
  • step S12 the power operation circuit 51 of the class classification circuit 43 (FIG. 7) performs the class mapping.
  • This power P. To P 3 is Ru is output from the power calculating circuit 5 1 to the class code generating circuit 5 2.
  • the class code generation circuit 52 stores the threshold value TH from the threshold value table storage unit 53. It reads to TH 3, power P. from the power calculation circuit 5 1 ⁇ P 3 And the threshold TH. To TH 3 compares it it and generates it class code based on its magnitude relation, the process returns.
  • the class code obtained in step S12 as described above is given as an address from the classifying circuit 43 to the coefficient table storage unit 44.
  • the coefficient table storage unit 44 Upon receiving the class code as the address from the classifying circuit 43, the coefficient table storage unit 44 reads out the 64 sets of evening coefficients stored in the address in step S13 and multiplies the same. Output to sum operation circuit 45.
  • step S14 the prediction tap extraction circuit 41 sets a pixel which has not been set as the target pixel in the raster scan order among the pixels of the target pixel block as the target pixel, and sets the target pixel as the target pixel. Extract the quantized DCT coefficients used to predict the pixel value of, and configure them as prediction taps.
  • This prediction map is supplied from the prediction map extraction circuit 41 to the product-sum operation circuit 45.
  • the same prediction type is configured for all the pixels in the pixel block for each pixel block. For a pixel block, if it is performed only for the first pixel of interest, it is not necessary to perform the process for the remaining 63 pixels.
  • step S15 the product-sum operation circuit 45 corresponds to the pixel position mode for the pixel of interest among the 64 sets of sunset coefficients output from the coefficient table storage section 44 in step S13.
  • the equation (1) is obtained. Is performed to obtain a decoded value of the pixel value of the target pixel.
  • step S16 the prediction tap extraction circuit 41 determines whether or not all pixels of the target pixel block have been processed as the target pixel.
  • step S16 if it is determined that all pixels of the target pixel block have not been processed yet as the target pixel, the process returns to step S14, and the prediction tap extraction circuit 41 returns to the pixel of the target pixel block.
  • the same processing is repeated with a pixel which has not yet been set as the pixel of interest in the order of the scan in the last day as a new pixel of interest.
  • step S16 all pixels of the pixel block of interest are When it is determined that the processing has been performed as described above, that is, when the decoded values of all the pixels of the pixel block of interest are obtained, the product-sum operation circuit 45 generates a pixel block (decoded block) composed of the decoded values. Is output to the block decomposition circuit 33 (FIG. 3), and the processing is terminated.
  • the process according to the flowchart of FIG. 9 is repeatedly performed each time the prediction pixel extraction circuit 41 sets a new target pixel block.
  • FIG. 11 illustrates a configuration example of a learning device 60A that performs a learning process of tap coefficients stored in the coefficient table storage unit 44 of FIG.
  • One or more images for learning are supplied to the blocking circuit 61 as teacher data serving as a teacher at the time of learning.
  • the blocking circuit 61 blocks the image as the teacher data into 8 ⁇ 8 pixel blocks as in the case of the JPEG encoding.
  • the DCT circuit 62 sequentially reads out the pixel blocks blocked by the blocking circuit 61 as a target pixel block, and performs DCT processing on the target pixel block to block the DCT coefficients.
  • the DCT coefficient block is supplied to the quantization circuit 63.
  • the quantization circuit 63 quantizes the DCT coefficient block from the DCT circuit 62 according to the same quantization table used for JPEG encoding, and obtains a block of the resulting quantized DCT coefficient ( DCT block) is sequentially supplied to the prediction map extraction circuit 64 and the class tap extraction circuit 65.
  • the prediction pixel extraction circuit 64 sets the pixels in the pixel-of-interest block that are not yet regarded as pixels of interest in the raster scan order as pixels of interest, and calculates the prediction pixels in FIG.
  • the same prediction map as that formed by the live extraction circuit 41 is formed by extracting necessary quantized DCT coefficients from the output of the quantization circuit 63.
  • the prediction tap is supplied from the prediction tap extracting circuit 64 to the normal equation adding circuit 67 as student data to be a student during learning.
  • the class map extraction circuit 65 uses the same class tap as that formed by the class map extraction circuit 42 in FIG. 5 from the output of the quantization circuit 63 to obtain the required quantization DCT for the pixel of interest. It is configured by extracting coefficients. This class tap is The signal is supplied from the stub extraction circuit 65 to the classification circuit 66.
  • the class classification circuit 66 performs the same processing as the class classification circuit 43 in FIG. 5 using the class map from the class map extraction circuit 65, thereby classifying the pixel block of interest.
  • the resulting class code is supplied to the normal equation adding circuit 67.
  • the normal equation addition circuit 67 reads the pixel value of the pixel of interest as the teacher data from the block conversion circuit 61, and outputs the prediction data and the student data from the prediction circuit configuration circuit 64 as the student data. Addition is performed for the quantized DCT coefficient and the pixel of interest that constitutes 0.
  • the normal equation addition circuit 67 uses the prediction map (student data) for each class corresponding to the class code supplied from the class classification circuit 66, and calculates each of the matrices in the matrix A of the equation (8). It performs multiplication between students (X in X im) and sharks ( ⁇ ), which are the components. .
  • the normal equation addition circuit 67 also uses the prediction map (student data) and the pixel of interest (teacher data) for each class corresponding to the class code supplied from the class classification circuit 66.
  • the normal equation adding circuit 67 performs the above addition as all the pixels constituting the teacher image supplied to the blocking circuit 61 as a pixel of interest. With this, for each class, for each pixel position mode, The normal equation shown in equation (8) is established.
  • the tap coefficient determination circuit 68 obtains 64 sets of tap coefficients for each class by solving the normal equation generated for each class and for each pixel position mode in the normal equation addition circuit 67. It is supplied to the address corresponding to each class in the coefficient table storage unit 69.
  • the normal equation addition circuit 67 can provide the normal number of normal There may be a case where a class for which an equation cannot be obtained may occur. However, for such a class, the tap coefficient determination circuit 68 outputs, for example, a default skip coefficient.
  • the coefficient determination circuit 68 stores 64 sets of set coefficients for each class supplied by the class.
  • the image data for learning is supplied to the blocking circuit 61 as training data, and the blocking circuit 61 converts the image data as training data in step S31 into JPEG encoding.
  • the process is performed on a pixel block of 8 ⁇ 8 pixels, and the process proceeds to step S32.
  • the 00! 1 circuit 62 sequentially reads out the pixel blocks blocked by the blocking circuit 61, and subjects the pixel block of interest to DCT processing to obtain a block of DCT coefficients.
  • the quantization circuit 63 sequentially reads out the DCT coefficient blocks obtained in the DCT circuit 62, and quantizes them according to the same quantization table used for JPEG encoding. This is a block composed of DCT coefficients (DCT block).
  • step S34 the class map extraction circuit 65 sets a pixel block that has been blocked by the blocking circuit 61 and has not yet been set as a target pixel block as a target pixel block. . Further, the class map extraction circuit 65 extracts a quantized DCT coefficient used for classifying the target pixel block from the DCT program obtained by the quantization circuit 63, and forms a class map. , Classification circuit 66 In step S35, the class classification circuit 66 classifies the pixel block of interest using the class tap from the class map extraction circuit 65 in the same manner as described in the flowchart of FIG. The resulting class code is supplied to the normal equation adding circuit 67, and the flow advances to step S36.
  • step S36 the prediction tap extraction circuit 64 sets a pixel that has not been set as the target pixel in the raster scan order among the pixels of the target pixel block as a target pixel, and calculates the target pixel as shown in FIG.
  • the required prediction DCT coefficient is extracted from the output of the quantization circuit 63 by using the same prediction tap as that formed by the prediction tap extraction circuit 41 of FIG.
  • the prediction type extraction circuit 64 supplies the prediction type for the target pixel to the normal equation addition circuit 67 as student data, and proceeds to step S37.
  • step S37 the normal equation addition circuit 67 reads out the pixel of interest as teacher data from the blocking circuit 61, and quantizes the DCT coefficients and teacher data constituting the prediction gap as student data.
  • the above-described addition of the matrix A and the vector V in Expression (8) is performed on the target pixel as. This addition is performed for each class corresponding to the class code from the class classification circuit 66 and for each pixel position mode for the target pixel.
  • step S38 the prediction pixel extraction circuit 64 determines whether or not addition has been performed with all the pixels of the target pixel block as the target pixels.
  • step S38 if it is determined that all pixels of the pixel-of-interest block of interest have been set as the pixel of interest and addition has not been performed, the process returns to step S36, and the prediction tap extraction circuit 64 The same processing is repeated for the pixels of the pixel block of interest, which are not yet set as the pixel of interest in the raster scan order, and are newly set as the pixel of interest.
  • step S38 when it is determined that all pixels of the pixel-of-interest target pixel have been added as the pixel of interest and the addition has been performed, the process proceeds to step S39, and the blocking circuit 61 sets the teacher It is determined whether or not all the pixel blocks obtained from the image as have been processed as the target pixel block.
  • step S39 if it is determined that all the pixel blocks obtained from the image as the teacher data have not been processed yet as the target pixel blocks, the process returns to step S34, and the blocking circuit 6 Of the pixel blocks blocked in step 1, those not yet set as the target pixel block are set as the new target pixel block, and the same processing is repeated.
  • step S39 If it is determined in step S39 that all pixel blocks obtained from the image as the teacher data have been processed as the target pixel block, that is, the normal equation adding circuit 67 If the normal equation for each pixel position mode is obtained, the process proceeds to step S40, where the tap coefficient determination circuit 6 8 solves the normal equation generated for each pixel position mode of each class, and calculates the 64 pixel position modes of the class and the corresponding 64 sets of tap coefficients for each class. Then, it is supplied to and stored in the address corresponding to each class in the coefficient table storage unit 69, and the processing is terminated.
  • the tap coefficients for each class stored in the coefficient table storage section 69 are stored in the coefficient table storage section 44 of FIG.
  • the tap coefficients stored in the coefficient table storage unit 44 are such that the prediction error (here, the square error) of the prediction value of the original pixel value obtained by performing the linear prediction operation is statistically minimized.
  • the prediction error here, the square error
  • the JPEG-coded image can be decoded into an image as close as possible to the original image. Can be.
  • the decoding process of the JPEG-coded image and the process of improving the image quality are performed simultaneously, so that the JPEG-coded image can be efficiently improved in image quality.
  • a decoded image can be obtained.
  • FIG. 13 shows another configuration example of the coefficient conversion circuit 32 of FIG.
  • parts corresponding to those in FIG. 5 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 32B shown in FIG. 13 is basically configured in the same manner as in FIG. 5, except that the inverse quantization circuit 71 is newly provided.
  • the inverse quantization circuit 71 includes quantization for each block obtained by entropy decoding the encoded data in the entropy decoding circuit 31 (FIG. 3). DCT coefficients are supplied.
  • a quantization table can be obtained from the encoded data.
  • the quantization table is also supplied from the entropy decoding circuit 31 to the inverse quantization circuit 71.
  • the inverse quantization circuit 71 inversely quantizes the quantized DCT coefficient from the entropy decoding circuit 31 according to the same quantization table from the entropy decoding circuit 31 and predicts the DCT coefficient obtained as a result. Extraction circuit 4 1 and class tap extraction times Route 42
  • the prediction map and the class map are each configured for the DCT coefficient instead of the quantized DCT coefficient.
  • the same processing as in FIG. 5 is performed on DCT coefficients.
  • the processing is performed not on the quantized DCT coefficient but on the DCT coefficient, so that the tap coefficients stored in the coefficient table storage section 44 are as shown in FIG. Must be different from the case in
  • FIG. 14 shows another configuration example of the learning device 60B that performs the learning process of the coefficient stored in the coefficient table storage unit 44 of FIG.
  • the learning device 60 B shown in FIG. 14 is basically the same as the case of FIG. 11 except that an inverse quantization circuit 81 is newly provided after the quantization circuit 63. It is configured.
  • the inverse quantization circuit 81 inversely quantizes the quantized DCT coefficient output from the inverse quantization circuit 63 similarly to the inverse quantization circuit 71 of FIG.
  • the DCT coefficient obtained as a result is supplied to the prediction gap extraction circuit 64 and the class gap extraction circuit 65.
  • the prediction map and the class map are respectively configured for the DCT coefficients, not the quantized DCT coefficients, and thereafter, Also, the same processing as in FIG. 11 is performed for DCT coefficients.
  • a DCT coefficient is quantized, and a tap coefficient that reduces the influence of a quantization error caused by the inverse quantization is obtained.
  • FIG. 15 shows another configuration example of the coefficient conversion circuit 32 of FIG.
  • the coefficient conversion circuit 32 C shown in FIG. 13 is basically configured in the same manner as in FIG. 5 except that the cluster extraction circuit 42 and the class classification circuit 43 are not provided. I have. Therefore, the coefficient conversion circuit 32 C shown in FIG. 15 does not have the concept of a class. However, since it is considered that there is only one class, the coefficient table storage unit 44 stores one class of evening coefficient. Is stored, and processing is performed using this. As described above, in the coefficient conversion circuit 32 C of FIG. 15, the coefficient stored in the coefficient table storage unit 44 is different from that of FIG. 5.
  • FIG. 16 shows an example of the configuration of a learning device 60C that performs a learning process of the coefficient stored in the coefficient table storage unit 44 of FIG.
  • the learning device 60C shown in FIG. 16 has basically the same configuration as that in FIG. 11 except that the class tap extraction circuit 65 and the class classification circuit 66 are not provided.
  • the above-described addition is performed for each pixel position mode in the normal equation addition circuit 67 regardless of the class. Then, in the tap coefficient determination circuit 68, the tap coefficient is obtained by solving the normal equation generated for each pixel position mode.
  • FIG. 17 shows another configuration example of the coefficient conversion circuit 32 of FIG.
  • the same reference numerals are given to portions corresponding to those in FIG. 5 or FIG. 13, and the description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 3 2D shown in FIG. 17 does not include the class tap extraction circuit 42 and the class classification circuit 43, and has the additional configuration that the inverse quantization circuit 71 is newly provided. Basically, the configuration is the same as in FIG.
  • a prediction tap is configured for the DCT coefficient output from the conversion circuit 71, and the processing is performed for the DCT coefficient thereafter.
  • FIG. 18 shows a configuration example of a learning device 60D that performs a learning process of tap coefficients stored in the coefficient table storage unit 44 of FIG.
  • the same reference numerals are given to portions corresponding to those in FIG. 11 or FIG. 14, and the description thereof will be appropriately omitted. That is, the learning device 60D shown in FIG. 18 does not include the class tap extraction circuit 65 and the class classification circuit 66, and has a new inverse quantization circuit 81.
  • the configuration is basically the same as that in FIG.
  • the predictive table extraction circuit 64 predictive parameters and sops are configured not for quantized DCT coefficients but for DCT coefficients. Processing is performed on the target. Further, in the normal equation addition circuit. 67, the above-described addition is performed independently of the class, and in the tap coefficient determination circuit 68, the normal equation generated independently of the class is solved, so that the type is added. A coefficient is determined.
  • JPEG-encoded images for compressing and encoding still images are targeted, but the present invention is directed to compression-encoding moving images, for example, MPEG-encoded images. Is also possible.
  • FIG. 19 illustrates a configuration example of the encoder 21 of FIG. 2 in the case where MPEG encoding is performed.
  • frames or fields constituting a moving image to be subjected to MPEG encoding are sequentially supplied to the motion detection circuit 91 and the arithmetic unit 92.
  • the motion detection circuit 91 detects a motion vector for the frame supplied thereto in macro macro units, and supplies the motion vector to the entropy coding circuit 96 and the motion compensation circuit 100.
  • the image supplied thereto is an I (Intra) picture, it supplies it to the blocking circuit 93 as it is, and if it is a P (Predictive) or B (Bidirectionally predictive) picture, The difference from the reference image supplied from the motion compensation circuit 100 is calculated, and the difference value is supplied to the blocking circuit 93.
  • the blocking circuit 93 blocks the output of the computing unit 92 into an 8 ⁇ 8 pixel block and supplies the block to the DCT circuit 94.
  • the quantization circuit 95 quantizes the DCT coefficient in block units from the DCT circuit 93 in a predetermined quantization step, and supplies the resulting quantized DCT coefficient to the entropy encoding circuit 96.
  • the entropy coding circuit 96 entropy-codes the quantized DCT coefficient from the quantization circuit 95, adds the motion vector from the motion detection circuit 91 and other necessary information, and obtains the result.
  • the encoded data is output as the result of MPEG encoding.
  • I-pictures and P-pictures need to be spoken to be used as reference pictures for P-pictures and B-pictures to be encoded later Therefore, it is supplied to an inverse quantization circuit 97 in addition to the entropy encoding circuit 96.
  • the inverse quantization circuit 97 inversely quantizes the quantized DCT coefficient from the quantization circuit 95 to obtain a DCT coefficient, which is supplied to the inverse DCT circuit 98.
  • the inverse DCT circuit 98 performs the inverse DCT processing on the DCT coefficient from the inverse quantization circuit 97 and outputs the result to the arithmetic unit 99.
  • the arithmetic unit 99 outputs the inverse DCT circuit 98 and outputs The reference image output from the compensation circuit 100 is also supplied. If the output of the inverse DC ⁇ circuit 98 is for a ⁇ picture, the arithmetic unit 99 adds the output of the inverse DC ⁇ circuit 98 and the output of the motion compensation circuit 100 to decode the original image. , To the motion compensation circuit 100. If the output of the inverse DC input circuit 98 is that of an I-picture, the operation unit 99 sends the decoded picture of the I-picture to the motion compensation circuit 100 as it is. Supply.
  • the motion compensation circuit 1000 performs motion compensation according to the motion vector from the motion detection circuit 91 on the locally decoded image supplied from the computing unit 99, and outputs the image after the motion compensation. Are supplied to the computing units 92 and 99 as reference images.
  • FIG. 20 shows a configuration example of the MPEG decoder 110 that decodes the encoded data obtained as a result of the above MPEG encoding.
  • the coded data is encoded by an entropy decoding circuit.
  • Road 1 1 1 is supplied.
  • the entropy decoding circuit 111 subjects the coded data to event-to-peak decoding to obtain quantized DCT coefficients, motion vectors, and other information. Then, the quantized DCT coefficient is supplied to the inverse quantization circuit 112, and the motion vector is supplied to the motion compensation circuit 116.
  • the inverse quantization circuit 112 dequantizes the quantized DCT coefficient from the entropy decoding circuit 111 to obtain a DCT coefficient, which is supplied to the inverse DCT circuit 113.
  • the inverse DCT circuit 113 performs inverse DCT processing on the DCT coefficient from the inverse quantization circuit 112 and outputs the result to the arithmetic unit 114.
  • the arithmetic unit 111 also outputs the already decoded I picture or P picture output from the motion compensation circuit 116 to the motion from the entropy decoding circuit 111.
  • a motion compensated image according to the vector is supplied as a reference image.
  • the arithmetic unit 114 adds the output of the inverse DCT circuit 113 and the output of the motion compensation circuit 100 to obtain the original output.
  • the image is decoded and supplied to the block decomposition circuit 115. If the output of the inverse DCT circuit 113 is that of an I-picture, the operation unit 114 outputs the decoded image of the I-picture. Supply. 'The block decomposition circuit 115 obtains and outputs a decoded image by deblocking the decoded image supplied from the arithmetic unit 114 in units of pixel blocks.
  • the motion compensation circuit 1 16 receives the I-picture and the P-picture of the decoded image output by the arithmetic unit 1 14 and performs the motion compensation according to the motion vector from the entropy decoding circuit 1 1. Apply. Then, the motion compensation circuit 116 supplies the image after the motion compensation to the arithmetic unit 114 as a reference image.
  • the decoder 22 in FIG. 3 can also efficiently decode the encoded data that has been MPEG-encoded into a high-quality image as described above.
  • the encoded data is supplied to the entropy decoding circuit 31, and the entropy decoding circuit 31 performs entropy decoding of the encoded data.
  • the quantized DCT coefficients, motion vectors, and other information obtained as a result of the entropy decoding are supplied from the event speech decoding circuit 31 to the coefficient conversion circuit 32.
  • the coefficient transforming circuit 32 includes a quantized DCT coefficient Q from the entropy decoding circuit 31 and A predetermined prediction operation is performed using the tap coefficients obtained by performing the learning, and the motion compensation according to the motion vector from the entropy decoding circuit 31 is performed as necessary, thereby achieving the quantization DCT.
  • the coefficients are decoded into the original pixel values and supplied to the block decomposition circuit 33.
  • the block decomposition circuit 33 obtains and outputs a decoded image by deblocking the pixel block composed of the decoded pixels obtained in the coefficient conversion circuit 32.
  • FIG. 21 shows an example of the configuration of the coefficient conversion circuit 32 of FIG. 3 in the case of decoding the encoded data that has been M PEG encoded in the decoder 22.
  • the portions corresponding to those in FIG. 17 or FIG. 20 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 3 2E shown in FIG. 21 is the same as that of FIG. 20 except that the arithmetic unit 114 and the motion compensation circuit 116 shown in FIG. The configuration is the same as in the case of FIG.
  • the prediction operation using the tab coefficient is performed in place of the inverse DCT processing in the inverse DCT circuit 113 of the MPEG decoder of FIG.
  • a decoded image is obtained as in the case of 0.
  • FIG. 22 shows a configuration example of a learning device 60E that learns tap coefficients stored in the coefficient table storage section 44 of FIG. Note that, in the figure, portions corresponding to the case in FIG. 18 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • a learning image is input to the motion vector detection circuit 121 and the arithmetic unit 122 as a training data.
  • Motion vector detection circuit 1 2 1, arithmetic unit 1 2 2, blocking circuit 1 2 3, DCT circuit 1 2 4, quantization circuit 1 2 5, inverse quantization circuit 1 2 7, inverse DCT circuit 1 2 8 , Arithmetic unit 12 9 or motion compensation circuit 130 is the motion vector detection circuit 91, arithmetic unit 92, blocking circuit 93, DCT circuit 94, and quantization circuit 95 in FIG. , The inverse quantization circuit 97, the inverse DCT circuit 98, the arithmetic unit 99, or the motion compensation circuit 100, and the same processing, whereby the quantization circuit 125, as shown in FIG. The same quantized DCT coefficient as that output by the quantization circuit 95 is output.
  • the quantized DCT coefficient output from the quantization circuit 125 is supplied to the inverse quantization circuit 81, and the inverse quantization circuit 81 inversely quantizes the quantized DCT coefficient from the quantization circuit 125. Then, it is converted into a DCT coefficient and supplied to the prediction tap extracting circuit 64.
  • the prediction tap extraction circuit 64 forms a prediction tap from the DCT coefficient from the inverse quantization circuit 81 and supplies the prediction tap to the normal equation addition circuit 67.
  • the normal equation addition circuit 67 performs the above-described addition using the output of the arithmetic unit 122 as teacher data and the prediction tap from the inverse quantization circuit 81 as student data. Generate a normal equation.
  • the tap coefficient determination circuit 68 obtains a tap coefficient by solving the regular equation generated by the normal equation adding circuit 67, and supplies the tap coefficient to the coefficient table storage unit 69 for storage.
  • the product-sum operation circuit 45 in FIG. 21 decodes the MPEG-encoded data using the tap coefficients obtained in this manner, so that the MPEG-encoded image is also decoded.
  • the processing and the processing for improving the image quality can be performed at the same time, so that a decoded image with good image quality can be obtained efficiently from the MPEG-coded image.
  • the coefficient conversion circuit 32E in FIG. 21 can be configured without the inverse quantization circuit 71.
  • the learning device 60 E in FIG. 22 may be configured without the inverse quantization circuit 81.
  • the coefficient conversion circuit 32E in FIG. 21 can be configured by providing a class-map extraction circuit 42 and a class classification circuit 43, as in the case of FIG.
  • the learning device 60E in FIG. 22 may be configured by providing the class-map extracting circuit 65 and the class-classifying circuit 66 as in the case of FIG.
  • the conversion coefficient is obtained by acquiring the evening coefficient obtained by performing the learning, and performing a predetermined prediction operation using the tap coefficient and the conversion data. Since the data is decoded into the original data, the converted data can be efficiently decoded.
  • student data to be a student is generated by performing at least orthogonal transformation or frequency conversion on the teacher data to be a teacher, and a prediction operation is performed using a tap coefficient and the student data.
  • the tap coefficients are obtained by learning to statistically minimize the prediction error of the prediction value of the teacher data obtained by By using the tap coefficients, it is possible to efficiently decode data that has been subjected to orthogonal transform or frequency transform.
  • the decoder 22 shown in FIG. 2 includes an entropy decoding circuit 231, a coefficient conversion circuit 23, and a block decomposition circuit 23, as shown in FIG.
  • the encoded data is decoded using the decoder 222.
  • the encoded data is supplied to an entropy decoding circuit 231.
  • the entropy decoding circuit 231 performs the entropy decoding of the encoded data and performs quantization for each block obtained as a result.
  • the DCT coefficient Q is supplied to the coefficient conversion circuit 232 (the encoded data includes a quantized DCT coefficient coded by entropy, as well as a quantization table. It can be used for decoding quantized DCT coefficients as needed.
  • the coefficient conversion circuit 2 32 performs quantization from the entropy decoding circuit 2 3 1 .By performing a predetermined prediction operation using the DCT coefficient Q and the tap coefficient obtained by learning, the quantization DCT for each block is performed.
  • the coefficients are decoded into an original block of 8 ⁇ 8 pixels, and data is further processed to improve the image quality of the original block.
  • the original block is composed of 8 ⁇ 8 pixels, but the coefficient conversion circuit 232 performs a prediction operation using the sunset coefficient to obtain a horizontal and vertical direction of the 8 ⁇ 8 pixel block. In this case, we obtain a block consisting of 16 x 16 pixels, each of which has doubled the spatial resolution of each.
  • the coefficient conversion circuit 232 decodes a block composed of 8 ⁇ 8 quantized DCT coefficients into a block composed of 16 ⁇ 16 pixels and outputs it. .
  • the block decomposition circuit 23 33 obtains and outputs a decoded image with improved spatial resolution by deblocking the block of 16 ⁇ 16 pixels obtained in the coefficient conversion circuit 2 32.
  • the encoded data is sequentially supplied to the entropy decoding circuit 231, and in step S101, the entropy decoding circuit 231, And supplies the quantized DCT coefficient Q for each block to the coefficient conversion circuit 232.
  • the coefficient conversion circuit 232 performs a prediction operation using the type coefficient, thereby converting the quantized DCT coefficient Q for each block from the entropy decoding circuit 231 into a pixel value for each block. Then, a so-called high-resolution block in which the spatial resolution of the block is improved and the spatial resolution of the block is improved is obtained and supplied to the block decomposition circuit 233.
  • step S103 the block decomposition circuit 233 performs block decomposition for deblocking the block of the pixel value with improved spatial resolution from the coefficient conversion circuit 232, and obtains the resulting high value. Output the decoded image of the resolution, and end the processing.
  • the coefficient conversion circuit 232 shown in FIG. 23 decodes the quantized DCT coefficients into pixel values using the above-described class classification adaptation processing, and further obtains an image whose spatial resolution is improved. Obtainable.
  • FIG. 26 shows a configuration example of the coefficient conversion circuit 232 of FIG. 23 for decoding the quantized DCT coefficients into pixel values by the class classification adaptive processing.
  • the quantized DCT coefficients for each block output by the entropy decoding circuit 23 1 are calculated by the prediction map extraction circuit 24 1 and the class It is supplied to a sunset extraction circuit 242.
  • the prediction skip extraction circuit 241 generates a block of high-definition pixel values (this pixel value) corresponding to the block of 8 ⁇ 8 quantized DCT coefficients supplied thereto (hereinafter, appropriately referred to as a DCT block).
  • Block does not exist at this stage, but is assumed virtually) (hereinafter referred to as a high-quality block as appropriate) (in the present embodiment, a block of 16 ⁇ 16 pixels as described above)
  • a high-quality image of interest block is set, and each pixel constituting the high-quality image of interest block is sequentially set as a target pixel in, for example, a so-called Ras evening scan order.
  • the prediction tap extracting circuit 241 extracts a quantized DCT coefficient used for predicting the pixel value of the target pixel, and sets the extracted DCT coefficient as a prediction tap.
  • the prediction map can be composed of different quantized DCT coefficients for each target pixel.
  • the signal is supplied to the product-sum operation circuit 245.
  • the same prediction tap is configured for all pixels of the high-quality block, one set of high-quality blocks is actually What is necessary is just to supply the prediction sum to the product-sum operation circuit 245.
  • the class map extraction circuit 242 extracts a quantized DCT coefficient used for class classification for classifying the target pixel into one of several classes, and sets it as a cluster type.
  • an image is encoded, that is, DCT-processed and quantized for each 8 ⁇ 8 pixel block (hereinafter, appropriately referred to as a pixel work). Pixels belonging to a high image quality block are classified into the same class, for example. Therefore, the class map extraction circuit 242 forms the same class map for each pixel of a certain high-quality block. That is, as in the case of the prediction tap extraction circuit 241, for example, the class tap extraction circuit 242 generates the DCT block corresponding to the high image quality block to which the pixel of interest belongs as shown in FIG. Extract all 8 ⁇ 8 quantized DCT coefficients as a class map.
  • the class map extraction circuit 242 has a total of 256 pixels of 16 ⁇ 16 pixels constituting the high-quality image block of interest, and a class set of 256 sets for classifying them. Instead of a group, it is only necessary to configure a class set of one set for classifying the high-quality block of interest. Therefore, the cluster group extraction circuit 242 uses the high-quality block for each high-quality block.
  • 64 quantized DCT coefficients of the DCT block corresponding to the high image quality protocol are extracted and set as a class map. Note that the quantized DCT coefficients forming the prediction taps and the class taps are not limited to those described above.
  • the class map of the high-quality block of interest obtained in the class map extraction circuit 242 is supplied to the class classification circuit 243.
  • the class classification circuit 243 classifies the high quality image of interest based on the class map from the class tap extraction circuit 242, and outputs a class code corresponding to the class obtained as a result.
  • ADRC a method of performing the class classification
  • the quantized DC coefficient constituting the class map is subjected to ADRC processing, and the class of the high-quality block of interest is determined according to the resulting ADRC code.
  • the class classification circuit 243 extracts a highly important feature amount from the quantized D.CT coefficients constituting the class map, and performs class classification based on the extracted feature amount. With this, the number of classes is reduced.
  • FIG. 27 shows a configuration example of the class classification circuit 243 of FIG.
  • the class signal is supplied to the power calculation circuit 251.
  • the power calculation circuit 251 divides the quantized DCT coefficient constituting the class tap into several spatial frequency bands and calculates the power of each frequency band.
  • the power calculation circuit 25 1 divides the 8 ⁇ 8 quantized DC coefficients forming the class map into the four space as shown in FIG. 6 as in the power calculation circuit 51 described above.
  • spatial frequency band S. Is the four quantized DCT coefficients x. , XI, a
  • the spatial frequency band Si has 12 quantized DCT coefficients X 2 , X 3, ⁇ 4, X 5, X 6, X 7, X 10, X 11, X 12 , X l 3, X l 4 , composed of chi 1 5.
  • the spatial frequency band S 2 is composed of 12 quantized D GT coefficients X 17, X 24, X 25, X 32, X 33, X 40, X 41, X 48, X 49, X 56, X 57
  • the spatial frequency band S 3 is composed of 36 quantizations 0 ⁇ ′′ 1 and X 18, X 19, X 20, X 21, X 22 j X 23, X 26, X 27 3 X 28, X 29 j X 30, X 31; X 34, X 35, X 36 j X 37, X 38, X 39, X 42, X 43, X 44, X 45, X 4 ⁇ , X 47, X 50, X 51, 52, X 53, X 54, X 55, X 58, X 59, X 60, X 61, 62, ⁇ 63 It is composed of
  • the power calculation circuit 251 uses the spatial frequency band S. , Si, S 2 , S 3 For each, the power P of the AC component of the quantized DCT coefficient. , Pi, P 2 , and P 3 are calculated and output to the class code generation circuit 252.
  • the power calculation circuit 251 uses the spatial frequency band S. For the four quantized DCT coefficients X described above. , ⁇ , ⁇ 9 AC component x l 3 , Find the sum of squares of ⁇ 9 X ⁇ + ⁇ ⁇ + ⁇ ⁇ , this is the power ⁇ . Is output to the class code generation circuit 252. Further, the power calculation circuit 251 calculates the AC component of the above-mentioned 12 quantized DCT coefficients for the spatial frequency band Si, that is, the sum of squares of all 12 quantized DCT coefficients, This is output to the class code generation circuit 252 as power Pi. Further, the power calculation circuit 251 calculates the power P 2 and the power P 3 for the spatial frequency band S 2 and the spatial frequency band S 3 in the same manner as in the spatial frequency band S i, Output to the class code generation circuit 252.
  • the class code generation circuit 252 calculates the power P from the power calculation circuit 251.
  • Pi, P Ps are the corresponding threshold values stored in the threshold value table storage unit 253 ⁇ . , ⁇ , T ⁇ 2 , ⁇ 3 and each of them is compared, and the classco Byeon is output based on the magnitude relation of each. That is, the class code generation circuit 252 uses the power ⁇ . And the threshold ⁇ . To obtain a 1-bit code representing the magnitude relationship.
  • the class code generation circuit 252 the power Pi and the threshold value TH power P 2 and the threshold value TH 2, by a power P 3 and the threshold value TH 3 it is then compared, it about it, Ru give 1-bit code .
  • the class code generation circuit 252 generates a 4-bit code obtained by arranging the four 1-bit codes obtained as described above in, for example, a predetermined order. Is output as a class code representing the class of the high-quality block of interest.
  • the threshold table storage unit 253 stores the spatial frequency band S. Power P. of ⁇ S 3 ⁇ P 3 Threshold to compare with each! ⁇ ⁇ ! ⁇ ! I remember ⁇ .
  • the class code output from the classifying circuit 243 as described above is The address is given to the coefficient table storage unit 244 as an address.
  • the coefficient table storage unit 244 stores a coefficient table in which tap coefficients obtained by performing a learning process described later are registered, and corresponds to a class code output from the class classification circuit 243.
  • the coefficient stored in the address is output to the product-sum operation circuit 245.
  • one class code is obtained for the high-quality block of interest.
  • the high image quality block is composed of 256 pixels of 16 ⁇ 16 pixels. Therefore, for the high quality image of interest, the 256 pixels constituting it are decoded and decoded. To do so, a tap coefficient of 256 sets is required. Therefore, coefficient table storage section 244 stores 256 sets of tap coefficients for an address corresponding to one class code.
  • the product-sum operation circuit 2 4 5 obtains the prediction tap output from the prediction tap extraction circuit 2 4 1 and the sunset coefficient output from the coefficient table storage unit 2 4 4, and Using the tap coefficients and the linear prediction operation (product-sum operation) shown in the above equation (1), the pixel value of the 16 ⁇ 16 pixel of the high quality block of interest obtained as a result is calculated. ) Is output to the block decomposition circuit 23.3 (FIG. 23) as the decoding result of the corresponding DCT block. .
  • each pixel of the high-quality block of interest is sequentially set as the pixel of interest, but the product-sum operation circuit 2 45 The operation is performed in the operation mode corresponding to the position of the pixel (hereinafter referred to as “pixel position mode” as appropriate).
  • the i-th pixel in the raster scan order is represented as P i
  • the product-sum operation circuit 2 45 Perform mode #i processing.
  • the coefficient table storage unit 244 outputs 256 pixels constituting the target high image quality block and 256 sets of set coefficients for decoding each pixel.
  • the product-sum operation circuit 245 calculates the prediction map and the two when the operation mode is the pixel position mode #i. Using the set W i of the 56-set sunset coefficients, The product-sum operation of Expression (1) is performed, and the result of the product-sum operation is used as the decoding result of the pixel P i.
  • the quantized DCT coefficients for each of the programs output by the event speech decoding circuit 2 31 are sequentially received by the prediction type extraction circuit 241 and the class type extraction circuit 242, and the prediction tap extraction is performed.
  • the circuit 241 sequentially selects high-quality blocks corresponding to the blocks of the quantized DCT coefficients (DCT blocks) supplied thereto as attention high-quality blocks.
  • step S111 the class map extraction circuit 242 extracts, from the quantized DCT coefficients received there, one used to classify the high-quality block of interest and classifies the cluster map. It is configured and supplied to the classification circuit 2 43.
  • step S112 the class classification circuit 243 classifies the high quality image of interest using the cluster group from the cluster group extraction circuit 242, and stores the resulting class code in the coefficient table storage unit 224. Output to 4.
  • step S112 the electric power calculation circuit 2 of the class classification circuit 243 (FIG. 27) 51 is the four spatial frequency bands S shown in FIG. 8 above, which represent the 8 ⁇ 8 quantized DCT coefficients that make up the class tap. Divided into ⁇ S 3, it its power P (! Calculates a ⁇ p 3. The power P. ⁇ P 3 is output to the power calculation circuit 2 5 1 from the class code generation circuit 2 5 2.
  • step S122 the class code generation circuit 252 converts the threshold value from the threshold value table storage unit 253 to the threshold value 11. It reads ⁇ 1 11 3, power P ⁇ from the power calculation circuit 2 5 1: P 3 respectively, the threshold value TH. ⁇ TH 3 Compare with each other, generate a class code based on the magnitude relation of each, and restart.
  • step S112 the class code obtained as described above in step S112 is given as an address from the class classification circuit 243 to the coefficient table storage unit 244.
  • the coefficient table storage unit 2 4 4 stores an address from the class classification circuit 2 4 3 as an address.
  • 256 sets of tap coefficients (tap coefficients of 256 sets corresponding to the class of the class code) stored in the address are read out. , And output to the product-sum operation circuit 245.
  • step S114 the prediction tap extraction circuit 241 determines, as pixels of interest, pixels that have not been regarded as the pixels of interest in the pixel of the high quality image of interest in the order of the raster scan.
  • the quantized DCT coefficients used to predict the pixel value of the pixel of interest are extracted and configured as a prediction type. This prediction type is supplied from the prediction tap extraction circuit 241 to the product-sum operation circuit 245.
  • step S11 is actually performed. If the processing in step 4 is performed only on the pixel that is initially set as the target pixel in the target high-quality block, it is not necessary to perform the processing on the remaining 255 pixels.
  • step S115 the product-sum operation circuit 245 selects the pixel of interest from among the 256 sets of sunset coefficients output from the coefficient table storage unit 244 in step S1.13.
  • a set of tap coefficients corresponding to the pixel position mode is obtained, and using the set of tap coefficients and the prediction tap supplied from the prediction map extraction circuit 241 in step S114, The product-sum operation shown in the above equation (1) is performed to obtain a decoded value of the pixel value of the target pixel.
  • step S 116 the prediction-noise extraction circuit 241 determines whether or not all the pixels of the high quality image of interest have been processed as the pixel of interest. If it is determined in step S116 that all the pixels of the high-quality block of interest have been set as the pixel of interest and processing has not yet been performed, the process returns to step S114, and the prediction pixel extraction circuit 2 41. In the pixels of the high-quality block of interest, a pixel that has not yet been set as the target pixel in the raster scanning order is set as a new target pixel, and the same processing is repeated.
  • step S116 If it is determined in step S116 that all pixels of the high-quality block of interest have been processed as the pixel of interest, that is, the decoded values of all the pixels of the high-quality block of interest, that is, 8 X If the quantized DCT coefficient of 8 is decoded into 8 x 8 pixels, and the 8 x 8 pixel is converted to 16 x 16 pixels, a high quality image is obtained. In this case, the product-sum operation circuit 245 outputs the high-quality block composed of the decoded value to the block decomposition circuit 233 (FIG. 23), and ends the processing.
  • the processing according to the flowchart of FIG. 28 is repeatedly performed each time the prediction type extraction circuit 241 sets a new high quality image block of interest.
  • FIG. 30 illustrates a configuration example of a learning device 270A that performs a learning process of tap coefficients stored in the coefficient table storage unit 244 of FIG.
  • the learning device 270A one or more pieces of learning image data are supplied to the thinning circuit 260 as a teacher data which serves as a teacher at the time of learning.
  • the product-sum operation circuit 245 in the coefficient conversion circuit 232A of FIG. 26 performs a process based on an enhancement process performed by performing a product-sum operation using the evening-up coefficient.
  • the enhancement process is a process of converting an 8 ⁇ 8 pixel into a high-quality 16 ⁇ 16 pixel image (improved resolution), which has doubled its horizontal and vertical spatial resolution.
  • the decimation circuit 260 decimates the pixels of the image data as the teacher data, and converts the image data in which both the horizontal and vertical pixels are set to 1 Z2 (hereinafter referred to as quasi-teacher data as appropriate).
  • the image data as the quasi-teacher data is of the same image quality (resolution) as the image data to be JPEG-encoded by the encoder 21 (FIG. 2).
  • the image to be coded is an SD (Standard Density) image
  • the image used as the teacher data is an HD (High Density) image in which both the horizontal and vertical pixel counts of the SD image are doubled. Must be used.
  • the blocking circuit 261 blocks one or more SD images generated by the decimation circuit 260 as quasi-teacher data into 8 ⁇ 8 pixel blocks as in the case of JPEG encoding.
  • the DCT circuit 262 sequentially reads out the pixel blocks blocked by the blocking circuit 261, and performs DCT processing on the pixel blocks to obtain DCT coefficient blocks.
  • the DCT coefficient block is supplied to the quantization circuit 263.
  • the quantization circuit 263 quantizes the DCT coefficient block from the DCT circuit 262 according to the same quantization table used for JPEG encoding in the encoder 21 (FIG. 2), and obtains the result.
  • Block of quantized DCT coefficients (DC T block) is sequentially supplied to the prediction type extraction circuit 264 and the class type extraction circuit 265.
  • the prediction tap extraction circuit 264 is used for a pixel which is a pixel of interest among the 16 ⁇ 16 pixels constituting a high image quality block which is a high quality block of interest by a normal equation addition circuit 267 described later.
  • the same prediction map as that formed by the prediction map extraction circuit 2 41 in FIG. 26 is constructed by extracting necessary quantized DCT coefficients from the output of the quantization circuit 2 63. .
  • the prediction tap is supplied from the prediction tap extraction circuit 264 to the normal equation addition circuit 2.67 as student data to be a student during learning.
  • the cluster group extraction circuit 265 uses the same cluster group as the cluster group extraction circuit 242 shown in FIG. It is constructed by extracting DCT coefficients. This cluster group is supplied to a class classification circuit 266 from a class map extraction circuit 265. The class classification circuit 2 6 6. performs the same processing as the class classification circuit 2 4 3 in Figure 26 using the class taps from the class tap extraction circuit 2 6 5. The blocks are classified into classes, and the resulting class code is supplied to a normal equation adding circuit 267.
  • the same HD image as that supplied to the thinning circuit 260 as the teacher data is supplied to the normal equation adding circuit 267.
  • the normal equation adding circuit 267 converts the HD image into a high-quality block of 16 ⁇ 16 pixels, and sequentially sets the high-quality blocks as high-quality blocks of interest. Further, the normal equation adding circuit 267 sequentially assigns, to the pixel of interest 16 ⁇ 16 pixels, which are not yet regarded as the pixel of interest in the order of the raster scan, for example, in the high-resolution block of interest. Note Addition is performed on the pixel value of the pixel of interest and the quantized DCT coefficient that constitutes the prediction gap from the prediction gap configuration circuit 264.
  • the normal equation adding circuit 2667 uses the prediction map (student data) for each class corresponding to the class code supplied from the classifying circuit 2666, and calculates the above equation (8) Performs operations equivalent to multiplication (X in X im) and student summation ( ⁇ ), which are the components of matrix A in the above.
  • the normal equation adding circuit 266 is also provided from the classifying circuit 266.
  • a prediction tap (student data) and a pixel of interest (teacher data) are used, and each component in the vector V of the above equation (8) is used.
  • the multiplication (x in yi) of the student data and the teacher data (x in yi) and the operation equivalent to the summation ( ⁇ ) are performed.
  • the normal equation adding circuit 267 performs the above-mentioned addition using all pixels constituting the HD image as teacher data supplied thereto as a pixel of interest, and thereby, for each class, for each pixel position mode Then, the normal equation shown in the above equation (8) is established.
  • the set coefficient determining circuit 268 is used to generate a set of 256 sets for each class. Is obtained and supplied to the address corresponding to each class in the coefficient table storage unit 269.
  • the tap coefficient determination circuit 268 outputs, for example, a default type coefficient for such a class.
  • the coefficient table storage unit 269 stores 256 sets of tap coefficients for each class supplied from the tap coefficient determination circuit 268.
  • the learning apparatus 27 OA thinning circuit 260 is supplied with an HD image, which is an image for learning, as a teacher image, and the thinning circuit 260 in step S130 Then, the pixels of the HD image as the teacher data are thinned out, and the SD image as the quasi-teacher data is generated in which both the horizontal and vertical pixels are halved.
  • step S131 the blocking circuit 26 1 uses the encoder 2 1 (FIG. 2) to convert the SD image as the quasi-teacher data obtained by the thinning circuit 260 into As in the case of the JPEG encoding, the image data is blocked into 8 ⁇ 8 pixel blocks, and the flow advances to step S132.
  • step S132 the DCT circuit 262 sequentially reads out the pixel blocks divided by the blocking circuit 261 and performs DCT processing on the pixel blocks to obtain a DCT coefficient block. 3 Proceed to 3.
  • step S133 the quantization circuit 263 sequentially reads out the blocks of DCT coefficients obtained in the DCT circuit 262, and uses the same quantization table as that used for JPEG encoding in the encoder 21. , And a quantized DCT coefficient is defined as a work (DCT work).
  • the normal equation adding circuit 267 is also supplied with the HD image as the teacher data, and the normal equation adding circuit 267 blocks the HD image into a 16 ⁇ 16 pixel high-quality circuit.
  • step S134 among the high image quality blocks, those not yet regarded as the high image quality block of interest are set as the high quality image block of interest.
  • the class map extraction circuit 265 uses the quantum used to classify the high-quality block of interest out of the pixel blocks protected by the blocking circuit 261.
  • the extracted DCT coefficients are extracted from the DCT blocks obtained by the quantization circuit 263 to form a class tap, which is supplied to the class classification circuit 266.
  • step S135 the class classification circuit 266 uses the cluster group from the cluster group extraction circuit 265 to classify the high-quality block of interest in the same manner as described in the flowchart of FIG. The classification is performed, and the resulting class code is supplied to the normal equation adding circuit 2667, and the flow advances to step S1.36.
  • step S136 the normal equation adding circuit 267 sets a pixel which is not yet set as the target pixel in the raster scanning order among the pixels of the target high-quality block, as the target pixel, and sets the predicted pixel extraction circuit 26 4 is to extract the required quantized DCT coefficients from the output of the quantization circuit 263 from the output of the quantization circuit 263 with the same prediction group as the prediction type extraction circuit 241 of FIG. It consists of.
  • the prediction tap extraction circuit 264 supplies the prediction tap for the pixel of interest to the normal equation addition circuit 267 as student data, and the flow advances to step S137.
  • step S137 the normal equation addition circuit 267 pairs the pixel of interest as the teacher data with the prediction tap (the quantized DCT coefficient constituting the pixel) as the student data.
  • the prediction tap the quantized DCT coefficient constituting the pixel
  • the above-described addition of the matrix A and the vector V in the above equation (8) is performed. This addition is performed for each class corresponding to the class code from the class classification circuit 266 and for each pixel position mode for the pixel of interest.
  • step S138 the normal equation adding circuit 267 determines whether or not addition has been performed with all the pixels of the target high image quality block as target pixels. If it is determined in step S138 that all pixels of the high-quality block of interest have been set as pixels of interest and that addition has not yet been performed, processing returns to step S136, where the normal equation addition circuit 26 7, among the pixels of the high-quality block of interest, the pixels that have not yet been set as the target pixel in the raster scan order are newly set as the target pixel, and the same processing is repeated thereafter.
  • step S138 If it is determined in step S138 that all the pixels of the high quality image-of-interest circuit of interest have been added as the pixel of interest and the addition has been performed, the process proceeds to step S139, and the normal equation adding circuit 2667 Determines whether all high-quality blocks obtained from the image as the teacher data have been processed as high-quality blocks of interest. If it is determined in step S1339 that all high-quality blocks obtained from the image as the teacher data have not been processed yet as high-quality blocks of interest, the process proceeds to step S1334. Returning, a high-quality block that has not yet been set as the high-quality block of interest is newly set as the high-quality block of interest, and the same processing is repeated thereafter.
  • step S139 when it is determined in step S139 that all the high-quality blocks obtained from the image as the teacher data have been processed as the high-quality blocks of interest, that is, the normal equation adding circuit 2667
  • step S140 when a normal equation for each pixel position mode is obtained for each class, the process proceeds to step S140, where the coefficient coefficient determination circuit 268 generates a pixel coefficient for each pixel position mode in each class.
  • the coefficient coefficient determination circuit 268 By solving the normalized equation, the 256 pixel position modes of the class and the corresponding 256 sets of sunset coefficients for each class are obtained for each class, and each class in the coefficient table storage unit 269 is obtained. The data is supplied to the address corresponding to the address and stored, and the processing is terminated.
  • the skip coefficients for each class stored in the coefficient table storage unit 269 are stored in the coefficient table storage unit 244 of FIG.
  • the coefficient stored in the coefficient table storage unit 244 is the linear prediction It is obtained by performing learning so that the prediction error (here, the square error) of the prediction value of the original pixel value obtained by performing the operation is statistically minimized.
  • FIG. According to the coefficient conversion circuit 232A of FIG. 6, it is possible to decode a JPEG-coded image into a high-quality image that is as close as possible to the image quality of the HD image used as the teacher data.
  • the decoding process of the JPEG-encoded image and the enhancement process for improving the image quality are simultaneously performed.
  • a high-quality decoded image can be efficiently obtained from a JPEG-coded image.
  • FIG. 32 shows another configuration example of the coefficient conversion circuit 232 of FIG.
  • portions corresponding to those in FIG. 26 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient transforming circuit 2332B shown in FIG. 32 has basically the same configuration as that in FIG. 26 except that an inverse quantization circuit 271 is newly provided.
  • the inverse quantization circuit 27 1 must perform entropy decoding of the encoded data in the entropy decoding circuit 2 3 1 (FIG. 23).
  • the quantized DCT coefficient for each program obtained by the above is supplied.
  • a quantization table can be obtained in addition to the quantized DCT coefficients from the encoded data, but the coefficient conversion circuit 2332B in FIG. This quantization table is also supplied from the entropy decoding circuit 23 1 to the inverse quantization circuit 27 1.
  • the inverse quantization circuit 271 inversely quantizes the quantized DCT coefficient from the entropy decoding circuit 231 in accordance with the quantization table from the entropy decoding circuit 231 and predicts the resulting DCT coefficient. It is supplied to the loop extraction circuit 241 and class sunset extraction circuit 242.
  • prediction taps and cluster taps are respectively configured for the DCT coefficients, not the quantized DCT coefficients.
  • the same processing as in FIG. 26 is performed on DCT coefficients.
  • the processing is performed on the DCT coefficients instead of the quantized DCT coefficients, so that the tap coefficients stored in the coefficient table storage unit 244 are as shown in FIG. It must be different from the case in 26.
  • FIG. 33 illustrates a configuration example of a learning device 270B that performs a learning process of a skip coefficient stored in the coefficient table storage unit 244 of FIG.
  • the learning device 270 B shown in FIG. 33 is basically the same as that in FIG. 30 except that an inverse quantization circuit 281 is newly provided after the quantization circuit 263. Is similarly configured.
  • the inverse quantization circuit 281 converts the quantized DCT coefficient output from the inverse quantization circuit 263 to the inverse quantization circuit 271 of FIG. Similarly, inverse quantization is performed, and the resulting DCT coefficient is supplied to the prediction tap extraction circuit 264 and the class map extraction circuit 265. Therefore, the prediction group extraction circuit 264 and the class group extraction circuit 265 use the DCT coefficient instead of the quantized DCT coefficient, and the prediction group and the class map are different. After that, the same processing as in FIG. 30 is performed on the DCT coefficients.
  • FIG. 34 shows another configuration example of the coefficient conversion circuit 232 of FIG.
  • portions corresponding to those in FIG. 26 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 2 32 C shown in FIG. 34 is basically the same as that shown in FIG. 26 except that the class map extraction circuit 242 and the class classification circuit 243 are not provided. It is configured similarly to.
  • the coefficient table storage unit 24 4 stores one class. Only the sunset coefficient is stored, and processing is performed using this.
  • FIG. 35 shows the coefficient stored in the coefficient table storage unit 244 of FIG. 34.
  • 3 shows a configuration example of a learning device 270C that performs learning processing of.
  • the learning device 270 C shown in FIG. 35 is basically the same as that in FIG. 30 except that the class tap extraction circuit 265 and the class classification circuit 266 are not provided. It is configured. .
  • the above-described addition is performed for each pixel position mode in the normal equation adding circuit 267 regardless of the class. Then, the tap coefficient is determined in the type coefficient determination circuit 268 by solving the normal equation generated for each pixel position mode.
  • FIG. 36 shows another configuration example of the coefficient conversion circuit 232 of FIG.
  • the portions corresponding to those in FIG. 26 or FIG. 32 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 2332D shown in FIG. 36 does not include the cluster group extraction circuit 242 and the class classification circuit 243, and additionally includes the inverse quantization circuit 271. Otherwise, the configuration is basically the same as in FIG. 26.
  • the prediction tap extraction circuit 24 1 uses an inverse quantization circuit instead of a quantized DCT coefficient. Prediction taps are configured for the DCT coefficients output by 271, and thereafter, processing is performed for the DCT coefficients.
  • FIG. 7 shows a configuration example of a learning device 270D that performs a learning process of a sunset coefficient stored in the coefficient table storage unit 244 of FIG.
  • the same reference numerals are given to parts corresponding to those in FIG. 30 or FIG. 33, and Will be omitted as appropriate. That is, the learning device 270D shown in FIG. 37 does not include the class-map extraction circuit 265 and the class-classification circuit 266, and additionally includes an inverse quantization circuit 281. Otherwise, the configuration is basically the same as in FIG.
  • the prediction map is formed not by the quantized DCT coefficient but by the DCT coefficient in the prediction map extraction circuit 264. , DCT coefficients are processed. Further, in the normal equation addition circuit 267, the above-described addition is performed irrespective of the class, and the tap coefficient determination circuit 268 solves the normal equation generated irrespective of the class. The coefficient is determined.
  • JPEG-encoded images for compressing and encoding still images are targeted, but the present invention is directed to compression-encoding moving images, for example, MPEG-encoded images. Is also possible.
  • FIG. 38 shows a configuration example of the encoder 21 of FIG. 2 in the case where MPEG encoding is performed.
  • frames (or fields) constituting a moving image to be subjected to MPEG encoding are sequentially supplied to the motion detection circuit 291 and the arithmetic unit 292.
  • the motion detection circuit 291 detects a motion vector of the frame supplied thereto in units of 16 ⁇ 16 pixel macroblocks, and outputs the motion vector to the entropy coding circuit 296 and the motion compensation circuit 300. Supply.
  • the arithmetic unit 292 supplies the image to the blocking circuit 293 as it is, and if it is a P picture or B picture, it is supplied from the motion compensation circuit 300. The difference between the reference image and the reference image is calculated, and the difference value is supplied to the blocking circuit 2933.
  • the blocking circuit 293 blocks the output of the arithmetic unit 292 into a pixel block of 8 ⁇ 8 pixels and supplies the block to the DCT circuit 294. 0 0 1 1
  • the circuit 294 subjects the pixel block from the blocking circuit 293 to DCT processing, and supplies the resulting DCT coefficient to the quantization circuit 295.
  • the quantization circuit 295 is a block from the DCT circuit 293.
  • the DCT coefficient for each unit is quantized in a predetermined quantization step, and the resulting quantized DC coefficient is supplied to an entropy encoding circuit 296.
  • the entropy coding circuit 2996 converts the quantized DCT coefficient from the quantization circuit 2995 into entropy coding, adds the motion vector from the motion detection circuit 291, and other necessary information.
  • the resulting encoded data for example, an MPEG transport stream is output as an MPEG encoded result.
  • I-pictures and P-pictures are encoded later. Because local decoding is required for use as reference pictures for P-pictures and B-pictures , And also supplied to an inverse quantization circuit 297 in addition to the entropy coding circuit 296.
  • the inverse quantization circuit 297 inversely quantizes the quantized DCT coefficient from the quantization circuit 295 to obtain a DCT coefficient, which is supplied to the inverse DCT circuit 298.
  • the inverse DCT circuit 298 performs an inverse DCT process on the DCT coefficient from the inverse quantization circuit 297 and outputs the result to the arithmetic unit 299.
  • the arithmetic unit 299 is supplied with the reference image output by the motion compensation circuit 300 in addition to the output of the inverse DCT circuit 298.
  • the arithmetic unit 299 adds the output of the inverse DCT circuit 298 and the output of the motion compensation circuit 300 to decode the original image. Supplied to the motion compensation circuit 300.
  • the operation unit 299 outputs the decoded picture of the I-picture. Supply to 0 0.
  • the motion compensation circuit 300 performs motion compensation on the locally decoded image supplied from the arithmetic unit 299 according to the motion vector from the motion detection circuit 291, and performs the motion compensation after the motion compensation. Is supplied to the computing unit 2992 and the computing unit 299 as a reference image.
  • the decoder 222 of FIG. 23 can also efficiently decode the MPEG-encoded data into a high-quality image.
  • the encoded data is supplied to the entropy decoding circuit 231, and the event mouth decoding circuit 231 subjects the encoded data to event mouth decoding.
  • the quantized DCT coefficients, motion vectors, and other information obtained as a result of this The signal is supplied from the entropy decoding circuit 2 3 1 to the coefficient conversion circuit 2 3 2 D.
  • the coefficient conversion circuit 2 3 2 D performs a predetermined prediction operation using the quantized DCT coefficient Q from the entropy decoding circuit 2 3 1 and the tap coefficient obtained by performing learning, and performs an entropy decoding circuit. Performs motion compensation as needed according to the motion vector from 2 3 1 to decode the quantized DCT coefficients into high-quality pixel values, and decomposes high-quality blocks consisting of the high-quality pixel values Supply to circuit 2 3 3.
  • the block decomposition circuit 233 decomposes the high-quality blocks obtained in the coefficient conversion circuit 233D so that the number of pixels in both the horizontal and vertical directions is equal to, for example, 2% of the MPEG-coded image. Obtain and output a doubled high quality decoded image.
  • FIG. 39 shows an example of the configuration of the coefficient conversion circuit 232 shown in FIG. 23 in the case where the MPEG encoded coded data is decoded in the decoder 222.
  • portions corresponding to those in FIG. 36 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 23 2 E shown in FIG. 39 is the same as that of FIG. 36 except that the arithmetic unit 3 14 and the motion compensation circuit 3 16 are provided after the product-sum operation circuit 2 45.
  • the configuration is basically the same as in the case of.
  • the quantized DCT coefficient is inversely quantized in the inverse quantization circuit 271, and the predicted DCP coefficient A prediction tap is configured in 2 4 1.
  • the product-sum operation circuit 245 performs a prediction operation using the predicted coefficient and the coefficient stored in the coefficient table storage unit 244, thereby obtaining horizontal and vertical pixels. Both output high-quality data twice as large as the original image.
  • the arithmetic unit 314 adds the output of the product-sum operation circuit 245 to the output of the motion compensation circuit 316 as necessary, so that the number of pixels in both the horizontal and vertical directions is equal to that of the original image.
  • the doubled high-quality image is decoded and output to the block decomposition circuit 23 (Fig. 23).
  • the output of the product-sum operation circuit 245 is a high-quality image in which the number of pixels in both the horizontal and vertical directions is twice that of the original image.
  • 3 1 4 outputs the output of the product-sum operation circuit 2 4 5 directly to the block decomposition circuit 2 3 3 Output.
  • the output of the multiply-accumulation circuit 245 refers to a high-quality image in which the number of pixels in both the horizontal and vertical directions is twice the original image
  • the arithmetic unit 3 14 adds the output of the product-sum operation circuit 2 45 to the high-quality reference image supplied from the motion compensation circuit 3 16
  • Each of the vertical pixels is decoded into a high-quality image twice as large as the original image, and output to the block decomposition circuit 233.
  • the motion compensation circuit 316 receives an I picture and a P picture among the high quality decoded images output from the arithmetic unit 314 and obtains a high quality decoded image of the I picture or P picture.
  • a high-quality reference image is obtained and supplied to the arithmetic unit 3 14.
  • the motion compensation circuit 3 16 Motion compensation is performed according to the motion vector that has doubled both the horizontal and vertical size of the vector. '
  • FIG. 40 shows a configuration example of a learning device 270E for learning tap coefficients stored in the coefficient table storage section 244 of FIG. Note that, in the figure, portions corresponding to the case in FIG. 37 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • an HD image for learning is input to the decimating circuit 320 as a teacher data, and the decimating circuit 320 exemplifies, for example, the decimating circuit shown in FIG.
  • the pixels of the HD image as the teacher data are thinned out, and the quasi-teacher data, which is an SD image in which both the horizontal and vertical pixels are halved, is generated.
  • the SD image as the quasi-teacher data is supplied to the motion vector detecting circuit 3221 and the arithmetic unit 3222.
  • Motion vector detection circuit 3 2 1, arithmetic unit 3 2 2, blocking circuit 3 2 3, DCT circuit 3 2 4, quantization circuit 3 2 5, inverse quantization circuit 3 2 7, inverse DCT circuit 3 2 8,
  • the operator 329 or the motion compensation circuit 330 is the motion vector detection circuit 291 in FIG. Arithmetic unit 292, block circuit 293, 0 ⁇ "]: circuit 294, quantization circuit 295, inverse quantization circuit 297, inverse DCT circuit 298, arithmetic unit 299
  • the motion compensation circuit 300 performs the same processing as that, and the quantization circuit 125 generates the same quantized DCT coefficient as output from the quantization circuit 295 in FIG. 38.
  • the quantized DCT coefficient output from the quantization circuit 3 25 is supplied to the inverse quantization circuit 281, and the inverse quantization circuit 28 1 outputs the quantized DCT from the quantization circuit 3 25.
  • the coefficients are inverse quantized, converted to DCT coefficients, and supplied to the prediction tap extraction circuit 264.
  • the prediction tap extraction circuit 264 uses the DCT coefficients from the inverse quantization circuit 281 to perform prediction.
  • a tap is formed and supplied to the normal equation addition circuit 267 as student data.
  • the HD image as the teacher data is supplied not only to the thinning circuit 320 but also to the arithmetic unit 332.
  • the arithmetic unit 332 subtracts the output of the interpolation circuit 331 from the HD image as the teacher data, if necessary, and supplies the result to the normal equation addition circuit 267. .
  • the interpolation circuit 331 generates a high-quality reference image in which the number of horizontal and vertical pixels of the reference image of the SD image output by the motion compensation circuit 330 is doubled, and the arithmetic unit 332 Supply.
  • the arithmetic unit 3332 supplies the HD picture of the I picture as it is as a teacher data to the normal equation adding circuit 267.
  • the computing unit 3332 and the HD image of the P-picture or the B-picture and the high-quality By calculating the difference from the reference image, a high-quality difference of the SD image (quasi-teacher data) output from the calculator 32 2 is obtained, and this is used as the teacher data and normal equation addition.
  • the interpolation circuit 331 for example, the number of pixels can be increased by simple interpolation.
  • the number of pixels can be increased by, for example, a class classification adaptive process.
  • the arithmetic unit 3332 it is possible to encode the HD image as the teacher data into MPEG encoding, perform local decoding thereof, and use the motion-compensated image as the reference image.
  • the normal equation addition circuit 2667 uses the output of the arithmetic unit 3332 as teacher data and Then, the addition is performed as described above, using the prediction gap from the inverse quantization circuit 28 1 as student data, thereby generating a normal equation.
  • the tap coefficient determination circuit 268 obtains a tap coefficient by solving the normal equation generated by the normal equation addition circuit 267, and supplies the tap coefficient to the coefficient table storage unit 269 for storage. .
  • the encoded data obtained by the MPEG encoding is decoded by using the thus obtained coefficient, so that the MPEG encoding is performed again.
  • the coefficient conversion circuit 232E in FIG. 39 can be configured without the inverse quantization circuit 271.
  • the learning device 270 E of FIG. 40 may be configured without the inverse quantization circuit 281.
  • the coefficient conversion circuit 23 E of FIG. 39 can be configured by providing a class drop extraction circuit 24 and a class classification circuit 24 as in the case of FIG. is there.
  • the learning device 270 E of FIG. 40 may be configured by providing the class tap extraction circuit 265 and the class classification circuit 266 as in the case of FIG. 3C.
  • the decoder 2 22 (FIG. 23) obtains a decoded image in which the spatial resolution of the original image is doubled, but the decoder 2 22 2 obtains the spatial resolution of the original image. It is also possible to obtain a decoded image in which is an arbitrary multiple of, or a decoded image in which the time resolution of the original image is improved.
  • the decoder 222 encodes the image by MPEG encoding. It is possible to decode an overnight image into an image with twice the temporal resolution of the original image as shown in Fig. 41B. Furthermore, for example, when the image to be MPEG-encoded is an image of 24 frames Z seconds used in a movie as shown in FIG. 42A, the decoder 222 encodes the image into an MPEG code. The time resolution of the original image as shown in Fig. 4B was doubled by 60/24. It is possible to decode to an image of 60 frames / sec. In this case, so-called 2-3 pulldown can be easily performed.
  • the prediction tap class tap is, for example, as shown in FIG. 43, the DCT coefficient of two or more frames. It is possible to constitute from.
  • the decoder 222 can obtain a decoded image in which not only one of the spatial resolution or the temporal resolution but also both of them is improved.
  • a tap coefficient obtained by performing learning is obtained, and a predetermined prediction operation is performed using the tap coefficient and the conversion data, whereby the conversion data is obtained. Since the original data is decoded and processed data obtained by performing a predetermined process on the original data is obtained, the converted data is efficiently decoded, and a predetermined data is obtained on the decoded data. Processing can be performed.
  • student data to be a student is generated by subjecting teacher data to be a teacher to a process based on a predetermined process and subjecting the resulting quasi-teacher data to at least orthogonal transform or frequency transform. Then, learning is performed so that the prediction error of the predicted value of the teacher data obtained by performing the prediction operation using the tap coefficient and the student data is statistically minimized, thereby obtaining the tap coefficient.
  • the evening coefficient obtained in this way it is possible to efficiently decode the orthogonally or frequency-converted data and to perform predetermined processing on the decoded data. Become.
  • the decoder 42 shown in FIG. 44 includes an entropy decoding circuit 431, a coefficient conversion circuit 43, and a block decomposition circuit 43, as shown in FIG. 2 is used to decode the encoded data.
  • the coded data is supplied to an entropy decoding circuit 431.
  • the entropy decoding circuit 431 converts the coded data into quantized DCT coefficients subjected to entropy coding and added thereto. And a quantization table as additional information. Further, the entropy decoding circuit 431 performs entropy decoding on the quantized DCT coefficients that have been entropy-encoded, and obtains the resulting block-by-block quantization.
  • the DCT coefficient Q is supplied to a coefficient conversion circuit 432 together with a quantization table as additional information.
  • the coefficient conversion circuit 432 performs a predetermined prediction operation by using the quantization DCT coefficient Q and the tap coefficient obtained by performing learning while using the quantization table as additional information in a so-called auxiliary manner.
  • the quantized DCT coefficient for each block is decoded into the original 8 ⁇ 8 pixel block.
  • the block decomposing circuit 433 obtains a decoded image by deblocking the decoded block (decoded block) obtained in the coefficient transforming circuit 432, and outputs the decoded image.
  • the decoder 422 performs the decoding process according to the procedure (steps S201 to S203) shown in the flowchart of FIG.
  • the encoded data is sequentially supplied to the entropy decoding circuit 431, and in step S201, the entropy decoding circuit 431 sends the encoded data to the entrance.
  • the decoding is performed, and the quantized DCT coefficient Q for each block is supplied to a coefficient conversion circuit 432.
  • the entropy decoding circuit 431 separates the quantization table as additional information contained therein from the encoded data and supplies it to the coefficient conversion circuit 432.
  • the coefficient conversion circuit 432 performs a prediction operation using the quantization table and the skip coefficient, thereby obtaining the quantized DCT coefficient Q for each process from the entropy decoding circuit 431.
  • the data is decoded into pixel values for each block and supplied to the block decomposition circuit 433.
  • the block decomposition circuit 433 performs block decomposition for breaking the block of the pixel value block (decoding block) from the coefficient conversion circuit 432, and obtains a decoded image obtained as a result. Is output and the processing ends.
  • FIG. 46 shows a configuration example of a coefficient conversion circuit 432 that decodes the quantized DCT coefficients into pixel values by the class classification adaptive processing in the decoder 4222.
  • the quantized DCT coefficient for each block output from the entropy decoding circuit 43 1 (FIG. 44) is calculated by using the prediction map extraction circuit 44 1 and the class It is supplied to the tap extraction circuit 4 4 2.
  • the quantization table as additional information is supplied to the classification circuit 4 4 3. ing.
  • the prediction pixel extraction circuit 4 4 1 is a block of pixel values corresponding to a block of quantized DCT coefficients supplied thereto (hereinafter, appropriately referred to as a DCT block). However, it is assumed virtually) (hereinafter, appropriately referred to as a pixel block) is sequentially set as a target pixel block, and each pixel constituting the target pixel block is set as a target pixel sequentially in a so-called raster scan order, for example. ( Furthermore, the prediction type extraction circuit 441 extracts the quantized DCT coefficient used for predicting the pixel value of the pixel of interest and sets it as a prediction tap.
  • the prediction tap extraction circuit 441 generates all the quantized DCT coefficients of the DCT block corresponding to the pixel block to which the pixel of interest belongs, that is, 8 ⁇ 8 6 Extract the four quantized DCT coefficients as a prediction map. Therefore, in this embodiment, the same prediction map is formed for all the pixels of a certain pixel walk.
  • the prediction tap can be configured with different quantized DCT coefficients for each pixel of interest.
  • the predicted pixel extraction circuit 441 obtained by the predicted pixel extraction circuit 441, for each pixel constituting the pixel block, that is, the predicted set of 64 pixels for each of the 64 pixels is a product-sum operation Provided to circuits 4 4 5.
  • the same prediction map is configured for all the pixels in the pixel block, so that in practice, one set of prediction The taps may be supplied to the product-sum operation circuit 4 45.
  • the cluster group extraction circuit 442 extracts a quantized DCT coefficient used for class classification for classifying the target pixel into one of several classes, and sets it as a class map.
  • the class block extraction circuit 442 includes the DCT block corresponding to the pixel block to which the target pixel belongs as shown in FIG. Extract all 8 X 8 quantized DCT coefficients as a cluster.
  • the class pixel extraction circuit 442 extracts 64 quantized DCT coefficients of the DCT block corresponding to the pixel block in order to classify the pixel block.
  • the class is going to be set up. It should be noted that the quantized DCT coefficients that constitute the prediction class map class are not limited to those described above.
  • the class map of the pixel block of interest obtained in the class map extraction circuit 442 is supplied to the class classification circuit 443.
  • the class classification circuit 443 classifies the target pixel block based on the class map from the class map extraction circuit 442 and the quantization table as additional information, and corresponds to the class obtained as a result. Output class code.
  • ADR C ADR C or the like
  • the quantized DCT coefficients constituting the class map are subjected to ADRC processing, and the class of the pixel of interest pixel is determined according to the resulting ADRC code.
  • the class classification circuit 443 extracts a highly important feature amount from the quantized DCT coefficients constituting the class map, and performs class classification based on the feature amount. The number of classes is reduced.
  • FIG. 47 shows a configuration example of the class classification circuit 443 of FIG.
  • the cluster group is supplied to the power operation circuit 451.
  • the power calculation circuit 451 divides the quantized DCT coefficient constituting the cluster group into several spatial frequency bands and calculates the power of each frequency band.
  • the power calculation circuit 451 converts the 8 ⁇ 8 quantized DCT coefficients constituting the class map into four spatial frequency bands S as shown in FIG. , S i, S 2 , and S 3 .
  • the power calculation circuit 45 1 has a spatial frequency band S. , S i, S 2 , S 3 For each, the power P of the AC component of the quantized DCT coefficients. Calculates a P l 5 P 2, P 3, and outputs the click Rasukodo generating circuit 4 5 2.
  • the class code generation circuit 452 is the power P from the power calculation circuit 451.
  • P i, P 2, and P 3 are the corresponding threshold values stored in the threshold table storage unit 45 3. , ⁇ ⁇ ⁇ , ⁇ ⁇ . 2, ⁇ 3, and class code based on the magnitude relation Output. That is, the class code generation circuit 45 2 generates the electric power P. And the threshold TH. To obtain a 1-bit code representing the magnitude relationship. Similarly, the class code generation circuit 45 2 obtains a 1-bit code for each of the power and the threshold TH by comparing the power P 2 with the threshold TH 2 and the power P 3 with the threshold TH 3. .
  • the class code generation circuit 452 generates a 4-bit code (for example, 0 to 15) obtained by arranging the four 1-bit codes obtained as described above in, for example, a predetermined order. Is a class code representing the first class of the pixel block of interest (hereinafter, appropriately referred to as a power class code).
  • a quantization table as additional information is supplied to the class code generation circuit 452.
  • the class code generation circuit 452 performs class classification on the basis of the additional information, and thereby obtains a class code representing the second class of the target pixel block. That is, for example, in the JPEG encoding, the class code generation circuit 452 performs quantization using one of the two types of quantization shown in FIG. 1B described above. In this case, it is determined whether the quantization table as additional information is one of the two types of quantization tables, and a 1-bit code representing the determination result is stored in the second pixel table of the pixel of interest. (Hereinafter referred to as additional information class code as appropriate).
  • the method of classifying based on the quantization table is not limited to the method described above. That is, in the class code generation circuit 452, a plurality of quantization tables as standard patterns to be compared with the quantization table (quantization table actually used in JPEG encoding) supplied as additional information are provided. In advance, a quantization table as a standard pattern closest to the quantization table as additional information is detected, and a code corresponding to the detection result is added to the additional information classco. It is possible to output as a code.
  • the threshold table storage unit 45 3 stores the spatial frequency band S. ⁇ S 3 power P. To P 3 to that it compares to a threshold value TH. Stores ⁇ TH 3.
  • the DC component X of the quantized DCT coefficient is used in the class classification processing. Is not used, but this DC component x. It is also possible to perform class classification processing by using.
  • the class code output from the classifying circuit 443 as described above is given as an address to the coefficient table storage unit 444.
  • the coefficient table storage unit 4 4 4 stores a coefficient table in which evening coefficients for each class obtained by performing a learning process to be described later are registered, and the class classification circuit 4 4 3 outputs The tap coefficient of the class stored at the address corresponding to the class code to be output is output to the product-sum operation circuit 445.
  • the pixel block is composed of 64 pixels of 8 ⁇ 8 pixels in the present embodiment. Therefore, for the pixel block of interest, 64 pixels constituting the pixel block and 64 pixels for decoding them are set. Is required. Therefore, in the coefficient table storage unit 444, 64 sets of skip coefficients are stored for the address corresponding to one class code. The predicted tap output from the sunset extraction circuit 441, and the tap coefficient output from the coefficient table storage unit 4444 are acquired, and the above equation is obtained using the predicted tap and the tap coefficient.
  • the linear prediction operation (product-sum operation) shown in (1) is performed, and the 8 ⁇ 8 pixel value of the target pixel block obtained as a result is decoded as a DCT block decoding result by the block decomposition circuit 4 3 3 (see FIG. 4 Output to 4).
  • each pixel of the target pixel block is sequentially set as the target pixel as described above, but the product-sum operation circuit 445 serves as the target pixel of the target pixel block. Processing is performed in the operation mode corresponding to the position of the pixel (hereinafter, appropriately referred to as pixel position mode).
  • the i-th pixel in the raster scan order among the pixels of the pixel block of interest is denoted by P i
  • the product-sum operation circuit 4 4 5 Performs pixel position mode #i processing.
  • the coefficient table storage unit 444 outputs 64 pixels constituting the pixel of interest block and 64 sets of evening coefficients for decoding each of the pixels.
  • the product-sum operation circuit 445 sets the prediction type and the set of 64 sets when the operation mode is the pixel position mode #i.
  • the product-sum operation of the above equation (1) is performed, and the result of the product-sum operation is used as the decoding result of the pixel Pi.
  • the quantized DCT coefficients for each block output from the entropy decoding circuit 43 1 are sequentially received by the prediction tap extraction circuit 44 1 and the class tap extraction circuit 44 2, and the prediction tap extraction circuit 44 41
  • the pixel block corresponding to the block of the quantized DCT coefficient (DCT block) supplied thereto is sequentially set as a target pixel block.
  • the class map extraction circuit 442 extracts a class used for classifying the pixel of interest from the quantized DCT coefficients received there, Is supplied to the classifying circuit 443.
  • the clustering from the classifying circuit 442 is supplied to the classifying circuit 443, and as additional information output from the entropy decoding circuit 431. Are also supplied.
  • step S212 the class classification circuit 4443 classifies the target pixel block into a class using the cluster group from the class map extraction circuit 4442 and the quantization table from the event mouth decoding circuit 4331.
  • the classification is performed, and the resulting class code is output to the coefficient table storage unit 444. That is, in step S212, as shown in the flowchart of FIG. 49, first, in step S221, the power calculation circuit 451 of the class classification circuit 443 (FIG. 47) is started.
  • the 8 ⁇ 8 quantized DCT coefficients that make up the class map are the four spatial frequency bands S shown in Figure 8 above. ⁇ S divided into three , each power P. To calculate the ⁇ P 3. This power P. To P 3 is output from the power calculating circuit 4 5 1 to the class code generation circuit 4 5 2.
  • the class code generation circuit 452 in step S2222, Threshold from 4 5 3! ⁇ ⁇ Ding! Is read, and the powers P 0 to P 3 from the power calculation circuit 451 and the threshold value TH are read. To TH 3 compares it it and to produce it power class code based on its magnitude relation.
  • the class code generation circuit 452 generates an additional information class code using the quantization table as the additional information in step S223, and proceeds to step S224.
  • the class code generation circuit 452 generates a final classcode from the power class code and the additional information class code, and returns.
  • the class code obtained as described above in step S212 is given as an address from the class classification circuit 443 to the coefficient table storage unit 444.
  • the coefficient table storage unit 444 Upon receiving the class code as the address from the classifying circuit 443, the coefficient table storage unit 444 stores the 64 set sunset coefficient stored in the address in step S213. Read and output to the product-sum operation circuit 4 4 5. Then, the process proceeds to step S2114, and the prediction pixel extraction circuit 441 determines in the raster pixel scanning order among the pixels of the target pixel block in the order of the raster scan. Then, a quantized DCT coefficient used to predict the pixel value of the pixel of interest is extracted and configured as a prediction type. The prediction tap is supplied to the product-sum calculation circuit 445 from the prediction-dump extraction circuit 441.
  • the same prediction map is formed for all the pixels of the pixel block. If it is performed only for the pixel that is initially the target pixel in the target pixel block, it is not necessary to perform the process for the remaining 63 pixels.
  • step S215 the product-sum operation circuit 445 determines the pixel position relative to the pixel of interest among the 64 sets of table coefficients output by the coefficient table storage unit 444 in step S213.
  • the set of the evening coefficient corresponding to the mode is obtained, and the set of the evening coefficient and the predicted evening supplied from the predicted evening extraction circuit 44 1 in step S2114 are obtained.
  • the process proceeds to Step S216, where the prediction pixel extraction circuit 441 determines whether or not the processing has been performed with all the pixels of the target pixel block as the target pixels.
  • step S216 if it is determined that all the pixels of the target pixel block have been set as the target pixel and have not been processed yet, the process returns to step S214, and the prediction tap extraction circuit 441 In the pixel of interest block, a pixel that has not yet been taken as the attention pixel is set as a new pixel of interest in the order of the raster scan, and the same processing is repeated.
  • step S216 when it is determined that the processing has been performed with all the pixels of the target pixel block as the target pixels, that is, decoded values of all the pixels of the target pixel block are obtained.
  • the product-sum operation circuit 445 outputs the pixel block (decoding program) constituted by the decoded value to the block decomposition circuit 433 (FIG. 44), and ends the processing.
  • the process according to the flowchart of FIG. 48 is repeatedly performed each time the prediction pixel extraction circuit 441 sets a new target pixel block.
  • FIG. 50 shows a configuration example of a learning device 46OA that performs a learning process of tap coefficients to be stored in the coefficient table storage unit 444 of FIG.
  • one or more learning image data are supplied to the blocking circuit 461 as teacher data serving as a teacher during learning. ing.
  • the blocking circuit 461 blocks the image as the teacher data into 8 ⁇ 8 pixel blocks as in the case of the JPEG coding.
  • the DCT circuit 462 sequentially reads out the pixel blocks blocked by the blocking circuit 461 as a target pixel block, and performs DCT processing on the target pixel block to obtain a DCT coefficient block. This block of DCT coefficients is supplied to the quantization circuit 463.
  • the quantization circuit 463 quantizes the DCT coefficient block from the DCT circuit 462 according to the same quantization table used for JPEG encoding, and obtains a block of the resulting quantized DCT coefficient ( The DCT block) is sequentially supplied to the prediction pool extraction circuit 464 and the class tap extraction circuit 465.
  • the quantization circuit 463 has a general compression ratio used for JPEG encoding. Are set, and the DCT coefficients are quantized in accordance with the quantization tables corresponding to the respective compression ratios, and are sequentially supplied to the prediction rupture extraction circuit 464 and the class rupture extraction circuit 465. . Further, the quantization circuit 463 supplies the quantization table used for quantization to the class classification circuit 466 as additional information. Note that the same quantization table as that used by the quantization circuit 463 is stored as a standard pattern in the class code generation circuit 452 of FIG.
  • the prediction pixel extraction circuit 464 is a quantization circuit 4 for pixels of the pixel of interest pixel which are not yet regarded as the pixel of interest in the order of the raster scan. by extracting the necessary quantized DCT coefficients from the output of the 6 3, 4 prediction evening Uz flop extraction circuit 4 4 1 6 constituting the same prediction evening Uz-flops and to configure (this prediction evening Uz flop Is supplied from the prediction type extraction circuit 464 to the normal equation addition circuit 467 as a student data to be a student during learning.
  • the class-map extraction circuit 465 extracts the necessary quantized DCT coefficients from the output of the pixel-population circuit 463. Configure the same class set as 2 configures. This class map is supplied from the class double extraction circuit 465 to the class classification circuit 466.
  • the class classification circuit 466 uses the class map from the class map extraction circuit 465 and the quantization table as additional information from the quantization circuit 463, and uses the class classification shown in FIG. By performing the same processing as the circuit 443, the target pixel block is classified into classes, and the resulting class code is supplied to the normal equation addition circuit 467.
  • the normal equation adding circuit 467 reads out the pixel value of the pixel of interest as the teacher data from the blocking circuit 461, and outputs the prediction data as the student data from the prediction data structuring circuit 466. Addition is performed for the quantized DCT coefficient and the pixel of interest.
  • the normal equation adding circuit 467 uses the prediction equation (student data) for each class corresponding to the class code supplied from the class classification circuit 466, and calculates the above equation (8) Performs operations equivalent to multiplication (x in x im ) and summation ( ⁇ ⁇ ⁇ ) of student data, which are each component in matrix A of.
  • the normal equation addition circuit 466 is also provided by the class classification circuit 466.
  • the prediction component (student data) and the pixel of interest (teacher data) are used, and each component in the vector V of the above equation (8) is used.
  • the multiplication (X in Y i) of the student data and the teacher data (X in Y i) and the operation equivalent to the summation ( ⁇ ) are performed.
  • the normal equation adding circuit 467 performs the above-described addition using all pixels constituting the teacher image supplied to the blocking circuit 461 as a pixel of interest, thereby obtaining a pixel position mode for each class. Then, the normal equation shown in the above equation (8) is established.
  • the tap coefficient determination circuit 468 solves the normal equation generated for each class and for each pixel position mode in the normal equation addition circuit 467, so that a set coefficient of 64 sets for each class is obtained. And supplies it to the address corresponding to each class in the coefficient table storage section 469.
  • the tap coefficient determination circuit 468 outputs, for example, a default skip coefficient for such a class.
  • the coefficient table storage unit 469 stores 64 sets of type coefficients for each class supplied from the evening coefficient determining circuit 468.
  • the image data for learning is supplied to the blocking circuit 461 as training data, and the blocking circuit 461 encodes the image data as training data in step S231 in JPEG.
  • a pixel block is formed into an 8 ⁇ 8 pixel block, and the flow advances to step S232.
  • the DCT circuit 462 sequentially reads out the pixel blocks formed by the blocking circuit 461, and performs DCT processing on the pixel block of interest to obtain a DCT coefficient block. Proceed to step S2 33.
  • step S2333 the quantization circuit 463 sets one of the preset quantization tables that has not been set as the target quantization table in the target quantization table, The data is supplied to the classifying circuit 4 66 and the process proceeds to Step S 2 3 4.
  • step S234 the quantization circuit 463 sequentially reads out the blocks of the DCT coefficients obtained in the DCT circuit 462, quantizes them according to the quantization table of interest, and obtains the quantized DCT coefficients.
  • the configured work DCT block).
  • step S 235 the class map extraction circuit 465 selects a pixel block that has not been set as the target pixel block from among the pixel blocks blocked by the blocking circuit 461. And Further, the class tap extraction circuit 465 extracts a quantized DCT coefficient used for classifying the pixel of interest and the target pixel from the DCT block obtained by the quantization circuit 463 to form a cluster group, Supply to the classification circuit 4 6 6.
  • step S 236 the class classification circuit 466 determines the class map and quantization circuit 463 from the class map extraction circuit 465 in the same manner as described in the flowchart of FIG. 49.
  • the target pixel block is classified into classes using the target quantization table from, and the resulting class code is supplied to the normal equation adding circuit 467, and the flow advances to step S237.
  • step S 2 37 the prediction pixel extraction circuit 464 sets a pixel which is not yet set as the target pixel in the raster scan order among the pixels of the target pixel block as a target pixel, and By extracting necessary quantized DCT coefficients from the output of the conversion circuit 463, the same prediction map as the prediction map extraction circuit 441 of FIG. 46 is constructed. Then, the prediction skip extraction circuit 464 supplies the prediction skip for the pixel of interest to the normal equation addition circuit 467 as student data, and the flow advances to step S238.
  • step S 238 the normal equation addition circuit 467 reads out the pixel of interest as the teacher data from the blocking circuit 461, and quantizes the DCT coefficients and teacher data constituting the prediction tap as student data.
  • the above-described addition of the matrix A and the vector V in the above equation (8) is performed on the target pixel as. Note that this The addition is performed for each class corresponding to the class code from the class classification circuit 466 and for each pixel position mode for the pixel of interest.
  • step S 2 3 the prediction evening Uz flop extracting circuit 4 6 4, as a target pixel to pixel of Te to base the pixel of interest Bed-locking, c determines whether performed summation step S If it is determined in 239 that all pixels of the pixel-of-interest target pixel have not been added yet as the target pixel, the process returns to step S237, and the prediction pixel extraction circuit 464 The same process is repeated by setting a pixel which has not been set as the target pixel in the raster scan order among the pixels of the target pixel process as a new target pixel.
  • step S239 If it is determined in step S239 that all the pixels of the pixel-of-interest pixel have been added as the pixels of interest, the process proceeds to step S240, where the blocking circuit 461 Then, it is determined whether or not all of the pixel blocks obtained from the image as the teacher data have been processed as the pixel block of interest. In step S240, if it is determined that all the pixel blocks obtained from the image as the teacher data have not been processed yet as the pixel block of interest, the process proceeds to step S235. Returning, of the pixel blocks that have been blocked by the blocking circuit 461, those that have not yet been set as the target pixel block are newly set as the target pixel block, and the same processing is repeated thereafter.
  • step S240 determines whether or not the processing has been performed with all of the quantization tables set in advance as the target quantization tables. If it is determined in step S241 that all of the preset quantization tables have not been processed as the target quantization table, the process returns to step S233, and all the learning image data are processed. The process from step S2 33 onward is repeated for one night.
  • step S 2 41 If it is determined in step S 2 41 that all of the preset quantization tables have been processed as the target quantization table, the process proceeds to step S 2 42, and the tap coefficient determination circuit 4 6 8 In the normal equation addition circuit 4 6 7 By solving the normal equation generated for each class of pixel position mode, for each class, 64 pixel position modes for that class and 64 sets of tap coefficients corresponding to them are obtained, and the coefficient The data is supplied to the address corresponding to each class in the table storage unit 469 and stored, and the processing is terminated.
  • the evening coefficients for each class stored in the coefficient table storage section 469 are stored in the coefficient table storage section 444 of FIG.
  • the prediction coefficient (here, the square error) of the prediction value of the original pixel value obtained by performing the linear prediction operation is statistically calculated for the evening coefficient stored in the coefficient table storage unit 444.
  • the result is obtained by performing learning so that the JPEG-coded image is as close as possible to the original image according to the coefficient conversion circuit 432A in FIG. Can be decoded into images.
  • the decoding process of the JPEG-coded image and the process of improving the image quality are performed simultaneously, so that the JPEG-coded image can be efficiently provided with good image quality.
  • a decoded image can be obtained.
  • the class classification in the class classification circuits 443 and 466 is performed not only using the class type but also using a quantization table as additional information. This can be done using only class dinners. However, as described above, by performing the class classification using the quantization table as the additional information, fine classification can be performed, so to speak, and the image quality of the decoded image can be further improved.
  • FIG. 52 shows another configuration example of the coefficient conversion circuit 432 of FIG. Note that, in the figure, portions corresponding to those in FIG. 46 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 4332B shown in FIG. 52 has basically the same configuration as that in FIG. 46 except that an inverse quantization circuit 471 is newly provided.
  • the inverse quantization circuit 4 71 In the coefficient transforming circuit 4 32 B shown in FIG. 52, the inverse quantization circuit 4 71 must entropy decode the encoded data in the entropy decoding circuit 4 3 1 (FIG. 4 4). The quantized DCT coefficient for each block obtained by is supplied. Further, the inverse quantization circuit 471 has additional information output from the entropy decoding circuit 431 as additional information. All quantization tables are also provided.
  • the inverse quantization circuit 471 inversely quantizes the quantized DCT coefficient from the entropy decoding circuit 431 according to the quantization table from the entropy decoding circuit 431, and extracts the DCT coefficient obtained as a prediction tap. This is supplied to the circuit 41 and the cluster group extraction circuit 442.
  • prediction taps and class taps are configured for DCT coefficients instead of quantized DCT coefficients.
  • the same processing as in FIG. 46 is performed.
  • the processing is performed not for the quantized DCT coefficient but for the DCT coefficient, so that the tap coefficients stored in the coefficient table storage section 444 are as shown in FIG. It must be different from the case in 4.
  • FIG. 53 shows an example of the configuration of a learning device 460B that performs a learning process of tap coefficients stored in the coefficient table storage unit 444 of FIG.
  • the learning device 46 B shown in FIG. 53 is basically the same as that in FIG. 50 except that an inverse quantization circuit 481 is newly provided after the quantization circuit 46 3. Is similarly configured.
  • the inverse quantization circuit 481 is supplied with the quantized DCT coefficient output from the inverse quantization circuit 463 and a quantization table as additional information. It has become. Then, the inverse quantization circuit 481 inversely quantizes the quantized DCT coefficient from the inverse quantization circuit 463 in accordance with the quantization table from the inverse quantization circuit 463, and obtains the resulting DCT coefficient. Is supplied to the prediction pool extraction circuit 464 and the class pool extraction circuit 465.
  • the prediction tap extraction circuit 464 and the cluster group extraction circuit 465 respectively configure prediction taps and cluster groups for DCT coefficients instead of quantized DCT coefficients, and thereafter, for DCT coefficients, The same processing as in FIG. 50 is performed.
  • the DCT coefficients are quantized and then dequantized.
  • a tap coefficient that reduces the influence of the quantization error is obtained.
  • FIG. 54 shows another configuration example of the coefficient conversion circuit 432 of FIG. Note that, in the figure, portions corresponding to those in FIG. 46 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 432C shown in FIG. 52 has basically the same configuration as that in FIG. 46 except that the class tap extraction circuit 442 is not provided.
  • the class classification circuit 44 3 performs the class classification based only on the quantization table as the additional information supplied thereto, and the result is obtained.
  • the additional information class code is supplied as it is to the coefficient table storage unit 444 as a final class code.
  • the additional information class code is 1 bit, as described above. Therefore, the coefficient table storage unit 4444 in FIG. 54 stores the 2 ( 1 ) class. Only the coefficients are stored, and processing is performed using these. ,
  • FIG. 55 shows an example of the configuration of a learning device 460C that performs the learning process of the sunset coefficient stored in the coefficient table storage unit 444 of FIG.
  • the learning device 460C shown in FIG. 55 is configured basically in the same manner as in FIG. 50 except that the class skipping extraction circuit 465 is not provided.
  • the setup coefficient determination circuit 468 solves the normal equation generated by such addition to obtain the setup coefficient.
  • FIG. 56 shows another configuration example of the coefficient conversion circuit 432 of FIG.
  • the same reference numerals are given to portions corresponding to the case in FIG. 46 or FIG. 52, and the description thereof will be appropriately omitted. That is, the coefficient conversion circuit 4 32 D shown in FIG. 56 does not include the class tap extraction circuit 4 42 and has the inverse quantization circuit.
  • the configuration is basically the same as that in FIG. 46, except that 47 1 is newly provided.
  • the quantization as additional information is stored in the coefficient table storage section 44 4, as in the case of the coefficient conversion circuit 43 2 C in FIG. 54. Only the evening coefficient of the class obtained by the class classification performed based only on the table is stored, and the processing is performed using this.
  • the prediction type extraction circuit 441 uses an inverse quantization circuit instead of a quantized DCT coefficient.
  • a prediction map is constructed for the DCT coefficients output by the 471, and thereafter, the processing is performed for the DCT coefficients.
  • FIG. 5 7 Shows an example of the configuration of a learning device 460D that performs a learning process of a sunset coefficient stored in the coefficient table storage unit 444 of FIG.
  • the portions corresponding to those in FIG. 50 or FIG. 53 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the learning device 460D shown in FIG. 57 does not include the cluster extraction circuit 465 and additionally includes an inverse quantization circuit 481.
  • the configuration is basically the same as in the case of 0.
  • the prediction tap is configured not by the quantized DCT coefficient but by the DCT coefficient in the prediction type extraction circuit 464. Processing is performed on the target. Further, in the normal equation addition circuit 467, the calculation is performed for each class obtained by the class classification in which the above-described addition is performed based only on the quantization table as the additional information. In FIG. 8, tap coefficients are obtained by solving such a normal equation for each class.
  • JPEG-encoded images for compressing and encoding still images are targeted, but the present invention is directed to compression-encoding moving images, for example, MPEG-encoded images. Is also possible.
  • FIG. 58 shows ⁇ 2 encoder 4 2 when MPEG coding is performed.
  • 1 shows a configuration example.
  • frames or fields constituting a video to be subjected to MPEG encoding are sequentially supplied to the motion detection circuit 491 and the arithmetic unit 492.
  • the motion detection circuit 4991 detects a motion vector of the frame supplied thereto in units of macroblocks, and supplies the motion vector to the entropy coding circuit 496 and the motion compensation circuit 500.
  • the arithmetic unit 492 supplies the image supplied thereto to the blocking circuit 493 as it is if the picture is an I picture, or the motion compensation circuit 500 if the picture supplied is a P picture or a B picture.
  • the difference from the reference image is calculated, and the difference value is supplied to the blocking circuit 493.
  • the blocking circuit 493 blocks the output of the arithmetic unit 492 into an 8 ⁇ 8 pixel block and supplies it to the DCT circuit 494.
  • the 0! 1 circuit 494 performs DCT processing on the pixel blocks from the blocking circuit 493, and supplies the resulting DCT coefficients to the quantization circuit 495.
  • the quantization circuit 495 quantizes the DCT coefficient for each block from the DCT circuit 493 in accordance with a predetermined quantization table, and obtains an event together with the quantization table using the resulting quantized DCT coefficient. This is supplied to the speech coding circuit 496.
  • the entropy encoding circuit 496 entropy-encodes the quantized DCT coefficient from the quantization circuit 495 to obtain a motion vector from the motion detection circuit 492 and a quantization table from the quantization circuit 495. And other necessary information, and outputs the resulting encoded data as an MPEG encoded result.
  • I-pictures and P-pictures need to be locally decoded to be used as reference pictures for P-pictures and B-pictures to be encoded later.
  • the entropy coding circuit 496 it is also supplied to the inverse quantization circuit 497.
  • the quantization table used in the quantization circuit 495 is also supplied to the inverse quantization circuit 497.
  • the inverse quantization circuit 497 inversely quantizes the quantized DCT coefficient from the quantization circuit 495 according to the quantization table from the quantization circuit 495 to obtain a DCT coefficient.
  • Supply 4 9 8 Inverse DCT circuit 498 is inverse quantization
  • the DCT coefficient from the circuit 497 is subjected to inverse DCT processing and output to the arithmetic unit 499.
  • the arithmetic unit 499 is supplied with the reference image output from the motion compensation circuit 500 in addition to the output of the inverse DCT circuit 498.
  • the arithmetic unit 499 decodes the original image by adding the output of the inverse DCT circuit 498 and the output of the motion compensation circuit 500. Then, it is supplied to the motion compensation circuit 500. If the output of the inverse DCT circuit 498 is that of an I-picture, the output of the inverse DCT circuit 498 is a decoded image of the I-picture. Supply to 0 0.
  • the motion compensation circuit 500 performs motion compensation according to the motion vector from the motion detection circuit 491, on the locally decoded image supplied from the arithmetic unit 4999, and performs the motion compensation after the motion compensation.
  • the image is supplied to the computing unit 492 and the computing unit 499 as a reference image.
  • the encoded data obtained as a result of the MPEG encoding as described above can be decoded by the MPEG decoder 510 having the configuration shown in FIG.
  • the encoded data is supplied to an entropy decoding circuit 511, and the entropy decoding circuit 511 performs entropy decoding on the encoded data to obtain a quantized DCT coefficient
  • the motion vector, quantization table, and other necessary information included in the encoded data are separated.
  • the quantized DCT coefficient and the quantization table are supplied to the inverse quantization circuit 112, and the motion vector is supplied to the motion compensation circuit 516.
  • the inverse quantization circuit 1 1 2 inversely quantizes the quantized DCT coefficient from the entropy decoding circuit 5 11 in accordance with the quantization table from the entropy decoding circuit 5 11 1 to obtain a DCT coefficient.
  • the inverse DCT circuit 513 performs an inverse DCT process on the DCT coefficient from the inverse quantization circuit 5 12 and outputs the result to the arithmetic unit 5 14.
  • the arithmetic unit 5 14 receives, in addition to the output of the inverse quantization circuit 5 13, the already decoded I picture or P picture output by the motion compensation circuit 5 16 and the motion vector from the entropy decoding circuit 5 11. Is supplied as a reference image.
  • the arithmetic unit 5 14 The original image is decoded by adding the output of 16 and supplied to the block decomposition circuit 5 15.
  • the output of the inverse DCT circuit 5 13 is an I-picture
  • the output of the inverse DCT circuit 5 13 is a decoded image of the I-picture. Supply 1 to 5.
  • the block decomposing circuit 5.15 obtains and outputs a decoded image by deblocking the decoded image supplied from the arithmetic unit 514 in units of pixel blocks.
  • the motion compensation circuit 5 16 receives the I-picture and the P-picture of the decoded image output from the arithmetic unit 5 14 and performs motion compensation according to the motion vector from the entropy decoding circuit 5 11. Is applied. Then, the motion compensation circuit 516 supplies the image after the motion compensation to the arithmetic unit 514 as a reference image.
  • the encoded data subjected to the MPEG encoding can be efficiently decoded into a high-quality image as described above.
  • the encoded data is supplied to an end-to-end decoding circuit 431, and the event-to-peak decoding circuit 431 decodes the encoded data to an end-to-end decoding and the quantized DCT coefficient is calculated.
  • the motion vector, quantization table, and other necessary information included in the encoded data are separated.
  • the quantized DCT coefficient is supplied from the entropy decoding circuit 43 1 to the coefficient transforming circuit 43 2 D, and the quantization table, the motion vector, etc. are also added to the entropy decoding circuit 43 1 as additional information. Is supplied to the coefficient conversion circuit 432D.
  • the coefficient transforming circuit 432D performs a predetermined prediction operation using the quantized DCT coefficient Q from the entropy decoding circuit 431, the additional information, and the evening coefficient obtained by performing the learning. By performing motion compensation according to the motion vector from the entropy decoding circuit 431, if necessary, the quantized DCT coefficient is decoded into the original pixel value and supplied to the block decomposition circuit 43.
  • the block decomposition circuit 433 de-blocks the pixel block composed of the decoded pixels obtained in the coefficient conversion circuit 432 D to obtain and output a decoded image.
  • FIG. 60 shows a configuration example of the coefficient conversion circuit 432 of FIG. 44 in the case where the decoder 22 decodes the coded data that has been MPEG-coded.
  • the coefficient conversion circuit 432E shown in FIG. 60 is different from the product-sum calculation circuit 45 in that the arithmetic unit 514 and the motion compensation circuit 516 in FIG.
  • the configuration is the same as in FIG.
  • the additional information supplied to the class classification circuit 43 includes motion vectors in addition to the quantization tables. Therefore, the class classification circuit 443 can perform class classification based on the motion vector in addition to the quantization table.
  • class classification based on motion vectors for example, a code representing the magnitude relationship between the magnitude of a motion vector and a predetermined threshold, or a code representing the magnitude relationship between the X and y components of the motion vector and each of the predetermined thresholds Etc. can be used as a class code.
  • FIG. 61 shows an example of the configuration of a learning device 460E that learns the coefficients stored in the coefficient table storage section 444 of FIG. Note that, in the figure, portions corresponding to those in FIG. 57 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the motion vector detection circuit 521 and the arithmetic unit 522 receive a learning image as teacher data.
  • the arithmetic unit 529 or the motion compensation circuit 530 is the motion vector detection circuit 491, the arithmetic unit 492, the blocking circuit 493, the DCT circuit 494, and the quantization circuit 4 in FIG. 95, inverse quantization circuit 497, inverse DCT circuit 498, arithmetic unit 499, or motion compensation circuit 500, and similar processing.
  • the quantized DCT coefficient and the quantization table output from the quantizing circuit 525 are supplied to the inverse quantizing circuit 481, and the inverse quantizing circuit 481 outputs the quantized DC from the quantizing circuit 525.
  • the coefficient is inversely quantified in accordance with the quantization step from the quantization circuit 525, converted into a DCT coefficient, and supplied to the prediction tap extraction circuit 464.
  • the prediction amplifier extraction circuit 464 constructs a prediction amplifier from the DCT coefficients from the inverse quantization circuit 481, and supplies it to the normal equation adding circuit 467.
  • the class classification circuit 4666 performs the class classification based on the quantization table output from the quantization circuit 525. Note that when the class classification circuit 444 in FIG. 60 classifies based on the quantization table and the motion vector, the class classification circuit 466 outputs from the quantization circuit 525. Classification is performed based on the quantization table and the motion vector output from the motion vector detection circuit 5 21.
  • the class code obtained as a result of the class classification by the class classification circuit 4 6 6 is supplied to a normal equation addition circuit 4 6 7.
  • the normal equation addition circuit 4 6 7 outputs the output of the arithmetic unit 5 2 2 with the teacher data.
  • the above-described addition is performed for each class using the prediction tap from the inverse quantization circuit 48 1 as student data, thereby generating a normal equation.
  • the tap coefficient determination circuit 468 solves the normal equation for each class generated by the normal equation addition circuit 467 to obtain the evening coefficient for each class, and stores the same in the coefficient table storage section 469. Supply and store.
  • the MPEG-encoded encoded data is decoded using the thus-obtained evening coefficient for each class.
  • the coefficient conversion circuit 43E of FIG. 60 can be configured without the inverse quantization circuit 471.
  • the learning device 460E in FIG. 61 may be configured without the inverse quantization circuit 481.
  • coefficient conversion circuit 432E of FIG. 60 can be configured by providing the class tap extraction circuit 442, as in the case of FIG. In this case, Figure 6 1
  • the learning device 460E of this embodiment may be configured by providing a class map extraction circuit 465 as in the case of FIG.
  • the quantization table and the motion vector are used as the additional information.
  • the additional information other various information that is not necessarily needed to restore the DCT coefficient to the original state is used. It is possible to adopt. That is, for example, regarding encoded data that has been MPEG-encoded, it is possible to employ, as the additional information, a picture type / macroblock type in addition to a quantization table and a motion vector.
  • the data of interest in the original data is classified into one of several classes based on the additional information, and learning is performed. Then, the tap coefficients corresponding to the class of the focused data are acquired from the evening coefficient obtained for each predetermined class. Then, by performing a predetermined prediction operation using the converted data and the tap coefficients corresponding to the class of the focused data, the converted data can be efficiently decoded to the original data.
  • At least orthogonal transformation or frequency transformation is performed on teacher data as a teacher to generate student data as a student, and based on predetermined additional information used when generating the student data.
  • the target teacher data of interest among the teacher data is classified into one of several classes, and the prediction calculation is performed using the student's data and the sunset coefficient corresponding to the class of target teacher data.
  • the learning is performed so that the prediction error of the prediction value of the teacher data obtained by performing the calculation is statistically minimized, and the tap coefficient for each class is obtained.
  • the decoder 22 shown in FIG. 2 includes an entropy decoding circuit 631, a coefficient conversion circuit 632, and a block decomposition circuit 633 as shown in FIG.
  • the coded data is decoded using the decoder 622.
  • the encoded data is supplied to the entropy decoding circuit 631.
  • the entropy decoding circuit 631 performs the entropy decoding of the encoded data and performs the decoding.
  • the resulting quantized DCT coefficient Q for each block is supplied to the coefficient transforming circuit 632 ⁇ In addition, in the encoding process, in addition to the entropy-encoded quantized DCT coefficient, a quantization table Is also included.
  • the coefficient conversion circuit 632 performs a predetermined prediction operation using the quantized DCT coefficient Q from the entropy decoding circuit 631, and a tap coefficient obtained by performing learning described later, so that each block is processed. Decode the quantized DCT coefficients into the original block of 8x8 pixels.
  • the block decomposition circuit 633 obtains and outputs a decoded image by deblocking the decoded block (decoded block) obtained in the coefficient conversion circuit 6332.
  • the encoded data is sequentially supplied to an entropy decoding circuit 631, and in step S301, the entropy decoding circuit 631 entropy-decodes the encoded data and performs quantization for each block.
  • the DCT coefficient Q is supplied to a coefficient conversion circuit 6332.
  • the coefficient conversion circuit 632 performs a prediction operation using the sunset coefficient, and thereby obtains the quantized DCT coefficient Q for each block from the entropy decoding circuit 631, for each block.
  • the data is decoded into pixel values and supplied to the block decomposition circuit 633.
  • the block decomposition circuit 633 performs block decomposition for breaking the block of the pixel value block (decoding process) from the coefficient conversion circuit 632, and outputs a decoded image obtained as a result. To end the processing.
  • the coefficient conversion circuit 632 of FIG. 62 decodes the quantized DCT coefficient into a pixel value using, for example, a class classification adaptive process.
  • FIG. 64 shows a configuration example of the coefficient conversion circuit 632 of FIG. 62 that decodes the quantized DCT coefficients into pixel values by the class classification adaptive processing.
  • the quantized DCT coefficients for each block output by the entropy decoding circuit 631 are calculated by using the prediction skip extraction circuit 641 and the class. It is supplied to a sunset extraction circuit 642.
  • the prediction skip extraction circuit 641 is a circuit for quantizing DCT coefficients supplied thereto.
  • a pixel value block (this pixel value block does not exist at this stage, but is assumed virtually) (hereinafter, appropriately referred to as a pixel block) is sequentially focused on.
  • Each pixel constituting the pixel block of interest is sequentially set as a pixel of interest in, for example, a so-called raster scan order.
  • the prediction tap extraction circuit 641 predicts the pixel value of the pixel of interest. Extract the quantized DCT coefficients used for, and use them as prediction taps.
  • the quantized DCT coefficients of the DCT block corresponding to the pixel block to which the pixel of interest belongs that is, 8 ⁇ 8 6 4
  • the number of quantized DCT coefficients is extracted as a prediction map. Therefore, in this embodiment, the same prediction map is formed for all the pixels in a certain pixel walk.
  • the prediction tap can be configured with different quantized DCT coefficients for each pixel of interest. .
  • quantized DCT coefficients constituting the prediction type are not limited to those of the above-described pattern.
  • Prediction map extraction The prediction map for each pixel constituting the pixel block obtained in the circuit 61, that is, 64 sets of prediction taps for each of the 64 pixels are calculated by the product-sum operation circuit 6 Supplied to 4 5. However, in this embodiment, as described above, the same prediction map is configured for all the pixels in the pixel block. Therefore, in practice, one set of prediction is performed for one pixel block. The sunset may be supplied to the product-sum operation circuit 645.
  • the class map extraction circuit 642 extracts a quantized DCT coefficient used for class classification for classifying the target pixel into one of several classes, and sets it as a class map.
  • the class map extraction circuit 642 forms the same class map for each pixel of a certain pixel block.
  • the class tap extraction circuit 642 includes a pixel block of interest 64.4.
  • a cluster group of 64 sets for classifying each pixel instead, one set of clusters for classifying the pixel block of interest may be configured, and the class map extraction circuit 642 classifies the pixel block for each pixel block into classes.
  • the class map extraction circuit 642 classifies the pixel block for each pixel block into classes.
  • quantized DC coefficient forming the cluster group is not limited to the pattern described above.
  • DCT and quantization are performed in units of 8 ⁇ 8 pixel blocks to form a DCT block composed of 8 ⁇ 8 quantized DCT coefficients.
  • the pixel is decoded by the class classification adaptive processing, it is conceivable to use only the quantized DCT coefficient of the DCT pro- ject corresponding to the pixel pro- cess as a class map.
  • the DCT coefficient corresponding to a certain pixel block and the quantized DCT coefficients of the four DCT blocks adjacent to the top, bottom, left, and right thereof are classified into a class map.
  • the quantized DCT coefficients used as the class map are, in addition, the DC circuit adjacent to the DC circuit corresponding to a certain pixel circuit in the diagonal direction, and the DCT circuit that is not adjacent but is in the vicinity. You may make it extract from a block etc. In other words, from what range of DCT pro- grams to extract the quantized DC ⁇ coefficients to be used as the class map is not particularly limited.
  • the cluster group of the pixel block of interest obtained in the cluster group extraction circuit 642 is supplied to the class classification circuit 643.
  • the class classification circuit 643 classifies the pixel of interest based on the class map from the class map extraction circuit 642, and outputs a class code corresponding to the class obtained as a result.
  • ADRC ADRC or the like
  • the quantized DC coefficient forming the class map is subjected to ADRC processing, and the class of the pixel of interest pixel is determined according to the resulting ADRC code.
  • the class classification circuit 643 it is preferable to perform the class classification after compressing the information amount of the class map by the above-mentioned ADRC processing or vector quantization.
  • the class map is composed of 320 quantized DC coefficients as described above.
  • the number of cases of class co one de becomes enormous value of 2 3 2 ways.
  • the class classification circuit 643 extracts a highly important feature amount from the quantized DCT coefficients constituting the class map, and performs class classification based on the extracted feature amount. With this, the number of classes is reduced. That is, FIG. 66 shows a configuration example of the class classification circuit 643 of FIG. In the class classification circuit 643 shown in FIG. 64, the class map is supplied to the power calculation circuit 651. The power calculation circuit 651 divides the quantized DC coefficient forming the class filter into several spatial frequency bands, and Calculate the power of several bands.
  • the class map is composed of the quantized DCT coefficients of the five DCT circuits, but the power operation circuit 651 has
  • the 8 ⁇ 8 quantized DCT coefficients of the DCT block are divided into four spatial frequency bands S as shown in FIG. , Si, from S 3, S t here is divided into 3, one D CT to 8 x each of the eight quantized DCT coefficients of the block Al Fuabedzuto X Las evening scanning order as shown in FIG. 65 A 0
  • the spatial frequency band S is expressed by adding a sequential integer of Is the four quantized DCT coefficients x.
  • the spatial frequency band S 2 is composed of 12 quantized DCT coefficients 16, 17, X24, 25, 32, 33, X40, 41, X48, 49, X56, X57,
  • the spatial frequency band S 3 has 36 quantized DCT coefficients X
  • the power calculation circuit 65 1 includes five DC blocks constituting a cluster group, each of which has a spatial frequency band S. , Si, S 2 , and S 3 , the power P of the AC component of the quantized DCT coefficient. , Pi, P 2, and P 3 are calculated and output to the class code generation circuit 652.
  • the power calculation circuit 65 1 uses the spatial frequency band S. For the four quantized DCT coefficients X described above. , Chi iota, obtains an AC component X 1, s, 9 of square sum X ⁇ 2 + ⁇ 8 2 + ⁇ 9 2 of X 8, X 9, which power [rho. And outputs it to the class code generation circuit 652.
  • the power calculation circuit 65 1 calculates the AC component of the above-mentioned 12 quantized DCT coefficients for the spatial frequency band Si, that is, the sum of squares of all 12 quantized DCT coefficients, This is output to the class code generation circuit 652 as power Pi.
  • the power calculation circuit 65 for the spatial frequency band S 2 and the spatial frequency band range S 3, in the same manner as in the spatial frequency band Si, that of an Calculated power P 2 and power P 3, and outputs the class code generating circuit 652.
  • the class code generation circuit 652 includes five DCT blocks constituting the class taps from the power calculation circuit 65 1 and the power P for each block.
  • P 1, P 2, and P 3 are the thresholds TH corresponding to the thresholds stored in the table storage unit 653.
  • TH!, TH 2 , and TH 3 are compared with each other, and the class code is output based on the magnitude relation of each. That is, the class code generation circuit 652 uses power P. And the threshold TH. To obtain a 1-bit code representing the magnitude relationship.
  • the class code generating circuit 652 the power Pi and the threshold value TH power P 2 and the threshold value TH 2, by a power P 3 and the threshold value TH 3 it is then compared to obtain a code of 1 Bidzuto each.
  • the class code generation circuit 652 obtains four 1-bit codes, that is, a total of 20-bit codes, as described above, for each of the five DCT processes constituting the class map . Then, the class code generation circuit 652 outputs the 20-bit code as a class code representing the class of the pixel block of interest. In this case, the target pixel block will be classification into one of 2 2 ° number of classes.
  • the threshold table storage unit 653 stores the spatial frequency band S. 'Power P. of ⁇ S 3 Threshold 1 1 1 11 and to P 3 which is it compared. I remember ⁇ 1 1 11 3
  • the DC component X of the quantized DCT coefficient is used in the class classification processing. Is not used, but this DC component x. It is also possible to perform class classification processing by using.
  • the class code output from the class classification circuit 643 as described above is given to the coefficient table storage unit 644 as an address.
  • the coefficient table storage unit 644 stores a coefficient table in which evening coefficients obtained by performing a learning process are registered, and is stored in an address corresponding to the class code output from the class classification circuit 643. The output coefficient is output to the product-sum operation circuit 645.
  • the pixel blocks are classified into classes, so that one class code is obtained for the pixel element of interest.
  • the pixel block is composed of 64 pixels of 8 ⁇ 8 pixels. It requires 64 pixels to compose it and 64 sets of evening coefficients to decode it. Therefore, the coefficient table storage section 644 stores 64 sets of set coefficients for an address corresponding to one class code.
  • the product-sum operation circuit 645 acquires the prediction tap output from the prediction tap extraction circuit 644 and the tap coefficient output from the coefficient table storage section 644, and uses the prediction tap and the tap coefficient to obtain the tap.
  • the block decomposition circuit 6 performs the linear prediction operation (product-sum operation) shown in the above equation (1) and obtains the 8 ⁇ 8 pixel value of the target pixel block obtained as a result of decoding the corresponding DCT block. Output to 3 (Fig. 62).
  • each pixel of the target pixel block is sequentially set as the target pixel.
  • the product-sum operation circuit 645 selects the target pixel of the target pixel block. The processing is performed in the operation mode corresponding to the position of the pixel (hereinafter referred to as pixel position mode as appropriate).
  • the product-sum operation circuit 645 sets the pixel position mode # Perform the processing of i. ''
  • the coefficient table storage unit 644 outputs 64 pixels constituting the target pixel block and 64 sets of tap coefficients for decoding each of the pixels. Assuming that a set of evening coefficients for decoding P i is W i, when the operation mode is the pixel position mode #i, the product-sum operation circuit 645 The product-sum operation of the above equation (1) is performed using the set W i of the mapping coefficients, and the result of the product-sum operation is used as the decoded result of the pixel P i.
  • the quantized DCT coefficients for each block output from the entropy decoding circuit 631 are sequentially received by the predictive tap extracting circuit 641 and the class tap extracting circuit 642, and the predictive tap extracting circuit 641
  • the pixel blocks corresponding to the blocks (DCT blocks) of the quantized DCT coefficients supplied thereto are sequentially set as the target pixel blocks.
  • step S 311 the class map extraction circuit 6 4 2 Among the received quantized DCT coefficients, one used for classifying the target pixel block, that is, in this embodiment, the DCT corresponding to the target pixel block and four DCTs adjacent to the top, bottom, left, and right thereof The quantized DCT coefficients of the five DCT blocks in total are extracted to form a class map, which is supplied to a class classification circuit 643.
  • step S 312 the class classification circuit 643 classifies the pixel of interest using the cluster group from the class map extraction circuit 642, and stores the resulting class code in a coefficient table. Output to section 6 4 4.
  • step S312 the power calculation circuit 651 of the class classification circuit 643 (FIG. 66) is started.
  • the five spatial frequency bands S shown in FIG. ⁇ S 3 it it of power P.
  • This power P. To P 3 is output from the power calculating circuit 6 5 1 to the class code generating circuit 6 5 2.
  • step S322 the class code generation circuit 652 reads the threshold value :! from the threshold table storage unit 65.
  • ⁇ ⁇ Ding! Read the ⁇ and the power calculation circuit 6 5 1 Class 5 from DCT power of the DCT circuit that constitutes the map! 5 .
  • ⁇ P 3 it the same threshold TH.
  • ⁇ TH a Compares each, generates a class code based on the magnitude relation of each, and returns.
  • the class code obtained as described above in step S312 is given as an address from the class classification circuit 643 to the coefficient table storage unit 644.
  • the coefficient table storage section 644 Upon receiving the class code as the address from the class classification circuit 643, the coefficient table storage section 644 stores the 64 sets of the skip coefficients stored in the address in step S313. Read and output to the product-sum operation circuit 645. Then, the process proceeds to step S 3 14, where the prediction pixel extraction circuit 64 1 determines, as pixels of interest, pixels that have not yet been regarded as pixels of interest in the pixel-of-interest block in raster scanning order. A quantized DCT coefficient used to predict the pixel value of the target pixel is extracted and configured as a prediction tap. This prediction tap is used for the prediction The signal is supplied from the path 641 to the product-sum operation circuit 645.
  • step S 3 14 For a pixel block, if it is performed only for the first pixel of interest, it is not necessary to perform the process for the remaining 63 pixels.
  • step S315 the product-sum operation circuit 645 determines the pixel position with respect to the pixel of interest among the 64 sets of set coefficients output from the coefficient table storage unit 644 in step S313. A set of tap coefficients corresponding to the mode is obtained, and the set of tap coefficients and the predicted map supplied from the predicted map extraction circuit 641 in step S3114 are used to perform the above-described processing.
  • the product-sum operation shown in equation (1) is performed to obtain a decoded value of the pixel value of the target pixel.
  • step S316 the prediction pixel extraction circuit 641 determines whether or not all pixels of the target pixel block have been processed as the target pixel.
  • step S316 if it is determined that all the pixels of the pixel-of-interest target pixel have not been processed yet, and the process returns to step S314, the prediction tap extraction circuit 6 In step 41, the same processing is repeated by setting a pixel that has not yet been set as the target pixel in the raster scan order among the pixels of the target pixel block as a new target pixel, and thereafter.
  • step S316 If it is determined in step S316 that all pixels of the target pixel block have been processed as the target pixel, that is, if decoded values of all pixels of the target pixel block have been obtained,
  • the arithmetic circuit 645 outputs the pixel block (decoding block) constituted by the decoded value to the block decomposition circuit 633 (FIG. 62), and ends the processing.
  • the same spatial frequency band S is used for each of the five DCT blocks constituting the class map in the class classification circuit 643.
  • the to P 3 calculates, on the basis of its power, but to perform the classification, and other classification, for example, five DCT blocks forming the class evening Uz flop For some of them, it is possible to calculate the power in different spatial frequency bands and make the calculation based on that power.
  • the DCT block corresponding to the target pixel block (hereinafter, appropriately referred to as the target DCT block) is: Vertical high frequency band power; Pv and horizontal high frequency band power P h .
  • the vertical high frequency band power P u For the DCT block adjacent above the DCT block of interest, the vertical high frequency band power P u
  • the power Pa in the high frequency band in the vertical direction, and for the DCT block to the left of the DCT block of interest the power Pi in the high frequency band in the horizontal direction, for.
  • the power P r of the horizontal high frequency band it it calculates their power P v, P h, Pu, Pd, Pi, based on P r, Figure 6 6 and Figure 6 Classification can be performed in the same manner as described in 8.
  • step S331 the power operation circuit 651 of the class classification circuit 643 (FIG. 66) explained about the five DCT circuits constituting the class map in FIG. 69.
  • power Pv of each frequency band as, computed Ph, Pu, P d) Pi , the P r, and outputs the class code generating circuit 652.
  • step S332 the class code generation circuit 652 reads the threshold from the threshold table storage unit 653.
  • the threshold table storage unit 653, the power Pv, Ph, Pu, Pd, P l3 P r which threshold T Hv to compare with that, TH hj T Hu, THd, TH l5 TH r is stored Shall be
  • the AC component of the quantized DCT coefficient as a class map is used for class classification.
  • the classification is, for example, as shown in FIG. 71, the DC component C of the DCT block of interest. , The DC components adjacent to the top, bottom, left and right, and their respective DC components C u ,
  • the class classification circuit 643 in FIG. 64 is configured as shown in FIG. 72, for example.
  • the class tap is supplied to a difference calculation circuit 751.
  • Difference Starring "calculation circuit 75 1 of the five D CT Purodzuku forming the class evening Uz flop, attention D CT adjacent to vertical and horizontal block D CT blocks DC components Cu, Cd, Ci, C r DC T. DC component of the block.
  • the absolute value of the difference between the Du, Da, D i calculates the D r, and supplies the class code generating circuit 752. That is, the difference calculation circuit 751 calculates the following equation (9),
  • the calculation result is supplied to the class code generation circuit 752.
  • Class code generating circuit 752 the operation result (difference absolute values) from the difference calculation circuit 75 1 Du, Dd, Di, threshold value corresponding stored the D r in the threshold table storage unit 753 TH U, T Hd, T Hi, TH r are compared with each other, and the class code is output based on the magnitude relation of each. That is, the class code generating circuit 752 compares the difference absolute values Du and the threshold TH u, to obtain a code of 1 bit representing the magnitude relationship. Similarly, the class code generation circuit 752 compares the difference absolute value D d with the threshold value TH d , the difference absolute value D i and the threshold value TH, and compares the difference absolute value D r with the threshold value TH r to obtain one bit for each.
  • Threshold table storage unit 7 53 absolute difference values Du, Dd, D l5 D r and it it compares to a threshold value TH U, TH, stores TH l9 TH r.
  • the difference calculation circuit 751 includes five DCT blocks constituting the class map, and each of the DC components C. Using Cu, Cd, Ci, and C r, the above-described difference absolute value D u, D d5 Di, calculates the D r, and supplies the class code generation circuit 7 52.
  • step S 342 the class code generation circuit 752 compares the threshold values TH U , T Hd, T Hi., And TH r stored in the threshold value table storage unit 753 with the absolute difference values Du, dd, Di, compared to D r, respectively, to obtain the four 1-bit code representing the magnitude ⁇ engagement. Then, the class code generation circuit 752 outputs the four-bit code consisting of the four one-bit codes as a class code, and returns.
  • the class classification can be performed using only the AC component or only the DC component of the quantized DCT coefficient, or using both the AC component and the DC component. That is, the method of class classification is not limited to the method described above.
  • the learning process of the tap coefficients stored in the coefficient table storage unit 644 of FIG. 64 can be executed by the learning devices 60C and 60D shown in FIGS. 16 and 18 described above.
  • coefficient conversion circuit 632 in FIG. 62 can be configured in the same manner as in FIG. 13 described above.
  • FIG. 74 shows another configuration example of the coefficient conversion circuit 632.
  • parts corresponding to those in FIG. 64 are denoted by the same reference numerals, and Will be omitted as appropriate. That is, the coefficient conversion circuit 632B shown in FIG. 74 is basically the same as that of FIG. 6 except that an inverse DCT circuit 701 is newly provided at the subsequent stage of the product-sum operation circuit 645.
  • the configuration is the same as in the case of FIG.
  • the inverse DCT circuit 701 decodes the output of the product-sum operation circuit 645 into an image by performing an inverse DCT process, and outputs the image. Therefore, in the coefficient conversion circuit 632B of FIG. 74, the product-sum operation circuit 645 includes a quantized DCT coefficient constituting the prediction tap output from the prediction tap extraction circuit 641, and a coefficient table storage unit. The DCT coefficient is output by performing a product-sum operation using the evening coefficient stored in 6 4 4.
  • the quantized DCT coefficient is converted into a DCT coefficient by a product-sum operation with the tap coefficient, instead of being decoded into a pixel value. Then, the DCT coefficient is inversely DCT-processed by the inverse DCT circuit 701, thereby being decoded into a pixel value. Therefore, the tap coefficients stored in the coefficient table storage section 64 need to be different from those in FIG.
  • FIG. 75 shows an example of the configuration of a learning device 660B that performs a learning process of a type coefficient stored in the coefficient table storage unit 644 of FIG.
  • the learning device 660 B shown in FIG. 75 outputs the DCT circuit 662 instead of the pixel value of the image for learning as the teacher data to the normal equation adding circuit 667.
  • the configuration is the same as that in FIG. 16 except that a DCT coefficient obtained by performing DCT processing on an image for use is provided.
  • the normal equation addition circuit 667 sets the DCT coefficient output from the DCT circuit The above addition is performed using the quantized DCT coefficients constituting the prediction gap output from the circuit 664 as student data. Then, the tap coefficient determination circuit 668 obtains the evening coefficient by solving a normal equation obtained by such addition. As a result, in the learning device 660B of FIG. 75, the skip coefficient for converting the quantized DCT coefficient into a DCT coefficient in which the quantization error due to the quantization in the quantization circuit 666 is reduced (suppressed) is Will be required. In the coefficient conversion circuit 632B of FIG.
  • the product-sum operation circuit 645 since the product-sum operation circuit 645 performs the product-sum operation using the above-described coefficient, the output thereof is the prediction tap extraction circuit 641.
  • the DCT coefficients output by are converted to DCT coefficients with reduced quantization errors. Therefore, such a DCT coefficient is subjected to inverse DCT by the inverse DCT circuit 701, whereby a decoded image with reduced image quality deterioration due to the influence of the quantization error can be obtained.
  • FIG. 76 shows another configuration example of the coefficient conversion circuit 632 of FIG.
  • the portions corresponding to those in FIG. 64 or FIG. 74 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, in the coefficient conversion circuit 632C shown in FIG. 76, an inverse quantization circuit 671 is newly provided as in the case of FIG.
  • the configuration is the same as that in FIG. 64 except that a DCT circuit 701 is newly provided.
  • the coefficient conversion circuit shown in Fig. 76 the coefficient conversion circuit shown in Fig. 76.
  • the predicted and extracted class extraction circuits 641 and 642 target DCT coefficients instead of quantized DCT coefficients.
  • a prediction setup and a class setup are each composed.
  • the product-sum operation circuit 645 includes a DCT coefficient constituting the prediction tap output from the prediction tap extraction circuit 641, and a coefficient table storage. By performing a product-sum operation using the tap coefficients stored in the section 644, a DCT coefficient with a reduced quantization error is obtained and output to the inverse DCT circuit 701.
  • FIG. 77 illustrates a configuration example of a learning device 660C that performs a learning process of tap coefficients stored in the coefficient table storage unit 644 of FIG.
  • portions corresponding to the case in FIG. 75 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, in the learning device 660C shown in FIG. 77, an inverse quantization circuit 681 is newly provided as in the case of FIG. 19, and further, as in the case of FIG.
  • the DCT coefficient output from the DCT circuit 662 instead of the pixel value of the learning image, and the DCT coefficient obtained by performing the DCT processing on the learning image is given to the adder circuit 667 as the teacher data instead of the pixel value of the learning image. Is configured in the same way as in FIG.
  • the normal equation addition circuit 667 is The 13 CT coefficients output by the DCT circuit 662, that is, the DCT coefficients without quantization error, are used as the teacher data, and the DCT coefficients constituting the prediction taps output by the prediction tap configuration circuit 666, that is, the quantized The above addition is performed using the inversely quantized DCT coefficients as student data. Then, the type coefficient determination circuit 668 obtains the type coefficient by solving a normal equation obtained by such addition. As a result, the learning device 660C in FIG. 77 converts the quantized and dequantized DCT coefficients into DCT coefficients in which quantization errors due to the quantization and dequantization are reduced. Is determined.
  • the conversion data used to classify the target processing data into one of several classes is at least converted to a process other than the process corresponding to the target processing data. It is extracted from a block, and is made into a cluster group. Based on the class map, a class classification for obtaining a class of the processing data of interest is performed. Since the predicted value of the processing data of interest is obtained by performing the prediction calculation of, the desired processing data can be efficiently obtained from the converted data.
  • student data used to classify the target teacher data into one of several classes is extracted from at least the blocks other than the blocks corresponding to the target teacher data, Based on the cluster group, a class classification is performed to find the class of the teacher of interest. Then, learning is performed so that the prediction error of the predicted value of the teacher data obtained by performing the prediction operation using the evening coefficient and the student data for each class is statistically minimized, and the tap coefficient is set to the class. Ask for each. By using the thus obtained sunset coefficients, it is possible to efficiently obtain a desired data from the orthogonally or frequency-converted data.
  • the decoder 22 shown in FIG. 2 includes an entropy decoding circuit 831, a coefficient conversion circuit 832, and a block decomposition circuit 833 as shown in FIG.
  • the encoded data is decoded by using the decoder 822.
  • the encoded data is supplied to an entropy decoding circuit 831 ⁇
  • the entropy decoding circuit 831 decodes the encoded data into an entry lobby and supplies the resulting quantized DCT coefficient Q for each block to the coefficient conversion circuit 832.
  • a quantization table is also included, but the quantization table can be used for decoding the quantized DCT coefficient as needed.
  • the coefficient conversion circuit 832 performs a predetermined prediction operation using the quantized DCT coefficient Q from the entropy decoding circuit 831 and a tap coefficient obtained by learning, thereby performing quantization for each block. Decode the DCT coefficients into the original block of 8 x 8 pixels.
  • the block decomposition circuit 833 obtains and outputs a decoded image by deblocking the decoded block (decoding process) obtained in the coefficient conversion circuit 832.
  • the coded data is sequentially supplied to the entropy decoding circuit 831.
  • the entropy decoding circuit 831 performs entropy decoding of the coded data, and quantizes the DCT coefficient Q for each block. Is supplied to the coefficient conversion circuit 832.
  • the coefficient conversion circuit 832 performs a prediction operation using the type coefficient, thereby converting the quantized DCT coefficient Q for each block from the entropy decoding circuit 831 into a pixel value for each block. And supplies it to the block decomposition circuit 833.
  • the block decomposition circuit 833 performs a block decomposition for deblocking the pixel value block (decoding block) from the coefficient conversion circuit 833, and outputs a decoded image obtained as a result. To end the processing.
  • the coefficient conversion circuit 832 in FIG. 78 decodes the quantized DCT coefficient into a pixel value by using the classification adaptive processing.
  • FIG. 80 shows a configuration example of the coefficient conversion circuit 832 of FIG. 78, which decodes the quantized DCT coefficients into pixel values by the class classification adaptive processing.
  • the quantized DCT coefficient for each program output by the entropy decoding circuit 831 (FIG. The circuit 841 and the class map extraction circuit 842 are supplied.
  • the prediction tap extraction circuit 841 generates a block of pixel values corresponding to a block of quantized DCT coefficients supplied thereto (hereinafter, appropriately referred to as a DCT block). , virtually envisioned) (hereinafter, as appropriate, and sequentially target pixel Purodzuku a) of the pixel block, further, the sequential target pixel each pixel, for example, a so-called class evening scan sequence constituting the target pixel pro click t Further, the prediction type extraction circuit 841 extracts the quantized DCT coefficients used for predicting the pixel value of the pixel of interest by referring to the pattern table of the pattern storage unit 846. , And a prediction tap.
  • the pattern table storage unit 846 stores a pattern table in which pattern information indicating the positional relationship of the quantized DCT coefficient extracted as the prediction map for the target pixel with respect to the target pixel is registered.
  • the prediction type extraction circuit 841 extracts a quantized DCT coefficient based on the pattern information and forms a prediction type for the pixel of interest.
  • the prediction type extraction circuit 841 is a prediction type for each pixel constituting an 8 ⁇ 8 pixel block composed of 64 pixels, that is, a prediction set of 64 sets of 64 pixels each.
  • the chip is configured as described above and supplied to the product-sum operation circuit 845.
  • the class tap extracting circuit 842 extracts a quantized DCT coefficient used for class classification for classifying the pixel of interest into one of several classes, and sets it as a class map.
  • the class map extraction circuit 842 forms the same class map for each pixel of a certain pixel block. That is, as shown in FIG. 6 described above, for example, as shown in FIG. Extract quantized DCT coefficients as clusters.
  • the cluster element can be configured with different quantized DCT coefficients for each pixel of interest.
  • classifying all pixels belonging to a pixel block into the same class is equivalent to classifying the pixel block.
  • the class pixel extraction circuit 842 does not include the target pixel block, instead of the 64 sets of class pixels that constitute the target pixel block and classifies them. What is necessary is just to configure a set of cluster groups for classifying the speech, so that the class tap extraction circuit 842 performs the classification for each pixel block in order to classify the pixel block.
  • 64 quantized DCT coefficients of the DCT pro- ject corresponding to the pixel block are extracted and used as class taps. Note that the quantized DCT coefficients constituting the class map are not limited to those described above.
  • the cluster-type of the pixel pixel of interest obtained in the class map extraction circuit 842 is supplied to the class classification circuit 843.
  • the class classification circuit 843 classifies the target pixel block based on the cluster group from the class map extraction circuit 842, and outputs a class code corresponding to the class obtained as a result.
  • ADRC ADRC or the like
  • the quantized DCT coefficient constituting the class map is subjected to the ADRC processing, and the class of the pixel of interest pixel is determined according to the ADRC code obtained as a result.
  • this class classification circuit 843 it is preferable to perform the class classification after compressing the information amount of the class map by the above-mentioned ADRC processing or vector quantization.
  • the class classification circuit 843 extracts highly important features from the quantized DCT coefficients constituting the class map, and performs class classification based on the extracted features. As a result, the number of classes is reduced.
  • FIG. 81 shows a configuration example of the class classification circuit 843 of FIG.
  • the class amplifier is supplied to a power calculation circuit 851.
  • the power calculation circuit 851 converts the quantized DCT coefficients that constitute the class tap into several spatial frequencies. Divide into several bands and calculate the power in each frequency band.
  • the power calculation circuit 851 converts the 8 ⁇ 8 quantized DCT coefficients constituting the class map into four spatial frequency bands S as shown in FIG. , S i, S 2 , and S 3.
  • spatial frequency band S. Is composed of four quantized DCT coefficients XQ, xi, X 8, ⁇ 9
  • the spatial frequency band S i is composed of 12 quantized DCT coefficients ⁇ 2 ,
  • the spatial frequency band S 2 is 12 DCT coefficients X 16 , X 17, X 24, X 2
  • the power calculation circuit 851 the spatial frequency band S. , S i, S 2. , S 3
  • the power P of the AC component of the quantized DCT coefficient. , P 15 P 2 , and P 3 are calculated and output to the class code generation circuit 852.
  • the power calculation circuit 85 1 has the spatial frequency band S.
  • the power calculation circuit 851 calculates the AC component of the above-mentioned 12 quantized DCT coefficients for the spatial frequency band S i, that is, the sum of squares of all 12 quantized DCT coefficients. This is output to the class code generation circuit 852 as power Pi.
  • the power calculation circuit 8 5 also about the spatial frequency band S 2 and the spatial frequency band S 3, in the same manner as in the spatial frequency band S i, asked for it its power P 2 and power P 3, Output to the class code generation circuit 852.
  • the class code generation circuit 852 receives the power P from the power calculation circuit 851. , P 15 P 2, and P 3 are the corresponding thresholds stored in the threshold table storage unit 85 3. , ⁇ ⁇ ⁇ , T ⁇ 2 , ⁇ ⁇ 3 and compare them, and output the class code based on the magnitude relation of each. In other words, the class code generation circuit 852 generates the power ⁇ . And the threshold ⁇ ⁇ . To obtain a 1-bit code representing the magnitude relationship. Similarly, class code raw Forming circuit 8 5 2, power and the threshold value TH "power P 2 and the threshold value TH 2, by a power P 3 and the threshold value TH 3 it is then compared, it about it, Ru obtain the code of one bi Uz bets.
  • the threshold table storage unit 853 stores the spatial frequency band S. Power P. of ⁇ S 3 To P 3 to that it compares to a threshold value TH. Stores ⁇ TH 3.
  • the DC component X of the quantized DCT coefficient is used in the class classification processing. Is not used, but this DC component x. It is also possible to perform class classification processing by using.
  • the class code output by the class classification circuit 843 as described above is given as an address to the coefficient table storage section 844 and the pattern table storage section 846. '
  • the coefficient table storage section 844 stores a coefficient table in which tap coefficients obtained by performing the evening coefficient learning processing as described later are registered.
  • the setup coefficient stored in the address corresponding to the class code to be output is output to the product-sum operation circuit 845.
  • the coefficient table storage section 844 stores 64 sets of type coefficients for an address corresponding to one class code.
  • the sum-of-products arithmetic circuit 845 acquires the predicted sunset output from the predicted sunset extraction circuit 841, and the evening output coefficient output from the coefficient table storage unit 844, and obtains the predicted sunset.
  • the linear prediction operation (product-sum operation) shown in the above equation (1) is performed using the tap and the tap coefficient. Then, the pixel value of the 8 ⁇ 8 pixel of the target pixel block obtained as a result is output to the block decomposition circuit 833 (FIG. 78) as a decoding result of the corresponding DCT block.
  • each pixel of the target pixel block is sequentially set as the target pixel.
  • the product-sum operation circuit 8445 selects the target pixel of the target pixel block. The processing is performed in the operation mode corresponding to the pixel position (hereinafter, appropriately referred to as pixel position mode).
  • the product-sum operation circuit 845 sets the pixel position mode # Perform the process of i.
  • the coefficient table storage unit 844 outputs 64 sets of sunset coefficients for decoding 64 pixels forming the target pixel block and each of them. Assuming that the set of the coefficient for decoding the pixel pi is Wi, and the symbol is W i, the multiply-accumulate circuit 845 can calculate the prediction coefficient when the operation mode is the pixel position mode #i. The product-sum operation of the above equation (1) is performed using the set W i of the set coefficients of 64 sets, and the result of the product-sum operation is used as the decoding result of the pixel P i.
  • the pattern table storage unit 846 stores a pattern table in which pattern information obtained by performing a learning process of pattern information representing an extracted pattern of a quantized DCT coefficient as described later is registered.
  • the pattern information stored in the address corresponding to the class code output from the class classification circuit 843 is output to the prediction map extraction circuit 841.
  • Pattern information (pattern information for each pixel position mode) is stored.
  • the quantized DCT coefficients for each block output by the entropy decoding circuit 831 are sequentially received by the prediction tap extraction circuit 841 and the class tap extraction circuit 842, and the prediction tap extraction circuit 841 Browsing of supplied DCT coefficients
  • the pixel block corresponding to the block (DCT block) is sequentially set as the target pixel block.
  • the class-map extraction circuit 842 extracts, from the quantized DCT coefficients received there, the one used for classifying the target pixel block, and And supplies it to the classifying circuit 843 ⁇ In step S ⁇ b> 412, the classifying circuit 843 classifies the pixel of interest pixel into a class using the class pulse from the cluster group extracting circuit 842.
  • the classification is performed, and the resulting class code is output to the coefficient table storage unit 844 and the pattern table storage unit 846.
  • step S412 the power calculation circuit 851 of the class classification circuit 843 (FIG. 81)
  • step S421 the power calculation circuit 851 of the class classification circuit 843 (FIG. 81)
  • step S421 the power calculation circuit 851 of the class classification circuit 843 (FIG. 81)
  • step S421 the power calculation circuit 851 of the class classification circuit 843 (FIG. 81)
  • the 8 ⁇ 8 quantized DCT coefficients that make up the class map are shown in Fig. 6 above for the four spatial frequency bands S. ⁇ S 3 binary harm!]
  • This power P. To P 3 is output from the power calculating circuit 8 5 1 to the class code generation circuit 8 5 2.
  • step S422 the class code generation circuit 852 obtains the threshold value TH from the threshold table storage unit 853. Reads to TH 3, the power P 0 ⁇ P 3 then the same from the power calculation circuit 8 5 1, the threshold TH. ⁇ TH 3 Compare each and generate a class code based on the magnitude relation of each and return.
  • the class code obtained in the above manner in step S412 is transferred from the class classification circuit 843 to the coefficient table storage section 844 and the pattern table storage section 846. , Given as an address.
  • the coefficient table storage section 844 Upon receiving the class code as an address from the classifying circuit 843, the coefficient table storage section 844 receives the 64 sets of evening coefficient stored in the address in step S413. And outputs it to the product-sum operation circuit 845. Also, when the pattern table storage section 846 receives the class code as the address from the class classification circuit 843, it reads out the 64 sets of pattern information stored in that address in step S413. , And outputs it to the prediction filter extraction circuit 8 4 1.
  • step S 414 the prediction type extraction circuit 841 sets the target pixel block.
  • the pixels that have not been set as the target pixel in the raster scanning order are set as the target pixel, and the pixel value of the target pixel is predicted according to the pattern information corresponding to the pixel position mode of the target pixel. Extract the quantized DCT coefficients used for the prediction and configure them as a prediction map. This predicted map is supplied from the predicted map extraction circuit 841 to the product-sum operation circuit 845.
  • step S 415 the product-sum operation circuit 845 sets the pixel position mode for the pixel of interest out of the 64 sets of type coefficients output by the coefficient table storage section 844 in step S 413. A corresponding set of sunset coefficients is obtained, and the set of sunset coefficients is used in step S414 to obtain the predicted sunset supplied from the predicted sunset extraction circuit 841.
  • the product-sum operation shown in the above equation (1) is performed to obtain a decoded value of the pixel value of the target pixel.
  • step S416 the prediction pixel extraction circuit 841 determines whether or not processing has been performed with all pixels of the target pixel block as the target pixel.
  • step S416 if it is determined that all the pixels of the pixel-of-interest target pixel have not been processed yet as the pixel of interest, the process returns to step S414, and the prediction type extraction circuit 841 In the pixels of the pixel block of interest, a pixel that has not been set as the pixel of interest in the raster scan order is set as a new pixel of interest, and the same processing is repeated.
  • step S416 when it is determined that the processing has been performed with all the pixels of the target pixel block as the target pixels, that is, when the decoded values of all the pixels of the target pixel block have been obtained,
  • the product-sum operation circuit 845 outputs the pixel block (decoded block) composed of the decoded value to the block decomposition circuit 833 (FIG. 78), and ends the processing.
  • the process according to the flowchart of FIG. 82 is repeatedly performed each time the prediction pixel extraction circuit 841 sets a new target pixel block.
  • FIG. 84 illustrates a configuration example of a tap coefficient learning device 860A that performs a learning process of a skip coefficient stored in the coefficient table storage unit 844 of FIG.
  • One or more images for learning are supplied to the blocking circuit 861 as teacher data as a teacher at the time of learning.
  • the blocking circuit 8 6 1 The image as the teacher data is broken into an 8 ⁇ 8 pixel pixel program as in the case of JPEG encoding.
  • the DCT circuit 862 sequentially reads out the pixel blocks formed by the blocking circuit 861 as a target pixel block, and performs DCT processing on the target pixel block, thereby obtaining a block of DCT coefficients. This block of DCT coefficients is supplied to a quantization circuit 863.
  • the quantization circuit 8663 quantizes the block of DCT coefficients from the DCT circuit 862 according to the same quantization table used for JPEG encoding, and obtains a block of the resulting quantized DCT coefficients ( DCT block) is supplied to the prediction map extraction circuit 864 and the class map extraction circuit 865 sequentially.
  • the prediction pixel extraction circuit 864 sets a pixel of the pixel of interest pixel that has not yet been set as the pixel of interest in the raster scan order as the pixel of interest.
  • the same prediction taps as those formed by the prediction map extraction circuit 841 in FIG. 80 can be obtained from the output of the quantization circuit 863.
  • c taps this prediction constitutes by extracting, as the student data serving as learning when students are supplied to the normal equation adding circuit 8 6 7 from the predictive tap extracting circuit 8 6 4.
  • the class map extraction circuit 865 extracts the necessary quantized DCT coefficients from the output of the quantization circuit 866 for the pixel pixel of interest, thereby obtaining the class map extraction circuit 8 4 2 shown in FIG. Configure the same cluster group as configures This class map is supplied from the class map extraction circuit 865 to the class classification circuit 866.
  • the class classification circuit 866 uses the class tap from the class mapping extraction circuit 865 to perform the same processing as the class classification circuit 843 in FIG. The class is classified, and the resulting class code is supplied to the normal equation adding circuit 867 and the pattern table storage unit 8700.
  • the normal equation addition circuit 867 reads the pixel value of the pixel of interest as the teacher data from the blocking circuit 861, and outputs the prediction data as the student data from the prediction circuit 864. Addition is performed on the quantized DCT coefficients that make up the map and the target pixel. That is, the normal equation adding circuit 8667 uses the prediction map (student data) for each class corresponding to the class code supplied from the classifying circuit 866, and calculates the matrix of the above equation (8). A multiplication of student data (X in X im), which is a component of A, and an operation equivalent to shark ( ⁇ ) are performed.
  • the normal equation addition circuit 866 also uses a prediction tap (student data) and a target pixel (teacher data) for each class corresponding to the class code supplied from the class classification circuit 866.
  • An operation corresponding to multiplication (X in Y i) of student data and teacher data, which is a component in the vector V of the above equation (8), and a summation ( ⁇ ) is performed.
  • the normal equation addition circuit 867 performs the above-mentioned addition using all the pixels constituting the teacher image supplied to the blocking circuit 861 as a pixel of interest, thereby obtaining the pixel position for each class. For each mode, the normal equation shown in the above equation (8) is established.
  • the tap coefficient determination circuit 868 solves the normal equations generated for each class and for each pixel position mode in the normal equation addition circuit 866, thereby obtaining 64 sets of tap coefficients for each class. It is obtained and supplied to the address corresponding to each class in the coefficient table storage unit 869.
  • the tap coefficient determination circuit 868 outputs, for example, a default tap coefficient for such a class.
  • the coefficient table storage section 869 stores 64 sets of set coefficients for each class supplied from the set coefficient determining circuit 868.
  • the pattern table storage unit 870 stores the same pattern table as that stored in the pattern table storage unit 846 of FIG. 80, and corresponds to the class code from the class classification circuit 866. 6 4 S
  • the read-out information is supplied to the predicted-noise extraction circuit 864.
  • the image data for learning is supplied as teacher data to the blocking circuit 861, and the blocking circuit 8661 converts the image data as teacher data in step S431 in the same manner as in JPEG encoding. Then, block the image into an 8 ⁇ 8 pixel pixel block and proceed to step S 432.
  • the DCT circuit 862 sequentially reads out the pixel blocks blocked by the blocking circuit 861, and subjects the pixel block of interest to DCT processing to obtain a DCT coefficient block. Proceed to step S 4 3 3.
  • the quantization circuit 8663 sequentially reads out the DCT coefficient blocks obtained in the DCT circuit 862 and quantizes them according to the same quantization table used for JPEG encoding. , And a block (DCT program) composed of quantized DCT coefficients.
  • step S 434 the class map extraction circuit 865 assigns a pixel block that has not been set as the target pixel block yet to the target pixel block among the pixel blocks divided by the blocking circuit 865.
  • the cluster group extraction circuit 865 extracts a quantized DCT coefficient used for classifying the pixel block of interest from the DCT block obtained by the quantization circuit 863 to form a class map. Supply to the classification circuit 8 6 6.
  • the class classification circuit 866 uses the class map from the class tap extraction circuit 865 to classify the pixel-of-interest class of interest in the same manner as described in the flowchart of FIG. The classification is performed, and the resulting class code is supplied to the normal equation adding circuit 866 and the pattern table storage unit 870, and the flow advances to step S436.
  • the pattern table storage unit 870 reads out the 64 sets of pattern information stored in the address corresponding to the class code from the class classification circuit 866 and supplies it to the prediction tap extraction circuit 864 .
  • step S 436 the prediction pixel extraction circuit 864 sets a pattern table storage unit 870 as a pixel of interest in the pixels of the pixel of interest that has not been taken as the pixel of interest in raster scan order. Attention image out of 64 sets of pattern information from According to the one corresponding to the elementary pixel position mode, the same predictive map as the predictive map extracting circuit 841 of FIG. 80 forms from the output of the quantizing circuit 863 It is composed by extracting DCT coefficients. Then, the prediction tap extraction circuit 864 sets the prediction tap for the target pixel as the student data, supplies the prediction tap to the normal equation addition circuit 867, and proceeds to step S437.
  • step S 437 the normal equation adding circuit 86.7 reads the pixel of interest as teacher data from the blocking circuit 861, and the quantized DCT coefficients and The above-described addition of the matrix A and the vector V of the above-described equation (8) is performed on the target pixel as the teacher data. This addition is performed for each class corresponding to the class code from the class classification circuit 866 and for each pixel position mode for the target pixel.
  • step S4308 in which the prediction-backup-extraction circuit 864 determines whether or not all pixels of the target pixel block have been added as the target pixel. c If it is determined in step S 438 that all the pixels of the pixel-of-interest target pixel have been set as the pixels of interest and that the addition has not yet been performed, the process returns to step S 436, and the prediction pixel extraction circuit 8 64. In the raster pixel scanning order, among the pixels of the target pixel block, a pixel that has not yet been set as the target pixel is set as a new target pixel.
  • step S 438 if it is determined that all pixels of the pixel-of-interest pixel of interest have been added as pixels of interest, the process proceeds to step S 439, and the blocking circuit 861 Then, it is determined whether or not the processing has been performed with all the pixel blocks obtained from the image as the teacher data as the pixel block of interest. Step S 4
  • step 39 if it is determined that all the pixel blocks obtained from the image as the teacher's day have not been processed yet as the pixel block of interest, step S
  • step S 4 39 if it is determined in step S 4 39 that all pixel blocks obtained from the image as the teacher's day have been set as the pixel block of interest and processing has been performed, That is, for example, when the normal equation adding circuit 867 obtains a normal equation for each pixel position mode for each class, the process proceeds to step S440, and the type coefficient determining circuit 868 By solving the normal equation generated for each pixel position mode of each class, for each class, 64 pixel position modes of the class and corresponding 64 sets of evening coefficients are obtained, The address corresponding to each class in the coefficient table storage unit 869 is supplied and stored, and the processing is terminated.
  • the evening coefficients for each class stored in the coefficient table storage section 869 are stored in the coefficient table storage section 8444 of FIG.
  • the type coefficient stored in the coefficient table storage unit 844 is such that the prediction error (here, the square error) of the prediction value of the original pixel value obtained by performing the linear prediction operation is statistically minimized.
  • the prediction error here, the square error
  • the coefficient conversion circuit 832A of FIG. 80 the JPEG-coded image is decoded into an image as close as possible to the original image. be able to.
  • the decoding process of the JPEG-coded image and the process of improving the image quality are performed simultaneously, so that the JPEG-coded image can be efficiently improved in image quality.
  • a decoded image can be obtained.
  • FIG. 86 shows a pattern learning device 955 that performs a learning process of pattern information to be stored in the pattern table storage unit 846 of FIG. 80 and the pattern table storage unit 870 of FIG. 5 shows a configuration example of 0 A.
  • the block forming circuit 951 is supplied with one or more pieces of learning image data.
  • the blocking circuit 9551 blocks the learning image into an 8 ⁇ 8 pixel block as in the case of the JPEG coding. Note that the learning image data supplied to the blocking circuit 951 is the same as the learning image data supplied to the blocking circuit 861 of the evening-up coefficient learning device 860A in FIG. May be different or different.
  • the DCT circuit 952 sequentially reads out the pixel blocks that are blocked by the blocking circuit 951, and performs DCT processing on the pixel blocks to make blocks of DCT coefficients. This block of DCT coefficients is supplied to the quantization circuit 9553.
  • the quantization circuit 9553 uses the DCT coefficient block from the DCT circuit 952 as a JPE Quantization is performed according to the same quantization table used for G encoding, and the resulting block of quantized DCT coefficients (DCT block) is sequentially supplied to an addition circuit 954 and a class tap extraction circuit 955. Supply.
  • the adder circuit 954 sequentially sets the pixel blocks obtained in the block forming circuit 951 as a target pixel block, and among the pixels of the target pixel block, the pixels which are not yet set as the target pixels in the raster scan order are set as the target pixels. For each class code of the pixel of interest output by the class classification circuit 956, an addition is performed to find the correlation value (cross-correlation value) between the pixel of interest and the quantized DCT coefficient output by the quantization circuit 953. Perform the operation.
  • the quantization at each position of the 3 ⁇ 3 DCT blocks around the DCT block corresponding to the target pixel block to which the target pixel belongs By associating each DCT coefficient with the target pixel for all pixel blocks obtained from the learning image as shown in Fig. 87B, the pixels at each position of the pixel block and the image Calculate the correlation value between the quantized DCT coefficients at each position of the 3 ⁇ 3 DCT blocks centered on the DCT block corresponding to the raw block, and for each pixel at each position of the pixel block, For example, as shown by the mark in FIG.
  • Fig. 87C shows the position pattern of the quantized DCT coefficients in a positional relationship with the third pixel from the left of the pixel block and having a large correlation with the first pixel from the top, with a stamp. Such a position pattern is used as pattern information.
  • pixel A (x, y) pixel A (x, y)
  • the summation ( ⁇ ) represents addition for all the pixel blocks obtained from the learning image.
  • a ′ (x 5 y) is the average value of the pixels (values) at the pixel proxies (X, y) obtained from the learning image, and B ′ (s, t) is the learning value.
  • RA ( X , y) B (3 , t) N. ⁇ (A (x, y) B (s, t))-( ⁇ A (x, y)) ( ⁇ B (s, t))
  • the adding circuit 954 adds the five equations of the equation (13).
  • the arithmetic operation is performed separately for each class code supplied from the class classification circuit 956. Therefore, in the above case, the shark ( ⁇ ) represents the addition for all the pixel sequences obtained from the learning image.
  • the expression (13) The summation ( ⁇ ) in) represents the addition of pixels belonging to each class among the pixel blocks obtained from the training image.
  • the adder circuit 954 includes, for each class, a pixel at each position of the pixel block and a 3 ⁇ 3 pixel centering on the DCT block corresponding to the pixel block.
  • the addition operation result is used as the correlation coefficient calculation circuit 957 Output to
  • the class filter extraction circuit 955 extracts the necessary quantized DCT coefficients from the output of the quantization circuit 953 for the pixel block of interest, thereby obtaining the class filter extraction circuit 8 4 2 in FIG. Configure the same class setup as the one configured. This class filter is supplied from the class filter extraction circuit 955 to the class classification circuit 956.
  • the class classification circuit 9556 uses the class map from the class map extraction circuit 955 to perform the same processing as the class classification circuit 843 of FIG.
  • the circuit is classified into classes, and the resulting class code is supplied to the adder circuit 954.
  • the correlation coefficient calculation circuit 9557 uses the output of the adder circuit 954 to calculate the pixel at each position of the pixel block and the DCT corresponding to the pixel block for each class according to the equation (12). A correlation value with the quantized DCT coefficient at each position of the 3 ⁇ 3 DCT proxies centered on the prox is calculated and supplied to the pattern selection circuit 958. Based on the correlation value from the correlation coefficient calculation circuit 957, the pattern selection circuit 958 determines the DCT coefficient in a positional relationship where the correlation value with each of the 8 x 8 pixels at each position of the pixel block is large. Recognize the position for each class.
  • the pattern selection circuit 958 recognizes, for each class, the position of the DCT coefficient where the absolute value of the correlation value with the pixel at each position of the pixel block is equal to or larger than the predetermined threshold.
  • the pattern selection circuit 958 recognizes, for each class, the position of the DCT coefficient whose correlation value with the pixel at each position of the pixel block is equal to or higher than a predetermined order. So Then, the pattern selection circuit 958 stores the pattern table of 64 sets of DCT coefficients for each pixel position mode of 8 ⁇ 8 pixels recognized for each class as pattern information. Supply to part 9 5 9
  • the DCT coefficient of the recognized DCT coefficient is The number of positions is fixed (a value corresponding to a predetermined order), but the position of the DCT coefficient whose correlation value with the pixel at each position of the pixel block is equal to or higher than a predetermined threshold is recognized. In the meantime, the number of positions of the recognized DCT coefficient becomes variable.
  • the pattern table storage section 959 stores the pattern information output by the pattern selection circuit 958.
  • the image data for learning is supplied to the blocking circuit 951, and the blocking circuit
  • step S451 the image data for learning is divided into 8 ⁇ 8 pixel blocks in the same manner as in the JPEG encoding in step S451, and
  • step S452 the DCT circuit 952 is connected to the blocking circuit
  • the pixel block 951 is sequentially read out as a block, and the pixel block is subjected to DCT processing to be a block of DCT coefficients, and the flow advances to step S4453.
  • the quantization circuit 9553 sequentially reads the blocks of the DCT coefficients obtained in the DCT circuit 952, and according to the same quantization table as used for JPEG encoding. Quantized block consisting of quantized DCT coefficients
  • step S454 the addition circuit 954 sets a pixel block which has not been set as a target pixel block among the pixel blocks locked by the blocking circuit 951, as a target pixel block.
  • the class filter extraction circuit 955 extracts the quantized DCT coefficients used for classifying the pixel block of interest from the DCT block obtained by the quantization circuit 863.
  • a class map is formed and supplied to the class classification circuit 956.
  • Classification circuit 9 5 6 In step S455, as in the case described in the flowchart of FIG. 83, the target pixel block is classified into classes by using the class map from the class type extraction circuit 955, and the resulting class is obtained.
  • the code is supplied to the adder circuit 954, and the flow advances to step S456.
  • step S456 the adder circuit 954 sets the pixel of interest in the pixel of interest block, which has not yet been set as the target pixel in the raster scan order, as the target pixel (pixel position mode).
  • the learning image obtained by blocking the addition operation shown in equation (13) by the blocking circuit 951 and the quantization circuit
  • the quantization is performed by using the quantized DCT coefficient output by the output terminal 953, and the process proceeds to step S457.
  • step S457 the adder circuit 954 determines whether or not all pixels of the pixel-of-interest target pixel have been subjected to the addition operation as the target pixel.
  • step S4.57 if it is determined that all pixels of the target pixel block have been set as the target pixel and the addition operation has not been performed yet, the process returns to step S456, and the addition circuit 954 returns The same process is repeated by setting a pixel which has not yet been set as the target pixel in the raster scan order among the pixels of the target pixel process as a new target pixel.
  • step S457 If it is determined in step S457 that all pixels of the pixel of interest pixel have been subjected to the addition operation as the pixel of interest, the process proceeds to step S458, and the addition circuit 9554 performs learning. It is determined whether or not processing has been performed using all pixel blocks obtained from the image for use as target pixel blocks. In step S458, if it is determined that all the pixel blocks obtained from the image for the teacher have not been processed yet as the pixel block of interest, the process returns to step S454 and the blocking circuit is executed. Among the pixel blocks divided in 951, those not yet set as the target pixel block are newly set as the target pixel block, and the same processing is repeated thereafter.
  • step S 458 determines whether all pixel blocks obtained from the image for learning have been processed as the target pixel block. If it is determined in step S 458 that all pixel blocks obtained from the image for learning have been processed as the target pixel block, the process proceeds to step S 459 to calculate the correlation coefficient.
  • the circuit 957 uses the result of the addition operation in the adder circuit 954 in accordance with the equation (12), and for each class, at each position of the pixel block. A correlation value is calculated between each pixel and a quantized DCT coefficient at each position of a 3 ⁇ 3 DCT block centered on the DCT block corresponding to the pixel block, and is supplied to a pattern selection circuit 958.
  • step S460 the pattern selection circuit 958, based on the correlation value from the correlation coefficient calculation circuit 9557, calculates the correlation value between each of the 8 ⁇ 8 pixels at each position of the pixel block.
  • the pattern table storage unit recognizes the position of the DCT coefficient that has a large positional relationship for each class, and uses the position pattern of 64 sets of DCT coefficients for each 8 x 8 pixel recognized for each class as pattern information. 9 5 9 to supply 100 million and end the processing.
  • the 64 sets of pattern information for each class stored in the pattern table storage section 959 are stored in the pattern table storage section 846 in FIG. 80 and the pattern table storage section in FIG. It is stored at 870.
  • the quantized DCT coefficient at a position having a large correlation with the pixel of interest is extracted as a prediction map, and such a prediction map is used. Since the quantized DCT coefficient is decoded to the original pixel value, the image quality of the decoded image can be improved as compared with a case where the quantized DCT coefficient to be used as a prediction tap is randomly extracted, for example. .
  • a DCT block composed of 8 ⁇ 8 quantized DCT coefficients is formed by performing DCT and quantization in units of 8 ⁇ 8 pixel blocks.
  • a quantized DCT coefficient of a DCT process corresponding to the pixel process is used as a prediction gap.
  • a DCT block corresponding to a pixel block is extracted by extracting a quantized DCT coefficient having a large positional relationship with the pixel of interest and using it as a prediction map. It is possible to improve the image quality of the decoded image as compared with the case where only the quantized DCT coefficient is used as the prediction gap.
  • the extracted DC ⁇ ⁇ ⁇ coefficient is used as a prediction map. It is possible to improve the image quality of the decoded image while suppressing an increase in the amount of operation in the product-sum operation circuit 840 of 80.
  • the quantized DCT coefficients having a large correlation with the target pixel are obtained from the quantized DCT coefficients of the 3 ⁇ 3 DCT blocks centered on the DC block corresponding to a certain pixel block.
  • the coefficients are extracted as prediction taps.
  • the quantized DCT coefficients used as prediction taps are also calculated from the quantized DCT coefficients of 5 ⁇ 5 DCT blocks centered on the DCT block corresponding to a certain pixel block. You may make it extract. That is, there is no particular limitation on what range of the DCT program to extract the quantized DCT coefficient as the prediction gap.
  • the quantized DCT coefficient of a certain DCT block is obtained from the pixel of the corresponding pixel program, when forming a prediction pixel for the target pixel, the pixel program of the target pixel is used. It is considered that it is desirable that all the quantized DCT coefficients of the DCT pro- gram corresponding to are used as prediction taps.
  • the pattern selection circuit 958 in FIG. 86 includes the DC corresponding to the pixel block.
  • the quantized DCT coefficients of the T block can always generate pattern information that is extracted as prediction taps.
  • the pattern selection circuit 958 selects a quantized DCT coefficient having a large correlation value from eight DCT blocks adjacent around the DCT block corresponding to the pixel block, and determines the position of the quantized DCT coefficient.
  • the combination of the pattern and the pattern of all positions of the quantized DCT coefficients of the DCT pro- cess corresponding to the pixel pro- cess is used as final pattern information.
  • FIG. 89 shows another configuration example of the coefficient conversion circuit 832 of FIG.
  • portions corresponding to those in FIG. 80 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 832B shown in FIG. 89 has basically the same configuration as that in FIG. 80 except that an inverse quantization circuit 871 is newly provided. .
  • the inverse quantization circuit 871 is obtained by entropy decoding the encoded data in the entropy decoding circuit 831 (FIG. 78). Quantized DCT coefficients for each block are supplied.
  • a quantization table can be obtained from the encoded data in addition to the quantized DCT coefficients, but the coefficient conversion circuit 832B shown in FIG. 89 is used. This quantization table is also supplied from the entropy decoding circuit 831 to the inverse quantization circuit 871.
  • the inverse quantization circuit 871 inversely quantizes the quantized DCT coefficient from the entropy decoding circuit 831 in accordance with the quantization table from the entropy decoding circuit 831 and predicts the resulting DCT coefficient. And a cluster extraction circuit 842.
  • the prediction tap extraction circuit 841 and the class mapping extraction circuit 842 form prediction taps and class taps for the DCT coefficients instead of the quantized DCT coefficients, respectively. , DCT coefficients, the same processing as in FIG. 80 is performed.
  • the coefficient conversion circuit 832B of FIG. 89 since the processing is performed on the DCT coefficients instead of the quantized DCT coefficients, the coefficients are stored in the coefficient table storage section 844. It is necessary that the evening coefficient to be different from that in FIG.
  • FIG. 90 shows a configuration example of a tap coefficient learning device 860B that performs a learning process of a type coefficient stored in the coefficient table storage unit 844 of FIG.
  • the tap coefficient learning device 860B shown in FIG. 90 is different from the case in FIG. 84 except that an inverse quantization circuit 881 is newly provided after the quantization circuit 863.
  • the configuration is basically the same.
  • the inverse quantization circuit 881 converts the quantized DCT coefficient output by the inverse quantization circuit 863 into the inverse quantization circuit 8 of FIG. 7 In the same way as 1, inverse quantization is performed, and the resulting DCT coefficient is supplied to the prediction tap extraction circuit 864 and the class tap extraction circuit 865.
  • the prediction map extraction circuit 864 and the class map extraction circuit 865 use the DCT coefficient instead of the quantized DCT coefficient, and the prediction map and the class map are composed separately. Thereafter, the same processing as in FIG. 84 is performed on the DCT coefficients.
  • FIG. 91 shows a pattern learning apparatus 955 B for performing a learning process of pattern information to be stored in the pattern table storage section 846 of FIG. 89 and the pattern table storage section 870 of FIG. Is shown.
  • the pattern learning device 950 B shown in FIG. 91 is basically the same as that in FIG. 86 except that an inverse quantization circuit 891 is newly provided after the quantization circuit 953. It is configured similarly.
  • the inverse quantization circuit 891 converts the quantized DCT coefficient output from the inverse quantization circuit 953 into the inverse quantization circuit 871 of FIG.
  • the inverse quantization circuit 90 is inversely quantized in the same way as the inverse quantization circuit 881, and the resulting DCT coefficient is supplied to an addition circuit 954 and a class tap extraction circuit 955.
  • the adder circuit 954 and the class map extractor circuit 955 use the quantized DC Processing is performed on DCT coefficients instead of T coefficients. That is, the adder circuit 954 performs the above-described addition operation by using the DCT coefficient output from the inverse quantization circuit 891, instead of the quantized DC ⁇ coefficient output from the quantization circuit 953,
  • the class filter extraction circuit 955 also uses the DC ⁇ coefficient output from the inverse quantization circuit 891 instead of the quantized DCT coefficient output from the Constitute. Thereafter, pattern information is obtained by performing the same processing as in FIG. 86.
  • FIG. 92 shows another example of the configuration of the coefficient conversion circuit 832 of FIG.
  • portions corresponding to those in FIG. 80 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 832C shown in FIG. 92 is basically the same as that of FIG. 80 except that an inverse DCT circuit 901 is newly provided at the subsequent stage of the product-sum operation circuit 845.
  • an inverse DCT circuit 901 is newly provided at the subsequent stage of the product-sum operation circuit 845.
  • the inverse DC ⁇ circuit 910 decodes the output of the product-sum operation circuit 845 into an image by performing an inverse DCT process, and outputs the image. Therefore, in the coefficient conversion circuit 832C of FIG. 92, the multiply-accumulation circuit 845 includes a quantized DCT coefficient and a coefficient The DCT coefficient is output by performing a product-sum operation using the tap coefficients stored in the cable storage unit 844.
  • the quantized DCT coefficients are not decoded into pixel values by product-sum operation with the tap coefficients, but are converted into DCT coefficients.
  • the DCT coefficient is subjected to inverse DCT by the inverse DCT circuit 901 to be decoded into a pixel value. Therefore, it is necessary that the evening coefficient stored in the coefficient table storage unit 84 4 be different from that in FIG.
  • FIG. 93 shows an example of the configuration of a tap coefficient learning device 860C that performs a tap coefficient learning process to be stored in the coefficient table storage section 844 of FIG.
  • the tap coefficient learning device 860 C shown in FIG. 93 outputs the DCT circuit 826 instead of the pixel value of the image for learning to the normal equation addition circuit 866 as teacher data.
  • the configuration is the same as that in Fig. 84 except that a DCT coefficient obtained by DCT processing the learning image is given. I have.
  • the normal equation addition circuit 866 uses the DCT coefficient output from the DCT circuit 86 The above addition is performed using the quantized DCT coefficients constituting the prediction taps output by 4 as student data. Then, the tap coefficient determination circuit 868 finds a tap coefficient by solving a normal equation obtained by such addition. As a result, the evening coefficient learning device 860C in FIG. 93 converts the quantized DCT coefficient into a DCT coefficient in which the quantization error due to the quantization in the quantization circuit 866 is reduced (suppressed). The tap coefficient will be determined.
  • the output thereof is the predicted sunset Quantized DCT coefficients output from the HI path 841 are converted to DCT coefficients with reduced quantization errors. Therefore, such a DCT coefficient is subjected to inverse DCT by the inverse DCT circuit 901, whereby a decoded image with reduced image quality deterioration due to the influence of the quantization error can be obtained.
  • FIG. 94 shows a pattern learning device 955 that performs a learning process of pattern information to be stored in the pattern table storage section 846 of FIG. 92 and the pattern table storage section 870 of FIG. 5 shows a configuration example of 0 C.
  • the pattern learning device 950C shown in FIG. 94 outputs the DCT circuit 952 to the adder circuit 954, not the pixels of the learning image output from the blocking circuit 951.
  • the configuration is the same as that in FIG. 86 except that a DCT coefficient is supplied.
  • the pixel-sum is calculated by a product-sum operation using the quantized DCT coefficient and the tap coefficient that constitute the prediction map, so that the pixel has a large correlation with the pixel.
  • the position pattern of the quantized DCT coefficient is used as the pattern information.
  • the pattern learning device 950C in FIG. 94 uses the quantized DCT coefficient and the tap forming the prediction tap. In order to obtain a DCT coefficient with reduced quantization error, a correlation between the DCT coefficient and the It is necessary to find the quantized DCT coefficients that have a large positional relationship, and to find the position pattern of the quantized DCT coefficients as pattern information.
  • the adder circuit 954 uses the DCT circuit 952 to perform DCT processing of the DCT coefficient of the pixel block instead of the pixel block obtained in the blocking circuit 951.
  • the blocks are sequentially set as the block of interest, and among the DCT coefficients of the block of interest, the DCT coefficients that have not yet been set as the DCT coefficients of interest in the raster scan order are set as the DCT coefficients of interest, and the DCT coefficients output by the classification circuit 956 For each class code of, an addition operation is performed to obtain a correlation value (cross-correlation value) between the DCT coefficient of interest and the quantized DCT coefficient output by the quantization circuit 953.
  • a correlation value cross-correlation value
  • the DCT coefficient of interest belongs.
  • the quantized DCT coefficients at each position of the three DCT blocks and the corresponding DCT coefficients are made to correspond to all the blocks of the DCT coefficients obtained from the training image as shown in FIG. 95B.
  • the correlation between the DCT coefficients at each position of the DCT coefficient block and the quantized DCT coefficients at each position of the 3 ⁇ 3 DCT blocks centered on the DCT block corresponding to the block is calculated.
  • the DCT coefficient at each position of the DCT coefficient block is calculated, and the correlation value between the DCT coefficient and the DCT coefficient is large, for example, as shown by a country mark in FIG. 95C.
  • the position pattern of the quantized DCT coefficient having a positional relationship is used as pattern information.
  • Fig. 95C shows the position pattern of the quantized DCT coefficient in the second position from the left of the DCT coefficient block, which has a large correlation with the first DCT coefficient from the top, by using a garden mark.
  • a position pattern is used as pattern information.
  • the x + 1st pixel from the left and the y + 1st pixel from the top of the block of DCT coefficients are denoted by A (, y), and the DCT block corresponding to the block to which the DCT coefficient belongs is centered.
  • the correlation coefficient calculating circuit 957 uses the result of the addition operation performed by the adding circuit 954 to calculate the phase between the DCT coefficient and the quantized DCT coefficient.
  • FIG. 96 shows another configuration example of the coefficient conversion circuit 832 of FIG.
  • the same reference numerals are given to portions corresponding to those in FIG. 80, FIG. 89, or FIG. 92, and the description thereof will not be repeated. That is, in the coefficient conversion circuit 832D shown in FIG. 96, an inverse quantization circuit 871 is newly provided as in the case of FIG. 89, and as in the case of FIG.
  • the configuration is the same as that in FIG. 80 except that an inverse DCT circuit 901 is newly provided.
  • the prediction tap extraction circuit 8.41 and the class tap extraction circuit 842 use the prediction taps for the DCT coefficients instead of the quantized DCT coefficients. Each class break is composed.
  • the product-sum operation circuit 845 includes a DCT coefficient constituting a prediction tap output from the prediction tap extraction circuit 841, and a coefficient table storage unit 8 By performing a product-sum operation using the tap coefficients stored in 44, a DCT coefficient with a reduced quantization error is obtained and output to the inverse DCT circuit 91.
  • FIG. 97 illustrates a configuration example of a tap coefficient learning device 860D that performs a learning process of tap coefficients stored in the coefficient table storage unit 844 of FIG.
  • portions corresponding to those in FIG. 84, FIG. 90 or FIG. 93 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, in the tap coefficient learning device 860D shown in FIG. 97, an inverse quantization circuit 881 is newly provided as in the case of FIG. 90, and further, as in the case of FIG.
  • the DCT coefficient output from the DCT circuit 862 which is obtained by performing DCT processing on the learning image, is provided to the normal equation adding circuit 867 as teacher data instead of the pixel value of the learning image. Otherwise, the configuration is the same as in FIG. 84.
  • the normal coefficient addition circuit is used in the skip coefficient learning device 860D of FIG. 867 uses the DCT coefficient output from the DCT circuit 862 as the teacher data, and the DC coefficient (quantized, inversed) that constitutes the prediction type output from the prediction tap configuration circuit 8664.
  • the above addition is performed using the quantized data as student data.
  • the tap coefficient determination circuit 686 obtains the tap coefficient by solving a normal equation obtained by such addition.
  • the tap coefficient learning device 860D in FIG. 97 converts the quantized and dequantized DC ⁇ coefficient into a DC ⁇ coefficient in which the quantization error due to the quantization and dequantization is reduced.
  • the tap coefficients to be converted are determined.
  • FIG. 98 shows a pattern learning device 9 for learning processing of pattern information to be stored in the pattern table storage section 846 of FIG. 96 and the pattern table storage section 8700 of FIG. 5 shows a configuration example of 50D.
  • the portions corresponding to those in FIG. 86, FIG. 91 or FIG. 94 are denoted by the same reference numerals, and the description thereof will be appropriately omitted below V. That is, as in the case of FIG. 91, the pass-through learning device 9.50 D shown in FIG. 98 has an inverse quantization circuit 891, As in the case of 4, the DC ⁇ coefficient output from the DC ⁇ circuit 952 is supplied to the adding circuit 954 instead of the pixels of the learning image output from the blocking circuit 951.
  • the configuration is the same as that in FIG.
  • the addition circuit 954 does not use the pixel block obtained in the blocking circuit 951 but the pixel block in the DC input circuit 925.
  • the blocks of DCT coefficients subjected to DCT processing are sequentially set as a block of interest, and among the DCT coefficients of the block of interest, DCT coefficients that have not been set as the DCT coefficient of interest in raster scan order are set as DCT coefficients of interest, and the class classification circuit 956 For each class code of the DCT coefficient of interest to be output, the correlation value (cross-correlation value) between the DCT coefficient of interest and the quantized and dequantized DCT coefficient output by the inverse quantization circuit 891 ) Is performed to obtain.
  • the correlation coefficient calculation circuit 957 obtains a correlation value between the DCT coefficient and the quantized and inversely quantized DCT coefficient using the result of the addition operation performed by the addition circuit 954,
  • the power selection circuit 958 is quantized and dequantized in a positional relationship to increase the correlation value.
  • the position pattern of the obtained DCT coefficient is obtained and used as pattern information.
  • FIG. 99 shows another configuration example of the coefficient conversion circuit 832 of FIG.
  • portions corresponding to those in FIG. 80 are denoted by the same reference numerals, and description thereof will be omitted as appropriate. That is, the coefficient conversion circuit 832E shown in FIG. 99 is basically the same as that in FIG. 80 except that the cluster extraction circuit 842 and the class classification circuit 843 are not provided. It is configured.
  • FIG. 100 is a tap coefficient learning apparatus for performing learning processing of a tap coefficient stored in the coefficient table storage unit 844 of FIG. 99. It shows a configuration example of 860 E. Note that, in the figure, portions corresponding to those in FIG.84 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the tap coefficient learning device 860 E shown in FIG. Besides classifying circuit 8 6 6 is not provided is configured basically the same 3 ⁇ 4 as in FIG 4.
  • the above-described addition is performed for each pixel position mode in the normal equation addition circuit 866 regardless of the class. Then, a sunset coefficient determining circuit 868 solves the normal equation generated for each pixel position mode, thereby obtaining a sunset coefficient.
  • the coefficient conversion circuit 832E shown in FIG. 99 and the type coefficient learning device 860E shown in FIG. 100 have only one class as described above (there is no class). Therefore, only the pattern information of one class is stored in the pattern table storage unit 846 of FIG. 99 and the table storage unit 8700 of FIG.
  • FIG. 101 shows a pattern learning device 96 that performs a learning process of pattern information to be stored in the pattern table storage unit 846 in FIG. 99 and the pattern table storage unit 870 in FIG. 5 shows a configuration example of 0E.
  • the pattern learning device 960 E shown in FIG. 101 is basically the same as that in FIG. 86 except that the class map extraction circuit 955 and the class classification circuit 956 are not provided. Is similarly configured.
  • the above-described addition operation is performed for each pixel position mode in the addition circuit 954 regardless of the class. Then, also in the correlation coefficient calculation circuit 957, a correlation value is obtained for each pixel position mode regardless of the class. Further, also in the pattern selection circuit 958, pattern information is obtained for each pixel position mode, regardless of the class, based on the correlation value obtained by the correlation number calculation circuit 957.
  • the pattern information for each class is stored in the pattern table storage section 846, which corresponds to the class code output by the class classification circuit 843.
  • the prediction table is configured by using the parameter information of the class to be changed.
  • the pattern table storage unit 846 of FIG. 80 stores the pattern learning device 960 of FIG. It is also possible to store the pattern information of one class obtained in E and use the pattern information to form a prediction map irrespective of the class.
  • FIG. 102 shows a configuration example of a computer 100 in which a program for executing the above-described series of processes is installed.
  • the program can be recorded in advance on a hard disk 125 or ROM 1203 as a recording medium built in the computer 100.
  • the program may be a removable recording medium such as a floppy disk, CD—R ⁇ M (Compact Disc Read Only Memory), M0 (Magneto optical) disk, DVD (Digital Versatile Disc), magnetic disk, or semiconductor memory.
  • 1 2 1 1 can be stored (recorded) temporarily or permanently.
  • a removable recording medium 1 211 is provided as so-called package software. Can be offered.
  • the program can be installed on the computer from the removable storage medium 1221 as described above, or transmitted from the download site to the computer via digital satellite broadcasting artificial satellites, wirelessly, or connected to a LAN. (Local Area Network) ⁇ Transfer the data to the computer via a network such as the Internet connection network, and the computer receives the transferred program in the communication unit 12008, It can be installed on the hard disk 1205.
  • a network such as the Internet connection network
  • the computer 1000 has a CPU (Central Processing Unit) 1202 built-in.
  • An input / output interface 122 0 is connected to the CPU 1202 via a bus 121.
  • the CPU 1222 issues a command when the user operates the input unit 127, which includes a keyboard, a mouse, a microphone, and the like, via the input / output interface 120.
  • the program stored in ROM (Read Only Memory) 1203 is executed accordingly, or the CPU 122 executes the program stored in the hard disk 1205.
  • the program installed in 1 205 is loaded into the RAM (Random Access Memory) 1204 and executed, whereby the CPU 1222 performs the processing according to the above-described flowchart. Alternatively, the CPU 1222 performs the processing performed by the configuration of the above-described block diagram, and outputs the processing result as necessary, for example, via the input / output interface 12010. LCD (Liquid CryStal Display) ⁇ Output from the output unit 126 composed of speed, etc., or transmitted from the communication unit 128, and further recorded on the hard disk 125.
  • LCD Liquid CryStal Display
  • processing steps for describing a program for causing a computer to perform various types of processing do not necessarily need to be processed in chronological order in the order described as a flowchart, and may be performed in parallel or in parallel. It includes processes that are executed individually, for example, parallel processing or processing by objects. Further, the program may be processed by one computer, or may be processed in a distributed manner by a plurality of computers. Furthermore, the program may be transferred to a distant computer and executed ( note that in each of the above-described embodiments, the image data is targeted, but the present invention also includes, for example, It is also applicable to audio data.
  • a JPEG encoded image for compressing and encoding a still image is targeted.
  • the present invention is directed to a compression encoding of a moving image, for example, an MPEG encoded image. It is also possible.
  • the present invention uses other orthogonal transform or frequency transform to perform block-by-block (a predetermined unit). Applicable to decryption / conversion of converted data.
  • the present invention provides, for example, a method for decoding a subband-encoded data, a Fourier-transformed data, or the like, or converting the data into a data with reduced quantization errors and the like. Is also applicable.
  • the tap coefficients used for decoding are stored in advance in the decoder 22, but the tap coefficients are included in the coded data and provided to the decoder 22. Is possible. The same applies to pattern information.
  • the decoding / conversion is performed by the linear primary prediction operation using the tap coefficients
  • the decoding and the conversion can be performed by a second-order or higher-order prediction operation.
  • the prediction map is configured from the DCT block corresponding to the target pixel block and the quantized DCT coefficients of the DCT blocks around the block, but the class map can also be configured in the same manner. .
  • At least the conversion data used in the prediction operation for decoding the data block of the data block of interest in the data block of the data block of interest is selected. It is extracted from the conversion block corresponding to the data block other than the data block and used as the prediction tap. Then, by performing a predetermined prediction operation using the type coefficient and the prediction coefficient, it is possible to efficiently decode the converted data into the original data. it can.
  • student data to be a student is generated by at least orthogonal transformation or frequency conversion of teacher data to be a teacher, and teacher data of a focused teacher block of interest in the teacher program is generated.
  • the student data used for the prediction operation for decoding is extracted from at least the student block corresponding to the teacher block other than the attention teacher block, and used as a prediction tap. Then, learning is performed so that the prediction error of the prediction value of the teacher data obtained by performing the prediction operation using the sunset coefficient and the prediction algorithm is statistically minimized, and the tap coefficient is obtained. .
  • the tap coefficients obtained in this way it is possible to efficiently decode the orthogonally or frequency-transformed data.
  • the first data and the second data for learning the extraction pattern are used to obtain the first data having a predetermined positional relationship with the second data at a predetermined position.
  • the correlation between the second data and the second data is determined for each predetermined positional relationship, and based on the correlation, it is used as a prediction tap used in the prediction calculation for obtaining the second data and the first data.
  • Set the extraction pattern for the first data Then, by performing a prediction operation using the first data extracted according to the extraction pattern, for example, the first data can be efficiently converted to the second data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Description

明細書 データ処理装置及びデータ処理方法、 並びに記録媒体
技術分野 本発明は、 データ処理装置及びデータ処理方法、 並びに記録媒体に関し、 特に、 例えば、 不可逆圧縮された画像等を復号する場合等に用いて好適なデータ処理装 置及びデータ処理方法、 並びに記録媒体に関する。
景技術 例えば、 ディジタル画像データは、 そのデ一夕量が多いため、 そのまま記録や 伝送を行うには、 大容量の記録媒体や伝送媒体が必要となる。 そこで、 一般には、 画像データを圧縮符号化することにより、 そのデータ量を削減してから、 記録や 伝送が行われる。
画像を圧縮符号化する方式としては、 例えば、 静止画の圧縮符号化方式である
J P E G (Joint Photographic Experts Group)方式や、 動画の圧縮符号化方式で ある M P E G (Moving Pi cture Experts Group)方式等がある。
例えば、 J P E G方式による画像データの符号化/復号は、 図 1に示すように 行われる。
すなわち、 図 1 Aは、 従来の J P E G符号化装置 5の一例の構成を示している c 符号化対象の画像デ一夕は、 ブロック化回路 1に入力され、 ブロック化回路 1 は、 そこに入力される画像デ一夕を 8 X 8画素の 6 4画素でなるブロヅクに分割 する。 プロヅク化回路 1で得られる各プロヅクは、 離散コサイン変換（DCT:Discr ete Cosine Transform) 回路 2に供給される。 D C T回路 2は、 ブロック化回路 1からのブロックに対して、 D C T処理を施し、 1個の直流（DC :Direct Curren t)成分と、 水平方向及び垂直方向についての 6 3個の周波数（AC :Alternating Cu rrent)成分の合計 6 4個の D C T係数に変換する。 各ブロックごとの 6 4個の D C T係数は、 D C T回路 2から量子化回路 3に供給される。
量子化回路 3は、 所定の量子化テーブルにしたがって、 D C T回路 2からの D C T係数を量子化し、 その量子化結果 （以下、 適宜、 量子化 D C T係数という） を量子化に用いた量子化テーブルとともにェントロピー符号化回路 4に供給する ここで、 図 1 Bは、 量子化回路 3において用いられる量子化テーブルの例を示 している。 量子化テーブルには、 一般に、 人間の視覚特性を考慮して、 重要性の 高い低周波数の D C T係数は細かく量子化し、 重要性の低い高周波数の D C T係 数は粗く量子化するような量子化ステップが設定されており、 これにより、 画像 の画質の劣化を抑えて、 効率の良い圧縮が行われるようになつている。
ェントロピー符号化回路 4は、 量子化回路 3からの量子化 D C T係数に対して、 例えば、 ハフマン符号化等のエントロピー符号化処理を施して、 量子化回路 3か らの量子化テーブルを付加し、 その結果得られる符号化データを J P E G符号化 結果として出力する。
次に、 図 1 Cは、 図 1 Aの J P E G符号化装置 5が出力する符号化デ一夕を復 号する従来の J P E G復号装置 1 0の一例の構成を示している。
符号化データは、 エントロピー復号回路 1 1に入力される。 ェントロピー復号 回路 1 1は、 符号化デ一夕をエントロピー符号化された量子化 D C T係数と量子 化テーブルとに分離する。 さらに、 エントロピ一復号回路 1 1は、 エントロピ一 符号化された量子化 D C T係数をェントロピー復号し、 その結果得られる量子化 D C T係数を量子化テ一ブルとともに逆量子化回路 1 2に供給する。 逆量子化回 路 1 2は、 ェントロピ一復号回路 1 1からの量子化 D C T係数を同じくェント口 ピ一復号回路 1 1からの量子化テーブルにしたがって逆量子化し、 その結果得ら れる D C T係数を逆 D C T回路 1 3に供給する。 逆 D C T回路 1 3は、 逆量子化 回路 1 2からの D C T係数に逆 D C T処理を施し、 その結果得られる 8 X 8画素 の復号ブ口ヅクをブロック分解回路 1 4に供給する。 ブロック分解回路 1 4は、 逆 D C T回路 1 3からの復号ブロックのブロック化を解くことで、 復号画像を得 て出力する。
図 1 Aの J P E G符号化装置 5では、 その量子化回路 3において、 プロヅクの 量子化に用いる量子化テーブルの量子化ステップを大きくすることにより、 符号 化デ一夕のデ一夕量を削減することができる。 すなわち、 高圧縮を実現すること ができる。
しかしながら、 量子化ステップを大きくすると、 いわゆる量子化誤差も大きく なることから、 図 1 Cの J P E G復号装置 1 0で得られる復号画像の画質が劣化 する。 すなわち、 復号画像には、 ぽけゃブロック歪み、 モスキートノイズ等が顕 著に現れる。
したがって、 符号化デ一夕のデ一夕量を削減しながら、 復号画像の画質を劣化 させないようにするには、 あるいは、 符号化データのデ一夕量を維持して、 復号 画像の画質を向上させるには、 J P E G復号した後に、 何らかの画質向上のため の処理を行う必要がある。
しかしながら、 J P E G復号した後に、 画質向上のための処理を行うことは、 処理が煩雑になり、 最終的に復号画像が得られるまでの時間も長くなる。
発明の開示 本発明は、 このような状況に鑑みてなされたものであり、 J P E G符号化され た画像等から、 効率的に、 画質の良い復号画像を得ること等ができるようにする ものである。
本発明では、 学習を行うことにより求められたタップ係数を取得し、 その夕ッ プ係数と変換デ一夕とを用いて所定の予測演算を行うことにより、 変換データを 元のデ一夕に復号する。
すなわち、 本発明に係るデータ処理装置は、 学習を行うことにより求められた タップ係数を取得する取得手段と、 タップ係数及び変換データを用いて、 所定の 予測演算を行うことにより、 変換デ一夕を元のデ一夕に復号する復号手段とを備 えることを特徴とする。 また、 本発明に係るデ一夕処理方法は、 学習を行うことにより求められた夕ッ プ係数を取得する取得ステップと、 タップ係数及び変換データを用いて、 所定の 予測演算を行うことにより、 変換デ一夕を元のデ一夕に復号する復号ステップと を備えることを特徴とする。
さらに、 本発明に係る記録媒体は、 学習を行うことにより求められたタップ係 数を取得する取得ステップと、 タップ係数及び変換デ一夕を用いて、 所定の予測 演算を行うことにより、 変換データを元のデータに復号する復号ステップとを備 えるプログラムが記録されていることを特徴とする。
本発明では、 教師となる教師デ一夕を少なくとも直交変換又は周波数変換する ことにより、 生徒となる生徒データを生成し、 タップ係数及び生徒デ一夕を用い て予測演算を行うことにより得られる教師データの予測値の予測誤差が統計的に 最小になるように学習を行うことにより、 夕ップ係数を求める。
すなわち、 本発明に係るデータ処理装置は、 教師となる教師デ一夕を少なくと も直交変換又は周波数変換することにより、 生徒となる生徒デ一夕を生成する生 成手段と、 夕ップ係数及び生徒デ一夕を用いて予測演算を行うことにより得られ る教師デ一夕の予測値の予測誤差が統計的に最小になるように学習を行い、 夕ッ プ係数を求める学習手段とを備えることを特徴とする。
また、 本発明に係るデータ処理方法は、 教師となる教師データを少なくとも直 交変換又は周波数変換することにより、 生徒となる生徒データを生成する生成ス テツプと、 夕ップ係数及び生徒データを用いて予測演算を行うことにより得られ る教師デ一夕の予測値の予測誤差が統計的に最小になるように学習を行い、 夕ッ プ係数を求める学習ステップとを備えることを特徴とする。
さらに、 本発明に係る記録媒体は、 教師となる教師データを少なくとも直交変 換又は周波数変換することにより、 生徒となる生徒デ一夕を生成する生成ステツ プと、 夕ツプ係数及び生徒データを用いて予測演算を行うことにより得られる教 師デ一夕の予測値の予測誤差が統計的に最小になるように学習を行い、 夕ップ係 数を求める学習ステップとを備えるプログラムが記録されていることを特徴とす る。
本発明では、 学習を行うことにより求められたタップ係数を取得し、 その夕ッ プ係数及び変換デ一夕を用いて、 所定の予測演算を行うことにより、 変換データ を元のデ一夕に復号し、 かつ、 その元のデータに所定の処理を施した処理データ を得る。
すなわち、 本発明に係るデータ処理装置は、 学習を行うことにより求められた タップ係数を取得する取得手段と、 タップ係数及び変換デ一夕を用いて、 所定の 予測演算を行うことにより、 変換デ一夕を元のデ一夕に復号し、 かつ、 その元の データに所定の処理を施した処理データを得る演算手段とを備えることを特徴と する。
また、 本発明に係るデータ処理方法は、 学習を行うことにより求められたタツ プ係数を取得する取得ステップと、 タップ係数及び変換デ一夕を用いて、 所定の 予測演算を行うことにより、 変換デ一夕を元のデータに復号し、 かつ、 その元の デ一夕に所定の処理を施した処理デ一夕を得る演算ステップとを備えることを特 徴とする。
さらに、 本発明に係る記録媒体は、 学習を行うことにより求められたタップ係 数を取得する取得ステップと、 タップ係数及び変換データを用いて、 所定の予測 演算を行うことにより、 変換データを元のデ一夕に復号し、 かつ、 その元のデー 夕に所定の処理を施した処理デ一夕を得る演算ステヅプとを備えるプログラムが 記録されていることを特徴とする。
本発明では、 教師となる教師デ一夕に、 所定の処理に基づく処理を施し、 その 結果得られる準教師データを少なくとも直交変換又は周波数変換することにより、 生徒となる生徒デ一夕を生成する。 そして、 タップ係数及び生徒デ一夕を用いて 予測演算を行うことにより得られる教師データの予測値の予測誤差を統計的に最 小にするように学習を行い、 夕ップ係数を求める。
すなわち、 本発明に係るデータ処理装置は、 教師となる教師データに、 所定の 処理に基づく処理を施し、 準教師データを得る準教師データ生成手段と、 準教師 データを少なくとも直交変換又は周波数変換することにより、 生徒となる生徒デ 一夕を生成する生徒データ生成手段と、 夕ップ係数及び生徒データを用いて 測 演算を行うことにより得られる教師データの予測値の予測誤差が統計的に最小に なるように学習を行い、 夕ップ係数を求める学習手段とを備えることを特徴とす る。
また、 本発明に係るデ一夕処理方法は、 教師となる教師データに、 所定の処理 に基づく処理を施し、 準教師データを得る準教師データ生成ステップと、 準教師 データを少なくとも直交変換又は周波数変換することにより、 生徒となる生徒デ 一夕を生成する生徒デ一夕生成ステップと、 夕ップ係数及び生徒データを用いて 予測演算を行うことにより得られる教師デ一夕の予測値の予測誤差が統計的に最 小になるように学習を行い、 夕ヅプ係数を求める学習ステヅプとを備えることを 特徴とする。
さらに、 本発明に係る記録媒体は、 教師となる教師データに、 所定の処理に基 づく処理を施し、 準教師データを得る準教師デ一夕生成ステップと、 準教師デー 夕を少なくとも直交変換又は周波数変換することにより、 生徒となる生徒デ一夕 を生成する生徒デ一夕生成ステップと、 夕ッブ係数及び生徒データを用いて予測 演算を行うことにより得られる教師データの予測値の予測誤差が統計的に最小に なるように学習を行い、 夕ツプ係数を求める学習ステップとを備えるプログラム が記録されていることを特徴とする。
本発明では、 付加情報に基づいて、 元のデ一夕のうちの注目している注目デー 夕を幾つかのクラスのうちのいずれかにクラス分類し、 学習を行うことにより求 められた所定のクラスごとの夕ップ係数のうち注目デ一夕のクラスに対応するタ 、ソプ係数を取得する。 そして、 変換デ一夕及び注目デ一夕のクラスに対応する夕 ップ係数を用いて、 所定の予測演算を行うことにより、 変換データを元のデ一夕 に復号する。
すなわち、 本発明発明に係るデータ処理装置は、 付加情報に基づいて、 元のデ 一夕のうちの注目している注目デ一夕を幾つかのクラスのうちのいずれかにクラ ス分類するクラス分類手段と、 学習を行うことにより求められた所定のクラスご とのタツプ係数のうち注目データのクラスに対応するタップ係数を取得する取得 手段と、 変換デ一夕及び注目データのクラスに対応するタップ係数を用いて、 所 定の予測演算を行うことにより、 変換データを元のデータに復号する復号手段と を備えることを特徴とする。
また、 本発明に係るデータ処理方法は、 付加情報に基づいて、 元のデータのう ちの注目している注目デ一夕を幾つかのクラスのうちのいずれかにクラス分類す るクラス分類ステツプと、 学習を行うことにより求められた所定のクラスごとの 夕ップ係数のうち、 注目データのクラスに対応するタップ係数を取得する取得ス テツプと、 変換データ及び注目データのクラスに対応する夕ッブ係数を用いて、 所定の予測演算を行うことにより、 変換データを元のデータに復号する復号ステ ップとを備えることを特徴とする。
また、 本発明に係る記録媒体は、 付加情報に基づいて、 元のデータのうちの注 目している注目データを幾つかのクラスのうちのいずれかにクラス分類するクラ ス分類ステップと、 学習を行うことにより求められた、 所定のクラスごとの夕ッ プ係数のうち、 注目データのクラスに対応する夕ヅプ係数を取得する取得ステヅ プと、 変換データ及び注目データのクラスに対応する夕ップ係数を用いて、 所定 の予測演算を行うことにより、 変換データを元のデータに復号する復号ステップ とを備えるプログラムが記録されていることを特徴とする。
本発明では、 教師となる教師デ一夕を少なくとも直交変換又は周波数変換する ことにより、 生徒となる生徒データを生成し、 生徒データを生成するときに用い た所定の付加情報に基づいて、 教師デ一夕のうちの注目している注目教師デ一夕 を幾つかのクラスのうちのいずれかにクラス分類する。 そして、 注目教師データ のクラスに対応する夕ップ係数及び生徒データを用いて予測演算を行うことによ り得られる教師デ一夕の予測値の予測誤差が統計的に最小になるように学習を行 い、 クラスごとの夕ヅプ係数を求める。
すなわち、 本発明に係るデータ処理装置は、 教師となる教師データを少なくと も直交変換又は周波数変換することにより、 生徒となる生徒データを生成する生 成手段と、 生成手段において生徒デ一夕を生成するときに用いられる所定の付加 情報に基づいて、 教師データのうちの注目している注目教師データを幾つかのク ラスのうちのいずれかにクラス分類するクラス分類手段と、 注目教師デ一夕のク ラスに対応するタツプ係数及び生徒データを用いて予測演算を行うことにより得 られる教師データの予測値の予測誤差が統計的に最小になるように学習を行い、 クラスごとのタツプ係数を求める学習手段とを備えることを特徴とする。
また、 本発明に係るデ一夕処理方法は、 教師となる教師データを少なくとも直 交変換又は周波数変換することにより生徒となる生徒データを生成する生成ステ ップと、 生成ステツプにおいて生徒データを生成するときに用いられる所定の付 加情報に基づいて、 教師データのうちの注目している注目教師データを幾つかの クラスのうちのいずれかにクラス分類するクラス分類ステップと、 注目教師デー 夕のクラスに対応する夕ップ係数及び生徒データを用いて予測演算を行うことに より得られる教師データの予測値の予測誤差が統計的に最小になるように学習を 行い、 クラスごとの夕ヅプ係数を求める学習ステップとを備えることを特徴とす る。
さらに、 本発明に係る記録媒体は、 教師となる教師デ一夕を少なくとも直交変 換又は周波数変換することにより、 生徒となる生徒デ一夕を生成する生成ステツ プと、 生成ステップにおいて生徒データを生成するときに用いられる所定の付加 情報に基づいて、 教師データのうちの注目している注目教師データを幾つかのク ラスのうちのいずれかにクラス分類するクラス分類ステヅプと、 注目教師デ一夕 のクラスに対応する夕ップ係数及び生徒データを用いて予測演算を行うことによ り得られる教師データの予測値の予測誤差が統計的に最小になるように学習を行 い、 クラスごとの夕ヅプ係数を求める学習ステップとを備えるプログラムが記録 されていることを特徴とする。
本発明では、 注目処理デ一夕を幾つかのクラスのうちのいずれかにクラス分類 するのに用いる変換データを少なくとも注目処理データに対応するブロック以外 のブロックから抽出してクラス夕ヅプとし、 そのクラス夕ヅプに基づいて、 注目 処理データのクラスを求めるクラス分類を行われ、 注目処理デ一夕のクラスの夕 ップ係数及び変換データを行い、 所定の予測演算を行うことにより、 注目処理デ 一夕の予測値を求める。
すなわち、 本発明に係るデータ処理装置は、 学習を行うことにより求められた 夕ップ係数を取得する取得手段と、 注目している処理データである注目処理デー 夕を幾つかのクラスのうちのいずれかにクラス分類するのに用いる変換データを 少なくとも注目処理デ一夕に対応するプロック以外のプロックから抽出し、 クラ スタヅプとして出力するクラスタヅプ抽出手段と、 クラス夕ヅプに基づいて注目 処理データのクラスを求めるクラス分類を行うクラス分類手段と、 注目処理デー 夕のクラスの夕ップ係数及び変換データを用いて、 所定の予測演算を行うことに より、 注目処理データの予測値を求める演算手段とを備えることを特徴とする。 また、 本発明に係るデータ処理方法は、 学習を行うことにより求められたタツ プ係数を取得する取得ステップと、 注目している処理デ一夕である注目処理デー 夕を幾つかのクラスのうちのいずれかにクラス分類するのに用いる変換データを 少なく とも注目処理デ一夕に対応するプロック以外のプロックから抽出し、 クラ ス夕ヅブとして出力するクラス夕ヅプ抽出ステップと、 クラスタヅプに基づいて、 注目処理データのクラスを求めるクラス分類を行うクラス分類ステヅプと、 注目 処理データのクラスのタップ係数及び変換デ一夕を用いて、 所定の予測演算を行 うことにより、 注目処理データの予測値を求める演算ステップとを備えることを 特徴とする。
さらに、 本発明に係る記録媒体は、 学習を行うことにより求められたタップ係 数を取得する取得ステップと、 注目している処理デ一夕である注目処理データを 幾つかのクラスのうちのいずれかにクラス分類するのに用いる変換デ一夕を少な く とも注目処理データに対応するブロック以外のブロックから抽出し、 クラス夕 ヅブとして出力するクラス夕ヅプ抽出ステップと、 クラス夕ヅブに基づいて、 注 目処理デ一夕のクラスを求めるクラス分類を行うクラス分類ステップと、 注目処 理データのクラスの夕ップ係数及び変換データを用いて、 所定の予測演算を行う ことにより、 注目処理デ一夕の予測値を求める演算ステップとを備えるプログラ ムが記録されていることを特徴とする。
本発明では、 注目教師デ一夕を幾つかのクラスのうちのいずれかにクラス分類 するのに用いる生徒データを少なく とも注目教師デ一夕に対応するブロック以外 のプロヅクから抽出して、 クラス夕ヅプとし、 さらに、 そのクラス夕ヅプに基づ いて、 注目教師データのクラスを求めるクラス分類を行う。 そして、 クラスごと の夕ップ係数及び生徒デ一夕を用いて予測演算を行うことにより得られる教師デ 一夕の予測値の予測誤差が統計的に最小になるように学習を行い、 タップ係数を クラスごとに求める。
すなわち、 本発明に係るデータ処理装置は、 ブロック単位の変換データを学習 時の生徒となる生徒デ一夕として生成する生成手段と、 処理デ一夕を学習時の教 師となる教師データとして、 注目している教師デ一夕である注目教師データを幾 つかのクラスのうちのいずれかにクラス分類するのに用いる生徒デ一夕を少なく とも注目教師デ一夕に対応するプロヅク以外のプロヅクから抽出し、 クラス夕ヅ プとして出力するクラスタヅプ抽出手段と、 クラスタヅプに基づいて、 注目教師 デ一夕のクラスを求めるクラス分類を行うクラス分類手段と、 クラスごとの夕ヅ プ係数及び生徒デ一夕を用いて予測演算を行うことにより得られる教師デ一夕の 予測値の予測誤差が統計的に最小になるように学習を行い、 タップ係数をクラス ごとに求める学習手段とを備えることを特徴とする。
また、 本発明に係るデータ処理方法は、 ブロック単位の変換データを学習時の 生徒となる生徒デ一夕として生成する生成ステツブと、 処理データを学習時の教 師となる教師データとして、 注目している教師データである注目教師データを幾 つかのクラスのうちのいずれかにクラス分類するのに用いる生徒デ一夕を少なく とも注目教師デ一夕に対応するブロック以外のプロヅクから抽出し、 クラス夕ヅ プとして出力するクラスタヅプ抽出ステップと、 クラス夕ヅプに基づいて、 注目 教師データのクラスを求めるクラス分類を行うクラス分類ステップと、 クラスご とのタツプ係数及び生徒データを用いて予測演算を行うことにより得られる教師 デ一夕の予測値の予測誤差が統計的に最小になるように学習を行い、 タップ係数 をクラスごとに求める学習ステップとを備えることを特徴とする。
さらに、 本発明に係る記録媒体は、 ブロック単位の変換データを学習時の生徒 となる生徒データとして生成する生成ステップと、 処理データを学習時の教師と なる教師データとして注目している教師データである注目教師データを幾つかの クラスのうちのいずれかにクラス分類するのに用いる生徒デ一夕を少なくとも注 目教師データに対応するブロック以外のブロックから抽出し、 クラス夕ヅプとし て出力するクラス夕ヅプ抽出ステップと、 クラス夕ヅプに基づいて、 注目教師デ 一夕のクラスを求めるクラス分類を行うクラス分類ステップと、 クラスごとの夕 ップ係数及び生徒データを用いて予測演算を行うことにより得られる教師データ の予測値の予測誤差が統計的に最小になるように学習を行い、 タップ係数をクラ スごとに求める学習ステップとを備えるプログラムが記録されていることを特徴 とする。 本発明では、 デ一夕プロックのうちの注目している注目データプロックのデー 夕を復号するための予測演算に用いる変換データを、 少なく とも、 その注目デー タブ口ヅク以外のデ一タブ口ヅクに対応する変換プロヅクから抽出して、 予測夕 ップとし、 タップ係数及び予測タップを用いて、 所定の予測演算を行うことによ り、 変換デ一夕を元のデータに復号する。
すなわち、 本発明に係るデータ処理装置は、 学習を行うことにより求められた 夕ップ係数を取得する取得手段と、 デ一夕のプロックであるデ一夕プロックのう ちの注目している注目デ一夕ブロックのデータを復号するための予測演算に用い る変換デ一夕を、 少なく とも、 その注目データブロック以外のデータブロックに 対応する変換デ一夕のブロックである変換ブロックから抽出し、 予測夕ヅプとし て出力する予測タップ抽出手段と、 タップ係数及び予測タップを用いて、 所定の 予測演算を行うことにより、 変換データを元のデータに復号する演算手段とを備 えることを特徴とする。
また、 本発明に係るデータ処理方法は、 学習を行うことにより求められた夕ッ プ係数を取得する取得ステップと、 デ一夕のプロヅクであるデ一タブ口ヅクのう ちの注目している注目デ一夕ブロックのデータを復号するための予測演算に用い る変換データを、 少なく とも、 その注目データブロック以外のデータブロックに 対応する変換デ一夕のプロックである変換プロヅクから抽出し、 予測夕ヅプとし て出力する予測タヅプ抽出ステップと、 夕ヅプ係数及び予測夕ヅプを用いて、 所 定の予測演算を行うことにより、 変換デ一夕を元のデータに復号する演算ステツ プとを備えることを特徴とする。
さらに、 本発明に係る記録媒体は、 学習を行うことにより求められたタップ係 数を取得する取得ステヅプと、 デ一夕のプロックであるデータブロックのうちの 注目している注目データブロックのデ一夕を復号するための予測演算に用いる変 換データを、 少なくとも、 その注目デ一夕プロヅク以外のデータブロックに対応 する変換デ一夕のプロヅクである変換プロックから抽出し、 予測夕ヅプとして出 力する予測夕ヅプ抽出ステップと、 タップ係数及び予測タップを用いて、 所定の 予測演算を行うことにより、 変換デ一夕を元のデータに復号する演算ステップと を備えるプログラムが記録されていることを特徴とする。 本発明では、 教師となる教師デ一夕を少なくとも直交変換又は周波数変換する ことにより、 生徒となる生徒デ一夕を生成し、 教師ブロックのうちの注目してい る注目教師プロックの教師データを復号するための予測演算に用いる生徒デ一夕 を、 少なくとも、 その注目教師ブロック以外の教師ブロックに対応する生徒プロ ックから抽出して、 予測夕ヅプとし、 夕ヅプ係数及び予測タップを用いて予測演 算を行うことにより得られる教師データの予測値の予測誤差が統計的に最小にな るように学習を行い、 タップ係数を求める。
すなわち、 本発明に係るデータ処理装置は、 教師となる教師データを少なくと も直交変換又は周波数変換することにより、 生徒となる生徒データを生成する生 成手段と、 教師データのプロックである教師プロヅクのうちの注目している注目 教師プロックの教師データを復号するための予測演算に用いる生徒デ一夕を、 少 なくとも、 その注目教師プロヅク以外の教師ブロックに対応する生徒デ一夕のブ 口ックである生徒プロックから抽出し、 予測夕ップとして出力する予測夕ッブ抽 出手段と、 夕ッブ係数及び予測夕ップを用いて予測演算を行うことにより得られ る教師デ一夕の予測値の予測誤差が統計的に最小になるように学習を行い、 タツ プ係数を求める学習手段とを備えることを特徴とする。
また、 本発明に係るデータ処理方法は、 教師となる教師データを少なくとも直 交変換又は周波数変換することにより、 生徒となる生徒デ一夕を生成する生成ス テヅプと、 教師デ一夕のプロヅクである教師プロヅクのうちの注目している注目 教師プロックの教師デ一夕を復号するための予測演算に用いる生徒データを、 少 なくとも、 その注目教師プロック以外の教師プロックに対応する生徒データのブ 口ックである生徒プロックから抽出し、 予測夕ップとして出力する予測夕ップ抽 出ステツプと、 夕ップ係数及び予測夕ップを用いて予測演算を行うことにより得 られる教師データの予測値の予測誤差が統計的に最小になるように学習を行い、 夕ップ係数を求める学習ステップとを備えることを特徴とする。
さらに、 本発明に係る記録媒体は、 教師となる教師データを少なくとも直交変 換又は周波数変換することにより〗 生徒となる生徒データを生成する生成ステツ プと、 教師デ一夕のプロヅクである教師プロヅクのうちの注目している注目教師 ブロックの教師デ一夕を復号するための予測演算に用いる生徒デ一夕を、 少なく とも、 その注目教師プロック以外の教師プロヅクに対応する生徒デ一夕のプロッ クである生徒プロヅクから抽出し、 予測夕ヅプとして出力する予測夕ップ抽出ス テツプと、 夕ップ係数及び予測夕ップを用いて予測演算を行うことにより得られ る教師データの予測値の予測誤差が統計的に最小になるように学習を行い、 夕ッ プ係数を求める学習ステップとを備えるプログラムが記録されていることを特徴 とする。
本発明では、 抽出パターンの学習用の第 1デ一夕及び第 2デ一夕を用いて、 所 定の位置にある第 2データに対して所定の位置関係にある第 1デ一タと所定の位 置にある第 2データとの相関が所定の位置関係ごとに求め、 その相関に基づいて、 第 2デ一夕を得るための予測演算に用いる予測夕ップとする第 1デ一夕の抽出パ ターンを設定する。
すなわち、 本発明に係るデータ処理装置は、 抽出パターンの学習用の第 1デー 夕及び第 2デ一夕を用いて、 所定の位置にある第 2データに対して所定の位置関 係にある第 1デ一夕と、 所定の位置にある第 2デ一夕との相関を所定の位置関係 ごとに求める相関演算手段と、 相関に基づいて、 第 2データを得るための予測演 箅に用いる予測夕ップとする第 1デ一夕の抽出パターンを設定する設定手段とを 備えることを特徴とする。
また、 本発明に係るデータ処理方法は、 抽出パターンの学習用の第 1データ及 び第 2デ一夕を用いて、 所定の位置にある第 2データに対して所定の位置関係に ある第 1デ一夕と、 所定の位置にある第 2データとの相関を所定の位置関係ごと に求める相関演算ステップと、 相関に基づいて、 第 2データを得るための予測演 算に用いる予測夕ヅプとする第 1デ一夕の抽出パターンを設定する設定ステヅプ とを備えることを特徴とする。
さらに、 本発明に係る記録媒体は、 抽出パターンの学習用の第 1デ一夕及び第 2デ一夕を用いて、 所定の位置にある第 2データに対して所定の位置関係にある 第 1データと、 所定の位置にある第 2データとの相関を所定の位置関係ごとに求 める相関演算ステップと、 相関に基づいて、 第 2データを得るための予測演算に 用いる予測タップとする第 1デ一夕の抽出パターンを設定する設定ステップとを 備えるプログラムが記録されていることを特徴とする。 図面の簡単な説明 図 1 A， 図 1 B及び図 1 Cは、 従来の J P E G符号化/復号を説明するための 図である。
図 2は、 本発明を適用した画像伝送システムの構成例を示す図である。
図 3は、 上記画像伝送システムにおけるデコーダの構成例を示すブロック図で める。
図 4は、 上記デコーダの処理を説明するフローチヤ一トである。
図 5は、 上記デコーダにおける係数変換回路の構成例を示すプロック図である, 図 6は、 上記デコーダにおける予測夕ヅプとクラ.ス夕ヅプの例を説明する図で める。 . ..
図 7は、 上記係数変換回路におけるクラス分類回路の構成例を示すプロック図 である。
図 8は、 土記係数変換回路における電力演算回路の処理を説明するための図で ある。
図 9は、 上記係数変換回路の処理を説明するフローチャートである。
図 1 0は、 上記係数変換回路の処理のより詳細を説明するフローチャートであ る。
図 1 1は、 上記係数変換回路のタップ係数を学習する学習装置の構成例を示す ブロヅク図である。
図 1 2は、 上記学習装置の処理を説明するフローチャートである。
図 1 3は、 上記係数変換回路の他の構成例を示すブロック図である。
図 1 4は、 上記学習装置の他の構成例を示すプロック図である。
図 1 5は、 上記係数変換回路の他の構成例を示すブロック図である。
図 1 6は、 上記学習装置の他の構成例を示すブロック図である。
図 1 7は、 上記係数変換回路の他の構成例を示すブロック図である。
図 1 8は、 上記学習装置の他の構成例を示すブロック図である。 図 1 9は、 上記画像伝送システムにおけるエンコーダの構成例を示すブロック 図である。
図 2 0は、 M P E Gデコーダの構成例を示すプロヅク図である。
図 2 1は、 上記係数変換回路の他の構成例を示すブロック図である。
図 2 2は、 上記学習装置の他の構成例を示すブロック図である。
図 2 3は、 上記画像伝送システムに本発明を適用した他の実施の形態における デコーダの構成例を示すブロック図である。
図 2 4は、 上記デコーダにおいて 8 X 8の D C T係数が 1 6 x 1 6画素に復号 される様子を示す図である。
図 2 5は、 上記デコーダの処理を説明するフローチャートである。
図 2 6は、 上記デコーダにおける係数変換回路の構成例を示すブロック図であ る。
図 2 7は、 上記係数変換回路におけるクラス分類回路の構成例を示すプロック 図である。
図 2 8は、 上記係数変換回路の処理を説明するフローチャートである。
図 2 9は、 上記係数変換回路における処理により詳細を説明するフローチヤ一 トである。
図 3 0は、 上記係数変換回路のタツプ係数を学習する学習装置の構成例を示す ブロック図である。
図 3 1は、 上記学習装置の処理を説明するフローチャートである。
図 3 2は、 上記係数変換回路の他の構成例を示すブロック図である。
図 3 3は、 上記学習装置の他の構成例を示すプロック図である。
図 3 4は、 上記係数変換回路の他の構成例を示すプロック図である。
図 3 5は、 上記学習装置の他の構成例を示すブロック図である
図 3 6は、 上記係数変換回路の他の構成例を示すプロック図である。
図 3 7は、 上記学習装置の他の構成例を示すプロック図である。
図 3 8は、 上記エンコーダの構成例を示すプロヅク図である。
図 3 9は、 上記係数変換回路の他の構成例を示すプロック図である。
図 4 0は、 上記学習装置の他の構成例を示すプロヅク図である。 図 4 1 A及び図 4 1 Bは、 時間解像度を向上させた画像を示す図である。 図 4 2 A及び図 4 2 Bは、 時間解像度を向上させた画像を示す図である。 図 4 3は、 2以上のフレームの D C T係数からクラスタヅプ及ぴ予測夕ヅプを 構成することを示す図である。
図 4 4は、 上記画像伝送システムに本発明を適用した他の実施の形態における デコーダの構成例を示すプロック図である。
図 4 5は、 上記デコーダの処理を説明するフローチャートである。
図 4 6は、 上記デコーダにおける係数変換回路の構成例を示すブロック図であ る。
図 4 7は、 上記係数変換回路におけるクラス分類回路の構成例を示すプロック 図である。
図 4 8は、 上記係数変換回路の処理を説明するフローチャートで,ある。
図 4 9は、 上記係数変換回路の処理のより詳細を説明するフローチャードであ る。
図 5 0は、 上記係数変換回路のタップ係数を学習する学習装置の構成例を示す ブロック図である
図 5 1は、 上記学習装置の処理を説明するフローチャートである。
図 5 2は、 上記係数変換回路の他の構成例を示すプロツク図である。
図 5 3は、 上記学習装置の構成例を示すプロック図である。
図 5 4は、 上記係数変換回路の他の構成例を示すブロック図である。
図 5 5は、 本発明を適用した学習装置の構成例を示すブロック図である。 図 5 6は、 上記係数変換回路の他の構成例を示すブロック図である。
図 5 7は、 上記学習装置の構成例を示すブロック図である。
図 5 8は、 上記画像伝送システムにおけるエンコーダの構成例を示すプロヅク 図である。
図 5 9は、 上記画像伝送システムにおける M P E Gデコーダの構成例を示すブ ロヅク図である。
図 6 0は、 上記係数変換回路の他の構成例を示すブロック図である。
図 6 1は、 上記学習装置の他の構成例を示すブロック図である。 図 6 2は、 上記画像伝送システムに本発明を適用した他の実施の形態における デコーダの構成例を示すプロック図である。
図 6 3は、 上記デコーダの処理を説明するフローチヤ一トである。
図 6 4は、 上記デコーダにおける係数変換回路の構成例を示すプロック図であ る。
図 6 5 A及び図 6 5 Bは、 上記係数変換回路におけるクラスタップの例を説明 する図である。
図 6 6は、 上記係数変換回路におけるクラス分類回路の構成例を示すブロック 図である。
図 6 7は、 上記係数変換回路の処理を説明するフローチャートである。
図 6 8は、 上記係数変換回路の処理のより詳細を説明するフローチャードであ る。
図 6 9は、 クラス分類の方法を説明するための図である。
図 7 0は、 上記クラス分類回路の処理を説明するフローチャートである。 図 7 1は、 クラス分類の他の方法を説明するための図である。
図 7 2は、 上記クラス分類回路の他の構成例を示すブロック図である。
図 7 3は、 上記クラス分類回路の処理を説明するフローチャートである。 図 7 4は、 上記係数変換回路の他の構成例を示すプロック図である。
図 7 5は、 上記係数変換回路の夕ツプ係数を学習する学習装置の構成例を示す ブロヅク図である。
図 7 6は、 上記係数変換回路の構成例を示すプロツク図である。
図 7 7は、 上言 3学習装置の他の構成例を示すプロック図である。
図 7 8は、 上記画像伝送システムに本発明を適用した他の実施の形態における デコーダの構成例を示すプロヅク図である。
図 7 9は、 上記デコーダの処理を説明するフローチャートである。
図 8 0は、 上記デコーダにおける係数変換回路の構成例を示すブロック図であ る。
図 8 1は、 上記係数変換回路におけるクラス分類回路の構成例を示すブロック 図である。 図 8 2は、 上記係数変換回路の処理を説明するフローチャートである。
図 8 3は、 上記係数変換回路の処理のより詳細を説明するフローチャートであ る。
図 8 4は、 上記係数変換回路のタップ係数を学習するタップ係数学習装置の構 成例を示すブロック図である。
図 8 5は、 上記夕ップ係数学習装置の処理を説明するフローチャートである。 図 8 6は、 パターン情報を学習するパターン学習装置の構成例を示すブロック 図である。
図 8 7 A , 図 8 7 B及び図 8 7 Cは、 上記パターン学習装置における加算回路 の処理を説明するための図である。
図 8 8は、 上記パターン学習装置の処理を説明するフローチャートである。 図 8 9は、 上記係数変換回路の構成例を示すブロック図である。
図 9 0は、 上記夕、ソプ係数学習装置の他の構成例を示すプロヅク図である。 図 9 1は、 上記パターン学習装置の他の構成例を示すプロヅク図である。 図 9 2は、 上記係数変換回路の他の構成例を示すプロック図である。
図 9 3は、 上記タップ係数学習装置の他の構成例を示すプロヅク図である。 図 9 4は、 上記パターン学習装置の他の構成例を示すブロック図である。 図 9 5 A , 図 9 5 B及び図 9 5 Cは、 上記パターン学習装置における加算回路 の処理を説明するための図である。
図 9 6は、 上記係数変換回路の他の構成例を示すブロック図である。
図 9 7は、 上記夕ップ係数学習装置の他の構成例を示すプロック図である。 図 9 8は、 上記パターン学習装置の他の構成例を示すブロック図である。 図 9 9は、 上記係数変換回路の他の構成例を示すブロック図である。
図 1 0 0は、 上記夕ップ係数学習装置の他の構成例を示すプロック図である。 図 1 0 1は、 上記パターン学習装置の他の構成例を示すプロヅク図である。 図 1 0 2は、 本発明を適用したコンピュータの一実施の形態の構成例を示すブ 口ヅク図である。 発明を実施するための最良の形態 以下、 本発明を実施するための最良の形態について図面を参照しながら詳細に 説明する。
本発明は、 例えば図 2に示すような構成の画像伝送システム 2 0に適用される < この画像伝送システム 2 0において、 伝送すべき画像データは、 エンコーダ 2 1に供給されるようになっている。 エンコーダ 2 1は、 そこに供給される画像デ 一夕を例えば J P E G符号化し、 符号化デ一夕とする。 すなわち、 エンコーダ 2 1は、 例えば、 前述の図 1 Aに示した J P E G符号化装置 5と同様に構成されて おり、 画像データを J P E G符号化する。 エンコーダ 2 1が J P E G符号化を行 うことにより得られる符号化デ一夕は、 例えば、 半導体メモリ、 光磁気ディスク、 磁気ディスク、 光ディスク、 磁気テープ、 相変化ディスクなどでなる記録媒体 2 3に記録され、 あるいは、 例えば、 地上波、 衛星回線、 C A T V ( Cable Te levis ion)網、 イン夕一ネッ ト、 公衆回線などでなる伝送媒体 2 4を介して伝送される c デコーダ 2 2は、 記録媒体 2 3又は伝送媒体 2 4を介して提供される符号化デ —タを受信して、 元の画像デ一夕に復号する。 この復号された画像デ一夕は、 例 えば、 図示せぬモニタに供給されて表示等される。
デコーダ 2 2は、 図 3に示すように、 エントロピー復号回路 3 1、 係数変換回 路 3 2及びプロヅク分解回路 3 3からなる。
符号化データは、 エントロピ一復号回路 3 1に供給されるようになっている。 エントロピ一復号回路 3 1は、 符号化データをエン トロピー復号して、 その結果 得られるプロックごとの量子化 D C T係数 Qを係数変換回路 3 2に供給する。 な お、 符号化デ一夕には、 図 1 Cのエントロピー復号回路 1 1で説明した場合と同 様に、 エントロピー符号化された量子化 D C T係数の他、 量子化テーブルも含ま れるが、 この量子化テーブルは、 後述するように、 必要に応じて、 量子化 D C T 係数の復号に用いることが可能である。
係数変換回路 3 2は、 エントロピー復号回路 3 1からの量子化 D C T係数 Qと、 後述する学習を行うことにより求められる夕ップ係数を用いて、 所定の予測演算 を行うことにより、 ブロヅクごとの量子化 D C T係数を 8 x 8画素の元のブロッ クに復号する。
プロヅク分解回路 33は、 係数変換回路 32において得られる、 復号されたブ ロヅク （復号プロヅク） のブロック化を解くことで、 復号画像を得て出力する。 次に、 図 4のフローチャートを参照して、 図 3のデコーダ 2 2の処理について 説明する。
符号化デ一夕は、 エン トロピー復号回路 3 1に順次供給され、 ステップ S 1に おいて、 エン トロピー復号回路 3 1は、 符号化データをエン トロピー復号し、 ブ ロックごとの量子化 D C T係数 Qを係数変換回路 32に供給する。 係数変換回路 32は、 ステップ S 2において、 ェントロピー復号回路 3 1からのプロヅクごと の量子化 D C T係数 Qを、 タップ係数を用いた予測演算を行うことにより、 プロ ヅクごとの画素値に復号し、 ブロック分解回路 33に供給する。 ブロック分解回 路 33は、 ステップ S 3において、 係数変換回路 32からの画素値のブロック'
(復号ブロック） のブロック化を解くブロック分解を行い、 その結果得られる復 号画像を出力して、 処理を終了する。
次に、 図 3の係数変換回路 32では、 例えば、 クラス分類適応処理を利用して、 量子化 D C T係数を画素値に復号することができる。
クラス分類適応処理は、 クラス分類処理と適応処理とからなり、 クラス分類処 理によって、 デ一夕をその性質に基づいてクラス分けし、 各クラスごとに適応処 理を施すものであり、 適応処理は、 以下のような手法のものである。
すなわち、 適応処理では、 例えば、 量子化 D C T係数と所定のタップ係数との 線形結合により、 元の画素の予測値を求めることで、 量子化 D C T係数が元の画 素値に復号される。
具体的には、 例えば、 いま、 ある画像を教師データとするとともに、 その画像 をプロック単位で D C T処理し、 さらに量子化して得られる量子化 D C T係数を 生徒データとして、 教師データである画素の画素値 yの予測値 E [y] を幾つか の量子化 D CT係数 χΐ3 χ ζ , · · ·の集合と、 所定のタヅプ係数 W 2 , · • ·の線形結合により規定される線形 1次結合モデルにより求めることを考える。 この場合、 予測値 E [y] は、 次の式 （ 1 ) で表すことができる。
E [ y ]
Figure imgf000022_0001
1 + W2 X 2 + · · · · · · ( 1 ) 式 （ 1) を一般化するために、 夕ヅプ係数 の集合でなる行列 W、 生徒デ、 夕 の集合でなる行列 X及び予測値 E [yj] の集合でなる行列 Y， を、 r
X 11 X X
X 21 X 2i X
X =
X I l X I X IJ J
Figure imgf000023_0001
で定義すると、 次のような観測方程式 （2) が成立する。
XW = Y' · · · (2)
ここで、 行列 Xの成分 は、 i件目の生徒データの集合 （i件目の教師データ y i の予測に用いる生徒デ一夕の集合） の中の j番目の生徒デ一夕を意味し、 行 列 Wの成分 Wj は、 生徒デ一夕の集合の中の j番目の生徒データとの積が演算さ れる夕ヅプ係数を表す。 また、 y iは、 i件目の教師デ一夕を表し、 したがって、 E [yi] は、 i件目の教師データの予測値を表す。 なお、 式 （1 ) の左辺にお ける yは、 行列 Yの成分 yi のサフィックス iを省略したものであり、 また、 式 ( 1 ) の右辺における X 1 , 2 , · · · も、 行列 Xの成分 のサフイツクス i を省略したものである。
そして、 この観測方程式に最小自乗法を適用して、 元の画素値 yに近い予測値 E [y] を求めることを考える。 この場合、 教師データとなる真の画素俥 yの集 合でなる行列 Y及び画素値 yに対する予測値 E [y] の残差 eの集合でなる行列 Eを、
Figure imgf000024_0001
で定義すると、 式 （2 ) から、 次のような残差方程式 （3) が成立する。
XW = Y + E · · · (3 )
この場合、 元の画素値 yに近い予測値 E [y] を求めるためのタ ヅプ係数 Wj は、 自乗誤差
∑ e i2 を最小にすることで求めることができる。
したがって、 上述の自乗誤差を夕ヅプ係数 で微分したものが 0になる場合、 すなわち、 次の式 （4) を満たす夕ヅブ係数 Wj が元の画素値 yに近い予測値 E [y] を求めるため最適値ということになる。 d e d e d e i
e + e + + e i = 0
d w d w d w j
( j = 1 , 2， · , J)
(4) そこで、 まず、 式 （3) を夕ヅプ係数 Wjで微分することにより、 次の式 （5) が成立する。 d e d e i d e
= x = = i j
d w： d w,
(i = l， 2 ， I )
( 5 ) 式 （4) 及び式 （5) より、 式 （ 6 ) が得られる。
∑ e i i 1 = 0 , ∑ e i x i 2 = 0 ∑ e i x i J = 0
i= 1
( 6 ) さらに、 式 （3 ) の残差方程式における生徒データ xi3、 タヅプ係数 w3 、 教 師デ一夕 yi及び残差 e iの関係を考慮すると、 式 （6) から、 次のような正規方 程式 （7 ) を得ることができる。
Figure imgf000025_0001
( 7 ) なお、 式 （7 ) に示した正規方程式は、 行列 （共分散行列） A及びベクトル V を、
Figure imgf000026_0001
ン
Figure imgf000026_0002
で定義するとともに、 ベクトル Wを数 1で示したように定義すると、 次の式 ( 8 ) で表すことができる。
AW= V (8) 式 （7) における各正規方程式は、 生徒デ一夕 及び教師デ一夕 yiのセット をある程度の数だけ用意することで、 求めるべきタップ係数 w3の数 Jと同じ数だ けたてることができ、 したがって、 式 （8) をベクトル Wについて解くことで (ただし、 式 （8) を解くには、 式 （8) における行列 Aが正則である必要があ る） 、 最適な夕ヅプ係数 （ここでは、 自乗誤差を最小にするタヅプ係数） を求めることができる。 なお、 式 （8) を解くに当たっては、 例えば、 掃き出し 法 （Gauss- Jordanの消去法） などを用いることが可能である。
以上のようにして、 最適なタップ係数 を求めておき、 さらに、 そのタップ 係数 W j を用い、 式 （ 1 ) により、 元の画素値 yに近い予測値 E [ y ] を求める のが適応処理である。
なお、 例えば、 教師デ一夕として、 J P E G符号化する画像と同一画質の画像 を用いるとともに、 生徒データとして、 その教師データを D C T及び量子化して 得られる量子化 D C T係数を用いた場合、 タップ係数としては、 J P E G符号化 された画像データを元の画像データに復号するのに、 予測誤差が統計的に最小と なるものが得られることになる。
したがって、 J P E G符号化を行う際の圧縮率を高く しても、 すなわち、 量子 化に用いる量子化ステップを粗く しても、 適応処理によれば、 予測誤差が統計的 に最小となる復号処理が施されることになり、 実質的に、 J P E G符号化された 画像の復号処理と、 その画質を向上させるための処理とが同時に施されることに なる。 その結果、 圧縮率を高くしても、 復号画像の画質を維持することができる c また、 例えば、 教師データとして、 J P E G符号化する画像よりも高画質の画 像を用いるとともに、 生徒データとして、 その教師データの画質を J P E G符号 化する画像と同一画質に劣化させ、 さらに、 D C T及び量子化して得られる量子 化 D C T係数を用いた場合、 タップ係数としては、 J P E G符号化された画像デ 一夕を高画質の画像データに復号するのに、 予測誤差が統計的に最小となるもの が得られることになる。
したがって、 この場合、 適応処理によれば、 J P E G符号化された画像の復号 処理と、 その画質をより向上させるための処理とが同時に施されることになる。 なお、 上述したことから、 教師デ一夕又は生徒データとなる画像の画質を変える ことで、 復号画像の画質を任意のレベルとする夕ップ係数を得ることができる。 図 5は、 以上のようなクラス分類適応処理により量子化 D C T係数を画素値に 復号する図 3の係数変換回路 3 2の構成例を示している。
この図 5に示す係数変換回路 3 2 Aにおいて、 エン トロピー復号回路 3 1 (図 3 ) が出力するプロヅクごとの量子化 D C T係数は、 予測夕ヅプ抽出回路 4 1及 ぴクラス夕ヅブ抽出回路 4 2に供給されるようになっている。
予測タップ抽出回路 4 1は、 そこに供給される量子化 D C T係数のブロック (以下、 適宜、 D C Tブロックという） に対応する画素値のブロック （この画素 値のブロックは、 現段階では存在しないが、 仮想的に想定される） （以下、 適宜、 画素ブロックという） を順次注目画素ブロックとし、 さらに、 その注目画素プロ ックを構成する各画素を例えばいわゆるラス夕スキャン順に順次注目画素とする c さらに、 予測タップ抽出回路 4 1は、 注目画素の画素値を予測するのに用いる量 子化 D C T係数を抽出し、 予測タップとする。
すなわち、 予測タップ抽出回路 4 1は、 例えば、 図 6に示すように、 注目画素 が属する画素プロヅクに対応する D C Tプロヅクのすベての量子化 D C T係数、 すなわち、 8 X 8の 6 4個の量子化 D C T係数を予測タップとして抽出する。 し たがって、 この実施の形態では、 ある画素ブロックのすべての画素について、 同 一の予測夕ヅブが構成される。 ただし、 予測タヅプは、 注目画素ごとに、 異なる 量子化 D C T係数で構成することが可能である。
予測夕ップ抽出回路 4 1において得られる画素プロックを構成する各画素につ いての予測夕ヅプすなわち.6 4画素それそれについての 6 4セヅ トの予測夕ヅプ は、 積和演算回路 4 5に供給される。 ただし、 この実施の形態では、 上述したよ うに、 画素プロヅクのすベての画素について、 同一の予測夕ヅプが構成されるの で、 実際には、 1つの画素ブロックに対して、 1セットの予測夕ヅプを積和演算 回路 4 5に供給すれば良い。
クラス夕ヅプ抽出回路 4 2は、 注目画素を幾つかのクラスのうちのいずれかに 分類するためのクラス分類に用いる量子化 D C T係数を抽出して、 クラス夕ヅプ とする。
なお、 J P E G符号化では、 画像が画素ブロックごとに符号化 （D C T処理及 び量子化） されることから、 ある画素ブロックに属する画素は、 例えば、 すべて 同一のクラスにクラス分類することとする。 したがって、 クラスタヅプ抽出回路 4 2は、 ある画素ブロックの各画素については、 同一のクラス夕ヅプを構成する c すなわち、 クラス夕ップ抽出回路 4 2は、 例えば、 予測夕ッブ抽出回路 4 1にお ける場合と同様に、 図 6に示したような、 注目画素が属する画素ブロックに対応 する D C Tブロックの 8 X 8個のすべての量子化 D C T係数をクラス夕ヅプとし て抽出する。
ここで、 画素プロックに属する各画素をすベて同一のクラスにクラス分類する ということは、 その画素プロックをクラス分類することと等価である。 したがつ て、 クラスタップ抽出回路 42には、 注目画素ブロックを構成する 64画素それ それをクラス分類するための 64セヅ トのクラスタヅプではなく、 注目画素プロ ヅクをクラス分類するための 1セヅ トのクラス夕ヅプを構成させれば良く、 この ため、 クラスタヅプ抽出回路 42は、 画素プロヅクごとに、 その画素プロヅクを クラス分類するために、 その画素プロヅクに対応する D CTプロヅクの 64個の 量子化 D C T係数を抽出して、 クラス夕ヅプとするようになつている。
なお、 予測夕ヅプゃクラスタップを構成する量子化 D CT係数は、 上述したパ ターンのものに限定されるものではない。
クラス夕ヅプ抽出回路 42において得られる注目画素プロヅクのクラス夕ヅプ は、 クラス分類回路 43に供給されるようになっている。 クラス分類回路 43は、 クラス夕ヅプ抽出回路 42からのクラス夕ヅプに基づき、 注目画素ブロックをク ラス分類し、 その結果得られるクラスに対応するクラスコードを出力する。
ここで、 クラス分類を行う方法としては、 例えば、 ADR C(Adaptive Dynami c Range Coding)等を採用することができる。
' ADR Cを用いる方法では、 クラスタップを構成する量子化 D C T係数が AD RC処理され、 その結果得られる AD R Cコードにしたがって、 注目画素ブロヅ クのクラスが決定される。
なお、 Kビヅ ト ADR Cにおいては、 例えば、 クラス夕ヅプを構成する量子化 D C T係数の最大値 MAXと最小値 M I Nが検出され、 DR=MAX— MI Nを 集合の局所的なダイナミヅクレンジとし、 このダイナミ ヅクレンジ DRに基づい て、 クラスタップを構成する量子化 D CT係数が Kビッ トに再量子化される。 す なわち、 クラス夕ヅプを構成する量子化 D C T係数の中から、 最小値 MI Nが減 算され、 その減算値が D R/2 Kで除算 （量子化） される。 そして、 以上のよう にして得られる、 クラスタップを構成する Kビッ トの各量子化 D C T係数を所定 の順番で並べたビヅ ト列が ADRCコードとして出力される。 したがって、 クラ ス夕ヅプが例えば 1ビヅ ト ADR C処理された場合には、 そのクラス夕ヅプを構 成する各量子化 D C T係数は、 最小値 M I Nが減算された後に、 最大値 MAXと 最小値 MI Nとの平均値で除算され、 これにより、 各量子化 D CT係数が 1ビッ トとされる （2値化される） 。 そして、 その 1 ビヅトの量子化 D C T係数を所定 の順番で並べたビヅト列が AD R Cコードとして出力される。
なお、 クラス分類回路 4 3には、 例えば、 クラスタップを構成する量子化 D C T係数のレベル分布のパターンをそのままクラスコ一ドとして出力させることも 可能であるが、 この場合、 クラスタップが N個の量子化 D C T係数で構成され、 各量子化 D CT係数に、 Kビットが割り当てられているとすると.、 クラス分類回 路 4 3が出力するクラスコードの場合の数は、 （2 N) κ通りとなり、 量子化 D C T係数のビット数 Kに指数的に比例した膨大な数となる。
したがって、 クラス分類回路 4 3においては、 クラスタヅプの情報量を上述の ADR C処理やあるいはぺクトル量子化等によって圧縮してから、 クラス分類を 行うのが好ましい。
ところで、 この実施の形態では、 クラスタップは、 上述したように、 64個の 量子化 D C T係数で構成される。 したがって、 例えば、 仮に、 クラス夕ヅプを 1 ビッ ト AD R C処理することにより、 クラス分類を行うこととしても、 クラスコ —ドの場合の数は、 284通りという大きな値となる。
そこで、 この実 の形態では、 クラス分類回路 4 3において、 クラス夕ヅプを 構成する量子化 D C T係数から、 重要性の高い特徴量を抽出し、 その特徴量に基 づいてクラス分類を行うことで、 クラス数を低減するようになっている。
すなわち、 図 7は、 図 5のクラス分類回路 4 3の構成例を示している。
クラスタップは、 電力演算回路 5 1に供給されるようになっている。 電力演算 回路 5 1は、 クラスタップを構成する量子化 D C T係数を幾つかの空間周波数帯 域のものに分け、 各周波数帯域の電力を演算する。
すなわち、 電力演算回路 5 1は、 クラスタップを構成する 8 X 8個の量子化 D C T係数を例えば図 8に示すような 4つの空間周波数帯域 S。， S l3 S 2， S 3に 分割する。
ここで、 クラス夕ヅプを構成する 8 X 8個の量子化 D C T係数それそれをアル ファぺヅト に、 図 6に示したようなラスタスキャン順に 0からのシーケンシャ ルな整数を付して表すこととすると、 空間周波数帯域 S。 は、 4個の量子化 D C T係数 χ。， Ι, a, χ9から構成され、 空間周波数帯域 S i は、 1 2個の量子 化 D C T係数 X 2， X 3， X 4 , X 5 , X 6， X 7， 1 0 , 1 1 , X 12 , 13 , 14 , x15から構成される。 また、 空間周波数帯域 S2 は、 1 2個の量子化 D CT係数
X 16 , X 17 , X 24 , X 25 , X 32 , X 33 , X 40 , X 4 1 , X 48 , X 49 , X 56 , X 57か ら構成され、 空間周波数帯域 S3は、 36個の量子化 D C T係数 xia, xi9j X 2
0， X 2 1 , X 22 , X 23 , X 26 j X 27 , X 28 , X 29 , X 30 , X 3 1 , 34 j X 35 , X 3
6 ) X 37 , X 38 j X 39 , X 42 , X 43 , X 44 , X 45 , X 46 , X 47 , X 50 , X 51 , X 5
2， X 53 , X 54 , X 55 , X 58 , X 59 , X 60 , X 61 , X 62 , X 63から構成される。 さらに、 電力演算回路 5 1は、 空間周波数帯域 S。， Si, S2, S3それそれに ついて、 量子化 D C T係数の A C成分の電力 P。， P l5 P2， P3を演算し、 クラ スコ一ド生成回路 52に出力する。
すなわち、 電力演算回路 51は、 空間周波数帯域 S。 については、 上述の 4個 の量子化 D C T係数 x。， x i , a , X 9のうちの A C成分 X 1 , 8 , . 9 の 2乗 和 x + x^ + xs2を求め、 これを電力 P。 として、 クラスコード生成回路 52 に出力する。 また、 電力演算回路 5 1は、 空間周波数帯域 Si についての上述の 1 2個の量子化 D C T係数の A C成分、 すなわち、 12個すベての量子化 D C T 係数の 2乗和を求め、 これを電力 として、 クラスコード生成回路 52に出力 する。 さらに、 電力演算回路 5 1は、 空間周波数帯域 S2と空間周波数帯域 S3に ついても、 空間周波数帯域 S iにおける場合と同様にして、 それそれの電力 P2と 電力 P3を求め、 クラスコード生成回路 52に出力する。
クラスコード生成回路 52は、 電力演算回路 51からの電力 P。， P !, P2, P 3を閾値テーブル記憶部 53に記憶された対応する閾値 Τ Η。， ΊΕι, ΤΗ2， Τ Η3 とそれそれ比較し、 それそれの大小関係に基づいて、 クラスコードを出力す る。 すなわち、 クラスコード生成回路 52は、 電力 Ρ。と閾値 ΤΗ。とを比較し、 その大小関係を表す 1ビヅ トのコードを得る。 同様に、 クラスコード生成回路 5 2は、 電力 と閾値 ΤΗ 電力 P2と閾値 TH2、 電力 P 3と閾値 TH3をそれそ' れ比較することにより、 それそれについて、 1ビットのコードを得る。 そして、 クラスコ一ド生成回路 52は、 以上のようにして得られる 4つの 1ビットのコ一 ドを例えば所定の順番で並べることにより得られる 4ビヅトのコ一ド （したがつ て、 0〜 1 5のうちのいずれかの値） を注目画素ブロックのクラスを表すクラス コ一ドとして出力する。 したがって、 この実施の形態では、 注目画素ブロックは、 2 4 ( = 1 6 ) 個のクラスのうちのいずれかにクラス分類されることになる。
閾値テーブル記憶部 5 3は、 空間周波数帯域 S。〜 S 3の電力 P。〜P 3とそれぞ れ比較する閾値 ！^〜丁！^を記憶してぃる。
なお、 上述の場合には、 クラス分類処理に量子化 D C T係数の D C成分 x。 が 用いられないが、 この D C成分 x。 をも用いてクラス分類処理を行うことも可能 である。
図 5に戻り、 以上のようなクラス分類回路 4 3が出力するクラスコードは、 係 数テーブル記憶部 4 4にァドレスとして与えられる。
係数テーブル記憶部 4 4は、 後述するような学習処理が行われることにより得 られる夕ッブ係数が登録された係数テーブルを記憶しており、 クラス分類回路 4 3が出力するクラスコードに対応するァドレスに記憶されている夕ヅプ係数を積 和演算回路 4 5に出力する。
ここでこの本実施の形態では、 画素ブロックがクラス分類されるから、 注目画 素プロヅクについて、 1つのクラスコードが得られる。 一方、 画素ブロックは、 この実施の形態では、 8 X 8画素の 6 4画素で構成されるから、 注目画素ブロヅ クについて、 それを構成する 6 4画素それぞれを復号するための 6 4セヅトのタ ヅプ係数が必要である。 したがって、 係数テ一ブル記憶部 4 4には、 1つのクラ スコードに対応するァドレスに対して、 6 4セヅ トの夕ヅプ係数が記憶されてい る。
積和演算回路 4 5は、 予測夕ツプ抽出回路 4 1が出力する予測タップと、 係数 テーブル記憶部 4 4が出力する夕ヅプ係数とを取得し、 その予測夕ヅプと夕ップ 係数とを用いて、 式 （ 1 ) に示した線形予測演算 （積和演算） を行い、 その結果 得られる注目画素ブロックの 8 X 8画素の画素値を対応する D C Tブロックの復 号結果としてブロック分解回路 3 3 (図 3 ) に出力する。
ここで、 予測タップ抽出回路 4 1においては、 上述したように、 注目画素プロ ックの各画素が順次注目画素とされるが、 積和演算回路 4 5は、 注目画素ブロッ クの注目画素となっている画素の位置に対応した動作モード （以下、 適宜、 画素 位置モードという） となって、 処理を行う。 すなわち、 例えば、 注目画素ブロックの画素のうち、 ラス夕スキャン順で i番 目の画素を P iと表し、 画素 p iが注目画素となっている場合、 積和演算回路 4 5 は、 画素位置モード # iの処理を行う。
具体的には、 上述したように、 係数テーブル記憶部 4 4は、 注目画素ブロック を構成する 6 4画素それそれを復号するための 6 4セヅ トの夕ヅプ係数を出力す るが、 そのうちの画素 P iを復号するための夕ップ係数のセットを Wi.と表すと、 積和演算回路 4 5は、 動作モ一ドが画素位置モード # iのときには、.予測夕ップ と 6 4セヅトのタヅプ係数のうちのセヅト W i とを用いて、 式 （ 1 ) の積和演算 を行い、 その積和演算結果を画素 P iの復号結果とする。
次に、 図 9のフローチャートを参照して、 図 5の係数変換回路 3 2 Aの処理に ついて説明する。
エントロピー復号回路 3 1が出力するブロックごとの量子化 D C T係数は、 予 測夕ップ抽出回路 4 1及びクラスタップ抽出回路 4 2において順次受脣される。 予測タヅプ抽出回路 4 1は、 そこに供給される量子化 D C T係数のプロヅク （D C Tプロヅク） に対応する画素ブロックを順次注目画素ブロックとする。
そして、 クラス夕ヅプ抽出回路 4 2は、 ステヅプ S 1 1において、 そこで受信 した量子化 D C T係数の中から、 注目画素プロックをクラス分類するのに用いる ものを抽出して、 クラス夕ヅブを構成し、 クラス分類回路 4 3に供給する。 クラス分類回路 4 3は、 ステヅプ S 1 2において、 クラス夕ヅプ抽出回路 4 2 からのクラス夕ヅプを用いて、 注目画素ブロックをクラス分類し、 その結果得ら れるクラスコードを係数テーブル記憶部 4 4に出力する。
すなわち、 ステップ S 1 2では、 図 1 0のフローチャートに示すように、 まず 最初に、 ステップ S 2 1において、 クラス分類回路 4 3 (図 7 ) の電力演算回路 5 1が、 クラス夕ヅプを構成する 8 X 8個の量子化 D C T係数を図 8に示した 4 つの空間周波数帯域 S。〜 S 3に分割し、 それそれの電力 P。〜P 3を演算する。 こ の電力 P。〜P 3は、 電力演算回路 5 1からクラスコード生成回路 5 2に出力され る。
クラスコード生成回路 5 2は、 ステヅプ S 2 2において、 閾値テーブル記憶部 5 3から閾値 T H。〜T H 3を読み出し、 電力演算回路 5 1からの電力 P。〜P 3そ れそれと、 閾値 T H。〜T H 3それそれとを比較し、 それそれの大小関係に基づい たクラスコードを生成して、 リターンする。
図 9に戻り、 ステップ S 1 2において以上のようにして得られるクラスコード は、 クラス分類回路 4 3から係数テーブル記憶部 4 4に対して、 アドレスとして 与えられる。
係数テーブル記憶部 4 4は、 クラス分類回路 4 3からのァドレスとしてのクラ スコードを受信すると、 ステヅプ S 1 3において、.そのァドレスに記憶されてい る 6 4セットの夕ップ係数を読み出し、 積和演算回路 4 5に出力する。
そして、 ステップ S 1 4に進み、 予測タップ抽出回路 4 1は、 注目画素ブロヅ クの画素のうち、 ラス夕スキャン順で、 まだ、 注目画素とされていない画素を注 目画素として、 その注目画素の画素値を予測するのに用いる量子化 D C T係数を 抽出し、 予測タップとして構成する。 この予測夕ヅプは、 予測夕ヅプ抽出回路 4 1から積和演算回路 4 5に供給される。
ここで、 この実施の形態では、 各画素プロヅクごとに、 その画素ブロックのす + ベての画素について、 同一の予測タヅプが構成されるので、 実際には、 ステヅプ S 1 4の処理は、 注目画素ブロックについて、 最初に注目画素とされる画素に対 してだけ行えば、 残りの 6 3画素に対しては、 行う必要がない。
積和演算回路 4 5は、 ステヅプ S 1 5において、 ステップ S 1 3で係数テ一ブ ル記憶部 4 4が出力する 6 4セットの夕ップ係数のうち、 注目画素に対する画素 位置モードに対応する夕ヅプ係数のセヅトを取得し、 その夕ヅプ係数のセヅトと、 ステヅプ S 1 4で予測夕ヅプ抽出回路 4 1から供給される予測夕ヅプとを用いて、 式 （ 1 ) に示した積和演算を行い、 注目画素の画素値の復号値を得る。
そして、 ステップ S 1 6に進み、 予測タップ抽出回路 4 1は、 注目画素ブロヅ クのすべての画素を注目画素として処理を行ったかどうかを判定する。 ステツプ S 1 6において、 注目画素ブロックのすべての画素を注目画素として、 まだ処理 を行っていないと判定された場合、 ステップ S 1 4に戻り、 予測タップ抽出回路 4 1は、 注目画素ブロックの画素のうち、 ラス夕スキャン順で、 まだ、 注目画素 とされていない画素を新たに注目画素として、 以下、 同様の処理を繰り返す。 また、 ステップ S 1 6において、 注目画素ブロックのすべての画素を注目画素 として処理を行ったと判定された場合、 すなわち、 注目画素ブロックのすべての 画素の復号値が得られた場合、 積和演算回路 4 5は、 その復号値で構成される画 素プロック （復号ブロック） をブロック分解回路 3 3 (図 3 ) に出力し、 処理を 終了する。
なお、 図 9のフローチャートにしたがった処理は、 予測夕ヅプ抽出回路 4 1が 新たな注目画素プロックを設定するごとに繰り返し行われる。
次に、 図 1 1は、 図 5の係数テーブル記憶部 4 4に記憶させるタップ係数の学 習処理を行う学習装置 6 0 Aの構成例を示している。
ブロック化回路 6 1には、 1枚以上の学習用の画像デ一夕が学習時の教師とな る教師データとして供給されるようになっている。 ブロック化回路 6 1は、 教師 デ一夕としての画像を J P E G符号化における場合と同様に 8 X 8画素の画素ブ ロヅクにプロヅク化する。
D C T回路 6 2は、 ブロック化回路 6 1がプロヅク化した画素ブロックを順次 注目画素プロヅクとして読み出し、 その注目画素プロヅクを D C T処理すること で D C T係数のプロックとする。 この D C T係数のプロヅクは、 量子化回路 6 3 に供給される。
量子化回路 6 3は、 D C T回路 6 2からの D C T係数のプロヅクを J P E G符 号化に用いられるのと同一の量子化テーブルにしたがつて量子化し、 その結果得 られる量子化 D C T係数のブロック （D C Tブロック） を予測夕ヅプ抽出回路 6 4及びクラスタップ抽出回路 6 5に順次供給する。
予測夕ヅプ抽出回路 6 4は、 注目画素ブロックの画素のうち、 ラス夕スキャン 順で、 まだ、 注目画素とされていない画素を注目画素として、 その注目画素につ いて、 図 5の予測夕ヅブ抽出回路 4 1が構成するのと同一の予測夕ヅプを量子化 回路 6 3の出力から、 必要な量子化 D C T係数を抽出することで構成する。 この 予測タップは、 学習時の生徒となる生徒データとして、 予測タップ抽出回路 6 4 から正規方程式加算回路 6 7に供給される。
クラス夕ヅプ抽出回路 6 5は、 注目画素プロヅクについて、 図 5のクラス夕ヅ プ抽出回路 4 2が構成するのと同一のクラスタップを量子化回路 6 3の出力から、 必要な量子化 D C T係数を抽出することで構成する。 このクラスタップは、 クラ スタップ抽出回路 6 5からクラス分類回路 6 6に供給される。
クラス分類回路 6 6は、 クラス夕ヅプ抽出回路 6 5からのクラス夕ヅプを用い て、 図 5のクラス分類回路 4 3と同一の処理を行うことで、 注目画素ブロックを クラス分類し、 その結果得られるクラスコードを正規方程式加算回路 6 7に供給 する。
正規方程式加算回路 6 7は、 プロック化回路 6 1から、 教師デ一夕としての注 目画素の画素値を読み出し、 予測夕ップ構成回路 6 4からの生徒デ一夕としての 予測夕、ソプを構成する量子化 D C T係数及び注目画素を対象とした足し込みを行 0。
すなわち、 正規方程式加算回路 6 7は、 クラス分類回路 6 6から供給されるク ラスコードに対応するクラスごとに、 予測夕ヅプ （生徒デ一夕） を用い、 式 ( 8 ) の行列 Aにおける各コンポーネントとなっている、 生徒デ一夕どうしの乗 算 （X i n X i m) と、 サメ一シヨン （∑) に相当する演算を行う。 .
さらに、 正規方程式加算回路 6 7は、 やはり、 クラス分類回路 6 6から供給さ れるクラスコードに対応するクラスごとに、 予測夕ヅプ （生徒データ） 及び注目 画素 （教師デ一夕） 'を用い、 式 （8 ) のべクトル Vにおける各コンポ"ネントと なっている、 生徒データと教師デ一夕の乗算 （X i n y i ) とサメ一シヨン （∑) に 相当する演算を行う。
なお、 正規方程式加算回路 6 7における、 上述のような足し込みは、 各クラス について、 注目画素に対する画素位置モ一ドごとに行われる。
正規方程式加算回路 6 7は、 以上の足し込みをブロック化回路 6 1に供給され た教師画像を構成する画素すベてを注目画素として行い、 これにより、 各クラス について、 画素位置モードごとに、 式 （8 ) に示した正規方程式がたてられる。 タップ係数決定回路 6 8は、 正規方程式加算回路 6 7においてクラスごとに、 かつ、 画素位置モードごとに生成された正規方程式を解くことにより、 クラスご とに、 6 4セットのタップ係数を求め、 係数テーブル記憶部 6 9の各クラスに対 応するアドレスに供給する。
なお、 学習用の画像として用意する画像の枚数や、 その画像の内容等によって は、 正規方程式加算回路 6 7において、 夕、ソプ係数を求めるのに必要な数の正規 方程式が得られないクラスが生じる場合があり得るが、 タップ係数決定回路 6 8 は、 そのようなクラスについては、 例えば、 デフォルトの夕ヅプ係数を出力する, 係数テーブル記憶部 6 9は、 タップ係数決定回路 6 8から供給されるクラスご との 6 4セッ トの夕 ヅプ係数を記憶する。
次に、 図 1 2のフローチヤ一トを参照して、 図 1 1の学習装置 6 0 Aの処理 (学習処理） について説明する。
ブロック化回路 6 1には、 学習用の画像デ一夕が教師デ一夕として供給され、 プロヅク化回路 6 1は、 ステヅプ S 3 1において、 教師データとしての画像デー 夕を J P E G符号化における場合と同様に 8 X 8画素の画素ブロックにプロヅク ィ匕して、 ステヅプ S 3 2に進む。 ステップ S 3 2では、 0 0 !1回路6 2が、 プロ ヅク化回路 6 1がブロック化した画素プロックを順次読み出し、 その注目画素ブ ロックを D C T処理することで、 D C T係数のブ Dヅクとし、 ステヅプ S 3 3に 進む。 ステップ S 3 3では、 量子化回路 6 3が、 D C T回路 6 2において得られ た D C T係数のプロヅクを順次読み出し、 J P E G符号化に用いられるのと同一 の量子化テーブルにしたがって量子化して、 量子化 D C T係数で構成されるプロ ヅク （D C Tプロヅク） とする。
そして、 ステップ S 3 4に進み、 クラス夕ヅプ抽出回路 6 5は、 ブロック化回 路 6 1でプロヅク化された画素ブロックのうち、 まだ注目画素プロヅクとされて いないものを注目画素プロヅクとする。 さらに、 クラス夕ヅプ抽出回路 6 5は、 注目画素プロックをクラス分類するのに用いる量子化 D C T係数を量子化回路 6 3で得られた D C Tプロヅクから抽出して、 クラス夕ヅプを構成し、 クラス分類 回路 6 6に供給する。 クラス分類回路 6 6は、 ステヅプ S 3 5において、 図 1 0 のフローチャートで説明した場合と同様に、 クラス夕ヅプ抽出回路 6 5からのク ラスタップを用いて、 注目画素ブロックをクラス分類し、 その結果得られるクラ スコードを正規方程式加算回路 6 7に供給して、 ステップ S 3 6に進む。
ステップ S 3 6では、 予測タップ抽出回路 6 4が、 注目画素ブロックの画素の うち、 ラス夕スキャン順で、 まだ、 注目画素とされていない画素を注目画素とし て、 その注目画素について、 図 5の予測タップ抽出回路 4 1が構成するのと同一 の予測夕ップを量子化回路 6 3の出力から必要な量子化 D C T係数を抽出するこ とで構成する。 そして、 予測夕ヅプ抽出回路 6 4は、 注目画素についての予測タ ヅプを生徒データとして正規方程式加算回路 6 7に供給し、 ステップ S 3 7に進 む。
ステップ S 3 7では、 正規方程式加算回路 6 7は、 プロヅク化回路 6 1から、 教師データとしての注目画素を読み出し、 生徒デ一夕としての予測夕ップを構成 する量子化 D C T係数及び教師データとしての注目画素を対象として、 式 （8 ) の行列 Aとベクトル Vの上述したような足し込みを行う。 なお、 この足し込みは、 クラス分類回路 6 6からのクラスコードに対応するクラスごとに、 かつ注目画素 に対する画素位置モードごとに行われる。
そして、 ステヅプ S 3 8に進み、 予測夕ヅプ抽出回路 6 4は、 注目画素ブロヅ クのすべての画素を注目画素として、 足し込みを行ったかどうかを判定する。 ス テヅプ S 3 8において、 注目画素プロヅクのすベての画素を注目画素として、 ま だ足し込みを行っていないと判定された場合、 ステップ S 3 6に戻り、 予測タツ プ抽出回路 6 4は、 注目画素ブロックの画素のうち、 ラス夕スキャン順で、 まだ、 注目画素とされていない画素を新たに注目画素として、 以下、 同様の処理を繰り 返す。
また、 ステヅブ S 3 8において、 注目画素プロヅクのすベての画素を注目画素 として、 足し込みを行ったと判定された場合、 ステップ S 3 9に進み、 ブロック 化回路 6 1は、 教師デ一夕としての画像から得られたすべての画素ブロックを注 目画素プロヅクとして処理を行ったかどうかを判定する。 ステップ S 3 9におい て、 教師データとしての画像から得られたすべての画素プロックを注目画素プロ ヅクとして、 まだ処理を行っていないと判定された場合、 ステップ S 3 4に戻り、 ブロック化回路 6 1でブロック化された画素プロヅクのうち、 まだ注目画素プロ ヅクとされていないものが新たに注目画素プロヅクとされ、 以下、 同様の処理が 繰り返される。
一方、 ステップ S 3 9において、 教師データとしての画像から得られたすべて の画素プロックを注目画素プロックとして処理を行ったと判定された場合、 すな わち、 正規方程式加算回路 6 7において、 各クラスについて、 画素位置モードご との正規方程式が得られた場合、 ステップ S 4 0に進み、 タップ係数決定回路 6 8は、 各クラスの画素位置モードごとに生成された正規方程式を解くことにより、 各クラスごとに、 そのクラスの 6 4の画素位置モ一ドそれそれに対応する 6 4セ ットのタップ係数を求め、 係数テーブル記憶部 6 9の各クラスに対応するァドレ スに供給して記憶させ、 処理を終了する。
以上のようにして、 係数テーブル記憶部 6 9に記憶された各クラスごとのタツ プ係数が図 5の係数テ一ブル記憶部 4 4に記憶されている。
したがって、 係数テーブル記憶部 4 4に記憶されたタップ係数は、 線形予測演 算を行うことにより得られる元の画素値の予測値の予測誤差 （ここでは、 自乗誤 差） が統計的に最小になるように学習を行うことにより求められたものであり、 その結果、 図 5の係数変換回路 3 2 Aによれば、 J P E G符号化された画像を元 の画像に限りなく近い画像に復号することができる。
また、 上述したように、 J P E G符号化された画像の復号処理と、 その画質を 向上させるための処理とが同時に施されることとなるので、 J P E G符号化され た画像から効率的に画質の良い復号画像を得ることができる。
次に、 図 1 3は、 図 3の係数変換回路 3 2の他の構成例を示している。 なお、 図中、 図 5における場合と対応する部分については、 同一の符号を付して、 その 説明を適宜省略する。 すなわち、 この図 1 3に示す係数変換回路 3 2 Bは、 逆量 子化回路 7 1が新たに設けられている他は、 基本的に、 図 5における場合と同様 に構成されている。
図 1 3に示す係数変換回路 3 2 Bにおいて、 逆量子化回路 7 1には、 ェントロ ピー復号回路 3 1 (図 3 ) において符号化データをエントロピー復号することに より得られるブロックごとの量子化 D C T係数が供給される。
なお、 エントロピ一復号回路 3 1においては、 上述したように、 符号化データ から、 量子化 D C T係数の他、 量子化テーブルも得られるが、 図 1 3の係数変換 回路 3 2 Bでは、 この量子化テーブルも、 エントロピー復号回路 3 1から逆量子 化回路 7 1に供給されるようになっている。
逆量子化回路 7 1は、 ェントロピー復号回路 3 1からの量子化 D C T係数を同 じくェントロピー復号回路 3 1からの量子化テーブルにしたがって逆量子化し、 その結果得られる D C T係数を予測夕ップ抽出回路 4 1及びクラスタップ抽出回 路 4 2に供給する。
したがって、 予測タップ抽出回路 4 1とクラス夕ヅプ抽出回路 4 2では、 量子 化 D C T係数ではなく、 D C T係数を対象として予測夕ップとクラス夕ップがそ れそれ構成され、 以降も、 D C T係数を対象として、 図 5における場合と同様の 処理が行われる。
このように、 図 1 3の係数変換回路 3 2 Bでは、 量子化 D C T係数ではなく、 D C T係数を対象として処理が行われるため、 係数テーブル記憶部 4 4に記憶さ せるタップ係数は、 図 5における場合と異なるものとする必要がある。
そこで、 図 1 4は、 図 1 3の係数テーブル記憶部 4 4に記憶させる夕ヅプ係数 の学習処理を行う学習装置 6 0 Bの他の構成例を示している。 なお、 図中、 図 1 1における場合と対応する部分については、 同一の符号を付して、 その説明を適 宜省略する。 すなわち、 図 1 4に示す学習装置 6 0 Bは、 量子化回路 6 3の後段 に逆量子化回路 8 1が新たに設けられている他は.、 図 1 1における場合と基本的 に同様に構成されている。
図 1 4の学習装置 6 0 Bにおいて、 逆量子化回路 8 1は、 逆量子化回路 6 3が 出力する量子化 D C T係数を図 1 3の逆量子化回路 7 1と同様に逆量子化し、 そ の結果得られる D C T係数を予測夕ップ抽出回路 6 4及びクラス夕ップ抽出回路 6 5に供給する。
したがって、 予測夕ヅプ抽出回路 6 4とクラス夕ヅプ抽出回路 6 5では、 量子 化 D C T係数ではなく、 D C T係数を対象として予測夕ヅプとクラス夕ヅプがそ れそれ構成され、 以降も、 D C T係数を対象として、 図 1 1における場合と同様 の処理が行われる。
その結果、 D C T係数が量子化され、 さらに逆量子化されることにより生じる 量子化誤差の影響を低減する夕ツプ係数が得られることになる。
次に、 図 1 5は、 図 3の係数変換回路 3 2の他の構成例を示している。 なお、 図中、 図 5における場合と対応する部分については、 同一の符号を付して、 その 説明を適宜省略する。 すなわち、 図 1 3に示す係数変換回路 3 2 Cは、 クラスタ ップ抽出回路 4 2及びクラス分類回路 4 3が設けられていない他は、 基本的に、 図 5における場合と同様に構成されている。 したがって、 図 1 5に示す係数変換回路 3 2 Cでは、 クラスという概念がない が、 このことはクラスが 1つであるとも考えるから、 係数テーブル記憶部 4 4に は 1クラスの夕ップ係数だけが記憶されており、 これを用いて処理が行われる。 このように、 図 1 5の係数変換回路 3 2 Cでは、 係数テーブル記憶部 4 4に記 憶されている夕ップ係数は、 図 5における場合と異なるものとなっている。
そこで、 図 1 6は、 図 1 5の係数テーブル記憶部 4 4に記憶させる夕ヅプ係数 の学習処理を行う学習装置 6 0 Cの構成例を示している。 なお、 図中、 図 1 1に おける場合と対応する部分については、 同一の符号を付して、 その説明を適宜省 略する。 すなわち、 図 1 6に示す学習装置 6 0 Cは、 クラスタップ抽出回路 6 5 及びクラス分類回路 6 6が設けられていない他は、 図 1 1における場合と基本的 に同様に構成されている。
したがって、 図 1 6の.学習装置 6 0 Cでは、 正規方程式加算回路 6 7において、 上述の足し込みがクラスには無関係に画素位置モード別に行われる。 そして、 タ ップ係数決定回路 6 8において、 画素位置モードごとに生成された正規方程式を 解くことにより、 タップ係数が求められる。
次に、 図 1 7は、 図 3の係数変換回路 3 2の他の構成例を示している。 なお、 図中、 図 5又は図 1 3における場合と対応する部分については、 同一の符号を付 して、 その説明を適宜省略する。 すなわち、 図 1 7に示す係数変換回路 3 2 Dは、 クラスタップ抽出回路 4 2及びクラス分類回路 4 3が設けられておらず、 かつ逆 量子化回路 7 1が新たに設けられている他は、 基本的に、 図 5における場合と同 様に構成されている。
したがって、 図 1 7の係数変換回路 3 2 Dでは、 図 1 5の係数変換回路 3 2 C と同様に、 係数テーブル記憶部 4 4には、 1クラスのタップ係数だけが記憶され ており、 これを用いて処理が行われる。
さらに、 図 1 7の係数変換回路 3 2 Dでは、 図 1 3の係数変換回路 3 2 Bにお ける場合と同様に、 予測タップ抽出回路 4 1において、 量子化 D C T係数ではな く、 逆量子化回路 7 1が出力する D C T係数を対象として、 予測タップが構成さ れ、 以降も D C T係数を対象として、 処理が行われる。
したがって、 図 1 7の係数変換回路 3 2 Dでも、 係数テーブル記憶部 4 4に記 憶されている夕ヅプ係数は、 図 5における場合と異なるものとなっている。
そこで、 図 1 8は、 図 1 7の係数テーブル記憶部 4 4に記憶させるタップ係数 の学習処理を行う学習装置 6 0 Dの構成例を示している。 なお、 図中、 図 1 1又 は図 1 4における場合と対応する部分については、 同一の符号を付して、 その説 明を適宜省略する。 すなわち、 図 1 8に示す学習装置 6 0 Dは、 クラスタップ抽 出回路 6 5及びクラス分類回路 6 6が設けられておらず、 かつ逆量子化回路 8 1 が新たに設けられている他は、 図 1 1における場合と基本的に同様に構成されて いる。
したがって、 図 1 8の学習装置 6 0 Dでは、 予測夕ッブ抽出回路 6 4において、 量子化 D C T係数ではなく、 D C T係数を対象として、 予測夕、ソプが構成され、 以降も、 D C T係数を対象として処理が行われる。 さらに、 正規方程式加算回路. 6 7において、 上述の足し込みがクラスには無関係に行われ、 タップ係数決定回 路 6 8において、 クラスと無関係に生成された正規方程式を解くことにより、 タ ヅプ係数が求められる。
次に、 以上においては、 静止画を圧縮符号化する J P E G符号化された画像を 対象としたが、 本発明は、 動画を圧縮符号化する、 例えば、 M P E G符号化され た画像を対象とすることも可能である。
すなわち、 図 1 9は、 M P E G符号化が行われる場合の図 2のエンコーダ 2 1 の構成例を示している。
この図 1 9に示すエンコーダ 2 1において、 M P E G符号化の対象である動画 を構成するフレーム又はフィールドは、 順次、 動き検出回路 9 1と演算器 9 2に 供給される。
動き検出回路 9 1は、 そこに供給されるフレームについて、 マクロプロヅク単 位で、 動きベクトルを検出し、 エントロピー符号化回路 9 6及び動き補償回路 1 0 0に供給する。
演算器 9 2は、 そこに供給される画像が I ( Intra) ピクチャであれば、 そのま まブロック化回路 9 3に供給し、 P (Predictive)又は B (Bidirectional ly predi ctive)ピクチャであれば、 動き補償回路 1 0 0から供給される参照画像との差分 を演算して、 その差分値をプロヅク化回路 9 3に供給する。 ブロック化回路 9 3は、 演算器 9 2の出力を 8 X 8画素の画素ブロックにプロ ック化し、 D C T回路 9 4に供給する。 0〇 11回路9 4は、 ブロック化回路 9 3 からの画素プロックを D C T処理し、 その結果得られる D C T係数を量子化回路 9 5に供給する。 量子化回路 9 5は、 D C T回路 9 3からのブロック単位の D C T係数を所定の量子化ステップで量子化し、 その結果得られる量子化 D C T係数 をエントロピー符号化回路 9 6に供給する。 ェントロピー符号化回路 9 6は、 量 子化回路 9 5からの量子化 D C T係数をエントロピー符号化し、 動き検出回路 9 1からの動きべクトルやその他の必要な情報を付加して、 その結果得られる符号 化デ一夕を M P E G符号化結果として出力する。
量子化回路 9 5が出力する量子化 D C T係数のうち、 Iピクチャ及び Pピクチ ャは、 後で符号化される Pピクチャや Bピクチャの参照画像として用いるのに口 一カルデコ一ドする必要があるため、 エントロピー符号化回路 9 6の他、 逆量子 化回路 9 7にも供給される。
逆量子化回路 9 7は、 量子化回路 9 5からの量子化 D C T係数を逆量子化する ことにより D C T係数とし、 逆 D C T回路 9 8に供給する。 逆 D C T回路 9 8は、 • 逆量子化回路 9 7からの D C T係数を逆 D C T処理し、 演算器 9 9に出力する ώ 演算器 9 9には、 逆 D C T回路 9 8の出力の他、 動き補償回路 1 0 0が出力する 参照画像も供給されるようになっている。 演算器 9 9は、 逆 D C Τ回路 9 8の出 力が Ρピクチャのものである場合には、 その出力と動き補償回路 1 0 0の出力と を加算することで、 元の画像を復号し、 動き補償回路 1 0 0に供給する。 また、 演算器 9 9は、 逆 D C Τ回路 9 8の出力が Iピクチャのものである場合には、 そ の出力は Iピクチャの復号画像となっているので、 そのまま動き補償回路 1 0 0 に供給する。
動き補償回路 1 0 0は、 演算器 9 9から供給されるローカルデコードされた画 像に対して、 動き検出回路 9 1からの動きべクトルにしたがった動き補償を施し、 その動き補償後の画像を参照画像として演算器 9 2及び演算器 9 9に供給する。 ここで、 図 2 0は、 以上のような M P E G符号化の結果得られる符号化データ を復号する M P E Gデコーダ 1 1 0の構成例を示している。
この M P E Gデコーダ 1 1 0において、 符号化デ一夕は、 エントロピー復号回 路 1 1 1に供給される。 エントロピー復号回路 1 1 1は、 符号化デ一夕をェント 口ピー復号し、 量子化 D C T係数、 動きベクトル、 その他の情報を得る。 そして、 量子化 D C T係数は、 逆量子化回路 1 1 2に供給され、 動きベクトルは、 動き補 償回路 1 1 6に供給される。
逆量子化回路 1 1 2は、 ェントロピ一復号回路 1 1 1からの量子化 D C T係数 を逆量子化することにより D C T係数とし、 逆 D C T回路 1 1 3に供給する。 逆 D C T回路 1 1 3は、 逆量子化回路 1 1 2からの D C T係数を逆 D C T処理 し、 演算器 1 1 4に出力する。 演算器 1 1 4には、 逆量子化回路 1 1 3の出力の 他、 動き補償回路 1 1 6が出力する、 既に復号された Iピクチャ又は Pピクチャ をェントロピー復号回路 1 1 1からの動きぺクトルにしたがって動き補償したも のが参照画像として供給されるようになっている。 演算器 1 1 4は、 逆 D C T回 路 1 1 3の出力が Pピクチャ又は Bピクチャのものである場合には、 その出力と 動き補償回路 1 0 0の出力とを加算することで、 元の画像を復号し、 ブロック分 解回路 1 1 5に供給する。 また、 演算器 1 1 4は、 逆 D C T回路 1 1 3の出力が Iピクチャのものである場合には、 その出力は Iピクチャの復号画像となってい るので、 そのままブロック分解回路 1 1 5に供給する。 ' プロヅク分解回路 1 1 5は、 演算器 1 1 4から画素プロヅク単位で供給される 復号画像のプロック化を解くことで、 復号画像を得て出力する。
一方、 動き補償回路 1 1 6は、 演算器 1 1 4が出力する復号画像のうちの Iピ クチャと Pピクチャを受信し、 エントロピー復号回路 1 1 1からの動きべクトル にしたがった動き補償を施す。 そして、 動き補償回路 1 1 6は、 その動き補償後 の画像を参照画像として演算器 1 1 4に供給する。
図 3のデコーダ 2 2では、 M P E G符号化された符号化デ一夕も、 上述のよう に効率的に画質の良い画像に復号することができる。
すなわち、 符号化デ一夕は、 エントロピー復号回路 3 1に供給され、 ェントロ ピー復号回路 3 1は、 符号化データをエントロピ一復号する。 このエントロピー 復号の結果得られる量子化 D C T係数、 動きベクトル、 その他の情報は、 ェント 口ピー復号回路 3 1から係数変換回路 3 2に供給される。
係数変換回路 3 2は、 エントロピー復号回路 3 1からの量子化 D C T係数 Qと、 学習を行うことにより求められたタップ係数を用いて、 所定の予測演算を行うと ともに、 ェントロピー復号回路 3 1からの動きべクトルにしたがった動き補償を 必要に応じて行うことにより、 量子化 D C T係数を元の画素値に復号し、 プロッ ク分解回路 3 3に供給する。
プロック分解回路 3 3は、 係数変換回路 3 2において得られた復号された画素 でなる画素ブロックのブロック化を解くことで、 復号画像を得て出力する。
次に、 図 2 1は、 デコーダ 2 2において M P E G符号化された符号化デ一夕を. 復号する場合の図 3の係数変換回路 3 2の構成例を示している。 なお、 図中、 図 1 7又は図 2 0における場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略する。 すなわち、 図 2 1に示す係数変換回路 3 2 Eは、 積和 演算回路 4 5の後段に、 図 2 0における演算器 1 1 4及び動き補償回路 1 1 6が 設けられている他は、 図 1 7における場合と同様に構成されている。
したがって、 図 2 1の係数変換回路 3 2 Eでは、 タヅブ係数を用いた予測演算 が図 2 0の M P E Gデコーダの逆 D C T回路 1 1 3における逆 D C T処理に替え て行われ、 以降は、 図 2 0における場合と同様にして復号画像が得られる。
次に、 図 2 2は、 図 2 1の係数テーブル記憶部 4 4に記憶させるタップ係数を 学習する学習装置 6 0 Eの構成例を示している。 なお、 図中、 図 1 8における場 合と対応する部分については、 同一の符号を付して、 その説明を適宜省略する。 この図 2 2に示す学習装置 6 0 Eにおいて、 動きべクトル検出回路 1 2 1及び 演算器 1 2 2には、 学習用の画像が教師デ一夕として入力される。 動きべクドル 検出回路 1 2 1、 演算器 1 2 2、 プロヅク化回路 1 2 3、 D C T回路 1 2 4、 量 子化回路 1 2 5、 逆量子化回路 1 2 7、 逆 D C T回路 1 2 8、 演算器 1 2 9又は 動き補償回路 1 3 0は、 図 1 9の動きべクトル検出回路 9 1、 演算器 9 2、 プロ ック化回路 9 3、 D C T回路 9 4、 量子化回路 9 5、 逆量子化回路 9 7、 逆 D C T回路 9 8、 演算器 9 9又は動き補償回路 1 0 0とそれそれ同様の処理を行い、 これにより、 量子化回路 1 2 5からは、 図 1 9の量子化回路 9 5が出力するのと 同様の量子化 D C T係数が出力される。
量子化回路 1 2 5が出力する量子化 D C T係数は、 逆量子化回路 8 1に供給さ れ、 逆量子化回路 8 1は、 量子化回路 1 2 5からの量子化 D C T係数を逆量子化 し、 D C T係数に変換して、 予測タップ抽出回路 6 4に供給する。 予測夕ップ抽 出回路 6 4は、 逆量子化回路 8 1からの D C T係数から、 予測タップを構成し、 正規方程式加算回路 6 7に供給する。
正規方程式加算回路 6 7は、 演算器 1 2 2の出力を教師データとするとともに、 逆量子化回路 8 1からの予測タップを生徒データとして、 上述したような足し込 みを行い、 これにより、 正規方程式を生成する。
そして、 タップ係数決定回路 6 8は、 正規方程式加算回路 6 7で生成された正 規方程式を解くことにより、 タップ係数を求め、 係数テーブル記憶部 6 9に供給 して記憶させる。
図 2 1の積和演算回路 4 5では、 このようにして求められたタップ係数を用い て、 M P E G符号化された符号化データが復号されるので、 やはり、 M P E G符 号化された画像の復号処理と、 その画質を向上させるための処理とを同時に施す ことができ、 したがって、 MP E G符号化された画像かち、 率的に画質の良い復 号画像を得ることができる。
なお、 図 2 1の係数変換回路 3 2 Eは、 逆量子化回路 7 1を設けずに構成する ことが可能である。 この場合、 図 2 2の学習装置 6 0 Eは、 逆量子化回路 8 1を 設けずに構成すれば良い。
また、 図 2 1の係数変換回路 3 2 Eは、 図 5における場合と同様に、 クラス夕 ップ抽出回路 4 2及びクラス分類回路 4 3を設けて構成することが可能である。 この場合、 図 2 2の学習装置 6 0 Eは、 図 1 1における場合のように、 クラス夕 ップ抽出回路 6 5及びクラス分類回路 6 6を設けて構成すれば良い。
以上のように、 本発明によれば、 学習を行うことにより求められた夕ッブ係数 を取得し、 そのタップ係数と変換デ一夕とを用いて、 所定の予測演算を行うこと により、 変換デ一タを元のデータに復号するので、 変換データを効率的に復号す ることできる。
また、 本発明によれば、 教師となる教師デ一夕を少なくとも直交変換又は周波 数変換することにより、 生徒となる生徒データを生成し、 タップ係数及び生徒デ 一夕を用いて予測演算を行うことにより得られる教師データの予測値の予測誤差 を統計的に最小にするように学習を行うことにより、 タップ係数を求め、 その夕 ップ係数を用いることにより、 直交変換又は周波数変換されたデータを効率的に 復号することが可能となる。
次に本発明の他の実施の形態について説明する。
次に説明する実施の形態では、 上述の図 2に示したデコーダ 2 2として図 2 3 に示すようにェントロピー復号回路 2 3 1、 係数変換回路 2 3 2及びブロック分 解回路 2 3 3からなるデコーダ 2 2 2を用いて符号化デーダを復号する。
符号化データは、 エントロピー復号回路 2 3 1に供給されるよ になっている < ェントロピー復号回路 2 3 1は、 符号化デ一夕をェントロピー復号して、 その結 果得られるブロックごとの量子化 D C T係数 Qを係数変換回路 2 3 2に供給する ( なお、 符号化デ 夕には、 エントロピ一符号化された量子化 D C T係数の他、 量 子化テーブルも含まれるが、 この量子化テーブルは、 必要に応じて、 量子化 D C T係数の復号に用いることが可能である。
係数変換回路 2 3 2は、 ェントロピー復号回路 2 3 1からの量子化. D C T係数 Qと学習により求められるタツプ係数を用いて、 所定の予測演算を行うことによ り、 ブロックごとの量子化 D C T係数を 8 X 8画素の元のブロックに復号し、 か つ、 さらに、 その元のブロックの画質を向上させる処理を施したデータを得る。 すなわち、 元のプロヅクは 8 X 8画素で構成されるが、 係数変換回路 2 3 2は、 夕ヅプ係数を用いた予測演算を行うことにより、 その 8 X 8画素のプロヅクの横 及び縦方向の空間解像度をいずれも 2倍にした 1 6 X 1 6画素でなるブロックを 得る。 ここでは、 係数変換回路 2 3 2は、 図 2 4に示すように、 8 X 8の量子化 D C T係数で構成されるブロックを 1 6 x 1 6画素で構成されるブロヅクに復号 して出力する。
プロック分解回路 2 3 3は、 係数変換回路 2 3 2において得られる 1 6 x 1 6 画素のプロックのプロック化を解くことで、 空間解像度を向上させた復号画像を 得て出力する。
次に、 図 2 5のフローチャートを参照して、 図 2 3のデコーダ 2 2 2の処理に ついて説明する。
符号化デ一夕は、 エントロピー復号回路 2 3 1に順次供給され、 ステップ S 1 0 1において、 ェントロピ一復号回路 2 3 1は、 符号化データをェントロピー復 号し、 ブロックごとの量子化 D C T係数 Qを係数変換回路 2 3 2に供給する。 係 数変換回路 2 3 2は、 ステップ S 1 0 2において、 タヅプ係数を用いた予測演算 を行うことにより、 ェントロピー復号回路 2 3 1からのブロックごとの量子化 D C T係数 Qをプロヅクごとの画素値に復号し、 かつ、 そのブロックの空間解像度 を向上させた、 いわば高解像度のブロックを得て、 ブロック分解回路 2 3 3に供 給する。 プロヅク分解回路 2 3 3は、 ステヅプ S 1 0 3において、 係数変換回路 2 3 2からの空間解像度が向上された画素値のプロヅクのプロック化を解くプロ ック分解を行い、 その結果得られる高解像度の復号画像を出力して、 処理を終了 する。
次に、 図 2 3の係数変換回路 2 3 2では、 先に説明したクラス分類適応処理を 利用して、 量子化 D C T係数を画素値に復号し、 さらに、 その空間解像度を向上 させた画像を得ることができる。
図 2 6は、 クラス分類適応処理により、 量子化 D C T係数を画素値に復号する、 図 2 3の係数変換回路 2 3 2の構成例を示している。
この図 2 6に示す係数変換回路 2 3 2 Aにおいて、 エントロピー復号回路 2 3 1 (図 2 3 ) が出力するブロックごとの量子化 D C T係数は、 予測夕ヅプ抽出回 路 2 4 1及びクラス夕ヅプ抽出回路 2 4 2に供給されるようになっている。
予測夕ツプ抽出回路 2 4 1は、 そこに供給される 8 X 8の量子化 D C T係数の ブロック （以下、 適宜、 D C Tブロックという） に対応する高画質の画素値のブ ロヅク （この画素値のブロックは、 現段階では存在しないが、 仮想的に想定され る） （以下、 適宜、 高画質ブロックという） （この実施の形態では、 上述したよ うに 1 6 X 1 6画素のブロック） を順次注目高画質プロヅクとし、 さらに、 その 注目高画質ブロックを構成する各画素を例えばいわゆるラス夕スキャン順に順次 注目画素とする。 さらに、 予測タップ抽出回路 2 4 1は、 注目画素の画素値を予 測するのに用いる量子化 D C T係数を抽出し、 予測夕ップとする。
すなわち、 予測タップ抽出回路 2 4 1は、 例えば、 上述の図 6に示したように、 注目画素が属する高画質プロックに対応する D C Tプロックのすベての量子化 D C T係数すなわち 8 X 8の 6 4個の量子化 D C T係数を予測タップとして抽出す る。 したがって、 この実施の形態では、 ある高画質ブロックのすべての画素につ いて、 同一の予測夕ヅプが構成される。 ただし、 予測夕ヅプは、 注目画素ごとに、 異なる量子化 D C T係数で構成することが可能である。
予測タップ抽出回路 2 4 1において得られる、 高画質ブロックを構成する各画 素についての予測夕ヅプ、 すなわち、 1 6 X 1 6の 2 5 6画素それそれについて の 2 5 6セヅトの予測夕ヅブは、 積和演算回路 2 4 5に供給される。 ただし、 こ の実施の形態では、 上述したように、 高画質ブロックのすべての画素について、 同一の予測タップが構成されるので、 実際には、 1つの高画質ブロックに対して、 1セッ トの予測夕ップを積和演算回路 2 4 5に供給すれば良い。
クラス夕ヅプ抽出回路 2 4 2は、 注目画素を幾つかのクラスのうちのいずれか に分類するためのクラス分類に用いる量子化 D C T係数を抽出して、 クラスタヅ プとする。
なお、 J P E G符号化では、 画像が 8 X 8画素のブ.口ヅク （以下、 適宜、 画素 プロヅクという） ごとに符号化すなわち D C T処理及び量子化されることから、 ある画素ブロックを高画質化した高画質ブロックに属する画素は、 例えば、 すべ て同一のクラスにクラス分類することとする。 したがって、 クラス夕ヅプ抽出回. 路 2 4 2は、 ある高画質ブロックの各画素については、 同一のクラス夕ヅプを構 成する。 すなわち、 クラスタップ抽出回路 2 4 2は、 例えば、 予測夕ヅプ抽出回 路 2 4 1における場合と同様に、 図 6に示したような、 注目画素が属する高画質 ブロックに対応する D C Tブロックの 8 X 8個のすべての量子化 D C T係数をク ラス夕ヅプとして抽出する。
ここで、 高画質プロックに属する各画素をすベて同一のクラスにクラス分類す るということは、 その高画質プロヅクをクラス分類することと等価である。 した がって、 クラス夕ヅプ抽出回路 2 4 2には、 注目高画質ブロックを構成する 1 6 X 1 6の合計 2 5 6画素それそれをクラス分類するための 2 5 6セヅトのクラス 夕ヅプではなく、 注目高画質プロヅクをクラス分類するための 1セヅトのクラス 夕ヅプを構成させれば良く、 このため、 クラスタヅプ抽出回路 2 4 2は、 高画質 ブロックごとに、 その高画質ブロックをクラス分類するために、 その高画質プロ ックに対応する D C Tブロックの 6 4個の量子化 D C T係数を抽出して、 クラス 夕ヅプとするようになつている。 なお、 予測タップやクラスタップを構成する量子化 D C T係数は、 上述したパ ターンのものに限定されるものではない。
クラス夕ヅプ抽出回路 242において得られる、 注目高画質ブロックのクラス 夕ヅプは、 クラス分類回路 243に供給されるようになっている。 クラス分類回 路 243は、 クラスタップ抽出回路 242からのクラス夕ヅプに基づき、 注目高 画質プロヅクをクラス分類し、 その結果得られるクラスに対応するクラスコード を出力する。
ここで、 クラス分類を行う方法としては、 例えば、 ADRC等を採用すること ができる。 AD R Cを用いる方法では、 クラス夕ヅプを構成する量子化 D C Τ係 数が ADR C処理され、 その結果得られる ADR Cコードにしたがって、 注目高 画質ブロックのクラスが決定される。
この実施の形態においても、 クラス分類回路 243において、 クラス夕ヅプを 構成する量子化 D.CT係数から、 重要性の高い特徴量を抽出し、 その特徴量に基 づいてクラス分類を行うことで、 クラス数を低減するようになっている。
図 27は、 図 2 6のクラス分類回路 243の構成例を示している。
クラス夕ヅブは、 電力演算回路 2 5 1に供給されるようになっている。 電力演 算回路 2 5 1は、 クラスタップを構成する量子化 D CT係数を幾つかの空間周波 数帯域のものに分け、 各周波数帯域の電力を演算する。
すなわち、 電力演算回路 2 5 1は、 上述の電力演算回路 5 1と同様にクラス夕 ヅプを構成する 8 X 8個の量子化 D C Τ係数を上述の図 6に示したような 4つの 空間周波数帯域 S。， S i, S2， S 3に分割する。 ここで、 空間周波数帯域 S。 は、 4個の量子化 D C T係数 x。， X I , a , から構成され、 空間周波数帯域 Si は、 1 2個の量子化 D C T係数 X 2， X 3 , Χ 4 , X 5 , X 6 , X 7 , X 10 , X 1 1 , X 12 , X l 3 , X l 4 , Χ 1 5から構成される。 また、 空間周波数帯域 S2 は、 1 2個の 量子化 D GT係数 X 17 , X 24 , X 25 , X 32 , X 33 , X 40 , X 41 , X 48 , X 49 , X 56 , X 57から構成され、 空間周波数帯域 S 3 は、 3 6個の量子化0〇"1係 ¾ X 18 , X 19 , X 20 , X 21 , X 22 j X 23 , X 26 , X 273 X 28 , X 29 j X 30 , X 3 1； X 34 , X 35 , X 36 j X 37 , X 38 , X 39 , X 42 , X 43 , X 44 , X 45 , X 4 β , X 47 , X 50 , X 5 1 , 52 , X 53 , X 54 , X 55 , X 58 , X 59 , X 60 , X 6 1 , 62 , Χ 63か ら構成される。
さらに、 電力演算回路 251は、 空間周波数帯域 S。， Si, S2, S3それそれ について、 量子化 D CT係数の AC成分の電力 P。， Pi, P2, P3を演算し、 ク ラスコード生成回路 252に出力する。
すなわち、 電力演算回路 25 1は、 空間周波数帯域 S。 については、 上述の 4 個の量子化 D C T係数 X。， χι， χ 9のうちの AC成分 x l 3 , χ 9 の 2 乗和 X ^ + χ^ + χ^を求め、 これを電力 Ρ。 としてクラスコード生成回路 25 2に出力する。 また、 電力演算回路 25 1は、 空間周波数帯域 Si についての上 述の 1 2個の量子化 D C T係数の A C成分、 すなわち、 12個すベての量子化 D CT係数の 2乗和を求め、 これを電力 Pi としてクラスコード生成回路 252に 出力する。 さらに、 電力演算回路 25 1は、 空間周波数帯域 S2 と空間周波数帯 域 S3についても、 空間周波数帯域 S iにおける場合と同様にして、 それそれの電 力 P 2と電力 P 3を求め、 クラスコード生成回路 252に出力する。
クラスコード生成回路 252は、 電力演算回路 25 1からの電力 P。， Pi, P Psを閾値テーブル記憶部 253に記憶された対応する閾値 ΤΗ。， ΤΗι, T Η2， ΤΗ3とそれそれ比較し、 それそれの大小関係に基づいて、 クラスコ 卞を 出力する。 すなわち、 クラスコード生成回路 2 52は、 電力 Ρ。と閾値 ΤΗ。とを 比較し、 その大小関係を表す 1ビットのコードを得る。 同様に、 クラスコード生 成回路 252は、 電力 Piと閾値 TH 電力 P2と閾値 TH2、 電力 P3 と閾値 T H3 をそれそれ比較することにより、 それそれについて、 1ビットのコードを得 る。 そして、 クラスコード生成回路 252は、 以上のようにして得られる 4つの 1ビットのコ一ドを例えば所定の順番で並べることにより得られる 4ビットのコ ード （したがって、 0〜 1 5のうちのいずれかの値） を注目高画質ブロックのク ラスを表すクラスコードとして出力する。 したがって、 この実施の形態では、 注 目高画質ブロックは、 24 (= 1 6) 個のクラスのうちのいずれかにクラス分類さ れることになる。
閾値テーブル記憶部 253は、 空間周波数帯域 S。〜S3の電力 P。〜P3それぞ れと比較する閾値丁！^〜！^！^を記憶してぃる。
図 26に戻り、 以上のようなクラス分類回路 243が出力するクラスコ一ドは、 係数テーブル記憶部 2 4 4にァドレスとして与えられる。
係数テーブル記憶部 2 4 4は、 後述するような学習処理が行われることにより 得られるタップ係数が登録された係数テーブルを記憶しており、 クラス分類回路 2 4 3が出力するクラスコードに対応するァドレスに記憶されている夕ヅプ係数 を積和演算回路 2 4 5に出力する。
ここで、 この実施の形態では、 注目高画質ブロックについて、 1つのクラスコ ードが得られる。 一方、 高画質ブロックは、 この実施の形態では、 1 6 x 1 6画 素の 2 5 6画素で構成されるから、 注目高画質プロヅクについては、 それを構成 する 2 5 6画素それそれを復号するための 2 5 6セヅ トのタツプ係数が必要であ る。 したがって、 係数テーブル記憶部 2 4 4には、 1つのクラスコードに対応す るアドレスに対して、 2 5 6セットのタップ係数が記憶されている。
積和演算回路 2 4 5は、 予測タップ抽出回路 2 4 1が出力する予測夕ップと、 係数テーブル記憶部 2 4 4が出力する夕ップ係数とを取得し、 その予測夕ップと タップ係数とを用いて、 上述の式 （ 1 ) に示した線形予測演算 （積和演算） を行 い、 その結果得られる注目高画質プロックの 1 6 X 1 6画素の画素値 （の予測 値） を対応する D C Tブロックの復号結果としてプロヅク分解回路 2 3 .3 (図 2 3 ) に出力する。 .
ここで、 予測タップ抽出回路 2 4 1においては、 上述したように、 注目高画質 ブロックの各画素が順次注目画素とされるが、 積和演算回路 2 4 5は、 注目高画 質ブロックの注目画素となっている画素の位置に対応した動作モード （以下、 適 宜、 画素位置モードという） となって、 処理を行う。
すなわち、 例えば、 注目高画質ブロックの画素のうち、 ラスタスキャン順で i 番目の画素を P iと表し、 画素 P iが注目画素となっている場合、 積和演算回路 2 4 5は、 画素位置モード # iの処理を行う。
具体的には、 上述したように、 係数テーブル記憶部 2 4 4は、 注目高画質プロ ックを構成する 2 5 6画素それそれを復号するための 2 5 6セットの夕ヅプ係数 を出力するが、 そのうちの画素 P iを復号するためのタップ係数のセットを W iと 表すと、 積和演算回路 2 4 5は、 動作モードが画素位置モード # iのときには、 予測夕ヅプと 2 5 6セヅトの夕ヅプ係数のうちのセヅト W i とを用いて、 上述の 式 （ 1 ) の積和演算を行い、 その積和演算結果を画素 P i の復号結果とする。 次に、 図 2 8のフローチャートを参照して、 図 2 6の係数変換回路 2 3 2 Aの 処理について説明する。
ェント口ピー復号回路 2 3 1 (図 2 3 ) が出力するプロヅクごとの量子化 D C T係数は、 予測タヅプ抽出回路 2 4 1及びクラス夕ヅプ抽出回路 2 4 2において 順次受信され、 予測タップ抽出回路 2 4 1は、 そこに供給される量子化 D C T係 数のブロック （D C Tブロック） に対応する高画質ブロックを順次注目高画質ブ ロヅクとする。
そして、 クラス夕ヅプ抽出回路 2 4 2は、 ステップ S 1 1 1において、 そこで 受信した量子化 D C T係数の中から、 注目高画質ブロックをクラス分類するのに 用いるものを抽出して、 クラスタヅプを構成し、 クラス分類回路 2 4 3に供給す る。
クラス分類回路 2 4 3は、 ステップ S 1 1 2において、 クラスタヅプ抽出回路 2 4 2からのクラスタヅプを用いて、 注目高画質プロヅクをクラス分類し、 その 結果得られるクラスコードを係数テーブル記憶部 2 4 4に出力する。
すなわち、 ステヅプ S 1 1 2では、 図 2 9のフ口一チャートに示すように、 ま ず最初に、 ステヅプ S 1 2 1において、 クラス分類回路 2 4 3 (図 2 7 ) の電力 演算回路 2 5 1が、 クラスタップを構成する 8 X 8個の量子化 D C T係数を上述 の図 8に示した 4つの空間周波数帯域 S。〜 S 3 に分割し、 それそれの電力 P (！〜 p 3を演算する。 この電力 P。〜P 3 は、 電力演算回路 2 5 1からクラスコード生 成回路 2 5 2に出力される。
クラスコード生成回路 2 5 2は、 ステップ S 1 2 2において、 閾値テーブル記 憶部 2 5 3から閾値丁11。~ 1 11 3を読み出し、 電力演算回路 2 5 1からの電力 P 〜： P 3それぞれと、 閾値 T H。〜T H 3それそれとを比較し、 それそれの大小関係 に基づいたクラスコードを生成して、 リ夕一ンする。
図 2 8に戻り、 ステップ S 1 1 2において以上のようにして得られるクラスコ ードは、 クラス分類回路 2 4 3から係数テーブル記憶部 2 4 4に対して、 ァドレ スとして与えられる。
係数テーブル記憶部 2 4 4は、 クラス分類回路 2 4 3からのアドレスとしての クラスコードを受信すると、 ステップ S 1 1 3において、 そのァドレスに記憶さ れている 2 5 6セットの夕ヅプ係数 （クラスコードのクラスに対応する 2 5 6セ ッ トのタップ係数） を読み出し、 積和演算回路 2 4 5に出力する。
そして、 ステヅプ S 1 1 4に進み、 予測タップ抽出回路 2 4 1は、 注目高画質 プロヅクの画素のうち、 .ラス夕スキャン順で、 まだ、 注目画素とされていない画 素を注目画素として、 その注目画素の画素値を予測するのに用いる量子化 D C T 係数を抽出し、 予測タヅプとして構成する。 この予測タヅプは、 予測タップ抽出 回路 2 4 1から積和演算回路 2 4 5に供給される。
ここで、 この実施の形態では、 各高画質ブロックごとに、 その高画質ブロック のすぺての画素について、 同一の予測夕ヅプが構成されるので、 実際には、 ステ ヅプ S 1 1 4の処理は、 注目高画質ブロックについて、 最初に注目画素とされる 画素に対してだけ行えば、 残りの 2 5 5画素に対しては、.行う必要がない。
積和演算回路 2 4 5は、 ステップ S 1 1 5において、 ステップ S 1 .1 3で係数 テーブル記憶部 2 4 4が出力する 2 5 6セッ トの夕ップ係数のうち、 注目画素に 対する画素位置モードに対応するタップ係数のセッ トを取得し、 そのタップ係数 のセヅ トと、 ステップ S 1 1 4で予測夕ヅプ抽出回路 2 4 1から供給される予測 タップとを用いて、 上述の式 （ 1 ) に示した積和演算を行い、 注目画素の画素値 の復号値を得る。
そして、 ステップ S 1 1 6に進み、 予測夕ヅプ抽出回路 2 4 1は、 注目高画質 プロヅクのすベての画素を注目画素として処理を行ったかどうかを判定する。 ス テツプ S 1 1 6において、 注目高画質プロックのすベての画素を注目画素として、 まだ処理を行っていないと判定された場合、 ステップ S 1 1 4に戻り、 予測夕ッ プ抽出回路 2 4 1は、 注目高画質ブロックの画素のうち、 ラス夕スキャン順で、 まだ、 注目画素とされていない画素を新たに注目画素として、 以下、 同様の処理 を繰り返す。
また、 ステップ S 1 1 6において、 注目高画質ブロックのすべての画素を注目 画素として処理を行ったと判定された場合、 すなわち、 注目高画質ブロックのす ベての画素の復号値、 すなわち、 8 X 8の量子化 D C T係数を 8 X 8画素に復号 し、 さらに、 その 8 X 8画素を 1 6 X 1 6画素に高画質化したものが得られた場 合、 積和演算回路 245は、 その復号値で構成される高画質ブロックをブロック 分解回路 233 (図 23) に出力し、 処理を終了する。
なお、 図 28のフローチャートにしたがった処理は、 予測タヅプ抽出回路 24 1が新たな注目高画質プロツクを設定するごとに繰り返し行われる。
次に、 図 30は、 図 26の係数テーブル記憶部 244に記憶させるタップ係数 の学習処理を行う学習装置 270 Aの構成例を示している。
この学習装置 270 Aにおいて、 間引き回路 260には、 1枚以上の学習用の 画像データが学習時の教師となる教師デ一夕として供給されるようになっている 間引き回路 260は、 その教師データとしての画像について、 図 26の係数変換 回路 232 Aにおける積和演算回路 245が夕ップ係数を用いた積和演算を行う ことにより施す向上処理に基づく処理を施す。 すなわち、 ここでは、 向上処理は、 8 X 8画素をその横及び縦の空間解像度を 2倍にした 16 x 1 6画素の高画質の もの （解像度を向上させたもの） に変換する処理であるから、 間引き回路 260 は、 教師データとしての画像デ一夕の画素を間引き、 その横及び縦の画素数をい ずれも 1 Z2にした画像データ （以下、 適宜、 準教師デ一夕という） を生成する なお、 準教師デ一夕としての画像データは、 エンコーダ 2 1 (図 2) において J P E G符号化の対象とされる画像データと同一画質 （解像度） のものであり、 例えば、 いま、 この J P E G符号化の対象とされる画像を S D(Standard Densit y)画像とすると、 教師データとする画像としては、 その S D画像の横及び縦の画 素数をいずれも 2倍にした HD(High Density)画像を用いる必要がある。
プロヅク化回路 2 6 1は、 間引き回路 260が生成する 1枚以上の準教師デ一 タとしての SD画像を JPEG符号化における場合と同様に、 8 X 8画素の画素 ブロヅクにブロヅク化する。
D CT回路 262は、 ブロヅク化回路 261がプロヅク化した画素ブロックを 順次読み出し、 その画素ブロックを D C T処理することで、 D CT係数のブロヅ クとする。 この D C T係数のプロヅクは、 量子化回路 263に供給される。
量子化回路 263は、 D CT回路 262からの D C T係数のプロヅクをェンコ ーダ 2 1 (図 2) における JPEG符号化に用いられるのと同一の量子化テープ ルにしたがって量子化し、 その結果得られる量子化 D C T係数のブロック （DC Tブロック） を予測タヅプ抽出回路 2 6 4及びクラス夕ヅプ抽出回路 2 6 5に順 次供給する。
予測タップ抽出回路 2 6 4は、 後述する正規方程式加算回路 2 6 7が注目高画 質プロックとする高画質プロ クを構成する 1 6 X 1 6画素のうちの注目画素と なっている画素について、 図 2 6の予測夕ヅプ抽出回路 2 4 1が構成するのと同 一の予測夕ップを量子化回路 2 6 3の出力から必要な量子化 D C T係数を抽出す ることで構成する。 この予測タップは、 学習時の生徒となる生徒データとして、 予測タップ抽出回路 2 6 4から正規方程式加算回路 2 .6 7に供給される。
クラスタヅプ抽出回路 2 6 5は、 注目高画質ブロックについて、 図 2 6のクラ ス夕ヅプ抽出回路 2 4 2が構成するのと同一のクラスタツプを量子化回路 2 6 3 の出力から必要な量子化 D C T係数を抽出することで構成する。 このクラスタヅ プは、 クラス夕ヅプ抽出回路 2 6 5かちクラス分類回路 2 6 6に供給される。 クラス分類回路 2 6 6.は、 クラスタップ抽出回路 2 6 5.からのクラス夕.ップを 用いて、 図 2 6のクラス分類回路 2 4 3と同一の処理を行うことで、 注目高画質 ブロックをクラス分類し、 その結果得られるクラスコードを正規方程式加算回路 2 6 7に供給する。
正規方程式加算回路 2 6 7には、 間引き回路 2 6 0に教師データとして供給さ れるのと同一の H D画像が供給されるようになっている。 正規方程式加算回路 2 6 7は、 その H D画像を 1 6 x 1 6画素の高画質プロヅクにプロヅク化し、 その 高画質ブロックを順次注目高画質ブロックとする。 さらに、 正規方程式加算回路 2 6 7は、 注目高画質ブロックを構成する 1 6 x 1 6画素のうち、 例えば、 ラス 夕スキャン順で、 まだ注目画素とされていないものを順次注目画素とし、 その注 目画素の画素値と予測夕ップ構成回路 2 6 4からの予測夕ツプを構成する量子化 D C T係数を対象とした足し込みを行う。
すなわち、 正規方程式加算回路 2 6 7は、 クラス分類回路 2 6 6から供給され るクラスコードに対応するクラスごとに、 予測夕ヅプ （生徒デ一夕） を用い、 上 述の式 （8 ) の行列 Aにおける各コンポーネントとなっている、 生徒デ一夕どう しの乗算 （X i n X i m) と、 サメーシヨン （∑) に相当する演算を行う。
さらに、 正規方程式加算回路 2 6 7は、 やはり、 クラス分類回路 2 6 6から供 給されるクラスコードに対応するクラスごとに、 予測タップ （生徒デ一夕） 及び 注目画素 （教師デ一夕） を用い、 上述の式 （8 ) のベクトル Vにおける各コンポ 一ネントとなっている、 生徒デ一夕と教師デ一夕の乗算 （x i n y i ) と、 サメーシ ヨン （∑) に相当する演算を行う。
なお、 正規方程式加算回路 2 6 7における、 上述のような足し込みは、 各クラ スについて、 注目画素に対する画素位置モ一ドごとに行われる。
正規方程式加算回路 2 6 7は、 そこに供給される教師データとしての H D画像 を構成する画素すベてを注目画素として以上の足し込みを行い、 これにより、 各 クラスについて、 画素位置モードごとに、 上述の式 （8 ) に示した正規方程式を たてる。
夕ヅプ係数決定回路 2 6 8は、 正規方程式加算回路 2 6 7においてクラスごと に （かつ、 画素位置モードごとに） 生成された正規方程式を解くことにより、 ク ラスごとに、 2 5 6セットのタヅプ係数を求め、 係数テーブル記憶部 2 6 9の各 クラスに対応するアドレスに供給する。
なお、 学習用の画像として用意する画像の枚数や、 その画像の内容等によって は、 正規方程式加算回路 2 6 7において、 タップ係数を求めるのに必要な数の正 規方程式が得られないクラスが生じる場合があり得るが、 タップ係数決定回路 2 6 8は、 そのようなクラスについては、 例えば、 デフォルトのタヅプ係数を出力 する。
係数テーブル記憶部 2 6 9は、 タップ係数決定回路 2 6 8から供給されるクラ スごとの 2 5 6セットのタップ係数を記憶する。
次に、 図 3 1のフローチャートを参照して、 図 3 0の学習装置 2 7 0 Aの処理 (学習処理） について説明する。
この学習装置 2 7 O Aの間引き回路 2 6 0には、 学習用の画像デ一夕である H D画像が教師デ一夕として供給され、 間引き回路 2 6 0は、 ステップ S 1 3 0に おいて、 その教師デ一夕としての H D画像の画素を間引き、 その横及び縦の画素 数をいずれも 1 / 2にした準教師デ一夕としての S D画像を生成する。
そして、 ブロック化回路 2 6 1は、 ステップ S 1 3 1において、 間引き回路 2 6 0で得られた準教師データとしての S D画像をエンコーダ 2 1 (図 2 ) による J P E G符号化における場合と同様に 8 x 8画素の画素ブロックにプロヅク化し て、 ステヅブ S 1 3 2に進む。 ステップ S 1 3 2では、 D C T回路 2 6 2が、 ブ ロック化回路 2 6 1がブロック化した画素ブロックを順次読み出し、 その画素ブ ロックを D C T処理することで D C T係数のプロヅクとし、 ステップ S 1 3 3に 進む。 ステップ S 1 3 3では、 量子化回路 2 6 3が、 D C T回路 2 6 2において 得られた D C T係数のブロックを順次読み出し、 ェンコ ダ 2 1における J P E G符号化に用いられるのと同一の量子化テーブルにしたがって量子化して、 量子 化 D C T係数で構成されるプロヅク （D C Tプロヅク） とする。
一方、 正規方程式加算回路 2 6 7にも、 教師データとしての H D画像が供給さ れ、 正規方程式加算回路 2 6 7は、 その H D画像を 1 6 X 1 6画素の高画質プロ ヅクにブロック化し、 ステップ S 1 3 4において、 その高画質プロヅクのうち、 まだ、 注目高画質ブロックとされていないものを注目高画質ブロックとする。 さ らに、 ステップ S 1 3 4では、 クラス夕ヅプ抽出回路 2 6 5が、 プロヅク化回路 2 6 1でプロヅク化された画素ブロックのうち、 注目高画質ブロックをクラス分 類するのに用いる量子化 D C T係数を量子化回路 2 6 3で得られた D C Tブ.口ッ クから抽出して、 クラスタップを構成し、 クラス分類回路 2 6 6に供給する。 ク ラス分類回路 2 6 6は、 ステップ S 1 3 5において、 図 2 9のフローチヤ一トで 説明した場合と同様に、 クラスタヅプ抽出回路 2 6 5からのクラスタヅプを用い て、 注目高画質ブロックをクラス分類し、 その結果得られるクラスコードを正規 方程式加算回路 2 6 7に供給して、 ステップ S 1. 3 6に進む。
ステップ S 1 3 6では、 正規方程式加算回路 2 6 7が注目高画質プロックの画 素のうちラス夕スキャン順でまだ注目画素とされていない画素を注目画素とし、 予測夕ヅプ抽出回路 2 6 4が、 その注目画素について、 図 2 6の予測タヅプ抽出 回路 2 4 1が構成するのと同一の予測夕ップを量子化回路 2 6 3の出力から必要 な量子化 D C T係数を抽出することで構成する。 そして、 予測タップ抽出回路 2 6 4は、 注目画素についての予測夕ップを生徒データとして正規方程式加算回路 2 6 7に供給し、 ステップ S 1 3 7に進む。
ステップ S 1 3 7では、 正規方程式加算回路 2 6 7は、 教師データとしての注 目画素と、 生徒デ一夕としての予測タップ （を構成する量子化 D C T係数） を対 象として、 上述の式 （8 ) の行列 Aとベクトル Vの上述したような足し込みを行 う。 なお、 この足し込みは、 クラス分類回路 2 6 6からのクラスコードに対 j¾す るクラスごとに、 かつ注目画素に対する画素位置モードごとに行われる。
そして、 ステップ S 1 3 8に進み、 正規方程式加算回路 2 6 7は、 注目高画質 プロックのすベての画素を注目画素として、 足し込みを行ったかどうかを判定す る。 ステップ S 1 3 8において、 注目高画質プロックのすベての画素を注目画素 として、 まだ足し込みを行っていないと判定された場合、 ステップ S 1 3 6に戻 り、 正規方程式加算回路 2 6 7は、 注目高画質ブロックの画素のうち、 ラスタス キャン順で、 まだ、 注目画素とされていない画素を新たに注目画素とし、 以下、 同様の処理を繰り返す。
また、 ステップ S 1 3 8において、 注目高画質プロヅクのすベての画素を注目 画素として、 足し込みを行ったと判定された場合、 ステップ S 1 3 9に進み、 正 規方程式加算回路 2 6 7は、 教師データとしての画像から得られたすべての,高画 質ブロックを注目高画質ブロックとして処理を行ったかどうかを判定する。 ステ ップ S 1 3 9において、 教師データとしての画像から得られたすべての高画質ブ ロックを注目高画質プロックとして、 まだ処理を'行っていないと判定ざれた場合、 ステップ S 1 3 4に戻り、 まだ注目高画質ブロックとされていない高画質ブロッ クが新たに注目高画質ブロックとされ、 以下、 同様の処理が繰り返される。
一方、 ステヅプ S 1 3 9において、 教師デ一夕としての画像から得られたすべ ての高画質プロックを注目高画質プロックとして処理を行ったと判定された場合、 すなわち、 正規方程式加算回路 2 6 7において、 各クラスについて、 画素位置モ ードごとの正規方程式が得られた場合、 ステヅプ S 1 4 0に進み、 夕ヅプ係数決 定回路 2 6 8は、 各クラスの画素位置モードごとに生成された正規方程式を解く ことにより、 各クラスごとに、 そのクラスの 2 5 6の画素位置モードそれそれに 対応する 2 5 6セットの夕ップ係数を求め、 係数テーブル記憶部 2 6 9の各クラ スに対応するアドレスに供給して記憶させ、 処理を終了する。
以上のようにして、 係数テーブル記憶部 2 6 9に記憶された各クラスごとの夕 ヅプ係数が図 2 6の係数テーブル記憶部 2 4 4に記憶されている。
したがって、 係数テーブル記憶部 2 4 4に記憶された夕ヅプ係数は、 線形予測 演算を行うことにより得られる元の画素値の予測値の予測誤差 （ここでは、 自乗 誤差） が統計的に最小になるように学習を行うことにより求められたものであり、 その結果、 図 2 6の係数変換回路 2 3 2 Aによれば、 J P E G符号化された画像 を教師デ一夕として用いた H D画像の画質に限りなく近い高画質の画像に復号す ることができる。
さらに、 係数変換回路 2 3 2 Aによれば、 上述したように、 J P E G符号化さ. れた画像の復号処理と、 その画質を向上させるための向上処理とが、 同時に施さ れることとなるので、 J P E G符号化された画像から、 効率的に、 高画質化され た復号画像を得ることができる。
次に、 図 3 2は、 図 2 3の係数変換回路 2 3 2の他の構成例を示している。 な お、 図中、 図 2 6における場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略する。 すなわち、 図 3 2に示す係数変換回路 2 3 2 Bは、 逆 量子化回路 2 7 1が新たに設けられている他は、 基本的に、 図 2 6における場合 と同様に構成されている。
図 3 2に示す係数変換回路 2 3 2 Bにおいて、 逆量子化回路 2 7 1には、 ェン トロピ一復号回路 2 3 1 (図 2 3 ) において符号化デ一夕をエントロピー復号す ることにより得られるプロヅクごとの量子化 D C T係数が供給される。
なお、 エントロピー復号回路 2 3 1においては、 上述したように、 符号化デー 夕から、 量子化 D C T係数の他、 量子化テーブルも得られるが、 図 3 2の係数変 換回路 2 3 2 Bでは、 この量子化テーブルも、 ェントロピ一復号回路 2 3 1から 逆量子化回路 2 7 1に供給されるようになっている。
逆量子化回路 2 7 1は、 ェントロピー復号回路 2 3 1からの量子化 D C T係数 を同じくエントロピ一復号回路 2 3 1からの量子化テーブルにしたがって逆量子 化し、 その結果得られる D C T係数を予測夕ヅプ抽出回路 2 4 1及びクラス夕ッ ブ抽出回路 2 4 2に供給する。
したがって、 予測夕ヅプ抽出回路 2 4 1とクラス夕ヅプ抽出回路 2 4 2では、 量子化 D C T係数ではなく、 D C T係数を対象として、 予測タップとクラスタツ プがそれそれ構成され、 以降も、 D C T係数を対象として、 図 2 6における場合 と同様の処理が行われる。 このように、 図 3 2の係数変換回路 2 3 2 Bでは、 量子化 D C T係数ではなく、 D C T係数を対象として処理が行われるため、 係数テーブル記憶部 2 4 4に記憶 させるタップ係数は、 図 2 6における場合と異なるものとする必要がある。
そこで、 図 3 3は、 図 3 2の係数テーブル記憶部 2 4 4に記憶させる夕ヅプ係 数の学習処理を行う学習装置 2 7 0 Bの構成例を示している。 なお、 図中、 図 3 0における場合と対応する部分については、 同一の符号を付して、 その説明を適 宜省略する。 すなわち、 図 3 3に示す学習装置 2 7 0 Bは、 量子化回路 2 6 3の 後段に、 逆量子化回路 2 8 1が新たに設けられている他は、 図 3 0における場合 と基本的に同様に構成されている。
図 3 3に示す学習装置 2 7 0 Bにおいて、 逆量子化回路 2 8 1は、 逆量子化回 路 2 6 3が出力する量子化 D C T係数を図 3 2の逆量子化回路 2 7 1 と同様に逆 量子化し、 その結果得られる D C T係数を予測タップ抽出回路 2 6 4及びクラス 夕ヅプ抽出回路 2 6 5に供給する。 . したがって、 予測夕ヅプ抽出回路 2 6 4とクラス夕ヅプ抽出回路 2 6 5では、 量子化 D C T係数ではなく、 D C T係数を対象として、 予測夕'ヅプとクラス夕ヅ プがそれそれ構成され、 以降も、 D C T係数を対象として、 図 3 0における場合 と同様の処理が行われる。
その結果、 D C T係数が量子化され、 さらに逆量子化されることにより生じる 量子化誤差の影響を低減するタップ係数が得られることになる。
次に、 図 3 4は、 図 2 3の係数変換回路 2 3 2の他の構成例を示している。 な お、 図中、 図 2 6における場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略する。 すなわち、 図 3 4に示す係数変換回路 2 3 2 Cは、 ク ラス夕ヅプ抽出回路 2 4 2及びクラス分類回路 2 4 3が設けられていない他は、 基本的に、 図 2 6における場合と同様に構成されている。
したがって、 図 3 4に示す係数変換回路 2 3 2 Cでは、 クラスという概念がな いが、 このことはクラスが 1つであるとも考えるから、 係数テーブル記憶部 2 4 4には、 1クラスの夕ヅプ係数だけが記憶されており、 これを用いて処理が行わ れる。
このように、 図 3 4の係数変換回路 2 3 2 Cでは、 係数テーブル記憶部 2 4 4 に記憶されている夕ヅプ係数は、 図 2 6における場合と異なるものとなっている < そこで、 図 3 5は、 図 3 4の係数テーブル記憶部 2 4 4に記憶させる夕ヅプ係 数の学習処理を行う学習装置 2 7 0 Cの構成例を示している。 なお、 図中、 図 3 0における場合と対応する部分については、 同一の符号を付して、 その説明を適 宜省略する。 すなわち、 図 3 5に示す学習装置 2 7 0 Cは、 クラスタップ抽出回 路 2 6 5及びクラス分類回路 2 6 6が設けられていない他は、 図 3 0における場 合と基本的に同様に構成されている。.
したがって、 図 3 5の学習装置 2 7 0 Cでは、 正規方程式加算回路 2 6 7にお いて、 上述の足し込みがクラスには無関係に画素位置モード別に行われる。 そし て、 タヅプ係数決定回路 2 6 8において、 画素位置モードごとに生成された正規 方程式を解くことにより、 タップ係数が求められる。
次に、 図 3 6は、 図 2 3の係数変換回路 2 3 2の他の構成例を示している。 な お、 図中、 図 2 6又は図 3 2における場合と対応する部分については、 同一の符. 号を付して、 その説明を適宜省略する。 すなわち、 図 3 6に示す係数変換回路 2 3 2 Dは、 クラスタヅプ抽出回路 2 4 2及びクラス分類回路 2 4 3が設けられて おらず、 かつ逆量子化回路 2 7 1が新たに設けられている他は、 基本的に、 図 2 6における場合と同様に構成されている。
したがって、 図 3 6に示す係数変換回路 2 3 2 Dでは、 上述の図 3 4の係数変 換回路 2 3 2 Cと同様に、 係数テーブル記憶部 2 4 4には、 1クラスの夕ヅプ係 数だけが記憶されており、 これを用いて処理が行われる。
さらに、 図 3 6の係数変換回路 2 3 2 Dでは、 図 3 2の係数変換回路 2 3 2 C と同様に、 予測タップ抽出回路 2 4 1において、 量子化 D C T係数ではなく、 逆 量子化回路 2 7 1が出力する D C T係数を対象として、 予測タップが構成され、 以降も、 D C T係数を対象として、 処理が行われる。
したがって、 図 3 6の係数変換回路 2 3 2 Dでも、 係数テーブル記憶部 2 4 4 に記憶されている夕ップ係数は、 図 2 6における場合と異なるものとなっている c そこで、 図 3 7は、 図 3 6の係数テーブル記憶部 2 4 4に記憶させる夕ヅプ係 数の学習処理を行う学習装置 2 7 0 Dの構成例を示している。 なお、 図中、 図 3 0又は図 3 3における場合と対応する部分については、 同一の符号を付して、 そ の説明を適宜省略する。 すなわち、 図 3 7に示す学習装置 2 7 0 Dは、 クラス夕 ップ抽出回路 2 6 5及びクラス分類回路 2 6 6が設けられておらず、 かつ逆量子 化回路 2 8 1が新たに設けられている他は、 図 3 0における場合と基本的に同様 に構成されている。
したがって、 図 3 7の学習装置 2 7 0 Dでは、 予測夕ヅプ抽出回路 2 6 4にお いて、 量子化 D C T係数ではなく、 D C T係数を対象として、 予測夕ヅプが構成 され、 以降も、 D C T係数を対象として処理が行われる。 さらに、 正規方程式加 算回路 2 6 7において、 上述の足し込みがクラスには無関係に行われ、 タップ係 数決定回路 2 6 8において、 クラスと無関係に生成された正規方程式を解くこと により、 夕ヅブ係数が求められる。
次に、 以上においては、 静止画を圧縮符号化する J P E G符号化された画像を 対象としたが、 本発明は、 動画を圧縮符号化する、 例えば、 M P E G符号化され た画像を対象とすることも可能である。
すなわち、 図 3 8は、 M P E G符号化が行われる場合の図 2のエンコーダ 2 1 の構成例を示している。
この図 3 8に示すエンコーダ 2 2 1は、 M P E G符号化の対象である動画を構 成するフレーム （又はフィールド） は、 順次、 動き検出回路 2 9 1と演算器 2 9 2に供給される。
動き検出回路 2 9 1は、 そこに供給されるフレームについて、 1 6 X 1 6画素 のマクロブロック単位で、 動きベクトルを検出し、 エントロピ一符号化回路 2 9 6及び動き補償回路 3 0 0に供給する。
演算器 2 9 2は、 そこに供給される画像が Iピクチャであれば、 そのままプロ ヅク化回路 2 9 3に供給し、 Pピクチャ又は Bピクチャであれば、 動き補償回路 3 0 0から供給される参照画像との差分を演算して、 その差分値をプロック化回 路 2 9 3に供給する。
ブロック化回路 2 9 3は、 演算器 2 9 2の出力を 8 x 8画素の画素ブロックに ブロック化し、 D C T回路 2 9 4に供給する。 0 0 11回路2 9 4は、 ブロック化 回路 2 9 3からの画素ブロックを D C T処理し、 その結果得られる D C T係数を 量子化回路 2 9 5に供給する。 量子化回路 2 9 5は、 D C T回路 2 9 3からのブ 口ック単位の D C T係数を所定の量子化ステップで量子化し、 その結果得られる 量子化 D C Τ係数をェントロピ一符号化回路 2 9 6に供給する。 ェントロピー符 号化回路 2 9 6は、 量子化回路 2 9 5からの量子化 D C T係数をェントロピー符 号化し、 動き検出回路 2 9 1からの動きベクトルや、 その他の必要な情報を付加 して、 その結果得られる符号化デ一夕、 例えば、 M P E Gトランスポートストリ ームを M P E G符号化結果として出力する。
量子化回路 2 9 5が出力する量子化 D C T係数のうち、 Iピクチャ及び Pピク チヤは、 後で符号化される. Pピクチャや Bピクチヤの参照画像として用いるのに ローカルデコードする必要があるため、 エントロピー符号化回路 2 9 6の他、 逆 量子化回路 2 9 7にも供給される。
逆量子化回路 2 9 7は、 量子化回路 2 9 5からの量子化 D C T係数を逆量子化 することにより、 D C T係数とし、 逆 D C T回路 2 9 8に供給する。 逆 D C T回 路 2 9 8は、 逆量子化回路 2 9 7からの D C T係.数を逆 D C T処理し、 演算器 2 9 9に出力する。 演算器 2 9 9には、 逆 D C T回路 2 9 8の出力の他、 動き補償 回路 3 0 0が出力する参照画像も供給されるようになっている。 演算器 2 9 9は、 逆 D C T回路 2 9 8の出力が Pピクチャのものである場合には、 その出力と動き 補償回路 3 0 0の出力とを加算することで、 元の画像を復号し、 動き補償回路 3 0 0に供給する。 また、 演算器 2 9 9は、 逆 D C T回路 2 9 8の出力が Iピクチ ャのものである場合には、 その出力は、 Iピクチャの復号画像となっているので、 そのまま、 動き補償回路 3 0 0に供給する。
動き補償回路 3 0 0は、 演算器 2 9 9から供給される、 ローカルデコードされ た画像に対して、 動き検出回路 2 9 1からの動きぺクトルにしたがった動き補償 を施し、 その動き補償後の画像を参照画像として演算器 2 9 2及び演算器 2 9 9 に供給する。
そして、 図 2 3のデコーダ 2 2 2では、 M P E G符号化された符号化データも 効率的に高画質の画像に復号することができる。
すなわち、 符号化デ一夕は、 エントロピー復号回路 2 3 1に供給され、 ェント 口ピ一復号回路 2 3 1は、 符号化デ一夕をェント口ピー復号する。 このェント口 ピー復号の結果得られる量子化 D C T係数、 動きベクトル、 その他の情報は、 ェ ントロピー復号回路 2 3 1から係数変換回路 2 3 2 Dに供給される。
係数変換回路 2 3 2 Dは、 ェントロピー復号回路 2 3 1からの量子化 D C T係 数 Qと、 学習を行うことにより求められたタップ係数を用いて、 所定の予測演算 を行うとともに、 ェントロピー復号回路 2 3 1からの動きべクトルにしたがった 動き補償を必要に応じて行うことにより、 量子化 D C T係数を高画質の画素値に 復号し、 その高画質の画素値でなる高画質ブロックをブロック分解回路 2 3 3に 供給する。
プロック分解回路 2 3 3は、 係数変換回路 2 3 2 Dにおいて得られた高画質ブ ロックのブロック化を解くことで、 横及び縦の画素数がいずれも、 M P E G符号 化された画像の例えば 2倍になった高画質の復号画像を得て出力する。
次に、 図 3 9は、 デコーダ 2 2 2において M P E G符号化された符号化デ一夕 を復号する場合の図 2 3の係数変換回路 2 3 2の構成例を示している。 なお、 図 中、 図 3 6における場合と対応する部分については、 同一の符号を付して、 その 説明を適宜省略する。 すなわち、 図 3 9に示す係数変換回路 2 3 2 Eは、 積和演 算回路 2 4 5の後段に演算器 3 1 4及び動き補償回路 3 1 6が設けられている他 は、 図 3 6における場合と基本的に同様に構成されている。
したがって、 図 3 9に示す係数変換回路 2 3 2 Eでは、 量子化 D C T係数が逆 量子化回路 2 7 1において逆量子化され、 その結果得られる D C T係数を用いて、 予測夕ヅプ抽出回路 2 4 1において予測タップが構成される。 そして、 積和演算 回路 2 4 5が、 その予測夕ヅプと係数テ一ブル記憶部 2 4 4に記憶された夕ヅプ 係数とを用いた予測演算を行うことにより、 横及び縦の画素数がいずれも、 元の 画像の 2倍になった高画質のデータを出力する。
そして、 演算器 3 1 4は、 積和演算回路 2 4 5の出力を必要に応じて動き補償 回路 3 1 6の出力と加算することで、 横及び縦の画素数がいずれも元の画像の 2 倍になった高画質の画像を復号し、 ブロック分解回路 2 3 3 (図 2 3 ) に出力す る。
すなわち、 Iピクチャについては、 積和演算回路 2 4 5の出力は、 横及び縦の 画素数がいずれも、 元の画像の 2倍になった高画質の画像となっているので、 演 算器 3 1 4は、 積和演算回路 2 4 5の出力をそのままプロック分解回路 2 3 3に 出力する。
また、 Pピクチャ又は Bピクチャについては、 積和演算回路 2 4 5の出力は、 横及び縦の画素数がいずれも、 元の画像の 2倍になった高画質の画像と、 高画質 の参照画像との差分となっているから、 演算器 3 1 4は、 積和演算回路 2 4 5の 出力を動き補償回路 3 1 6から供給される高画質の参照画像と加算することで、 横及び縦の画素数がいずれも、 元の画像の 2倍になった高画質の画像に復号し、 ブロック分解回路 2 3 3に出力する。
一方、 動き補償回路 3 1 6は、 演算器 3 1 4が出力する高画質の復号画像のう ち、 Iピクチャ及び： Pピクチャを受信し、 その Iピクチャ又は Pピクチャの高画 質の復号画像に対して、 ェントロピー復号回路 2 3 1 (図 2 3 ) からの動きべク トルを用いた動き補償を施すことにより、 高画質の参照画像を得て、 演算器 3 1 4に供給する。
なお、 ここでは、 復号画像の横及び縦の画素数がいずれも元の画像の 2倍にな つているので、 動き補償回路 3 1 6は、 例えば、 エントロピ一復号回路 2 3 1か らの動きべクトルの横方向及び縦方向の大きさをいずれも 2倍にした動きべクト ルにしたがって動き補償を行う。 '
次に、 図 4 0は、 図 3 9の係数テーブル記憶部 2 4 4に記憶させるタップ係数 を学習する学習装置 2 7 0 Eの構成例を示している。 なお、 図中、 図 3 7におけ る場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略す る。
この図 4 0に示す学習装置 2 7 0 Eにおいて、 間引き回路 3 2 0には、 学習用 の H D画像が教師デ一夕として入力され、 間引き回路 3 2 0は、 例えば、 図 3 0 の間引き回路 2 6 0と同様に、 教師データとしての H D画像の画素を間引き、 そ の横及び縦の画素数をいずれも 1 / 2にした S D画像である準教師データを生成 する。 そして、 この準教師データとしての S D画像は、 動きベクトル検出回路 3 2 1及び演算器 3 2 2に供給される。
動きべクトル検出回路 3 2 1、 演算器 3 2 2、 プロヅク化回路 3 2 3、 D C T 回路 3 2 4、 量子化回路 3 2 5、 逆量子化回路 3 2 7、 逆 D C T回路 3 2 8、 演 算器 3 2 9又は動き補償回路 3 3 0は、 図 3 8の動きべクトル検出回路 2 9 1、 演算器 2 9 2、 プロック化回路 2 9 3、 0〇"]：回路2 9 4、 量子化回路 2 9 5、 逆量子化回路 2 9 7、 逆 D C T回路 2 9 8、 演算器 2 9 9又は動き補償回路 3 0 0とそれそれ同様の処理を行い、 これにより、 量子化回路 1 2 5からは、 図 3 8 の量子化回路 2 9 5が出力するのと同様の量子化 D C T係数が出力される。 量子化回路 3 2 5が出力する量子化 D C T係数は、 逆量子化回路 2 8 1に供給 され、 逆量子化回路 2 8 1は、 量子化回路 3 2 5からの量子化 D C T係数を逆量 子化し、 D C T係数に変換して、 予測タップ抽出回路 2 6 4に供給する。 予測夕 ップ抽出回路 2 6 4は、 逆量子化回路 2 8 1からの D C T係数から、 予測タップ を構成し、 生徒データとして、 正規方程式加算回路 2 6 7に供給する。
一方、 教師データとしての H D画像は、 間引き回路 3 2 0の他、 演算器 3 3 2 にも供給されるようになっている。 演算器 3 3 2は、 教師データとしての H D画 像から、 必要に応じて、 補間回路 3 3 1の出力を減算し、 正規方程式加算回路 2 6 7に供給する。 .
すなわち、 補間回路 3 3 1は、 動き補償回路 3 3 0が出力する S D画像の参照 画像の横及び縦の画素数を 2倍にした高画質の参照画像を生成し、 演算器 3 3 2 に供給する。
演算器 3 3 2は、 そこに供給される H D画像が Iピクチャである場合には、 そ の Iピクチャの H D画像をそのまま教師デ一夕として、 正規方程式加算回路 2 6 7に供給する。 また、 演算器 3 3 2は、 そこに供給される H D画像が Pピクチャ 又は Bピクチャである場合には、 その Pピクチャ又は Bピクチャの H D画像と、 補間回路 1 3 1が出力する高画質の参照画像との差分を演算することにより、 演 算器 3 2 2が出力する S D画像 （準教師データ） についての差分を高画質化した ものを得て、 これを教師デ一夕として正規方程式加算回路 2 6 7に出力する。 なお、 補間回路 3 3 1では、 例えば、 単純な補間により画素数を増加させるこ とが可能である。 また、 補間回路 3 3 1では、 例えば、 クラス分類適応処理によ り画素数を増加させることも可能である。 さらに、 演算器 3 3 2では、 教師デー 夕としての H D画像を M P E G符号化し、 そのローカルデコードを行って動き補 償したものを参照画像として用いるようにすることが可能である。
正規方程式加算回路 2 6 7は、 演算器 3 3 2の出力を教師データとするととも に、 逆量子化回路 2 8 1からの予測夕ップを生徒データとして、 上述したような 足し込みを行い、 これにより、 正規方程式を生成する。
そして、 タップ係数決定回路 2 6 8は、 正規方程式加算回路 2 6 7で生成され た正規方程式を解くことにより、 タップ係数を求め、 係数テーブル記憶部 2 6 9 に供給して記憶させる。.
図 3 9の積和演算回路 2 4 5では、 このようにして求められた夕ヅプ係数を用 いて、 M P E G符号化された符号化デ一夕が復号されるので、 やはり、 M P E G 符号化された画像の復号処理と、 その画質を向上させるための処理とを同時に施 すことができ、 したがって、 M P E G符号化された画像から、 効率的に、 高画質 の、 すなわち、 この実施の形態では、 横及び縦の画素数がいずれも 2倍になった H D画像である復号画像を得ることができる。
なお、 図 3 9の係数変換回路 2 3 2 Eは、 逆量子化回路 2 7 1を設けずに構成 することが可能である。 この場合、 図 4 0の学習装置 2 7 0 Eは、 逆量子化回路 2 8 1を設けずに構成すれば良い。
また、 図 3 9の係数変換回路 2 3 2 Eは、 図 2 6における場合と同様に、 クラ ス夕ップ抽出回路 2 4 2及びクラス分類回路 2 4 3を設けて構成することが可能 である。 この場合、 図 4 0の学習装置 2 7 0 Eは、 図 3◦における場合のように、 クラスタップ抽出回路 2 6 5及びクラス分類回路 2 6 6を設けて構成すれば良い c さらに、 上述の場合には、 デコーダ 2 2 2 (図 2 3 ) において、 元の画像の空 間解像度を 2倍に向上させた復号画像を得るようにしたが、 デコーダ 2 2 2では、 元の画像の空間解像度を任意の倍数にした復号画像や、 さらには、 元の画像の時 間解像度を向上させた復号画像を得るようにすることも可能である。
すなわち、 例えば、 M P E G符号化する対象の画像が図 4 1 Aに示すような時 間解像度が低いものである場合に、 デコ一ダ 2 2 2では、 その画像を M P E G符 号化した符号化デ一夕を図 4 1 Bに示すような元の画像の時間解像度を 2倍にし た画像に復号するようにすることが可能である。 さらには、 例えば、 M P E G符 号化する対象の画像が図 4 2 Aに示すような、 映画で用いられる 2 4フレーム Z 秒の画像である場合に、 デコーダ 2 2 2では、 その画像を M P E G符号化した符 号化デ一夕を図 4 2 Bに示すような元の画像の時間解像度を 6 0 / 2 4倍にした 6 0フレーム/秒の画像に復号するようにすることが可能である。 この場合、 い わゆる 2— 3プルダウンを容易に行うことができる。
ここで、 上述のように、 デコーダ 2 2 2において、 時間解像度を向上させる場 合には、 予測夕ヅプゃクラスタップは、 例えば、 図 4 3に示すように、 2以上の フレームの D C T係数から構成するようにすることが可能である。
また、 デコーダ 2 2 2では、 空間解像度又は時間解像度のうちのいずれか一方 だけではなく、 両方を向上させた復号画像を得るようにすることも可能である。 以上のように、 本発明によれば、 学習を行うことにより求められたタップ係数 を取得し、 そのタップ係数及び変換データを用いて、 所定の予測演算を行うこと により、 変換デ一夕を元のデータに復号し、 かつ、 その元のデ一夕に所定の処理 を施した処理データを得るので、 効率的に変換デ一タを復号し、 かつその復号さ れたデ一夕に所定の処理を施すことが可能となる。
また、 本発明によれば、 教師となる教師データに、.所定の処理に基づく処理を 施し、 その結果得られる準教師データを少なくとも直交変換又は周波数変換する ことにより、 生徒となる生徒データを生成して、 タップ係数及び生徒データを用 いて予測演算を行うことにより得られる教師データの予測値の予測誤差が統計的 に最小になるように学習を行うことにより、 タップ係数を求める。 このようにし て求めた夕ップ係数を用いることにより、 効率的に直交変換又は周波数変換され たデ一夕を復号し、 かつその復号されたデ一夕に所定の処理を施すことが可能と なる。
また、 次に本発明の他の実施の形態について説明する。
次に説明する実施の形態では、 図 2に示したデコーダ 2 2として図 4 4に示す ようにェントロピー復号回路 4 3 1、 係数変換回路 4 3 2及びプロック分解回路 4 3 3からなるデコーダ 4 2 2を用いて符号化デ一夕を復号する。
符号化データは、 ェントロピー復号回路 4 3 1に供給されるようになっている, ェントロピー復号回路 4 3 1は、 符号化デ一夕をェントロピー符号化された量子 化 D C T係数と、 それに付加されている付加情報としての量子化テーブルとに分 離する。 さらに、 ェントロピー復号回路 4 3 1は、 ェントロピー符号化された量 子化 D C T係数をェントロピー復号し、 その結果得られるブロックごとの量子化 D C T係数 Qを付加情報としての量子化テーブルとともに係数変換回路 4 3 2に 供給する。
係数変換回路 4 3 2は、 付加情報としての量子化テーブルをいわば補助的に用 いながら、 量子化 D C T係数 Qと学習を行うことにより求められるタツプ係数と を用いて、 所定の予測演算を行うことにより、 ブロックごとの量子化 D C T係数 を 8 X 8画素の元のプロヅクに復号する。
プロック分解回路 4 3 3は、 係数変換回路 4 3 2において得られる、 復号され たブロック （復号ブロック） のブロック化を解くことで、 復号画像を得て出力す る。
このデコーダ 4 2 2は、 図 4 5のフローチヤ一トに示す手順 （ステップ S 2 0 1 ~ S 2 0 3 ) に従ってデコード処理を行う。
すなわち、 符号化デ一夕は、 エントロピー復号回路 4 3 1に順次供給され、. ス. テヅプ S 2 0 1において、 ェントロピ一復号回路 4 3 1は、 符号化デ一夕.をェン ト口ピ一復号し、 プロックごとの量子化 D C T係数 Qを係数変換回路 4 3 2に供 給する。 また、 エントロピ一復号回路 4 3 1は、 符号化デ一夕から、 そこに含ま れる付加情報としての量子化テーブルを分離して、 係数変換回路 4 3 2に供給す る。 係数変換回路 4 3 2は、 ステップ S 2 0 2において、 量子化テーブル及び夕 ップ係数を用いた予測演算を行うことにより、 ェントロピー復号回路 4 3 1から のプロヅクごとの量子化 D C T係数 Qをプロヅクごとの画素値に復号し、 プロヅ ク分解回路 4 3 3に供給する。 ブロック分解回路 4 3 3は、 ステップ S 2 0 3に おいて、 係数変換回路 4 3 2からの画素値のプロヅク （復号プロヅク） のブロッ ク化を解くブロック分解を行い、 その結果得られる復号画像を出力して、 処理を 終了する。
図 4 6は、 このデコーダ 4 2 2において、 クラス分類適応処理により量子化 D C T係数を画素値に復号する係数変換回路 4 3 2の構成例を示している。
この図 4 6に示す係数変換回路 4 3 2 Aにおいて、 ェントロピー復号回路 4 3 1 (図 4 4 ) が出力するブロックごとの量子化 D C T係数は、 予測夕ヅプ抽出回 路 4 4 1及びクラスタップ抽出回路 4 4 2に供給されるようになっている。 付加 情報としての量子化テーブルは、 クラス分類回路 4 4 3に供給されるようになつ ている。
予測夕ップ抽出回路 4 4 1は、 そこに供給される量子化 D C T係数のプロック (以下、 適宜、 D C Tブロックという） に対応する画素値のブロック （この画素 値のブロックは、 現段階では存在しないが、 仮想的に想定される） （以下、 適宜、 画素ブロックという） を順次注目画素プロヅクとし、 さらに、 その注目画素プロ ックを構成する各画素を例えばいわゆるラスタスキャン順に順次注目画素とする ( さらに、 予測タヅプ抽出回路 4 4 1は、 注目画素の画素値を予測するのに用いる 量子化 D C T係数を抽出し、 予測タップとする。
すなわち、 予測タップ抽出回路 4 4 1は、 例えば、 上述の図 6に示したように、 注目画素が属する画素プロックに対応する D C Tプロックのすベての量子化 D C T係数、 すなわち、 8 X 8の 6 4個の量子化 D C T係数を予測夕ヅプとして抽出 する。 したがって、 この実施の形態では、 ある画素プロヅクのすベての画素につ. いて、 同一の予測夕ヅプが構成される。 但し、 予測タップは、.注目画素ごとに、 異なる量子化 D C T係数で構成することが可能である。
予測夕ップ抽出回路 4 4 1において得られる、 画素プロックを構成する各画素 についての予測夕ヅプ、 すなわち、 6 4画素それそれについての 6 4セヅトの予 測夕ヅプは、 積和演算回路 4 4 5に供給される。 ただし、 この実施の形態では、 上述したように、 画素ブロックのすべての画素について、 同一の予測夕ヅプが構 成されるので、 実際には、 1つの画素プロヅクに対して、 1セットの予測タップ を積和演算回路 4 4 5に供給すれば良い。
クラスタヅプ抽出回路 4 4 2は、 注目画素を幾つかのクラスのうちのいずれか に分類するためのクラス分類に用いる量子化 D C T係数を抽出して、 クラス夕ッ プとする。 このクラス夕ヅブ抽出回路 4 4 2は、 例えば、 予測タップ抽出回路 4 4 1における場合と同様に、 上述の図 6に示したような注目画素が属する画素ブ 口ヅクに対応する D C Tブロックの 8 X 8個のすべての量子化 D C T係数をクラ スタツプとして抽出する。
ここで、 クラス夕ヅブ抽出回路 4 4 2は、 画素プロヅクごとに、 その画素プロ ヅクをクラス分類するために、 その画素ブロックに対応する D C Tプロヅクの 6 4個の量子化 D C T係数を抽出して、 クラス夕ヅプとするようになつている。 なお、 予測夕ヅプゃクラス夕ヅプを構成する量子化 D C T係数は、 上述したパ ターンのものに限定されるものではない。
クラス夕ヅプ抽出回路 44 2において得られる、 注目画素ブロックのクラス夕 ヅブは、 クラス分類回路 443に供給されるようになっている。 クラス分類回路 44 3は、 クラス夕ヅプ抽出回路 44 2からのクラス夕ヅプと、 付加情報として の量子化テーブルに基づき、 注目画素ブロックをクラス分類し、 その結果得られ るクラスに対応するクラスコードを出力する。
ここで、 量子化 D C T係数で構成されるクラス夕ヅプに基づいてクラス分類を 行う方法としては、 例えば、 ADR C等を採用することができる。
AD R Cを用いる方法では、 クラス夕ヅプを構成する量子化 D C T係数が A D R C処理され、 その結果得られる ADR Cコードにしたがって注目画素プロヅク のクラスが決定される。
この実施の形態においても、 クラス分類回路 44 3において、 クラス夕ヅプを 構成する量子化 D C T係数から、 重要性の高い特徴量を抽出し、 その特徴量に基 づいてクラス分類を行うことで、 クラス数を低減するようになっている。
図 4 7は、 図 4 6のクラス分類回路 44 3の構成例を示している。
この図 4 7に示すクラス分類回路 44 3において、 クラスタヅプは、 電力演算 回路 4 5 1に供給されるようになっている。 電力演算回路 4 5 1は、 クラスタヅ プを構成する量子化 D C T係数を幾つかの空間周波数帯域のものに分け、 各周波 数帯域の電力を演算する。
電力演算回路 4 5 1は、 クラス夕ヅプを構成する 8 X 8個の量子化 D CT係数 を上述の図 6に示したような 4つの空間周波数帯域 S。， S i, S2， S 3に分割す る。
さらに、 電力演算回路 4 5 1は、 空間周波数帯域 S。， S i, S2， S3それそれ について、 量子化 D C T係数の A C成分の電力 P。， P l 5 P2， P3を演算し、 ク ラスコード生成回路 4 5 2に出力する。
クラスコ一ド生成回路 4 5 2は、 電力演算回路 4 5 1からの電力 P。， P i, P 2 , P 3を閾値テーブル記憶部 4 5 3に記憶された対応する閾値 ΤΗ。， Ύ Ε ι, Τ Ή. 2 , ΤΗ3とそれぞれ比較し、 それそれの大小関係に基づいて、 クラスコードを 出力する。 すなわち、 クラスコード生成回路 4 5 2は、 電力 P。と閾値 T H。とを 比較し、 その大小関係を表す 1ビットのコ一ドを得る。 同様に、 クラスコード生 成回路 4 5 2は、 電力 と閾値 T H 電力 P 2と閾値 T H 2、 電力 P 3と閾値 T H 3をそれそれ比較することにより、 それそれについて 1 ビッ トのコードを得る。 そして、 クラスコード生成回路 4 5 2は、 以上のようにして得られる 4つの 1ビ ットのコ一ドを例えば所定の順番で並べることにより得られる 4ビットのコード (したがって、 0〜 1 5のうちのいずれかの値） を注目画素ブロックの第 1のク ラスを表すクラスコード （以下、 適宜、 電力クラスコードという） とする。
さらに、 クラスコード生成回路 4 5 2には、 付加情報としての量子化テーブル が供給されるようになっている。 クラスコ一ド生成回路 4 5 2は、 その付加情報 に基づいてクラス分類を行い、 これにより、 注目画素プロヅクの第 2のクラスを 表すクラスコードを得る。 すなわち、 クラスコード生成回路 4 5 2は、 例えば、 いま、 J P E G符号化において、 前述の図 1 Bに示した 2種類の量子化.テ一ブル のうちのいずれかを用いて量子化が行われるとした場合には、 付加情報としての 量子化テ一ブルがその 2種類の量子化テーブルのうちのいずれであるかを判定し、 その判定結果を表す 1ビットのコードを注目画素プロヅクの第 2のクラスを表す クラスコード （以下、 適宜、 付加情報クラスコードという） とする。
そして、 クラスコード生成回路 4 5 2は、 第 1のクラスを表す 4ビヅ トの電力 クラスコードに、 第 2のクラスを表す 1ビヅトの付加情報クラスコードを付加す ることで、 注目画素プロヅクについての最終的なクラスコードを生成して出力す る。 したがって、 この実施の形態では、 最終的なクラスコードは 5ビヅ トであり、 注目画素プロヅクは、 2 5 ( = 3 2 ) 個のクラスのうちのいずれか （例えば、 0へ 3 1のうちのいずれかの値で表されるクラス） にクラス分類されることになる。 なお、 量子化テーブルに基づいてクラス分類を行う方法は、 上述したものに限 定されるものではない。 すなわち、 クラスコ一ド生成回路 4 5 2においては、 付 加情報として供給される量子化テーブル （J P E G符号化で、 実際に使用された 量子化テーブル） と比較する標準パターンとしての量子化テーブルを複数用意し ておき、 付加情報としての量子化テーブルに最も近似する標準パターンとしての 量子化テーブルを検出し、 その検出結果に対応するコードを付加情報クラスコ一 ドとして出力するようにすることが可能である。
閾値テーブル記憶部 4 5 3は、 空間周波数帯域 S。〜 S 3の電力 P。〜P 3とそれ それ比較する閾値 T H。〜T H 3を記憶している。
なお、 上述の場合には、 クラス分類処理に、 量子化 D C T係数の D C成分 X。 が用いられないが、 この D C成分 x。 をも用いてクラス分類処理を行うことも可 能である。
図 4 6に戻り、 以上のようなクラス分類回路 4 4 3が出力するクラスコードは、 係数テーブル記憶部 4 4 4にァドレスとして与えられる。
係数テーブル記憶部 4 4 4は、 後述するような学習処理が行われることにより 得られるクラスごとの夕ップ係数が登録された係数テーブルを記憶しており、 ク ラス分類回路 4 4 3が出力するクラスコードに対応するアドレスに記憶されてい るクラスのタップ係数を積和演算回路 4 4 5に出力する。
この実施の形態においても、 画素ブロックがクラス分類されるから、 注目画素 プロヅクについて、 1つのクラスコードが得られる。 一方、 画素ブロックは、 こ の実施の形態では 8 X 8画素の 6 4画素で構成されるから、 注目画素ブロックに • ついて、 それを構成する 6 4画素それそれを復号するための 6 4セヅトの夕ヅプ 係数が必要である。 したがって、 係数テ一ブル記憶部 4 4 4には、 1つのクラス コードに対応するァドレスに対して、 6 4セットの夕ヅプ係数が記憶されている < 積和演算回路 4 4 5は、 予測夕ップ抽出回路 4 4 1が出力する予測夕ヅプと、 係数テーブル記憶部 4 4 4が出力するタップ係数とを取得し、 その予測夕ヅプと タップ係数とを用いて、 上述の式 （ 1 ) に示した線形予測演算 （積和演算） を行 い、 その結果得られる注目画素プロックの 8 X 8画素の画素値を対応する D C T ブロヅクの復号結果としてブロック分解回路 4 3 3 (図 4 4 ) に出力する。
予測夕ップ抽出回路 4 4 1においては、 上述したように注目画素プロヅクの各 画素が順次注目画素とされるが、 積和演算回路 4 4 5は、 注目画素ブロックの注 目画素となっている画素の位置に対応した動作モード （以下、 適宜、 画素位置モ ードという） となって処理を行う。
すなわち、 例えば、 注目画素ブロックの画素のうちラス夕スキャン順で i番目 の画素を P iと表し、 画素 P iが注目画素どなっている場合、 積和演算回路 4 4 5 は、 画素位置モード # iの処理を行う。
具体的には、 上述したように、 係数テーブル記憶部 4 4 4は、 注目画素ブロッ クを構成する 6 4画素それそれを復号するための 6 4セットの夕ップ係数を出力 するが、 そのうちの画素 p iを復号するための夕ヅプ係数のセヅトを と表すと、 積和演算回路 4 4 5は、 動作モードが画素位置モード # iのときには、 予測タヅ プと 6 4セットの夕ヅプ係数のうちのセヅト Wi とを用いて、 上述の式 （ 1 ) の 積和演算を行い、 その積和演算結果を画素 P iの復号結果とする。
次に、 図 4 8のフローチャートを参照して、 図 4 6の係数変換回路 4 3 2 Aの 処理について説明する。
ェントロピー復号回路 4 3 1が出力するプロックごとの量子化 D C T係数は、 予測タップ抽出回路 4 4 1及びクラス夕ップ抽出回路 4 4 2において順次受信さ れ、 予測夕ヅプ抽出回路 4 4 1は、 そこに供給される量子化 D C T係数のブロヅ ク （D C Tプロヅク） に対応する画素ブロックを順次注目画素プロヅク.とする。 そして、 クラス夕ヅプ抽出回路 4 4 2は、 ステップ S 2 1 1において、 そこで 受信した量子化 D C T係数の中から、 注目画素プロヅクをクラス分類するのに用 いるものを抽出して、 クラスタップを構成し、 クラス分類回路 4 4 3に供給する < クラス分類回路 4 4 3には、 クラス分類回路 4 4 2からのクラスタツプが供給 される他、 ェントロピー復号回路 4 3 1が出力する付加情報としての量子化テー ブルも供給されるようになっている。 クラス分類回路 4 4 3は、 ステップ S 2 1 2において、 クラス夕ヅプ抽出回路 4 4 2からのクラスタヅプ及びェント口ピー 復号回路 4 3 1からの量子化テーブルを用いて、 注目画素プロックをクラス分類 し、 その結果得られるクラスコードを係数テーブル記憶部 4 4 4に出力する。 すなわち、 ステップ S 2 1 2では、 図 4 9のフローチャートに示すように、 ま ず最初に、 ステップ S 2 2 1において、 クラス分類回路 4 4 3 (図 4 7 ) の電力 演算回路 4 5 1が、 クラス夕ップを構成する 8 X 8個の量子化 D C T係数を上述 の図 8に示した 4つの空間周波数帯域 S。〜 S 3に分割し、 それそれの電力 P。 〜 P 3 を演算する。 この電力 P。〜P 3は、 電力演算回路 4 5 1からクラスコード生 成回路 4 5 2に出力される。
クラスコード生成回路 4 5 2は、 ステップ S 2 2 2において、 閾値テーブル記 憶部 4 5 3から閾値 ！^〜丁！^を読み出し、 電力演算回路 4 5 1からの電力 P 0〜P 3それぞれと、 閾値 T H。〜T H 3それそれとを比較し、 それそれの大小関係 に基づいた電力クラスコードを生成する。
さらに、 クラスコード生成回路 4 5 2は、 ステヅプ S 2 2 3において、 付加情 報としての量子化テーブルを用いて、 付加情報クラスコードを生成し、 ステヅプ S 2 2 4に進む。 ステップ S 2 2 4では、 クラスコード生成回路 4 5 2は、 電力 クラスコードと付加情報クラスコードとから、 最終的なクラスコ一ドを生成し、 リターンする。
図 4 8に戻り、 ステヅプ S 2 1 2において以上のようにして得られるクラスコ ードは、 クラス分類回路 4 4 3から係数テーブル記憶部 4 4 4に対して、 ァドレ スとして与えられる。
係数テーブル記憶部 4 4 4は、 クラス分類回路 4 4 3からのアドレスとしての クラスコードを受信すると、 ステップ S 2 1 3において、 そのアドレスに記憶さ れている 6 4セヅトの夕ヅプ係数を読み出し、 積和演算回路 4 4 5に出力する。 そして、 ステップ S 2 1 4に進み、 予測夕ヅプ抽出回路 4 4 1は、 注目画素ブ ロックの画素のうち、 ラス夕スキャン順で、. まだ、 注目画素とされていない画素 を注目画素として、 その注目画素の画素値を予測するのに用いる量子化 D C T係 数を抽出し、 予測タヅプとして構成する。 この予測タップは、 予測夕ヅプ抽出回 路 4 4 1から積和演算回路 4 4 5に供給される。
ここで、 この実施の形態では、 各画素ブロックごとに、 その画素ブロックのす ベての画素について、 同一の予測夕ヅプが構成されるので、 実際には、 ステップ S 2 1 4の処理は、 注目画素ブロックについて、 最初に注目画素とされる画素に 対してだけ行えば、 残りの 6 3画素に対しては、 行う必要がない。
積和演算回路 4 4 5は、 ステップ S 2 1 5において、 ステップ S 2 1 3で係数 テ一ブル記憶部 4 4 4が出力する 6 4セヅトのタヅブ係数のうち、 注目画素に対 する画素位置モードに対応する夕ップ係数のセッ トを取得し、 その夕ップ係数の セヅ トと、 ステヅプ S 2 1 4で予測夕ヅプ抽出回路 4 4 1から供給される予測夕 ップとを用いて、 上述の式 （ 1 ) に示した積和演算を行い、 注目画素の画素値の 復号値を得る。 そして、 ステヅプ S 2 1 6に進み、 予測夕ヅプ抽出回路 4 4 1は、 注目画素ブ ロックのすべての画素を注目画素として、 処理を行ったかどうかを判定する。 ス テヅプ S 2 1 6において、 注目画素プロックのすベての画素を注目画素として、 まだ処理を行っていないと判定された場合、 ステップ S 2 1 4に戻り、 予測タツ プ抽出回路 4 4 1は、 注目画素ブロックの画素のうち、 ラス夕スキャン順で、.ま だ、 注目画素とされていない画素を新たに注目画素として、 以下、 同様の処理を 繰り返す。
また、 ステップ S 2 1 6において、 注目画素プロヅクのすベての画素を注目画 素として、 処理を行ったと判定された場合、 すなわち、 注目画素ブロックのすべ ての画素の復号値が得られた場合、 積和演算回路 4 4 5は、 その復号値で構成さ れる画素ブロック （復号プロヅク） をブロック分解回路 4 3 3 (図 4 4 ) に出力 し、 処理を終了する。
. なお、 図 4 8のフローチヤ一トにしたがった処理は、 予測夕ヅプ抽出回路 4 4 1が新たな注目画素プロックを設定するごとに繰り返し行われる。
次に、 図 5 0は、 図 4 6の係数テーブル記憶部 4 4 4に記憶させるタップ係数 の学習処理を行う学習装置 ·4 6 O Aの構成例を示している。
この図 5 0に示す学習装置 4 6 0 Aにおいて、 プロヅク化回路 4 6 1には、 1 枚以上の学習用の画像デ一夕が学習時の教師となる教師データとして供給される ようになつている。 プロヅク化回路 4 6 1は、 教師デ一夕としての画像を J P E G符号化における場合と同様に 8 X 8画素の画素ブロックにブロック化する。
D C T回路 4 6 2は、 ブロック化回路 4 6 1がブロック化した画素プロヅクを 順次注目画素プロックとして読み出し、 その注目画素プロックを D C T処理する ことで D C T係数のプロヅクとする。 この D C T係数のブロックは、 量子化回路 4 6 3に供給される。
量子化回路 4 6 3は、 D C T回路 4 6 2からの D C T係数のプロヅクを J P E G符号化に用いられるのと同一の量子化テーブルにしたがって量子化し、 その結 果得られる量子化 D C T係数のブロック （D C Tブロック） を予測夕ヅプ抽出回 路 4 6 4及びクラスタップ抽出回路 4 6 5に順次供給する。
すなわち、 量子化回路 4 6 3は、 J P E G符号化に用いられる一般的な圧縮率 の幾つかを設定し、 各圧縮率に対応する量子化テーブルにしたがって、 D C T係 数を量子化して、 予測夕ップ抽出回路 4 6 4及びクラス夕ップ抽出回路 4 6 5に 順次供給する。 さらに、 量子化回路 4 6 3は、 量子化に用いた量子化テーブルを 付加情報としてクラス分類回路 4 6 6に供給する。 なお、 この量子化回路 4 6 3 が使用するのと同一の量子化テーブルが、 図 4 7のクラスコード生成回路 4 5 2 において、 標準パターンとして記憶されている。
予測夕ヅプ抽出回路 4 6 4は、 注目画素プロヅクの画素のうち、 ラス夕スキヤ ン順で、 まだ、 注目画素とされていない画素を注目画素として、 その注目画素に ついて、 量子化回路 4 6 3の出力から必要な量子化 D C T係数を抽出することで、 図 4 6の予測夕ヅプ抽出回路 4 4 1が構成するのと同一の予測夕ヅプを構成する ( この予測夕ヅプは、 学習時の生徒となる生徒デ一夕として、 予測タヅプ抽出回路 4 6 4から正規方程式加算回路 4 6 7に供給される。
クラス夕ヅプ抽出回路 4 6 5は、 注目画素プロヅクについて、 量子化回路.4 6 3の出力から必要な量子化 D C T係数を抽出することで図 4 6のクラス夕ヅプ抽 出回路 4 4 2が構成するのと同一のクラス夕ヅプを構成する。 このクラス夕ヅプ は、 クラスダヅブ抽出回路 4 6 5からクラス分類回路 4 6 6に供給される。
クラス分類回路 4 6 6は、 クラス夕ヅプ抽出回路 4 6 5からのクラス夕ヅプと 量子化回路 4 6 3からの付加情報としての量子化テーブルとを用いて、 図 4 6の クラス分類回路 4 4 3と同一の処理を行うことで、 注目画素ブロックをクラス分 類し、 その結果得られるクラスコードを正規方程式加算回路 4 6 7に供給する。 正規方程式加算回路 4 6 7は、 プロヅク化回路 4 6 1から教師デ一夕としての 注目画素の画素値を読み出し、 予測夕ップ構成回路 4 6 4からの生徒データとし ての予測夕ップを構成する量子化 D C T係数及び注目画素を対象とした足し込み を行う。
すなわち、 正規方程式加算回路 4 6 7は、 クラス分類回路 4 6 6から供給され るクラスコードに対応するクラスごとに、 予測夕ヅブ （生徒デ一夕） を用い、 上 述の式 （ 8 ) の行列 Aにおける各コンポーネントとなっている生徒データどうし の乗算 （x i n x i m) とサメーシヨン （∑) に相当する演算を行う。
さらに、 正規方程式加算回路 4 6 7は、 やはり、 クラス分類回路 4 6 6から供 給されるクラスコードに対応するクラスごとに、 予測夕ヅプ （生徒データ） 及び 注目画素 （教師デ一夕） を用い、 上述の式 （8 ) のベクトル Vにおける各コンポ 一ネントとなっている、 生徒データと教師デ一夕の乗算 （X i n Y i ) と、 サメー シヨン （∑) に相当する演算を行う。
なお、 正規方程式加算回路 4 6 7における、 上述のような足し込みは、 各クラ スについて、 注目画素に対する画素位置モードごとに行われる。 .
正規方程式加算回路 4 6 7は、 ブロック化回路 4 6 1に供給された教師画像を 構成する画素すベてを注目画素として、 以上の足し込みを行い、 これにより、 各 クラスについて画素位置モードごとに上述の式 （8 ) に示した正規方程式がたて られる。
タップ係数決定回路 4 6 8は、 正規方程式加算回路 4 6 7においてクラスごと に、 かつ画素位置モードごとに生成された正規方程式を解くことにより、 クラス ごとに 6 4セヅ トの夕ヅプ係数を求め、 係数テーブル記憶部 4 6 9の各クラスに 対応するアドレスに供給する。
なお、 学習用の画像として用意する画像の枚数や、 その画像の内容等によって は、 正規方程式加算回路 4 6 7において、 タップ係数を求めるのに必要な数の正 規方程式が得られないクラスが生じる場合があり得るが、 タップ係数決定回路 4 6 8は、 そのようなクラスについては、 例えば、 デフォルトの夕ヅプ係数を出力 する。
係数テーブル記憶部 4 6 9は、 夕ップ係数決定回路 4 6 8から供給されるクラ スごとの 6 4セヅ トのタヅプ係数を記憶する。
次に、 図 5 1のフローチャートを参照して、 図 5◦の学習装置 4 6 0 Aの処理 (学習処理） について説明する。
ブロック化回路 4 6 1には、 学習用の画像データが教師デ一夕として供給され、 ブロック化回路 4 6 1は、 ステップ S 2 3 1において、 教師デ一夕としての画像 データを J P E G符号化における場合と同様に 8 X 8画素の画素プロヅクにプロ ヅク化して、 ステップ S 2 3 2に進む。 ステップ S 2 3 2では、 D C T回路 4 6 2が、 プロヅク化回路 4 6 1がブロック化した画素ブロックを順次読み出し、 そ の注目画素ブロックを D C T処理することで D C T係数のプロヅクとし、 ステツ プ S 2 3 3に進む。
ステップ S 2 3 3では、 量子化回路 4 6 3が、 あらかじめ設定された量子化テ 一ブルのうちまだ注目量子化テーブルとされていないもののうちの 1つを注目量 子化テーブルにセットし、 クラス分類回路 4 6 6に供給して、 ステップ S 2 3 4 に進む。 ステップ S 2 3 4では、 量子化回路 4 6 3が、 D C T回路 4 6 2におい て得られた D C T係数のブロックを順次読み出し、 注目量子化テーブルにしたが つて量子化して、 量子化 D C T係数で構成されるプロヅク （D C Tブロック） ど する。
そして、 ステップ S 2 3 5に進み、 クラス夕ヅプ抽出回路 4 6 5は、 プロヅク 化回路 4 6 1でブロック化された画素プロヅクのうち、 まだ注目画素ブロックと されていないものを注目画素ブロックとする。 さらに、 クラスタップ抽出回路 4 6 5は、 注目画素プロ、ソクをクラス分類するのに用いる量子化 D C T係数を量子 化回路 4 6 3で得られた D C Tブロックから抽出して、 クラスタヅプを構成し、 クラス分類回路 4 6 6に供給する。 クラス分類回路 4 6 6は、 ステップ S 2 3 6 において、 図 4 9のフローチャートで説明した場合と同様に、 クラス夕ヅプ抽出 回路 4 6 5からのクラス夕ヅプ及び量子化回路 4 6 3からの注目量子化テーブル を用いて、 注目画素ブロックをクラス分類し、 その結果得られるクラスコードを 正規方程式加算回路 4 6 7に供給して、 ステップ S 2 3 7に進む。
ステップ S 2 3 7では、 予測夕ヅプ抽出回路 4 6 4が、 注目画素ブロックの画 素のうちラス夕スキャン順でまだ注目画素とされていない画素を注目画素として、 その注目画素について、 量子化回路 4 6 3の出力から必要な量子化 D C T係数を 抽出することで、 図 4 6の予測夕ップ抽出回路 4 4 1が構成するのと同一の予測 夕ヅプを構成する。 そして、 予測夕ヅプ抽出回路 4 6 4は、 注目画素についての 予測夕ヅプを生徒データとして正規方程式加算回路 4 6 7に供給し、 ステヅプ S 2 3 8に進む。
ステップ S 2 3 8では、 正規方程式加算回路 4 6 7は、 ブロック化回路 4 6 1 から教師デ一夕としての注目画素を読み出し、 生徒データとしての予測タップを 構成する量子化 D C T係数及び教師データとしての注目画素を対象として、 上述 の式 （8 ) の行列 Aとベクトル Vの上述したような足し込みを行う。 なお、 この 足し込みは、 クラス分類回路 4 6 6からのクラスコ一ドに対応するクラスごとに、 かつ、 注目画素に対する画素位置モードごとに行われる。
そして、 ステップ S 2 3 9に進み、 予測夕ヅプ抽出回路 4 6 4は、 注目画素ブ 口ックのすベての画素を注目画素として、 足し込みを行ったかどうかを判定する c ステップ S 2 3 9において、 注目画素プロヅクのすベての画素を注目画素として、 まだ足し込みを行っていないと判定された場合、 ステップ S 2 3 7に戻り、 予測 夕ップ抽出回路 4 6 4は、 注目画素プロヅクの画素のうちラスタスキャン順でま だ注目画素とされていない画素を新たに注目画素として、 以下、 同様の処理を繰 り返す。
また、 ステップ S 2 3 9において、 注目画素プロヅクのすベての画素を注目画 素として、 足し込みを行ったと判定された場合、 ステップ S 2 4 0に進み、 プロ ヅク化回路 4 6 1は、 教師デ一夕としての画像から得られたすべて.の画素プロヅ クについて、 注目画素ブロックとして処理を行ったかどうかを判定する。 ステヅ プ S 2 4 0において、 教師デ一夕としての画像から得られたすべての画素プロヅ クを注目画素ブロックとして、 まだ処理を行っていないと判定された場合、 ステ ヅプ S 2 3 5に'戻り、 プロック化回路 4 6 1でプロヅク化された画素プロヅクの うちまだ注目画素ブロックとされていないものが新たに注目画素ブロックとされ、 以下、 同様の処理が繰り返される。
一方、 ステップ S 2 4 0において、 教師データとしての画像から得られたすべ ての画素プロヅクについて注目画素プロヅクとして処理を行ったと判定された場 合、 ステップ S 2 4 1に進み、 量子化回路 4 6 3は、 あらかじめ設定された量子 化テーブルのすべてを注目量子化テ一ブルとして処理を行ったかどうかを判定す る。 ステップ S 2 4 1において、 あらかじめ設定された量子化テーブルのすべて について注目量子化テーブルとして処理を行っていないと判定された場合、 ステ ップ S 2 3 3に戻り、 すべての学習用の画像デ一夕を対象に、 以下、 ステップ S 2 3 3以降の処理が繰り返される。
また、 ステップ S 2 4 1において、 あらかじめ設定された量子化テーブルのす ベてを注目量子化テーブルとして処理を行ったと判定された場合、 ステップ S 2 4 2に進み、 タップ係数決定回路 4 6 8は、 正規方程式加算回路 4 6 7において 各クラスの画素位置モ一ドごとに生成された正規方程式を解くことにより、 各ク ラスごとに、 そのクラスの 6 4の画素位置モードそれそれに対応する 6 4セッ ト のタップ係数を求め、 係数テーブル記憶部 4 6 9の各クラスに対応するアドレス に供給して記憶させ、 処理を終了する。
以上のようにして、 係数テーブル記憶部 4 6 9に記憶された各クラスごとの夕 ップ係数が、 図 4 6の係数テーブル記憶部 4 4 4に記憶されている。
したがって、 係数テ一ブル記憶部 4 4 4に記憶された夕ップ係数は、 線形予測 演算を行うことにより得られる元の画素値の予測値の予測誤差 （ここでは、 自乗 誤差） が統計的に最小になるように学習を行うことにより求められたものであり、 その結果、 図 4 6の係数変換回路 4 3 2 Aによれば、 J P E G符号化された画像 を元の画像に限りなく近い画像に復号することができる。
また、 上述したように、 J P E G符号化された画像の復号処理とその画質を向 上させるための処理とが同時に施されることとなるので、 J P E G符号化された 画像から効率的に画質の良い復号画像を得ることができる。
なお、 この実施の形態では、 クラス分類回路 4 4 3、 4 6 6におけるクラス分 類をクラス夕ヅブだけでなく付加情報としての量子化テーブルをも用いて行って いるが、 クラス分類は、 クラス夕ヅプのみを用いて行うことが可能である。 しか しながら、 上述のように、 クラス分類を付加情報としての量子化テーブルを用い て行うことで、 いわば、 精細なクラス分けが可能となり、 復号画像の画質をより 向上させることが可能となる。
次に、 図 5 2は、 図 4 4の係数変換回路 4 3 2の他の構成例を示している。 な お、 図中、 図 4 6における場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略する。 すなわち、 図 5 2に示す係数変換回路 4 3 2 Bは、 逆 量子化回路 4 7 1が新たに設けられている他は、 基本的に、 図 4 6における場合 と同様に構成されている。
図 5 2に示す係数変換回路 4 3 2 Bにおいて、 逆量子化回路 4 7 1には、 ェン トロピ一復号回路 4 3 1 (図 4 4 ) において符号化デ一夕をエントロピー復号す ることにより得られるブロックごとの量子化 D C T係数が供給される。 さらに、 逆量子化回路 4 7 1には、 エントロピー復号回路 4 3 1が出力する付加情報とし ての量子化テーブルも供給される。
逆量子化回路 4 7 1は、 ェントロピー復号回路 4 3 1からの量子化 D C T係数 を同じくェントロピー復号回路 4 3 1からの量子化テーブルにしたがって逆量子 化し、 その結果得られる D C T係数を予測タツプ抽出回路 4 1及びクラスタヅ プ抽出回路 4 4 2に供給する。
したがって、 予測夕ヅプ抽出回路 4 1とクラスタップ抽出回路 4 4 2では、 量子化 D C T係数ではなく D C T係数を対象として予測夕ップとクラスタップが それそれ構成され、 以降も、 D C T係数を対象として、 図 4 6における場合と同 様の処理が行われる。
このように、 図 5 2の係数変換回路 4 3 2 Bでは、 量子化 D C T係数ではなく、 D C T係数を対象として処理が行われるため、 係数テーブル記憶部 4 4 4に記憶 させるタップ係数は、 図 4 6における場合と異なるものとする必要がある。
そこで、 図 5 3は、 図 5 2の係数テーブル記憶部 4 4 4に記憶させるタップ係 数の学習処理を行う学習装置 4 6 0 Bの構成例を示している。 なお、 図中、 図 5 ' 0における場合と対応する部分については、 同一の符号を付して、 その説明を適 宜省略する。 すなわち、 図 5 3に示す学習装置 4 6ひ Bは、 量子化回路 4 6 3の 後段に、 逆量子化回路 4 8 1が新たに設けられている他は、 図 5 0における場合 と基本的に同様に構成されている。
図 5 3に示す学習装置 4 6 0 Bにおいて、 逆量子化回路 4 8 1には、 逆量子化 回路 4 6 3が出力する量子化 D C T係数と、 付加情報としての量子化テーブルが 供給されるようになっている。 そして、 逆量子化回路 4 8 1は、 逆量子化回路 4 6 3からの量子化 D C T係数を同じく逆量子化回路 4 6 3からの量子化テーブル にしたがって逆量子化し、 その結果得られる D C T係数を予測夕ッブ抽出回路 4 6 4及びクラス夕ヅプ抽出回路 4 6 5に供給する。
したがって、 予測夕ヅプ抽出回路 4 6 4とクラスタヅプ抽出回路 4 6 5では、 量子化 D C T係数ではなく D C T係数を対象として予測タップとクラスタヅプが それそれ構成され、 以降も、 D C T係数を対象として、 図 5 0における場合と同 様の処理が行われる。
その結果、 D C T係数が量子化され、 さらに逆量子化されることにより生じる 量子化誤差の影響を低減するタップ係数が得られることになる。
次に、 図 5 4は、 図 4 4の係数変換回路 4 3 2の他の構成例を示している。 な お、 図中、 図 4 6における場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略する。 すなわち、 図 5 2に示す係数変換回路 4 3 2 Cは、 ク ラスタップ抽出回路 4 4 2が設けられていない他は、 基本的に、 図 4 6における 場合と同様に構成されている。
したがって、 図 5 4に示す係数変換回路 4 3 2 Cでは、 クラス分類回路 4 4 3 は、 そこに供給される付加情報としての量子化テーブルにのみ基づいてクラス分 類を行い、 その結果得られる付加情報クラスコードをそのまま最終的なクラスコ 一ドとして係数テーブル記憶部 4 4 4に供給する。
この実施の形態では、 付加情報クラスコードは、 上述したように、 1ビットで あり、 したがって、 図 5 4の係数テ一ブル記憶部 4 4 4には、 2 ( 1 ) クラス. の夕ツプ係数だけが記憶されており、 これを用いて処理が行われる。，
このように、 図 5 4の係数変換回路 4 3 2 Cでは、 係数テーブル記憶部 4 4 4 に記憶されているタップ係数は、 図 4 6における場合と異なるものとなっている。 そこで、 図 5 5は、 図 5 4の係数テ一ブル記憶部 4 4 4に記憶させる夕ヅプ係 数の学習処理を行う学習装置 4 6 0 Cの構成例を示している。 なお、 図中、 図 5 0における場合と対応する部分については、 同一の符号を付して、 その説明を適 宜省略する。 すなわち、 図 5 5に示す学習装置 4 6 0 Cは、 クラス夕ヅプ抽出回 路 4 6 5が設けられていない他は、 図 5 0における場合と基本的に同様に構成さ れている。
したがって、 図 5 5の学習装置 4 6 0 Cでは、 正規方程式加算回路 4 6 7にお いて、 付加情報のみに基づいて得られるクラスごとに上述の足し込みが行われる。 そして、 夕ヅプ係数決定回路 4 6 8において、 そのような足し込みによって生成 される正規方程式を解くことにより、 夕ップ係数が求められる。
次に、 図 5 6は、 図 4 4の係数変換回路 4 3 2の他の構成例を示している。 な お、 図中、 図 4 6又は図 5 2における場合と対応する部分については、 同一の符 号を付して、 その説明を適宜省略する。 すなわち、 図 5 6に示す係数変換回路 4 3 2 Dは、 クラスタップ抽出回路 4 4 2が設けられておらず、 かつ逆量子化回路 4 7 1が新たに設けられている他は、 基本的に、 図 4 6における場合と同様に構 成されている。
したがって、 図 5 6に示す係数変換回路 4 3 2 Dでは、 図 5 4の係数変換回路 4 3 2 Cにおける場合と同様に、 係数テーブル記憶部 4 4 4には、 付加情報とし ての量子化テーブルにのみ基づいて行われるクラス分類によって得られるクラス の夕ップ係数だけが記憶されており、 これを用いて処理が行われる。
さらに、 図 5 6の係数変換回路 4 3 2 Dでは、 図 5 2の係数変換回路 4 3 2 C と同様に、 予測タヅプ抽出回路 4 4 1において、 量子化 D C T係数ではなく、 逆 量子化回路 4 7 1が出力する D C T係数を対象として、 予測夕ツプが構成され、 以降も、 D C T係数を対象として、 処理が行われる。
したがって、 図 5 6の係数変換回路 4 3 2 Dでも、 係数テーブル記憶部 4 4 4 に記憶されているタップ係数は、 図 4 6における場合と異なるものとなってい.る c そこで、 図 5 7は、 図 5 6の係数テーブル記憶部 4 4 4に記憶ざせる夕ヅプ係 数の学習処理を行う学習装置 4 6 0 Dの構成例を示している。 なお、 図中、 図 5 0又は図 5 3における場合と対応する部分については、 同一の符号を付して、 そ の説明を適宜省略する。 すなわち、 図 5 7に示す学習装置 4 6 0 Dは、 クラスタ ップ抽出回路 4 6 5が設けられておらず、 かつ逆量子化回路 4 8 1が新たに設け られている他は、 図 5 0における場合と基本的に同様に構成されている。
したがって、 図 5 7の学習装置 4 6 0 Dでは、 予測タヅプ抽出回路 4 6 4にお いて、 量子化 D C T係数ではなく、 D C T係数を対象として、 予測タップが構成 され、 以降も、 D C T係数を対象として処理が行われる。 さらに、 正規方程式加 算回路 4 6 7において、 付加情報としての量子化テーブルにのみ基づいて上述の 足し込みが行われるクラス分類によって得られるクラスごとに行われ、 夕ップ係 数決定回路 4 6 8において、 そのようなクラスごとの正規方程式を解くことによ り、 タツプ係数が求められる。
次に、 以上においては、 静止画を圧縮符号化する J P E G符号化された画像を 対象としたが、 本発明は、 動画を圧縮符号化する、 例えば、 M P E G符号化され た画像を対象とすることも可能である。
すなわち、 図 5 8は、 M P E G符号化が行われる場合の闵 2のエンコーダ 4 2 1の構成例を示している。
この図 5 8に示すエンコーダ 4 2 1において、 M P E G符号化の対象である動 画を構成するフレーム又はフィールドは、 順次、 動き検出回路 4 9 1と演算器 4 9 2に供給される。
動き検出回路 4 9 1は、 そこに供給されるフレームについて、 マクロブロック 単位で、 動きベクトルを検出し、 エントロピ一符号化回路 4 9 6及び動き補償回 路 5 0 0に供給する。
演算器 4 9 2は、 そこに供給される画像が、 Iピクチャであればそのままプロ ヅク化回路 4 9 3に供給し、 Pピクチャ又は Bピクチャであれば動き補償回路 5 0 0から供給される参照画像との差分を演算して、 その差分値をプロック化回路 4 9 3に供給する。
プロヅク化回路' 4 9 3は、 演算器 4 9 2の出力を 8 x 8画素の画素プロヅクに プロヅク化し、 D C T回路 4 9 4に供給する。 0 0 !1回路4 9 4は、 ブロック化 回路 4 9 3からの画素プロヅクを D C T処理し、 その結果得られる D C T係数を 量子化回路 4 9 5に供給する。 量子化回路 4 9 5は、 D C T回路 4 9 3からのブ 口ヅク単位の D C T係数を所定の量子化テーブルにしたがって量子化し、 その結 果得られる量子化 D C T係数を用いた量子化テーブルとともにェント口ピー符号 化回路 4 9 6に供給する。 ェントロピー符号化回路 4 9 6は、 量子化回路 4 9 5 からの量子化 D C T係数をェントロピー符号化し、 動き検出回路 4 9 1からの動 きべクトルや量子化回路 4 9 5からの量子化テーブル、 その他の必要な情報を付 加して、 その結果得られる符号化デ一夕を M P E G符号化結果として出力する。 量子化回路 4 9 5が出力する量子化 D C T係数のうち、 Iピクチャ及び Pピク チヤは、 後で符号化される Pピクチャや Bピクチヤの参照画像として用いるのに ローカルデコードする必要があるため、 エントロピー符号化回路 4 9 6の他、 逆 量子化回路 4 9 7にも供給される。 また、 逆量子化回路 4 9 7には、 量子化回路 4 9 5で用いられた量子化テーブルも供給される。
逆量子化回路 4 9 7は、 量子化回路 4 9 5からの量子化 D C T係数を同じく量 子化回路 4 9 5からの量子化テーブルにしたがって逆量子化することにより D C T係数とし、 逆 D C T回路 4 9 8に供給する。 逆 D C T回路 4 9 8は、 逆量子化 回路 4 9 7からの D C T係数を逆 D C T処理し、 演算器 4 9 9に出力する。 演算 器 4 9 9には、 逆 D C T回路 4 9 8の出力の他、 動き補償回路 5 0 0が出力する 参照画像も供給されるようになっている。 演算器 4 9 9は、 逆 D C T回路 4 9 8 の出力が、 Pピクチャのものである場合には、 その出力と動き補償回路 5 0 0の 出力とを加算することで、 元の画像を復号し、 動き補償回路 5 0 0に供給する。 また、 演算器 4 9 9は、 逆 D C T回路 4 9 8の出力が Iピクチャのものである場 合には、 その出力は、 Iピクチャの復号画像となっているので、 そのまま動き補 償回路 5 0 0に供給する。
動き補償回路 5 0 0は、 演算器 4 9 9から供給されるローカルデコードされた 画像に対して、 動き検出回路 4 9 1からの動きべクトルにしたがった動き補償を 施し、 その動き補償後の画像を参照画像として演算器 4 9 2及び演算器 4 9 9に 供給する。
ここで、 以上のような M P E G符号化の結果得られる符号化データは、 図 5 9 に示すような構成の M P E Gデコーダ 5 1 0により復号することができる。
図 5 9に示す M P E Gデコーダ 5 1 0において、 符号化データは、 エントロピ ー復号回路 5 1 1に供給され、 ェントロピー復号回路 5 1 1は、 符号化データを エントロピー復号し、 量子化 D C T係数を得るとともに、 その符号化データに含 まれる動きベクトル、 量子化テーブル、 その他の必要な情報を分離する。 そして、 量子化 D C T係数及び量子化テーブルは、 逆量子化回路 1 1 2に供給され、 動き ベクトルは、 動き補償回路 5 1 6に供給される。
逆量子化回路 1 1 2は、 ェントロピー復号回路 5 1 1からの量子化 D C T係数 を同じくエントロピー復号回路 5 1 1からの量子化テーブルにしたがって逆量子 化することにより D C T係数とし、 逆 D C T回路 5 1 3に供給する。 逆 D C T回 路 5 1 3は、 逆量子化回路 5 1 2からの D C T係数を逆 D C T処理し、 演算器 5 1 4に出力する。 演算器 5 1 4には、 逆量子化回路 5 1 3の出力の他、 動き補償 回路 5 1 6が出力する既に復号された Iピクチャ又は Pピクチャをェントロピー 復号回路 5 1 1からの動きべクトルにしたがって動き補償したものが参照画像と して供給されるようになっている。 演算器 5 1 4は、 逆 D C T回路 5 1 3の出力 が Pピクチャ又は Bピクチャのものである場合には、 その出力と動き補償回路 5 1 6の出力とを加算することで、 元の画像を復号し、 ブロック分解回路 5 1 5に 供給する。 また、 演算器 5 1 4は、 逆 D C T回路 5 1 3の出力が Iピクチャのも のである場合には、 その出力は、 Iピクチャの復号画像となっているので、 その まま、 ブロック分解回路 5 1 5に供給する。
プロック分解回路 5 .1 5は、 演算器 5 1 4から画素プロック単位で供給される 復号画像のプロック化を解くことで、 復号画像を得て出力する。
' 一方、 動き補償回路 5 1 6は、 演算器 5 1 4が出力する復号画像のうちの Iピ クチャと Pピクチャを受信し、 ェントロビ一復号回路 5 1 1からの動きベクトル にしたがった動き補償を施す。 そして、 動き補償回路 5 1 6は、 その動き補償後 の画像を参照画像として演算器 5 1 4に供給する。
そして、 図 4 4のデコーダ 4 2 2によれば、 M P E G符号化された符号化デー 夕も、 上述のように、 効率的に、 画質の良い画像に復号することができる。
すなわち、 符号化デ一夕は、 エンド口ピ一復号回路 4 3 1に供給され、 ェント 口ピー復号回路 4 3 1は、 符号化デ一夕をェント口ピー復号し、 量子化 D C T係 数を得るとともに、 その符号化デ一夕に含まれる動きベクトル、 量子化テーブル、 その他の必要な情報を分離する。 そして、 量子化 D C T係数は、 エントロピー復 号回路 4 3 1から係数変換回路 4 3 2 Dに供給され、 量子化テーブルや、 動きべ クトル等も、 付加情報として、 エン トロピ一復号回路 4 3 1から係数変換回路 4 3 2 Dに供給される。
係数変換回路 4 3 2 Dは、 ェントロピー復号回路 4 3 1からの量子化 D C T係 数 Q、 付加情報及び学習を行うことにより求められた夕ップ係数を用いて、 所定 の予測演算を行うとともに、 ェントロピー復号回路 4 3 1からの動きべクトルに したがった動き補償を必要に応じて行うことにより、 量子化 D C T係数を元の画 素値に復号し、 ブロック分解回路 4 3 3に供給する。
ブロック分解回路 4 3 3は、 係数変換回路 4 3 2 Dにおいて得られた、 復号さ れた画素でなる画素ブロックのブロック化を解くことで、 復号画像を得て出力す る。
次に、 図 6 0は、 デコーダ 2 2において M P E G符号化された符号化データを 復号する場合の図 4 4の係数変換回路 4 3 2の構成例を示している。 なお、 図中、 図 5 6又は図 5 9における場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略する。 すなわち、 図 6 0に示す係数変換回路 4 3 2 Eは、 積 和演算回路 4 5の後段に、 図 5 9における演算器 5 1 4及び動き補償回路 5 1 6 が設けられている他は、 図 5 6における場合と同様に構成されている。
したがって、 図 6 0の係数変換回路 4 3 2 Eでは、 図 5 6における場合と同様 の処理が、 図 5 9の M P E Gデコーダの逆 D C T回路 5 1 3.における逆 D C T処 理に替えて行われ、 以降は、 図 5 9における場合と同様にして、 復号画像が得ら れる。
なお、 図 6 0に示す係数変換回路 4 3 2 Eでは、 クラス分類回路 4 4 3に供給 される付加情報には、 量子化テーブルの他、 動きベクトルも含まれている。 した がって、 クラス分類回路 4 4 3では、 量子化テーブルの他、 動きベクトルに基づ いてクラス分類を行うことが可能である。 動きべクトルに基づいてのクラス分類 では、 例えば、 動きベクトルの大きさと所定の閾値との大小関係を表すコードや 動きべクトルの X成分、 y成分それそれと所定の閾値との大小関係を表すコード 等をクラスコードとするようにすることが可能である。
次に、 図 6 1は、 図 6 0の係数テーブル記憶部 4 4 4に記憶させる夕ヅプ係数 を学習する学習装置 4 6 0 Eの構成例を示している。 なお、 図中、 図 5 7におけ る場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略す る。
すなわち、 図 6 1に示す学習装置 4 6 0 Eに置いて、 動きべクトル検出回路 5 2 1及び演算器 5 2 2には、 学習用の画像が教師データとして入力される。 動き ぺクトル検出回路 5 2 1、 演算器 5 2 2、 プロヅク化回路 5 2 3、 D C T回路 5 2 4、 量子化回路 5 2 5、 逆量子化回路 5 2 7、 逆 D C T回路 5 2 8、 演算器 5 2 9又は動き補償回路 5 3 0は、 図 5 8の動きべクトル検出回路 4 9 1、 演算器 4 9 2、 プロヅク化回路 4 9 3、 D C T回路 4 9 4、 量子化回路 4 9 5、 逆量子 化回路 4 9 7、 逆 D C T回路 4 9 8、 演算器 4 9 9又は動き補償回路 5 0 0とそ れそれ同様の処理を行い、 これにより、 量子化回路 5 2 5からは、 図 5 8の量子 化回路 4 9 5が出力するのと同様の量子化 D C T係数と量子化テーブルが出力さ れる。 量子化回路 5 2 5が出力する量子化 D C T係数及び量子化テーブルは、 逆量子 化回路 4 8 1に供給され、 逆量子化回路 4 8 1は、 量子化回路 5 2 5からの量子 化 D C Τ係数を同じく量子化回路 5 2 5からの量子化ステップにしたがって逆量 子化して D C T係数に変換して、 予測タップ抽出回路 4 6 4に供給する。 予測夕 ヅプ抽出回路 4 6 4は、 逆量子化回路 4 8 1からの D C T係数から、 予測夕ヅプ を構成し、 正規方程式加算回路 4 6 7に供給する。
一方、 クラス分類回路 4 6 6は、 量子化回路 5 2 5が出力する量子化テーブル に基づいてクラス分類を行う。 なお、 図 6 0のクラス分類回路 4 4 3が量子化テ 一ブル及び動きべクトルに基づいてクラス分類を行う場合には、 クラス分類回路 4 6 6は、 量子化回路 5 2 5が出力する量子化テーブルと動きべクドル検出回路 5 2 1が出力する動きべクトルに基づいてクラス分類を行う。
クラス分類回路 4 6 6によるクラス分類の結果得ちれるクラスコードは、 正規 方程式加算回路 4 6 7.に供給され、 正規方程式加算回路 4 6 7は、 演算器 5 2 2 の出力を教師データとするとともに、 逆量子化回路 4 8 1からの予測タップを生 徒データとして上述したような足し込みをクラスごとに行い、 これにより、 正規 方程式を生成する。
そして、 タップ係数決定回路 4 6 8は、 正規方程式加算回路 4 6 7で生成され たクラスごとの正規方程式を解くことにより、 クラスごとの夕ップ係数を求め、 係数テーブル記憶部 4 6 9に供給して記憶させる。
図 6 0の積和演算回路 4 4 5では、 このようにして求められたクラスごとの夕 ップ係数を用いて、 M P E G符号化された符号化デ一夕が復号されるので、 やは り、 M P E G符号化された画像の復号処理と、 その画質を向上させるための処理 とを同時に施すことができ、 したがって、 M P E G符号化された画像から効率的 に画質の良い復号画像を得ることができる。
なお、 図 6 0の係数変換回路 4 3 2 Eは、 逆量子化回路 4 7 1を設けずに構成 することが可能である。 この場合、 図 6 1の学習装置 4 6 0 Eは、 逆量子化回路 4 8 1を設けずに構成すれば良い。
また、 図 6 0の係数変換回路 4 3 2 Eは、 図 4 6における場合と同様に、 クラ スタップ抽出回路 4 4 2を設けて構成することが可能である。 この場合、 図 6 1 の学習装置 4 6 0 Eは、 図 5 0における場合のように、 クラス夕ヅプ抽出回路 4 6 5を設けて構成すれば良い。
なお、 上述の場合においては、 付加情報として、 量子化テーブルや、 動きべク トルを用いるようにしたが、 付加情報としては、 その他、 D C T係数を元に戻す のに必ずしも必要でない各種の情報を採用することが可能である。 すなわち、 例 えば、 M P E G符号化された符号化データについていえば、 付加情報としては、 量子化テーブルや動きべクトルの他、 ピクチャタイプゃマクロプロック夕ィプ等 を採用することが可能である。
以上のように、 本発明によれば、 付加情報に基づいて、 元のデ一夕のうちの注 目している注目データを幾つかのクラスのうちのいずれかにクラス分類し、 学習 を行うことにより求められた所定のクラスごとの夕ップ係数のうち注目デ一夕の クラスに対応するタップ係数を取得する。 そして、 変換データ及び注目デ一夕の クラスに対応するタップ係数を用いて、 所定の予測演算を行うことによ.り、 変換 データを元のデ一夕に効率的に復号することができる。
また、 本発明によれば、 教師となる教師データを少なくとも直交変換又は周波 数変換することにより、 生徒となる生徒データを生成し、 生徒データを生成する ときに用いた所定の付加情報に基づいて、 教師データのうちの注目している注目 教師データを幾つかのクラスのうちのいずれかにクラス分類して、 注目教師デー 夕のクラスに対応する夕ツプ係数及び生徒データを用いて予測演算を行うことに より得られる教師データの予測値の予測誤差が統計的に最小になるように学習を 行い、 クラスごとのタップ係数を求める。 このようにしても求めたタップ係数を 用いることにより、 直交変換又は周波数変換されたデータを効率的に復号するこ とが可能となる。
また、 次に本発明の他の実施の形態について説明する。
次に説明する実施の形態では、 上述の図 2に示したデコーダ 2 2として図 6 2 に示すようにェントロピー復号回路 6 3 1、 係数変換回路 6 3 2及びブロック分 解回路 6 3 3からなるデコーダ 6 2 2を用いて符号化デ一夕を復号する。
符号化データは、 ェントロピー復号回路 6 3 1に供給されるようになっている < ェントロピ一復号回路 6 3 1は、 符号化デ一夕をェント口ピー復号して、 その結 果得られるプロックごとの量子化 D C T係数 Qを係数変換回路 6 3 2に供給する < なお、 符号化デ一夕には、 エン トロピ一符号化された量子化 D C T係数の他、 量 子化テーブルも含まれる。
係数変換回路 6 3 2は、 ェントロピー復号回路 6 3 1からの量子化 D C T係数 Qと、 後述する学習を行うことにより求められるタップ係数を用いて、 所定の予 測演算を行うことにより、 ブロックごとの量子化 D C T係数を 8 X 8画素の元の ブロックに復号する。
ブロック分解回路 6 3 3は、 係数変換回路 6 3 2において得られる、 復号され たブロック （復号ブロック） のブロック化を解くことで、 復号画像を得て出力す る。
次に、 図 6 3のフローチャートを参照して、 図 6 2のデコーダ 2 2の処理につ いて説明する。 .
符号化デ一夕は、 エントロピー復号回路 6 3 1に順次供給され、 ステップ S 3 0 1において、 エン トロピー復号回路 6 3 1は、 符号化デ一夕をエントロピー復 号し、 プロックごとの量子化 D C T係数 Qを係数変換回路 6 3 2に供給する。 係 数変換回路 6 3 2は、 ステップ S 3 0 2において、 夕ヅプ係数を用いた予測演算 を行うことにより、 ェントロピー復号回路 6 3 1からのプロヅクごとの量子化 D C T係数 Qをブロックごとの画素値に復号し、 ブロック分解回路 6 3 3に供給す 'る。 プロヅク分解回路 6 3 3は、 ステップ S 3 0 3において、 係数変換回路 6 3 2からの画素値のプロヅク （復号プロヅク） のブロック化を解くプロヅク分解を 行い、 その結果得られる復号画像を出力して、 処理を終了する。
そして、 この図 6 2の係数変換回路 6 3 2では、 例えば、 クラス分類適応処理 を利用して、 量子化 D C T係数を画素値に復号する。
図 6 4は、 クラス分類適応処理により、 量子化 D C T係数を画素値に復号する 図 6 2の係数変換回路 6 3 2の構成例を示している。
この図 6 4に示す係数変換回路 6 3 2 Aにおいて、 ェントロピー復号回路 6 3 1 (図 6 2 ) が出力するブロックごとの量子化 D C T係数は、 予測夕ヅプ抽出回 路 6 4 1及びクラス夕ヅプ抽出回路 6 4 2に供給されるようになっている。
予測夕ヅプ抽出回路 6 4 1は、 そこに供給される量子化 D C T係数のプロヅク (以下、 適宜、 D C Tブロックという） に対応する画素値のプロヅク （この画素 値のブロックは、 現段階では存在しないが、 仮想的に想定される） （以下、 適宜、 画素プロヅクという） を順次注目画素ブロックとし、 さらに、 その注目画素プロ ックを構成する各画素を例えばいわゆるラス夕スキャン順に順次注目画素とする, さらに、 予測タップ抽出回路 6 4 1は、 注目画素の画素値を予測するのに用いる 量子化 D C T係数を抽出し、 予測タップとする。
すなわち、 予測タップ抽出回路 6 4 1は、 例えば、 図 6 5 Aに示すように、 注 目画素が属する画素プロックに対応する D C Tプロックのすベての量子化 D C T 係数すなわち 8 X 8の 6 4個の量子化 D C T係数を予測夕ヅプとして抽出する。 したがって、 この実施の形態では、 ある画素プロヅクのすベての画素について、 同一の予測夕ヅプが構成される。 ただし、 予測タップは、 注目画素ごとに、 異な る量子化 D C T係数で構成することが可能である。 .
なお、 予測タヅプを構成する量子化 D C T係数は、 上述したパターンのものに 限定されるものではない。
予測夕ヅプ抽出.回路 6 1において得られる、 画素プロックを構成する各画素 についての予測夕ヅプ、 すなわち、 6 4画素それそれについての 6 4セットの予 測タップは、 積和演算回路 6 4 5に供給される。 ただし、 この実施の形態では、 上述したように、 画素ブロックのすべての画素について、 同一の予測夕ヅプが構 成されるので、 実際には、 1つの画素プロヅクに対して、 1セヅトの予測夕ヅプ を積和演算回路 6 4 5に供給すれば良い。
クラス夕ヅプ抽出回路 6 4 2は、 注目画素を幾つかのクラスのうちのいずれか に分類するためのクラス分類に用いる量子化 D C T係数を抽出して、 クラス夕ヅ プとする。
なお、 J P E G符号化では、 画像が画素ブロックごとに符号化 （D C T処理及 び量子化） されることから、 ある画素プロヅクに属する画素は、 例えば、 すべて 同一のクラスにクラス分類することとする。 したがって、 クラス夕ヅプ抽出回路 6 4 2は、 ある画素ブロックの各画素については、 同一のクラス夕ヅプを構成す る。
すなわち、 この実施の形態では、 クラスタップ抽出回路 6 4 2は、 例えば、 図 6 5 Bに示すように、 注目画素が属する画素ブロックに対応する D C Tプロヅク とその上下左右に隣接する 4個の D C Τブ口ヅクの合計で 5個の D C Τプロヅク の 3 2 0 ( = 8 x 8 x 5 ) 個の量子化 D C Τ係数をクラス夕ヅプとして抽出する ( ここで、 画素プロヅクに属する各画素をすベて同一のクラスにクラス分類する ということは、 その画素ブロックをクラス分類することと等価である。 したがつ て、 クラスタップ抽出回路 6 4 2には、 注目画素ブロックを構成する 6 4.画素そ れそれをクラス分類するための 6 4セヅ 卜のクラスタヅプではなく、 注目画素ブ 口ヅクをクラス分類するための 1セヅトのクラスタヅブを構成させれば良く、 こ のため、 クラス夕ヅプ抽出回路 6 4 2は、 画素ブロックごとに、 その画素ブロヅ クをクラス分類するために、 その画素ブロックに対応する D C Tブロックと、 そ の上下左右に隣接する 4個の D C Tプロヅクの量子化 D C Τ係数を抽出して、 ク ラス夕ヅプとするようになつている。
なお、 クラスタヅプ.を構成する量子化 D C Τ係数は、 上述したパターンのもの に限定されるものではない。
すなわち、 J P E G符号化では、 8 X 8画素の画素プロヅク単位で、 D C T及 び量子化が行われることにより、 8 X 8の量子化 D C T係数からなる D C Tプロ ヅクが構成されるから、 ある画素プロックの画素をクラス分類適応処理によって 復号する場合には、 その画素プロヅクに対応する D C Tプロヅクの量子化 D C T 係数だけをクラス夕ヅプとして用いることが考えられる。
しかしながら、 画像においては、 ある画素ブロックに注目した場合に、 その画 素ブロックの画素と、 その周辺の画素ブロックの画素との間には、 少なからず相 関があるのが一般的であ ¾。 したがって、 上述のように、 ある画素ブロックに対 応する D C Tプロヅクだけでなく、 それ以外の D C Tブロックからも、 量子化 D C T係数を抽出して、 クラスタヅプとして用いることによって、 注目画素をより 適切にクラス分けすることが可能となり、 その結果、 画素ブロックに対応する D C Tプロヅクの量子化 D C T係数だけをクラス夕ヅプとして用いる場合に比較し て、 復号画像の画質を向上させることが可能となる。
ここで、 上述の場合には、 ある画素プロヅクに対応する D C Tプロヅクと、 そ の上下左右に瞵接する 4個の D C Tプロヅクの量子化 D C T係数をクラス夕ヅプ とするようにしたが、 クラス夕ヅプとする量子化 D C T係数は、 その他、 ある画 素プロヅクに対応する D C Τプロヅクの斜め方向に隣接する D C Τプロヅクや、 瞵接しないが周辺にある D C Tブロック等から抽出するようにしても良い。 すな わち、 どのような範囲の D C Tプロヅクから、 クラス夕ヅプとする量子化 D C Τ 係数を抽出するかは、 特に限定されるものではない。
クラスタヅプ抽出回路 6 4 2において得られる、 注目画素ブロックのクラスタ ヅプは、 クラス分類回路 6 4 3に供給されるようになっている。 クラス分類回路 6 4 3は、 クラス夕ヅプ抽出回路 6 4 2からのクラス夕ヅプに基づき、 注目画素 プロヅクをクラス分類し、 その結果得られるクラスに対応するクラスコードを出 力する。
ここで、 クラス分類を行う方法としては、 例えば、 A D R C等を採用すること ができる。
A D R Cを用いる方法では、 クラス夕ヅプを構成する量子化 D C Τ係数が A D R C処理され、 その結果得られる A D R Cコードにしたがって注目画素プロヅク のクラスが決定される。
クラス分類回路 6 4 3においては、 クラス夕ヅプの情報量を上述の A D R C処 理ゃあるいはぺク トル量子化等によって圧縮してから、 クラス分類を行うのが好 ましい。
ところで、 この実施の形態では、 クラス夕ヅプは、 上述したように、 3 2 0個 の量子化 D C Τ係数で構成される。 したがって、 例えば、 仮に、 クラスタップを 1 ビヅ ト A D R C処理することにより、 クラス分類を行うこととしても、 クラス コ一ドの場合の数は、 2 3 2 通りという膨大な値となる。
そこで、 この実施の形態では、 クラス分類回路 6 4 3において、 クラス夕ヅプ を構成する量子化 D C T係数から、 重要性の高い特徴量を抽出し、 その特徴量に 基づいてクラス分類を行うことで、 クラス数を低減するようになっている。 すなわち、 図 6 6は、 図 6 4のクラス分類回路 6 4 3の構成例を示している。 この図 6 4に示すクラス分類回路 6 4 3において、 クラス夕ヅプは、 電力演算 回路 6 5 1に供給されるようになっている。 電力演算回路 6 5 1は、 クラス夕 ヅ ブを構成する量子化 D C Τ係数を幾つかの空間周波数帯域のものに分け、 各周波 数帯域の電力を演算する。
すなわち、 この実施の形態では、 クラス夕ヅプは、 図 65Bに示したように、 5個の D C Tプロヅクの量子化 D C T係数から構成されるが、 電力演算回路 65 1は、 クラスタヅプを構成する各 D C Tブロックの 8 X 8個の量子化 D C T係数 を例えば図 8に示すような 4つの空間周波数帯域 S。， Si, S 3, S3に分割する t ここで、 1つの D CTブロックの 8 x 8個の量子化 D C T係数それぞれをアル フアベヅト Xに図 65 Aに示したようなラス夕スキャン順に 0からのシーケンシ ャルな整数を付して表すこととすると、 空間周波数帯域 S。 は、 4個の量子化 D CT係数 x。， X i, a, χ9から構成され、 空間周波数帯域 Si は、 1 2個の量 子化 D GT係数 X 2， X 3 , X 4 , X 5 , X 6 , X 7 , X 10 , X 1 1 , X 12 , X 13 , X 14 ; χ15から構成される。 また、 空間周波数帯域 S2 は、 1 2個の量子化 DCT係数 16 , 17 , X 24 , 25 , 32 , 33 , X 40 , 41 , X 48 , 49 , X 5 6 , X 57から構成され、 空間周波数帯域 S3 は、 36個の量子化 D C T係数 X
18 , X 19 , X 20 , X 2 1 ? X 22 J X 23 , X 26 , X 27 , X 28 3 X 29 ? X 30 , X 3 1 , X 34 , X 35 , X 36 , X 37 , X 38 j X 39 , X 42 > X 435 X 44 , X 453 X 46？ X 47 , X 503 X 5 13 X 525 X 53 j X 54 j X 55 , X 58 , X 593 X 60 , X 6 13 X 62 , X 63から 構成される。
さらに、 電力演算回路 65 1は、 クラスタヅプを構成する 5つの D C Τブロヅ クそれそれについて、 その空間周波数帯域 S。， Si, S2, S3のそれそれに関し、 量子化 D C T係数の A C成分の電力 P。， Pi, P 2 , P3を演算し、 クラスコード 生成回路 652に出力する。
すなわち、 電力演算回路 65 1は、 空間周波数帯域 S。 については、 上述の 4 個の量子化 D C T係数 X。， χ ι， X 8 , X 9のうちの A C成分 X 1 , s , 9 の 2 乗和 X ί 2 + χ8 2 + χ 9 2を求め、 これを電力 Ρ。 としてクラスコード生成回路 65 2に出力する。 また、 電力演算回路 65 1は、 空間周波数帯域 Si についての上 述の 1 2個の量子化 D C T係数の AC成分、 すなわち、 12個すベての量子化 D CT係数の 2乗和を求め、 これを電力 Pi としてクラスコード生成回路 652に 出力する。 さらに、 電力演算回路 65 1は、 空間周波数帯域 S2 と空間周波数帯 域 S 3についても、 空間周波数帯域 Si における場合と同様にして、 それそれの 電力 P 2と電力 P 3を求め、 クラスコード生成回路 652に出力する。
クラスコード生成回路 652は、 電力演算回路 65 1からのクラスタップを構 成する 5個の D C Tブロックそれそれについての電力 P。， P 1 , P 2 , P3を閾値 テーブル記憶部 653に記憶された対応する閾値 T H。， T H !, TH2， TH3と それそれ比較し、 それそれの大小関係に基づいてクラスコードを出力する。 すな わち、 クラスコード生成回路 652は、 電力 P。と閾値 TH。とを比較し、 その大 小関係を表す 1ビットのコードを得る。 同様に、 クラスコード生成回路 652は、 電力 Piと閾値 TH 電力 P2と閾値 TH2、 電力 P3と閾値 TH3をそれそれ比較 することにより、 それぞれについて 1ビヅトのコードを得る。
クラスコード生成回路 652は、 クラス夕ヅプを構成する 5個の D C Tプロヅ クそれそれについて、 上述のようにして、 4つの 1ビヅ トのコード、 すなわち、 合計で、 20ビヅトのコードを得る。 そして、 クラスコード生成回路 652は、 この 20ビヅトのコードを注目画素ブロックのクラスを表すクラスコードとして 出力する。 この場合、 注目画素ブロックは、 22°個のクラスのうちのいずれかに クラス分類されることになる。
閾値テーブル記憶部 653は、 空間周波数帯域 S。〜S3の'電力 P。〜P3とそれ それ比較する閾値11111。〜11113を記憶してぃる。
なお、 上述の場合には、 クラス分類処理に、 量子化 D C T係数の D C成分 X。 が用いられないが、 この D C成分 x。 をも用いてクラス分類処理を行うことも可 能である。
図 64に戻り、 以上のようなクラス分類回路 643が出力するクラスコードは、 係数テーブル記憶部 644に、 アドレスとして与えられる。
係数テーブル記憶部 644は、 学習処理が行われることにより得られる夕ップ 係数が登録された係数テーブルを記憶しており、 クラス分類回路 643が出力す るクラスコ一ドに対応するァドレスに記憶されている夕ップ係数を積和演算回路 645に出力する。
ここで、 この実施の形態では、 画素ブロックがクラス分類されるから、 注目画 素プロヅクについて、 1つのクラスコードが得られる。 一方、 画素プロヅクは、 この実施の形態では、 8 X 8画素の 64画素で構成されるから、 注目画素ブロヅ クについて、 それを構成する 6 4画素それそれを復号するための 6 4セットの夕 + ヅプ係数が必要である。 したがって、 係数テーブル記憶部 6 4 4には、 1つのク ラスコードに対応するァドレスに対して、 6 4セヅ トの夕ヅプ係数が記憶されて いる。
積和演算回路 6 4 5は、 予測タップ抽出回路 6 4 1が出力する予測タップと、 係数テーブル記憶部 6 4 4が出力するタップ係数とを取得し、 その予測タップと タップ係数とを用いて、 上述の式 （ 1 ) に示した線形予測演算 (積和演算） を行 い、 その結果得られる注目画素プロックの 8 X 8画素の画素値を対応する D C T ブロックの復号結果としてブロック分解回路 6 3 3 (図 6 2 ) に出力する。
ここで、 予測タップ抽出回路 6 4 1においては、 上述したように、 注目画素ブ ロックの各画素が順次注目画素とされるが、 積和演算回路 6 4 5は、 注目画素ブ ロックの注目画素となっている画素の位置に対応した動作モード （以下、 適宜、 画素位置モードという） と.なって処理を行う。
すなわち、 例えば、 注目画素ブロックの画素のうちラス夕スキャン順で i番目 の画素を P iと表し、 画素 P iが注目画素となっている場合、 積和演算回路 6 4 5 は、 画素位置モード # iの処理を行う。 ' '
具体的には、 上述したように、 係数テーブル記憶部 6 4 4は、 注目画素ブロッ クを構成する 6 4画素それそれを復号するための 6 4セットのタップ係数を出力 するが、 そのうちの画素 P iを復号するための夕ッブ係数のセットを W iと表すと、 積和演算回路 6 4 5は、 動作モードが画素位置モード # iのときには、 予測夕ッ プと 6 4セヅトの夕ヅプ係数のうちのセヅト W i とを用いて、 上述の式 （ 1 ) の 積和演算を行い、 その積和演算結果を画素 P iの復号結果とする。
次に、 図 6 7のフローチャートを参照して、 図 6 4の係数変換回路 6 3 2 Aの 処理について説明する。
ェントロピ一復号回路 6 3 1が出力するブロックごとの量子化 D C T係数は、 予測タップ抽出回路 6 4 1及びクラスタップ抽出回路 6 4 2において順次受信さ れ、 予測夕ヅプ抽出回路 6 4 1は、 そこに供給される量子化 D C T係数のブロッ ク （D C Tブロック） に対応する画素プロヅクを順次注目画素プロヅクとする。 そして、 クラス夕ヅプ抽出回路 6 4 2は、 ステップ S 3 1 1において、 そこで 受信した量子化 D C T係数の中から、 注目画素プロックをクラス分類するのに用 いるもの、 すなわち、 この実施の形態では、 注目画素プロヅクに対応する D C T プロヅクとその上下左右に隣接する 4個の D C Tプロヅクとの合計で 5個の D C Tブロックの量子化 D C T係数を抽出して、 クラス夕ヅプを構成し、 クラス分類 回路 6 4 3に供給する。
クラス分類回路 6 4 3は、 ステップ S 3 1 2において、 クラス夕ヅプ抽出回路 6 4 2からのクラスタヅプを用いて、 注目画素プロヅクをクラス分類し、 その結 果得られるクラスコードを係数テーブル記憶部 6 4 4に出力する。
すなわち、 ステップ S 3 1 2では、 図 6 8のフローチャートに示すように、 ま ず最初に、 ステップ S 3 2 1において、 クラス分類回路 6 4 3 (図 6 6 ) の電力 演算回路 6 5 1が、 クラス夕ヅプを構成する 5個の D C Tプロヅクそれそれにつ いて、 図 8に示した 4つの空間周波数帯域 S。〜 S 3それそれの電力 P。〜P 3を演 算する。 この電力 P。〜P 3は、 電力演算回路 6 5 1からクラスコード生成回路 6 5 2に出力される。
クラスコ一ド生成回路 6 5 2は、 ステップ S 3 2 2において、 閾値テーブル記 憶部 6 5 から閾値 ：！^〜丁！^を読み出し、 電力演算回路 6 5 1からのクラス 夕ヅプを構成する 5個の D C Tプロヅクの電力！5。〜 P 3それそれと閾値 T H。 ~ T H a それそれとを比較し、 それそれの大小関係に基づいたクラスコードを生成 して、 リターンする。
図 6 7に戻り、 ステップ S 3 1 2において以上のようにして得られるクラスコ ードは、 クラス分類回路 6 4 3から係数テーブル記憶部 6 4 4に対して、 ァドレ スとして与えられる。
係数テーブル記憶部 6 4 4は、 クラス分類回路 6 4 3からのアドレスとしての クラスコードを受信すると、 ステヅプ S 3 1 3において、 そのァドレスに記憶さ れている 6 4セットの夕ップ係数を読み出し、 積和演算回路 6 4 5に出力する。 そして、 ステップ S 3 1 4に進み、 予測夕ヅプ抽出回路 6 4 1は、 注目画素ブ ロックの画素のうち、 ラス夕スキャン順で、 まだ、 注目画素とされていない画素 を注目画素として、 その注目画素の画素値を予測するのに用いる量子化 D C T係 数を抽出し、 予測タップとして構成する。 この予測タップは、 予測夕ヅプ抽出回 路 6 4 1から積和演算回路 6 4 5に供給される。
ここで、 この実施の形態では、 各画素ブロックごとに、 その画素ブロックのす ベての画素について、 同一の予測タヅプが構成されるので、 実際には、 ステヅプ S 3 1 4の処理は、 注目画素ブロックについて、 最初に注目画素とされる画素に 対してだけ行えば、 残りの 6 3画素に対しては、 行う必要がない。
積和演算回路 6 4 5は、 ステップ S 3 1 5において、 ステップ S 3 1 3で係数 テーブル記憶部 6 4 4が出力する 6 4セットの夕ヅプ係数のうち、 注目画素に対 する画素位置モ一ドに対応するタップ係数のセットを取得し、 そのタップ係数の セヅトと、 ステヅプ S 3 1 4で予測夕ヅプ抽出回路 6 4 1から供給される予測夕 ヅプとを用いて、 上述の式 .（ 1 ) に示した積和演算を行い、.注目画素の画素値の 復号値を得る。
そして、 ステヅブ S 3 1 6に進み、 予測夕ヅプ抽出回路 6 4 1は、 注目画素ブ ロックのすべての画素を注目画素として処理を行ったかどうかを判定する。 ステ ヅプ S 3 1 6において、 注目画素プロヅクのすベての画素を注目画素として、 ま だ処理を行っていないと判定された塲合、 ステップ S 3 1 4に戻り、 予測タップ 抽出回路 6 4 1は、 注目画素ブロックの画素のうち、 ラス夕スキャン順で、 まだ、 注目画素とされていない画素を新たに注目画素として、 以下、 同様の処理を繰り 返す。
また、 ステップ S 3 1 6において、 注目画素ブロックのすべての画素を注目画 素として処理を行ったと判定された場合、 すなわち、 注目画素ブロックのすべて の画素の復号値が得られた場合、 積和演算回路 6 4 5は、 その復号値で構成され る画素プロヅク （復号ブロック） をプロヅク分解回路 6 3 3 (図 6 2 ) に出力し、 処理を終了する。
なお、 図 6 7のフローチャートにしたがった処理は、 予測夕ヅプ抽出回路 6 4 1が新たな注目画素ブロックを設定するごとに繰り返し行われる。
次に、 上述の場合には、 クラス分類回路 6 4 3において、 クラス夕ヅプを構成 する 5つの D C Tプロックそれそれについて、 同一の空間周波数帯域 S。〜 S 3の 電力 P。〜P 3を計算し、 その電力に基づいて、 クラス分類を行うようにしたが、 その他、 クラス分類は、 例えば、 クラス夕ヅプを構成する 5つの D C Tブロック の幾つかについて、 異なる空間周波数帯域の電力を計算し、 その電力に基づいて 行うようにすることも可能である。
すなわち、 例えば、 図 69に斜線を付して示すように、 クラスタップを構成す る 5つの D C Tプロヅクのうち、 注目画素ブロックに対応する D C Tプロヅク (以下、 適宜、 注目 D C Tブロックという） については、 垂直方向の高周波数帯 域の電力; Pv及び水平方向の高周波数帯域の電力 Phを.、 注目 D C Tプロックの上 に隣接する D CTブロックについては、 垂直方向の高周波数帯域の電力 Pu を、 注目 D C Tブロックの下に隣接する D C Tプロヅクについては、 垂直方向の高周 波数帯域の電力 Paを、 注目 D C Tプロヅクの左隣の D C Tプロヅクについては、 水平方向の高周波数帯域の電力 Pi を、 注目 D C Tブロックの.お隣の D C Tプロ ックについては、 水平方向の高周波数帯域の電力 Pr をそれそれ計算し、 それら の電力 Pv， Ph， Pu, Pd, Pi, Prに基づき、 図 6 6及び図 68で説明した場 合と同様にして、 クラス分類を行うようにすることが可能.である。
この場合、 図 6 6に示したクラス分類回路 643では、 図 6 7のステヅブ S 3 1 2において、 図 70に示すような処理が行われる。
すなわち、 まず最初に、 ステヅブ S 3 3 1において、 クラス分類回路 643 (図 6 6 ) の電力演算回路 65 1が、 クラス夕ヅプを構成する 5個の D C Tプロ ヅクについて、 図 69で説明したような各周波数帯域の電力 Pv， Ph, Pu, Pd) Pi, Prを演算し、 クラスコード生成回路 652に出力する。
クラスコード生成回路 6 52は、 ステヅブ S 332において、 閾値テーブル記 憶部 6 53から閾値を読み出す。 なお、 ここでは、 閾値テーブル記憶部 653に、 電力 Pv, Ph, Pu, Pd, Pl3 P rそれそれと比較するための閾値 T Hv， T Hhj T Hu, THd, T Hl5 THrが記憶されているものとする。
クラスコード生成回路 6 52は、 閾値テーブル記憶部 6 53から閾値 THv, T Hh, T Hu, THd, THi, THrを読み出すと、 それそれを電力演算回路 6 5 1 からの電力 Pv， Ph, Pu, Pd, Pi, Pr それそれと比較し、 それそれの大小関 係に基づいた 6個の 1ビヅトを得る。 そして、 クラスコード生成回路 6 52は、 その 6個の 1ビヅトのコードからなる 6ビットのコードをクラスコードとして出 力し、 リターンする。 したがって、 この場合、 注目画素 （注目画素ブロック） は、 64 (= 26) 個のクラスのうちのいずれかにクラス分類されることになる。
次に、 以上においては、 クラス夕ヅプとしての量子化 D C T係数の AC成分を クラス分類に用いるようにしたが、 クラス分類は、 その他、 量子化 D C T係数の
D C成分を用いて行うことも可能である。
すなわち、 クラス分類は、 例えば、 図 71に示すように、 注目 D CTブロック の D C成分 C。、 その上下左右に隣接する D C Tプロヅクそれそれの D C成分 Cu，
Cd, C i, Crを用いて行うことが可能である。
この場合、 図 64のクラス分類回路 643は、 例えば、 図 72に示すように構 成される。
クラスタップは、 差分演算回路 75 1に供給されるようになっている。. 差分演 」 算回路 75 1は、 クラス夕ヅプを構成する 5個の D CTプロヅクのうち、 注目 D CTブロックの上下左右に隣接する D CTブロックの D C成分 Cu, Cd, Ci, C rそれそれと、 注目 D C T.ブロックの D C成分 C。との差分の絶対値 Du, Da, D i, Drを演算し、 クラスコード生成回路 752に供給する。 すなわち、 差分演算 回路 75 1は、 次の式 （ 9 ) を演算し、
D u = I C u C。 I
D d = I し し 。 I
Di= I d— C。 I
Figure imgf000102_0001
• · · (9)
その演算結果をクラスコード生成回路 752に供給する。
クラスコード生成回路 752は、 差分演算回路 75 1からの演算結果 （差分絶 対値） Du, Dd, Di, Drを閾値テーブル記憶部 753に記憶された対応する閾 値 THU， T Hd, T Hi, THrとそれそれ比較し、 それそれの大小関係に基づい てクラスコードを出力する。 すなわち、 クラスコード生成回路 752は、 差分絶 対値 Duと閾値 T Huとを比較し、 その大小関係を表す 1ビッ トのコードを得る。 同様に、 クラスコード生成回路 752は、 差分絶対値 Ddと閾値 THd、 差分絶対 値 D iと閾値 T H 差分絶対値 Drと閾値 THrをそれそれ比較することにより、 それそれについて 1ビットのコードを得る。 そして、 クラスコード生成回路 752は、 以上のようにして得られる 4つの 1 ビットのコードを例えば所定の順番で並べることにより得られる 4ビヅ トのコー ド （したがって、 0〜 1 5のうちのいずれかの値） を注目画素プロックのクラス を表すクラスコードとして出力する。 したがって、 この場合、 注目画素ブロック は、 24 (== 1 6) 個のクラスのうちのいずれかにクラス分類されることになる。 閾値テーブル記憶部 7 53は、 差分絶対値 Du, Dd, Dl5 Drとそれそれ比較 する閾値 THU， TH, T Hl9 THrを記憶している。
クラス分類回路 643が図 72に示したように構成される場合、 図 67のステ ヅプ S 3 1 2では、 図 73に示すような処理が行われる。
. すなわち、 この場合、 まず最初に、 ステップ S 34 1において、 差分演算回路 7 5 1は、 クラス夕ヅプを構成する 5個の D C Tブロックそれそれの D C成分 C 。， Cu, Cd, Ci, Crを用いて、 上述の差分絶対値 Du， Dd5 Di, Drを演算し、 クラスコード生成回路 7 52に供給する。
クラスコード生成回路 752は、 ステップ S 342において、 閾値テーブル記 憶部 753に記憶された閾値 THU， T Hd, T Hi., THrそれそれと、 差分演算 回路 75 1からの差分絶対値 Du, Dd, Di, Drそれぞれと比較し、 その大小閧 係を表す 4つの 1ビットのコードを得る。 そして、 クラスコ一ド生成回路 7 52 は、 その 4つの 1ビヅ トのコードでなる 4ビヅ 卜のコードをクラスコードとして 出力し、 リターンする。
なお、 クラス分類は、 量子化 D C T係数の A C成分だけ、 又は、 D C成分だけ を用いて行う他、 A C成分及び D C成分の両方を用いて行うことも可能である。 すなわち、 クラス分類の方法は、 上述した手法に限定されるものではない。
ここで、 上記図 64の係数テーブル記憶部 644に記憶させるタップ係数の学 習処理は、 上述の図 1 6や図 1 8に示した学習装置 60 C， 60Dにより実行す ることができる。
また、 図 62の係数変換回路 632は、 上述の図 1 3と同様に構成することが できる。
次に、 図 74は、 上記係数変換回路 632の他の構成例を示している。 なお、 図中、 図 64における場合と対応する部分については、 同一の符号を付して、 そ の説明を適宜省略する。 すなわち、 図 7 4に示す係数変換回路 6 3 2 Bは、 積和 演算回路 6 4 5の後段に、 逆 D C T回路 7 0 1が新たに設けられている他は、 基 本的に、 図 6 4における場合と同様に構成されている。
逆 D C T回路 7 0 1は、 積和演算回路 6 4 5の出力を逆 D C T処理することに より、 画像に復号して出力する。 したがって、 図 7 4の係数変換回路 6 3 2 Bで は、 積和演算回路 6 4 5は、 予測タップ抽出回路 6 4 1が出力する予測タップを 構成する量子化 D C T係数と、 係数テーブル記憶部 6 4 4に記憶された夕ップ係 数とを用いた積和演算を行うことにより、 D C T係数を出力する。
このように、 図 7 4の数変換回路 6 3 2 Bでは、 量子化 D C T係数が、 タップ 係数との積和演算により、 画素値に復号されるのではなぐ、 D C T係数に変換さ れ、 さらに、 その D C T係数が、 逆 D C T回路 7 0 1で逆 D C Tされることによ り、 画素値に復号される。 したがって、 係数テーブル記憶部 6 4 4に記憶させる タップ係数は、 図 6 4における場合と異なるものとする必要がある。
そこで、 図 7 5は、 図 7 4の係数テ一ブル記憶部 6 4 4に記憶させるタヅプ係 数の学習処理を行う学習装置 6 6 0 Bの構成例を示している。 なお、 図中、 図 1 . 6における場合と対応する部分については、 最上位桁に 6を付した同一の符号に て示し、 その説明を適宜省略する。 すなわち、 図 7 5に示す学習装置 6 6 0 Bは、 正規方程式加算回路 6 6 7に対し、 教師データとして、 学習用の画像の画素値で はなく、 D C T回路 6 6 2が出力する、 学習用の画像を D C T処理した D C T係 数が与えられるようになつている他は、 図 1 6における場合と同様に構成されて いる。
したがって、 図 7 5に示した学習装置 6 6 0 Bでは、 正規方程式加算回路 6 6 7が、 D C T回路 6 6 2が出力する D C T係数を教師デ一夕とするとともに、 予 測夕ップ構成回路 6 6 4が出力する予測夕ップを構成する量子化 D C T係数を生 徒データとして、 上述の足し込みを行う。 そして、 タップ係数決定回路 6 6 8は、 そのような足し込みにより得られる正規方程式を解くことにより、 夕ップ係数を 求める。 その結果、 図 7 5の学習装置 6 6 0 Bでは、 量子化 D C T係数を、 量子 化回路 6 6 3における量子化による量子化誤差を低減 （抑制） した D C T係数に 変換する夕ヅプ係数が求められることになる。 図 7 4の係数変換回路 6 3 2 Bでは、 積和演算回路 6 4 5が上述のような夕ッ プ係数を用いて積和演算を行うため、 その出力は、 予測タップ抽出回路 6 4 1が 出力する量子化 D C T係数を、 その量子化誤差を低減した D C T係数に変換した ものとなっている。 したがって、 そのような D C T係数が逆 D C T回路 7 0 1で 逆 D C Tされることにより、 量子化誤差の影響による画質の劣化を低減した復号 画像が得られることになる。
次に、 図 7 6は、 図 6 2の係数変換回路 6 3 2の他の構成例を示している。 な お、 図中、 図 6 4又は図 7 4における場合と対応する部分については、 同一の符 号を付して、 その説明を適宜省略する。 すなわち、 図 7 6に示す係数変換回路 6 3 2 Cは、 図 1 8における場合と同様に、 逆量子化回路 6 7 1が新たに設けられ、 かつ、 図 7 4における場合と同様に、 逆 D C T回路 7 0 1が新たに設けられてい る他は、 図 6 4における場合と同様に構成されている。
.したがって、 図 7 6の係数変換回路.6 3 2 Cでは、 予測夕ヅプ抽出回路 6 4 1 . とクラス夕ヅプ抽出回路 6 4 2では、 量子化 D C T係数ではなく、 D C T係数を 対象として、 予測夕ヅプとクラス夕ヅプがそれそれ構成される。 さらに、 図 7 6 の係数変換回路 6 3 2 Cでは、 積和演算回路 6 4 5は、 予測タップ抽出回路 6 4 1が出力する予測夕ップを構成する D C T係数と、 係数テ一ブル記憶部 6 4 4に 記憶されたタップ係数とを用いた積和演算を行うことにより、 量子化誤差を低減 した D C T係数を得て、 逆 D C T回路 7 0 1に出力する。
次に、 図 7 7は、 図 7 6の係数テーブル記憶部 6 4 4に記憶させるタップ係数 の学習処理を行う学習装置 6 6 0 Cの構成例を示している。 なお、 図中、 図 7 5 における場合と対応する部分については、 同一の符号を付して、 その説明を適宜 省略する。 すなわち、 図 7 7に示す学習装置 6 6 0 Cは、 図 1 9における場合と 同様に、 逆量子化回路 6 8 1が新たに設けられ、 さらに、 図 7 5における場合と 同様に、 正規方程式加算回路 6 6 7に対し、 教師データとして、 学習用の画像の 画素値ではなく、 D C T回路 6 6 2が出力する、 学習用の画像を D C T処理した D C T係数が与えられるようになつている他は、 図 1 6における場合と同様に構 成されている。
したがって、 図 7 7の学習装置 6 6 0 Cでは、 正規方程式加算回路 6 6 7が、 D C T回路 6 6 2が出カする13 C T係数すなわち量子化誤差のない D C T係数を 教師データとするとともに、 予測夕ップ構成回路 6 6 4が出力する予測タップを 構成する D C T係数すなわち量子化されて逆量子化された D C T係数を生徒デー タとして、 上述の足し込みを行う。 そして、 タヅプ係数決定回路 6 6 8は、 その ような足し込みにより得られる正規方程式を解くことにより、 夕ップ係数を求め る。 その結果、 図 7 7の学習装置 6 6 0 Cでは、 量子化され、 さらに逆量子化さ れた D C T係数を、 その量子化及び逆量子化による量子化誤差を低減した D C T 係数に変換する夕ップ係数が求められることになる。
以上のように、 本発明によれば、 注目処理デ一夕を幾つかのクラスのうちのい ずれかにクラス分類するのに用いる変換データを少なくとも注目処理デ一夕に対 応するプロヅク以外のブロックから抽出し、 クラスタヅプとし、 そのクラス夕ヅ プに基づいて、 注目処理データのクラスを求めるクラス分類を行い、 注目処理デ ：一夕のクラスの夕ップ係数及び変換データを用いて、 所定の予測演算を行うこと により、 注目処理データの予測値を求めるので、 効率的に変換デ一夕から所望の 処理データを求めることができる。
また、 本発明によれば、 注目教師デ一夕を幾つかのクラスのうちのいずれかに クラス分類するのに用いる生徒データを少なくとも注目教師データに対応するブ ロック以外のプロヅクから抽出し、 クラス夕ヅプとし、 そのクラスタヅプに基づ いて、 注目教師デ一夕のクラスを求めるクラス分類を行う。 そして、 クラスごと の夕ップ係数及び生徒データを用いて予測演算を行うことにより得られる教師デ 一夕の予測値の予測誤差が統計的に最小になるように学習を行い、 タツプ係数を クラスごとに求める。 このようにして求めた夕ヅプ係数を用いることにより効率 的に直交変換又は周波数変換されたデ一夕から所望のデ一夕を求めることが可能 となる。
さらに、 本発明の他の実施の形態について説明する。
次に説明する実施の形態では、 上述の図 2に示したデコーダ 2 2として図 7 8 に示すようにェントロピー復号回路 8 3 1、 係数変換回路 8 3 2及びブロック分 解回路 8 3 3からなるデコーダ 8 2 2を用いて符号化データを復号する。
符号化データは、 ェントロピ一復号回路 8 3 1に供給されるようになっている { ェントロピー復号回路 8 3 1は、 符号化デ一夕をェントロビー復号して、 その結 果得られるブロックごとの量子化 D C T係数 Qを係数変換回路 8 3 2に供給する < なお、 符号化データには、 エントロピー符号化された量子化 D C T係数の他、 量 子化テーブルも含まれるが、 量子化テーブルは、 必要に応じて、 量子化 D C T係 数の復号に用いることが可能である。
係数変換回路 8 3 2は、 ェントロピー復号回路 8 3 1からの量子化 D C T係数 Qと、 学習を行うことにより求められるタップ係数を用いて、 所定の予測演算を 行うことにより、 ブロックごとの量子化 D C T係数を 8 X 8画素の元のブロック に復号する。
ブロック分解回路 8 3 3は、 係数変換回路 8 3 2において得られる、 復号され たブロック （復号プロヅク） のブロック化を解くことで、 復号画像を得て出力す る。
次に、 図 7 9のフローチャートを参照して、 図 7 8の.デコーダ 8 2 2の処理に ついて説明する。
符号化データは、 エントロピー復号回路 8 3 1に順次供給され、 ステップ S 4 0 1において、：エントロピ^復号回路 8 3 1は、 符号化データをェントロピー復 号し、 プロックごとの量子化 D C T係数 Qを係数変換回路 8 3 2に供給する。 係 数変換回路 8 3 2は、 ステヅプ S 4 0 2において、 タヅプ係数を用いた予測演算 を行うことにより、 ェントロピー復号回路 8 3 1からのブロックごとの量子化 D C T係数 Qをプロックごとの画素値に復号し、 プロック分解回路 8 3 3に供給す る。 ブロック分解回路 8 3 3は、 ステヅプ S 4 0 3において、 係数変換回路 8 3 2からの画素値のブロック （復号ブロック） のブロック化を解くプロヅク分解を 行い、 その結果得られる復号画像を出力して、 処理を終了する。
この図 7 8の係数変換回路 8 3 2では、 クラス分類適応処理を利用して、 量子 化 D C T係数を画素値に復号する。
図 8 0は、 クラス分類適応処理により、 量子化 D C T係数を画素値に復号する 図 7 8の係数変換回路 8 3 2の構成例を示している。
この図 8 0に示す係数変換回路 8 3 2 Aにおいて、 ェントロピー復号回路 8 3 1 (図 7 8 ) が出力するプロヅクごとの量子化 D C T係数は、 予測夕ヅプ抽出回 路 8 4 1及びクラス夕ヅプ抽出回路 8 4 2に供給されるようになっている。
予測タップ抽出回路 8 4 1は、 そこに供給される量子化 D C T係数のブロック (以下、 適宜、 D C Tブロックという） に対応する画素値のプロヅク （この画素 値のブロックは、 現段階では存在しないが、 仮想的に想定される） （以下、 適宜、 画素ブロックという） を順次注目画素プロヅクとし、 さらに、 その注目画素プロ ックを構成する各画素を例えばいわゆるラス夕スキャン順に順次注目画素とする t さらに、 予測タヅプ抽出回路 8 4 1は、 パ夕一ンテ一ブル記憶部 8 4 6のパター ンテーブルを参照することで、 注目画素の画素値を予測するのに用いる量子化 D C T係数を抽出し、 予測タップとする。
すなわち、 パターンテーブル記憶部 8 4 6は、 注目画素についての予測夕ヅプ として抽出する量子化 D C T係数の注目画素に対する位置関係を表したパターン 情報が登録されているパターンテーブルを記憶しており、 予測夕ヅプ抽出回路 8 4 1は、 そのパターン情報に基づいて、 量子化 D C T係数を抽出し、 注目画素に ついての予測タヅプを構成する。
予測夕ヅプ抽出回路 8 4 1は、 8 X 8の 6 4画素でなる画素プロックを構成す る各画素についての予測タヅプ、 すなわち、 6 4画素それそれについての 6 4セ ヅトの予測夕ヅプを上述のようにして構成し、 積和演算回路 8 4 5に供給する。 クラスタップ抽出回路 8 4 2は、 注目画素を幾つかのクラスのうちのいずれか に分類するためのクラス分類に用いる量子化 D C T係数を抽出して、 クラス夕ッ プとする。
なお、 J P E G符号化では、 画像が画素ブロックごとに符号化 （D C T処理及 び量子化） されることから、 ある画素プロヅクに属する画素は、 例えば、 すべて 同一のクラスにクラス分類することとする。 したがって、 クラス夕ヅプ抽出回路 8 4 2は、 ある画素ブロックの各画素については、 同一のクラス夕ヅプを構成す る。 すなわち、 クラスタップ抽出回路 8 4 2は、 例えば、 上述の図 6に示したよ うに注目画素が属する画素プロックに対応する D C Tプロックのすベての量子化 D C T係数すなわち 8 X 8の 6 4個の量子化 D C T係数をクラスタヅブとして抽 出する。 ただし、 クラスタヅブは、 注目画素ごとに、 異なる量子化 D C T係数で 構成することが可能である。 ここで、 画素プロヅクに属する各画素をすベて同一のクラスにクラス分類する ということは、 その画素ブロックをクラス分類することと等価である。 したがつ て、 クラス夕ヅプ抽出回路 8 4 2には、 注目画素ブロックを構成する 6 4画素そ れそれをクラス分類するための 6 4セッ トのクラス夕ップではなく、 注目画素ブ 口ヅクをクラス分類するための 1セッ トのクラスタヅプを構成させれば良く、 こ のため、 クラスタップ抽出回路 8 4 2は、 画素ブロックごとに、 その画素ブロヅ クをクラス分類するために、 その画素ブロックに対応する D C Tプロヅクの 6 4 個の量子化 D C T係数を抽出して、 クラスタップとするようになつている。 なお、 クラス夕ヅプを構成する量子化 D C T係数は、 上述したパ夕一ンのもの に限定されるものではない。
クラス夕ヅプ抽出回路 8 4 2において得られる、 注目画素プロヅクのクラスタ - ヅプは、 クラス分類回路 8 4 3に供給されるようになっている。 クラス分類回路 8 4 3は、 クラス夕ヅプ抽出回路 8 4 2からのクラスタヅプに基づき、 注目画素 ブロックをクラス分類し、 その結果得られるクラスに対応するクラスコードを出 力する。
ここで、 クラス分類を行う方法としては、 例えば、 A D R C等を採用すること ができる。
A D R Cを用いる方法では、 クラス夕ヅプを構成する量子化 D C T係数が A D R C処理され、 その結果得られる A D R Cコードにしたがって、 注目画素プロヅ クのクラスが決定される。
このクラス分類回路 8 4 3においては、 クラス夕ヅプの情報量を上述の A D R C処理やあるいはべク トル量子化等によって圧縮してから、 クラス分類を行うの が好ましい。
そこで、 本実施の形態では、 クラス分類回路 8 4 3において、 クラス夕ヅプを 構成する量子化 D C T係数から、 重要性の高い特徴量を抽出し、 その特徴量に基 づいてクラス分類を行うことで、 クラス数を低減するようになっている。
すなわち、 図 8 1は、 図 8 0のクラス分類回路 8 4 3の構成例を示している。 クラス夕ヅプは、 電力演算回路 8 5 1に供給されるようになっている。 電力演 算回路 8 5 1は、 クラスタップを構成する量子化 D C T係数を幾つかの空間周波 数帯域のものに分け、 各周波数帯域の電力を演算する。
すなわち、 電力演算回路 8 5 1は、 クラス夕ヅプを構成する 8 X 8個の量子化 D C T係数を上述の図 6に示したような 4つの空間周波数帯域 S。， S i, S 2, S 3に分割する。 ここで、 空間周波数帯域 S。は、 4個の量子化 D C T係数 X Q, x i, X 8 , χ 9から構成され、 空間周波数帯域 S iは、 1 2個の量子化 D C T係数 χ 2 ,
X 3 , X 4 , X 5 , X 6 , X 7 , X 10 , X 1 1 , X 12 , X 13 , X 14 , X 15から構成される（ また、 空間周波数帯域 S 2は、 1 2個の量子化 D C T係数 X 1 6 , X 17 , X 24 , X 2
5 , X 32 , X 33 , X 40 , X 1 , X 48 , X 49 , X 56 , X 57から構成され、 空間周波数 帯域 S 3は、 3 6個の量子化 D C T係数 X 1 8， X 19 , X 20 , X 2 1 , 22 , X 23 , X
26 j X 27 j X 2 8 , X 29 j X 30 , X 3 1 , X 34 j X 35 , X 36 j X 37 , X 38 , X 39 j X
42 , X 43 , X '44 , X 45 , X 463 X 47 j X 50 , X 5 1 , 52 , X 53 , X 54 , X 55 , X
58 , X 59 , X 60 , X 6 1 , 62 j X 63から構成される。
さらに、 電力演算回路 8 5 1は、 空間周波数帯域 S。， S i, S 2.， S 3それそれ について、 量子化 D C T係数の A C成分の電力 P。， P 15 P 2， P 3を演算し、 ク ラスコード生成回路 8 5 2に出力する。
すなわち、 電力演算回路 8 5 1は、 空間周波数帯域 S。については、 上述の 4個 の量子化 D C T係数 X。， X l 5 8 , X 9のうちの A C成分 X i， X 8 , χ 9の 2乗和 x ^ + x ^ + x s2を求め、 これを電力 P。としてクラスコード生成回路 8 5 2に出 力する。 また、 電力演算回路 8 5 1は、 空間周波数帯域 S iについての上述の 1 2 個の量子化 D C T係数の A C成分、 すなわち、 1 2個すベての量子化 D C T係数 の 2乗和を求め、 これを電力 P iとしてクラスコード生成回路 8 5 2に出力する。 さらに、 電力演算回路 8 5 1は、 空間周波数帯域 S 2と空間周波数帯域 S 3につい ても、 空間周波数帯域 S iにおける場合と同様にして、 それそれの電力 P 2と電力 P 3を求め、 クラスコード生成回路 8 5 2に出力する。
クラスコード生成回路 8 5 2は、 電力演算回路 8 5 1からの電力 P。， P l 5 P 2 , P 3を閾値テーブル記憶部 8 5 3に記憶された対応する閾値 Τ Η。， Τ Η ι, T Η2, Τ Η3とそれそれ比較し、 それそれの大小関係に基づいて、 クラスコードを 出力する。 すなわち、 クラスコード生成回路 8 5 2は、 電力 Ρ。と閾値 Τ Η。とを 比較し、 その大小関係を表す 1ビットのコードを得る。 同様に、 クラスコード生 成回路 8 5 2は、 電力 と閾値 T H " 電力 P 2と閾値 T H 2、 電力 P 3と閾値 T H 3 をそれそれ比較することにより、 それそれについて、 1 ビヅ トのコードを得 る。 そして、 クラスコード生成回路 8 5 2は、 以上のようにして得られる 4つの 1ビットのコ一ドを例えば所定の順番で並べることにより得られる 4ビットのコ ード （したがって、 0〜 1 5のうちのいずれかの値） を注目画素ブロックのクラ スを表すクラスコードとして出力する。 したがって、 本実施の形態では、 注目画 素ブロックは、 2 4 ( = 1 6 ) 個のクラスのうちのいずれかにクラス分類されるこ とになる。
閾値テーブル記憶部 8 5 3は、 空間周波数帯域 S。〜S 3の電力 P。〜P 3とそれ それ比較する閾値 T H。〜T H 3を記憶している。
なお、 上述の場合には、 クラス分類処理に、 量子化 D C T係数の D C成分 X。 が用いられないが、 この D C成分 x。 をも用いてクラス分類処理を行うことも可 能である。
図 8 0に戻り、 以上のようなクラス分類回路 8 4 3が出力するクラスコードは、 係数テーブル記憶部 8 4 4及びパターンテーブル記憶部 8 4 6に、 ア ドレスとし て与えられる。 '
係数テーブル記憶部 8 4 4は、 後述するような夕ップ係数の学習処理が行われ ることにより得られるタップ係数が登録された係数テーブルを記憶しており、 ク ラス分類回路 8 4 3が出力するクラスコードに対応するァドレスに記憶されてい 'る夕ヅプ係数を積和演算回路 8 4 5に出力する。
ここで、 本実施の形態では、 画素ブロックがクラス分類されるから、 注目画素 プロヅクについて、 1つのクラスコードが得られる。 一方、 画素ブロックは、 本 実施の形態では、 8 X 8画素の 6 4画素で構成されるから、 注目画素ブロックに ついて、 それを構成する 6 4画素それそれを復号するための 6 4セヅ トの夕ップ 係数が必要である。 したがって、 係数テーブル記憶部 8 4 4には、 1つのクラス コードに対応するァドレスに対して、 6 4セヅトのタヅプ係数が記憶されている。 積和演算回路 8 4 5は、 予測夕ップ抽出回路 8 4 1が出力する予測夕ップと、 係数テーブル記憶部 8 4 4が出力する夕ップ係数とを取得し、 その予測夕ップと タップ係数とを用いて、 上述の式 （ 1 ) に示した線形予測演算 （積和演算） を行 い、 その結果得られる注目画素プロックの 8 X 8画素の画素値を対応する D C T ブロヅクの復号結果としてブロック分解回路 8 3 3 (図 7 8 ) に出力する。
ここで、 予測タップ抽出回路 8 4 1においては、 上述したように、 注目画素ブ ロックの各画素が順次注目画素とされるが、 積和演算回路 8 4 5は、 注目画素ブ ロックの注目画素となっている画素の位置に対応した動作モード （以下、 適宜、 画素位置モードという） となって処理を行う。
すなわち、 例えば、 注目画素プロックの画素のうちラスタスキヤン順で i番目 の画素を P iと表し、 画素 P iが注目画素となっている場合、 積和演算回路 8 4 5 は、 画素位置モード # iの処理を行う。
具体的には、 上述したように、 係数テーブル記憶部 8 4 4は、 注目画素ブロヅ クを構成する 6 4画素それそれを復号するための 6 4セッ トの夕ップ係数を出力 するが、 そのうちの画素 p iを復号するための夕ヅプ係数のセ.、ソトを W iと表すと、 積和演算回路 8 4 5は、 動作モードが画素位置モード # iのときには、 予測夕ッ プと 6 4セヅトの夕ヅプ係数のうちのセット W i とを用いて、 上述の式 （ 1 ) の 積和演算を行い、 その積和演算結果を画素 P iの復号結果とする。
パターンテーブル記憶部 8 4 6は、 後述するような量子化 D C T係数の抽出パ ターンを表すパターン情報の学習処理が行われることにより得られるパターン情 報が登録されたパターンテーブルを記憶しており、 クラス分類回路 8 4 3が出力 するクラスコードに対 J¾するァドレスに記憶されているパターン情報を予測夕ヅ プ抽出回路 8 4 1に出力する。
ここで、 パ夕一ンテ一ブル記憶部 8 4 6においても、 係数テーブル記憶部 8 4 4について説明したのと同様の理由から、 1つのクラスコードに対応するァドレ スに対して、 6 4セヅ トのパターン情報 （各画素位置モードごとのパターン情 報） が記憶されている。
次に、 図 8 2のフローチャートを参照して、 図 8 0の係数変換回路 8 3 2 Aの 処理について説明する。
エントロピー復号回路 8 3 1が出力するブロックごとの量子化 D C T係数は、 予測タップ抽出回路 8 4 1及びクラスタップ抽出回路 8 4 2において順次受信さ れ、 予測タップ抽出回路 8 4 1は、 そこに供給される量子化 D C T係数のブロヅ ク （D C Tブロック） に対応する画素ブロックを順次注目画素ブロックとする。 そして、 クラス夕ヅプ抽出回路 8 4 2は、 ステップ S 4 1 1において、 そこで 受信した量子化 D C T係数の中から、 注目画素プロックをクラス分類するのに用 いるものを抽出して、 クラスタップを構成し、 クラス分類回路 8 4 3に供給する < クラス分類回路 8 4 3は、 ステップ S 4 1 2において、 クラスタヅプ抽出回路 8 4 2からのクラス夕ヅブを用いて、 注目画素プロヅクをクラス分類し、 その結 果得られるクラスコードを係数テーブル記憶部 8 4 4及びパターンテーブル記憶 部 8 4 6に出力する。
すなわち、 ステップ S 4 1 2では、 図 8 3のフローチャートに示すように、 ま ず最初に、 ステップ S 4 2 1において、.クラス分類回路 8 4 3 (図 8 1 ) の電力 演算回路 8 5 1が、 クラス夕ップを構成する 8 X 8個の量子化 D C T係数を上述 の図 6に示した 4つの.空間周波数帯域 S。〜 S 3 に分害!]し、 それぞれの電力 P 0.〜 P 3 を演算する。 この電力 P。〜P 3は、 電力演算回路 8 5 1からクラスコード生 成回路 8 5 2に出力される。
クラスコード生成回路 8 5 2は、 ステヅプ S 4 2 2において、 閾値テ ブル記 憶部 8 5 3から閾値 T H。〜T H 3を読み出し、 電力演算回路 8 5 1からの電力 P 0 ~ P 3それそれと、 閾値 T H。〜T H 3それそれとを比較し、 それそれの大小関係 に基づいたクラスコードを生成して、 リターンする。
図 8 2に戻り、 ステップ S 4 1 2において以上のようにして得られるクラスコ 一ドは、 クラス分類回路 8 4 3から係数テーブル記憶部 8 4 4及びパターンテー ブル記憶部 8 4 6に対して、 アドレスとして与えられる。
係数テーブル記憶部 8 4 4は、 クラス分類回路 8 4 3からのァドレスとしての クラスコードを受信すると、 ステップ S 4 1 3において、 そのアドレスに記憶さ れている 6 4セッ トの夕ップ係数を読み出し、 積和演算回路 8 4 5に出力する。 また、 パターンテーブル記憶部 8 4 6も、 クラス分類回路 8 4 3からのアドレス としてのクラスコードを受信すると、 ステヅプ S 4 1 3において、 そのアドレス に記憶されている 6 4セットのパターン情報を読み出し、 予測夕ップ抽出回路 8 4 1に出力する。
そして、 ステップ S 4 1 4に進み、 予測タヅプ抽出回路 8 4 1は、 注目画素ブ ロックの画素のうち、 ラス夕スキャン順で、 まだ、 注目画素とされていない画素 を注目画素として、 その注目画素の画素位置モードに対応するパターン情報にし たがって、 その注目画素の画素値を予測するのに用いる量子化 D C T係数を抽出 し、 予測夕ヅプとして構成する。 この予測夕ヅプは、 予測夕ヅプ抽出回路 8 4 1 から積和演算回路 8 4 5に供給される。
積和演算回路 8 4 5は、 ステヅプ S 4 1 5において、 ステップ S 4 1 3で係数 テーブル記憶部 8 4 4が出力する 6 4セットのタヅプ係数のうち、 注目画素に対 する画素位置モードに対応する夕ップ係数のセットを取得し、 その夕ップ係数の セヅ トと、 ステヅプ S 4 1 4で予測夕ヅプ抽出回路 8 4 1から供給された予測夕 ップとを用いて、 上述の式 （ 1 ) に示した積和演算を行い、.注目画素の画素値の 復号値を得る。
そして、 ステヅプ S 4 1 6に進み、 予測夕ヅプ抽出回路 8 4 1は、 注目画素ブ 口ックのすベての画素を注目画素として、 処理を行ったかどうかを判定する。 ス テヅプ S 4 1 6において、 注目画素プロヅクのすベての画素を注目画素として、 まだ処理を行っていないと判定された場合、 ステップ S 4 1 4に戻り、 予測タツ プ抽出回路 8 4 1は、 注目画素ブロックの画素のうち、 ラスタスキャン順で、 ま だ、 注目画素とされていない画素を新たに注目画素として、 以下、 同様の処理を 繰り返す。
また、 ステップ S 4 1 6において、 注目画素ブロックのすべての画素を注目画 素として、 処理を行ったと判定された場合、 すなわち、 注目画素ブロックのすべ ての画素の復号値が得られた場合、 積和演算回路 8 4 5は、 その復号値で構成さ れる画素ブロック （復号ブロック） をプロヅク分解回路 8 3 3 (図 7 8 ) に出力 し、 処理を終了する。
なお、 図 8 2のフローチャートにしたがった処理は、 予測夕ヅプ抽出回路 8 4 1が新たな注目画素プロックを設定するごとに繰り返し行われる。
次に、 図 8 4は、 図 8 0の係数テーブル記憶部 8 4 4に記憶させる夕ヅプ係数 の学習処理を行うタップ係数学習装置 8 6 0 Aの構成例を示している。
ブロック化回路 8 6 1には、 1枚以上の学習用の画像デ一夕が学習時の教師と なる教師データとして供給されるようになっている。 ブロック化回路 8 6 1は、 教師データとしての画像を J P E G符号化における場合と同様に 8 X 8画素の画 素プロヅクにプロヅク化する。
D C T回路 8 6 2は、 ブロック化回路 8 6 1がブロック化した画素ブロックを 順次注目画素ブロックとして読み出し、 その注目画素ブロックを D C T処理する ことで、 D C T係数のブロックとする。 この D C T係数のブロックは、 量子化回 路8 6 3に供給される。
量子化回路 8 6 3は、 D C T回路 8 6 2からの D C T係数のブロックを J P E G符号化に用いられるのと同一の量子化テーブルにしたがって量子化し、 その結 果得られる量子化 D C T係数のプロヅク （D C Tブロック） を予測夕ヅプ抽出回 路 8 6 4及びクラス夕ヅプ抽出回路 8 6 5に順次供給する。
予測夕ヅプ抽出回路 8 6 4は、 注目画素プロヅクの画素のうちラス夕スキャン 順でまだ注目画素とされていない画素を注目画素として.、 その注目画素について、 パターンテーブル記憶部 8 7 0から読み出されるパターン情報を参照することに より、 図 8 0の予測夕ヅプ抽出回路 8 4 1が構成するのと同一の予測タップを、 量子化回路 8 6 3の出力から必要な量子化 D C T係数を抽出することで構成する c この予測タップは、 学習時の生徒となる生徒データとして、 予測タップ抽出回路 8 6 4から正規方程式加算回路 8 6 7に供給される。
クラス夕ヅプ抽出回路 8 6 5は、 注目画素プロヅクについて、 量子化回路 8 6 3の出力から必要な量子化 D C T係数を抽出することで、 図 8 0のクラス夕ヅプ 抽出回路 8 4 2が構成するのと同一のクラスタヅプを構成する。 このクラス夕ヅ プは、 クラス夕ヅプ抽出回路 8 6 5からクラス分類回路 8 6 6に供給される。 クラス分類回路 8 6 6は、 クラス夕ヅプ抽出回路 8 6 5からのクラスタップを 用いて、 図 8 0のクラス分類回路 8 4 3と同一の処理を行うことで、 注目画素ブ 口ヅクをクラス分類し、 その結果得られるクラスコードを正規方程式加算回路 8 6 7及びパターンテーブル記憶部 8 7 0に供給する。
正規方程式加算回路 8 6 7は、 ブロック化回路 8 6 1から、 教師デ一夕として の注目画素の画素値を読み出し、 予測夕ップ構成回路 8 6 4からの生徒データと しての予測夕ップを構成する量子化 D C T係数及び注目画素を対象とした足し込 みを行う。 すなわち、 正規方程式加算回路 8 6 7は、 クラス分類回路 8 6 6から供給され るクラスコードに対応するクラスごとに、 予測夕ヅプ （生徒データ） を用い、 上 述の式 （8 ) の行列 Aにおける各コンポーネントとなっている、 生徒データどう しの乗算 （X i n X i m) と、 サメ一シヨン （∑) に相当する演算を行う。
さらに、 正規方程式加算回路 8 6 7は、 やはり、 クラス分類回路 8 6 6から供 給されるクラスコードに対応するクラスごとに、 予測タップ （生徒データ） 及び 注目画素 （教師デ一夕） を用い、 上述の式 （8 ) のベクトル Vにおける各コンポ 一ネントとなっている、 生徒データと教師データの乗算 （X i n Y i ) と、 サメーシ ヨン （∑) に相当する演算を行う。
なお、 正規方程式加算回路 8 6 7における、 上述のような足し込みは、 各クラ スについて、 注目画素に対する画素位置モードごとに行われる。
正規方程式加算回路 8 6 7は、 プロック化回路 8 6 1に供給された教師画像を 構成する画素すベてを注目画素として以上の足し込みを行い、 これにより、 各ク. ラスについて、 画素位置モードごとに、 上述の式 （8 ) に示した正規方程式がた てられる。
タップ係数決定回路 8 6 8は、 正規方程式加算回路 8 6 7においてクラスごと に、 かつ、 画素位置モードごとに生成された正規方程式を解くことにより、 クラ スごとに、 6 4セットのタヅプ係数を求め、 係数テーブル記憶部 8 6 9の各クラ スに対応するァドレスに供給する。
なお、 学習用の画像として用意する画像の枚数や、 その画像の内容等によって は、 正規方程式加算回路 8 6 7において、 タップ係数を求めるのに必要な数の正 規方程式が得られないクラスが生じる場合があり得るが、 タップ係数決定回路 8 6 8は、 そのようなクラスについては、 例えば、 デフォルトのタップ係数を出力 する。
係数テーブル記憶部 8 6 9は、 夕ップ係数決定回路 8 6 8から供給されるクラ スごとの 6 4セヅ 卜の夕ヅプ係数を記憶する。
パターンテーブル記憶部 8 7 0は、 図 8 0のパターンテーブル記憶部 8 4 6が 記憶しているのと同一のパターンテーブルを記憶しており、 クラス分類回路 8 6 6からのクラスコードに対応するァドレスに記億されている 6 4セヅトのパ夕一 ン情報を読み出し、 予測夕ップ抽出回路 8 6 4に供給する。
次に、 図 8 5のフローチャートを参照して、 図 8 4のタップ係数学習装置 8 6 O Aの処理 （学習処理） について説明する。
プロック化回路 8 6 1には、 学習用の画像データが教師データとして供給され、 プロヅク化回路 8 6 1は、 ステップ S 4 3 1において、 教師データとしての画像 データを J P E G符号化における場合と同様に 8 X 8画素の画素プロヅクにプロ ヅク化して、 ステヅプ S 4 3 2に進む。 ステヅプ S 4 3 2では、 D C T回路 8 6 2が、 ブロック化回路 8 6 1がプロヅク化した画素ブロックを順次読み出し、 そ の注目画素ブロックを D C T処理することで、 D C T係数のブロックとし、 ステ ヅプ S 4 3 3に進む。 ステップ S 4 3 3では、 量子化回路 8 6 3が、 D C T回路 8 6 2において得られた D C T係数のプロヅクを順次読み出し、 J P E G符号化 に用いられるのと同一の量子化テーブルにしたがって量子化して、 量子化 D C T 係数で構成されるブロック （D C Tプロヅク） とする。
そして、 ステップ S 4 3 4に進み、 クラス夕ヅプ抽出回路 8 6 5は、 ブロッグ 化回路 8 6 1でブロック化された画素ブロックのうち、 まだ注目画素ブロックと されていないものを注目画素ブロックとする。 さらに、 クラスタヅプ抽出回路 8 6 5は、 注目画素プロックをクラス分類するのに用いる量子化 D C T係数を量子 化回路 8 6 3で得られた D C Tブロックから抽出して、 クラス夕ヅプを構成し、 クラス分類回路 8 6 6に供給する。 クラス分類回路 8 6 6は、 ステップ S 4 3 5 において、 図 8 3のフローチャートで説明した場合と同様に、 クラスタップ抽出 回路 8 6 5からのクラス夕ヅプを用いて、 注目画素プロヅクをクラス分類し、 そ の結果得られるクラスコードを正規方程式加算回路 8 6 7及びパターンテーブル 記憶部 8 7 0に供給して、 ステヅプ S 4 3 6に進む。
これにより、 パターンテーブル記憶部 8 7 0は、 クラス分類回路 8 6 6からの クラスコードに対応するァドレスに記憶された 6 4セヅトのパターン情報を読み 出し、 予測タップ抽出回路 8 6 4に供給する。
ステップ S 4 3 6では、 予測夕ヅプ抽出回路 8 6 4が、 注目画素プロヅクの画 素のうちラスタスキヤン順でまだ注目画素とされていない画素を注目画素として、 パターンテーブル記憶部 8 7 0からの 6 4セヅトのパターン情報のうちの注目画 素の画素位置モードに対応するものにしたがって、 図 8 0の予測夕ヅプ抽出回路 8 4 1が構成するのと同一の予測夕ップを量子化回路 8 6 3の出力から必要な量 子化 D C T係数を抽出することで構成する。 そして、 予測タップ抽出回路 8 6 4 は、 注目画素についての予測タップを生徒デ一夕とし、 正規方程式加算回路 8 6 7に供給し、 ステップ S 4 3 7に進む。
ステヅプ S 4 3 7では、 正規方程式加算回路 8 6.7は、 プロヅク化回路 8 6 1 から、 教師データとしての注目画素を読み出し、 生徒デ一夕としての予測夕ップ を構成する量子化 D C T係数及び教師データとしての注目画素を対象として、 上 述の式 .（8 ) の行列 Aとベクトル Vの上述したような足し込みを行う。 なお、 こ の足し込みは、 クラス分類回路 8 6 6からのクラスコードに対応するクラスごと に、 かつ注目画素に対する画素位置モードごとに行われる。
そして、 ステップ S 4 3 8に進み、 予測夕ヅプ抽出回路 8 6 4は、 注目画素ブ 口ックのすベての画素を注目画素として、 足し込みを行ったかどゔか.を判定する c ステップ S 4 3 8において、 注目画素プロヅクのすベての画素を注目画素として、 まだ足し込みを行っていないと判定された場合、 ステップ S 4 3 6に戻り、 予測 夕ヅプ抽出回路 8 6 4は、 注目画素ブロックの画素のうち、 ラス夕スキャン順で、 まだ、 注目画素とされていない画素を新たに注目画素として、 以下、 .同様の処理 を繰り返す。
また、 ステヅプ S 4 3 8において、 注目画素プロヅクのすベての画素を注目画 素として、 足し込みを行ったと判定された場合、 ステヅプ S 4 3 9に進み、 プロ ヅク化回路 8 6 1は、 教師デ一夕としての画像から得られたすべての画素ブロヅ クを注目画素ブロックとして、 処理を行ったかどうかを判定する。 ステヅプ S 4
3 9において、 教師デ一夕としての画像から得られたすべての画素プロヅクを注 目画素ブロックとして、 まだ処理を行っていないと判定された場合、 ステップ S
4 3 4に戻り、 ブロック化回路 8 6 1でブロック化された画素プロックのうち、 まだ注目画素プロックとされていないものが新たに注目画素プロックとされ、 以 下、 同様の処理が繰り返される。
一方、 ステップ S 4 3 9において、 教師デ一夕としての画像から得られたすべ ての画素プロックを注目画素プロックとして、 処理を行ったと判定された場合、 すなわち、 例えば、 正規方程式加算回路 8 6 7において、 各クラスについて、 画 素位置モードごとの正規方程式が得られた場合、 ステップ S 4 4 0に進み、 タヅ プ係数決定回路 8 6 8は、 各クラスの画素位置モ一ドごとに生成された正規方程 式を解くことにより、 各クラスごとに、 そのクラスの 6 4の画素位置モードそれ それに対応する 6 4セットの夕ップ係数を求め、 係数テーブル記憶部 8 6 9の各 クラスに対応するァドレスに供給して記憶させ、 処理を終了する。
以上のようにして、 係数テーブル記憶部 8 6 9に記憶された各クラスごとの夕 ップ係数が図 8 0の係数テーブル記憶部 8 4 4に記憶されている。
したがって、 係数テーブル記憶部 8 4 4に記憶されたタヅプ係数は、 線形予測 演算を行うことにより得られる元の画素値の予測値の予測誤差 （ここでは、 自乗 誤差） が統計的に最小になるように学習を行うことにより求められたものであり、 その結果、 図 8 0の係数変換回路 8 3 2 Aによれば、 J P E G符号化された画像 を元の画像に限りなく近い画像に復号することができる。
また、 上述したように、 J P E G符号化された画像の復号処理と、 その画質を 向上させるための処理とが同時に施されることとなるので、 J P E G符号化され た画像から効率的に画質の良い復号画像を得ることができる。
次に、 図 8 6は、 図 8 0のパターンテーブル記憶部 8 4 6及び図 8 4のパ夕一 ンテーブル記憶部 8 7 0に記憶させるパターン情報の学習処理を行うパターン学 習装置 9 5 0 Aの構成例を示している。
プロック化回路 9 5 1には、 1枚以上の学習用の画像データが供給されるよう になっている。 ブロック化回路 9 5 1は、 学習用の画像を J P E G符号化におけ る場合と同様に 8 X 8画素の画素プロヅクにプロヅク化する。 なお、 プロック化 回路 9 5 1に供給する学習用の画像データは、 図 8 4の夕ップ係数学習装置 8 6 0 Aのプロヅク化回路 8 6 1に供給される学習用の画像データと同一のものであ つても良いし、 異なるものであっても良い。
D C T回路 9 5 2は、 プロヅク化回路 9 5 1がプロヅク化した画素ブロックを 順次読み出し、 その画素ブロックを D C T処理することで、 D C T係数のブロヅ クとする。 この D C T係数のブロックは、 量子化回路 9 5 3に供給される。
量子化回路 9 5 3は、 D C T回路 9 5 2からの D C T係数のブロックを J P E G符号化に用いられるのと同一の量子化テーブルにしたがって量子化し、 その結 果得られる量子化 D CT係数のブロック （D CTブロック） を加算回路 9 54及 びクラスタップ抽出回路 9 55に順次供給する。
加算回路 9 54は、 プロック化回路 9 5 1において得られた画素プロヅクを順 次注目画素ブロックとし、 その注目画素ブロックの画素のうち、 ラスタスキャン 順でまだ注目画素とされていない画素を注目画素として、 クラス分類回路 9 5 6 が出力する注目画素のクラスコードごとに、 その注目画素と量子化回路 953が 出力する量子化 D C T係数との間の相関値 （相互相関値） を求めるための加算演 算を行う。
すなわち、 パターン情報の学習処理では、 例えば、 図 87 Aに示すように、 注 目画素が属する注目画素プロックに対応する D C Tプロックを中心とする 3 X 3 個の D C Tプロックの各位置にある量子化 D C T係数それぞれと注目画素とを対 応させることを、 図 87 Bに示すように、 学習用の画像から得られる画素ブロッ クすべてについて行うことで、 画素ブロックの各位置にある画素それそれと、 画 素プロヅクに対応する D CTプロヅクを中心とする 3 X 3個の D C Tブロックの 各位置にある量子化 D C T係数それそれとの間の相関値を演算し、 画素プロック の各位置にある画素それぞれについて、 例えば、 図 87 Cにおいて画印で示すよ うに、 その画素との相関値が大きい位置関係にある量子化 D C T係数の位置パ夕 —ンをパターン情報とするようになつている。 すなわち、 図 87 Cは、 画素プロ ックの左から 3番目で、 上から 1番目の画素との相関が大きい位置関係にある量 子化 D CT係数の位置パターンを画印で表しており、 このような位置パターンが パターン情報とされる。
ここで、 画素プロヅクの左から X + 1番目で、 上から y+ 1番目の画素を A (x,y ) と表すとともに （本実施の形態では、 x， yは、 0~7 (= 8— 1 ) の 範囲の整数）、 その画素が属する画素ブロックに対応する D C Tブロックを中心 とする 3 x 3個の D CTプロヅクの左から s + 1番目で、 上から t + 1番目の量 子化 D CT係数を B(s, t )と表すと （本実施の形態では、 s， 七は、 0〜23 (= 8 x 3 - 1 ) の範囲の整数） 、 画素 A(x，y)と、 その画素 A(x，y)に対し て所定の位置関係にある量子化 D C T係数 B( s , t )との相互相関値 RA (X， y, B is, は、 次の式 （ 1 0) で表される。
RA (X( yj B (S, t) =∑ (A(x, y )- A5 (x,y ))(B( s , t ) 一 B， （s ,七））
/(V"(∑(A(x,y)-A5 (x,y))2)^(∑(B(s5 t ) — B， （s，t ))") · · · ( 1 0)
但し、 式 （ 1 0) において （後述する式 （ 1 1 ) 〜式 （ 1 3) においても同様） . サメーシヨン （∑) は、 学習用の画像から得られた画素ブロックすべてについて の加算を表す。 また、 A' (x5y ) は、 学習用の画像から得られた画素プロヅク の位置（X, y)にある画素 （値） の平均値を、 B' (s ,t )は、 学習用の画像から 得られた画素プロヅクに対する 3 X 3個の D C Tプロヅクの位置（ s ,七） にある 量子化 D C T係数の平均値をそれそれ表す。
したがって、 学習用の画像から得られた画素ブロックの総数を Nと表すと、 平 均値 A， （ ， )及び：8， （s， t )は、 次の式 （ 1 1 ) のように表すことができる, A， (x,y) = (∑ A(x,y))/N
B， （s ,七）二（∑B(s ,t ))/N
… ( 1 1 )
式 （ 1 1 ) を式 （ 1 0) に代入すると、 次の式 （ 1 2) が導かれる。
RA (X, y) B ( 3 , t) =N.∑ (A(x,y)B(s ,t ))-(∑ A(x,y))(∑ B(s ,t ))
/(V"(N∑ A(x,y)2-(∑ A(x,y))2)V"(N∑B(s, t )2-(∑B(s ,t ))2)) · . . ( 1 2) 式 （ 1 2) より、 相関値 R A (X, y) B (s, t)を求めるには、
∑ A(x,y)5
∑B(s ,七），
∑ A(x，y)2，
∑ B(s ,七）2，
∑(A(x,y)B(s, t )) · • ( 1 3) の合計 5式の加算演算を行う必要があり、 加算回路 9 54は、 の 5式の加算演 算を行う。
なお、 ここでは、 説明を簡単にするために、 クラスを考慮しなかったが、 図 8 6のパターン学習装置 9 5 OAでは、 加算回路 9 54は、 式 （ 1 3) の 5式の加 算演算をクラス分類回路 9 5 6から供給されるクラスコードごとに分けて行う。 したがって、 上述の場合には、 サメ一シヨン （∑) は、 学習用の画像から得られ た画素プロヅクすべてについての加算を表すこととしたが、 クラスを考慮する場 合には、 式 （ 1 3 ) のサメーシヨン （∑) は、 学習用の画像から得られた画素ブ ロックうち、 各クラスに属するものについての加算を表すことになる。
図 8 6に戻り、 加算回路 9 5 4は、 学習用の画像について、 クラスごとに、 画 素プロックの各位置にある画素と、 その画素プロヅクに対応する D C Tブロック を中心とする 3 x 3個の D C Tプロックの各位置にある量子化 D C T係数との相 関値を演算するための式 （ 1 3 ) に示した加算演算結果を得ると、 その加算演算 結果を相関係数算出回路 9 5 7に出力する。
クラス夕ヅブ抽出回路 9 5 5は、 注目画素プロックについて、 量子化回路 9 5 3の出力から必要な量子化 D C T係数を抽出することで図 8 0のクラス夕ップ抽 出回路 8 4 2が構成するのと同一のクラス夕ヅプを構成する。 このクラス夕ヅブ は、 クラス夕ヅプ抽出回路 9 5 5からクラス分類回路 9 5 6に供給される。
クラス分類回路 9 5 6は、 クラス夕ヅプ抽出回路 9 5 5からのクラス夕ヅプを 用いて、 図 8 0のクラス分類回路 8 4 3と同一の処理を行うことで、 注目画素ブ 口ヅクをクラス分類し、 その結果得られるクラスコードを加算回路 9 5 4に供給 する。
相関係数算出回路 9 5 7は、 加算回路 9 5 4の出力を用いて、 式 （ 1 2 ) にし たがい、 クラスごとに、 画素プロヅクの各位置にある画素と、 その画素ブロック に対応する D C Tプロヅクを中心とする 3 X 3個の D C Tプロヅクの各位置にあ る量子化 D C T係数との相関値を演算し、 パターン選択回路 9 5 8に供給する。 パターン選択回路 9 5 8は、 相関係数算出回路 9 5 7からの相関値に基づいて、 画素プロックの各位置にある 8 x 8の画素それぞれとの相関値が大きい位置関係 にある D C T係数の位置をクラスごとに認識する。 すなわち、 パターン選択回路 9 5 8は、 例えば、 画素ブロックの各位置にある画素との相関値の絶対値が所定 の閾値以上となっている D C T係数の位置をクラスごとに認識する。 あるいは、 また、 パ夕一ン選択回路 9 5 8は、 例えば、 画素ブロックの各位置にある画素と の相関値が所定の順位以上である D C T係数の位置をクラスごとに認識する。 そ して、 パターン選択回路 9 5 8は、 クラスごとに認識した、 8 X 8画素それそれ についての画素位置モードごとの 6 4セットの D C T係数の位置パターンをパ夕 ーン情報として、 パターンテーブル記憶部 9 5 9に供給する。
なお、 パターン選択回路 9 5 8において、 画素ブロックの各位置にある画素と の相関値が所定の順位以上である D C T係数の位置を認識するようにした場合に は、 その認識される D C T係数の位置の数は固定 （所定の順位に相当する値） と なるが、 画素プロックの各位置にある画素との相関値が所定の閾値以上となって いる D C T係数の位置を認識するようにした場合には、 その認識される D C T係 数の位置の数は、 可変になる。
パターンテーブル記憶部 9 5 9は、 パターン選択回路 9 5 8が出力するパター ン情報を記憶する。
- 次に、 図 8 8のフローチャートを参照して、 図 8 6のパターン学習装置 9 5 0 Aの処理 （学習処理） について説明する。
ブロック化回路 9 5 1には、 学習用の画像データが供給され、 プロヅク化回路
8 6 1は、 ステップ S 4 5 1において、 その学習用の画像データを J P E G符号 化における場合と同様に 8 X 8画素の画素ブロックにブロック化して、 ステヅプ
S 4 5 2に進む。 ステップ S 4 5 2では、 D C T回路 9 5 2.が、 プロヅク化回路
9 5 1がプロヅク化した画素プロヅクを順次読み出し、 その画素プロヅクを D C T処理することで、 D C T係数のプロヅクとし、 ステップ S 4 5 3に進む。 ステ ヅプ S 4 5 3では、 量子化回路 9 5 3が、 D C T回路 9 5 2において得られた D C T係数のプロックを順次読み出し、 J P E G符号化に用いられるのと同一の量 子化テーブルにしたがって量子化して、 量子化 D C T係数で構成されるブロック
( D C Tブロック） とする。
そして、 ステップ S 4 5 4に進み、 加算回路 9 5 4は、 プロヅク化回路 9 5 1 でプロック化された画素プロックのうち、 まだ注目画素プロックとされていない ものを注目画素ブロックとする。 さらに、 ステップ S 4 5 4では、 クラス夕ヅプ 抽出回路 9 5 5は、 注目画素プロックをクラス分類するのに用いる量子化 D C T 係数を量子化回路 8 6 3で得られた D C Tブロックから抽出して、 クラス夕ヅプ を構成し、 クラス分類回路 9 5 6に供給する。 クラス分類回路 9 5 6は、 ステツ プ S 4 5 5において、 図 8 3のフローチャートで説明した場合と同様に、 クラス タヅプ抽出回路 9 5 5からのクラス夕ヅプを用いて、 注目画素ブロックをクラス 分類し、 その結果得られるクラスコードを加算回路 9 5 4に供給して、 ステップ S 4 5 6に進む。
ステヅプ S 4 5 6では、 加算回路 9 5 4が、 注目画素ブロックの画素のうちラ ス夕スキャン順でまだ注目画素とされていない画素を注目画素として、 その注目 画素の位置 （画素位置モード） ごとに、 かつ、 クラス分類回路 9 5 6から供給さ れるクラスコードごとに、 式 （ 1 3 ) に示した加算演算をブロック化回路 9 5 1 でブロック化された学習用の画像と量子化回路 9 5 3が出力する量子化 D C T係 数を用いて行い、 ステヅプ S 4 5 7に進む。
ステップ S 4 5 7では、 加算回路 9 5 4は、 注目画素プロヅクのすベての画素 を注目画素として、 加算演算を行ったかどうかを判定する。 ステップ S 4 .5 7に おいて、 注目画素ブロックのすべての画素を注目画素として、 まだ加算演算を行 つていないと判定された場合、 ステヅプ S 4 5 6に戻り、 加算回路 9 5 4は、 注 目画素プロヅクの画素のうち、 ラス夕スキャン順で、 まだ、 注目画素とされてい ない画素を新たに注目画素として、 以下、 同様の処理を繰り返す。 '
また、 ステップ S 4 5 7において、 注目画素プロヅクのすベての画素を注目画 素として、 加算演算を行ったと判定された場合、 ステップ S 4 5 8に進み、 加算 回路 9 5 4は、 学習用の画像から得られたすべての画素プロックを注目画素プロ ヅクとして、 処理を行ったかどうかを判定する。 ステヅプ S 4 5 8において、 教 師用の画像から得られたすべての画素プロックを注目画素プロックとして、 まだ 処理を行っていないと判定された場合、 ステップ S 4 5 4に戻り、 ブロック化回 路 9 5 1でブロック化された画素ブロックのうち、 まだ注目画素ブロックとされ ていないものが新たに注目画素ブロックとされ、 以下、 同様の処理が繰り返され る。
一方、 ステップ S 4 5 8において、 学習用の画像から得られたすべての画素ブ 口ヅクを注目画素プロヅクとして、 処理を行ったと判定された場合、 ステヅプ S 4 5 9に進み、 相関係数算出回路 9 5 7は、 加算回路 9 5 4における加算演算結 果を用いて、 式 （ 1 2 ) にしたがい、 クラスごとに、 画素ブロックの各位置にあ る画素と、 画素プロヅクに対応する D C Tプロヅクを中心とする 3 X 3個の D C Tプロックの各位置にある量子化 D C T係数との相関値を演算し、 パターン選択 回路 9 5 8に供給する。
パターン選択回路 9 5 8は、 ステップ S 4 6 0において、 相関係数算出回路 9 5 7からの相関値に基づいて、 画素プロヅクの各位置にある 8 x 8の画素それそ れとの相関値が大きい位置関係にある D C T係数の位置をクラスごとに認識し、 そのクラスごとに認識した 8 X 8画素それそれについての 6 4セットの D C T係 数の位置パターンをパターン情報として、 パターンテーブル記憶部 9 5 9に供給 して記億させ、 処理を終了する。
以上のようにして、 パターンテーブル記憶部 9 5 9に記憶された各クラスごと の 6 4セヅトのパターン情報が、 図 8 0のパターンテ一ブル記憶部 8 4 6及び図 8 4のパターンテーブル記憶部 8 7 0に記憶されている。
したがって、 図 8 0の係数変換回路 8 3 2 Aでは.、 注目画素について、 それと の相関が大きい位置にある量子化 D C T係数が予測夕ップとして抽出され、 その ような予測夕ップを用いて、 量子化 D C T係数が元の画素値に復号されるため、 例えば、 予測タップとする量子化 D C T係数をランダムに抽出する場合に比較し て、 復号画像の画質を向上させることが可能となる。
なお、 J P E G符号化では、 8 X 8画素の画素ブロック単位で、 D C T及び量 子化が行われることにより、 8 X 8の量子化 D C T係数からなる D C Tプロヅク が構成されるから、 ある画素プロックの画素をクラス分類適応処理によって復号 する場合には、 その画素プロヅクに対応する D C Tプロヅクの量子化 D C T係数 を予測夕ップとして用いることが考えられる。
しかしながら、 画像においては、 ある画素プロヅクに注目した場合に、 その画 素ブロックの画素と、 その周辺の画素ブロックの画素との間には、 少なからず相 関があるのが一般的である。 したがって、 上述のように、 ある画素ブロックに対 応する D C Tブロックを中心とする 3 X 3個の D C Tブロック、 すなわち、 ある 画素プロヅクに対応する D C Tプロヅクだけでなく、 それ以外の D C Tプロヅク からも、 注目画素との相関が大きい位置関係にある量子化 D C T係数を抽出して、 予測夕ヅプとして用いることによって、 画素プロヅクに対応する D C Tブロック の量子化 D C T係数だけを予測夕ップとして用いる場合に比較して、 復号画像の 画質を向上させることが可能となる。
ここで、 ある画素ブロックの画素と、 その周辺の画素ブロックの画素との間に、 少なからず相関があることからすれば、 ある画素プロヅクに対応する D C Τプロ ヅクを中心とする 3 X 3個の D C Τプロヅクの量子化 D C Τ係数すベてを予測夕 ヅプとして用いることにより、 画素プロヅクに対応する D C Τプロヅクの量子化 D C T係数だけを予測夕ヅプとして用いる場合に比較して、 復号画像の画質を向 上させることが可能である。
但し、 ある画素ブロックに対応する D C Tブロックを中心とする 3 X 3個の D C Τブロックの量子化 D C Τ係数すベてを予測タップとすると、 予測タップを構 成する量子化 D C Τ係数の数は 5 7 6 ( = 8 x 8 x 3 x 3 ) となり、 図 8 0の積 和演算回路 8 4 5において行う必要のある積和演算の回数が多くなる。
そこで、 その 5 7 6の量子化 D C Τ係数のうち、 注目画素との相関が大きい位 置関係にある量子化 D C Τ係数を抽出して、 予測夕ップとして用いることによつ て、 図 8 0の積和演算回路 8 4 5における演算量の増加を抑えながち、 復号画像 の画質を向上させることが可能となる。
なお、 上述の場合には、 ある画素ブロックに対応する D C Τブロックを中心と する 3 X 3個の D C Tプロヅクの量子化 D C T係数から、 注目画素との相関が大 きい位置関係にある量子化 D C T係数を予測タップとして抽出するようにしたが、 予測タップとする量子化 D C T係数は、 その他、 ある画素ブロックに対応する D C Tプロックを中心とする 5 X 5個等の D C Tプロヅクの量子化 D C T係数から 抽出するようにしても良い。 すなわち、 どのような範囲の D C Tプロヅクから、 予測夕ップとする量子化 D C T係数を抽出するかは、 特に限定されるものではな い。
また、 ある D C Tブロックの量子化 D C T係数は、 対応する画素プロヅクの画 素から得られたものであるから、 注目画素について予測夕ップを構成するに当た つては、 その注目画素の画素プロヅクに対応する D C Tプロヅクの量子化 D C T 係数は、 すべて、 予測タップとするのが望ましいと考えられる。
そこで、 図 8 6のパターン選択回路 9 5 8には、 画素ブロックに対応する D C Tブロックの量子化 D C T係数は、 必ず、 予測タップとして抽出されるようなパ ターン情報を生成させるようにすることができる。 この場合、 パターン選択回路 9 5 8では、 画素ブロックに対応する D C Tブロックの周囲に隣接する 8個の D C Tプロックから、 相関値の大きい量子化 D C T係数が選択され、 その量子化 D C T係数の位置のパターンと、 画素プロヅクに対応する D C Tプロヅクの量子化 D C T係数すベての位置のパターンとをあわせたものが、 最終的な、 パターン情 報とされることになる。
次に、 図 8 9は、 図 7 8の係数変換回路 8 3 2の他の構成例を示している。 な お、 図中、 図 8 0における場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略する'。 すなわち、 図 8 9に示す係数変換回路 8 3 2 Bは、 逆 量子化回路 8 7 1が新たに設けられている他は、 基本的に、' 図 8 0における場合 と同様に構成ざれている。
図 8 9の係数変換回路 8 3 2 Bにおいて、 逆量子化回路 8 7 1には、，ェントロ ピー復号回路 8 3 1 (図 7 8 ) において符号化データをエントロピ一復号するこ とにより得られるプロックごとの量子化 D C T係数が供給される。
なお、 エントロピ一復号回路 8 3 1においては、 上述したように、 符号化デー 夕から、 量子化 D C T係数の他、 量子化テーブルも得られるが、 図 8 9の係数変 換回路 8 3 2 Bでは、 この量子化テーブルも、 ェントロピ一復号回路 8 3 1から 逆量子化回路 8 7 1に供給されるようになっている。
逆量子化回路 8 7 1は、 ェントロピー復号回路 8 3 1からの量子化 D C T係数 を同じくェントロピー復号回路 8 3 1からの量子化テーブルにしたがって逆量子 化し、 その結果得られる D C T係数を予測夕ツプ抽出回路 8 4 1及びクラスタツ プ抽出回路 8 4 2に供給する。
したがって、 予測夕ヅプ抽出回路 8 4 1とクラス夕ヅプ抽出回路 8 4 2では、 量子化 D C T係数ではなく、 D C T係数を対象として、 予測タップとクラス夕ッ プがそれぞれ構成され、 以降も、 D C T係数を対象として、 図 8 0における場合 と同様の処理が行われる。
このように、 図 8 9の係数変換回路 8 3 2 Bでは、 量子化 D C T係数ではなく、 D C T係数を対象として処理が行われるため、 係数テーブル記憶部 8 4 4に記憶 させる夕ップ係数は、 図 8 0における場合と異なるものとする必要がある。
そこで、 図 9 0は、 図 8 9の係数テーブル記憶部 8 4 4に記憶させるタヅプ係 数の学習処理を行うタップ係数学習装置 8 6 0 Bの構成例を示している。 なお、 図中、 図 8 4における場合と対応する部分については、 同一の符号を付して、 そ の説明を適宜省略する。 すなわち、 図 9 0に示すタップ係数学習装置 8 6 0 Bは、 量子化回路 8 6 3の後段に、 逆量子化回路 8 8 1が新たに設けられている他は、 図 8 4における場合と基本的に同様に構成されている。
図 9 0の夕ヅプ係数学習装置 8 6 0 Bにおいて、 逆量子化回路 8 8 1は、 逆量 子化回路 8 6 3が出力する量子化 D C T係数を図 8 9の逆量子化回路 8 7 1と同 様に逆量子化し、 その結果得られる D C T係数を予測夕ップ抽出回路 8 6 4及び クラスタップ抽出回路 8 6 5に供給する。
したがって、 予測夕ヅプ抽出回路 8 6 4とクラス夕ヅプ抽出回路 8 6 5では、 量子化 D C T係数ではなく、 D C T係数を対象として、.予測夕ップとクラス夕ッ プがそれそれ構成され、 以降も、 D C T係数を対象として、 図 8 4における場合 と同様の処理が行われる。
その結果、 D C T係数が量子化され、 さらに逆量子化されることにより生じる 量子化誤差の影響を低減するタツプ係数が得られることになる。
次に、 図 9 1は、 図 8 9のパターンテーブル記憶部 8 4 6及び図 9 0のパター ンテーブル記憶部 8 7 0に記憶させるパターン情報の学習処理を行うパターン学 習装置 9 5 0 Bの構成例を示している。 なお、 図中、 図 8 6における場合と対応 する部分については、 同一の符号を付して、 その説明を適宜省略する。 すなわち、 図 9 1に示すパターン学習装置 9 5 0 Bは、 量子化回路 9 5 3の後段に、 逆量子 化回路 8 9 1が新たに設けられている他は、 図 8 6における場合と基本的に同様 に構成されている。
図 9 1のパターン学習装置 9 5 0 Bにおいて、 逆量子化回路 8 9 1は、 逆量子 化回路 9 5 3が出力する量子化 D C T係数を図 8 9の逆量子化回路 8 7 1や図 9 0の逆量子化回路 8 8 1と同様に逆量子化し、 その結果得られる D C T係数を加 算回路 9 5 4及びクラスタップ抽出回路 9 5 5に供給する。
したがって、 加算回路 9 5 4とクラス夕ヅプ抽出回路 9 5 5では、 量子化 D C T係数ではなく、 D C T係数を対象として処理が行われる。 すなわち、 加算回路 9 5 4は、 上述の加算演算を、 量子化回路 9 5 3が出力する量子化 D C Τ係数に 替えて、 逆量子化回路 8 9 1が出力する D C T係数を用いて行い、 クラス夕ヅプ 抽出回路 9 5 5も、 量子化回路 9 5 3が出力する量子化 D C T係数に替えて、 逆 量子化回路 8 9 1が出力する D C Τ係数を用いて、 クラス夕ップを構成する。 そ して、 以降は、 図 8 6における場合と同様の処理が行われることにより、 パター ン情報が求められる。
次に、 図 9 2は、 図 7 8の係数変換回路 8 3 2の他の構成例を示している。 な お、 図中、 図 8 0における場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略する。 すなわち、 図 9 2に示す係数変換回路 8 3 2 Cは、 積 和演算回路 8 4 5の後段に、 逆 D C T回路 9 0 1が新たに設けられている他は、 基本的に、 図 8 0における場合と同様に構成されている。
逆 D C Τ回路 9 0 1は、 積和演算回路 8 4 5の出力を逆 D C T処理することに より、 画像に復号して出力する。 したがって、 図 9 2の係数変換回路 8 3 2 Cで は、 積和演算回路 8 4 5は、 予測タップ抽出回路 8 4 1が.出力する予測タップを '構成する量子化 D C T係数と、 係数テ ブル記憶部 8 4 4に記憶されたタップ係 数とを用いた積和演算を行うことにより、 D C T係数を出力する。
このように、 図 9 2の係数変換回路 8 3 2 Cでは、 量子化 D C T係数が、 タツ プ係数との積和演算により、 画素値に復号されるのではなく、 D C T係数に変換 され、 さらに、 その D C T係数が逆 D C T回路 9 0 1で逆 D C Tされることによ り、 画素値に復号される。 したがって、 係数テーブル記憶部 8 4 4に記憶させる 夕ップ係数は、 図 8 0における場合と異なるものとする必要がある。
そこで、 図 9 3は、 図 9 2の係数テーブル記憶部 8 4 4に記憶させるタップ係 数の学習処理を行う夕ップ係数学習装置 8 6 0 Cの構成例を示している。 なお、 図中、 図 8 4における場合と対応する部分については、 同一の符号を付して、 そ の説明を適宜省略する。 すなわち、 図 9 3に示すタップ係数学習装置 8 6 0 Cは、 正規方程式加算回路 8 6 7に対し、 教師データとして、 学習用の画像の画素値で はなく、 D C T回路 8 6 2が出力する、 学習用の画像を D C T処理した D C T係 数が与えられるようになつている他は、 図 8 4における場合と同様に構成されて いる。
したがって、 図 9 3のタップ係数学習装置 8 6 0 Cでは、 正規方程式加算回路 8 6 7が、 D C T回路 8 6 2が出力する D C T係数を教師デ一夕とするとともに、 予測タップ構成回路 8 6 4が出力する予測タップを構成する量子化 D C T係数を 生徒デ一夕として、 上述の足し込みを行う。 そして、 タップ係数決定回路 8 6 8 は、 そのような足し込みにより得られる正規方程式を解くことにより、 タップ係 数を求める。 その結果、 図 9 3の夕ップ係数学習装置 8 6 0 Cでは、 量子化 D C T係数を、 量子化回路 8 6 3における量子化による量子化誤差を低減 （抑制） し た D C T係数に変換するタツプ係数が求められることになる。
図 9 2の係数変換回路 8 3 2 Cでは、 積和演算回路 8 4. 5が、 上述のような夕 ヅプ係数を用いて積和演算を行うため、 その出力は、 予測夕ヅプ抽出 HI路 8 4 1 が出力する量子化 D C T係数を、 その量子化誤差を低減した D C T係数に変換し たものとなる。 したがって、 そのような D C T係数が逆 D C T回路 9 0 1で逆 D C Tされることにより、 量子化誤差の影響による画質の劣化を低減した復号画像 が得られることになる。
次に、 図 9 4は、 図 9 2のパターンテーブル記憶部 8 4 6及び図 9 3のパ夕^ ンテーブル記憶部 8 7 0に記憶させるパターン情報の学習処理を行うパターン学 習装置 9 5 0 Cの構成例を示している。 なお、 図中、 図 8 6における場合と対応 する部分については、 同一の符号を付して、 その説明を適宜省略する。 すなわち、 図 9 4に示すパターン学習装置 9 5 0 Cは、 加算回路 9 5 4に対し、 プロヅク化 回路 9 5 1が出力する学習用の画像の画素ではなく、 D C T回路 9 5 2が出力す る D C T係数が供給されるようになっている他は、 図 8 6における場合と同様に 構成されている。
図 8 6のパターン学習装置 9 5 O Aでは、 予測夕ヅプを構成する量子化 D C T 係数とタップ係数とを用いた積和演算によって、 画素を復号するために、 画素と の相関が大きい位置関係にある量子化 D C T係数を求めて、 その量子化 D C T係 数の位置パターンをパターン情報としたが、 図 9 4のパターン学習装置 9 5 0 C では、 予測タップを構成する量子化 D C T係数とタップ係数とを用いた積和演算 によって、 量子化誤差を低減した D C T係数を得るために、 D C T係数と相関が 大きい位置関係にある量子化 D C T係数を求めて、 その量子化 D C T係数の位置 パターンをパターン情報として求める必要がある。
そこで、 図 94のパターン学習装置 950 Cでは、 加算回路 954は、 プロヅ ク化回路 95 1において得られた画素プロヅクではなく、 その画素ブロヅクを、 D CT回路 952で DC T処理した D CT係数のプロヅクを順次注目ブロックと し、 その注目ブロックの D CT係数のうち、 ラス夕スキャン順でまだ注目 D C T 係数とされていない D C T係数を注目 D C T係数として、 クラス分類回路 9 56 が出力する注目 D C T係数のクラスコードごとに、 その注目 D C T係数と量子化 回路 953が出力する量子化 D CT係数との間の相関値 （相互相関値） を求める ための加算演算を行う。
すなわち、 図 94のパターン学習装置 950 Cによる学習処理では、 例えば、 図 95 Aに示すように、 注目 D C T係数が属する.注目ブロックに対応する、 量子 化 D C T係数の D C Tプロヅクを中心とする 3 X 3個の D C Tプロヅクの各位置 にある量子化 D C T係数それそれと、 注目 D C T係数とを対応させることを、 図 95 Bに示すように、 学習用の画像から得られる D C T係数のプロックすべてに ついて行うことで、 D C T係数のプロヅクの各位置にある D C T係数それそれと、 そのプロヅクに対応する D C Tブロックを中心とする 3 X 3個の D C Tプロヅク の各位置にある量子化 D C T係数それそれとの間の相関値を演算し、 D C T係数 のブロックの各位置にある D C T係数それそれについて、 例えば、 図 95 Cにお いて國印で示すように、 その D C T係数との相関値が大きい位置関係にある量子 化 D C T係数の位置パターンをパターン情報とするようになつている。 すなわち、 図 95 Cは、 D C T係数のブロックの左から 2番目で、 上から 1番目の DC T係 数との相関が大きい位置関係にある量子化 D C T係数の位置パターンを園印で表 しており、 このような位置パターンがパターン情報とされる。
ここで、 D CT係数のブロックの左から x+ 1番目で、 上から y+ 1番目の画 素を A ( , y) と表すとともに、 その D CT係数が属するプロヅクに対応する D C Tブロヅクを中心とする 3 X 3個の D C Tブロヅクの左から s + 1番目で、 上から七 + 1番目の量子化 D C T係数を B (s， t ) と表すと、 D CT係数 A (x， y) と、 その DCT係数 A (x， y) に対して所定の位置関係にある量子 化 D C T係数 B ( s， t ) との相互相関値 R A ( , y ) B ( s， t ) は、 上述 の式 （ 1 0 ) 〜式 （ 1 3 ) で説明した場合と同様にして求めることができる。 図 9 4に戻り、 相関係数算出回路 9 5 7は、 上述のようにして、 加算回路 9 5 4が行う加算演算の結果を用いて、 D C T係数と、 量子化 D C T係数との間の相 関値を求める。 そして、 パターン選択回路 9 5 8は、 その相関値を大きくする位 置関係にある量子化 D C T係数の位置パターンを求め、' パターン情報とする。 次に、 図 9 6は、 図 7 8の係数変換回路 8 3 2の他の構成例を示している。 な お、 図中、 図 8 0、 図 8 9又は図 9 2における場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略する。 すなわち、 図 9 6に示す係数変 換回路 8 3 2 Dは、 図 8 9における場合と同様に、 逆量子化回路 8 7 1が新たに 設けられ、 かつ、 図 9 2における場合と同様に、 逆 D C T回路 9 0 1が新たに設 けられている他は、 図 8 0における場合と同様に構成されている。
したがって、 図.9 6の係数変換回路 8 3 2 Dでは、 予測タップ抽出回路 8 .4 1 とクラスタップ抽出回路 8 4 2では、 量子化 D C T係数ではなく、 D C T係数を 対象として、 予測タップとクラス夕ヅプがそれそれ構成される。 さらに、 図 9 6 の係数変換回路 8 3 2 Dでは、 積和演算回路 8 4 5は、 予測タップ抽出回路 8 4 1が出力する予測夕ップを構成する D C T係数と、 係数テーブル記憶部 8 4 4に 記憶されたタップ係数とを用いた積和演算を行うことにより、 量子化誤差を低減 した D C T係数を得て、 逆 D C T回路 9 0 1に出力する。
次に、 図 9 7は、 図 9 6の係数テーブル記憶部 8 4 4に記憶させるタップ係数 の学習処理を行うタップ係数学習装置 8 6 0 Dの構成例を示している。 なお、 図 中、 図 8 4、 図 9 0又は図 9 3における場合と対応する部分については、 同一の 符号を付して、 その説明を適宜省略する。 すなわち、 図 9 7に示すタップ係数学 習装置 8 6 0 Dは、 図 9 0における場合と同様に、 逆量子化回路 8 8 1が新たに 設けられ、 さらに、 図 9 3における場合と同様に、 正規方程式加算回路 8 6 7に 対し、 教師データとして、 学習用の画像の画素値ではなく、 D C T回路 8 6 2が 出力する、 学習用の画像を D C T処理した D C T係数が与えられるようになって いる他は、 図 8 4における場合と同様に構成されている。
したがって、 図 9 7の夕ヅプ係数学習装置 8 6 0 Dでは、 正規方程式加算回路 8 6 7が、 D C T回路 8 6 2が出力する D C T係数を教師デ一夕とするとともに、 予測夕ヅプ構成回路 8 6 4が出力する予測タヅプを構成する D C Τ係数 （量子化 され、 逆量子化されたもの） を生徒データとして、 上述の足し込みを行う。 そし て、 タップ係数決定回路 8 6 8は、 そのような足し込みにより得られる正規方程 式を解くことにより、 タップ係数を求める。 その結果、 図 9 7のタップ係数学習 装置 8 6 0 Dでは、 量子化され、 さらに逆量子化された D C Τ係数を、 その量子 化及び逆量子化による量子化誤差を低減した D C Τ係数に変換するタップ係数が 求められることになる。
次に、 図 9 8は、 図 9 6のパ夕一ンテーブル記憶部 8 4 6及び図 9 7のパター ンテーブル記憶部 8 7 0に記憶させるパターン情報の学習処理を行うパターン学 習装置 9 5 0 Dの構成例を示している。 なお、 図中、 図 8 6、 図 9 1又は図 9 4 における場合と対応する部分については、 同一の符号を付してあり V 以下では、 その説明を適宜省略する。 すなわち、 図 9 8に示すパ夕一ン学習装置 9 .5 0 Dは、 図 9 1における場合と同様に、 逆量子化回路 8 9 1が新たに設けられているとと もに、 図 9 4における場合と同様に、 加算回路 9 5 4に対し、 ブロック化回路 9 5 1が出力する学習用の画像の画素ではなく、 D C Τ回路 9 5 2が出力する D C Τ係数が供給されるようになっている他は、 図 8 6における場合と同様に構成さ れている。
したがって、 図 9 8のパターン学習装置 9 5 0 Dでは、 加算回路 9 5 4は、 ブ 口ヅク化回路 9 5 1において得られた画素ブロヅクではなく、 その画素プロヅク を D C Τ回路 9 5 2で D C T処理した D C T係数のブロックを順次注目ブロック とし、 その注目ブロックの D C T係数のうち、 ラス夕スキャン順でまだ注目 D C T係数とされていない D C T係数を注目 D C T係数として、 クラス分類回路 9 5 6が出力する注目 D C T係数のクラスコードごとに、 その注目 D C T係数と、 逆 量子化回路 8 9 1が出力する、 量子化され、 さらに逆量子化された D C T係数と の間の相関値 （相互相関値） を求めるための加算演算を行う。 そして、 相関係数 算出回路 9 5 7は、 加算回路 9 5 4が行う加算演算の結果を用いて、 D C T係数 と量子化されて逆量子化された D C T係数との間の相関値を求め、 パ夕一ン選択 回路 9 5 8は、 その相関値を大きくする位置関係にある量子化されて逆量子化さ れた D C T係数の位置パターンを求めて、 パターン情報とする。
次に、 図 9 9は、 図 7 8の係数変換回路 8 3 2の他の構成例を示している。 な お、 図中、 図 8 0における場合と対応する部分については、 同一の符号を付して、 その説明を適宜省略する。 すなわち、 図 9 9に示す係数変換回路 8 3 2 Eは、 ク ラスタヅプ抽出回路 8 4 2及びクラス分類回路 8 4 3が設けられていない他は、 基本的に、 図 8 0における場合と同様に構成されている。
したがって、 図 9 9の係数変換回路 8 3 2 Eでは、 クラスという概念がないが、 このことは、 クラスが 1つであるとも考えるから、 係数テーブル記憶部 8 4 4に は、 1クラスの夕ヅプ係数だけが記憶されており、 これを用いて処理が行われる < したがって、 図 9 9の係数変換回路 8 3 2 Eでは、 係数テーブル記憶部 8 4 4 に記憶されている夕ップ係数は、 図 8 0における場合と異なるものとなっている ( そこで、 図 1 0 0は、 図 9 9の係数テーブル記憶部 8 4 4に記憶させる夕ヅプ 係数の学習処理を行うタップ係数学習装置 8 6 0 Eの構成例を示している。 なお、 図中、 図 8 4における場合と対応する部分については、 同一の符号を付して、 そ の説明を適宜省略する。 すなわち、 図 1 0 0に示すタップ係数学習装置 8 6 0 E は、 クラスタップ抽出回路 8 6 5及びクラス分類回路 8 6 6が設けられていない 他は、 図 8 4における場合と基本的に同 ¾に構成されている。
したがって、 図 1 0 0のタップ係数学習装置 8 6 0 Eでは、 正規方程式加算回 路 8 6 7において、 上述の足し込みが、 クラスには無関係に、 画素位置モード別 に行われる。 そして、 夕ヅプ係数決定回路 8 6 8において、 画素位置モードごと に生成された正規方程式を解くことにより、 夕ップ係数が求められる。
次に、 図 9 9に示した係数変換回路 8 3 2 E及び図 1 0 0に示したタヅプ係数 学習装置 8 6 0 Eでは、 上述したようにクラスが 1つだけである （クラスがな い） から、 図 9 9のパターンテーブル記憶部 8 4 6及び図 1 0 0のパ夕一ンテー ブル記憶部 8 7 0には、 1クラスのパターン情報だけが記憶されている。
そこで、 図 1 0 1は、 図 9 9のパターンテーブル記憶部 8 4 6及び図 1 0 0の パターンテーブル記憶部 8 7 0に記憶させるパターン情報の学習処理を行うパ夕 ーン学習装置 9 6 0 Eの構成例を示している。 なお、 図中、 図 8 6における場合 と対応する部分については、 同一の符号を付して、 その説明を適宜省略する。 す なわち、 図 1 0 1に示すパターン学習装置 9 6 0 Eは、 クラス夕ヅプ抽出回路 9 5 5及びクラス分類回路 9 5 6が設けられていない他は、 図 8 6における場合と 基本的に同様に構成されている。
したがって、 図 1 0 1のパターン学習装置 9 6 0 Eでは、 加算回路 9 5 4にお いて、 上述の加算演算が、 クラスには無関係に、 画素位置モード別に行われる。 そして、 相関係数算出回路 9 5 7においても、 クラスに無関係に、 画素位置モ一 ドごとに相関値が求められる。 さらに、 パターン選択回路 9 5 8においても、 相 関係数算出回路 9 5 7で得られた相関値に基づいて、 クラスに無関係に、 画素位 置モードごとにパターン情報が求められる。
なお、 例えば、 図 8 0の係数変換回路 8 3 2 Aでは、 パターンテーブル記憶部 8 4 6に、 クラスごとのパターン情報を記憶させておき、 クラス分類回路 8 4 3 が出力するクラスコードに対応するクラスのパ夕一ン情報を用いて.、 予測夕ヅプ を構成するようにしたが、 図 8 0のパターンテーブル記憶部 8 4 6には、 図 1 0 1のパターン学習装置 9 6 0 Eで得られる 1クラスのパターン情報を記憶させて おき、 そのパターン情報を用いて、 クラスに無関係に、 予測夕ヅプを構成するよ うにすることも可能である。
次に、 上述した一連の処理は、 ハードウェアにより行うこともできるし、 ソフ トウヱァにより行うこともできる。 一連の処理をソフトウヱァによって行う場合 には、 そのソフトウヱァを構成するプログラムが汎用のコンピュータ等にィンス トールされる。
そこで、 図 1 0 2は、 上述した一連の処理を実行するプログラムがインスト一 ルされるコンピュータ 1 0 0 0の構成例を示している。
プログラムは、 コンピュータ 1 0 0 0に内蔵されている記録媒体としてのハ一 ドディスク 1 2 0 5や R O M 1 2 0 3に予め記録しておくことができる。
あるいはまた、 プログラムは、 フロッピーディスク、 C D— R〇M (Compact D isc Read Only Memory) , M 0 (Magneto optical ) ディスク, D V D (Digital V ersati le Disc), 磁気ディスク、 半導体メモリなどのリムーバブル記録媒体 1 2 1 1に、 一時的あるいは永続的に格納 （記録） しておくことができる。 このよう なリム一バブル記録媒体 1 2 1 1は、 いわゆるパッケージソフトウェアとして提 供することができる。
なお、 プログラムは、 上述したようなリムーバブル記録媒体 1 2 1 1からコン ピュー夕にインストールする他、 ダウンロードサイ トから、 ディジタル衛星放送 用の人工衛星を介して、 コンピュータに無線で転送したり、 LAN(Local Area Network)^ イン夕一ネヅ トといったネ ヅ トワークを介して、 コンピュータに有線 で転送し、 コンピュータでは、 そのようにして転送されてくるプログラムを通信 部 1 2 08で受信し、 内蔵するハードディスク 1 20 5にインストールすること ができる。
コンピュータ 1 000は、 CPU(Central Processing Unit) 1 202を内蔵 している。 C P U 1 2 02には、 バス 1 2 0 1を介して、 入出力ィン夕フェース 1 2 1 0が接続されている。 CPU 1 2 02は、 入出力ィンタフエ ^"ス 1 2 1 0 を介して、 ユーザによって、 キーボ一ドや、 マウス、 マイク等で構成される入力 部 1 2 07が操作等されることにより指令が入力されると、 それにしたがって、 R OM(Read Only Memory) 1 203に格納されているプログラムを実行する。 あ るいは、 また、 CPU 1 2 02は、 ハードディスク 1 2 05に格納されているプ ログラム、 衛星若しくはネットワークから転送され、 通信部 1 208で受信され てハードディスク 1 205にインストールされたプログラム、 又は、 ドライブ 1 2 09に装着されたリム一バブル記録媒体 2 1 1から読み出されてハードデイス ク 1 20 5にインストールされたプログラムを R AM(Random Access Memory) 1 2 04にロードして実行する。 これにより、 CPU 1 2 02は、 上述したフロー チャートにしたがった処理、 あるいは上述したプロヅク図の構成により行われる 処理を行う。 そして、 CPU 1 2 02は、 その処理結果を必要に応じて、 例えば、 入出力ィン夕フエ一ス 1 2 1 0を介して、 L CD (Liquid CryStal Display)ゃス ピー力等で構成される出力部 1 2 0 6から出力、 あるいは、 通信部 1 2 08から 送信、 さらには、 ハードディスク 1 2 0 5に記録等させる。
ここで、 本明細書において、 コンピュータに各種の処理を行わせるためのプロ グラムを記述する処理ステヅプは、 必ずしもフローチャートとして記載された順 序に沿って時系列に処理する必要はなく、 並列的あるいは個別に実行される処理、 例えば、 並列処理あるいはオブジェクトによる処理も含むものである。 また、 プログラムは、 1のコンピュータにより処理されるものであっても良い し、 複数のコンピュータによって分散処理されるものであっても良い。 さらに、 プログラムは、 遠方のコンピュータに転送されて実行されるものであっても良い ( なお、 上述の各実施の形態では、 画像デ一夕を対象としたが、 本発明は、 その 他、 例えば、 音声データにも適用可能である。
さらに、 本実施の形態では、 静止画を圧縮符号化する J P E G符号化された画 像を対象としたが、 本発明は、 動画を圧縮符号化する、 例えば、 M P E G符号化 された画像を対象とすることも可能である。
また、 少なくとも、 D C T処理を行う J P E G符号化された符号化デ一夕の復 号を行うようにしたが、 本発明は、 その他の直交変換又は周波数変換によって、 ブロック単位 （ある所定の単位） で変換されたデ一夕の復号ゃ変換に適用可能で ある。 すなわち、 本発明は、 例えば、 サブバンド符号化されたデ一夕や、 フーリ ,ェ変換されたデ一夕等を復号したり、 それらの量子化誤差等を低減したデ一夕に 変換する場合にも適用可能である。
さらに、 本実施の形態では、 デコーダ 2 2において、 復号に用いるタップ係数 をあらかじめ記憶しておくようにしたが、 タップ係数は、 符号化データに含めて、 デコーダ 2 2に提供するようにすることが可能である。 パターン情報についても、 同様である。
また、 タップ係数を用いた線形 1次予測演算によって、 復号ゃ変換を行うよう にしたが、 復号及び変換は、 その他、 2次以上の高次の予測演算によって行うこ とも可能である。
さらに、 予測夕ヅプを、 注目画素ブロックに対応する D C Tプロックと、 その 周辺の D C Tプロヅクの量子化 D C T係数から構成するようにしたが、 クラス夕 ヅプも同様に構成することが可能である。
以上のように、 本発明によれば、 デ一夕ブロックのうちの注目している注目デ 一夕プロックのデ一夕を復号するための予測演算に用いる変換デ一夕を少なくと もその注目データブロック以外のデ一夕プロヅクに対応する変換ブロックから抽 出し、 予測タップとする。 そして、 タヅプ係数及び予測夕ヅブを用いて、 所定の 予測演算を行うことにより、 変換デ一夕を元のデータに効率的に復号することが できる。
また、 本発明によれば、 教師となる教師データを少なくとも直交変換又は周波 数変換することにより、 生徒となる生徒データを生成し、 教師プロヅクのうちの 注目している注目教師ブロックの教師データを復号するための予測演算に用いる 生徒データを少なくともその注目教師ブロック以外の教師ブロックに対応する生 徒ブロックから抽出し、 予測タップとする。 そして、 夕ヅプ係数及び予測夕ヅプ を用いて予測演算を行うことにより得られる教師デ一夕の予測値の予測誤差が統 計的に最小になるように学習を行い、 タップ係数を求める。 このようにして求め たタップ係数を用いることにより、 直交変換又は周波数変換されたデータを効率 的に復号することが可能となる。
さらに、 本発明によれば、 抽出パターンの学習用の第 1デ一夕及び第 2デ一夕 を用いて、 所定の位置にある第 2デ一夕に対して所定の位置関係にある第 1デー 夕と所定の位置にある.第 2デ一夕との相関を所定の位置関係ごとに求め、 その相 関に基づいて、 第 2デ一夕を得るための予測演算に用いる予測タップとする第 1 データの抽出パターンを設定する。 そして、 その抽出パターンにしたがって抽出 した第 1デーダを用いて予測演算を行うことにより、 例えば、 第 1デ一夕を効率 的に第 2データに変換等することが可能となる。

Claims

請求の範囲
1 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られる 変換データを処理するデ一夕処理装置であって、
学習を行うことにより求められた夕ップ係数を取得する取得手段と、 前記タップ係数及び変換データを用いて、 所定の予測演算を行うことにより、 前記変換データを、 元のデータに復号する復号手段と
を備えることを特徴とするデータ処理装置。
2 . 前記復号手段は、 前記タップ係数及び変換データを用いて、 線形 1次予測 演算を行うことにより、 前記変換デ一夕を、 元のデータに復号することを特徴と する請求の範囲第 1項に記載のデータ処理装置。 .
3 . 前記タップ係数を記憶している記憶手段をさらに備え、
前記取得手段は、 前記記憶手段から、 前記タップ係数を取得することを特徴と する請求の範囲第 1項に記載のデータ処理装置。 ·
4 . 前記変換データは、 前記元のデ一夕を、 直交変換又は周波数変換し、 さら に量子化することにより得られたものであることを特徴とする請求の範囲第 1項 に記載のデ一夕処理装置。
5 . 前記変換デ一夕を、 逆量子化する逆量子化手段をさらに備え、
前記復号手段は、 逆量子化された前記変換データを、 前記元のデータに復号す ることを特徴とする請求の範囲第 4項に記載のデ一夕処理装置。
6 . 前記変換デ一夕は、 前記元のデータを、 少なくとも、 離散コサイン変換し たものであることを特徴とする請求の範囲第 1項に記載のデータ処理装置。
7 . 前記元のデータのうちの、 注目している注目デ一夕を予測するのに前記夕 ップ係数とともに用いる前記変換データを抽出し、 予測タップとして出力する予 測夕ッブ抽出手段をさらに備え、
前記復号手段は、 前記予測夕ップ及び夕ップ係数を用いて予測演算を行うこと を特徴とする請求の範囲第 1項に記載のデータ処理装置。
8 . 前記注目データを、 幾つかのクラスのうちのいずれかにクラス分類するの に用いる前記変換デ一夕を抽出し、 クラス夕ヅプとして出力するクラスタヅプ抽 出手段と、
前記クラス夕ップに基づいて、 前記注目データのクラスを求めるクラス分類を 行うクラス分類手段とをさらに備え、
前記復号手段は、 前記予測夕ップ及び前記注目データのクラスに対応する前記 夕ップ係数を用いて予測演算を行うことを特徴とする請求の範囲第 7項に記載の データ処理装置。
9 . 前記変換デ一夕は、 前記元のデータを、 所定の単位ごとに、 少なくとも、 直交変換処理又は周波数変換したものであり、
前記復号手段は、 前記所定の単位ごとに、 前記変換デ一夕を、 前記元のデータ に復号することを特徴とする請求の範囲第 1項に記載のデータ処理装置。
1 0 . 前記タツプ係数は、 前記タップ係数及び変換データを用いて、 所定の予 測演算を行うことにより得られる前記元のデータの予測値の予測誤差が、 統計的 に最小になるように、 学習を行うことにより得られたものであることを特徴とす る請求の範囲第 1項に記載のデータ処理装置。
1 1 . 前記元のデ一夕は、 動画又は静止画のデータであることを特徴とする請 求の範囲第 1項に記載のデータ処理装置。
1 2 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換デ一夕を処理するデータ処理方法であって、
学習を行うことにより求められたタツプ係数を取得する取得ステップと、 前記夕ップ係数及び変換データを用いて、 所定の予測演算を行うことにより、 前記変換データを、 元のデータに復号する復号ステツプと
を備えることを特徴とするデータ処理方法。
1 3 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換デ一夕を処理するデ一夕処理を、 コンピュータに行わせるプログラムが記 録されている記録媒体であって、
学習を行うことにより求められたタップ係数を取得する取得ステップと、 前記夕ツプ係数及び変換デ一夕を用いて、 所定の予測演算を行うことにより、 前記変換デ一夕を、 元のデータに復号する復号ステップと を備えるプログラムが記録されていることを特徴とする記録媒体。
1 4 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換データを、 予測演算によって復号するのに用いるタップ係数を学習するデ —夕処理装置であって、
教師となる教師データを、 少なくとも、 直交変換又は周波数変換することによ り、 生徒となる生徒デ一夕を生成する生成手段と、
前記夕ップ係数及び生徒データを用いて予測演算を行うことにより得られる前 記教師データの予測値の予測誤差が、 統計的に最小になるように学習を行い、 前 記夕ップ係数を求める学習手段と
を備えることを特徴とするデータ処理装置。
1 5 . 前記学習手段は、 前記夕ップ係数及び生徒データを用いて線形 1次予測 演算を行うことにより得られる前記教師データの予測値の予測誤差が、. 統計的に 最小になるように学習を行うことを特徴とする請求の範囲第 1 4項に記載のデー タ処理装置。
1 6 . 前記生成手段は、 前記教師データを、 直交変換又は周波数変換し、 さら に量子化することにより、 前記生徒データを生成することを特徴とする請求の範 囲第 1 4項に記載のデータ処理装置。
1 7 . 前記生成手段は、 前記教師デ一夕を、 直交変換又は周波数変換して量子 化し、 さらに逆量子化することにより、 前記生徒データを生成することを特徴と する請求の範囲第 1 4項に記載のデータ処理装置。
1 8 . 前記生成手段は、 前記教師データを、 少なくとも、 離散コサイン変換す ることにより、 前記生徒データを生成することを特徴とする請求の範囲第 1 4項 に記載のデータ処理装置。
1 9 . 前記教師データのうちの、 注目している注目教師データを予測するのに 前記タップ係数とともに用いる前記生徒データを抽出し、 予測タップとして出力 する予測夕ップ抽出手段をさらに備え、
前記学習手段は、 前記予測タップ及びタップ係数を用いて予測演算を行うこと により得られる前記教師デ一夕の予測値の予測誤差が、 統計的に最小になるよう に学習を行う ことを特徴とする請求の範囲第 1 4項に記載のデータ処理装置。
2 0 . 前記注目教師デ一夕を、 幾つかのクラスのうちのいずれかにクラス分類 するのに用いる前記生徒デ一夕を抽出し、 クラスタップとして出力するクラス夕 ップ抽出手段と、
前記クラス夕ヅプに基づいて、 前記注目教師データのクラスを求めるクラス分 類を行うクラス分類手段とをさらに備え、
前記学習手段は、 前記予測夕ップ及ぴ前記注目教師データのクラスに対応する タップ係数を用いて予測演算を行うことにより得られる前記教師デ一夕の予測値 の予測誤差が、 統計的に最小になるように学習を行い、 クラスごとの前記タップ 係数を求めることを特徴とする請求の範囲第 1 9項に記載のデータ処理装置。 2 1 . 前記生成手段は、 前記教師データを、 所定の単位ごとに、 少なくとも、 直交変換処理又は周波数変換することにより、 前記生徒データを生成することを 特徴とする請求の範囲第 1 4項に記載のデータ処理装置。 . 2 2 . 前記教師デ一夕は、 動画又は静止画のデータであることを特徴とする請 求の範囲第 1 4項に記載のデータ処理装置。
2 3 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換データを、 予測演算によって復号するのに用いる夕ップ係数を学習するデ 一夕処理方法であって、
教師となる教師デ一夕を、 少なくとも、 直交変換又は周波数変換することによ り、 生徒となる生徒データを生成する生成ステップと、
前記夕ツプ係数及び生徒データを用いて予測演算を行うことにより得られる前 記教師データの予測値の予測誤差が、 統計的に最小になるように学習を行い、 前 記タップ係数を求める学習ステップと
を備えることを特徴とするデータ処理方法。
2 4 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換デ一夕を、 予測演算によって復号するのに用いるタップ係数を学習するデ 一夕処理を、 コンピュータに行わせるプログラムが記録されている記録媒体であ つて、
教師となる教師データを、 少なくとも、 直交変換又は周波数変換することによ り、 生徒となる生徒デ一夕を生成する生成ステップと、 前記夕ップ係数及び生徒デ一夕を用いて予測演算を行うことにより得られる前 記教師データの予測値の予測誤差が、 統計的に最小になるように学習を行い、 前 記夕ップ係数を求める学習ステップと
を備えるプログラムが記録されていることを特徴とする記録媒体。
2 5 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換データを処理するデータ処理装置であって、
• 学習を行うことにより求められた夕ップ係数を取得する取得手段と、
前記夕ップ係数及び変換デ一夕を用いて、 所定の予測演算を行うことにより、 前記変換デ一夕を、 元のデータに復号し、 かつ、 その元のデ一夕に所定の処理を 施した処理データを得る演算手段と
を備えることを特徴とするデータ処理装置。
2 6 . 前記演算手段は、 前記夕ップ係数及び変換データを用いて、 線形 1次予 測演算を行う とを特徴とする請求の範囲第 2 5項に記載のデータ処理装置。 2 7 . 前記夕ツプ係数を記憶している記憶手段をさらに備え、
前記取得手段は、 前記記憶手段から、 前記タップ係数を取得することを特徴と する請求の範囲第 2 5項に記載のデータ処理装置。
2 8 . 前記変換デ一夕は、 前記元のデータを、 直交変換又は周波数変換し、 さ らに量子化することにより得られたものである
ことを特徴とする請求の範囲第 2 5項に記載のデータ処理装置。
2 9 . 前記変換データを逆量子化する逆量子化手段をさらに備え、
前記演算手段は、 逆量子化された前記変換デ一夕を用いて予測演算を行うこと を特徴とする請求の範囲第 2 8項に記載のデータ処理装置。
3 0 . 前記変換デ一夕は、 前記元のデータを、 少なくとも、 離散コサイン変換 したものであることを特徴とする請求の範囲第 2 5項に記載のデータ処理装置。 3 1 . 前記処理データのうちの、 注目している注目データを予測するのに前記 夕ップ係数とともに用いる前記変換デ一夕を抽出し、 予測夕ップとして出力する 予測タップ抽出手段をさらに備え、
前記演算手段は、 前記予測タップ及び夕ップ係数を用いて予測演算を行うこと を特徴とする請求の範囲第 2 5項に記載のデ一夕処理装置。
3 2 . 前記注目データを、 幾つかのクラスのうちのいずれかにクラス分類する のに用いる前記変換デ一夕を抽出し、 クラス夕ヅプとして出力するクラス夕ヅプ 抽出手段と、
前記クラス夕ヅプに基づいて、 前記注目デ一夕のクラスを求めるクラス分類を 行うクラス分類手段とをさらに備え、
前記演算手段は、 前記予測タップ及び前記注目データのクラスに対応する前記 タップ係数を用いて予測演算を行うことを特徴とする請求の範囲第 3 1項に記載 のデータ処理装置。
3 3 . 前記演算手段は、 前記所定の予測演算を行うことにより、 前記元のデー 夕に、 その品質を向上させる処理を施した前記処理デ一夕を得ることを特徴とす る請求の範囲第 2 5項に記載のデータ処理装置。
3 4 . 前記タップ係数は、 前記タップ係数及び変換データを用いて、 所定の予 測演算を行うことにより得られる前記処理データの予測値の予測誤差が、 統計的 に最小になるように、 学習を行うことにより得られたものであることを特徴とす る請求の範囲第 2 5項に記載のデータ処理装置。
3 5 . 前記元のデータは、 動画又は静止画の画像デ一夕である ことを特徴と する請求の範囲第 2 5項に記載のデ一夕処理装置。 . 3 6 . 前記演算手段は、 前記所定の予測演算を行うことにより、 前記画像デー 夕に、 その画質を向上させる処理を施した前記処理デ一夕を得ることを特徴とす る請求の範囲第 3 5項に記載のデータ処理装置。
3 7 . 前記演算手段は、 前記画像デ一夕の時間又は空間方向の解像度を向上さ せた前記処理データを得ることを特徴とする請求の範囲第 3 5項に記載のデ一夕 処理装置。
3 8 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換デ一夕を処理するデータ処理方法であって、
学習を行うことにより求められたタップ係数を取得する取得ステップと、 前記夕ップ係数及び変換データを用いて、 所定の予測演算を行うことにより、 前記変換デ一夕を、 元のデータに復号し、 かつ、 その元のデータに所定の処理を 施した処理データを得る演算ステップと を備えることを特徴とするデータ処理方法。
3 9 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換デ一夕を処理するデータ処理を、 コンピュータに行わせるプログラムが記 録されている記録媒体であって、
学習を行うことにより求められたタツプ係数を取得する取得ステップと、 前記夕ップ係数及び変換データを用いて、 所定の予測演算を行うことにより、 前記変換データを、 元のデ一夕に復号し、 かつ、 その元のデータに所定の処理を 施した処理データを得る演算ステップと
を備えるプログラムが記録されていることを特徴とする記録媒体。
4 0 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換データを復号し、 かつその復号結果に所定の処理を施すための予測演算に 用いるタップ係数を学習するデータ処理装置であって、
教師となる教師データに、 前記所定の処理に基づく処理を施し、 準教師データ を得る準教師データ生成手段と、
前記準教師デ一夕を、 少なくとも、 直交変換又は周波数変換することにより、 生徒となる生徒データを生成する生徒データ生成手段と、
前記夕ップ係数及び生徒デ一夕を用いて予測演算を行うことにより得られる前 記教師データの予測値の予測誤差が、 統計的に最小になるように学習を行い、 前 記夕ップ係数を求める学習手段と
を備えることを特徴とするデータ処理装置。
4 1 . 前記学習手段は、 前記タップ係数及び生徒デ一夕を用いて線形 1次予測 演算を行うことにより得られる前記教師データの予測値の予測誤差が、 統計的に 最小になるように学習を行うことを特徴とする請求の範囲第 4 0項に記載のデー 夕処理装置。
4 2 . 前記生徒データ生成手段は、 前記準教師デ一夕を、 直交変換又は周波数 変換し、 さらに量子化することにより、 前記生徒データを生成することを特徴と する請求の範囲第 4 0項に記載のデータ処理装置。
'4 3 . 前記生徒データ生成手段は、 前記準教師データを、 直交変換又は周波数 変換して量子化し、 さらに逆量子化することにより、 前記生徒デ一夕を生成する ことを特徴とする請求の範囲第 4 0項に記載のデータ処理装置。
4 4 . 前記生徒データ生成手段は、 前記準教師データを、 少なくとも、 離散コ サイン変換することにより、 前記生徒データを生成することを特徴とする請求の 範囲第 4 0項に記載のデータ処理装置。
4 5 . 前記教師デ一夕のうちの、 注目している注目教師デ一夕を予測するのに 前記夕ップ係数とともに用いる前記生徒データを抽出し、 予測夕ップとして出力 する予測タップ抽出手段をさらに備え、
前記学習手段は、 前記予測夕ップ及び夕ップ係数を用いて予測演算を行うこと により得られる前記教師データの予測値の予測誤差が、 統計的に最小になるよう に学習を行う ことを特徴とする請求の範囲第 4 0項に記載のデータ処理装置。 4 6 . 前記注目教師デ 夕を、 幾つかのクラスのうちのいずれかにクラス分類 するのに用いる前記生徒データを抽出し、 クラスタップとして出力するクラス夕 ヅプ抽出手段と、
前記クラス夕ヅプに基づいて、 前記注目教師デ一夕のクラスを求めるクラス分 類を行うクラス分類手段とをさらに備え、
前記学習手段は、 前記予測夕ップ及び前記注目教師デ一夕のクラスに対応する 夕ップ係数を用いて予測演算を行うことにより得られる前記教師データの予測値 の予測誤差が、 統計的に最小になるように学習を行い、 クラスごとの前記タップ 係数を求めることを特徴とする請求の範囲第 4 5項に記載のデータ処理装置。 4 7 . 前記生徒データ生成手段は、 前記準教師データを、 所定の単位ごとに、 少なくとも、 直交変換処理又は周波数変換することにより、 前記生徒デ一夕を生 成することを特徴とする請求の範囲第 4 0項に記載のデータ処理装置。
4 8 . 前記準教師デ一夕生成手段は、 前記教師データに、 その品質を劣化させ る処理を施すことにより、 前記準教師デ一夕を生成する
ことを特徴とする請求の範囲第 4 0項に記載のデータ処理装置。
4 9 . 前記教師データは、 動画又は静止画の画像データであることを特徴とす る請求の範囲第 4 0項に記載のデータ処理装置。
5 0 . 前記準教師データ生成手段は、 前記画像データに、 その画質を劣化させ る処理を施すことにより、 前記準教師データを生成することを特徴とする請求の 範囲第 4 9項に記載のデータ処理装置。
5 1 . 前記準教師データ生成手段は、 前記画像データの時間又は空間方向の解 像度を劣化させた前記準教師データを生成することを特徴とする請求の範囲第 4 9項に記載のデータ処理装置。
5 2 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換デ一夕を復号し、 かつその復号結果に所定の処理を施すための予測演算に 用いるタツプ係数を学習するデ一夕処理方法であって、
教師となる教師デ^ "夕に、 前記所定の処理に基づく処理を施し、 準教師デ一夕 を得る準教師デ一タ生成ステツプと、
前記準教師デ一夕を、 少なくとも、 直交変換又は周波数変換することにより 、 生徒となる生徒デ一夕を生成する生徒デ一夕生成ステツプと、
前記夕ップ係数及び生徒データを用いて予測演算を行うことにより得ら.れる前 記教師データの予測値の予測誤差が、 統計的に最小になるように学習を行い、.前 記タップ係数を求める学習ステップと
を備えることを特徴とするデータ処理方法。
5 3 . 少なくとも、：直交変換処理又は周波数変換処理を施すことにより得られ る変換データを復号し、 かつその復号結果に所定の処理を施すための予測演算に 用いる夕ヅプ係数を学習するデータ処理を、 コンピュータに行わせるプログラム が記録されている記録媒体であって、
教師となる教師データに、 前記所定の処理に基づく処理を施し、 準教師デ一夕 を得る準教師データ生成ステップと、
前記準教師デ一夕を、 少なくとも、 直交変換又は周波数変換することにより、 生徒となる生徒デ一夕を生成する生徒データ生成ステツプと、
前記夕ップ係数及ぴ生徒データを用いて予測演算を行うことにより得られる前 記教師デ一夕の予測値の予測誤差が、 統計的に最小になるように学習を行い、 前 記夕ップ係数を求める学習ステップと
を備えるプログラムが記録されていることを特徴とする記録媒体。
5 4 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換データと、 所定の付加情報とを含む符号化デ一夕を処理し、 前記変換データを元のデータに復号するデータ処理装置であって、
前記付加情報に基づいて、 前記元のデータのうちの、 注目している注目データ を、 幾つかのクラスのう のいずれかにクラス分類するクラス分類手段と、 学習を行うことにより求められた、 所定のクラスごとのタップ係数のうち、 前 記注目デ一夕のクラスに対応するタップ係数を取得する取得手段と、
前記変換データ及び前記注目デ一夕のクラスに対応する前記夕ツプ係数を用い て、 所定の予測演算を行うことにより、 前記変換データを、 元のデ一夕に復号す る復号手段と
を備えることを特徴とするデ一夕処理装置。
5 5 . 前記復号手段は、 前記変換データ及び夕ッブ係数を用いて、 線形 1次予 測演算を行うことにより、 前記変換データを、 元のデ一夕に復号することを特徴 とする請求の範囲第 5 4項に記載のデータ処理装置。
5 6 . 前記クラスごとの夕ップ係数を記憶している記憶手段をさらに備え、 前記取得手段は、 前記記憶手段から、 前記注目データのクラスに対応する夕ッ プ係数を取得することを特徴とする請求の範囲第 5 4項に記載のデータ処理装置 c 5 7 . 前記変換データは、 前記元のデータを、 直交変換又は周波数変換し、 さ らに量子化することにより得られたものであることを特徴とする請求の範囲第 5 4項に記載のデ一夕処理装置。
5 8 . 前記変換デ一夕を、 逆量子化する逆量子化手段をさらに備え、
前記復号手段は、 逆量子化された前記変換デ一夕を、 前記元のデータに復号す ることを特徴とする請求の範囲第 5 7項に記載のデータ処理装置。
5 9 . 前記付加情報は、 前記元のデータの量子化に用いられた量子化テーブル であることを特徴とする請求の範囲第 5 7項に記載のデータ処理装置。
6 0 . 前記変換デ一夕は、 前記元のデ一夕を、 少なくとも、 離散コサイン変換 したものであることを特徴とする請求の範囲第 5 4項に記載のデータ処理装置。 6 1 . 前記注目データを予測するのに前記タップ係数とともに用いる前記変換 データを抽出し、 予測夕ツプとして出力する予測夕ツプ抽出手段をさらに備え、 前記復号手段は、 前記予測夕ップ及び夕ップ係数を用いて予測演算を行うこと を特徴とする請求の範囲第 5 4項に記載のデータ処理装置。
6 2 . 前記注目データを、 幾つかのクラスのうちのいずれかにクラス分類する のに用いる前記変換データを抽出し、 クラスタヅプとして出力するクラス夕ヅプ 抽出手段をさらに備え、
前記クラス分類手段は、 前記付加情報及びクラスタップに基づいて、 前記注目 デ一夕のクラスを求めることを特徴とする請求の範囲第 5 4項に記載のデータ処 理装置。
6 3 . 前記変換データは、 前記元のデ一夕を、 所定の単位ごとに、 少なくとも、 直交変換処理又は周波数変換したものであり、
前記復号手段は、 前記所定の単位ごとに、 前記変換データを、 前記元のデータ に復号することを特徴とする請求の範囲第 5 4項に記載のデータ処理装置。
6 4 . 前記夕ップ係数は、 前記夕 プ係数及び変換データを用いて、 所定の予 測演算を行うことにより得られる前記元のデ一夕の予測値の予測誤差が、 統計的 に最小になるように、 学習を行うことにより得られたものであることを特徴とす る請求の範囲第 5 4項に記載のデ一夕処理装置。
6 5 . 前記元のデータは、 動画又は静止画のデ一夕であることを特徴とする請 求の範囲第 5 4項に記載のデータ処理装置。
6 6 . 少なくとも、 直交変換処理又は周波数変換処理を施すことに.より得られ る変換デ一夕と、 所定の付加情報とを含む符号化データを処理し、 前記変換デー 夕を元のデ一夕に復号するデータ処理方法であって、
前記付加情報に基づいて、 前記元のデータのうちの、 注目して.いる注目デ一夕 を、 幾つかのクラスのうちのいずれかにクラス分類するクラス分類ステヅプと、 学習を行うことにより求められた、 所定のクラスごとのタップ係数のうち、 前 記注目データのクラスに対応するタツプ係数を取得する取得ステツプと、
前記変換デ一夕及び前記注目デ一夕のクラスに対応する前記タップ係数を用い て、 所定の予測演算を行うことにより、 前記変換データを、 元のデ一夕に復号す る復号ステップと
を備えることを特徴とするデータ処理方法。
6 7 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換データと、 所定の付加情報とを含む符号化データを処理し、 前記変換デー 夕を元のデータに復号するデータ処理を、 コンピュータに行わせるプログラムが 記録されている記録媒体であって、
前記付加情報に基づいて、 前記元のデータのうちの、 注目している注目デ一夕 を、 幾つかのクラスのうちのいずれかにクラス分類するクラス分類ステヅプと、 学習を行うことにより求められた、 所定のクラスごとのタップ係数のうち、 前 記注目データに対応する夕ップ係数を取得する取得ステップと、
前記変換データ及び前記注目デ一夕のクラスに対応する前記タツプ係数を用い て、 所定の予測演算を行うことにより、 前記変換データを、 元のデータに復号す る復号ステップと
を備えるプログラムが記録されていることを特徴とする記録媒体。 . 6 8 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換デ一夕を、 予測演算によって復号するのに用いるタップ係数を学習するデ 一夕処理装置であって、
教師となる教師データを、 少なくとも、 直交変換又は周波数変換することによ り、 生徒となる生徒デ一夕を生成する生成手段と、
前記生成手段において前記生徒データを生成するときに用いられる所定の付加 情報に基づいて、 前記教師デ一夕のうちの、 注目している注目教師デ一夕を、 幾 つかのクラスのうちのいずれかにクラス分類するクラス分類手段と、
前記注目教師データのクラスに対応するタツプ係数及び生徒データを用いて予 測演算を行うことにより得られる前記教師デ一夕の予測値の予測誤差が、 統計的 に最小になるように学習を行い、 クラスごとの前記夕ップ係数を求める学習手段 と
を備えることを特徴とするデータ処理装置。
6 9 . 前記学習手段は、 前記夕ップ係数及び生徒データを用いて線形 1次予測 演算を行うことにより得られる前記教師データの予測値の予測誤差が、 統計的に 最小になるように学習を行うことを特徴とする請求の範囲第 6 8項に記載のデー 夕処理装置。
7 0 . 前記生成手段は、 前記教師デ一夕を、 直交変換又は周波数変換し、 さら に量子化することにより、 前記生徒データを生成する ことを特徴とする請求の範囲第 6 8項に記載のデータ処理装置。
7 1 . 前記付加情報は、 前記教師データの量子化に用いられた量子化テーブル であることを特徴とする請求の範囲第 7 0項に記載のデータ処理装置。
7 2 . 前記生成手段は、 前記教師データを、 直交変換又は周波数変換して量子 化し、 さらに逆量子化することにより、 前記生徒データを生成することを特徴と する請求の範囲第 6 8項に記載のデータ処理装置。
7 3 . 前記生成手段は、 前記教師データを、 少なくとも、 離散コサイン変換す ることにより、 前記生徒デ一夕を生成することを特徴どする請求の範囲第 6 8項 に記載のデータ処理装置。
7 4 . 前記注目教師デ一夕を予測するのに前記夕ップ係数とともに用いる前記 生徒データを抽出し、 予測夕ップとして出力する予測夕ップ抽出手段をさらに備 え、
前記学習手段は、 前記予測タップ及びタップ係数を用いて予測演算を行うこと により得られる前記教師データの予測値の予測誤差が、 統計的に最小になるよう に学習を行う ことを特徴とする請求の範囲第 6 8項に記載のデータ処理装置。 7 5 . 前記注目教師デ一夕を、'幾つかのクラスのうちのいずれかにクラス分類 するのに用いる前記生徒デ一夕を抽出し、 クラスタップとして出力するクラス夕 ツプ抽出手段をさらに備え、
前記クラス分類手段は、 前記付加情報及びクラスタップに基づいて、 前記注目 教師データのクラスを求めることを特徴とする請求の範囲第 6 8項に記載のデー 夕処理装置。
7 6 . 前記生成手段は、 前記教師データを、 所定の単位ごとに、 少なくとも、 直交変換処理又は周波数変換することにより、 前記生徒デ一夕を生成することを 特徴とする請求の範囲第 6 8項に記載のデータ処理装置。
7 7 . 前記教師データは、 動画又は静止画のデ一夕であることを特徴とする請 求の範囲第 6 8項に記載のデータ処理装置。
7 8 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換デ一夕を、 予測演算によって復号するのに用いるタップ係数を学習するデ 一夕処理方法であって、 教師となる教師デ一夕を、 少なくとも、 直交変換又は周波数変換することによ り、 生徒となる生徒データを生成する生成ステップと、
前記生成ステツプにおいて前記生徒データを生成するときに用いられる所定の 付加情報に基づいて、 前記教師データのうちの、 注目している注目教師データを- 幾つかのクラスのうちのいずれかにクラス分類するクラス分類ステツプと、 前記注目教師デ一夕のクラスに対応するタツプ係数及び生徒デ一夕を用いて予 測演算を行うことにより得られる前記教師データの予測値の予測誤差が、 統計的 に最小になるように学習を行い、 クラスごとの前記夕ップ係数を求める学習ステ ップとを備えることを特徴とするデータ処理方法。
7 9 . 少なくとも、 直交変換処理又は周波数変換処理を施すことにより得られ る変換デ一夕を、 予測演算によって復号するのに用いるタップ係数を学習するデ ―夕処理を、 コンピュータに行わせるプログラムが記録されている記録媒体であ つて、
教師となる教師デ一夕を、 少なくとも、 直交変換又は周波数変換することによ り、 生徒となる生徒デ一夕を生成する生成ステップと、
前記生成ステタプにおいて前記生徒データを生成するときに用いられる所定の 付加情報に基づいて、 前記教師データのうちの、 注目している注目教師デ一夕を、 幾つかのクラスのうちのいずれかにクラス分類するクラス分類ステヅプと、 前記注目教師デ一夕のクラスに対応するタツプ係数及び生徒デ一夕を用いて予 測演算を行うことにより得られる前記教師データの予測値の予測誤差が、 統計的 に最小になるように学習を行い、 クラスごとの前記夕ップ係数を求める学習ステ ヅプと
を備えるプログラムが記録されていることを特徴とする記録媒体。
8 0 . デ一夕に対し、 少なくとも、 直交変換処理又は周波数変換処理を所定の ブロック単位で施すことにより得られるブロック単位の変換デ一夕から、 前記変 換デ一夕に所望の処理を施した処理デ一夕の予測値を求めるデ一夕処理装置であ つて、
学習を行うことにより求められた夕ップ係数を取得する取得手段と、
注目している処理デ一夕である注目処理デ一夕を、 幾つかのクラスのうちのい ずれかにクラス分類するのに用いる前記変換デ一夕を、 少なくとも、 前記注目処 理データに対応するプロヅク以外のプロヅクから抽出し、 クラス夕ヅプとして出 力するクラスタップ抽出手段と、
前記クラス夕ヅプに基づいて、 前記注目処理データのクラスを求めるクラス分 類を行うクラス分類手段と、
前記注目処理データのクラスの前記夕ップ係数及び変換デ一夕を用いて、 所定 の予測演算を行うことにより、 前記注目処理データの予測値を求める演算手段と を備えることを特徴とするデータ処理装置。
8 1 . 前記演算手段は、 前記夕ップ係数及び変換データを用いて、 線形 1次予 测演算を行うことを特徴とする請求の範囲第 8 0項に記載のデータ処理装置。 8 2 . 前記夕ップ係数を記憶している記憶手段をさらに備え、
• 前記取得手段は、 前記記憶手段から、 前記タップ係数を取得することを特徴と. する請求の範囲第 8 0項に記載のデータ処理装置。
8 3 . 前記変換データは、 前記デ一夕を、 少なくとも、 離散コサイン変換した ものであることを特徴とする請求の範囲第 8 0項に記載のデ一夕処理装置。
8 4 . 前記クラス'分類手段は、 前記クラスタップとなっている変換デ一夕であ る、 離散コサイン変換されたデータの直流成分又は交流成分の電力に基づいて、 前記注目処理データのクラスを求めることを特徴とする請求の範囲第 8 3項に記 載のデータ処理装置。
8 5 . 前記クラスタップ抽出手段は、 注目処理データに対応するブロックの周 辺のプロックから、 前記クラスタップとする前記変換デ一夕を抽出することを特 徴とする請求の範囲第 8 0項に記載のデータ処理装置。
8 6 . 前記クラス夕ヅプ抽出手段は、 注目処理データに対応するブロックから も、 前記クラスタップとする前記変換デ一夕を抽出することを特徴とする請求の 範囲第 8 0項に記載のデータ処理装置。
8 7 . 前記タップ係数は、 前記夕ッブ係数及び変換データを用いて、 所定の予 測演算を行うことにより得られる前記処理デ一夕の予測値の予測誤差が、 統計的 に最小になるように、 学習を行うことにより得られたものであることを特徴とす る請求の範囲第 8 0項に記載のデ一夕処理装置。
8 8 . 前記デ一夕は、 動画又は静止画の画像データであることを特徴とする請 求の範囲第 8 0項に記載のデータ処理装置。
8 9 . デ一夕に対し、 少なくとも、 直交変換処理又は周波数変換処理を所定の プロック単位で施すことにより得られるプロック単位の変換デ一夕から、 前記変 換デ一夕に所望の処理を施した処理データの予測値を求めるデータ処理方法であ つて、
■ 学習を行うことにより求められた夕ップ係数を取得する取得ステップと、 注目している処理デ一夕である注目処理デ一夕を、 幾つかのクラスのうちのい ずれかにクラス分類するのに用いる前記変換データを、 少なくとも、 前記注目処 理デ一夕に対応するプロック以外のプロックから抽出し、 クラス夕ップとして出 力するクラス夕ヅプ抽出ステップと、
前記クラスタップに基づいて、 前記注目処理データのクラスを求めるクラス分 類を行うクラス分類ステップと、
前記注目処理デ一夕のクラスの前記夕ップ係数及び変換デ 夕を用いて、 所定 の予測演算を行うことにより、 前記注目処理データの予測値を求める演算ステツ プと
を備えることを特徴とするデ一夕処理方法。
9 0 . データに対し、 少なくとも、 直交変換処理又は周波数変換処理を所定の プロヅク単位で施すことにより得られるプロヅク単位の変換データから、 前記変 換デ一夕に所望の処理を施した処理データの予測値を求めるデータ処理を、 コン ピュー夕に行わせるプログラムが記録されている記録媒体であって、
学習を行うことにより求められた夕ップ係数を取得する取得ステップと、 注目している処理デ一夕である注目処理デ一夕を、 幾つかのクラスのうちのい ずれかにクラス分類するのに用いる前記変換デ一夕を、 少なくとも、 前記注目処 理デ一夕に対応するプロヅク以外のプロヅクから抽出し、 クラス夕ヅプとして出 力するクラスタップ抽出ステップと、
前記クラスタヅプに基づいて、 前記注目処理デ一夕のクラスを求めるクラス分 類を行うクラス分類ステップと、
前記注目処理デ一夕のクラスの前記タップ係数及び変換デ一夕を用いて、 所定の予測演算を行うことにより、 前記注目処理デ一夕の予測値を求める演算ス テツプと
を備えるプログラムが記録されていることを特徴とする記録媒体。
9 1 . データに対し、 少なくとも、 直交変換処理又は周波数変換処理を所定の プロヅク単位で施すことにより得られるブロック単位の変換データから、 予測演 算によって、 前記変換データに所望の処理を施した処理デ一夕を求めるのに用い るタップ係数を学習するデータ処理装置であって、
前記ブロック単位の変換データを、 学習時の生徒となる生徒デ一夕として生成 する生成手段と、
前記処理データを、 学習時の教師となる教師データとして、 注目している教師 デ一夕である注目教師データを、 幾つかのクラスのうちのいずれかにクラス分類 するのに用いる前記生徒データを、 少なくとも、 前記注目教師データに対応する プロヅク以外のプロヅクから抽出し、 クラス夕ヅプとして出力するクラス夕ヅブ 抽出手段と、 '
前記クラス夕ヅプに基づいて、 前記注目教師データのクラスを求めるクラス分 類を行うクラス分類手段と、
前記クラスごとの前記夕ップ係数及び生徒データを用いて予測演算を行うこと により得られる前記教師デ一夕の予測値の予測誤差が、 統計的に最小になるよう に学習を行い、 前記タップ係数を、 クラスごとに求める学習手段と
を備えることを特徴とするデータ処理装置。
9 2 . 前記学習手段は、 前記タップ係数及び生徒データを用いて線形 1次予測 演算を行うことにより得られる前記教師データの予測値の予測誤差が、 統計的に 最小になるように学習を行うことを特徴とする請求の範囲第 9 1項に記載のデー 夕処理装置。
9 3 . 前記生成手段は、 前記データを、 少なくとも、 離散コサイン変換するこ とにより、 前記生徒デ一夕を生成することを特徴とする請求の範囲第 9 1項に記 載のデータ処理装置。
9 4 . 前記クラス分類手段は、 前記クラスタップとなっている生徒デ一夕であ る、 離散コサイン変換されたデ一夕の直流成分又は交流成分の電力に基づいて、 前記注目教師データのクラスを求めることを特徴とする請求の範囲第 9 3項に記 載のデータ処理装置。
9 5 . 前記クラスタップ抽出手段は、 注目教師デ一夕に対応するブロックの周 辺のブロックから、 前記クラスタヅプとする前記生徒デ一タを抽出することを特 徴とする請求の範囲第 9 1項に記載のデータ処理装置。
9 6 . 前記クラスタヅプ抽出手段は、 注目教師データに対応するブロックから も、 前記クラス夕ップとする前記生徒データを抽出する
ことを特徴とする請求の範囲第 9 1項に記載のデータ処理装置。
9 7 . 前記データは、 動画又は静止画の画像データであることを特徴とする請 求の範囲第 9 1項に記載のデ一夕処理装置。
9 8 . データに対し、 少なくとも、 直交変換処理又は周波数変換処理を所定の プロック単位で施すことにより得られるプロック単位の変換デ一夕から、 予測演 算によって、 前記変換デ一夕に所望の処理を施した処理データを求めるのに用い るタツプ係数を学習するデータ処理方法であって、
前記プロック単位の変換データを、 学習時の生徒となる生徒デ一夕として生成 する生成ステヅプと、
前記処理デ一夕を、 学習時の教師となる教師データとして、 注目している教師 デ一夕である注目教師データを、 幾つかのクラスのうちのいずれかにクラス分類 するのに用いる前記生徒データを、 少なくとも、 前記注目教師デ一夕に対応する ブロック以外のプロヅクから抽出し、 クラス夕ヅプとして出力するクラス夕ヅブ 抽出ステヅプと、
前記クラスタヅプに基づいて、 前記注目教師データのクラスを求めるクラス分 類を行うクラス分類ステップと、
前記クラスごとの前記タップ係数及び生徒データを用いて予測演算を行うこと により得られる前記教師データの予測値の予測誤差が、 統計的に最小になるよう に学習を行い、 前記タップ係数を、 クラスごとに求める学習ステップと
を備えることを特徴とするデータ処理方法。
9 9 . データに対し、 少なくとも、 直交変換処理又は周波数変換処理を所定の ブロック単位で施すことにより得られるブロック単位の変換デ一夕から、 予測演 算によって、 前記変換データに所望の処理を施した処理データを求めるのに用い る夕ヅプ係数を学習するデータ処理を、 コンピュータに行わせるプログラムが記 録されている記録媒体であって、
前記プロック単位の変換データを、 学習時の生徒となる生徒データとして生成 する生成ステヅプと、
前記処理デ一夕を、 学習時の教師となる教師データとして、 注目している教師 デ一夕である注目教師データを、 幾つかのクラスのうちのいずれかにクラス分類 するのに用いる前記生徒データを、 少なくとも、 前記注目教師データに対応する プロヅク以外のプロヅクから抽出し、 クラスタップとして出力するクラスタップ 抽出ステップと、
前記クラス夕ヅプに基づいて、 前記注目教師データのクラスを求めるクラス分 類を行うクラス分類ステヅプと、 .. .
前記クラスごとの前記夕ップ係数及び生徒データを用いて予測演算を行うこと により得られる前記教師デ一夕の予測値の予測誤差が、 統計的に最小になるよう に学習を行い、 前記夕ヅプ係数を、 クラスごとに求める学習ステップと
を備えるプログラムが記録されていることを特徴とする記録媒体。
1 0 0 . データに対し、 少なくとも、 直交変換処理又は周波数変換処理を所定 のプロヅク単位で施すことにより得られるプロック単位の変換データを処理する データ処理装置であって、
学習を行うことにより求められた夕ップ係数を取得する取得手段と、 前記データのプロヅクであるデ一夕プロヅクのうちの注目している注目データ プロックのデ一夕を復号するための予測演算に用いる前記変換デ一夕を、 少なく とも、 その注目データブロック以外のデータブロックに対応する、 前記変換デー 夕のプロックである変換プロックから抽出し、 予測夕ップとして出力する予測夕 ップ抽出手段と、
前記夕ップ係数及び予測夕ップを用いて、 所定の予測演算を行うことにより、 前記変換デ一夕を、 元のデ一夕に復号する演算手段と
を備えることを特徴とするデータ処理装置。
1 0 1 . 前記演算手段は、 前記夕ップ係数及び予測夕ップを用いて、 線形 1次 予測演算を行うことにより、 前記変換データを、 元のデータに復号することを特 徴とする請求の範囲第 1 0 0項に記載のデータ処理装置。
1 0 2 . 前記タッブ係数を記憶している記憶手段をさらに備え、
前記取得手段は、 前記記憶手段から、 前記タップ係数を取得することを特徴と する請求の範囲第 1 0 0項に記載のデータ処理装置。
1 0 3 . 前記変換データは、 前記元のデータを、 少なくとも、 離散コサイン変 換したものであることを特徴とする請求の範囲第 1 0 0項に記載のデ一夕処理装
1 0 4 . 前記注目データブロックのデータのうちの、 注目している注目データ を、 幾つかのクラスのうちのいずれかにクラス分類するのに用いる前記変換デ一 夕を抽出し、 クラス夕ヅプとして出力するクラス夕ヅプ抽出手段と、
前記クラス夕ヅプに基づいて、 前記注目データのクラスを求めるクラス分類を 行うクラス分類手段とをさらに備え、
前記演算手段は、 前記予測夕ップ及び前記注目データのクラスに対応する前記 夕ップ係数を用いて予測演算を行うことを特徴とする請求の範囲第 1 0 0項に記 載のデータ処理装置。 . ·
1 0 5 . 前記予測夕ップ抽出手段は、 前記注目デ一夕ブロックの周辺のデ一夕 プロックに対応する前記変換プロックから、 前記予測タップとする前記変換デー 夕を抽出することを特徴とする請求の範囲第 1 0 0項に記載のデータ処理装置。
1 0 6 . 前記予測夕ップ抽出手段は、 前記注目デ一夕ブロックに対応する前記 変換プロックと、 注目デ一夕プロヅク以外のデータプロックに対応する前記変換 ブロックとから、 前記予測タップとする前記変換データを抽出することを特徴と する請求の範囲第 1 0 0項に記載のデータ処理装置。
1 0 7 . 前記予測タップ抽出手段は、 前記注目データブロックのデ一夕のうち の、 注目している注目データとの相関が大きい位置関係にある前記変換デ一夕を、 前記予測夕ップとして抽出することを特徴とする請求の範囲第 1 0 0項に記載の デ一夕処理装置。
1 0 8 . 前記予測タップ抽出手段は、 前記注目デ一夕との相関が所定の閾値以 上となる位置関係にある前記変換データを、 前記予測夕ップとして抽出すること を特徴とする請求の範囲第 1 0 7項に記載のデータ処理装置。
1 0 9 . 前記予測夕ップ抽出手段は、 前記注目デ一夕との相関が所定の順位以 内になる位置関係にある前記変換データを、 前記予測タップとして抽出すること を特徴とする請求の範囲第 1 0 7項に記載のデータ処理装置。
1 1 0 . 前記夕ップ係数は、 前記タップ係数及び変換データを用いて、 所定の 予測演算を行うことにより得られる前記元のデ一夕の予測値の予測誤差が、 統計 的に最小になるように、 学習を行うことにより得られたものであることを特徴と する請求の範囲第 1 0 0項に記載のデ一夕処理装置。
1 1 1 . 前記元のデータは、 動画又は静止画の画像デ一夕であることを特徴とす る請求の範囲第 1 0 0項に記載のデータ処理装置。
1 1 2 . データに対し、 少なくとも、 直交変換処理又は周波数変換処理を所定 のプロック単位で施すことにより得られるプロック単位の変換データを処理する データ処理方法であって、
学習を行うことにより求められた夕ップ係数を取得する取得ステップと、 前記デ一夕のプロヅクであるデータブロヅクのうちの注目している注目デ一夕 プロックのデ一夕を復号するための予測演算に用いる前記変換デ一夕を、 少なく とも、 その注目データブロック以外のデータブロックに対応する、 前記変換デー 夕のプロヅクである変換ブロ、タクから抽出し、 予測タツプとして出力する予測夕 ヅプ抽出ステヅプと、
前記夕ップ係数及び予測夕ップを用いて、 所定の予測演算を行うことにより、 前記変換デ一夕を、 元のデータに復号する演算ステップと
を備えることを特徴とするデ一夕処理方法。
1 1 3 . データに対し、 少なくとも、 直交変換処理又は周波数変換処理を所定 のプロック単位で施すことにより得られるプロヅク単位の変換データを処理する データ処理を、 コンピュータに行わせるプログラムが記録されている記録媒体で あって、
学習を行うことにより求められたタップ係数を取得する取得ステップと、 前記デ一夕のプロヅクであるデータプロヅクのうちの注目している注目デ一夕 プロックのデ一夕を復号するための予測演算に用いる前記変換デ一夕を、 少なく とも、 その注目デ一夕ブロック以外のデ一夕プロックに対応する、 前記変換デー 夕のプロックである変換プロックから抽出し、 予測夕ップとして出力する予測夕 ヅブ抽出ステップと、
前記夕ツプ係数及び予測夕ップを用いて、 所定の予測演算を行うことにより、 前記変換データを、 元のデータに復号する演算ステップと
を備えるプログラムが記録されていることを特徴とする記録媒体。
1 1 4 . デ一夕に対し、 少なくとも、 直交変換処理又は周波数変換処理を所定 のプロヅク単位で施すことにより得られるプロヅク単位の変換デ一夕を、 予測演 算によって復号するのに用いるタップ係数を学習するデータ処理装置であって、 教師となる教師デ一夕を、 少なくとも、 直交変換又は周波数変換することによ り、 生徒となる生徒データを生成する生成手段と、
前記教師デ一夕のプロヅクである教師プロヅクのうちの注目している注目教師 プロックの教師データを復号するための予測演算に用いる前記生徒デ一夕を、 少 なくとも、 その注目教師ブロック以外の教師ブロックに対応する、 前記生徒デー 夕のプロックである生徒プロックから抽出し、 予測夕ップとして出力する予測夕 ヅプ抽出手段と、
前記夕ップ係数及び予測タップを用いて予測演算を行うことにより得られる前 記教師デ一夕の予測値の予測誤差が、 統計的に最小になるように学習を行い、 前 記夕ッブ係数を求める学習手段と
を備えることを特徴とするデータ処理装置。
1 1 5 . 前記学習手段は、 前記タップ係数及び生徒データを用いて線形 1次予 測演算を行うことにより得られる前記教師データの予測値の予測誤差が、 統計的 に最小になるように学習を行うことを特徴とする請求の範囲第 1 1 4項に記載の データ処理装置。
1 1 6 . 前記生成手段は、 前記教師デ一夕を、 少なくとも、 離散コサイン変換 することにより、 前記生徒デ一夕を生成することを特徴とする請求の範囲第 1 1 4項に記載のデータ処理装置。
1 1 7 . 前記注目教師ブロックの前記教師データのうちの、 注目している注目 教師データを、 幾つかのクラスのうちのいずれかにクラス分類するのに用いる前 記生徒デ一夕を抽出し、 クラス夕ヅプとして出力するクラス夕ヅプ抽出手段と、 前記クラス夕ヅプに基づいて、 前記注目教師データのクラスを求めるクラス分 類を行うクラス分類手段とをさらに備え.、
前記学習手段は、 前記予測夕ップ及び前記注目教師デ一夕のクラスに対応する 夕ップ係数を用いて予測演算を行うことにより得られる前記教師データの予測値 の予測誤差が、 統計的に最小になるように学習を行い、 クラスごとの前記タップ 係数を求めることを特徴とする請求の範囲第 1 1 4項に記載のデータ処理装置。
1 1 8 . 前記予測タップ抽出手段は、 前記注目教師ブロックの周辺の教師プロ ックに対応する前記生徒ブロックから、 前記予測夕ップとする前記生徒データを 抽出することを特徴とする請求の範囲第 1 1 4項に記載のデータ処理装置。
1 1 9 . 前記予測夕ッブ抽出手段は、 前記注目教師プロックに対応する前記生 徒プロックと、 注目教師ブロック以外の教師プロツクに対応する前記生徒ブロッ クとから、 前記予測夕ップとする前記生徒デ一夕を抽出することを特徴とする請 求の範囲第 1 1 4項に記載のデータ処理装置。
1 2 0 . 前記予測夕ヅプ抽出手段は、 前記注目教師ブロックの前記教師データ のうちの、 注目している注目教師デ一夕との相関が大きい位置関係に'ある前記生 徒データを、 前記予測タップとして抽出することを特徴とする請求の範囲第 1 1 4項に記載のデータ処理装置。
1 2 1 . 前記予測夕ッブ抽出手段は、 前記注目教師データとの相関が所定の閾 値以上となる位置関係にある前記生徒データを、 前記予測夕ップとして抽出する ことを特徴とする請求の範囲第 1 2 0項に記載のデータ処理装置。
1 2 2 . 前記予測夕ップ抽出手段は、 前記注目教師デ一夕との相関が所定の順 位以内になる位置関係にある前記生徒デ一夕を、 前記予測夕ップとして抽出する ことを特徴とする請求の範囲第 1 2 0項に記載のデ一夕処理装置。
1 2 3 . 前記教師データは、 動画又は静止画の画像データであることを特徴と する請求の範囲第 1 1 4項に記載のデ一夕処理装置。
1 2 4 . デ一夕に対し、 少なくとも、 直交変換処理又は周波数変換処理を所定 のプロック単位で施すことにより得られるプロック単位の変換デ一夕を、 予測演 算によって復号するのに用いるタヅプ係数を学習するデータ処理方法であって、 教師となる教師デ一夕を、 少なくとも、 直交変換又は周波数変換することによ り、 生徒となる生徒デ一夕を生成する生成ステップと、
前記教師データのプロックである教師プロックのうちの注目している注目教師 ブロックの教師データを復号するための予測演算に用いる前記生徒デ一夕を、 少 なくとも、 その注目教師プロヅク以外の教師ブロックに対応する、 前記生徒デー 夕のブロックである生徒ブロックから抽出し、 予測夕ヅプとして出力する予測夕 ヅプ抽出ステップと、
前記夕ツプ係数及び予測夕ップを用いて予測演算を行うことにより得られる前 記教師デ一夕の予測値の予測誤差が、 統計的に最小になるように学習を行い、 前 記タップ係数を求める学習ステップと
を備えることを特徴とするデータ処理方法。
1 2 5 . データに対し、 少なくとも、 直交変換処理又は周波数変換処理を所定 のプロヅク単位で施すことにより得られるプロツク単位の変換データを、 予測演 算によって復号するのに用いるタップ係数を学習するデ一夕処理を、 コンビユー 夕に行わせるプログラムが記録されている記録媒体であって、
教師となる教師データを、 少なくとも、 直交変換又は周波数変換することによ り、 生徒となる生徒データを生成する生成ステップと、
前記教師データのプロックである教師ブロックのうちの注目している注目教師 ブロックの教師データを復号するための予測演算に用いる前記生徒データを、 少 なくとも、 その注目教師ブロック以外の教師ブロックに対応する、 前記生徒デ一 夕のプロックである生徒プロックから抽出し、 予測夕ップとして出力する予測夕 ヅプ抽出ステヅプと、
前記夕ップ係数及び予測夕ップを用いて予測演算を行うことにより得られる前 記教師デ一夕の予測値の予測誤差が、 統計的に最小になるように学習を行い、 前 記夕ップ係数を求める学習ステップと
を備えるプログラムが記録されていることを特徴とする記録媒体。
1 2 6 . 第 1デ一夕から抽出した予測夕ップと所定の夕ップ係数とを用いて予 測演算を行うことにより第 2デ一夕を得るときの、 前記予測演算に用いる前記予 測夕ップとする前記第 1データの抽出パターンを学習するデータ処理装置であつ て、
前記抽出パターンの学習用の前記第 1デ一夕及び第 2データを用いて、 所定の 位置にある前記第 2デ一夕に対して所定の位置関係にある前記第 1デ一夕と、 前 記所定の位置にある前記第 2デ一夕との相関を、 前記所定の位置関係ごとに求め る相関演算手段と、
前記相関に基づいて、 前記第 2データを得るための前記予測演算に用いる前記 予測夕ップとする前記第 1データの抽出パターンを設定する設定手段と
を備えることを特徴とするデータ処理装置。
1 2 7 . 前記相関演算手段は、 所定の位置にある前記第 2データと所定の位置 関係にある前記第 1データと、 前記所定の位置にある前記第 2デ一夕との統計的 な相関を求めることを特徴とする請求の範囲第 1 2 6項に記載のデータ処理装置 c 1 2 8 . 前記設定手段は、 前記相関が大きい位置関係にある前記第 1デ一夕の 位置パターンを、 前記抽出パターンとして設定する
ことを特徴どする請求の範囲第 1 2 6項に記載のデータ処理装置。
1 2 9 . 前記設定手段は、 前記相関が所定の閾値以上となる位置関係にある前 記第 1データの位置パターンを、 前記抽出パターンとして設定することを特徴と する請求の範囲第 1 2 6項に記載のデータ処理装置。
1 3 0 . 前記設定手段は、 前記相関が所定の順位以内になる位置関係にある前 記第 1デ一夕の位置データを、 前記抽出パターンとして設定することを特徴とす る請求の範囲第 1 2 6項に記載のデータ処理装置。
1 3 1 . 第 1デ一夕から抽出した予測夕ップと所定の夕ップ係数とを用いて予 測演算を行うことにより第 2デ一夕を得るときの、 前記予測演算に用いる前記予 測夕ップとする前記第 1デ一夕の抽出パターンを学習するデータ処理方法であつ て、
前記抽出パターンの学習用の前記第 1データ及び第 2デ一夕を用いて、 所定の 位置にある前記第 2データに対して所定の位置関係にある前記第 1データと、 前 記所定の位置にある前記第 2デ一夕との相関を、 前記所定の位置関係ごとに求め る相関演算ステップと、
前記相関に基づいて、 前記第 2デ一夕を得るための前記予測演算に用いる前記 予測夕ップとする前記第 1デ一夕の抽出パターンを設定する設定ステップと を備えることを特徴とするデータ処理方法。
1 3 2 . 第 1データから抽出した予測夕ップと所定のタップ係数とを用いて予 測演算を行うことにより第 2データを得るときの、 前記予測演算に用いる前記予 測夕ップとする前記第 1デ一夕の抽出パターンを学習するデータ処理を、 コンビ ユー夕に行わせるプログラムが記録されている記録媒体であって、
前記抽出パターンの学習用の前記第 1データ及び第 2デ一夕を用いて、 所定の 位置にある前記第 2データに対して所定の位置関係にある前記第 1データと、 前 記所定の位置にある前記第 2デ一夕との相関を、 前記所定の位置関係ごとに求め る相関演算ステップと、
前記相関に基づいて、 第 2デ一夕を得るための前記予測演算に用いる前記予測 夕ップとする前記第 1データの抽出パターンを設定する設定ステツプと
を備えるプログラムが記録されていることを特徴とする記録媒体。
PCT/JP2001/003873 2000-05-09 2001-05-09 Data processing device and data processing method, and recorded medium WO2001086820A1 (en)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US10/030,591 US7035471B2 (en) 2000-05-09 2001-05-09 Data processing device and data processing method and recorded medium
EP01930004A EP1282236B1 (en) 2000-05-09 2001-05-09 Data processing device and data processing method, and recorded medium
US11/348,720 US7206452B2 (en) 2000-05-09 2006-02-07 Data processing apparatus and method and recording medium
US11/584,483 US7336829B2 (en) 2000-05-09 2006-10-20 Data processing apparatus and method and recording medium
US11/584,789 US7289671B2 (en) 2000-05-09 2006-10-20 Data processing apparatus and method and recording medium
US11/584,772 US7283678B2 (en) 2000-05-09 2006-10-20 Data processing apparatus and method and recording medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000135356A JP4517448B2 (ja) 2000-05-09 2000-05-09 データ処理装置およびデータ処理方法、並びに記録媒体
JP2000-135357 2000-05-09
JP2000135357A JP4752088B2 (ja) 2000-05-09 2000-05-09 データ処理装置およびデータ処理方法、並びに記録媒体
JP2000-135356 2000-05-09

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US10030591 A-371-Of-International 2001-05-09
US11/584,789 Division US7289671B2 (en) 2000-05-09 2006-10-20 Data processing apparatus and method and recording medium
US11/584,483 Division US7336829B2 (en) 2000-05-09 2006-10-20 Data processing apparatus and method and recording medium

Publications (1)

Publication Number Publication Date
WO2001086820A1 true WO2001086820A1 (en) 2001-11-15

Family

ID=26591513

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2001/003873 WO2001086820A1 (en) 2000-05-09 2001-05-09 Data processing device and data processing method, and recorded medium

Country Status (5)

Country Link
US (5) US7035471B2 (ja)
EP (1) EP1282236B1 (ja)
KR (1) KR100731708B1 (ja)
CN (3) CN100568739C (ja)
WO (1) WO2001086820A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100819623B1 (ko) * 2000-08-09 2008-04-04 소니 가부시끼 가이샤 음성 데이터의 처리 장치 및 처리 방법
US7729558B2 (en) 2002-11-20 2010-06-01 Sony Corporation Image signal, processing device and processing method, coefficient data generation device and generation method used for the same, program for executing the methods and computer readable medium containing the program

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100568739C (zh) * 2000-05-09 2009-12-09 索尼公司 数据处理装置和方法
US7283961B2 (en) 2000-08-09 2007-10-16 Sony Corporation High-quality speech synthesis device and method by classification and prediction processing of synthesized sound
CA2470346C (en) * 2002-01-07 2012-05-01 British Telecommunications Public Limited Company Method and apparatus for extracting pixel values
EP2899977A1 (en) 2002-01-31 2015-07-29 Samsung Electronics Co., Ltd Filtering method and apparatus for reducing block artifacts or ringing noise
US7302107B2 (en) * 2003-12-23 2007-11-27 Lexmark International, Inc. JPEG encoding for document images using pixel classification
US7574055B2 (en) * 2004-09-07 2009-08-11 Lexmark International, Inc. Encoding documents using pixel classification-based preprocessing and JPEG encoding
JP4725127B2 (ja) * 2005-02-16 2011-07-13 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
JP4775756B2 (ja) * 2005-03-18 2011-09-21 富士ゼロックス株式会社 復号化装置及びそのプログラム
JP2007195117A (ja) * 2006-01-23 2007-08-02 Toshiba Corp 動画像復号装置
JP4123299B1 (ja) * 2007-02-21 2008-07-23 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US8594176B2 (en) * 2007-03-06 2013-11-26 Microsoft Corporation Streaming media codec with transform coefficient bounding
TWI389039B (zh) * 2007-12-14 2013-03-11 Mstar Semiconductor Inc 解調變模組、使用此解調變模組的射頻識別處理模組以及相關方法
JP4656452B2 (ja) * 2008-05-20 2011-03-23 ソニー株式会社 画像信号処理装置および画像信号処理方法、予測係数生成装置および予測係数生成処理方法、並びに各方法をコンピュータに実行させるためのプログラム
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US20120114036A1 (en) * 2010-11-10 2012-05-10 Hong Kong Applied Science and Technology Research Institute Company Limited Method and Apparatus for Multiview Video Coding
JP5741076B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
WO2016172394A1 (en) * 2015-04-21 2016-10-27 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
KR102174777B1 (ko) * 2018-01-23 2020-11-06 주식회사 날비컴퍼니 이미지의 품질 향상을 위하여 이미지를 처리하는 방법 및 장치
EP4000272A4 (en) * 2019-11-20 2022-11-09 Samsung Electronics Co., Ltd. APPARATUS AND METHOD FOR USING AI METADATA ASSOCIATED WITH IMAGE QUALITY

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06152432A (ja) * 1992-11-13 1994-05-31 Sony Corp 高能率符号化及び／又は復号化装置
JPH08307835A (ja) * 1995-05-10 1996-11-22 Sony Corp クラス分類適応処理装置および方法
JPH08322041A (ja) * 1995-05-25 1996-12-03 Sony Corp ブロック歪み除去装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03104439A (ja) * 1989-09-19 1991-05-01 Nec Corp データ伝送方式
US5828907A (en) * 1992-06-30 1998-10-27 Discovision Associates Token-based adaptive video processing arrangement
JP3912558B2 (ja) * 1996-07-17 2007-05-09 ソニー株式会社 画像符号化装置および画像符号化方法、並びに記録媒体
JP3864400B2 (ja) * 1996-10-04 2006-12-27 ソニー株式会社 画像処理装置および画像処理方法
IL125866A (en) * 1996-12-26 2003-01-12 Sony Corp Method and device for compressing an original picture signal to a compressed picture signal and for decoding a compressed picture signal to an original picture signal
JP2856185B2 (ja) * 1997-01-21 1999-02-10 日本電気株式会社 音声符号化復号化システム
JPH10336668A (ja) * 1997-06-02 1998-12-18 Sharp Corp 動きベクトル検出装置
IL128423A (en) * 1997-06-16 2003-07-31 Sony Corp Image processing device and method, and transmission medium, tramsmission method and image format
JP3787823B2 (ja) * 1997-07-31 2006-06-21 ソニー株式会社 画像処理装置および画像処理方法
WO2000016260A1 (fr) * 1998-09-11 2000-03-23 Sony Corporation Processeur de donnees et procede de conversion de sequences de donnees
DE69931597T2 (de) * 1998-09-18 2007-05-24 Sony Corp. Vorrichtung und verfahren zur datenumsetzung sowie entsprechender aufzeichnungsträger
JP4143877B2 (ja) * 1998-10-20 2008-09-03 ソニー株式会社 画像データ変換装置及び画像データ変換方法
US6658155B1 (en) * 1999-03-25 2003-12-02 Sony Corporation Encoding apparatus
JP4224748B2 (ja) * 1999-09-13 2009-02-18 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
CN100568739C (zh) * 2000-05-09 2009-12-09 索尼公司 数据处理装置和方法
US7082220B2 (en) * 2001-01-25 2006-07-25 Sony Corporation Data processing apparatus
WO2002078355A1 (en) * 2001-03-23 2002-10-03 Nokia Corporation Variable length coding
BRPI0304545B1 (pt) * 2002-01-14 2018-07-03 Nokia Technologies Oy Método de codificação das imagens em uma seqüência de vídeo digital para fornecer os dados de vídeo codificados, codificador de vídeo, método de decodificação dos dados indicativos de uma sequência de vídeo digital, decodificador de vídeo, e, sistema de codificação de vídeo
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06152432A (ja) * 1992-11-13 1994-05-31 Sony Corp 高能率符号化及び／又は復号化装置
JPH08307835A (ja) * 1995-05-10 1996-11-22 Sony Corp クラス分類適応処理装置および方法
JPH08322041A (ja) * 1995-05-25 1996-12-03 Sony Corp ブロック歪み除去装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100819623B1 (ko) * 2000-08-09 2008-04-04 소니 가부시끼 가이샤 음성 데이터의 처리 장치 및 처리 방법
US7729558B2 (en) 2002-11-20 2010-06-01 Sony Corporation Image signal, processing device and processing method, coefficient data generation device and generation method used for the same, program for executing the methods and computer readable medium containing the program

Also Published As

Publication number Publication date
EP1282236A1 (en) 2003-02-05
EP1282236B1 (en) 2012-10-03
CN1578159B (zh) 2010-05-26
US7283678B2 (en) 2007-10-16
US20070058873A1 (en) 2007-03-15
KR100731708B1 (ko) 2007-06-25
KR20020030078A (ko) 2002-04-22
US20070036449A1 (en) 2007-02-15
CN100568739C (zh) 2009-12-09
US7206452B2 (en) 2007-04-17
EP1282236A4 (en) 2009-07-08
US20060126953A1 (en) 2006-06-15
US7289671B2 (en) 2007-10-30
US7336829B2 (en) 2008-02-26
CN1578158A (zh) 2005-02-09
CN1578159A (zh) 2005-02-09
US7035471B2 (en) 2006-04-25
US20020186888A1 (en) 2002-12-12
US20070036450A1 (en) 2007-02-15
CN1389019A (zh) 2003-01-01
CN1169303C (zh) 2004-09-29

Similar Documents

Publication Publication Date Title
WO2001086820A1 (en) Data processing device and data processing method, and recorded medium
JP5957559B2 (ja) 大きいサイズの変換単位を用いた映像符号化、復号化方法及び装置
JPH09182084A (ja) 動画像符号化装置および動画像復号化装置
Philips et al. State-of-the-art techniques for lossless compression of 3D medical image sets
EP1355428A1 (en) Data processing apparatus
JP4517448B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4752088B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4538698B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4147789B2 (ja) 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP4678454B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4538699B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
WO2019198519A1 (ja) データ処理装置及びデータ処理方法
WO2019131161A1 (ja) 符号化装置、符号化方法、復号装置、及び、復号方法
JP2002010256A (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP2001345707A (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4154647B2 (ja) データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
JP2002335405A (ja) 画像データ処理装置および方法、記録媒体、並びにプログラム
Motta Optimization methods for data compression
Shiwani A PREDICTIVE CODING METHOD FOR LOSSLESS COMPRESSION OF IMAGES
JP2003513563A (ja) デジタルビデオ及び画像用の改善された縦続圧縮方法及びシステム
JP2001231049A (ja) 動画像復号化装置および動画像復号化方法

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

WWE Wipo information: entry into national phase

Ref document number: 1020027000250

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2001930004

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 018019870

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 1020027000250

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 10030591

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2001930004

Country of ref document: EP