WO1998030028A1 - Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium - Google Patents

Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium Download PDF

Info

Publication number
WO1998030028A1
WO1998030028A1 PCT/JP1997/004913 JP9704913W WO9830028A1 WO 1998030028 A1 WO1998030028 A1 WO 1998030028A1 JP 9704913 W JP9704913 W JP 9704913W WO 9830028 A1 WO9830028 A1 WO 9830028A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
image signal
pixel
pixels
unit
Prior art date
Application number
PCT/JP1997/004913
Other languages
English (en)
French (fr)
Inventor
Tetsujiro Kondo
Kenji Takahashi
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to IL12586697A priority Critical patent/IL125866A/xx
Priority to EP97950443A priority patent/EP0891101B1/en
Priority to DE69712880T priority patent/DE69712880T2/de
Publication of WO1998030028A1 publication Critical patent/WO1998030028A1/ja
Priority to US09/136,148 priority patent/US6160845A/en
Priority to US09/562,197 priority patent/US6339615B1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Definitions

  • the present invention relates to an image encoding device, an image encoding method, an image decoding device, an image decoding method, and recording.
  • the present invention relates to an image encoding apparatus, an image encoding method, an image decoding apparatus, an image decoding method, and a recording medium for querying and compressing an image so as to obtain almost the same decoded image as the original image.
  • a standard-resolution or low-resolution image hereinafter, appropriately referred to as an SD image
  • HD image high-resolution image
  • the interpolation (compensation) of the pixel values of the missing pixels is performed by a so-called interpolation filter or the like.
  • an image conversion device image conversion circuit for converting an SD image into an HD image including high-frequency components not included therein. Has been proposed earlier.
  • a prediction value E [y] of a pixel value y of a pixel constituting an HD image (hereinafter, referred to as an HD pixel as appropriate) is converted to pixels of some SD pixels (pixels constituting the SD image).
  • Value hereinafter referred to as training data, as appropriate.
  • the predicted value E [y] can be expressed by Equation 1.
  • Equation 1 a matrix W consisting of a set of prediction coefficients w is represented by Equation 2
  • a matrix X consisting of a set of training data is represented by Equation 3
  • a set of predicted values E [y] is represented by
  • Equation 5 we apply the least squares method to this observation equation to obtain a predicted value E [y] close to the pixel value y of HD diploid.
  • a matrix Y consisting of a set of true pixel values y of IID pixels serving as teacher data is expressed by Equation 6.
  • Equation 7 From Equation 5, a residual equation such as Equation 8 holds.
  • the prediction coefficient w for obtaining the prediction value E [y] close to the pixel value y of the HD pixel, can be obtained by minimizing the square error shown in Expression 9.
  • Equation 9 Therefore, when the value obtained by differentiating the square error shown in Equation 9 above with the prediction coefficient Wi is 0, that is, the prediction coefficient wi that satisfies Equation 10 is a prediction value close to the pixel value y of the IID pixel. This is the optimal value for finding E [y].
  • Equation 12 Given the relationship between the learning data x, the prediction coefficient w, the teacher data y, and the residual e in the residual equation of Equation 8, the following equation is obtained from Equation 12. Can be obtained.
  • Equation 1 3 The normal equations in Equation 13 can be constructed by the same number as the number of prediction coefficients w to be obtained. Therefore, solving Equation 13 (however, in order to solve Equation 13 In Equation 13, the matrix composed of the coefficients related to the prediction coefficient w needs to be non-singular), and the optimum prediction coefficient w can be obtained. In solving Equation 13, for example, a sweeping method (GaussJrdan elimination method) can be applied. As described above, the optimal set of prediction coefficients w is obtained, and the set of prediction coefficients w is used. The adaptive processing is to find the predicted value E [y] that is close to the above (However, the set of prediction coefficients w is determined in advance, and the prediction value is calculated from the set of prediction coefficients w. Shall be included).
  • a sweeping method GasJrdan elimination method
  • the adaptive processing differs from the interpolation processing in that components not included in the SD image but included in the HD image are reproduced. That is, the adaptive processing is the same as the interpolation processing using a so-called interpolation filter as far as only Equation 1 is observed, but the prediction coefficient w corresponding to the tap coefficient of the interpolation filter is obtained by converting the teacher data y It is possible to reproduce the components contained in both HD images, as it is obtained by learning, so to speak. That is, a high-resolution image can be easily obtained. From this, it can be said that the adaptive processing has a so-called image creation action.
  • FIG. 22 shows an example of the configuration of an image conversion apparatus that converts an SD image into an HD image by the above-described adaptive processing based on the image features (classes).
  • the SD image is supplied to a classifying circuit 101 and a delay circuit 102.
  • the SD pixels constituting the SD image are sequentially set as pixels of interest.
  • the target pixel is classified into a predetermined class.
  • the class classification circuit 101 collects some SD pixels around the target pixel to form a block (hereinafter, appropriately referred to as a processing block), and processes the block. For example, a value assigned in advance to the pattern of the pixel values of all the SD pixels is supplied to the address terminal (AD) of the coefficient ROM 104 as the class of the pixel of interest.
  • AD address terminal
  • the classifying circuit 101 has, for example, a dotted line in FIG. As shown by the rectangle, a processing block consisting of 5 ⁇ 5 SD pixels centered on the pixel of interest (indicated by ⁇ in the figure) is extracted from the SD image, and these 25 SD pixels are extracted. The value corresponding to the pixel value pattern is output as the class of the pixel of interest.
  • the number of bits the number of such bit is allocated, the number of patterns of image pixel value of the SD pixel of the 2 5, (2 8 ) The number becomes 25, which is an enormous number, making it difficult to speed up subsequent processing.
  • ADRC Adaptive Dynamic Range Coding
  • the ADRC processing for setting the pixel value to K bits in this manner is hereinafter referred to as K-bit ADRC processing as appropriate.
  • the coefficient ROM 104 stores a set of prediction coefficients obtained by learning in advance for each class. When a class is supplied from the class classification circuit 101, the coefficient corresponds to the class. The set of prediction coefficients stored in the address to be read is read and supplied to the prediction operation circuit 105.
  • the delay circuit 1-0 2 the timing at which the set of prediction coefficients is supplied from the coefficient ROM 104 to the prediction operation circuit 105, and the prediction tap generation circuit 10 3 described later.
  • the SD image is delayed by a time necessary to match the timing at which the prediction tap is supplied from the SD card, and is supplied to the prediction tap generation circuit 103.
  • the prediction tap generation circuit 103 extracts, from the SD image supplied thereto, SD pixels used for obtaining a prediction value of a predetermined HD pixel in the prediction calculation circuit 105, and this is used as a prediction tap. It is supplied to the prediction calculation circuit 105. That is, in the prediction tap generation circuit 103, for example, the same processing block as that extracted in the class classification circuit 101 is extracted from the SD image, and the SD pixels constituting the processing block are used as prediction taps. Then, it is supplied to the prediction operation circuit 105.
  • the prediction operation circuit 105 uses the prediction coefficients w, w 2 ,... From the coefficient ROM 104 and the prediction taps XX 2 ,.
  • the predicted value E [y] of the target pixel y is obtained, and this is output as the pixel value of the HD pixel. That is, here, for example, the prediction value of the 3X HD pixel (indicated by a dot in the figure) centered on the pixel of interest, which is surrounded by a solid square in FIG. 23, is obtained from one prediction tap.
  • the prediction operation circuit 105 performs the operation of Expression 1 on these nine HD pixels. Therefore, in coefficient ROM104, 9 sets of prediction coefficients are stored in the address corresponding to the class of 1.
  • FIG. 24 illustrates a configuration example of a learning device that performs a learning process of calculating a set of prediction coefficients for each class to be stored in the coefficient ROM 104 of FIG.
  • An HD image to be used as teacher data y in learning is supplied to the thinning circuit 111 and the delay circuit 114.
  • the HD image is, for example, The number is reduced by being decimated, and the SD image is thereby obtained.
  • This SD image is supplied to the class classification circuit 112 and the prediction tap generation circuit 113.
  • the same processing as in the class classification circuit 101 or the prediction tap generation circuit 103 of FIG. 22 is performed.
  • a class or prediction tap is output, respectively.
  • the class output from the classification circuit 1 1.2 is supplied to the prediction tap memory ⁇ 15 and the address terminal (AD) of the teacher data memory 116, and the prediction tap output from the prediction tap generation circuit 113 is output. Is supplied to the prediction tap memory].
  • the prediction tap supplied from the prediction tap generation circuit 113 is stored in the address corresponding to the class supplied from the class classification circuit 112.
  • the HD image is delayed only by the time when the class corresponding to the pixel of interest is supplied from the class classification circuit 112 to the teacher data memory 116, and the prediction tap In contrast, only the pixel values of the HD pixels having the positional relationship shown in FIG. 23 are supplied to the teacher data memory 116 as the teacher data.
  • the teacher data memory 116 the teacher data supplied from the delay circuit 114 is stored in the address corresponding to the class supplied from the class classification circuit 112.
  • the same address in the prediction tap memory 1 15 or the teacher data memory 1.16 is indicated by an SD pixel indicated by a triangle in FIG. SD pixels or IID pixels having the same positional relationship as HD pixels are stored as learning data X or teacher data y.
  • prediction tap memory 1 15 and the teacher data memory 1 16 are capable of storing a plurality of pieces of information in the same address, whereby the same address is assigned to the same address.
  • a plurality of learning data X and teacher data y classified into classes can be stored.
  • the arithmetic circuit 1 17 outputs the prediction tap memory 1 15 or the teacher data.
  • the prediction taps as learning data or the HD pixel values as teacher data stored at the same address from memory 1 16 and use them to calculate the least squares method.
  • the setting power of the prediction coefficient for each class obtained by the arithmetic circuit 1 17; is stored in the address corresponding to the class in the coefficient R ⁇ M 104 in FIG. I have.
  • the image conversion apparatus shown in FIG. 22 from the SD image obtained by reducing the number of pixels of the IIDI plane image, for example, as described above, high-frequency components that are not included in the SD image are also obtained.
  • the present applicant has previously proposed compression (encoding) of an image using adaptive processing in order to obtain a decoded image having a quality closer to the original HD image (for example, Japanese Patent Application 8—2 0 6 5 5 2).
  • Fig. 25 shows an image coding apparatus that compresses (encodes) an HD image into an optimal SD image so that a decoded image closer to the original HD image can be obtained by adaptive processing.
  • 2 shows a configuration example.
  • the HD image to be encoded is supplied to the thinning unit 122 and the error calculation unit 43.
  • the HD image is converted into an SD image by simply thinning it out, for example, and supplied to the correction unit 41.
  • the correction unit 41 Upon receiving the SD image from the query unit 121, the correction unit 41 first outputs the SD image to the local decoding unit 122 as it is.
  • the local decoding section 122 is configured, for example, in the same manner as the image conversion apparatus shown in FIG. 22, and performs the above-described adaptive processing using the SD image from the correction section 41.
  • the prediction value of the IID pixel is calculated and output to the error calculation unit 43.
  • the error calculation unit 43 calculates a prediction error (error information) of the prediction value of the HD pixel from the local decoding unit 122 with respect to the original HD pixel, and outputs it to the control unit 44.
  • the control unit 44 controls the correction unit 41 according to the prediction error from the error calculation unit 43.
  • the correction unit 41 corrects the pixel value of the SD image from the thinning unit 121 under the control of the control unit 44, and outputs the corrected pixel value to the local decoding unit 122.
  • the predicted value of the HD image is calculated again using the corrected SD image supplied from the correcting unit 41.
  • the same processing is repeated until the prediction error output from the error calculation unit 43 becomes equal to or less than a predetermined value.
  • the control unit 44 controls the correction unit 41, whereby the corrected SD image when the prediction error is equal to or less than a predetermined value is regarded as the optimal encoding result of the 110 image. And output.
  • the SD image output from the image encoding device in FIG. 25 can be said to be the most suitable for obtaining a decoded image closer to the original HD image.
  • the processing performed by the system composed of the correction unit 41, the local decoding unit 122, the error calculation unit 4: 3, and the control unit 44 of the device can be called optimization processing.
  • the adaptive processing is to construct a prediction tap with SD pixels around the IID pixel, and to use the prediction tap to calculate the prediction value of the HD pixel. Pixels were to be selected independently of the image.
  • the prediction tap generation circuit 1 () 3 of the image conversion device of FIG. 22 and the local decode unit 122 of FIG. 25 configured similarly to this image conversion device always have a fixed pattern. A prediction tap was generated (formed).
  • the image often has locally different characteristics, and therefore, if the characteristics are different, it is better to perform adaptive processing using the corresponding prediction tap, and the decoded image is closer to the image quality of the original HD image. It is thought that it can be obtained. Disclosure of the invention The present invention has been made in view of such a situation, and an object of the present invention is to obtain a decoded image with improved image quality.
  • An image encoding apparatus that encodes an image signal according to the present invention includes a compression unit that generates a compressed image signal having a smaller number of pixels than the original image signal, and one of the pixels that form the compressed image signal.
  • a first forming unit that forms predicted pixels of a plurality of patterns using neighboring pixels of the pixel of interest for each of the pixels of interest, each of the predicted pixels of the plurality of patterns, a predetermined prediction coefficient,
  • a first prediction unit that predicts an original image signal from the original image signal and outputs predicted values for predicted pixels of the plurality of patterns, respectively, and prediction errors of the predicted values for predicted pixels of the plurality of patterns with respect to the original image signal
  • the first calculation unit that calculates the pixel value, and adds the pattern code corresponding to the predicted pixel that gives the minimum prediction error to the I-plane element value of the pixel of interest among the predicted pixels of multiple patterns Parts .
  • An image encoding method for encoding an image signal includes: a compression step of generating a compressed image signal having a smaller number of images than the number of pixels of an original image signal; and one of pixels constituting the compressed image signal.
  • a first calculation step of calculating the prediction error for the pixel, and obtaining the minimum prediction error among the prediction pixels of the plurality of patterns. And adding a pattern code corresponding to the predicted pixel to be added to the pixel value of the target pixel.
  • An image decoding apparatus that decodes a compressed image signal into an original image signal corresponds to a receiving unit that receives a compressed image signal, and a pattern code added to a pixel value of a target pixel of the compressed image signal.
  • the image forming apparatus includes a forming unit that forms a predicted image of a pattern, and a prediction unit that predicts an original image signal from predicted pixels formed by the forming unit and a predetermined prediction coefficient, and outputs an original image signal.
  • An image decoding method for decoding a compressed image signal into an original image signal includes a receiving step of receiving a compressed image signal, and a pattern code added to a pixel value of a pixel of interest of the compressed image signal. And a prediction step of predicting an original image signal from the predicted pixels formed in the forming step and a predetermined prediction coefficient, and outputting an original image signal. .
  • the recording medium records a compressed image signal that can be decoded by the image decoding device.
  • the compressed image signal includes a compression step of generating a compressed image signal having a smaller number of pixels than the number of pixels of the original image signal, and a target pixel which is one of the pixels constituting the compressed image signal.
  • FIG. 1 is a block diagram showing a configuration of an embodiment of an image processing apparatus to which the present invention is applied.
  • FIG. 2 is a block diagram illustrating a configuration example of the transmission device 1 of FIG.
  • FIG. 3 is a block diagram showing an example of a functional configuration of the transmitting device 1 of FIG.
  • FIG. 4 is a flowchart for explaining the operation of the transmitting apparatus 1 of FIG.
  • FIG. 5 is a block diagram illustrating a configuration example of the preprocessing unit 21 in FIG.
  • FIG. 6 is a diagram for explaining the processing of the query circuit 31 of FIG.
  • FIG. 7 is a diagram illustrating a configuration example of a prediction tap.
  • FIG. 8 is a diagram illustrating a configuration example of a prediction tap.
  • FIG. 9 is a diagram illustrating a configuration example of a prediction tap.
  • FIG. 10 is a diagram illustrating a configuration example of a prediction tap.
  • FIG. 11 is a flowchart for explaining the processing of the pre-processing unit 21 of FIG.
  • FIG. 12 is a flowchart for explaining the process of step S11 in FIG. 11 in more detail.
  • FIGS. 13A and 13B are diagrams showing a configuration example of a class tap for performing class classification.
  • FIG. 14 is a block diagram illustrating a configuration example of the optimization unit 23 of FIG.
  • FIG. 15 is a flowchart for explaining the processing of the optimization unit 23 of FIG.
  • FIG. 16 is a diagram for explaining the processing in step S33 of FIG.
  • FIG. 17 is a block diagram showing a configuration example of the adaptive processing section 24 of FIG.
  • FIG. 18 is a flowchart for explaining the processing of the adaptive processing section 24 of FIG.
  • FIG. 19 is a block diagram illustrating a configuration example of the prediction tap pattern determination unit 26 of FIG.
  • FIG. 20 is a flowchart for explaining the process of the prediction tap pattern determination unit 26 of FIG.
  • FIG. 21 is a block diagram illustrating a configuration example of the receiving device 4 of FIG.
  • FIG. 22 is a block diagram showing a configuration example of the image conversion device proposed earlier by the present applicant.
  • FIG. 23 is a diagram for explaining the processing of the class classification circuit 101 of FIG.
  • FIG. 24 is a block diagram showing a configuration example of the learning device proposed earlier by the present applicant.
  • FIG. 25 is a block diagram showing a configuration example of the image encoding device proposed by the present applicant earlier.
  • FIG. 26 is a block diagram illustrating an example of a partial configuration of the class classification adaptive processing (“P measurement coefficient, predicted value calculation”) circuit 33.
  • FIG. 27 is a block diagram showing an example of the configuration of another part of the class classification adaptive processing (calculation of prediction coefficients and prediction values) circuit 33.
  • FIG. 28 is a block diagram showing an example of the configuration of the classification adaptive processing circuits 42 B and 74.
  • BEST MODE FOR CARRYING OUT THE INVENTION embodiments of an image encoding device, an image encoding method, an image decoding device, an image decoding method, and a recording medium according to the present invention will be described with reference to the drawings. .
  • FIG. 1 shows a configuration of an embodiment of an image processing apparatus to which the present invention is applied.
  • the transmitting device 1 is supplied with image data of a digitized HD image.
  • the transmission device 1 compresses and encodes the thinned image data (by reducing the number of pixels), and converts the resulting SD image data into HD image encoded data, for example.
  • the data is recorded on a recording medium 2 such as an optical disk, a magneto-optical disk, a magnetic tape, or the like, or transmitted, for example, via a terrestrial wave, a satellite line, a telephone line, a CATV network, or another transmission path 3.
  • the encoded data recorded on the recording medium 2 is reproduced, or the encoded data transmitted through the transmission path 3 is received, and the encoded data is decompressed and decoded.
  • the resulting decoded HD image is supplied to a display (not shown) for display.
  • the image processing apparatus as described above is, for example, an optical disk device, a magneto-optical disk device, a magnetic tape device, or another device for recording / reproducing an image, or, for example, a videophone device, a television Transmission of images via i ⁇ system, CATV system, etc. It is applied to the device. Further, as described later, since the amount of encoded data output from the transmitting device 1 is small, the image processing device in FIG. 1 has a low transmission rate, for example, a mobile phone or other portable mobile device. It is also applicable to terminals and the like.
  • FIG. 2 shows a configuration example of the transmission device 1.
  • the I / F (Interface) 11 performs a process of receiving image data of an HD image supplied from the outside and a process of transmitting encoded data to a transmitter / recording device 16.
  • ROM Read Only Memory
  • RAM Random Access Memory 13 is stored in the external storage device 15 It stores system programs (OS (operating system)) and application programs, and also stores data necessary for the operation of CPU (Central Processing Unit) 14.
  • CPU 14 According to the IPL program stored in the ROM 12, the system program and the application program are loaded from the external storage device 15 to the RAM 3, and the application program is executed under the control of the system program.
  • the external storage device 15 is, for example, a magnetic disk device or the like. As described above, in addition to storing the system program application program executed by the CPU 14, it also stores data necessary for the operation of the CPU 14. Reference numeral 6 indicates that the encoded data supplied from the IZF 11 is recorded on the recording medium 2 or transmitted through the transmission path 3.
  • the IZF 11, ROM 1, RAM I 3, CPU 14, and external storage device 15 are connected to each other via a bus. Further, in FIG. 2, the transmission device 1 has a configuration using the CPU 14, but it may be configured with a hard-wired logic circuit. In the transmission device 1 configured as described above, when the image data of the HD image is supplied to the I / F 11, the image data is supplied to the CPU 14.
  • the CPU 14 encodes the image data, and supplies the resulting SD image to the IZF 11 as encoded data.
  • the I / F 11 Upon receiving the encoded data, the I / F 11 supplies the encoded data to the transmitter ⁇ and the recording device 16.
  • the transmitter ⁇ recording device 16 converts the encoded data from the IZF 11 into Is recorded on the recording medium 2 or transmitted through the transmission path 3.
  • FIG. 3 is a functional block diagram of a portion of the transmitting device 1 of FIG. 2 except for the transmitting device and the recording device 16.
  • the HD image as image data to be encoded is supplied to a pre-processing unit 21, an optimization unit 23, an adaptive processing unit 24, and a prediction tap pattern determination unit 26.
  • the pre-processing unit 21 performs pre-processing described below on the HD image supplied thereto, for example, in units of one frame (or one field), and obtains an SD image or a plurality of patterns of the resulting image.
  • a set of prediction coefficients w for each class for each prediction tap is supplied to the terminal a of the switch 22 or 25, respectively.
  • An SD image output from the preprocessing unit 21 or the predicted tap pattern determination unit 26 is supplied to the terminal a or b of the switch 22, respectively.
  • the switch 22 The terminal a is selected only when the image is pre-processed and the SD image is output, and otherwise the terminal b is selected, and the pre-processing unit 21 or the prediction tap pattern determination unit 26 The SD image output by the is supplied to the optimization unit 23.
  • the optimizing unit 23 performs the optimizing process described with reference to FIG. 25 on the SD image supplied from the switch 22, and outputs the optimal SD image obtained as a result to the adaptive processing unit 25.
  • the prediction tap pattern determination unit 26 and the multiplexing unit 27 are supplied.
  • the adaptive processing unit 24 performs an adaptive process using the optimal SD image from the optimizing unit 23 and the original HD image, thereby obtaining an HD obtained by a linear combination of the pixel values of the optimal SD image.
  • a set of prediction coefficients w for each class that reduces the prediction error of the prediction value of the image is calculated for each of a plurality of patterns of prediction taps, and output to the terminal b of the switch 25.
  • the preprocessing unit 21 performs preprocessing on a certain HD image, thereby outputting a set of prediction coefficients w for each class for each of a plurality of predicted taps. Terminal a, and otherwise select terminal b, and for each class of each of the multiple patterns of prediction taps output by the pre-processing unit 21 or the adaptive processing unit 24.
  • the set of prediction coefficients w is supplied to an optimization unit 23, a prediction tap pattern determination unit 26, and a multiplexing unit 27.
  • the prediction tap pattern determination unit 26 forms a plurality of patterns of prediction taps from the optimal SD image supplied from the optimization unit 23, and performs adaptive processing using each of the plurality of prediction taps. , It is designed to calculate prediction values of a plurality of HD images.
  • the measurement tap pattern determination unit 26 determines a prediction tap of a plurality of patterns that minimizes a prediction error of prediction values of a plurality of HD images, and, in response to the determination result, optimizes the optimization unit 23.
  • a pattern code which will be described later, is added to the pixel value of the optimal SD image from, and the pixel value is supplied to the terminal of the switch 22.
  • the multiplexing unit 27 performs, for each class, a predetermined SD image supplied from the optimizing unit 23 and a plurality of patterns of prediction taps supplied via the switch 25 in a predetermined case.
  • the set of prediction coefficients w is multiplexed and the multiplexed result is output to the transmitter Z recording device 16 (FIG. 2) as encoded data.
  • the pre-processing unit 21 executes step S 1 In, preprocessing is performed on the HD image.
  • the preprocessing unit 21 configures an SD image by reducing the number of pixels of the HD image and compressing the image, and sequentially sets each of the SD pixels constituting the SD image as a target pixel, and A plurality of patterns of prediction taps are formed for pixels. Further, the preprocessing unit 21 obtains a set of prediction coefficients w for each class by setting and solving the normal equation shown in Equation 13 for each of the plurality of patterns of prediction taps. Then, the preprocessing unit 21 uses the prediction taps of a plurality of patterns and the set of prediction coefficients w of each class obtained for each of the prediction taps and sets the prediction coefficients of a predetermined class as shown in Equation 1.
  • the prediction values of a plurality of HD images obtained from each of the prediction taps of the plurality of patterns are obtained. Further, the preprocessing unit 21 detects a prediction tap of the plurality of patterns that minimizes a prediction error of a prediction value of a plurality of IID images and associates the prediction tap with a pattern of the prediction tap in advance. For example, a tap pattern code that is a 2-bit code is added to the SD pixel that is the target pixel and output. As described above, the SD image to which the tap pattern code has been added is placed at the terminal a of the switch 22 and the class of each of the plurality of predicted taps obtained by solving the normal equation. The set of prediction coefficients w for each is output to terminal a of switch 25, respectively.
  • the switches 22 and 25 are configured to output the set of prediction coefficients w for each class from the preprocessing unit 21 for each of the SD image and the prediction taps of the plurality of patterns, as described above.
  • the terminal a is selected. Therefore, the SD image output from the preprocessing unit 21 is supplied to the optimization unit 23 via the switch 22, and the SD image is output from the preprocessing unit 2.
  • the set of prediction coefficients w for each class for each of the plurality of prediction taps output by 1 is output to the optimization unit 23 and the prediction tap pattern determination unit 26 via the switch 25. .
  • the optimization unit 23 Upon receiving the set of prediction coefficients w for each class for each of the SD image and the prediction taps of the plurality of patterns, the optimization unit 23 performs an optimization process using them in step S2. . That is, the optimization unit 23 performs an adaptive process using the set of prediction coefficients w for each class for each of the SD image and the prediction taps of the plurality of patterns, and predicts the prediction value of the IID image obtained as a result. To reduce the error, Correct the pixel value of the SD image. Then, the resulting optimal SD image is supplied to the adaptive processing unit 24 and the predicted tap pattern determination unit 26.
  • the adaptive processing unit 24 Upon receiving the optimal SD image from the optimizing unit 23, the adaptive processing unit 24 performs an adaptive process in step S3 to reduce the prediction error of the predicted value of the HD image obtained using the optimal SD image.
  • a set of prediction coefficients w for each class is calculated for each of a plurality of predicted taps. That is, the adaptive processing unit 24 sequentially sets each of the SD pixels constituting the optimal SD image as a target pixel, and forms a prediction tap for each target pixel. Note that, at this time, a prediction tap having a pattern corresponding to the tap pattern code added to the target pixel is formed.
  • the adaptive processing unit 24 forms a normal formula from the prediction taps and solves the formula to thereby obtain a formula for each of the prediction taps of the plurality of patterns. Find a set of prediction coefficients w. A set of prediction coefficients w for each class for each of these plural patterns of prediction taps is supplied to the terminal b of the switch 25.
  • step S4 in which both the switches 22 and 25 are switched from the terminal a to the terminal b, whereby each of the prediction taps of the plurality of patterns obtained in the adaptive processing unit 24 is The set power of the prediction coefficient w for each class is supplied to the optimization unit 2 and the prediction tap pattern determination unit 26 via the switch 25.
  • the predictive tap pattern determining unit 26 receives the optimal SD image from the optimizing unit 23, and further, receives a plurality of patterns from the adaptive processing unit 24.
  • the optimal prediction tap of the prediction tap formed using each SD pixel constituting the optimal SD image as the pixel of interest is determined. The pattern is determined.
  • the prediction tap pattern determination unit 26 sequentially sets each of the SD pixels forming the optimal SD image as a target pixel, and forms a prediction tap of a plurality of patterns for each target pixel. Further, for each of the plurality of predicted taps, the prediction tap pattern determination unit 26 calculates, from the set of prediction coefficients w for each class corresponding to the prediction tap from the adaptive processing unit 24, Using a set of prediction coefficients w of a given class, the linear linear expression shown in Equation 1 is calculated to obtain prediction values of a plurality of HD images obtained from each of the prediction taps of the plurality of patterns. .
  • the prediction tap pattern determination unit 26 detects, from among the plurality of patterns of prediction taps, one that minimizes the prediction error of the prediction values of the plurality of HD images, and selects a tap pattern code corresponding to the prediction tap.
  • the tap pattern code already added to the SD pixel that is the target pixel is changed. That is, in this case, since a tap pattern code has already been added to the SD pixel, a tap pattern code of a prediction tap that minimizes the prediction error is applied instead.
  • the SD image in which the tab pattern code has been changed is output to the terminal b of the switch 22.
  • Switch 22 is switched in step S4, and terminal b is selected, so that the SD image output from predictive tap pattern determination section 26 is transmitted through switch 22 to optimization section 2 Supplied to 3. / 3 ⁇ 4-optimization department 2 3
  • step S6 an optimization process is performed as in step S2, whereby an optimal SD image is output.
  • the optimizing unit 23 performs the adaptive processing as described in step S2, and this adaptive processing is supplied from the adaptive processing unit 24 via the switch 25. This is performed using a set of prediction coefficients w for each class for each of a plurality of patterns of prediction taps.
  • the optimal SD image output from the optimizing unit 23 is supplied to the adaptive processing unit 24 and the prediction tap pattern determining unit 26, and the adaptive processing unit 24 executes the processing in step S7 and the processing in step S3.
  • the adaptive processing is performed using the optimal SD image output from the optimizing unit 23, whereby a set of prediction coefficients w for each class for each of the prediction tabs of a plurality of patterns is obtained.
  • the signal is output to the optimizing unit 23 and the predicted tap pattern determining unit 26 via 25.
  • step S8 it is determined whether the processes of steps S5 to S8 have been performed a predetermined number of times. If it is determined in step S8 that the processes in steps S5 to S8 have not been performed a predetermined number of times, the process returns to step S5, and the above processes are repeated. Also, in step S8, when it is determined that the processes of steps S5 to S8 have been performed a predetermined specified number of times, the process proceeds to step S9, and the multiplexing unit 27 performs the process in the previous process of step S6.
  • the optimal SD image output by the optimizing unit 23 is multiplexed with a set of prediction coefficients w for each class for each of a plurality of prediction taps used at that time, and output as encoded data. To end the process.
  • step S8 it is determined whether or not the processes of steps S5 to S8 have been performed a predetermined number of times. However, in step S8, for example, the optimization at that time is performed. It is determined whether the sum of the absolute value of the prediction error of the prediction value of the HD image obtained by performing the adaptive processing using the optimal SD image output from the unit 23 for one frame is equal to or less than a predetermined threshold value. It is also possible to make a determination and proceed to step S9 if it is less than the threshold, and to return to step S5 if it is not less than the threshold. In other words, the processing in steps S5 to S8 is performed by using the optimal SD image and performing the adaptive processing to obtain the prediction error of the prediction value of the HD image obtained by performing the adaptive processing. It is possible to repeat until it becomes less than the threshold.
  • FIG. 5 illustrates a configuration example of the preprocessing unit 21 in FIG.
  • the HD image to be encoded is supplied to a decimation circuit 31, a class classification adaptive processing (calculation of prediction coefficients and prediction values) circuit 3: 3, and a prediction error calculation circuit: 34.
  • the thinning circuit 31 reduces the number of pixels of the HD image, for example, by interrogating the image, forms an SD image, and supplies the SD image to the prediction tap generating circuit 32 and the tap pattern code adding circuit 36. ing. That is, the thinning circuit 31 divides, for example, an HD image into square blocks each having 9 pixels of 3 ⁇ 3 pixels in the horizontal and vertical directions, and calculates an average value of the 9 pixels in each block.
  • An SD image is configured as the pixel value of the central pixel.
  • the interrogation circuit 31 for example, an SD image composed of SD pixels represented by a triangle in FIG. 6 is constructed from an HD image composed of HD pixels represented by a circle in FIG.
  • the thinning circuit 31 may be configured to extract only the pixel at the center of the above-described block to form an SD image.
  • the prediction tap generation circuit 32 sequentially sets each SD pixel (the portion indicated by a ⁇ in FIG. 6) constituting the SD image from the thinning circuit 31 as an attention pixel, and for each attention pixel, Multiple prediction taps are configured. That is, in the present embodiment, for example, as shown in FIGS. 7 to 10, 4 ⁇ 3 ⁇ 3 pixels, 5 ⁇ 3 pixels, 3 ⁇ 5 pixels, or 7 ⁇ 5 pixels centering on the pixel of interest. A prediction tap of the pattern is formed. These four patterns of prediction taps are supplied to a classification adaptive processing (calculation of prediction coefficients and prediction values) circuit 33.
  • Classification adaptive processing (prediction coefficient, prediction value calculation) circuit 33 classifies each of the four patterns of prediction taps supplied from prediction tap generation circuit 32, and further performs HD classification for each class.
  • a set of prediction coefficients w for each class for each of the four prediction taps is obtained by solving the normal equation shown in Equation 13 using the image.
  • the class classification adaptive processing (calculation of prediction coefficient and prediction value) circuit 33 includes a prediction coefficient w of a predetermined class out of a set of prediction coefficients w for each class for each of the obtained four patterns of prediction taps.
  • a set of prediction coefficients w for each class obtained for each of the four prediction taps is supplied to the memory 35. It is being done.
  • the normal equation is, for example, independent of the measurement tap pattern, for example.
  • the prediction value of 3X, ⁇ HD pixels centering on the SD pixel that is the target pixel is calculated. Therefore, a set of prediction coefficients w for each class for each of the four prediction taps for generating a prediction value of 3 ⁇ 3 ⁇ D pixels is obtained.
  • the detailed configuration of the class classification adaptive processing (prediction coefficient, measurement value calculation) circuit 33 will be described later.
  • the prediction error calculation circuit 34 calculates the prediction error of the prediction value of the HD image obtained from each of the four prediction taps with respect to the pixel value of the original HD image for each pixel of interest. .
  • the prediction error calculation circuit 34 detects a prediction tap (the sum of squares of the differences) having the smallest prediction error among the four prediction taps.
  • a 2-bit tap pattern code corresponding to the pattern of the prediction tap having the smallest prediction error is output to the memory 35 and the tap pattern code adding circuit 36.
  • Memory 35 is used for class classification adaptive processing (calculation of prediction coefficients and measured values) A set of prediction coefficients w for each class obtained for each of the four patterns of prediction taps supplied from the path 33 is temporarily stored.
  • the memory 35 stores the prediction taps of the four patterns.
  • the set of prediction coefficients w for each class obtained for each is read out and output to the terminal a of the switch 25.
  • the tap pattern code adding circuit 36 adds the tap pattern code supplied from the prediction error calculating circuit 34 to the SD image supplied thereto.
  • the tap pattern code addition circuit 36 is configured to determine the pixel value (for example, composed of 8 bits) of the SD pixel serving as the target pixel on the LSB (Least Significant Bit) side. 2 bits are removed, and a 2-bit tap pattern code is placed there. The SD image to which the tap pattern code is added in the tap pattern code addition circuit 36 is output to the terminal a of the switch 22.
  • this class classification adaptive processing (prediction coefficient, prediction value calculation) circuit 3 3 is for each predicted power strips of four patterns, the classification adaptive processing (prediction coefficient and prediction value calculation) have a circuit are doing. That is, the class classification adaptive processing (calculation of prediction coefficients and predicted values) circuit 33 has four independent class classification adaptive processing circuits for four patterns of prediction taps.
  • FIGS. 26 and 27 show this one class classification adaptive processing circuit. Note that the four classification adaptive processing circuits have the same configuration except that four different prediction taps are supplied. Therefore, one class classification adaptive processing circuit will be described, and the others will be omitted.
  • the classification adaptive processing circuit shown in FIG. 26 includes a classification circuit 112, a delay circuit 114, a predictive tap memory 115, a teacher data memory 116, and an arithmetic circuit 117.
  • the class classification adaptive processing circuit shown in FIG. 27 includes a class classification circuit 201, a coefficient R ⁇ ⁇ 204, and a prediction operation Circuit 205 is provided.
  • each circuit constituting a part of the class classification adaptive processing circuit shown in FIG. 26 is a classifier circuit 112 and a delay circuit 111 of the learning device shown in FIG. ,
  • the prediction tap is supplied from the prediction tap generation circuit 32, the prediction tap is supplied to the delay circuit 118 instead of the prediction tap generation circuit 113 shown in FIG.
  • the delay circuit 118 similarly to the delay circuit 114, the prediction tap is delayed by the time when the class for the pixel of interest is supplied from the class classification circuit 112 to the prediction tap memory. It is stored in the prediction tap memory 1 15.
  • the prediction coefficients for each class are set by the same operation as the learning device in FIG. Generate a list.
  • the generated set of prediction coefficients for each class is stored in the coefficient RAM 204 of FIG. 27, and is also supplied to the memory 35 of the preprocessing unit 21 of FIG. 5 and stored.
  • four patterns of prediction Since the set of prediction coefficients for each class for each tap is generated by an independent circuit, the set of prediction coefficients for each class for each of the four patterns of prediction taps is the coefficient RAM20 in Fig. 27. 4 as well as being supplied to and stored in the memory 35 of the preprocessing unit 21 in FIG.
  • the class classification circuit 201 classifies the class. Information is provided to the coefficients RAM 204.
  • the coefficient RAM 204 outputs a set of prediction coefficients corresponding to the supplied class information and supplies it to the prediction calculation circuit 205.
  • the prediction calculation circuit 205 obtains prediction values of a plurality of HD images by calculating the supplied prediction taps, the set of prediction coefficients, and the linear linear expression shown in Equation (1). Note that each circuit constituting a part of the class classification adaptive processing circuit shown in FIG. 27 operates as follows after the set of prediction coefficients for each class is stored in the coefficient RAM 204. It performs the same operations as the class classification circuit 101, coefficient ROM 104, and prediction calculation circuit 105 of the image conversion device of FIG.
  • class classification circuit 112 and the class classification circuit 201 have the same configuration, and therefore may be configured as a single configuration.
  • the HD image When an HD image to be coded is input to the preprocessing unit 21, the HD image is subjected to a decimation circuit 31, a classification adaptive processing (calculation of prediction coefficients and prediction values) circuit 33, and a prediction error calculation circuit 3 Upon receiving the HD image, the interrogation circuit 31 supplied to the The number of pixels is thinned out to form an SD image.
  • step S11 the HD image is divided into, for example, 3 ⁇ 3 pixel HD image blocks. Proceed to S22.
  • the HD image includes, for example, a luminance signal Y and color difference signals U and V.
  • a block of the luminance signal and a block of the color difference signal are configured. It has been made like that.
  • one of the blocks is determined to be a target block, and the average value of the pixel values of the 3 ⁇ 3 HD pixels constituting the target block is calculated. Further, in step S22, the average value is determined as the pixel value of the pixel at the center of the block of interest (SD pixel), and the process proceeds to step S23.
  • step S23 it is determined whether or not the target block is a luminance signal block. If it is determined in step S23 that the block is the block of the target block power S luminance signal, the process proceeds to step S24, and the pixel value of the pixel at the center of the block of interest as the SD pixel ( Here, in order to add a 2-bit power tap pattern code on the LSB side of the luminance signal), for example, it is cleared to 0, and the process proceeds to step S25. If it is determined that the block is not a signal block, that is, if the block of interest is a block of a color difference signal, step S24 is skipped and the process proceeds to step S25.
  • a plurality of prediction taps are prepared only for the luminance signal, and a fixed —A prediction tap is used. Therefore, the tap pattern code is added only for the luminance signal, and the tap pattern code is not added for the chrominance signal, so that the LSB side 2 bits are not cleared. It has been done.
  • step S25 it is determined whether or not all the blocks configured in step S21 have been processed as a block of interest, and it is determined that all blocks have not yet been processed as a block of interest. In this case, the process returns to step S22, and a block that has not been set as the target block is set as a new target block, and the same processing is repeated. If it is determined in step S25 that all blocks have been processed as the block of interest, that is, if an SD image is formed, the process returns.
  • step S 11 the SD image constructed as described above is supplied from the thinning circuit 31 to the prediction tap generation circuit 32 and the tap pattern code addition circuit 36.
  • the prediction tap generation circuit 32 receives the SD image from the thinning circuit 31, in step S 12, one of the SD pixels constituting it is set as a target pixel, and the prediction tap generation circuit 32
  • the four-pattern prediction taps shown in FIGS. 7 to 10 are formed (generated) and supplied to the class classification adaptive processing (prediction coefficient and prediction value calculation) circuit 33.
  • each of the four patterns of prediction taps (in the case of a luminance signal) supplied from the prediction tap generation circuit 32 is subjected to class classification by the respective classification adaptive processing circuits.
  • the following taps for class classification (hereinafter, appropriately referred to as class taps) are configured, and the class classification is performed. It has been made.
  • any of the four prediction taps for example, as shown by the dotted line in FIG. 13A, five SD pixels in the diamond-shaped range centered on the target pixel Constitutes a cluster. Then, the difference between the maximum value and the minimum value of the pixel values of the five pixels is defined as a dynamic range DR, and the three pixels arranged vertically in the class tap are determined using the dynamic range DR. (Three pixels that are flf in solid lines in Figure 13A) are subjected to 1-bit ADRC processing. Then, a pattern obtained by adding a tap code corresponding to the prediction tap to the pixel value pattern of the three pixels is set as the class of the pixel of interest.
  • a class tap is constituted by nine SD pixels in a square range centered on the target pixel. Then, the difference between the maximum value and the minimum value of the pixel values of the nine pixels is defined as a dynamic range DR. Five SD pixels (5 pixels surrounded by a solid line in Fig. 13B) in a diamond-shaped range centered on the eye pixel are subjected to 1-bit ADRC processing. Then, the pattern of the pixel values of the five pixels is set as the class of the target pixel.
  • Classification adaptive processing (calculation of prediction coefficient and prediction value)
  • circuit 33 After the class of the pixel of interest is determined as described above, prediction is performed for each of the four prediction taps for each class. Using the taps and the HD image, the normal equation of Equation 13 is established, and by solving the equation, a set of prediction coefficients w for each class for each of the four prediction taps is obtained. The set of prediction coefficients w for each class for each of the four prediction taps obtained by using each of the four prediction taps is supplied to the memory 35. It is memorized.
  • the class classification adaptive processing (prediction coefficient, prediction value calculation) circuit 33 sets a prediction coefficient w for each class for each of the four prediction taps obtained using the four prediction taps. From each of the four prediction taps and each of the four prediction taps, the linear expression shown in Equation 1 is calculated to obtain the predicted value of the HD image obtained from each of the four prediction taps. And outputs it to the prediction error calculation circuit 34.
  • step S 14 the prediction error calculation circuit 34 receives the 4 bits supplied from the class classification adaptive processing (calculation of prediction coefficients and prediction values) circuit 33.
  • the prediction error of the prediction value of the HD image for each prediction tap of the turn with respect to the pixel value of the original HD image is obtained. That is, for each of the four pattern prediction taps, the sum of squares of the difference between the prediction value of the nine pixels of the HD image and the pixel value of the pixel of the original HD image is obtained as, for example, a prediction error.
  • the process proceeds to step S15, and a prediction tap with a minimum prediction error is detected for the target pixel.
  • the tap pattern code corresponding to the predicted tap is output to the tap pattern code addition circuit 36.
  • step S16 the tap pattern code adding circuit 36 sets the pixel value of the pixel of interest among the SD pixels constituting the SD image from the thinning circuit 31 (however, in this embodiment, the luminance signal Only) the two LSB bits are output as tap pattern codes.
  • step S17 it is determined whether or not a tap pattern code has been added to all SD pixels. If it is determined that the tap pattern code has not been added to all SD pixels, Returning to step S12, one of the SD pixels to which no tap code is added is set as a new target pixel, and the same processing is repeated. On the other hand, if it is determined in step S17 that the tap pattern code has been added to all the SD pixels, the memory 35 stores in step S18 a class-by-class for each of the four prediction taps. A set of prediction coefficients w is output, and the process ends.
  • the pre-processing unit 21 generates the SD pixels constituting the SD image output by the thinning circuit 31 (here, as described above, the average value of the 3 ⁇ 3 HD pixels is used as the pixel value). Pixels) Then, the tap pattern code of the prediction tap that minimizes the prediction error is temporarily added, as it were.
  • FIG. 14 shows a configuration example of the optimization unit 23 of FIG. Note that, in the figure, the same reference numerals are given to portions configured basically in the same manner as in FIG. 25. That is, the optimizing unit 23 has no thinning unit 121, and a low-power decoding unit 42 is provided in place of the mouth decoding unit 122. It is configured in the same way as the image encoding device of the present invention.
  • the local decoding unit 42 is composed of- ⁇ , a tap generation circuit 42 2, and a class classification adaptive processing circuit 42B, in which an SD image is supplied from the correction unit 41.
  • the prediction tap generation circuit 42A forms (generates) a prediction tap corresponding to the tap pattern code arranged on the LSB side of the SD pixel of the SD image supplied from the correction unit 41, It is supplied to the classification adaptive processing circuit 42B.
  • a set of prediction coefficients w for each class for each of the SD pixels for class classification and the four types of prediction taps is supplied to the class classification adaptive processing circuit 42. I have.
  • the class classification adaptive processing circuit 42 classifies the target pixel forming the prediction tap into a class using the SD pixel for class classification as described with reference to FIG. 13 and predicts the prediction coefficient corresponding to the class. From the set of w and the prediction tap, the linear linear equation shown in Equation 1 is calculated, and the center of the SD pixel that is the pixel of interest shown in the dotted line in Figure 6 The prediction value of the pixel value of the X3 HD pixel is calculated. This predicted value is supplied to the error calculator 43.
  • the class classification adaptive processing circuit 42B shown in FIG. 28 will be described.
  • the class classification adaptive processing circuit 42B shown in FIG. 28 includes a class classification circuit 201, a coefficient RAM 204, and a prediction operation circuit 205.
  • This class classification adaptive processing circuit 42B is the same as a part of one of the class classification adaptive processing circuits 33 of the class classification adaptive processing (calculation of prediction coefficients and predicted values) circuit 33 shown in FIG. It is a configuration, and the same parts are denoted by the same reference numerals, and the description of the configuration is omitted.
  • the optimizing unit 23 Upon receiving the SD 1H image, the optimizing unit 23 sets one of the SD pixels constituting the SD image as a target pixel, and in step S31, corrects the pixel value of the target pixel. Is initialized to, for example, 0. Also, in step S31, for example, 4 or 1 is set as an initial value to a variable S representing a change amount (hereinafter, appropriately referred to as an offset amount) for changing the correction amount.
  • a variable S representing a change amount (hereinafter, appropriately referred to as an offset amount) for changing the correction amount.
  • step S31 a variable i for counting the number of times of correction of the target pixel is set to 1 as an initial value, and the process proceeds to step S32.
  • step S32 the value is incremented by the number i1, and Proceeding to step S33, when the adaptive processing is performed using the correction value obtained by correcting the pixel value of the target pixel by the correction amount ⁇ , the prediction error E of the prediction value of the HD pixel affected by the correction is calculated. Is done.
  • the correction unit 41 adds, for example, the correction amount ⁇ to the pixel value of the target pixel, and outputs the added value as the pixel value of the target pixel to the local decoding unit 42 .
  • the correction unit 41 outputs the surface element value of the pixel of interest as it is.
  • the prediction tap is formed in the prediction tap generation circuit 42A in accordance with the tap pattern code arranged in the two LSB bits of the pixel value of the target pixel.
  • the adaptive processing circuit 42B are output to the adaptive processing circuit 42B.
  • the class classification adaptive processing circuit 42B first, the target pixel is classified in the same manner as in the class classification adaptive processing (calculation of prediction coefficients and prediction values) circuit 33 in FIG. Further, the class classification adaptive processing circuit 42B calculates the linear linear equation shown in Equation 1 from the prediction coefficient corresponding to the class and the prediction tap from the prediction tap generation circuit 42A. Thus, the predicted value of the pixel value of the HD pixel is obtained.
  • the prediction value is similarly obtained for the HD pixel affected by the correction.
  • the model of the prediction tap is The widest is the case where the prediction tap is composed of 7 X 5 SD pixels as shown in Fig. 10, and thus the prediction tap is composed of 7 X 5 SD pixels.
  • the prediction tap includes SD pixel A, and the SD pixel farthest from SD pixel A is regarded as the pixel of interest if ⁇ 0 pixel 8, j, D, and E are the pixel of interest.
  • a prediction tap of 7 ⁇ 5 pixels is configured.
  • the SD pixels B, C, D, and E are set as the target pixels and a prediction tap of 7 ⁇ 5 pixels is configured, in the present embodiment, the ranges b, c, and d indicated by solid lines in FIG. , E, the f ′ measurement value of the 3 ⁇ 3 IID pixel is obtained. Therefore, if SD pixel A is taken as the pixel of interest and its pixel value is corrected, the correction will affect the worst case in the worst case, with the minimum including the ranges b, c, d, and e. This is the same as the predicted value of the 21 ⁇ 15 HD pixel in the range shown by the dotted line in FIG. 16 which is a rectangle.
  • such a predicted value of 21 ⁇ 15 HD pixels is obtained in the classification adaptive processing circuit 42B.
  • the predicted value of the HD pixel obtained by the classification adaptive processing circuit 42B is supplied to the error calculating unit 43.
  • the error calculator 4: 3 calculates the true pixel value of the corresponding HD pixel from the predicted value of the HD pixel from the class classification adaptive processing circuit 42B, and calculates the subtraction value of the prediction error, for example, Sum of squares is required. Then, this sum of squares is supplied to the control unit 44 as error information E.
  • step S34 Upon receiving the error information from the error calculation unit 43, the control unit 44 determines whether the number i is 0 in step S34. In step S34, when it is determined that the number i is 0, that is, the error information E received by the control unit 44 is obtained without correcting the pixel of interest. If so, the process proceeds to step S35, in which a variable E for storing error information obtained without correcting the target pixel (error information at the time of non-correction). The error information E is set to the error information, and the error information E is also set to the variable E ′ that stores the error information obtained last time.
  • step S35 the correction amount ⁇ is incremented by the offset amount S, and the control unit 44 corrects the pixel value of the target pixel by the correction amount ⁇ obtained thereby.
  • the correction unit 41 is controlled. Thereafter, the process returns to step S32, and the same processing is repeated thereafter.
  • step S32 the number i is incremented by 1 to become 1. Therefore, in step S34, it is determined that the number i is not 0, and the process proceeds to step S36.
  • step S36 it is determined whether the number of times i is one. In this case, the force i is 1 and the force i.
  • step S36 it is determined that the number i is 1 and the process proceeds to step S37, in which the previous error information E 'is It is determined whether it is information E or more.
  • step S37 if it is determined that the error information E 'is not greater than the previous error information E', the current error information E is corrected by correcting the pixel value of the target pixel by the correction amount ⁇ .
  • step S38 the controller 44 sets the offset amount S to Is multiplied by as the new offset amount S, and the correction amount ⁇ is incremented by twice the offset amount S, and the process returns to step S32.
  • the sign of the offset amount S is inverted.
  • the correction amount ⁇ ⁇ ⁇ which was previously S, is reduced to 1S. If it is determined in step S37 that the error information E ′ is greater than or equal to the previous error information E ′, that is, if the pixel value of the pixel of interest is corrected by the correction amount ⁇ , the current error information is obtained.
  • step S39 the control unit 44 sets the correction ⁇ to the offset amount S
  • the current difference information E ' is updated by setting the previous difference information E' to the previous difference information E ', and the process returns to step S32.
  • step S32 the number i is further incremented by 1 to 2, and in step S34 or S36, it is determined that the number i is not 0 or 1, respectively. As a result, go to step S36, force S40. In step S40, it is determined whether the number of times i is 2. Now, since the number i is 2, in step S40, it is determined that the number i is 2, and the process proceeds to step S41, where the uncorrected error information ⁇ , is It is determined whether or not the information is equal to or less than E and the offset amount S is negative.
  • step S40 when it is determined that the error information ⁇ ,,, at the time of uncorrection is less than the current error information ⁇ and the offset amount S is negative, that is, the target pixel is corrected by + S If the error increases even if only one S is corrected and the correction is not performed, the process proceeds to step S42, the correction amount ⁇ is set to 0, and the process proceeds to step S47.
  • step S40 the error information ⁇ "
  • the process proceeds to step S44, and it is determined whether the error information is equal to or more than the previous error information E 'and the current error information E. .
  • step S44 when it is determined that the error information is equal to or more than the previous error information E 'and the current error information E, that is, by correcting the pixel value of the target pixel by the correction amount ⁇ , the current error information is obtained.
  • step S45 the control unit 44 increments the correction amount ⁇ ⁇ by the offset amount S, and simultaneously executes
  • the current error information E is set in E ′ to update the value, and the process returns to step S32.
  • step S32 the number i is further incremented by 1 to become 3. Therefore, in step S34, S36, or S40, the number i is 0. , 1, or 2 not equal is determined respectively, as a result, the process proceeds from step S 4 0 to S 4 4. Therefore, in step S44, the previous error information E 'force; steps S32 to S34, S36, S40, The loop processing of S44 and S45 is repeated. Then, in step S44, if it is determined that the previous error information E 'is not more than the current error information E, that is, the pixel of interest is corrected by the correction amount ⁇ .
  • step S46 If the current error information E is larger than the previous error information E 'by correcting the pixel value of, the process proceeds to step S46, and the control unit 44 sets the correction amount ⁇ to the offset amount. Decrement only S, and proceed to step S47. That is, in this case, the correction amount ⁇ is set to a value before the error increases.
  • step S47 the control unit 44 controls the capturing unit 41. Accordingly, the pixel value of the pixel of interest is corrected by the correction amount ⁇ obtained in step S42 or S46, whereby the pixel value of the pixel of interest is obtained by adaptive processing to obtain a predicted value. However, it is corrected to the optimal one that minimizes the prediction error.
  • step S48 it is determined whether or not the processing has been performed with all the SD pixels as target pixels. If it is determined in step S48 that all SD pixels have been set as target pixels and processing has not been performed yet, the process returns to step S31, and SD pixels that have not yet been set as target pixels are replaced with new ones. The same process is repeated as the pixel of interest. If it is determined in step S48 that all SD pixels have been processed as the pixel of interest, the process ends.
  • the pixel value of the SD image is optimized to be the most suitable for obtaining the ⁇ ′ measurement value of the ID image.
  • FIG. 17 illustrates a configuration example of the adaptive processing unit 24 of FIG.
  • the prediction tap generation circuit 51 is supplied with the optimum SD image from the optimization unit 23, and the prediction tap generation circuit 51, as in the case of the prediction tap generation circuit 42 of FIG.
  • a tap pattern code arranged in two bits on the LSB side of the pixel value is detected, and a prediction tap is formed according to the tap pattern code, and supplied to the class classification adaptive processing circuit 52. Has been made.
  • the class classification adaptive processing circuit 52 is configured to supply not only the prediction taps but also the optimum SD image and the original HD image used for the class classification, where the attention that constitutes the prediction taps is provided. Pixel classification is performed, for example, in the same manner as described with reference to FIG. 13, and further, for each class obtained, a prediction tap and an IID image are obtained. The normal equation shown in Equation 13 is established using the equation. Then, the class classification adaptive processing circuit 52 obtains a set of prediction coefficients w for each of the four new prediction taps by solving a normal equation for each class, and outputs the set. I have. Next, the operation will be described with reference to the flowchart in FIG.
  • the prediction tap generation circuit 51 Upon receiving the optimal SD image, the prediction tap generation circuit 51 detects (extracts) the tap pattern code added to each SD pixel constituting the optimal SD pixel in step S51, and performs step S5. Proceed to 2 to form a prediction tap based on the extracted tap button code. Then, the prediction tap generation circuit 51 outputs the formed prediction tap to the classification adaptive processing circuit 52. In step S53, the class classification adaptive processing circuit 52 classifies the pixel of interest constituting the prediction tap, and for each class obtained as a result, forms a normal equation using the prediction tap and the HD image. Then, the prediction coefficient w is obtained and output, and the processing ends.
  • the adaptive processing unit 24 sets a set of prediction coefficients w for each of the four prediction taps that minimize the prediction error in order to obtain the original HD image from the optimal SD image. Desired.
  • the set of prediction coefficients w for each of these four patterns of prediction taps is supplied to the optimization unit 23 and the prediction tap pattern determination unit 26, and the adaptive processing (expression) 1).
  • the prediction tap generation circuit 51 is configured in the same manner as the prediction tap generation circuit 32 of the preprocessing unit 21 in FIG. In other words, the pixel value The tap pattern code located in the two bits on the LSB side is detected, and instead of configuring the prediction taps according to the tap pattern code, all four prediction taps are configured and the classification classification adaptive processing is performed.
  • the classification adaptive processing circuit 52 includes a classification adaptive processing circuit (for a luminance signal) for calculating four prediction coefficients corresponding to four prediction taps, respectively.
  • Each of the processing circuits has the same configuration as a part of one of the class classification adaptive processing circuits 33 of the class classification adaptive processing (calculation of prediction coefficients and predicted values) circuit 33 shown in FIG.
  • the prediction tap of each pattern for each HD image and the optimal SD pixel for class classification are supplied to each class classification adaptive processing circuit, and the respective class classification is performed. Then, in each class classification adaptive processing circuit, one frame of HD pixels and a prediction tap for the HD pixel are stored in the teacher data memory and the prediction tap memory for each class. After that, in each of the class classification adaptive processing circuits, a new set of prediction coefficients for each class is generated for four patterns of prediction taps by the same operation as the operation of the learning device in FIG. .
  • FIG. 19 shows a configuration example of the predicted tap pattern determination unit 26 of FIG.
  • the prediction tap pattern determination unit 26 includes a prediction tap generation circuit 61, a class classification adaptive processing circuit 62, a prediction error calculation circuit 63, and a tap pattern code change circuit 64.
  • the prediction tap generation circuit 61, the classification adaptive processing circuit 62, the prediction error calculation circuit 63, or the tap pattern code changing circuit 64 Basically, the prediction tap generation circuit 32 of the preprocessing unit 21 in FIG. 5, the class classification adaptive processing (calculation of prediction coefficients and prediction values) circuit 3 and the prediction error calculation circuit 34 or the tap pattern code addition circuit 36 It is configured similarly.
  • the prediction tap pattern determination unit 26 is supplied with an optimal SD image, a set of prediction coefficients w for each class for each of the four prediction taps, and an HD image. Is supplied to a prediction tap generation circuit 61 and a tap pattern code change circuit 64, and a set of prediction coefficients w for each of the four prediction taps or an HD image is classified into a class. It is supplied to the adaptive processing circuit 62 or the prediction error calculation circuit 63, respectively.
  • the prediction tap generation circuit 61 receives the optimal SD image, in step S61, as in the case of the prediction tap generation circuit 32 in FIG. , The four pattern prediction taps shown in FIGS. 7 to 10 are formed. Then, these four patterns of prediction taps are output to the classification adaptive processing circuit 6.
  • the classification adaptive processing circuit 62 receives, in step S62, each of the four patterns of prediction taps and the corresponding prediction coefficient for each class. Using each of the sets of w, a linear linear expression expressed by Equation 1 is calculated, whereby the predicted value of the I-plane element of the HD image obtained from each of the four prediction taps is calculated. Output to the prediction error calculation circuit 63 Is forced.
  • step S63 or S64 the same processing is performed as in step S14 or S15 in FIG. 11 performed by the prediction error calculation circuit 34 in FIG. As a result, the tap pattern code of the four prediction taps that minimizes the prediction error is output to the tap pattern code change circuit 64.
  • step S65 the tap pattern code change circuit 64 predicts the tap pattern code added to the two LSB bits of the pixel of interest (the SDI plane of the appropriate SD image) in step S65.
  • the tap pattern code is changed to the tap pattern code supplied from the error calculation circuit 63, and the process proceeds to step S66.
  • step S66 it is determined whether or not the processing has been performed with all the SI] pixels as the target pixel. If it is determined that all the SD pixels have not been set as the target pixel, step S61 Then, the same process is repeated with the SD pixel not set as the target pixel newly set as the target pixel. On the other hand, if it is determined in step S66 that all the SD pixels have been processed as the pixel of interest, the processing ends.
  • the prediction tap pattern determination unit 26 uses the set of prediction coefficients w for each of the four prediction taps obtained by the adaptive processing unit 24 to determine the tap pattern.
  • the code is changed to one corresponding to the prediction tap where the prediction error is smaller.
  • FIG. 21 shows a configuration example of the receiving device 4 of FIG.
  • the encoded data recorded on the recording medium 2 is reproduced, or the encoded data is transmitted via the transmission path 3.
  • the data is received and supplied to the separation unit 72.
  • the separation unit 72 separates the coded data power, a set of prediction coefficients w for each class for each of the image data of the SD image and the four prediction taps, and generates prediction taps for the image data of the SD image.
  • the set of prediction coefficients for each class for each of the four patterns of prediction taps, which is supplied to the circuit 73, is supplied to the classification adaptive processing circuit 74.
  • the prediction tap generation circuit 73 or the class classification adaptation processing circuit 74 is a prediction tap generation circuit 42 or a class classification adaptation which constitutes the local decoding part 42 of the optimization part 23 shown in FIG.
  • the configuration is the same as that of the processing circuit 42B (FIG. 27). Therefore, a prediction value of the HD image is obtained in the same manner as in the case of the local decoding unit 42, and this is output as a decoded image.
  • This decoded image is substantially the same as the original image, as described above.
  • a device that decodes the queried image by simple interpolation should perform normal interpolation without using prediction coefficients.
  • the decoded image obtained in this case has deteriorated image quality (resolution).
  • one of the pixels constituting an SD image obtained by compressing an HD image is set as a pixel of interest, and a plurality of patterns of prediction taps are formed for the pixel of interest to perform prediction.
  • an adaptive process for obtaining a prediction value of the HD image is performed, and a prediction error of a prediction value obtained from each of the prediction taps of the plurality of patterns is calculated.
  • the tap pattern code corresponding to the one that gives the minimum prediction error is Since the value is added to the value, adaptive processing is performed using prediction taps corresponding to the local characteristics of the image, and as a result, a decoded image with higher image quality can be obtained.
  • the optimization unit 23 optimizes the SD image by performing adaptive processing using the prediction tap that minimizes the error, so that almost the same decoded image can be obtained from the original HD image. Is possible.
  • the adaptive processing unit 24 performs adaptive processing using the optimal SD image, updates the set of prediction coefficients for each class for each of the prediction tabs of the plurality of patterns to a more appropriate one, so to speak, and performs prediction. in other Ppupatan determination unit 2 6, and have use a set of prediction coefficients for each class for each of the prediction power strips of a plurality of patterns that are the updated. Thus again determined prediction taps, further improvement in image quality It is possible to obtain a decoded image.
  • the present invention is applicable to a case where a standard resolution image such as an SD image is encoded / decoded. Is also applicable. That is, for example, the present invention is also applicable to a case where a standard television signal such as the NTSC system is encoded and Z-decoded. However, the present invention is particularly effective for encoding and Z-decoding a so-called high-vision television signal having a large data amount. In addition, the present invention It is also applicable to the case where so-called hierarchical coding is performed.
  • a plurality of patterns of prediction taps are prepared only for a luminance signal, and only a 5 ⁇ 7 pixel prediction tap is used for a color difference signal. It can be processed in the same way as.
  • the tap pattern code has two bits, but the tap pattern code is not limited to two bits. However, it is desirable that the number of bits be smaller.
  • the tap pattern code is arranged instead of the two LSB bits of the pixel value, but the tap pattern code may be recorded or transmitted separately from the pixel value. It is possible. Also, in the present embodiment, the prediction coefficients are updated using the optimal SD image pre-processed by the pre-processing unit 21 and optimized by the optimization unit 23, and the prediction coefficients are updated again using the prediction coefficients. Although the tap pattern code is determined again, the optimal SD image that has been pre-processed by the pre-processing unit 21 and optimized by the optimizing unit 23 can be directly used as encoded data. In this case, the image quality (SZN) of the decoded image is slightly degraded as compared with the case where the tap pattern code is determined again, but it is possible to increase the processing speed.
  • SZN image quality
  • the present embodiment four prediction taps of 3 ⁇ 3, 5 ⁇ 3, 3 ⁇ 5, and 7 ⁇ 5 pixels are used, but other than this, for example, 1 ⁇ 5 or 5 ⁇ 5 pixels 1. It is also possible to use prediction taps such as pixels. Also, the pattern of the prediction tap is not limited to four types. Further, although not specifically mentioned in the present embodiment, after a tap pattern code is added to a pixel value, a value obtained by setting two bits on the LSB side to which the tap pattern code is added to a predetermined value is used. It may be processed as a pixel value, or may be processed as a pixel value including a tap pattern code.
  • the SZN is smaller than when the tap pattern code portion is set to 0 as a predetermined value.
  • the correction value ⁇ ⁇ at which the prediction error E is first minimized is detected by correcting the pixel value of the target pixel by 4 or 1 each as an offset amount S.
  • the prediction error E is obtained for all possible values of the pixel value of the target pixel, the minimum value is detected, and the pixel value of the target pixel is corrected by the correction amount ⁇ in that case. It is also possible to do so. In this case, processing takes time, but a decoded image with a higher SZN can be obtained.
  • the initial value of the pixel value of the target pixel is determined by what value (however, the pixel value of the target pixel is (A value within the range that can be obtained). That is, in this case, the correction value ⁇ ⁇ ⁇ that minimizes the prediction error E can be obtained regardless of the initial value.
  • a plurality of patterns of predicted pixels are formed using neighboring pixels of the target pixel, and an original image signal is predicted from each of the plurality of patterns of predicted pixels and a predetermined prediction coefficient.
  • the prediction values for the prediction pixels of the plurality of patterns are respectively output, and the prediction errors of the prediction values for the prediction pixels of the plurality of patterns with respect to the original image signal are calculated, and among the prediction pixels of the plurality of patterns,
  • the pattern code corresponding to the predicted pixel that gives the minimum prediction error is added to the pixel value of the target pixel. Therefore, by forming a prediction tap in accordance with the pattern code and performing decoding, a decoded image with higher image quality can be obtained.
  • a compressed image signal is received, and a predicted image of a pattern corresponding to a pattern code added to a pixel value of a target pixel of the compressed image signal is formed.
  • An original image signal is predicted from the formed prediction pixels and a predetermined prediction coefficient, and an original image signal is output. Therefore, it is possible to obtain a predicted value closer to the original image.
  • the recording medium records a compressed image signal that can be decoded by the image decoding device.
  • This compressed image signal generates a compressed image signal having a smaller number of pixels than the number of pixels of the original image signal, and a pixel in the vicinity of the pixel of interest is one of the pixels constituting the compressed image signal.
  • To form a predicted pixel of a plurality of patterns predict an original image signal from each of the predicted pixels of the plurality of patterns and a predetermined prediction coefficient, and derive a predicted value for the predicted pixel of the plurality of patterns.
  • the gist of the present invention is not limited to the examples.

Description

明細書 画像符号化装置、 画像符号化方法、 画像復号装置、 画像復号方法 及び記録媒体 技術分野 本発明は、 画像符号化装置、 画像符号化方法、 画像復号装置、 画 像復 ¾ "方法及び記録媒体に関する 特に、 原画像とほぼ同一の復^ 画像が得られるように、 画像を問引いて圧縮符号化する画像符号化 装置、 画像符 化方法、 画像復号装置、 画像復^方法及び記録媒体 に関する。 背景技術 例えば、 標準解像度又は低解像度の画像 （以下、 適宜、 S D画像 という。 ） を、 高解像度の画像 （以下、 適宜、 H D画像という。 ） に変換したり、 また、 画像を拡大したりする場合においては、 いわ ゆる補間フィルタなどによって、 不足している画素の画素値の補間 (補償） が行われようになされている。
しかしながら、 補間フィルタによって画素の補間を行っても、 S D画像に含まれていない、 H D画像の成分 （高周波成分） を復元す ることはできないため、 高解像度の画像を得ることは困難であった。 そこで、 本件出願人は、 S D画像を、 そこに含まれていない高周 波成分をも含む H D画像に変換する画像変換装置 （画像変換回路） を先に提案している。
この画像変換装置においては、 S D画像と、 所定の予測係数との 線形結合により、 HD画像の画素の予測値を求める適応処理を行う ことで、 S D画像には含まれていない高周波成分が復元されるよう になされている。
即ち、 例えば、 いま、 HD画像を構成する画素 （以下、 適宜、 H D画素という。 ） の画素値 yの予測値 E [ y ]を、 幾つかの S D画素 (S D画像を構成する画素） の画素値 （以下、 適宜、 学習データと レヽぅ。 ） X i， X · · · と、 所定の予測係数 w,， · · ' の線形 結合により規定される線形 1.次結合モデルにより求めることを考え る。 この場合、 予測値 E [y ]は、 式 1で表すことができる。
£, [y ] = W i X i + W2 X 2+ · · ·
• · ·式 1 そこで、 一般化するために、 予測係数 wの集合でなる行列 Wを式 2で、 学習データの集合でなる行列 Xを式 3で、 予測値 E [y ]の集 合でなる行列 Y' を式 4で定義すると、 式 5のよ うな観測方程式が 成立する。
AH Xl2 · Xln
Λ21 X22 · · · 2n
X：
Figure imgf000004_0001
Figure imgf000005_0001
式 3
Figure imgf000005_0002
ェ X、 4
X W= Y '
式 5 そして、 この観測方程式に最小自乗法を適用して、 HD両素の画 素値 yに近い予測値 E [y ]を求めることを考える。 この場合、 教師 データとなる II D画素の真の画素値 yの集合でなる行列 Yを式 6で. HD画素の画素値 yに対する予測値 E [y ]の残差 eの集合でなる行 列 Eを式 7で定義すると、
Figure imgf000005_0003
式 6
Figure imgf000006_0001
式 7 式 5から、 式 8のような残差方程式が成立する。
X W= Y + E
式 8 この場合、 HD画素の画素値 yに近い予測値 E [y ]を求めるため の予測係数 w,は、 式 9に示す自乗誤差を最小にすることで求めるこ とができる。
E
式 9 したがって、 上述の式 9に示す自乗誤差を予測係数 Wiで微分した ものが 0になる場合、 即ち、 式 1 0を満たす予測係数 w iが、 II D画 素の画素値 yに近い予測値 E [y ]を求めるため最適値という ことに なる。
3ei 3e2 3em λ . „ _ 、
ei—— +e2—— +· · -+em—— =0 (ι二 1， 2， ···， n)
. . · 式 l o そこで、 まず、 式 8を、 測係数 Wlで微分することにより、 式 1 1が成立する。 二 Χη， - ~ =Xi2, …， - ~ =Xin =l, 2, " ·, m)
5wi ?W2 5Wn 式 1 1 式 1 0及び式 1 1 より、 式 1 2が得られる
Figure imgf000007_0001
. . ' 式 1 2 さらに、 式 8の残差方程式における学習データ x、 予測係数 w 教師データ y、 及び残差 eの関係を考盧すると、 式 1 2から、 式 1 3のような正規方程式を得ることができる。
Figure imgf000007_0002
(
Figure imgf000007_0003
• · · 式 1 3 式 1 3の正規方程式は、 求めるべき予測係数 wの数と同じ数だけ たてることができ、 したがって、 式 1 3を解く ことで （但し、 式 1 3を解く には、 式 1 3において、 予測係数 wにかかる係数で構成さ れる行列が正則である必要がある） 、 最適な予測係数 wを求めるこ とができる。 なお、 式 1 3を解くに当たっては、 例えば、 掃き出し 法 （Gaus s-J rdanの消去法） などを適用することが可能である。 以上のようにして、 最適な予測係数 wのセッ トを求め、 さらに、 その予測係数 wのセッ トを用い、 式 1により、 H D画素の画素値 y に近い予測値 E [ y ]を求めるのが適応処理である （但し、 予め予測 係数 wのセッ トを求めておき、 その予測係数 wのセッ トから、 予測 値を求めるのも、 適応処理に含まれるものとする） 。
なお、 適応処理は、 S D画像には含まれていない、 H D画像に含 まれる成分が再現される点で、 補間処理とは異なる。 即ち、 適応処 理では、 式 1だけを見る限りは、 いわゆる補間フィルタを用いての 補間処理と同一であるが、 その補問フィルタのタップ係数に相当す る予測係数 wが、 教師データ yを用いて、 いわば学習により求めら れるため、 H D両像に含まれる成分を再現することができる。 即ち, 容易に、 高解像度の画像を得ることができる。 このことから、 適応 処理は、 いわば画像の創造作用がある処理ということができる。 図 2 2は、 画像の特徴 （クラス） に基づいた以上のような適応処 理により、 S D画像を H D画像に変換する画像変換装置の構成例を 示している。
S D画像は、 クラス分類回路 1 0 1及び遅延回路 1 0 2に供給さ れるようになされており、 クラス分類回路 1 0 1 では、 S D画像を 構成する S D画素が順次、 注目画素とされ、 その注目画素が、 所定 のク ラスにクラス分類される。
即ち、 クラス分類回路 1 0 1は、 まず最初に、 注目画素の周辺に ある S D画素を幾つか集めてブロ ックを構成し （以下、 適宜、 処理 ブロ ックという。 ） 、 その処理ブロックを構成する、 例えば全ての S D画素の画素値のパターンに予め割り当てられた値を、 注目画素 のクラスと して、 係数 R O M 1 0 4のア ド レス端子 （ A D ) に供給 する。
具体的には、 クラス分類回路 1 0 1は、 例えば、 図 2 3に点線の 四角形で囲んで示すように、 注目画素を中心とする 5 X 5の S D画 素 （同図において〇印で示す） でなる処理ブロックを、 S D画像か ら抽出し、 これらの 2 5の S D画素の画素値のパターンに対応する 値を、 注目画素のクラスと して出力する。
ここで、 各 S D画素の画素値を表すのに、 例えば、 8 ビッ トなど の多くのビッ ト数が割り当てられている場合、 2 5の S D画素の画 素値のパターン数は、 （ 28 ) 25通り という莫大な数となり、 その後の 処理の迅速化が困難となる。
そこで、 クラス分類を行う前の前処理と して、 処理ブロックには、 それを構成する S D画素のビッ ト数を低減するための処理である、 例えば A D R C (Adaptive Dynamic Range Coding) 処理などが施さ れる。
即ち、 A D R C処理では、 まず、 処理ブロ ックを構成する 2 5個 の S D画素から、 その画素値の最大のもの （以下、 適宜、 最大画素 という。 ） と最小のもの （以下、 適宜、 最小画素という。 ） とが検 出される。 そして、 最大画素の画素値 MA Xと最小画素の画素値 M I Nとの差分 D R ( = M A X -M I N) が演算され、 この D Rを処 理ブロックの局所的なダイナミ ック レンジとする。 このダイナミ ツ ク レンジ D Rに基づいて、 処理ブロックを構成する各画素値が、 元 の割当ビッ ト数より少ない Kビッ トに再量子化される。 つまり、 処 理ブロ ックを構成する各画素値から最小画素の画素値 M I Nが減算 され、 各減算値が、 D RZ 2Kで除算される。
その結果、 処理ブロックを構成する各画素値は Kビッ 卜で表現さ れるようになる。 したがって、 例えば K = 1 と した場合、 2 5個の S D画素の画素値のパターン数は、 （ 2 ') 25通りになり、 AD R C処 理を行わない場合に比較して、 パターン数を非常に少ないものとす ることができる。 なお、 画素値を、 このように Kビッ トにする A D R C処理を、 以下、 適宜、 Kビッ ト A D R C処理という。
係数 R O M 1 0 4は、 予め学習が行われることにより求められた 予測係数のセッ トを、 クラス毎に記憶しており、 クラス分類回路 1 0 1 からクラスが供給されると、 そのクラスに対応するァ ドレスに 記憶されている予測係数のセッ トを読み出し、 予測演算回路 1 0 5 に供給する。
一方、 遅延回路 1- 0 2では、 予測演^回路 1 0 5に対して、 係数 R O M 1 0 4から予測係数のセッ トが供給されるタイ ミングと、 後 述する予測タップ生成回路 1 0 3から予測タップが供給されるタイ ミングとを一致させるために必要な時間だけ、 S D画像が遅延され、 予測タップ生成回路 1 0 3に供給される。
予測タップ生成回路 1 0 3では、 そこに供給される S D画像から、 予測演算回路 1 0 5において所定の H D画素の予測値を求めるのに 用いる S D画素が抽出され、 これが予測タップと して、 予測演算回 路 1 0 5に供給される。 即ち、 予測タップ生成回路 1 0 3では、 S D画像から、 例えば、 クラス分類回路 1 0 1 で抽出されたとの同一 の処理ブロックが抽出され、 その処理ブロックを構成する S D画素 が、 予測タップと して、 予測演算回路 1 0 5に供給される。
予測演算回路 1 0 5では、 係数 R O M 1 0 4からの予測係数 w ,， w 2， · · · と、 予測タップ生成回路 1 0 3からの予測タップ X X 2， · · · とを用いて、 式 1 に示した演算、 即ち、 適応処理が行われ ることにより、 注目画素 yの予測値 E [ y ]が求められ、 これが、 H D画素の画素値と して出力される。 即ち、 ここでは、 例えば、 図 2 3において実線の四角形で囲む、 注目画素を中心とする 3 X の H D画素 （同図において · 点で示 す） の予測値が、 1 つの予測タップから求められるようになされて おり、 この場合、 予測演算回路 1 0 5では、 この 9個の H D画素に ついて、 式 1 の演算が行われる。 したがって、 係数 R O M 1 0 4で は、 1 のクラスに対応するア ドレスに、 9セッ トの予測係数のセッ 卜が記億されている。
以下同様の処理が、 その他の S D画素を注目画素と して行われ、 これにより、 S D画像が I I D画像に変換される。
次に、 図 2 4は、 図 2 2の係数 R O M 1 0 4に記憶させるクラス 毎の予測係数のセッ トを算出する学習処理を行う学習装置の構成例 を示している。
学習におけろ教師データ y となるべき H D画像が、 間引き回路 1 1 1及び遅延回路 1 1 4に供給されるようになされており、 間引き 回路 1 1 1では、 H D画像が、 例えば、 その画素数が間引かれるこ とにより少なく され、 これにより S D画像とされる。 この S D画像 は、 ク ラス分類回路 1 1 2及び予測タップ生成回路 1 1 3に供給さ れる。
クラス分類回路 1 1 2又は予測タップ生成回路 1 1 3では、 図 2 2のク ラス分類回路 1 0 1 又は予測タップ生成回路 1 0 3における 場合と同様の処理が行われ、 これにより注目画素のクラス又は予測 タップがそれぞれ出力される。 クラス分類回路 1 1. 2が出力するク ラスは、 予測タップメモリ 〗 1 5及び教師データメモリ 1 1 6のァ ドレス端子 （A D ) に供給され、 予測タップ生成回路 1 1 3が出力 する予測タップは、 予測タップメモリ ]. 1 5に供給される。 予測タップメモリ 1 1 5では、 クラス分類回路 1 1 2から供給さ れるクラスに対応するァ ドレスに、 予測タップ生成回路 1 1 3から 供給される予測タップが記憶される。
一方、 遅延回路 1 1 4では、 注目画素に対応するクラスが、 クラ ス分類回路 1 1 2から教師データメモリ 1 1 6に供給される時間だ け、 H D画像が遅延され、 そのうちの、 予測タップに対して図 2 3 に示した位置関係にある H D画素の画素値だけが、 教師データと し て、 教師データメモリ 1 1 6に供給される。
そして、 教師データメモリ 1 1 6では、 クラス分類回路 1. 1 2力、 ら供給されるクラスに対応するア ドレスに、 遅延回路 1 1 4から供 給される教師データが記憶される。
以下同様の処理が、 予め学習用に用意された全ての H D画像から 得られる S D画像を構成する全ての S D画素が注目画素とされるま で繰り返される。
以上のようにして、 予測タップメモリ 1 1 5又は教師データメモ リ 1 .1 6の同一のア ドレスには、 図 2 3において〇印で示した S D 画素又は図 2 3において · 印で示した H D画素とそれぞれ同一の位 置関係にある S D画素又は I I D画素が、 学習データ X又は教師デー タ y と して記憶される。
なお、 予測タップメモリ 1 1 5 と教師データメモリ 1 1 6におい ては、 同一ァ ドレスに複数の情報を記憶することができるようにな されており、 これにより、 同一ア ドレスには、 同一のクラスに分類 される複数の学習データ X と教師データ yを記憶することができる ようになされている。
その後、 演算回路 1 1 7は、 予測タップメモリ 1 1 5又は教師デ —タメモ リ 1 1 6から、 同一ア ドレスに記憶されている学習データ と しての予測タップ又は教師データと しての H D画素の画素値を読 み出し、 それらを用いて、 最小自乗法によって、 予測値と教師デー タとの間の誤差を最小にする予測係数のセッ 卜を算出する。 即ち、 演算回路 1 1 7では、 クラス毎に、 式 1 3に示した正規方程式がた てられ、 これを解く ことによりクラス毎の予測係数のセッ トが求め られる。
以上のようにして、 演算回路 1 1 7で求められたクラス毎の予測 係数のセッ ト力；、 図 2 2の係数 R〇 M 1 0 4における、 そのクラス に対応するァ ドレスに記憶されている。
なお、 以上のような学習処理において、 予測係数のセッ トを求め るのに必要な数の正規方程式が得られないクラスが生じる場合があ るが、 そのようなクラスについては、 例えば、 クラスを無視して正 規方程式をたてて解く ことにより得られる予測係数のセッ トなどが、 レヽわばデフォル トの予測係数のセッ 卜と して用いられる。
ところで、 図 2 2の画像変換装置によれば、 I I D I面像の画素数を 問引くなどして少なくすることにより得られる S D画像から、 上述 したように、 そこに含まれていない高周波成分をも含む H D画像を 得ることができるが、 元の H D画像に近づけるのには限界がある。 その理由と して、 H D画像の画素数を問引いただけの S D画像の画 素 （S D画素） の画素値が、 元の H D画像を復元するのに、 最適で はないことが考えられる。
そこで、 本件出願人は、 元の H D画像により近い画質の復号画像 を得ることができるようにするため、 適応処理を利用した画像の圧 縮 （符号化） について先に提案している （例えば、 特願平 8— 2 0 6 5 5 2号など） 。
即ち、 図 2 5は、 適応処理によって、 元の H D画像により近い復 号画像を得ることができるよ うに、 その H D画像を、 最適な S D画 像に圧縮 （符号化） する画像符号化装置の構成例を示している。 符号化対象の H D画像は、 間引き部 1 2 1及び誤差算出部 4 3に 供給される。
間引き部 1 2 1では、 H D画像が、 例えば、 単純に間引かれるこ とにより S D画像とされ、 補正部 4 1 に供給される。 補正部 4 1 は、 問引き部 1 2 1 から S D画像を受信すると、 最初は、 その S D画像 を、 そのままローカルデコード部 1 2 2に出力する。 ローカルデコ 一ド部 1 2 2は、 例えば、 図 2 2に示した画像変換装置と同様に構 成され、 補正部 4 1 からの S D画像を用いて、 上述したような適応 処理を行うことによ り、 I I D画素の予測値を算出し、 誤差算出部 4 3 に出力する。 誤差算出部 4 3は、 ローカルデコード部 1 2 2から の H D画素の予測値の、 元の H D画素に対する予測誤差 （誤差情 報） を算出し、 制御部 4 4に出力する。 制御部 4 4は、 誤差算出部 4 3からの予測誤差に対応して、 補正部 4 1 を制御する。
即ち、 これにより、 補正部 4 1 は、 間引き部 1 2 1からの S D画 像の画素値を、 制御部 4 4からの制御に従って補正し、 ローカルデ コード部 1 2 2に出力する。 ローカルデコ一ド部 1 2 2では、 補正 部 4 1から供給される補正後の S D画像を用いて、 再び、 H D画像 の予測値が求められる。
以下、 例えば、 誤差算出部 4 3が出力する予測誤差が、 所定値以 下となるまで、 同様の処理が繰り返される。
そして、 誤差算出部 4 3が出力する予測誤差が、 所定値以下とな ると、 制御部 4 4は、 補正部 4 1 を制御し、 これにより、 予測誤差 が所定値以下となったときの、 補正後の S D画像を、 11 0画像の最 適な符号化結果と して出力させる。
したがって、 この捕正後の S D両像によれば、 それに適応処理を 施すことにより、 予測誤差が所定値以下の H D画像を得ることがで さる。
ここで、 以 のようにして、 図 2 5の画像符号化装置から出力さ れる S D画像は、 元の H D画像により近い復号画像を得るのに最適 なものということができるから、 この画像符 化装置の補正部 4 1 、 ローカルデコ一ド部 1 2 2、 誤差算出部 4 :3、 及び制御部 4 4で構 成される系が行う処理は、 最適化処理ということができる。
ところで、 適応処理は、 いわば、 I I D画素の周辺の S D画素で予 測タップを構成し、 その予測タップを用いて、 H D画素の予測値を 求めるものであるが、 予測タップと して用いられる S D画素は、 画 像とは無関係に選択されるようになされていた。
即ち、 図 2 2の画像変換装置の予測タップ生成回路 1 () 3や、 こ の画像変換装置と同様に構成される図 2 5のローカルデコ一ド部 1 2 2では、 常に、 一定パターンの予測タップが生成 （形成） される ようになされていた。
しかしながら、 画像は、 局所的に特性が異なる場合が多く 、 した がって、 特性が異なれば、 それに対応した予測タップを用いて適応 処理をした方が、 元の H D画像の画質により近い復号画像を得るこ とができると考えられる。 発明の開示 本発明は、 このような状況に鑑みてなされたものであり、 本発明 の目的は、 より画質の向上した復号画像を得ることができるように するものである。
本発明に係る画像信号を符号化する画像符号化装置は、 原画像信 号の画素数より少ない画素数の圧縮画像信号を発生する圧縮部と、 圧縮画像信号を構成する画素のうちの 1 つである注目画素に対して、 その注目画素の近傍画素を用いて、 複数のパターンの予測画素を形 成する第 1の形成部と、 複数のパターンの予測画素のそれぞれと、 所定の予測係数とから、 原画像信号を予測し、 その複数のパターン の予測画素に対する予測値をそれぞれ出力する第 1 の予測部と、 複 数のパターンの予測画素に対する予測値のそれぞれの、 原画像信号 に対する予測誤差を算出する第 1.の算出部と、 複数のバタ一ンの予 測画素のうち、 最小の予測誤差が得られる予測画素に対応するパタ 一ンコードを注目画素の I面素値に付加する付加部とを備える。
本発明に係る画像信 を符号化する画像符号化方法は、 原画像信 号の画素数より少ない画像数の圧縮画像信号を発生する圧縮ステツ プと、 圧縮画像信号を構成する画素のうちの 1つである注目画素に 対して、 その注目画素の近傍画素を用いて、 複数のパターンの予測 画素を形成する第 1 の形成ステップと、 複数のパターンの予測画素 のそれぞれと、 所定の予測係数とから、 原画像信号を予測し、 その 複数のパターンの予測画素に対する予測値をそれぞれ出力する第 1 の予測ステップと、 複数のパターンの予測画素に対する予測値のそ れぞれの、 原画像信 ^に対する予測誤差を算出する第 1 の算出ステ ップと、 複数のパターンの予測画素のうち、 最小の予測誤差が得ら れる予測画素に対応するパターンコードを注目画素の画素値に付加 する付加ステップとを有する。
本発明に係る圧縮画像信号を元の画像信^に復号する画像復号装 置は、 圧縮画像信号を受信する受信部と、 圧縮画像信号の注目画素 の画素値に付加されたパターンコードに対応するパターンの予測画 像を形成する形成部と、 形成部で形成された予測画素と、 所定の予 測係数とから原画像信号を予測し、 原画像信^を出力する予測部と を備える。
本発明に係る圧縮画像信号を元の画像信 に復号する画像復^方 法は、 圧縮画像信号を受信する受信ステップと、 圧縮画像信号の注 目画素の画素値に付加されたパターンコ一ドに対応するパターンの 予測画素を形成する形成ステップと、 形成ステップで形成された予 測画素と、 所定の予測係数とから原画像信号を予測し、 原両像信号 を出力する予測ステップとを有する。
本発明に係る記録媒体には、 画像復号装置によって復号可能な圧 縮画像信号が記録されている。 この圧縮画像信号は、 原画像信号の 画素数より少ない画素数の圧縮画像信号を発生する圧縮ステップと、 圧縮画像信号を構成する画素のうちの 1つである注目画素に対して、 その注目画素の近傍画素を用いて、 複数のパターンの予測画素を形 成する形成ステップと、 複数のパターンの予測画素のそれぞれと、 所定の予測係数とから、 原画像信号を予測し、 その複数のパターン の予測画素に対する予測値をそれぞれ出力する予測ステップと、 複 数のパターンの予測画素に対する予測値のそれぞれの、 原画像信号 に対する予測誤差を算出する算出ステップと、 複数のパターンの予 測画素のうち、 最小の予測誤差が得られる予測画素に対応するパタ ーンコードを注目画素の画素値に付加する付加ステップとによって 形成されている。 図面の簡単な説明 図 1 は、 本発明を適用した画像処理装置の一実施の形態の構成を 示すブロック図である。
図 2は、 図 1 の送信装置 1 の構成例を示すプロック図である。 図 3は、 図 2の送信装置 1 の機能的構成例を示すプロ ック図であ る。
図 4は、 図 3の送信装置 1 の動作を説明するためのフローチヤ一 トである。
図 5は、 図 3の前処理部 2 1 の構成例を示すブロック図である。 図 6は、 図 5の問引き回路 3 1 の処理を説明するための図である。 図 7は、 予測タップの構成例を示す図である。
図 8は、 予測タップの構成例を示す図である。
図 9は、 予測タップの構成例を示す図である。
図 1 0は、 予測タップの構成例を示す図である。
図 1 1は、 図 5の前処理部 2 1の処理を説明するためのフ口一チ ヤー トである。
図 1 2は、 図 1 1のステップ S 1 1の処理のより詳細を説明する ためのフロ一チヤ一トである。
図 1 3 A， 1 3 Bは、 クラス分類を行うためのクラスタップの構 成例を示す図である。
図 1 4は、 図 3の最適化部 2 3の構成例を示すブロック図である。 図 1 5は、 図 1 4の最適化部 2 3の処理を説明するためのフロー チヤ一 トである。
図 1 6は、 図 1 5のステップ S 3 3の処理を説明するための図で ある。
図 1 7は、 図 3の適応処理部 2 4の構成例を示すブロック図であ る。
図 1 8は、 図 1 7の適応処理部 2 4の処理を説明するためのフ口 一チヤ一卜でめる。
図 1 9は、 図 3の予測タップパタ一ン判定部 2 6の構成例を示す ブロック図である。
図 2 0は、 図 1 9の予測タップパターン判定部 2 6の処理を説明 するためのフローチヤ一トである。
図 2 1 は、 図 1 の受信装置 4の構成例を示すブロック図である。 図 2 2は、 本件出願人が先に提案した画像変換装置の構成例を示 すブロック図である。
図 2 3は、 図 2 2のクラス分類回路 1 0 1の処理を説明するため の図である。
図 2 4は、 本件出願人が先に提案した学習装置の構成例を示すブ ロック図である。
図 2 5は、 本件出願人が先に提案した画像符号化装置の構成例を 示すブロ ック図である。
図 2 6は、 クラス分類適応処理 （"P測係数、 予測値算出） 回路 3 3の一部の構成の一例を示すブロック図である。
図 2 7は、 クラス分類適応処理 （予測係数、 予測値算出） 回路 3 3の他の一部の構成の一例を示すブロック図である。 図 2 8は、 クラス分類適応処理回路 4 2 B及び 7 4の構成の一例 を示すブロック図である。 発明を実施するための最良の形態 以下に、 本発明に係る画像符号化装置、 画像符号化方法、 画像復 号装置、 画像復号方法及び記録媒体の実施の形態について、 図面を 参照しながら説明する。
図 1 は、 本発明を適用した画像処理装置の 実施の形態の構成を 示している。 送信装置 1 には、 ディジタル化された H D画像の画像 データが供給されるようになされている。 送信装置 1は、 人力され た画像データを間引く こと （その画素数を少なくすること） により 圧縮、 符号化し、 その結果得られる S D画像の画像データを、 H D 画像の符号化データと して、 例えば、 光ディスクや、 光磁気デイス ク、 磁気テープその他でなる記録媒体 2に記録し、 又は、 例えば、 地上波や、 衛星回線、 電話回線、 C A T V網、 その他の伝送路 3を 介して伝送する。
受信装置 4では、 記録媒体 2に記録された符号化データが再生さ れ、 又は、 伝送路 3を介して伝送されてく る符号化データが受信さ れ、 その符号化データを伸長、 復号し、 その結果得られる H D画像 の復号画像を、 図示せぬディスプレイに供給して表示させる。
なお、 以上のような画像処理装置は、 例えば、 光ディスク装置や、 光磁気ディスク装置、 磁気テープ装置その他の、 画像の記録/再生 を行う装置や、 あるいはまた、 例えば、 テレビ電話装置や、 テレビ ジョ ン放 i关システム、 C A T Vシステムその他の、 画像の伝送を行 う装置などに適用される。 また、 後述するように、 送信装置 1が出 力する符号化データのデータ量が少ないため、 図 1の画像処理装置 は、 伝送レー トの低い、 例えば、 携帯電話機その他の、 移動に便利 な携帯端末などにも適用可能である。
図 2は、 送信装置 1の構成例を示している。
I / F (Interface) 1 1は、 外部から供給される H D画像の画像 データの受信処理と、 送信機/記録装置 1 6に対しての、 符号化デ ータの送信処理を行うようになされている。 ROM (Read Only Me mory) 1 2 ίま、 I P L (Initial Program Loading) 用のプロク"ラム その他を記憶している。 RAM (Random Access Memory) 1 3は、 外部記憶装置 1 5に記録されているシステムプログラム （O S (Op erating System) ) やアプリケーショ ンプログラムを記憶したり、 また、 C P U (Central Processing Unit) 1 4の動作上必要なデ一 タを記憶するようになされている。 C P U 1 4は、 ROM 1 2に記 憶されている I P Lプログラムにしたがい、 外部記憶装置 1 5から システムプログラム及びアプリケーショ ンプログラムを、 R AM I 3に展開し、 そのシステムプログラムの制御の下、 アプリケーショ ンプログラムを実行することで、 I Z F 1 1から供給される画像デ ータについての、 後述するような符号化処理を行うようになされて いる。 外部記憶装置 1 5は、 例えば、 磁気ディスク装置などでなり、 上述したように、 C P U 1 4が実行するシステムプログラムゃァプ リケーシヨ ンプログラムを記憶している他、 C P U 1 4の動作上必 要なデータも記憶している。 送信機/記録装置 1 6は、 I ZF 1 1 から供給される符号化データを、 記録媒体 2に記録し、 又は伝送路 3を介して伝送するようになされている。 なお、 I Z F 1 1， R OM 1 , RAM I 3 , C P U 1 4、 及び 外部記憶装置 1 5は、 相互にバスを介して接続されている。 また、 図 2において、 送信装置 1 は、 C P U 1 4を用いた構成となってい るが、 ハードワイヤロジック回路で構成することも可能である。 以上のように構成される送信装置 1 においては、 I /F 1 1 に H D画像の画像データが供給されると、 その画像データは、 C P U 1 4に供給される。 C P U 1 4は、 画像データを符号化し、 その結果 得られる符号化データと しての S D画像を、 I Z F 1 1 に供給する。
I /F 1 1は、 符号化データを受信すると、 それを、 送信機 Ζ,ϊΰ録 装置 1 6に供給する,， 送信機 Ζ記録装置 1 6では、 I ZF 1 1 から の符号化データが、 記録媒体 2に記録され、 又は伝送路 3を介して 伝送される。
図 3は、 図 2の送信装置 1の、 送信機 Ζ記録装置 1 6を除く部分 の機能的なブロック図である。
符号化すべき画像データと しての H D画像は、 前処理部 2 1 、 最 適化部 2 3、 適応処理部 2 4、 及び予測タップパターン判定部 2 6 に供給されるようになされている。
前処理部 2 1は、 そこに供給される HD画像に対して、 後述する ような前処理を、 例えば、 1 フレーム （又は 1 フィール ド） 単位で 施し、 その結果得られる S D画像又は複数パターンの予測タップの それぞれについてのクラス毎の予測係数 wのセッ トを、 スィ ッチ 2 2又は 2 5の端子 a にそれぞれ供給するようになされている。 スィ ツチ 2 2の端子 a又は bには、 前処理部 2 1又は予測タップパター ン判定部 2 6が出力する S D画像が、 それぞれ供給されるようにな されている。 スィッチ 2 2は、 前処理部 2 1 において、 ある HD画 像に前処理が施され、 これにより S D画像が出力されるときだけ、 端子 aを選択し、 それ以外のときは、 端子 bを選択し、 前処理部 2 1又は予測タップパターン判定部 2 6が出力する S D画像を、 最適 化部 2 3に供給するようになされている。
最適化部 2 3は、 スィ ッチ 2 2から供給される S D画像に対して、 前述の図 2 5で説明した最適化処理を施し、 その結果得られる最適 S D画像を、 適応処理部 2 5、 予測タップパターン判定部 2 6、 及 び多重化部 2 7に供給するようになされている。 適応処理部 2 4は、 最適化部 2 3からの最適 S D画像と、 元の H D画像とを用いて適応 処理を行うことによって、 最適 S D画像の画素値との線形結合によ り求められる H D画像の予測値の予測誤差を小さくするクラス毎の 予測係数 wのセッ トを複数パターンの予測タップ毎に算出し、 スィ ツチ 2 5の端子 bに出力するようになされている。
スィ ッチ 2 5は、 前処理部 2 1 において、 ある H D画像に前処理 が施され、 これにより複数バタ一ンの予測タップのそれぞれについ てのク ラス毎の予測係数 wのセッ 卜が出力されるときだけ、 端子 a を選択し、 それ以外のときは、 端子 bを選択し、 前処理部 2 1又は 適応処理部 2 4が出力する複数パターンの予測タップのそれぞれに ついてのクラス毎の予測係数 wのセッ トを、 最適化部 2 3、 予測タ ップパターン判定部 2 6、 及び多重化部 2 7に供給するようになさ れている。
予測タップバタ一ン判定部 2 6は、 最適化部 2 3から供給される 最適 S D画像から、 複数パターンの予測タップを形成し、 その複数 パターンの予測タップのそれぞれを用いて適応処理を行うことで、 複数の H D画像の予測値を求めるようになされている さらに、 予 測タップパターン判定部 2 6は、 複数パターンの予測タップのうち、 複数の H D画像の予測値の予測誤差を最小にするものを判定し、 そ の判定結果に対応して、 最適化部 2 3からの最適 S D画像の画素値 に、 後述するパターンコードを付加して、 スィ ッチ 2 2の端子 に 供給するようになされている。
多重化部 2 7は、 所定の場合に、 最適化部 2 3から供給される最 適 S D画像と、 スィ ツチ 2 5を介して供給される複数パターンの予 測タップのそれぞれについてのクラス毎の予測係数 wのセッ 卜とを 多重化し、 その多重化結果を、 符号化データと して、 送信機 Z記録 装置 1 6 (図 2 ) に出力するようになされている。
次に、 図 4のフローチャー トを参照して、 その動作について説明 する。
符号化すべき H D I像が、 前処理部 2 1 、 最適化部 2 3、 適応処 理部 2 4、 及び予測タップパターン判定部 2 6に供給されると、 前 処理部 2 1 では、 ステップ S 1において、 H D画像に前処理が施さ れる。
即ち、 前処理部 2 1は、 H D画像の画素数を少なく して圧縮する ことにより S D画像を構成し、 その S D画像を構成する S D画素そ れぞれを順次注目画素と して、 各注目画素に対して、 複数パターン の予測タップを形成する。 さらに、 前処理部 2 1は、 その複数パタ ーンの予測タップのそれぞれについて、 式 1 3に示した正規方程式 をたてて解く ことにより、 クラス毎の予測係数 wのセッ トを求める。 そして、 前処理部 2 1は、 複数パターンの予測タップと、 それぞれ について求めたクラス毎の予測係数 wのセッ トの所定のクラスの予 測係数のセッ トとを用いて、 式 1 に示した線形 1次式を計算するこ とにより、 複数パターンの予測タップのそれぞれから得られる複数 の H D画像の予測値を求める。 さらに、 前処理部 2 1 は、 複数バタ ーンの予測タップのうち、 複数の I I D画像の予測値の予測誤差を最 も小さくするものを検出し、 その予測タップのパターンに予め対応 付けられている、 例えば、 2ビッ トのコードであるタツプパターン コ一 ドを、 注目画素となっている S D画素に付加して出力する。 以上のようにして、 タップパターンコードが付加された S D画像 は、 スィ ッチ 2 2の端子 aに、 また、 正規方程式を解く ことにより 得られた複数バタ一ンの予測タップのそれぞれについてのクラス毎 の予測係数 wのセッ トは、 スィ ッチ 2 5の端子 aに、 それぞれ出力 される。
スィ ッチ 2 2及び 2 5は、 上述したように、 前処理部 2 1 から S D画像及び複数パターンの予測タップのそれぞれについてのクラス 毎の予測係数 wのセッ 卜が出力されるタイ ミングでは、 いずれも端 子 a を選択しており、 したがって、 前処理部 2 1が出力する S D画 像は、 スィ ッチ 2 2を介して最適化部 2 3に供給され、 また、 前処 理部 2 1が出力する複数パターンの予測タップのそれぞれについて のク ラス毎の予測係数 wのセッ トは、 スィ ッチ 2 5を介して最適化 部 2 3及び予測タップパターン判定部 2 6に出力される。
最適化部 2 3は、 S D画像及び複数パターンの予測タップのそれ ぞれについてのクラス毎の予測係数 wのセッ トを受信すると、 ステ ップ S 2において、 それらを用いて最適化処理を行う。 即ち、 最適 化部 2 3は、 S D画像及び複数パターンの予測タップのそれぞれに ついてのクラス毎の予測係数 wのセッ トを用いて適応処理を行い、 その結果得られる I I D画像の予測値の予測誤差が小さくなるように、 S D画像の画素値を補正する。 そして、 その結果得られる最適 S D 画像を、 適応処理部 2 4及び予測タップパターン判定部 2 6に供給 する。
適応処理部 2 4は、 最適化部 2 3から最適 S D画像を受信すると、 ステップ S 3において、 適応処理を行う ことにより、 最適 S D画像 を用いて得られる H D画像の予測値の予測誤差を小さくする複数バ タ一ンの予測タップのそれぞれについてのクラス毎の予測係数 wの セッ トを算出する。 即ち、 適応処理部 2 4は、 最適 S D画像を構成 する S D画素それぞれを順次注目画素と して、 各注目画素に対して 予測タップを形成する。 なお、 このとき、 予測タップは、 注目画素 に付加されているタップパターンコ一 ドに対応するパターンのもの が形成される。 そして、 適応処理部 2 4は、 複数パターンの予測タ ップ毎に、 予測タップから正規方^式をたて、 それを解く ことによ り、 複数パターンの予測タップのそれぞれについてのクラス毎の予 測係数 wのセッ トを求める。 これらの複数パターンの予測タツプの それぞれについてのクラス毎の予測係数 wのセッ トは、 スィ ツチ 2 5の端子 bに供給される。
以上の処理後、 ステップ S 4に進み、 スィ ッチ 2 2及び 2 5力 いずれも、 端子 aから bに切り換えられ、 これにより、 適応処理部 2 4において求められた複数パターンの予測タップのそれぞれにつ いてのクラス毎の予測係数 wのセッ ト力；、 スィ ッチ 2 5を介して、 最適化部 2 及び予測タップパターン判定部 2 6に供給されるよう になる。
そして、 予測タップパターン判定部 2 6は、 最適化部 2 3から最 適 S D画像を受信し、 さらに、 適応処理部 2 4から複数パターンの 予測タ ップのそれぞれについてのクラス毎の予測係数 wのセッ トを 受信すると、 ステップ S 5において、 その最適 S D画像を構成する 各 S D画素を注目画素と して形成される予測タップの最適なパター ンが決定される。
即ち、 予測タップパターン判定部 2 6は、 最適 S D画像を構成す る S D画素それぞれを順次注目画素と して、 各注目画素に対して、 複数バターンの予測タップを形成する。 さらに、 予測タップパター ン判定部 2 6は、 その複数バタ一ンの予測タップのそれぞれについ て、 適応処理部 2 4からのその予測タップに対応するクラス毎の予 測係数 wのセッ トのうち、 所定のクラスの予測係数 wのセッ トを用 いて、 式 1 に示した線形 1次式を計算することにより、 複数パター ンの予測タップのそれぞれから得られる複数の H D画像の予測値を 求める。 そして、 予測タップパターン判定部 2 6は、 複数パターン の予測タップのうち、 複数の H D画像の予測値の予測誤差を最も小 さくするものを検出し、 その予測タップに対応するタップパターン コ ー ドに、 注目画素となっている S D画素に既に付加されているタ ップパターンコードを変更する。 即ち、 いまの場合、 S D画素には、 既にタップパターンコードが付加されているので、 それに代えて、 予測誤差を最も小さくする予測タップのタップパターンコー ドが付 力 Πされる。
以上のようにして、 タッブパターンコ一ドが変更された S D画像 は、 スィ ッチ 2 2の端子 bに出力される。
スィ ッチ 2 2は、 ステップ S 4で切り換えられ、 端子 bを選択し ているので、 予測タップパターン判定部 2 6が出力する S D画像は、 スィ ッチ 2 2を介して、 最適化部 2 3に供給される。 /¾-適化部 2 3 では、 ステップ S 6において、 ステップ S 2における場合と同様に、 最適化処理が行われ、 これにより、 最適 S D画像が出力される。 な お、 この場合、 最適化部 2 3では、 ステップ S 2で説明したように 適応処理が行われるが、 この適応処理は、 スィ ッチ 2 5を介して、 適応処理部 2 4から供給される複数パターンの予測タップのそれぞ れについてのクラス毎の予測係数 wのセッ トを用いて行われる。 最適化部 2 3から出力される最適 S D画像は、 適応処理部 2 4及 び予測タップパターン判定部 2 6に供給され、 適応処理部 2 4では、 ステップ S 7において、 ステップ S 3における場合と同様に、 最適 化部 2 3が出力する最適 S D画像を用いて適応処理が行われること により、 複数パターンの予測タッブのそれぞれについてのクラス毎 の予測係数 wのセッ トが求められ、 スィ ッチ 2 5を介して、 最適化 部 2 3及び予測タップパターン判定部 2 6に出力される。
その後、 ステップ S 8に進み、 ステップ S 5乃至 S 8の処理を所 定の規定回数だけ行ったかどうかが判定される。 ステップ S 8にお いて、 ステップ S 5乃至 S 8の処理を、 所定の規定回数だけ、 まだ 行っていないと判定された場合、 ステップ S 5に戻り、 上述の処理 を繰り返す。 また、 ステップ S 8において、 ステップ S 5乃至 S 8 の処理を、 所定の規定回数だけ行ったと判定された場合、 ステップ S 9に進み、 多重化部 2 7は、 前回のステップ S 6の処理において、 最適化部 2 3が出力した最適 S D画像と、 そのとき用いられた複数 パターンの予測タップのそれぞれについてのクラス毎の予測係数 w のセッ 卜とを多重化し、 符号化データと して出力して、 処理を終了 する。
以上の処理が、 例えば、 1 フレーム単位などで繰り返される。 なお、 上述の場合、 ステップ S 8において、 ステップ S 5乃至 S 8の処理を所定の規定回数だけ行ったかどうかを判定するようにし たが、 その他、 ステップ S 8では、 例えば、 その時点で最適化部 2 3から出力された最適 S D画像を用いて適応処理を行うことにより 得られる H D画像の予測値の予測誤差の、 1 フレーム分の絶対値和 などが、 所定の閾値以下であるかどうかを判定し、 閾値以下である 場合には、 ステップ S 9に進み、 閾値以下でない場合には、 ステツ プ S 5に戻るようにすることも可能である。 即ち、 ステップ S 5乃 至 S 8の処理は、 最適 S D画像を用レ、て適応処理を行う ことにより 得られる H D画像の予測値の予測誤差の、 1 フ レーム分の絶対値和 力 所定の閾値以下となるまで繰り返すようにすることが可能であ る。
次に、 図 5は、 図 3の前処理部 2 1 の構成例を示している。
符号化すべき H D画像は、 間引き回路 3 1、 クラス分類適応処理 (予測係数、 予測値算出） 回路 3 :3、 及び予測誤差算出回路： 3 4に 供給されるようになされている。
間引き回路 3 1は、 H D画像の画素数を、 例えば、 問引く ことに より少なく し、 S D画像を構成して、 予測タップ生成回路 3 2及び タップパターンコード付加回路 3 6に供給するようになされている。 即ち、 間引き回路 3 1は、 例えば、 H D画像を、 横 X縦が 3 X 3画 素の 9画素でなる正方形状のブロックに分割し、 各ブロ ックの 9画 素の平均値を、 その中心の画素の画素値と して、 S D画像を構成す るようになされている。 これにより、 問引き回路 3 1 では、 例えば、 図 6に · 印で示す H D画素からなる H D画像から、 同図に〇印で示 す S D画素からなる S D画像が構成される。 なお、 間引き回路 3 1 には、 その他、 例えば、 上述のブロ ックの 中心の画素だけを抽出させて、 S D画像を構成させるようにするこ となども可能である。
予測タップ生成回路 3 2は、 間引き回路 3 1からの S D画像を構 成する各 S D画素 （図 6において、 〇印で示した部分） を、 順次注 目画素と して、 各注目画素について、 複数パターンの予測タップを 構成するようになされている。 即ち、 本実施の形態では、 例えば、 図 7乃至図 1 0にそれぞれ示すように、 注目画素を中心とする 3 X 3画素、 5 X 3画素、 3 X 5画素、 又は 7 X 5画素の 4パターンの 予測タップが形成されるようになされている。 これらの 4パターン の予測タップは、 クラス分類適応処理 （予測係数、 予測値算出） 回 路 3 3に供給されるようになされている。
クラス分類適応処理 （予測係数、 予測値算出） 回路 3 3は、 予測 タップ生成回路 3 2から供給される 4パターンの予測タップのそれ ぞれについて、 クラス分類を行い、 さらに、 各クラスについて、 H D画像を用いて式 1 3に示した正規方程式をたてて解く ことにより、 4パターンの予測タップのそれぞれについてのクラス毎の予測係数 wのセッ トを求めるようになされている。 また、 クラス分類適応処 理 （予測係数、 予測値算出） 回路 3 3は、 求めた 4パターンの予測 タ ップのそれぞれについてのクラス毎の予測係数 wのセッ 卜のう ち、 所定のクラスの予測係数 wのそれぞれと、 4パターンの予測タップ のそれぞれとから、 式 1 に示した線形 1次式を演算することにより、 4パターンの予測タップのそれぞれから得られる複数の H D画像の 予測値を求め、 予測誤差算出回路 3 4に出力するようにもなされて いる。 なお、 クラス分類適応処理 （予測係数、 予測値算出） 回路 3 3に おいて、 4パターンの予測タップのそれぞれについて求められたク ラス毎の予測係数 wのセッ トは、 メモリ 3 5に供給されるよ うにな されている。
また、 本実施の形態では、 クラス分類適応処理 （予測係数、 測 値算出） 回路 3 . において、 4パターンの予測タップのそれぞれに ついて、 正規方程式は、 測タップのパターンとは無関係に、 例え ば、 図 6に点線で囲んで示すように、 注目画素となっている S D画 素を中心とする 3 X ,Ίの H D画素の予測値を求めるようにたてられ るようになされている。 したがって、 3 X 3の Η D画素の予測値を 生成するための、 4パターンの予測タップのそれぞれについてのク ラス毎の予測係数 wのセッ 卜が求められる。 このクラス分類適応処 理 （予測係数、 測値算出） 回路 3 3の詳細な構成については後述 する。
予測誤差算出回路 3 4は、 各注目画素について、 4パターンの予 測タップのそれぞれから得られた H D画像の予測値の、 元の H D画 像の画素値に対する予測誤差を求めるようになされている。 つまり、 4パターンの予測タップのそれぞれについて、 H D画像の 9画素の 予測値と、 元の H D画像の 9画素の画素値との差分の自乗和を例え ば演算する。 そして、 予測誤差算出回路 3 4は、 4パターンの予測 タップのうち、 予測誤差 （差分の自乗和） が最も小さいものを検出 する。 そして、 予測誤差が最も小さい予測タップのパターンに対応 する 2 ビッ 卜のタップパターンコードを、 メモリ 3 5及びタップパ ターンコ一ド付加回路 3 6に出力するようになされている。
メモリ 3 5は、 ク ラス分類適応処理 （予測係数、 測値算出） 回 路 3 3から供給される、 4パターンの予測タップのそれぞれについ て求められたクラス毎の予測係数 wのセッ 卜を一時記憶するように なされている。 そして、 メモリ 3 5は、 例えば 1 フレーム （又は 1 フィールド） の H D画像の処理が終了する （つまり、 全ての S D画 素にタップパターンコードが付加される） と、 4パターンの予測タ ップのそれぞれについて求められたクラス毎の予測係数 wのセッ ト を読み出し、 スィ ッチ 2 5の端子 aに出力するようになされている。 タップパターンコー ド付加回路 3 6は、 そこに供給される S D画 像に対して、 予測誤差算出回路 3 4から供給されるタップパターン コー ドを付加するようになされている。 即ち、 タップパターンコー ド付加回路 3 6は、 注目画素となっている S D画素の画素値 （例え ば、 8 ビッ トなどで構成される） の L S B ( Least S i gni f i can t B i t) 側の 2 ビッ トを削除し、 そこに、 2 ビッ トのタ ップパターンコー ドを配置するようになされている。 タップパターンコー ド付加回路 3 6においてタップパターンコー ドの付加された S D画像は、 スィ ツチ 2 2の端子 a に出力されるようになされている。
ここで、 クラス分類適応処理 （予測係数、 予測値算出） 回路 3 3 の構成を説明する。 なお、 このク ラス分類適応処理 （予測係数、 予 測値算出） 回路 3 3は、 4パターンの予測タ ップのそれぞれに対し て、 クラス分類適応処理 （予測係数、 予測値算出） 回路を有してい る。 すなわち、 ク ラス分類適応処理 （予測係数、 予測値算出） 回路 3 3は、 4パターンの予測タップのための独立した 4つのクラス分 類適応処理回路を有している。 図 2 6及び図 2 7は、 この 1 つのク ラス分類適応処理回路を示している。 なお、 4つのクラス分類適応 処理回路は、 異なる 4つの予測タップが供給される他は、 同様の構 成であるので、 1つのクラス分類適応処理回路を説明して、 その他 は省略する。
図 2 6に示されるクラス分類適応処理回路は、 クラス分類回路 1 1 2 と、 遅延回路 1 1 4 と、 予測タップメモリ 1 1 5 と、 教師デー タメモリ 1 1 6 と、 演算回路 1 1 7 と、 遅延回路 1 1 8 (図 2 5 ) とを備え、 図 2 7に示されるク ラス分類適応処理回路は、 ク ラス分 類回路 2 0 1 と、 係数 R Λ Μ 2 0 4 と、 予測演算回路 2 0 5 とを備 える。
図 2 6に示されるクラス分類適応処理回路の一部を構成する各回 路は、 遅延回路 1 1 8を除き、 図 2 4に示される学習装置のクラス 分類回路 1 1 2， 遅延回路 1 1 4， 予測タップメモリ 1 1 5、 教師 データメモリ 1 1 6、 演算回路 1 1 7及び遅延回路 1 1 8 と、 図 2 2に示される画像変換装置のそれぞれと同様に構成されている。 た だし、 予測タップが予測タップ生成回路 3 2から供給されるため、 図 2 4に示される予測タップ生成回路 1 1 3の代わりに、 予測タッ プが遅延回路 1 1 8に供給される。 そして、 遅延回路 1 1 8では、 遅延回路 1 1 4 と同様に、 注目画素に対するク ラスが、 ク ラス分類 回路 1 1 2から予測タップメモリ に供給される時間だけ、 予測タツ プが遅延され、 予測タップメモリ 1 1 5に記憶される。
1 フレームのト1 0画素に対するデータが予測タップメモリ 1 1 5 及び教師データメモリ 1 1 6に記憶された後、 図 2 4の学習装置の 動作と同様の動作により、 クラス毎の予測係数のセッ トを生成する。 この生成されたクラス毎の予測係数のセッ トが図 2 7の係数 R A M 2 0 4 に記憶されるとともに、 図 5の前処理部 2 1 のメモ リ 3 5に 供給されて記憶される。 なお、 上述したように、 4パターンの予測 タップのそれぞれについてのクラス毎の予測係数のセッ 卜が独立の 回路で生成されるため、 4パターンの予測タップのそれぞれについ てのクラス毎の予測係数のセッ 卜が図 2 7の係数 RAM 2 0 4に記 憶されるとともに、 図 5の前処理部 2 1 のメモリ 3 5に供給されて 記憶される。
4パターンの予測タップのそれぞれについてのクラス毎の予測係 数のセッ 卜が図 2 7の係数 RAM 2 0 4に記憶された後、 クラス分 類回路 2 0 1 において、 クラス分類が行われ、 クラス情報が係数 R AM 2 0 4に供給される。 係数 RAM 2 0 4は、 供給されたク ラス 情報に対応する予測係数のセッ トを出力して、 予測演算回路 2 0 5 に供給する。 予測演算回路 2 0 5は、 供給された予測タップと予測 係数のセッ 卜と力ゝら式 1 に示した線形 1 次式を演算することにより、 複数の H D画像の予測値を求める。 なお、 図 2 7に示されるクラス 分類適応処理回路の一部を構成する各回路は、 係数 R AM 2 0 4に クラス毎の予測係数のセッ 卜が記憶された後の動作は、 図 2 2の画 像変換装置のクラス分類回路 1 0 1， 係数 ROM 1 0 4及び予測演 算回路 1 0 5 と同一の動作を実行する。
なお、 クラス分類回路 1 1 2とクラス分類回路 2 0 1は、 同一の 構成であるため、 1 つの構成と してもよい。
次に、 図 1 1のフローチャー トを参照して、 前処理部 2 1 の処理 について説明する。
前処理部 2 1 に、 符号化すべき HD画像が入力されると、 その H D画像は、 間引き回路 3 1、 クラス分類適応処理 （予測係数、 予測 値算出） 回路 3 3、 及び予測誤差算出回路 3 4に供給される,， 問引 き回路 3 1 は、 HD画像を受信すると、 ステップ S 1 1 において、 その画素数を間引き、 S D画像を構成する。
即ち、 ステップ S 1 1では、 図 1 2のフローチヤ一卜に示すよう に、 まず最初に、 ステップ S 2 ] において、 H D画像が、 例えば、 3 X 3画素の H D画像のブロックに分割され、 ステップ S 2 2に進 む。
なお、 本実施例において、 H D画像は、 例えば、 輝度信号 Yと、 色差信号 U , Vとから構成され、 ステップ S 2 1では、 輝度信号の プロ ックと色差信号のブロックとが構成されるようになされている。 ステップ S 2 2では、 いずれかのブロ ックが注 Θブロック とされ、 その注目ブロックを構成する 3 X 3の H D画素の画素値の平均値が 計算される。 さらに、 ステップ S 2 2では、 その平均値が、 注目ブ ロ ックの中心の画素 （S D画素） の画素ィ直とされ、 ステップ S 2 3 に進む。
ステップ S 2 3では、 注目ブロックが輝度信号のブ口ックである かどうかが判定される。 ステップ S 2 3において、 注目ブロ ック力 S 輝度信号のプロ ックであると判定された場合、 ステップ S 2 4に進 み、 S D画素と しての注目ブロックの中心の画素の画素値 （ここで は、 輝度信号） の L S B側の 2ビッ ト力 タップパターンコードを 付加するために、 例えば 0にク リアされ、 ステップ S 2 5に進む„ また、 ステップ S 2 3において、 注 ブロックが輝度信号のブロ ッ クでないと判定された場合、 即ち、 注目ブロックが色差信号のプロ ックである場合、 ステップ S 2 4をスキップして、 ステップ S 2 5 に進む。
ここで、 本実施の形態では、 輝度信号についてのみ、 複数バタ一 ンの予測タップが用意されており、 色差信号については、 固定バタ —ンの予測タップが用いられるようになされている。 したがって、 タップパターンコー ドが付加されるのは、 輝度信号についてのみで、 色差信号については、 タップパターンコードは付加されないため、 その L S B側の 2 ビッ トをク リァすることは行われないようになさ れている。
ステップ S 2 5では、 ステップ S 2 1 で構成されたブロック全て を、 注目ブロックと して処理したかどうかが判定され、 まだ、 全て のブロックを、 注目ブロックと して処理していないと判定された場 合、 ステップ S 2 2に戻り、 まだ注目ブロックと していないブ口 ッ クを、 新たに注目ブロックと して、 同様の処理を繰り返す。 また、 ステップ S 2 5において、 全てのブロックを、 注目ブロック と して 処理したと判定された場合、 即ち、 S D画像が構成された場合、 リ ターンする。
図 1 1 に戻り、 ステップ S 1 1 において、 以上のようにして構成 された S D画像は、 間引き回路 3 1から予測タップ生成回路 3 2及 びタップパターンコード付加回路 3 6に供給される。 予測タップ生 成回路 3 2は、 間引き回路 3 1から S D画像を受信すると、 ステツ プ S 1 2において、 それを構成する S D画素のうちの〗 つを注目画 素と して、 その注目画素について、 図 7乃至図 1 0に示した 4パタ —ンの予測タップを形成 （生成） し、 ク ラス分類適応処理 （予測係 数、 予測値算出） 回路 3 3に供給する。
なお、 上述したよ うに、 4パターンの予測タップが形成されるの は輝度信号についてのみで、 色差信号については、 例えば、 図 1 0 に示したような、 7 X 5画素の予測タップだけが、 常時形成される。 ク ラス分類適応処理 （予測係数、 予測値算出） 回路 3 3は、 ステ ップ S I 3において、 まず、 予測タップ生成回路 3 2から供給され る 4パターンの予測タップ （輝度信号の場合） のそれぞれについて、 それぞれのクラス分類適応処理回路でクラス分類を行う。
ここで、 本実施の形態では、 4パターンの予測タップのそれぞれ について、 例えば、 次のようなクラス分類用のタップ （以下、 適宜、 クラスタップという。 ） が構成され、 ク ラス分類が行われるように なされている。
即ち、 輝度信号については、 4パターンの予測タップのいずれに 関しても、 例えば、 図 1 3 Aに点線で囲んで示すように、 注目画素 を中心とする、 ひし形状の範囲の 5の S D画素によって、 クラスタ ップが構成される。 そして、 この 5画素の画素値のうちの最大値と 最小値との差をダイナミ ック レンジ D Rと し、 このダイナミ ック レ ンジ D Rを用いて、 クラスタップのうちの、 縦に並ぶ 3画素 （図 1 3 Aにおいて実線で fflむ 3画素） が 1 ビッ 卜 A D R C処理される。 そして、 その 3画素の画素値のパターンに、 予測タップに対応する タップコ一 ドを付加したものが、 注目画素のクラスとされる。 した がって、 この場合、 クラスタップのうちの、 縦に並ぶ 3画素を 1 ビ ッ ト A D R C処理して得られる画素値のパターンは 3 ビッ 卜で表現 され、 また、 タップコードは 2 ビッ トであるから、 輝度信号は、 3 2 ( = 2 5) ク ラスのうちのいずれかにクラス分類される。
一方、 色差信号については、 例えば、 図 1 3 Bに点線で囲んで示 すように、 注目画素を中心とする、 正方形状の範囲の 9の S D画素 によって、 クラスタップが構成される。 そして、 この 9画素の画素 値のうちの最大値と最小値との差をダイナミ ックレンジ D Rと し、 このダイナミ ック レンジ D Rを用いて、 クラスタップのうちの、 注 目画素を中心とするひし形状の範囲の 5の S D画素 （図 1 3 Bにお いて実線で囲む 5画素） が 1 ビッ ト A D R C処理される。 そして、 その 5画素の画素値のパターンが、 注目画素のクラスとされる。 し たがって、 この場合、 クラスタップのう ちの、 注目画素を中心とす る 5画素を 1 ビッ A D R C処理して得られる画素値のパターンは 5 ビッ トで表現されるから、 色差信号も、 輝度信号と同様に、 3 2 ( = 2 5) ク ラスのう ちのいずれかにク ラス分類される。
ク ラス分類適応処理 （予測係数、 予測値算出） 回路 3 3では、 以 上のようにして、 注目画素のクラスが決定された後、 4パターンの 予測タップのそれぞれについて、 各クラス毎に、 予測タップと H D 画像とを用いて、 式 1 3の正規方程式がたてられ、 それを解く こと によ り、 4パターンの予測タップのそれぞれについてのクラス毎の 予測係数 wのセッ 卜が求められる。 4パターンの予測タップのそれ ぞれを用いて得られた、 4バタ一ンの予測タップのそれぞれについ ての各クラス毎の予測係数 wのセッ トは、 いずれもメモリ 3 5に供 給されて記憶される。
さらに、 クラス分類適応処理 （予測係数、 予測値算出） 回路 3 3 は、 4パターンの予測タップを用いて得られた 4パターンの予測タ ップのそれぞれについてのクラス毎の予測係数 wのセッ 卜のそれぞ れと、 4パターンの予測タップのそれぞれとから、 式 1 に示した線 形 1 次式を演算することにより、 4パターンの予測タップのそれぞ れから得られる H D画像の予測値を求め、 予測誤差算出回路 3 4に 出力する。
予測誤差算出回路 3 4は、 ステップ S 1 4において、 ク ラス分類 適応処理 （予測係数、 予測値算出） 回路 3 3から供給される、 4パ ターンの予測タップのそれぞれについての H D画像の予測値の、 元 の H D画像の画素値に対する予測誤差を求める。 つまり、 4パター ンの予測タップのそれぞれについて、 H D画像の 9画素の予測値と 元の H D画像の画素の画素値との差分の自乗和を例えば予測誤差と して求める。 そして、 ステップ S 1 5に進み、 注目画素について、 予測誤差が最小の予測タップを検出する。 そして、 その予測タップ に対応するタップパターンコー ドを、 タップパターンコード付加回 路 3 6に出力する。
ステップ S 1 6では、 タップパターンコード付加回路 3 6におい て、 間引き回路 3 1からの S D画像を構成する S D画素のうちの注 目画素の画素値 （但し、 本実施の形態では、 輝度信号についてだ け） の L S B側の 2 ビッ 卜が、 タップパターンコードとされて出力 される。
その後、 ステップ S 1 7に進み、 全ての S D画素にタップパター ンコー ドが付加されたかどうかが判定され、 まだ、 全ての S D画素 にタップパターンコ一ドが付加されていないと判定された場合、 ス テツプ S 1 2に戻り、 タツプバタ一ンコ一ドが付加されていない S D画素のうちのいずれかを、 新たに注目画素と して、 同様の処理を 繰り返す。 一方、 ステップ S 1 7において、 全ての S D画素にタツ プパターンコードが付加されたと判定された場合、 メモリ 3 5は、 ステップ S 1 8において、 4パターンの予測タップのそれぞれにつ いてのクラス毎の予測係数 wのセッ 卜を出力して、 処理を終了する。 前処理部 2 1 では、 以上のようにして、 間引き回路 3 1が出力す る S D画像を構成する S D画素 （ここでは、 上述したように、 3 X 3の H D画素の平均値を画素値と して有する画素） それぞれについ て、 予測誤差が最小となる予測タップのタップパターンコー ドが、 いわば仮に付加される。
次に、 図 1 4は、 図 3の最適化部 2 3の構成例を示している。 な お、 図中、 図 2 5における場合と基本的に同様に構成される部分に ついては、 同一の符号を付してある。 即ち、 最適化部 2 3は、 間引 き部 1 2 1がなく、 口一力ルデコード部 1 2 2に代えてロー力ルデ コ一 ド部 4 2が設けられている他は、 図 2 5の画像符号化装置と S 本的に同様に構成されている。
ローカルデコー ド部 4 2は、 -Γ，測タップ生成回路 4 2 Λ及びクラ ス分類適応処理回路 4 2 Bから構成され、 そこには、 補正部 4 1 力、 ら S D画像が供給されるようになされている。 予測タップ生成回路 4 2 Aは、 補正部 4 1から供給される S D画像の S D画素の L S B 側に配置されているタップパターンコ一 ドに対応して予測タ ップを 形成 （生成） し、 クラス分類適応処理回路 4 2 Bに供給するように なされている。 クラス分類適応処理回路 4 2 Βには、 予測タップの 他、 クラス分類用の S D画素、 4パターンの予測タップのそれぞれ についてのクラス毎の予測係数 wのセッ 卜が供給されるよ うになさ れている。 クラス分類適応処理回路 4 2 Βは、 予測タップを構成す る注目画素を、 図 1 3で説明したようにしてクラス分類用の S D画 素を用いてクラス分類し、 そのクラスに対応した予測係数 wのセッ 卜と、 予測タップとから、 式 1 に示した線形 1次式を演算すること により、 図 6に点線で囲んで示した、 注目画素となっている S D画 素を中心とする 3 X 3の H D画素の画素値の予測値を求めるように なされている。 この予測値は、 誤差算出部 4 3に供給されるように なされている。 ここで、 図 2 8に示されるクラス分類適応処理回路 4 2 Bの構成 を説明する。 図 2 8に示されるクラス分類適応処理回路 4 2 Bは、 クラス分類回路 2 0 1， 係数 R A M 2 0 4及び予測演算回路 2 0 5 から構成されている。 このク ラス分類適応処理回路 4 2 Bは、 図 2 6で示される、 クラス分類適応処理 （予測係数、 予測値算出） 回路 3 3のうちの 1つのクラス分類適応処理回路の一部と同一の構成で あり、 同一部分には同一符号を付して、 その構成についてはその説 明を省略する。
次に、 図 1 5のフローチャー トを参照して、 その動作について説 明する。
最適化部 2 3は、 S D 1H象を受信すると、 その S D画像を構成す る S D画素のうちの 1つを注目画素と し、 ステップ S 3 1 において、 注目画素の画素値を補正する補正量を表す変数△を、 例えば 0に初 期化する。 また、 ステップ S 3 1 では、 捕正量を変化させる変化量 (以下、 適宜、 オフセッ ト量という。 ） を表す変数 Sに、 初期値と しての、 例えば 4又は 1 がセッ トされる。
即ち、 輝度信号については、 上述したように、 その L S B側の 2 ビッ 卜がタップパターンコードであり、 画素値を構成するものでは ないため、 オフセッ ト量 Sには、 4 ( = 2 2) がセッ トされる。 また、 色差信^については、 そのようなことはなく、 全てのビッ トが画素 値を構成するため、 オフセッ ト量 Sには、 1 ( = 2 ") がセッ トされ る。
さらに、 ステップ S 3 1 では、 注目画素の捕正の回数をカウン ト する変数 i に、 初期値と しての一 1がセッ トされ、 ステップ S 3 2 に進む。 ステップ S 3 2では、 回数 i 1だけインク リメン トされ、 ステップ S 3 3に進み、 注目画素の画素値を補正量△だけ補正した 補正値を用いて適応処理を行った場合に、 その補正により影響を受 ける H D画素の予測値の予測誤差 Eが算出される。
即ち、 この場合、 補正部 4 1は、 注目画素の画素値に、 例えば、 補正量△を加算し、 その加算値を、 注目画素の画素値と して、 ロー カルデコード部 4 2に出力する。 ここで、 注目画素について、 最初 にステップ S 3 3の処理が施される場合、 即ち、 回数 i = 0の場合、 補正量△は、 ステップ S 3 1でセッ トされた初期値である 0のまま であるから、 補正部 4 1 からは、 注目画素の面素値がそのまま出力 される。
口一カルデコード部 4 2では、 予測タップ生成回路 4 2 Aにおい て、 注目画素の画素値の L S B側の 2 ビッ トに配置されているタッ プパターンコードに対応して、 予測タップが形成され、 クラス分類 適応処理回路 4 2 Bに出力される。 クラス分類適応処理回路 4 2 B では、 まず、 注目画素が、 図 5のク ラス分類適応処理 （予測係数、 予測値算出） 回路 3 3における場合と同様にクラス分類される。 さ らに、 クラス分類適応処理回路 4 2 Bでは、 そのクラスに対応する 予測係数と、 予測タップ生成回路 4 2 Aからの予測タップとから、 式 1 に示した線形 1 次式を演算することにより、 H D画素の画素値 の予測値が求められる。
また、 ク ラス分類適応処理回路 4 2 Bでは、 注目画素の画素値を 補正量△だけ補正した場合に、 その補正により影響を受ける H D画 素についても、 同様にして、 予測値が求められる。
即ち、 例えば、 いま、 図 1 6に示すように、 S D画素 Aを注目画 素と して補正したとする。 本実施の形態では、 予測タップの範图が 最も広いのは、 図 1 0に示したように、 7 X 5の S D画素で予測タ ップが構成される場合で、 このように、 7 X 5の S D画素で予測タ ップが構成される場合に、 その予測タップに S D画素 Aが含まれる ケースであって、 S D画素 Aから最も離れた S D画素が注目画素と されるのは、 ≤ 0画素8， じ， D , Eが注目画素とされ、 7 X 5画 素の予測タップが構成されるケースである。 そして、 S D画素 B， C , D , Eが注目画素とされ、 7 X 5画素の予測タップが構成され た場合、 本実施の形態では、 同図に実線で囲んで示す範囲 b， c , d， eの中の 3 X 3の I I D画素の f'測値がそれぞれ求められる。 し たがって、 S D画素 Aを注目画素と して、 その画素値を補正した場 合に、 その補正により影響を受けるのは、 最悪のケースで、 範囲 b , c , d , eを含む最小の長方形である、 図 1 6において点線で示す 範囲内の 2 1 X 1 5の H D画素の予測値とレ、うことになる。
したがって、 本実施の形態では、 クラス分類適応処现回路 4 2 B において、 このような 2 1 X 1 5の H D画素の予測値が求められる。 クラス分類適応処理回路 4 2 Bで求められた H D画素の予測値は、 誤差算出部 4 3に供給される。 誤差算出部 4 :3では、 クラス分類適 応処理回路 4 2 Bからの H D画素の予測値から、 対応する H D画素 の真の画素値が减算され、 その減算値である予測誤差の、 例えば自 乗和が求められる。 そして、 この自乗和が、 誤差情報 Eと して、 制 御部 4 4に供給される。
制御部 4 4は、 誤差算出部 4 3から誤差情報を受信すると、 ステ ップ S 3 4において、 回数 i が 0であるかどうかを判定する。 ステ ップ S 3 4において、 回数 i が 0であると判定された場合、 即ち、 制御部 4 4が受信した誤差情報 Eが、 注目画素の補正を行わずに得 られたものである場合、 ステップ S 3 5に進み、 注目画素の補正を 行わずに得られた誤差情報 （未補正時の誤差情報） を記憶する変数 E。に、 誤差情報 Eがセッ トされ、 また、 前回得られた誤差情報を記 憶する変数 E ' にも、 誤差情報 Eがセッ トされる。 さらに、 ステツ プ S 3 5では、 補正量△が、 オフセッ ト量 Sだけィンク リメン トさ れ、 制御部 4 4は、 それにより得られた補正量△だけ、 注目画素の 画素値を補正するよ うに、 補正部 4 1 を制御する。 その後は、 ステ ップ S 3 2に戻り、 以下、 同様の処理を繰り返す。
この場合、 ステップ S 3 2において、 回数 i は 1 だけインク リメ ントされて 1 となるから、 ステップ S 3 4では、 回数 i が 0でなレ、 と判定され、 ステップ S 3 6に進む。 ステップ S 3 6では、 回数 i が 1 であるかどうかが判定される。 この場合、 回数 i は 1 となって いる力、ら、 ステップ S 3 6では、 回数 i は 1であると判定され、 ス テツプ S 3 7に進み、 前回の誤差情報 E ' が、 今回の誤差情報 E以 上であるかどうかが判定される。 ステップ S 3 7において、 前回の 誤差情報 E ' 力；、 今回の誤差情報 E以上でないと判定された場合、 即ち、 補正量△だけ注目画素の画素値を補正することにより、 今回 の誤差情報 Eの方が、 前回の誤差情報 E ' (ここでは、 補正をして ない場合の誤差情報） より増加した場合、 ステップ S 3 8に進み、 制御部 4 4は、 オフセッ ト量 Sに、 一 1 を乗算したものを、 新たな オフセッ ト量 Sと し、 さらに、 補正量△をオフセッ ト量 Sの 2倍だ けインク リメン トし、 ステップ S 3 2に戻る。
即ち、 注目画素の画素値を、 補正量△ (この場合、 △= S ) だけ 補正することにより、 補正しなかったときよりも誤差が増加した場 合には、 オフセッ ト量 Sの符号が反転される （本実施の形態では、 ステップ S 3 1 において正の値がオフセッ 卜量 Sにセッ トされてい るので、 ステップ S 3 8では、 オフセッ ト量 Sの符号は、 正から負 にされる） 。 さらに、 前回は Sであった補正量△が、 一 Sにされる。 また、 ステップ S 3 7において、 前回の誤差情報 E ' 力 今回の 誤差情報 E以上であると判定された場合、 即ち、 補正量△だけ注目 画素の画素値を補正することにより、 今回の誤差情報 Eが、 前回の 誤差情報 E ' より減少した場合 （又は前回の誤差情報 E ' と同じで ある場合） 、 ステップ S 3 9に進み、 制御部 4 4は、 補正 ¾△をォ フセッ ト量 Sだけィンク リメン 卜すると ともに、 前回の 差情報 E ' に、 今回の誤差情報 Eをセッ トすることにより更新して、 ステツ プ S 3 2に戻る。
この場合、 ステップ S 3 2において、 回数 i は、 さらに 1 だけィ ンク リメン 卜されて 2 となるから、 ステップ S 3 4又は S 3 6では、 回数 i が 0又は 1 でないとそれぞれ判定され、 その結果、 ステップ S 3 6力、ら S 4 0に進む。 ステップ S 4 0では、 回数 i が 2である かどうかが判定される。 いま、 回数 i は 2となっているから、 ステ ップ S 4 0では、 回数 i は 2であると判定され、 ステップ S 4 1 に 進み、 未補正時の誤差情報 Ε ,,が今回の誤差情報 E以下であり、 かつ オフセッ ト量 Sが負であるかどうかが判定される。
ステップ S 4 0において、 未補正時の誤差情報 Ε ,,が今回の誤差情 報 Ε以下であり、 かつオフセッ ト量 Sが負であると判定された場合、 即ち、 注目画素を + Sだけ補正しても、 また、 一 Sだけ補正しても、 補正しないときょり誤差が増加する場合、 ステップ S 4 2に進み、 補正量△が 0 とされ、 ステップ S 4 7に進む。
また、 ステップ S 4 0において、 未補正時の誤差情報 Ε "が今回の 誤差情報 E以下でないか、 又はオフセッ ト量 Sが負でないと判定さ れた場合、 ステップ S 4 4に進み、 前回の誤差情報 E ' 、 今回の 誤差情報 E以上であるかどうかが判定される。 ステップ S 4 4にお いて、 前回の誤差情報 E ' 、 今回の誤差情報 E以上であると判定 された場合、 即ち、 補正量△だけ注目画素の画素値を補正すること により、 今回の誤差情報 Eが、 前回の誤差情報 E ' より減少した場 合、 ステップ S 4 5に進み、 制御部 4 4は、 補正量△をオフセッ 卜 量 Sだけイ ンク リ メ ン トするとともに、 前回の誤差情報 E ' に、 今 回の誤差情報 Eをセッ トすることにより更新して、 ステップ S 3 2 に戻る。
この場合、 ステップ S 3 2において、 回数 i は、 さらに 1 だけィ ンク リメン 卜されて 3 となるから、 以下では、 ステップ S 3 4 , S 3 6、 又は S 4 0では、 冋数 i が 0， 1 、 又は 2でないとそれぞれ 判定され、 その結果、 ステップ S 4 0から S 4 4に進む。 したがつ て、 ステップ S 4 4において、 前回の誤差情報 E ' 力；、 今回の誤差 情報 E以上でないと判定されるまで、 ステップ S 3 2乃至 S 3 4、 S 3 6 , S 4 0 , S 4 4 , S 4 5のループ処理が繰り返される そして、 ステップ S 4 4において、 前回の誤差情報 E ' 力 今回 の誤差情報 E以上でないと判定された場合、 即ち、 補正量△だけ注 目画素の画素値を補正することにより、 今回の誤差情報 Eの方が、 前回の誤差情報 E ' より増加した場合、 ステップ S 4 6に進み、 制 御部 4 4は、 補正量△をオフセッ ト量 Sだけデク リメ ッ トし、 ステ ップ S 4 7に進む。 即ち、 この場合、 補正量△は、 誤差が増加する 前の値とされる。
ステップ S 4 7では、 制御部 4 4は、 捕正部 4 1 を制御すること によ り、 ステップ S 4 2又は S 4 6で得られた補正量△だけ注目画 素の画素値を補正させ、 これにより、 注目画素の画素値は、 適応処 理により予測値を得るのに、 予測誤差が最小となるような最適なも のに補正される。
そして、 ステップ S 4 8に進み、 全ての S D画素を注目画素と し て処理を行ったかどうかが判定される。 ステップ S 4 8において、 全ての S D画素を注目画素と して、 まだ処理を行っていないと判定 された場合、 ステップ S 3 1 に戻り、 まだ、 注目画素とされていな い S D画素を新たな注目画素と して、 同様の処理を跺り返す， また、 ステップ S 4 8において、 全ての S D画素を注目画素と して処理を 行ったと判定された場合、 処理を終了する。
以上のようにして、 S D画像の画素値は、 I I D画像の ΐ'測値を求 めるのに、 最適なものに最適化される。
次に、 図 1 7は、 図 3の適応処理部 2 4の構成例を示している。 予測タップ生成回路 5 1 には、 最適化部 2 3からの最適 S D画像 が供給されるようになされており、 そこでは、 図 ] 4の予測タップ 生成回路 4 2 Αにおける場合と同様に、 その画素値の L S B側の 2 ビッ トに配置されているタップパターンコ一ドが検出され、 そのタ ップパターンコードに従って、 予測タップが構成され、 ク ラス分類 適応処理回路 5 2に供給されるようになされている。
ク ラス分類適応処理回路 5 2には、 予測タップの他、 クラス分類 に使用される最適な S D画像及び元の H D画像も供給されるように なされており、 そこでは、 予測タップを構成する注目画素のクラス 分類が、 例えば、 図 1 3で説明した場合と同様にして行われ、 さら に、 その結果得られる各クラスについて、 予測タップと I I D画像を 用いて式 1 3に示した正規方程式がたてられるようになされている。 そして、 クラス分類適応処理回路 5 2は、 そのクラス毎の正規方程 式を解く ことにより、 新たな 4パターンの予測タップのそれぞれに ついての予測係数 wのセッ トを求めて出力するようになされている。 次に、 その動作について、 図 1 8のフローチャートを参照して説 明する。 予測タップ生成回路 5 1は、 最適 S D画像を受信すると、 ステップ S 5 1 において、 その最適 S D画素を構成する各 S D画素 に付加されているタップパターンコードを検出 （抽出） し、 ステツ プ S 5 2に進み、 その抽出したタップバタ一ンコ一ドに基づいて、 予測タップを形成する。 そして、 予測タップ生成回路 5 1は、 形成 した予測タップを、 クラス分類適応処理回路 5 2に出力する。 クラ ス分類適応処理回路 5 2は、 ステップ S 5 3において、 予測タップ を構成する注目画素のクラス分類を行い、 その結果得られる各クラ スについて、 予測タップと H D画像を用いて正規方程式をたてて解 く ことにより予測係数 wを求めて出力し、 処理を終了する。
これにより、 適応処理部 2 4では、 最適 S D画像から、 元の H D 画像を得るのに、 予測誤差を最も小さくする 4パターンの予測タッ プのそれぞれについてのクラス毎の予測係数 wのセッ トが求められ る。 これらの 4パタ一ンの予測タツプのそれぞれについてのクラス 毎の予測係数 wのセッ トは、 上述したよ うに、 最適化部 2 3 と予測 タップパターン判定部 2 6に供給され、 適応処理 （式 1 に示す線形 1次式の計算） に用いられる。
また、 適応処理部 2 4に他の実施例について説明する。 この他の 実施例において、 予測タップ生成回路 5 1は、 図 5の前処理部 2 1 の予測タップ生成回路 3 2 と同様に構成される。 つまり、 画素値の L S B側の 2 ビッ トに配置されているタップパターンコードが検出 され、 そのタップパターンコ一ドに従って予測タップを構成するの ではなく、 4パターンの予測タップを全てを構成し、 クラス分類適 応処理回路 5 2に供給する。 クラス分類適応処理回路 5 2は、 4パ ターンの予測タップにそれぞれに対応する 4つの予測係数を算出す るためのクラス分類適応処理回路 （輝度信号用） を備えており、 こ のクラス分類適応処理回路のそれぞれは、 図 2 6で示されるクラス 分類適応処理 （予測係数、 予測値算出） 回路 3 3のうちの 1 つのク ラス分類適応処理回路の一部と同様の構成である。
つまり、 各クラス分類適応処理回路に、 各 H D画像に対する各バ ターンの予測タップ及びクラス分類用の最適 S D画素が供給され、 それぞれクラス分類が行われる。 そして、 各クラス分類適応処理回 路において、 1 フレームの H D画素と、 その H D画素に対する予測 タップとがそれぞれ教師データメモリ及び予測タップメモリにクラ ス毎に記憶される。 その後、 各ク ラス分類適応処理回路のそれぞれ において、 図 2 4の学習装置の動作と同様の動作により、 4パター ンの予測タップについての新たなクラス毎の予測係数のセッ 卜が生 成される。
次に、 図 1 9は、 図 3の予測タップパターン判定部 2 6の構成例 を示している。
予測タップパターン判定部 2 6は、 同図に示すように、 予測タツ プ生成回路 6 1 、 クラス分類適応処理回路 6 2、 予測誤差算出回路 6 3、 及びタツプパターンコ一 ド変更回路 6 4から構成されており、 これらの予測タップ生成回路 6 1 、 クラス分類適応処理回路 6 2 、 予測誤差算出回路 6 3、 又はタップパターンコー ド変更回路 6 4は、 図 5における前処理部 2 1 の予測タップ生成回路 3 2、 クラス分類 適応処理 （予測係数、 予測値算出） 回路 3 : 予測誤差算出回路 3 4、 又はタップパターンコード付加回路 3 6 と基本的に同様に構成 されている。
次に、 図 2 0のフローチャー トを参照して、 その動作について説 明する。
予測タップパターン判定部 2 6には、 最適 S D画像、 4パターン の予測タ ップのそれぞれについてのクラス毎の予測係数 wのセッ ト、 H D画像が供給されるようになされており、 最適 S D画像は、 予測 タップ生成回路 6 1 とタップパターンコ一ド変更回路 6 4に供給さ れ、 また、 4パターンの予測タップのそれぞれについてのクラス毎 の予測係数 wのセッ ト又は H D画像は、 クラス分類適応処理回路 6 2又は予測誤差算出回路 6 3にそれぞれ供給されるようになされて いる。
予測タップ生成回路 6 1 は、 最適 S D画像を受信すると、 ステツ プ S 6 1 において、 図 5の予測タップ生成回路 3 2 と同様に、 その うちの 1つを注目画 fと し、 その注目画素について、 図 7乃至図 1 0 に示した 4パタ一ンの予測タップを形成する。 そして、 この 4パタ ーンの予測タップは、 クラス分類適応処理回路 6 に出力される。 クラス分類適応処理回路 6 2は、 注目画素を対象に形成された 4 パターンの予測タップを受信すると、 ステップ S 6 2において、 そ の 4パターンの予測タップのそれぞれと、 対応するクラス毎の予測 係数 wのセッ 卜のそれぞれとを用いて、 式 1で表される線形 1次式 を計算し、 これによ り、 4パターンの予測タップのそれぞれから得 られる H D画像の I面素の予測値を求め、 予測誤差算出回路 6 3に出 力される。
予測誤差算出回路 6 3では、 ステップ S 6 3又は S 6 4において、 図 5の予測誤差算出回路 3 4が行う図 1 1のステップ S 1 4又は S 1 5における場合とそれぞれ同様の処理が行われ、 これにより、 4 パターンの予測タップのうち、 予測誤差を最小にするもののタップ パターンコードが、 タップパターンコード変更回路 6 4に出力され る。
タップパターンコ一ド変更回路 6 4では、 ステップ S 6 5におい て、 注目画素 （/&適 S D画像の S D I面素） の L S B側の 2 ビッ トに 付加されているタップパターンコー ドが、 予測誤差算出回路 6 3か ら供給されるタツプパターンコー ドに変更され、 ステップ S 6 6に 進む。
ステップ S 6 6では、 全ての S I〕画素を注目画素と して処理が行 われたかどうかが判定され、 まだ、 全ての S D画素を注目画素と し ていないと判定された場合、 ステップ S 6 1 に戻り、 また注目画素 とされていない S D画素を新たに注目画素と して、 同様の処理を繰 り返す。 一方、 ステップ S 6 6において、 全ての S D画素を注目画 素と して処理を行ったと判定された場合、 処理を終了する。
予測タップパターン判定部 2 6では、 以上のように、 適応処理部 2 4で得られた 4パターンの予測タ ップのそれぞれにつレ、ての予測 係数 wのセッ トを用いて、 タップパターンコードが、 より予測誤差 が小さくなる予測タ ップに対応するものに変更される。
次に、 図 2 1は、 図 1 の受信装置 4の構成例を示している。
受信機/再生装置 7 1 においては、 記録媒体 2に記録された符号 化データが再生され、 又は伝送路 3を介して伝送されてく る符号化 データが受信され、 分離部 7 2に供給される。 分離部 7 2では、 符 号化データ力 、 S D画像の画像データと 4パターンの予測タップの それぞれについてのクラス毎の予測係数 wのセッ 卜に分離され、 S D画像の画像データは、 予測タップ生成回路 7 3に供給され、 4パ ターンの予測タップのそれぞれについてのクラス毎の予測係数 の セッ トは、 クラス分類適応処理回路 7 4に供給される。
予測タップ生成回路 7 3又はクラス分類適応処理回路 7 4は、 図 1 4に示した最適化部 2 3のローカルデコ一 ド部 4 2を構成する予 測タップ生成回路 4 2 Λ又はクラス分類適応処理回路 4 2 B (図 2 7 ) とそれぞれ同様に構成されている。 したがって、 ローカルデコ ード部 4 2における場合と同様にして、 H D画像の予測値が求めら れ、 これが復号画像と して出力される。 この復号画像は、 上述した ように、 元の画像とほぼ同一の画像となる。
なお、 受信側においては、 図 2 1 に示すような受信装置 4でなく ても、 問引きされた画像を単純な補間により復号する装置により、 予測係数を用いずに、 通常の補間を行う ことで復号画像を得ること ができる。 但し、 この場合に得られる復号画像は、 画質 （解像度） の劣化したものとなる。
以上のように、 H D画像を圧縮することにより得られる S D画像 を構成する画素のうちの 1つを注目画素と して、 その注目画素に対 して、 複数パターンの予測タップを形成し、 予測タップと予測係数 との線形結合により、 H D画像の予測値を求める適応処理を行い、 複数パターンの予測タップのそれぞれから得られる予測値の予測誤 差を算出し、 複数パターンの予測タップのうち、 最小の予測誤差が 得られるものに対応するタップパターンコ一ドを、 注目画素の画素 値に付加するようにしたので、 画像の局所的な特性に対応した予測 タップを用いて適応処理が行われ、 その結果、 より画質の良い復号 画像を得ることが可能となる。
また、 2 ビッ トのタツプパターンコードを、 画素ィ直の L S B側の 2 ビッ 卜に代えて配置するようにしたので、 データ量の増加を防止 することが可能となる。 なお、 タ ップパターンコードは、 画素値の L S B側に配置されるので、 それほど大きな画質の劣化はない。 さらに、 最適化部 2 3において、 誤差を最小にする予測タップを 用いて適応処理を行う ことにより、 S D画像を最適化するようにし たので、 元の H D画像をほぼ同一の復号画像を得ることが可能とな る。
また、 適応処理部 2 4において、 最適 S D画像を用いて適応処理 を行い、 複数パターンの予測タッブのそれぞれについてのクラス毎 の予測係数のセッ トを、 いわば、 より適切なものに更新し、 予測タ ップパターン判定部 2 6において、 その更新された複数パターンの 予測タ ップのそれぞれについてのクラス毎の予測係数のセッ トを用 いて、 予測タップを決め直すようにしたので、 さらに画質の向上し た復号画像を得ることが可能となる。
以上、 本発明を、 H D画像を符号化 Z復号する画像処理装置に適 用した場合について説明したが、 本発明は、 その他、 S D画像など の標準解像度の画像その他を符号化/復号する場合にも適用可能で ある。 即ち、 例えば、 N T S C方式などの標準方式のテレビジョ ン 信号を符号化 Z復号する場合にも適用可能である。 但し、 本発明は、 データ量の多い、 いわゆるハイビジョン方式のテレビジョン信号な どを符号化 Z復号する場合に、 特に有効である。 また、 本発明は、 いわゆる階層符号化を行う場合などにも適用可能である。
なお、 本実施の形態では、 輝度信号についてのみ、 複数パターン の予測タップを用意し、 色差信号については、 5 X 7画素の予測タ ップだけを用いるよ うにしたが、 色差信号も、 輝度信号と同様に処 理することが可能である。
また、 本実施の形態においては、 タップパターンコードを 2 ビッ トとするようにしたが、 タップパターンコー ドは 2 ビッ トに限定さ れるものではない。 但し、 より少ないビッ ト数であることが望まし レ、。
さらに、 本実施の形態では、 画素値の L S B側の 2 ビッ トに代え て、 タップパターンコードを配置するようにしたが、 タップパター ンコ一ドは、 画素値とは別に記録又は伝送することも可能である。 また、 本実施の形態では、 前処理部 2 1 で前処理し、 最適化部 2 3で最適化した最適 S D画像を用いて、 予測係数を更新し、 その予 測係数を用いて、 再度、 タップパターンコー ドを決め直すようにし たが、 前処理部 2 1 で前処理し、 最適化部 2 3で最適化した最適 S D画像を、 そのまま符号化データとすることも可能である。 この場 合、 復号画像の画質 （S Z N ) は、 タップパターンコードを決め直 す場合に比較して、 多少劣化するが、 処理の高速化を図ることが可 能となる。
さらに、 本実施の形態では、 3 X 3， 5 X 3 , 3 X 5， 7 X 5画 素の 4パターンの予測タップを用いるようにしたが、 これ以外の、 例えば、 1 X 5や 5 X 1.画素などの予測タップを用いるようにする ことも可能である。 また、 予測タ ップのパターンも 4種類に限定さ れるものではない。 さらに、 本実施の形態では特に言及しなかったが、 画素値に、 タ ップパターンコードを付加した後は、 そのタップパターンコードが 付加された L S B側の 2ビッ トを所定値にしたものを画素値と して 処理しても良いし、 また、 タップパターンコードも含めて画素値と し、 処理を行うようにしても良い。 なお、 本件発明者が行った実験 によれば、 タップパターンコードも含めて画素値と した場合、 その タップパターンコー ドの部分を所定値と しての 0と した場合に比較 して、 S Z Nは多少劣化するが、 階調が多少向上するという結果が 得られている。
また、 図 1 5においては、 注目画素の画素値を、 オフセッ ト量 S と しての 4又は 1ずつ補正することによ り、 予測誤差 Eが最初に極 小となる補正量△を検出するようにしたが、 その他、 例えば、 注目 画素の画素値がと り得る値全てについて予測誤差 Eを求め、 その最 小値を検出し、 その場合の補正量△によって、 注目画素の画素値を 補正するようにすることも可能である。 この場合、 処理に時間を要 することとなるが、 より S Z Nの高い復号画像を得ることが可能と なる。
さらに、 このように注目画素の画素値がと り得る値全てについて 予測誤差 Eを求める場合には、 注目画素フ画素値の初期値は、 どの ような値 （但し、 注目画素の画素値がと り得る範囲内の値） であつ ても良い。 即ち、 この場合、 初期値がどのような値であっても、 予 測誤差 Eを最小にする補正値△を求めることができる。 産業上の利用分野 本発明に係る画像符号化装置及び画像符号化方法では、 原画像信 号の画素数より少ない画素数の圧縮画像信号を発生し、 圧縮画像信 号を構成する画素のうちの 1つである注目画素に対して、 その注目 画素の近傍画素を用いて、 複数のパターンの予測画素を形成し、 複 数のパターンの予測画素のそれぞれと、 所定の予測係数とから、 原 画像信号を予測し、 その複数のパターンの予測画素に対する予測値 をそれぞれ出力し、 複数のパターンの予測画素に対する予測値のそ れぞれの、 原画像信号に対する予測誤差を算出し、 複数のパターン の予測画素のうち、 最小の予測誤差が得られる予測画素に対応する パターンコードを注目画素の画素値に付加する。 したがって、 その パターンコードに従って予測タップを形成して復号を行う ことで、 より画質の向上した復号画像を得ることが可能となる。
本発明に係る画像復号装置及び画像復号方法では、 圧縮画像信号 を受信し、 圧縮画像信号の注目画素の画素値に付加されたパターン コー ドに対応するパターンの予測画像を形成し、 形成部で形成され た予測画素と、 所定の予測係数とから原画像信号を予測し、 原画像 信号を出力する。 したがって、 より原画像に近い予測値を得ること が可能となる。
本発明に係る記録媒体には、 画像復号装置によって復号可能な圧 縮画像信号が記録されている。 この圧縮画像信号は、 原画像信号の 画素数より少ない画素数の圧縮画像信号を発生し、 圧縮画像信号を 構成する画素のうちの】 つである注目画素に対して、 その注目画素 の近傍画素を用いて、 複数のパターンの予測画素を形成し、 複数の パターンの予測画素のそれぞれと、 所定の予測係数とから、 原画像 信号を予測し、 その複数のパターンの予測画素に対する予測値をそ れぞれ出力し、 複数のパターンの予測画素に対する予測値のそれぞ れの、 原画像信号に対する予測誤差を算出し、 複数のパターンの予 測画素のうち、 最小の予測誤差が得られる予測画素に対応するバタ —ンコ一ドを注目画素の画素値に付加することによって形成されて いる。 したがって、 そのパターンコードに従って予測タップを形成 して復号を行うことで、 より画質の向上した復号画像を得ることが 可能となる。
なお、 本発明の主旨を逸脱しない範囲において、 様々な変形ゃ応 用例が考えられる。 したがって、 本発明の要旨は、 実施例に限定さ れるものではない。

Claims

請求の範囲
1 . 画像信号を符号化する画像符号化装置において、
原画像信号の画素数より少ない画素数の圧縮画像信号を発生する 圧縮部と、
上記圧縮画像信号を構成する画素のうちの 1つである注目画素に 対して、 その注目画素の近傍画素を用いて、 複数のパターンの予測 画素を形成する第 1 の形成部と、
上記複数のパターンの予測画素のそれぞれと、 所定の予測係数と から、 上記原画像信号を予測し、 その複数のパターンの予測画素に 対する予測値をそれぞれ出力する第 1 の予測部と、
上記複数のパターンの予測画素に対する予測値のそれぞれの、 上 記原画像信号に対する予測誤差を算出する第 1 の算出部と、
上記複数のパターンの予測画素のうち、 最小の予測誤差が得られ る予測画素に対応するパターンコー ドを上記注目画素の画素値に付 加する付加部とを備える画像符号化装置。
2 . 上記付加部は、 上記注目画素の画素値の L S B ( Least Si gn i f i cant Bi t) 側の Nビッ 卜に代えて、 上記パターンコードを配置する ことを特徴とする請求の範囲第 1項に記載の画像符号化装置。
3 . 上記第 1 の予測部は、 上記原画像信号と上記圧縮画像信号とに 基づいて、 上記所定の予測係数を演算する演算部を備えることを特 徴とする請求の範囲第 1項に記載の画像符号化装置。
4 . 上記第 1の予測部は、 上記注目画素を所定のクラスに分類する クラス分類部を備え、
上記演算部は、 上記原画像信号と上記圧縮画像信号とに基づいて、 クラス毎に上記所定の予測係数を演算し、
上記第 1の予測部は、 上記注目画素のクラスに対応する予測係数 と予測タップとから上記予測値を予測することを特徴とする請求の 範囲第 3項に記載の画像符号化装置。
5 . 上記演算部は、 複数のパターンの予測画素のそれぞれについて、 上記所定の予測係数を演算することを特徴とする請求の範囲第 3項 に記載の画像符号化装置。
6 . 上記演算部は、 複数のパターンの予測画素のそれぞれについて、 クラス毎に上記予測係数を演算し、
上記第 1の予測部は、 複数のパターンの予測画素のそれぞれにつ いて、 上記注目画素のクラスに対応する予測係数と上記予測タップ とから上記予測値を予測することを特徴とする請求の範囲第 4項に 記載の画像符号化装置。
7 . さらに、
上記圧縮画像信号を最適な圧縮画像信号に変換する最適化部を備 え、
上記最適化部は、
上記注目画素の画素値に付加された上記パターンコードに対応す るパターンの予測画素を形成する第 2の形成部と、
上記第 2の形成部で形成された上記予測画素と、 上記所定の予測 係数とから、 上記原画像信号を予測し、 上記原画像信号の予測値を 出力する第 2の予測部と、
上記第 2の予測部で予測された上記原画像信号の予測値の、 上記 原画像信号に対する予測誤差を算出する第 2の算出部と、
上記第 2の算出部で算出された予測誤差に対応して、 上記注目画 素の画素値を補正する補正部とを備えることを特徴とする請求の範 囲第 1項乃至第 6項のいずれか 1項に記載の画像符号化装置。
8 . 上記最適化部は、 上記圧縮画像信号が最適な圧縮画像信号とな るまで、 上記第 2の最適部の動作を繰り返すことを特徴とする請求 の範囲第 7項に記載の画像符号化装置。
9 . さらに、
上記最適化部の繰り返し動作の問に、 繰り返し動作中の圧縮画像 信号と上記原画像信号とに基づいて、 上記第 2の予測部で予測され た上記原画像信^の予測値の、 上記原画像信号に対する予測誤差を 小さくするように、 上記所定の予測係数を修正し、 修正された所定 の予測係数を出力する修正部を備え、
上記第 1の予測部と上記第 2の予測部は、 上記修正された所定の 予測係数を用いて予測値を予測するようになされていることを特徴 とする請求の範囲第 8項に記載の画像符号化装置。
1 0 . さらに、
上記圧縮画像信号と上記所定の予測係数を出力する出力部を備え ることを特徴とする請求の範囲第 1項、 第 3項乃至第 6項のいずれ か 1項に記載の画像符号化装置。
1 1 . 上記圧縮画像信号と上記所定の予測係数を出力する出力部を 備えることを特徴とする請求の範囲第 9項に記載の画像符号化装置。
1 2 . 画像信号を符号化する画像符号化方法において、
原画像信号の画素数より少ない画像数の圧縮画像信号を発生する 圧縮ステップと、
上記圧縮画像信号を構成する画素のうちの 1つである注目画素に 対して、 その注目画素の近傍画素を用いて、 複数のパターンの予測 画素を形成する第 1の形成ステップと、
上記複数のパターンの予測画素のそれぞれと、 所定の予測係数と から、 上記原画像信号を予測し、 その複数のパターンの予測画素に 対する予測値をそれぞれ出力する第 1の予測ステップと、
上記複数のパターンの予測画素に対する予測値のそれぞれの、 上 記原画像信号に対する予測誤差を算出する第 1の算出ステップと、 上記複数のパターンの予測画素のうち、 最小の予測誤差が得られ る予測画素に対応するパターンコードを上記注目画素の画素値に付 加する付加ステップとを有する画像符号化方法。
1 3. 上記付加ステップは、 上記注目画素の画素値の L S B (Leas t Significant Bit) 側の Nピッ 卜に代えて、 上記パターンコ一 ドを 配置することを特徴とする請求の範囲第 1 2項に記載の画像符号化 方法。
1 4. 上記第 1の予測ステップは、 上記原画像信 と上記圧縮画像 信号とに基づいて、 上記所定の予測係数を演算する演算ステップを 有することを特徴とする請求の範囲第 1 2項に記載の画像符号化方 法。
1 5. 上記第 1の予測ステップは、 上記注目画素を所定のクラスに 分類するクラス分類ステップを有し、
上記演算ステップは、 上記原画像信号と上記圧縮画像信号とに基 づいて、 クラス毎に上記所定の予測係数を演算し、
上記第 1の予測ステップは、 上記注目画素のクラスに対応する予 測係数と予測タップとから上記予測値を予測することを特徴とする 請求の範囲第 1 4項に記載の画像符号化方法。
1 6. 上記演算ステップは、 複数のパターンの予測画素のそれぞれ について、 上記所定の予測係数を演算することを特徴とする請求の 範囲第 1 4項に記載の画像符号化方法。
1 7 . 上記演算ステップは、 複数のパターンの予測画素のそれぞれ について、 クラス毎に上記予測係数を演算し、
上記第 1 の予測ステップは、 複数のパターンの予測画素のそれぞ れについて、 上記注目画素のクラスに対応する予測係数と上記予測 タップとから上記予測値を予測することを特徴とする請求の範囲第
1 5項に記載の画像符号化方法。
1 8 . さらに、
上記圧縮画像信号を最適な圧縮画像信号に変換する最適化ステツ プを有し、
上記最適化ステツプは、
上記注目画素の画素値に付加された上記パターンコードに対応す るパターンの予測画素を形成する第 2の形成ステップと、
上記第 2の形成ステップで形成された上記予測画素と、 上記所定 の予測係数とから、 上記原画像信号を予測し、 上記原画像信号の予 測値を出力する第 2の予測ステップと、
上記第 2の予測ステツプで予測された上記原画像信号の予測値の、 上記原画像信号に対する予測誤差を算出する第 2の算出ステップと、 上記第 2の算出ステップで算出された予測誤差に対応して、 上記 注目画素の画素値を補正する補正ステップとを有することを特徴と する請求の範囲第 1 2項乃至第 1 7項のいずれか 1項に記載の画像 符号化方法。
1 9 . 上記最適化ステップは、 上記圧縮画像信号が最適な圧縮画像 信号となるまで、 上記第 2の最適ステップの動作を繰り返すことを 特徴とする請求の範囲第 1 8項に記載の画像符号化方法。
2 0 . さらに、
上記最適ステップの繰り返し動作の間に、 繰り返し動作中の圧縮 画像信号と上記原画像信号とに基づいて、 上記第 2の予測ステップ で予測された上記原画像信号の予測値の、 上記原画像信号に対する 予測誤差を小さくするように、 上記所定の予測係数を修正し、 修正 された所定の予測係数を出力する修正ステツプを有し、
上記第 1 の予測ステップと上記第 2の予測ステップは、 上記修正 された所定の予測係数を用いて予測値を— f'測するようになされてい ることを特徴とする請求の範囲第 1 9項に記載の画像符号化方法。
2 1 . さらに、
上記圧縮画像信号と上記所定の予測係数を出力する出力ステップ を有することを特徴とする請求の範囲第 1 2項乃至第 1 7項のいず れか 1項に記載の画像符^化方法。
2 2 . 上記圧縮画像信号と上記所定の予測係数を出力する出力ステ ップを有する
ことを特徴とする請求の範囲第 2 0項に記載の画像符号化方法。
2 3 . さらに、
上記圧縮画像信号を最適な圧縮信号に変換する最適化部を備えるこ とを特徴とする請求の範囲第 1項乃至第 6項のいずれか 1項に記載 の画像符号化装置。
2 4 . さらに、
上記圧縮画像信号を最適な圧縮信号に変換する最適化ステップを 有することを特徴とする請求の範囲第 1 2項乃至第 1 7項のいずれ か 1項に記載の画像符号化方法。
2 5. 圧縮画像信号を元の画像信号に復号する画像復号装置におい て、
上記圧縮画像信号を受信する受信部と、
上記圧縮画像信号の注目画素の画素値に付加されたパターンコー ドに対応するパターンの予測画像を形成する形成部と、
上記形成部で形成された上記予測画素と、 所定の予測係数とから 原画像信号を予測し、 上記原画像信号を出力する予測部とを備える 画像復号装置。
2 6. 上記パターンコードは、 上記注目画素の画素値 L S B (Leas t Significant Bit) 側の Nピッ 卜に代えて、 上記注目画素に配置さ れていることを特徴とする請求の範囲第 2 5項に記載の画像復号装
2 7. 上記所定の予測係数は、 上記原画像信号と上記圧縮画像信号 とに基づいて演算されていることを特徴とする請求の範 ffl第 2 5項 に記載の画像復号装置。
2 8. 上記予測部は、 上記注目画素を所定のク ラスに分類するクラ ス分類部を備え、
上記所定の予測係数は、 上記原画像信号と上記圧縮画像信号とに 基づいて、 クラス毎に演算されており、
上記予測部は、 上記注目画素のクラスに対応する予測係数と予測 タップとから上記予測値を予測することを特徴とする請求の範囲第 2 7項に記載の画像復号装置。
2 9. 上記所定の予測係数は、 複数のパターンの予測画素のそれぞ れについて演算されていることを特徴とする請求の範囲第 2 7項に 記載の画像復号装置。
3 0 . 上記所定の予測係数は、 複数のバターンの予測画素のそれぞ れについて、 クラス毎に演算されており、
上記予測部は、 複数のパターンの予測画素のそれぞれについて、 上記注目画素のクラスに対応する予測係数と上記予測タップとから 上記予測値を予測することを特徴とする請求の範囲第 2 9項に記載 の画像復号装置。
3 1 . 上記圧縮画像信号は、 上記所定の予測係数に含んでおり、 さらに、 上記圧縮画像信号と上記所定の予測係数を分離し、 上記所 定の予測係数を予測部に供給する分離部を備えることを特徴とする 請求の範囲第 2 5項乃至第 3 0項のいずれか 1項に記載の画像復号
3 2 . 圧縮画像信号を元の画像信号に復号する画像復号方法におい て、
上記圧縮画像信号を受信する受信ステップと、
上記圧縮画像信号の注目画素の画素値に付加されたパターンコー ドに対応するパターンの予測画素を形成する形成ステップと、 上記形成ステップで形成された上記予測画素と、 所定の予測係数 とから原画像信号を予測し、 上記原画像信号を出力する予測ステツ プとを有する画像復号方法。
3 3 . 上記パターンコードは、 上記注目画素の画素値の L S B ( Le ast S i gn i f i cant B i t ) 側の Nピッ 卜に代えて、 上記注目画素に配 置されていることを特徴とする請求の範囲第 3 2項に記載の画像復 号方法。
3 4 . 上記所定の予測係数は、 上記原画像信号と上記圧縮画像信号 とに基づいて、 演算されていることを特徴とする請求の範囲第 3 2 項に記載の画像復号方法。
3 5 . 上記予測ステップは、 上記注目画素を所定のクラスに分類す るクラス分類ステツプを有し、
上記所定の予測係数は、 上記原画像信号と上記圧縮画像信号とに 基づいて、 クラス毎に演算されており、
上記予測ステップは、 上記注目画素のクラスに対応する予測係数 と予測タップとから上記予測値を予測することを特徴とする請求の 範囲第 3 4項に記載の画像復号方法。
3 6 . 上記所定の予測係数は、 複数のパターンの予測画素のそれぞ れについて、 演算されていることを特徴とする請求の範囲第 3 4項 に記載の画像復号方法。
3 7 . 上記所定の予測係数は、 複数のパターンの予測画素のそれぞ れについて、 クラス毎に演算されており、
上記予測ステップは、 複数のパターンの予測画素のそれぞれにつ いて、 上記注目画素のクラスに対応する予測係数と上記予測タップ とから上記予測値を予測することを特徴とする請求の範囲第 3 6項 に記載の画像復号方法。
3 8 . 上記圧縮画像信号は、 上記所定の予測係数を含んでおり、 さらに、
上記圧縮画像信号と上記所定の予測係数を分離する分離ステツプ を有することを特徴とする請求の範囲第 3 2項乃至第 3 7項のいず れか 1項に記載の画像復号方法。
3 9 . 画像復号装置によって復号可能な圧縮画像信号が記録された 記録媒体において、
上記圧縮画像信号は、 原画像信号の画素数より少ない画素数の圧縮画像信号を発生する圧 縮ステップと、
上記圧縮画像信号を構成する画素のうちの 1つである注目画素に 対して、 その注目画素の近傍画素を用いて、 複数のパターンの予測 画素を形成する形成ステップと、
上記複数のパターンの予測画素のそれぞれと、 所定の予測係数と から、 上記原画像信号を予測し、 その複数のパターンの予測画素に 対する予測値をそれぞれ出力する予測ステップと、
上記複数のパターンの予測画素に対する予測値のそれぞれの、 上 記原画像信号に対する予測誤差を算出する算出ステップと、 上記複数のパターンの予測画素のうち、 最小の予測誤差が得られ る予測画素に対応するパターンコードを上記注目画素の画素値に付 加する付加ステップとによって形成されていることを特徴とすろ記 録媒体。
4 0 . 上記所定の予測係数は、 上記記録媒体に記録されていること を特徴とする請求の範囲第 ,3 9項に記載の記録媒体。
PCT/JP1997/004913 1996-12-26 1997-12-26 Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium WO1998030028A1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
IL12586697A IL125866A (en) 1996-12-26 1997-12-26 Method and device for compressing an original picture signal to a compressed picture signal and for decoding a compressed picture signal to an original picture signal
EP97950443A EP0891101B1 (en) 1996-12-26 1997-12-26 Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium
DE69712880T DE69712880T2 (de) 1996-12-26 1997-12-26 Vorrichtung und verfahren zur bildkodierung und -dekodierung sowie aufzeichnungsmedium
US09/136,148 US6160845A (en) 1996-12-26 1998-08-18 Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium
US09/562,197 US6339615B1 (en) 1996-12-26 2000-05-02 Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP34730996 1996-12-26
JP8/347309 1996-12-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US09/136,148 Continuation US6160845A (en) 1996-12-26 1998-08-18 Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium

Publications (1)

Publication Number Publication Date
WO1998030028A1 true WO1998030028A1 (en) 1998-07-09

Family

ID=18389352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1997/004913 WO1998030028A1 (en) 1996-12-26 1997-12-26 Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium

Country Status (6)

Country Link
EP (1) EP0891101B1 (ja)
KR (1) KR100504415B1 (ja)
CN (1) CN1163076C (ja)
DE (1) DE69712880T2 (ja)
IL (1) IL125866A (ja)
WO (1) WO1998030028A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1033884A4 (en) * 1998-09-18 2001-03-14 Sony Corp DATA CONVERSION DEVICE AND METHOD, AND CORRESPONDING RECORDING MEDIUM
US7366660B2 (en) 2001-06-26 2008-04-29 Sony Corporation Transmission apparatus, transmission method, reception apparatus, reception method, and transmission/reception apparatus

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1037471B1 (en) 1998-10-05 2012-02-08 Sony Corporation Image transform device and method and recording medium
EP1073279A4 (en) * 1999-02-19 2006-04-05 Sony Corp PICTURE SIGNAL PROCESSOR, PICTURE SIGNAL PROCESSING METHOD, LEARNING DEVICE, LERMETHOID AND RECORDING MEDIUM
US6658155B1 (en) 1999-03-25 2003-12-02 Sony Corporation Encoding apparatus
WO2001065847A1 (en) 2000-02-29 2001-09-07 Sony Corporation Data processing device and method, and recording medium and program
CN1169303C (zh) * 2000-05-09 2004-09-29 索尼公司 数据处理装置和方法以及记录介质
JP4691812B2 (ja) * 2001-03-29 2011-06-01 ソニー株式会社 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法
JP4224690B2 (ja) * 2002-12-27 2009-02-18 ソニー株式会社 記録方法、記録装置、再生方法、再生装置および撮像装置
WO2008095190A2 (en) * 2007-02-01 2008-08-07 Museami, Inc. Music transcription
CN105631905A (zh) * 2014-10-29 2016-06-01 新相微电子（开曼）有限公司 一种用于tft-lcd驱动ic的图像压缩算法及控制装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6348088A (ja) * 1986-08-15 1988-02-29 Sony Corp ディジタル画像信号の補間装置及び補間方法
JPH0265372A (ja) * 1988-08-30 1990-03-06 Canon Inc 画像の符号化方法及び装置
JPH036185A (ja) * 1989-06-01 1991-01-11 Matsushita Electric Ind Co Ltd 映像信号ディジタル伝送装置
JPH0335678A (ja) * 1989-06-30 1991-02-15 Mitsubishi Electric Corp ディジタル信号処理装置
JPH05506975A (ja) * 1990-06-13 1993-10-07 ノーザン・テレコム・リミテッド ディジタルビデオ信号圧縮
JPH0746548A (ja) * 1993-07-30 1995-02-14 Sony Corp ディジタル画像信号処理装置
JPH0779418A (ja) * 1993-06-18 1995-03-20 Sony Corp 画像信号変換装置
JPH0795591A (ja) * 1993-09-21 1995-04-07 Sony Corp ディジタル画像信号処理装置
JPH07154642A (ja) * 1993-11-25 1995-06-16 Sony Corp ディジタル画像信号処理装置
JPH0846934A (ja) * 1994-08-01 1996-02-16 Sony Corp ディジタル画像信号の処理装置
JPH0851598A (ja) * 1994-08-04 1996-02-20 Sony Corp 画像情報変換装置
JPH0884336A (ja) * 1994-09-09 1996-03-26 Sony Corp 画像信号伝送装置
JPH0884335A (ja) * 1994-09-10 1996-03-26 Sony Corp 画像信号処理方法及び画像信号伝送装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0533195A2 (en) * 1991-09-20 1993-03-24 Sony Corporation Picture signal encoding and/or decoding apparatus
KR100360206B1 (ko) * 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
FI97096C (fi) * 1994-09-13 1996-10-10 Nokia Mobile Phones Ltd Videonkompressiomenetelmä

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6348088A (ja) * 1986-08-15 1988-02-29 Sony Corp ディジタル画像信号の補間装置及び補間方法
JPH0265372A (ja) * 1988-08-30 1990-03-06 Canon Inc 画像の符号化方法及び装置
JPH036185A (ja) * 1989-06-01 1991-01-11 Matsushita Electric Ind Co Ltd 映像信号ディジタル伝送装置
JPH0335678A (ja) * 1989-06-30 1991-02-15 Mitsubishi Electric Corp ディジタル信号処理装置
JPH05506975A (ja) * 1990-06-13 1993-10-07 ノーザン・テレコム・リミテッド ディジタルビデオ信号圧縮
JPH0779418A (ja) * 1993-06-18 1995-03-20 Sony Corp 画像信号変換装置
JPH0746548A (ja) * 1993-07-30 1995-02-14 Sony Corp ディジタル画像信号処理装置
JPH0795591A (ja) * 1993-09-21 1995-04-07 Sony Corp ディジタル画像信号処理装置
JPH07154642A (ja) * 1993-11-25 1995-06-16 Sony Corp ディジタル画像信号処理装置
JPH0846934A (ja) * 1994-08-01 1996-02-16 Sony Corp ディジタル画像信号の処理装置
JPH0851598A (ja) * 1994-08-04 1996-02-20 Sony Corp 画像情報変換装置
JPH0884336A (ja) * 1994-09-09 1996-03-26 Sony Corp 画像信号伝送装置
JPH0884335A (ja) * 1994-09-10 1996-03-26 Sony Corp 画像信号処理方法及び画像信号伝送装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0891101A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1033884A4 (en) * 1998-09-18 2001-03-14 Sony Corp DATA CONVERSION DEVICE AND METHOD, AND CORRESPONDING RECORDING MEDIUM
US7366660B2 (en) 2001-06-26 2008-04-29 Sony Corporation Transmission apparatus, transmission method, reception apparatus, reception method, and transmission/reception apparatus

Also Published As

Publication number Publication date
EP0891101B1 (en) 2002-05-29
IL125866A (en) 2003-01-12
DE69712880D1 (de) 2002-07-04
EP0891101A1 (en) 1999-01-13
CN1163076C (zh) 2004-08-18
DE69712880T2 (de) 2002-11-14
CN1215529A (zh) 1999-04-28
KR100504415B1 (ko) 2005-11-22
KR19990087262A (ko) 1999-12-15
IL125866A0 (en) 1999-04-11
EP0891101A4 (en) 2000-04-12

Similar Documents

Publication Publication Date Title
JP3748088B2 (ja) 画像処理装置および方法、並びに学習装置および方法
KR100529662B1 (ko) 화상코딩및디코딩장치,및계층적코딩및디코딩방법
US5912708A (en) Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium
EP0820196A2 (en) Hierarchic image encoding
WO1998030028A1 (en) Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium
KR100537123B1 (ko) 화상 신호 부호화 장치, 화상 신호 부호화 방법, 화상 신호 복호 장치, 화상 신호 복호 방법 및 기록매체
JP3915855B2 (ja) 画像符号化装置および画像符号化方法、並びに学習装置および学習方法
EP0825776B1 (en) Image coding using sub-sampling, classification of pixel blocks and association of mapping coefficients
US6160845A (en) Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium
EP0820198B1 (en) Apparatus and method for image coding and decoding
JP3844030B2 (ja) 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法
JP3844031B2 (ja) 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法
JP3912558B2 (ja) 画像符号化装置および画像符号化方法、並びに記録媒体
JP4534951B2 (ja) 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体
JPH10191353A (ja) 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
JPH08307835A (ja) クラス分類適応処理装置および方法
JP3912628B2 (ja) 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体
KR100674068B1 (ko) 화상 코딩 장치, 화상 코딩 방법, 화상 디코딩 방법, 화상디코딩 장치, 화상 데이터 전송 방법 및 기록 매체
KR100598754B1 (ko) 원 화상 데이타 부호화 장치, 부호화 화상 데이타 복호화 장치, 원 화상 데이타 부호화 방법, 부호화 화상 데이타 복호화 방법, 화상 데이타 송신 방법, 컴퓨터로 판독 가능한 기록 매체
JP4487900B2 (ja) 画像処理システム
JP4807349B2 (ja) 学習装置および方法
JP4566877B2 (ja) 画像処理装置および方法
JP4496494B2 (ja) 画像符号化装置および画像符号化方法
EP1298934A1 (en) Apparatus and method for image coding and decoding
JP2000102006A (ja) 画像データ変換装置及び画像データ変換方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 97193646.3

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN IL KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 09136148

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1997950443

Country of ref document: EP

Ref document number: 1019980706663

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1997950443

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019980706663

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 09562197

Country of ref document: US

WWG Wipo information: grant in national office

Ref document number: 1997950443

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1019980706663

Country of ref document: KR