WO2005107267A1 - 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法 - Google Patents

画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法 Download PDF

Info

Publication number
WO2005107267A1
WO2005107267A1 PCT/JP2004/006169 JP2004006169W WO2005107267A1 WO 2005107267 A1 WO2005107267 A1 WO 2005107267A1 JP 2004006169 W JP2004006169 W JP 2004006169W WO 2005107267 A1 WO2005107267 A1 WO 2005107267A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
prediction
self
code
encoded
Prior art date
Application number
PCT/JP2004/006169
Other languages
English (en)
French (fr)
Inventor
Tomokazu Murakami
Yoshinori Suzuki
Original Assignee
Hitachi, Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi, Ltd. filed Critical Hitachi, Ltd.
Priority to JP2006512698A priority Critical patent/JP5037938B2/ja
Priority to PCT/JP2004/006169 priority patent/WO2005107267A1/ja
Priority to US11/066,169 priority patent/US8787456B2/en
Publication of WO2005107267A1 publication Critical patent/WO2005107267A1/ja
Priority to US14/295,525 priority patent/US8923387B2/en
Priority to US14/551,114 priority patent/US8971403B1/en
Priority to US14/624,889 priority patent/US9118924B2/en
Priority to US14/796,573 priority patent/US9277225B2/en
Priority to US14/796,413 priority patent/US9270998B2/en
Priority to US14/796,650 priority patent/US9277226B2/en
Priority to US14/796,505 priority patent/US9319687B2/en
Priority to US15/087,937 priority patent/US9414083B1/en
Priority to US15/088,074 priority patent/US9432681B2/en
Priority to US15/087,752 priority patent/US9414082B1/en
Priority to US15/088,218 priority patent/US9414084B1/en
Priority to US15/221,893 priority patent/US9549195B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes

Definitions

  • the present invention relates to an image encoding / decoding apparatus, an encoding / decoding program, and an encoding / decoding method.
  • the present invention is for encoding «! ⁇ Encoding device, «encoding program, 1 « encoding method, for decoding encoded (Elephant decoding device, decoding program, decoding method, coded! Record encoded stream
  • the present invention relates to an encoded medium and a method of describing encoded data.
  • Encoding methods such as MPEG (Moving Picture Experts Group) have been formulated as a method of recording and transmitting compressed elephant and audio information as compressed digital data. It is an international standard encoding system such as EG-2 standard and MP EG-4 standard.
  • the H.264 / AVC method uses the arithmetic modification ⁇ 1 which has been used in the MPEG etc. by motion compensation prediction and discrete cosine transform (DCT).
  • DCT discrete cosine transform
  • intra-coded prediction coding uses information from other pictures This technology predicts the signal level from encoded adjacent blocks in an intra-frame without the need for such a block.
  • FIG. 3 is an explanatory diagram of intra prediction coding.
  • the signal level of the pixel 304 of the prediction block 303 (the block to be predicted) is the already coded boundary pixel 310 of the adjacent block 301 (the pixel of the adjacent block 301).
  • the difference between the predicted value and the actual value (the remaining ) Is arithmetically transformed and encoded by DCT or the like.
  • the pixel 305 of the adjacent block which has not been encoded yet, cannot be used for prediction.
  • the direction “0: D C” is a mode in which the average value of the signal levels of all boundary pixels is used as the prediction value.
  • intra prediction coding cannot use pixels of adjacent blocks that have not been coded yet. For this reason, there is a difference in prediction accuracy depending on the prediction direction 360. For example, when a block is scanned by a raster scan method in which the screen is sequentially scanned from the upper left to the lower right, the prediction accuracy from the upper left to the lower right becomes higher. The prediction accuracy from the upper right to the lower left becomes lower.
  • conventional intra-prediction coding uses only boundary pixels to perform prediction, so that there is a PS problem that a continuous change in signal level inside a block cannot be predicted with sufficiently high accuracy. Normally, the pixel signal level changes gently.
  • prediction is performed by extending a boundary pixel by detecting a block boundary.
  • the present invention has been made in view of the above-described problems, and it has been proposed that, before performing intra prediction, an input image is inverted in a vertical direction or a horizontal direction, or is rotated at an arbitrary angle in a scanning direction. It is an object of the present invention to provide an encoding device capable of always performing intra prediction in a direction with high prediction accuracy without changing the encoding accuracy, and a corresponding decoding device.
  • this effort is intended to realize high-precision intra prediction using a predetermined interpolation formula using not only boundary pixels but also pixels inside a block at the time of intra prediction.
  • the purpose is to make a »decoding device compatible with.
  • an image conversion unit that converts a direction of the image, an encoding that encodes a disgusting image, and an image whose IfitS direction is converted is encoded.
  • the code amount of the key-self-encoded image is compared with the code amount of the image whose sneak-encoded direction has been changed.
  • a mode selection unit that outputs a flag indicating the code selected by the user.
  • an encoding device that encodes an image signal
  • information of a first pixel in a prediction area of a lift self image and one of the pixels in the prediction direction from the self first pixel are obtained.
  • a predictive value is calculated by applying the forward capture formula to the information of the three pixels, a second ⁇ with the predictive value is calculated, and a code for encoding the second difference of the selfish prediction region with lift And the code amount of the first and second t & fS of the lifts prediction area calculated in the multiple ⁇ prediction directions, and the code with the smallest lifts code amount is selected. And a mode selection unit that outputs a flag indicating whether the selected code is the first or second difference calculated for which l-prediction direction. Is done.
  • an encoding device that increases the compression ratio by always performing intra prediction in a direction with high prediction accuracy without changing the scanning direction, and corresponds to this! ⁇ You can use an elephant decoding device.
  • the present invention it is possible to provide an encoding device in which the compression ratio is increased by performing highly accurate intra prediction using pixels inside a block, and a decoding device corresponding thereto.
  • FIG. 1 is a block diagram illustrating a hardware configuration of an i-th encoding device according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating functions of the video encoding device according to the first embodiment of the present invention.
  • FIG. 3 is an explanatory diagram of intra prediction encoding.
  • FIG. 4 is an explanatory diagram of a video encoding method according to the first embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a hardware configuration of a video decoding device according to the second embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating functions of the video decoding device according to the second embodiment of the present invention.
  • FIG. 7 is an explanatory diagram of a video decoding procedure according to the second embodiment of this invention.
  • FIG. 8 is an explanatory diagram of an intra prediction method according to the third embodiment of this invention.
  • FIG. 9 is a block diagram illustrating functions of an intra prediction unit to which the intra prediction method according to the third embodiment of the present invention is applied.
  • FIG. 10 is an explanatory diagram of the procedure of the intra prediction according to the third embodiment of the present invention.
  • FIG. 11 is an explanatory diagram of a data recording medium according to a fourth embodiment of the present invention.
  • FIG. 12 is an explanatory diagram of a packet according to the fifth embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating a hardware configuration of an encoding device according to a first embodiment of the present invention.
  • the elephant encoding device 101 of the first embodiment includes a processor 102, a memory 103, an input interface (input IZF) 104, and an output interface that are communicably connected to each other. (Output I ZF) Consists of 106.
  • the input I / F 104 is connected to the input device 105.
  • the output I ZF 106 is connected to the output device 107.
  • the processor 102 is a processor that performs the processing of the elephant encoding of the present invention, executes a program stored in the memory 103, and encodes data received from the input I / F 104. And sends it to the output I ZF 106.
  • the program executed by the processor 102 is stored in the memory 103. Further, the data which is processed by the processor 102 is temporarily stored.
  • Encoding device 101 may be provided with a plurality of processors 102 and memories 103.
  • a dedicated processor that executes only a part of the program that performs the encoding process may be provided.
  • a plurality of processor powers S may be provided.
  • the processor 102 and the memory 103 may be implemented on a single chip.
  • the input IZF 104 is an interface that receives video data to be processed by the processor 102 from the input device 105.
  • the input device 105 is a device that inputs a video signal processed by the video encoding device 101 to the input I / F 104, and is, for example, a video camera or a TV tuner.
  • the input I / F 104 is, for example, a video capture card.
  • the input device 105 may be a storage device in which uncoded data is stored.
  • the input I / F 104 is, for example, an SCS I interface.
  • the output IZF 106 is an interface for transmitting the data encoded by the processor 102 to the output device 107.
  • the output device 107 is an output destination of the data encoded by the encoding device 101, and is, for example, a storage device that stores the encoded data.
  • the output IZF 106 is, for example, an SCS I interface.
  • the output device 107 may be a computer device connected to the output I / F 106 via a LAN, an IP network, or the like (not shown).
  • the output IZF 106 is a network interface.
  • the output device 107 may be a reception device connected to the output I / F 106 via an fg communication network (not shown).
  • This: ⁇ , Output I / F 106 is a transmitter for the tongue signal.
  • the output device 107 may be a digital TV receiver.
  • the ⁇ :, 'output I / F 106 is a digital TV signal transmitter.
  • the encoding device 101 includes a plurality of input I / Fs 104 and a plurality of output I / Fs 106. Even if different types of input devices and output devices are connected to the respective input I / Fs 104 and output IZFs 106. Good.
  • the encoding device 101 has two outputs IZF 106, one of which is connected to a hard disk device, One may be connected to a magneto-optical disk drive. Further, a hard disk device may be connected to one side, and a computer device may be connected to the other side via a LAN or the like.
  • FIG. 2 is a block diagram illustrating functions of the »encoding device 101 according to the first embodiment of the present invention.
  • the encoding device 101 includes an original image memory 201, an image conversion unit 202, an encoding unit 203, a mode control unit 212, and a mode selection unit 214.
  • the original image memory 201 is a partial area of the memory 103, and the image conversion unit 202, the mode control unit 21 3 and the mode selection unit 2 14 And is executed by the processor 102.
  • the encoding unit 203 includes a motion prediction unit 204, an intra prediction unit 205, an arithmetic conversion unit 206, and a quantization unit 2 which are programs implemented by the processor 102.
  • the original image memory 201 temporarily buffers the original image to be encoded.
  • the image conversion unit 20.2 converts the whole or a part of the frame of the image acquired from the original image memory 20.1.
  • the part of the frame may be, for example, a macroblock or a block obtained by dividing the frame into a predetermined size, or a predetermined rectangular area.
  • encoding is performed in units of macro blocks.
  • the image conversion unit 202 may divide the data obtained by performing the conversion process on the entire frame into macroblock units and transmit the data to the encoding unit 203, or may divide the frame into macroblock units. May be converted. Information on whether or not the conversion process has been performed is transmitted to the mode control unit 21.
  • the conversion process performed by the image conversion unit 202 is a process of converting the direction of an image.
  • image Examples of the process of converting the direction of a line include, for example, a left-right conversion that flips a frame left and right, a symmetric conversion that flips a frame up and down, and a line conversion such as a rotation conversion that rotates a frame.
  • a left-right conversion that flips a frame left and right
  • a symmetric conversion that flips a frame up and down
  • a line conversion such as a rotation conversion that rotates a frame.
  • the encoding unit 203 acquires the image subjected to the left-right symmetry conversion and the image not converted by the image conversion unit 202, and sequentially encodes each image.
  • a plurality of encoding units 203 may be provided, and each image may be encoded by the two encoding units 203 in parallel.
  • a plurality of encoding units 203 are provided.
  • the encoding device 101 is provided with a plurality of dedicated processors 102 that execute only the program of the encoding unit 203.
  • the motion prediction unit 204 performs inter-frame prediction on the image obtained from the image conversion unit 202 using the images of the predicted image memory 211 and the decoded image memory 211, and calculates the motion vector. And the like to the mode control unit 211, and the residual of the encoded block obtained by the prediction is transmitted to the arithmetic conversion unit 206.
  • the intra prediction unit 205 performs intra prediction on the image obtained from the image conversion unit 202 using the image of the decoded image memory 211, and transmits mode information and the like to the mode control unit 212. Then, the residual value of the coded block obtained by the prediction is transmitted to the arithmetic conversion unit 206.
  • the arithmetic transformation unit 206, the quantization unit 207, and the coefficient encoding unit 208 are the same as those of the conventional encoding device, and perform the DCT operation, the quantization of the transform coefficient, and the sign of the coefficient, respectively. And so on.
  • the inverse quantization unit 209 and the inverse arithmetic transformation unit 210 are the same as those of the conventional encoding device. Each of the inverse quantization unit 209 and the inverse arithmetic transformation unit 210 transforms the encoded data back to image information, thereby decoding It is stored in the image memory 211 and the predicted image memory 211.
  • the mode control unit 2 13 is a macro processor for the entire image (frame) and the encoding process. Manages the encoding mode in the network. For the entire image, information on the encoding process for the converted image and the encoding process for the unconverted image are stored. In other words, the information used as the basis for motion prediction (motion vector, reference frame information, etc.) and the intra coding mode (direction of intra prediction) ) Is retained. For macroblocks, it holds information on whether the current macroblock is subjected to intra-coding or inter-frame predictive coding, and information on the related intra-coding mode, motion vector, reference frame, etc. . The mode control unit 2 13 transmits these pieces of information to the mode selection unit 2 14.
  • the mode selector 2 14 includes a code related to the whole image and a macroblock in the middle of encoding.
  • the coded data of the image is constructed and output from the coded data and the information of the coding mode.
  • the flag indicating whether the force of the conversion process has been applied only needs to be 1 bit each for the left-right symmetric conversion and the up-down symmetric conversion.
  • the age of the rotation transformation assuming that the number is incremented by one for each 90-degree clockwise rotation, a two-bit representation of a 360-degree rotation.
  • FIG. 4 is an explanatory diagram of a first-order encoding procedure according to the first embodiment of the present invention.
  • the image conversion unit 202 determines a coding method (step 401). That is, the power of performing the conversion process on the entire frame, the power of performing the conversion in units of macro blocks, and the like are determined. In the following, the conversion of an entire frame will be described as an example.
  • the process for performing the conversion process proceeds to Step 402, and the process for not performing the conversion process proceeds to Step 404.
  • the image converter 202 converts the input image. That is, for each frame, symmetric transformation, up-down symmetry transformation, rotation transformation, etc. are performed. Then, proceed to Step 403.
  • Step 403 and Step 404 the encoding unit 203 encodes the image. This encoding is as described in FIG.
  • the mode selection section 214 compares the code amounts and determines the mode (step 405). That is, as described in FIG. 2, the code amount obtained by encoding is compared between the process that performed the conversion process and the process that did not perform the conversion process, and it was determined that data with a small code amount was output. .
  • the mode selection unit 214 outputs a code and a flag (step 406).
  • a flag indicating whether or not the conversion process has been performed a portion of the image where the conversion process has been performed, ⁇ represents position information of the region,
  • the selected encoded data is output as a stream.
  • the encoding process ends.
  • FIG. 5 is a block diagram illustrating a hardware configuration of a video decoding device according to a second embodiment of the present invention.
  • the decryption device 501 of the second embodiment includes a processor 502, a memory 503, an input interface (input I / F) 504, and the like, which are communicably connected to each other.
  • the output interface (output I / F) consists of 506.
  • the input I / F 504 is connected to the input device 505.
  • the output I / F 506 is connected to the output device 507.
  • the processor 502 is a processor that performs the decoding process of the present invention, executes a program stored in the memory 503, and outputs data received from the input IZF 504. And sends it to the output I / F 506.
  • the decoding device 501 may be provided with a plurality of processors 502 and memories 503. For example, a dedicated processor that stores only a part of the program for performing the decoding process of the present invention may be provided.
  • the processor 502 and the memory 503 may be implemented on a single chip.
  • the input I / F 504 is an interface for receiving encoded data to be processed by the processor 102 from the input device 5 5. ,
  • the input device 505 is a device for inputting the encoded data processed by the decoding device 501 to the input I / F 504, for example, a storage in which the encoded data is stored.
  • the input I / F 504 is, for example, an SCS I interface.
  • the input device 505 is a computer connected to the input I / F 504 via a LAN or an IP network (not shown). It may be a user device.
  • input I ZF504 is a network interface.
  • the input device 505 may be a data transmitting device connected to the input IZF 504 via an 3 ⁇ 4fg communication network (not shown).
  • the input I ZF504 is a receiver for the IS signal.
  • the input device 505 may be a digital TV broadcast station. This ⁇ , input I / F 504 is a digital TV tuner.
  • the output I / F 506 is an interface for transmitting data decoded by the processor 502 to the output device 507.
  • the output device 507 is the output destination of the data decoded by the decoding device 501, and is, for example, a display that outputs.
  • This ⁇ ⁇ output I / F 506 is, for example, a video card.
  • the output device 507 is a storage device for stream recording the decrypted data.
  • the ⁇ , output I / F 506 is, for example, an SCS I interface.
  • the decoding device 501 has a plurality of input I / Fs 504 and a plurality of output IZFs 506, and each of the input IZFs 504 and the output IZF 506 has a different type of input device.
  • An output device may be connected.
  • ⁇ encoding device 101 Two input IZFs 504 may be provided, one may be connected to a node disk device, and the other may be connected to an optical disk device. Also, a hard disk device may be connected to one side, and a computer device may be connected to the other via a LAN or the like.
  • FIG. 6 is a block diagram illustrating functions of a ⁇ decoding device 501 according to the second embodiment of the present invention.
  • the decryption device 501 a stream angle? It comprises a ⁇ unit 6001, a mode determination unit 602, a decoding unit 603, an image conversion unit 610, and a decoded image memory 611.
  • the stream corner slicing section 601, mode determination section 602, decoding section 603 and image conversion section 610 are stored in the memory 503 and executed by the processor 502.
  • the decoded image memory 611 is a partial area of the memory 503.
  • the decoding unit 603 is a program executed by the processor 502, a motion prediction unit 604, an intra prediction unit 605, a coefficient angle unit 606, and an inverse quantization unit 60. 7 and an inverse arithmetic operation unit 608, and a predicted image memory 609 which is a partial area of the memory 503.
  • the decoding device 501 of the second embodiment can decode the stream encoded by the video encoding device 101 of the first embodiment. Next, the function of each unit of the decoding device 501 will be described along a procedure for decoding an encoded stream.
  • the stream analysis unit 6001 clarifies the input coded stream data and transmits the flag / data information to the mode determination unit 602. Stream angle?
  • the W section 6001 squares the data and flags of the stream created by the encoding apparatus 101.
  • the mode determination unit 602 controls modes related to motion prediction, intra prediction, and image conversion based on the information analyzed by the stream analysis unit 601.
  • a flag indicating that the image is 1 / A lag is attached to the stream;
  • ⁇ indicates information on the type of conversion processing performed (for example, information on whether or not a symmetrical conversion has been performed) to the image conversion unit 610 I do.
  • the motion prediction unit 604 uses a mode determination unit 602 ⁇ the inter-frame prediction using the information of the transmitted motion vector and the like and the images of the predicted image memory 609 and the decoded image memory 611. And transmits the prediction information to the coefficient analysis unit 606.
  • the intra prediction unit 605 performs intra prediction using the information of the intra coding mode and the like transmitted from the mode determination unit 602 and the image of the decoded image memory 611, and converts the prediction information to the coefficient analysis unit 6 Transmit to 06.
  • the coefficient analysis unit 606, the inverse quantization unit 607, and the inverse arithmetic conversion unit 608 are the same as the conventional decoding device, and respectively combine the prediction information with the coefficient information and the conversion coefficient. Performs inverse quantization and DCT operation.
  • the image conversion unit 6102 converts the whole or a part of the frame of the decoded image according to the information transmitted from the mode determination unit 6102. That is, a process of undoing the conversion process performed by the image conversion unit 202 of the encoding device 101 in FIGS. 1 and 2 is performed.
  • the decoded image memory 611 stores the decoded image after the conversion processing by the image conversion unit 610, transmits the decoded image to the output device 504, and displays the decoded image on the screen to the stream. Output.
  • FIG. 7 is an explanatory diagram of a video decoding procedure according to the second embodiment of this invention.
  • the stream angle? Tf unit 601 and the mode judgment unit 602 perform stream angle and flag angle processing (step 701).
  • the decoding section 603 decodes the image (step 720).
  • the image converter 610 converts the S-decoded image and stores it in the decoded image memory 611 (step 703).
  • the image stored in the decoded image memory 611 is output for display or stream recording (step 704).
  • the decoding process ends. The details of the processing of each part described above are shown in Fig. 6. Therefore, detailed description is omitted.
  • the video encoding device 101 according to the first embodiment of the present invention and the decoding device 501 according to the second embodiment described above may be implemented as the same hardware.
  • the memory 103 (or the memory 503) stores the programs described in FIG. 2 and FIG. 6, and stores the programs described in FIG. 2 and FIG. Is secured.
  • the amount of code after encoding is reduced by performing the intra prediction always in the direction of high prediction accuracy without changing the scan direction (ie, , High compression ratio) Elephant encoder and corresponding! ⁇ Can be used as a decoding device.
  • the code amount is reduced by about 10% at the maximum as compared with the conventional intra prediction.
  • the amount of code changes according to the content of the original image, so it is not always a constant reduction amount.
  • FIG. 8 is an explanatory diagram of an intra prediction method according to the third embodiment of this invention.
  • the present embodiment when predicting the signal level of the pixel of the prediction block 802, not only the signal level of the boundary pixel but also the signal level of the entire pixel of the adjacent block 801 which has already been encoded is used. This is used in the intra prediction units 205 and 605 of FIGS. 2 and 6 above.
  • predictive block J refers to a block of coding, which is a block that has not been coded yet
  • adjacent block refers to a coded block used as a predictive block.
  • the direction of the prediction is as shown at 306 in FIG.
  • a force that only describes predictions in some directions is used.
  • prediction is performed in all prediction directions 360, and the residual component is reduced. The smallest direction is selected.
  • prediction refers to the difference between the actual signal level of each pixel of the prediction block 802 and the prediction value calculated from the signal level of the pixel of the adjacent block used for prediction during encoding. This is the procedure for encoding
  • the decoded residue is added to the predicted value calculated in the same way. Means a procedure for obtaining a decoded image.
  • the encoding procedure will be described.
  • Conventional intra prediction methods use only boundary pixels; For example, prediction in the vertical direction is performed, and prediction is performed in a downward direction by using a boundary pixel (a pixel in the lowest row) of the adjacent block 80.1 immediately above the prediction block 80.2. That is, the prediction block 802 is divided into four columns, and the signal level value of the boundary pixel adjacent to the column including the pixel is subtracted from the signal level value of each pixel. Similarly, when performing prediction in the horizontal direction, prediction is performed in the right direction using the boundary pixels (pixels in the rightmost column) of the adjacent block on the left side of the prediction block.
  • the prediction block 802 is divided into four rows, and the signal level value of the boundary pixel adjacent to the left of the row including the pixel is subtracted from the signal level value of each pixel. That is, in any of the above directions, the signal level of the pixel in the prediction block is predicted to be the same as the signal level of the boundary pixel, and the difference (residual) between the predicted value and the actual value is calculated. I do.
  • the intra prediction method according to the third embodiment of the present invention is a prediction method using a composite pixel that uses not only boundary pixels but also pixels inside a block.
  • the composite pixel refers to a plurality of blocks used for prediction of a pixel of a prediction block.
  • the prediction is performed in the horizontal direction ⁇ , and one row of an adjacent block adjacent to the left side of the row to be predicted (8 0 3).
  • ⁇ calculates the predicted value from the value of the composite pixel 803 by an interpolation formula, and predicts the value of the pixel in one row of the adjacent predicted block.
  • Newton's forward interpolation formula is used.
  • the predicted signal level y of the pixel n is calculated by the equation (1).
  • the residual component is obtained by subtracting the predicted value calculated by equation (1) from the pixel value of the predicted block.
  • a block size for example, 16 ⁇ 16 pixels.
  • nC j is a binomial coefficient.
  • the signal level 808 according to the conventional prediction method is the same as the signal level of pixel 3. (boundary pixel).
  • the signal level 809 according to the prediction method of the present embodiment is a value calculated by Expression (1).
  • the actual signal levels 810 of pixels 4 to 7 often change at a rate close to that. That is, The actual signal level 810 is closer to the signal level 809 according to the prediction method of the present embodiment than the signal level 808 according to the conventional prediction method. As a result, the residual 812 by the prediction method of the present embodiment is smaller than the residual 811 by the conventional prediction method, and the code amount is reduced.
  • the signal levels of all known pixels are used for the prediction, but the prediction can be made using the signal levels of some pixels.
  • the least squares method may be applied.
  • FIG. 9 is a block diagram illustrating the function of the inner prediction unit 205 to which the intra prediction method according to the third embodiment of the present invention is applied.
  • the intra prediction unit 205 of the present embodiment uses the intra-coding mode of the prediction block (that is, the third coding mode).
  • the prediction direction 306) in the figure is determined, a prediction process is performed, and information 906 on the encoding mode and the residual component is transmitted to the mode control unit 213 and the arithmetic conversion unit 206.
  • the intra prediction unit 2.05 includes an intra prediction control unit 901 and a plurality of prediction units corresponding to each coding mode.
  • the plurality of prediction units are classified into those that perform prediction using conventional boundary pixels and those that perform prediction using composite pixels according to the present embodiment. Includes those that make predictions in each direction shown at 06.
  • a vertical boundary pixel mode prediction unit 902 for predicting in the vertical direction (“0: Vertic a. Lj” in FIG. 2) using boundary pixels Horizontal boundary pixel mode prediction unit 903 that predicts in the horizontal direction (“l: Horizontal” in Fig. 2) using elements, and composite pixel mode prediction in the vertical direction that predicts in the vertical direction using composite pixels
  • Only the horizontal composite pixel mode prediction unit 905 for predicting in the horizontal direction using the unit 904 and the combined pixels is shown, but in actuality, it is different for each of the other prediction directions 306 in FIG.
  • a prediction unit using a boundary pixel and a prediction unit using a composite pixel are provided.
  • the intra prediction control unit 901 manages an intra prediction method. That is, it checks whether a block adjacent to the prediction block is usable and controls information for intra prediction.
  • Each of the mode prediction units 902 to 905 predicts the signal level of the pixel in the adjacent block and calculates the residual component from the signal level of the actual pixel. I do.
  • the information of the mode in which the calculated residual component is the smallest is transmitted to the mode control unit 213, and the residual value calculated in the mode is transmitted to the arithmetic conversion unit 206.
  • the vertical boundary pixel mode prediction unit 902 predicts in the downward direction using the boundary pixels of the upper adjacent block of the prediction block.
  • the horizontal boundary pixel mode prediction unit 90 3. predicts rightward using the boundary pixels of the adjacent block on the left side of the prediction block.
  • the vertical composite pixel mode prediction unit 904 and the horizontal composite pixel mode prediction unit 905 perform the intra prediction using the composite pixels of the present embodiment.
  • Vertical composite pixel The mode prediction unit 904 uses the composite pixels (that is, the boundary pixels and the pixels inside) of the adjacent block above the prediction block to predict the signal level by Expression (1) or Expression (2). Calculate the value and find the remaining signal level with the actual signal level.
  • the horizontal composite pixel mode prediction unit 905 calculates the signal level prediction value by the equation (1) or (2) using the composite pixels of the adjacent block on the left side of the prediction block, and calculates the actual signal level and the actual signal level. Find the residue of.
  • FIG. 10 is an explanatory diagram of the procedure of the intra prediction according to the third embodiment of the present invention.
  • the intra prediction control section 901 checks the power S and the intra prediction mode (step 1001). That is, it is determined whether or not the pixels of the adjacent block are available, and based on the determination result, the prediction is performed in the applicable prediction direction 306 and the respective prediction directions 306. Specify the pixels to be used.
  • intra prediction is performed for the mode prediction unit 92 to 905 force in the applicable prediction direction 300.
  • prediction using the conventional boundary pixel and prediction using the composite pixel of the present embodiment are performed in each of the vertical direction and the horizontal direction (Step 1002). ⁇ 105).
  • an optimal intra prediction mode is selected from the results of the prediction in steps 1002 to 1005 (step 1006).
  • the total value of the remaining modes for each pixel is calculated for each mode. Since the code amount after encoding can be made smaller in a mode with a smaller total value, the mode with the smallest total value for the seizure is selected as the fiber mode.
  • the selected remnant is transmitted to the arithmetic conversion unit 206 and the information of the selected mode is transmitted to the mode control unit 2 13. In order to make a more accurate determination, it is necessary to select the mode with the smallest total value of the remaining ⁇ ; after the arithmetic conversion by the mode selection unit 2 14 Good. Thus, the intra prediction process ends.
  • the mode selection unit 2 14 adds a flag indicating the selected optimum mode to the output code stream.
  • a flag indicating the selected optimum mode to the output code stream.
  • FIG. 10 only predictions in the vertical and horizontal directions are described for simplicity of explanation. However, in reality, all predictions determined to be applicable to the intra prediction control unit 91 The direction can be predicted and the optimal mode can be selected from the results.
  • the intra prediction unit 605 includes, in addition to the conventional boundary pixel mode prediction unit, a composite pixel mode prediction unit for each prediction direction 360, according to the prediction mode of the input coded data. By performing intra prediction, the decoding apparatus 501 corresponding to the intra prediction method of the present embodiment can be realized.
  • the mode determining unit 602 refers to the flag attached to the stream of the image to be decoded, and determines the intra prediction mode selected when the image was encoded.
  • the intra prediction unit 605 performs prediction according to the determined intra prediction mode, and decodes the image. For example, if the image to be decoded is coded in the boundary pixel mode in the right direction, or the signal level of the pixel of the prediction block is predicted to be the same as the boundary pixel of the adjacent block on the left side of the prediction block Then, it is decoded.
  • the ⁇ indicates the signal level of the pixel in the prediction block and the composite pixel in the adjacent block on the left side of the prediction block.
  • the prediction value is calculated by applying equation (1) to, and decrypted.
  • the amount of code after encoding is reduced by performing highly accurate intra prediction using composite pixels (pixels inside a block) (that is, the compression rate ⁇ ⁇ encoding device and «decoding device corresponding thereto can be realized.
  • FIG. 11 is an explanatory diagram of a data recording medium according to a fourth embodiment of the present invention.
  • the data recording medium 111 is a recording medium for which the output device 107 or the input device 505 is a storage device, for example, a magnetic disk.
  • the encoded data created by the elephant encoding device 101 is recorded as a data string 111 on a data recording medium 111.
  • the data sequence 1 102 is recorded as an encoded stream according to a certain grammar.
  • a certain grammar hereinafter, an example of the H.264 / AVC standard will be described.
  • a stream is composed of a sequence parameter set 1103, a picture parameter set 1104, and slices 110105, 1106 and 1107.
  • a sequence parameter set 1103 a picture parameter set 1104
  • a slice header 1108 is recorded at the beginning of the slice 1105 and a slice header 1108 is recorded.
  • information such as flags related to the conversion process is stored.
  • a flag indicating whether or not the conversion processing has been performed and when a partial area of the image is converted, positional information of the partial area is stored.
  • one bit is sufficient for each of the left-right symmetric conversion and the vertical symmetric conversion. Assuming that the number is increased by 1 each time the clock is rotated 90 degrees clockwise, 2 bits can be used to express 360 degrees of rotation.
  • the position information of the area subjected to the conversion processing is, for example, information such as a ⁇ mark, a 3 ⁇ 43 ⁇ 43 ⁇ 4 mark, a width, and a height in the image.
  • the information can be stored in a portion for recording the flag of the macroblock instead of the slice header.
  • a new mode using composite pixels in an encoded stream conforming to the H.264 / AVC standard to which the intra prediction method according to the third embodiment of the present invention is applied is encouraged.
  • This: ⁇ the value indicating the new mode is stored in the information 1101 such as the conventional flag.
  • the new mode of expression is prediction using composite pixels. A bit indicating the presence may be input, or a mode prediction using a composite pixel is performed for each prediction direction:! You may assign the value of ⁇ .
  • FIG. 12 is an explanatory diagram of a packet according to the fifth embodiment of the present invention.
  • '' Fig. 12 shows, as an example, »Output I / F 106 output of encoder 101 Output IP packet referred to IP network from data sequence 1102 in Fig. 11 FIG.
  • the data sequence 1102 is divided into a predetermined size, a TCP header 1204 to 1206 is added, and a TCP segment 1201 to 1203 is generated.
  • FIG. 12 shows an example in which one segment is generated from one slice.
  • the slice header 1108 included in each slice is also included in the segment.
  • information such as flags related to the conversion processing is stored in the slice header 111.
  • segments are generated in the same manner for slices 1107 and thereafter.
  • each segment is divided into a predetermined size, an IP header is attached, and an IP packet is generated.
  • the segment 122 is divided into a predetermined size, the IP headers 122 and 120 are added thereto, and the IP packets 127 and 122 are generated.
  • the IP packets 1207 and 1208 generated from a part of the segment 1202 are shown, but the IP packet is generated in the same manner for the entire segment 1202. .
  • the description is omitted in FIG. 12, other segments 1 201 and the like are similarly divided and IP packets are generated.
  • the IP packet 1209 and the like are generated by, for example, the output IZF106 of the encoding device 101 and are sent to the output device 107 via an IP network (not shown).
  • the IP bucket 1209 and the like include a storage device in which the data string 1102 is stored and an output interface for generating and saying the IP packet 1209 and the like from the data string 1102. ⁇ ⁇ ⁇ ⁇ Packet transmitter without encoding function (not shown) May be said.
  • the g ⁇ coding device 101 or the bucket speech device generates a wireless bucket from the data sequence 1102, and the output device 107 via the wireless bucket communication network. Wireless packets may be difficult.
  • the present invention is not limited to H.264 / AVC, but can be applied to, for example, an encoding device and a decoding device based on various standards.
  • Industrial applicability is not limited to H.264 / AVC, but can be applied to, for example, an encoding device and a decoding device based on various standards.
  • the present invention can be used for recording and transmission of image data, and contributes to a reduction in recording capacity and an increase in transmission speed by improving a compression ratio and reducing a data amount.
  • the present invention can be used for a video recorder and a video player using a hard disk or a DVD.
  • the present invention can be used for an image distribution service using a wired or wireless communication network including a mobile phone and a television broadcast.
  • the present invention can be used for a TV mis, a TV conference system, and the like.

Abstract

画像の信号を符号化する符号化装置において、前記画像の方向を変換する画像変換部（２０２）と、前記方向を変換されていない変換前画像と、前記方向を変換された変換後画像とをそれぞれ符号化する一つ又は複数の符号化部（２０３）と、前記符号化された変換前画像の符号量と、前記符号化された変換後画像の符号量とを比較し、前記符号量が少ない符号を選択し、前記選択された符号と、前記選択された符号の種別を示す識別子とを出力するモード選択部（２１４）と、を備える。

Description

明 細 書
画像の符号化 Z復号化装置、符号化 Z復号化プログラム及び符号化/復号化方 法 技術分野
本発明は、 «を符号化するための！^符号化装置、 «符号化プログラム、 1«符号化方法、 符号化された を復号化するための (象復号化装置、 復号化 プログラム、 復号化方法、 符号化された! 符号化ストリームを記録した媒体及 ぴ符号化された,データを ¾ί言する方法に関する。 背景技術
大容量の 象や音声の情報を、 圧縮されたデジタルデータとして記録し、 伝達 する方法として、 MP E G (Moving Picture Experts Group) 方式等の符号化方 式が策定され、 MP E G— Ί規格、 MP E G— 2規格、 MP E G— 4規格等とし て国際標準の符号化方式となっている。 また、 さらに圧縮率を向上させる方式と して、 Joint Video Team' (JVT) of ISO/IEC MPEG & ITU- T VCEG ： "Text of International Standard of Joint Video Specification", ITU-T Rec. H. 264 | ISO/IEC 14496-10 Advanced Video Coding, (December, 2003)に記載される H. 2 6 4 /AV C (Advanced Video Coding) 規格等が定められている。 これらの方 式は、 デジタル衛星放送、 D VD、 携帯 及びデジタルカメラ等における符号 化方式として採用され、 現在ますます利用の範囲が広がり、 身近なものとなって いる。
これらの符号化方式のうち、 H. 2 6 4 /AV C方式では、 これまで MP E G 等で用いられてきた、 動き補償予測や離散コサイン変換 （Discrete Cosine Transform, D C T)による算術変^ 1号化の技術に加え、イントラ（Intra - coded) 予測符号化と呼ばれる技術が採用されている。 これは、 他のピクチャの情報を用 いることなく、 イントラフレーム内における符号化済み隣接プロックから信号レ ベルを予測する技術である。
. 第 3図は、 イントラ予測符号化の説明図である。 ここでは、 例として、 画面の 左上から右下へ順次走査するラスタースキャン方式において、 4 X 4画素サイズ のプロック単位で予測する齢について説明する。 予測プロック 3 0 3 (予測す る対象のプロック） の画素 3 0 4の信号レベルは、 既に符号化された隣接ブ口ッ ク 3 0 1の境界画素 3 0 2 (隣接ブロック 3 0 1の画素のうち、 予測プロックに 隣接する画素。 ただし、 予測ブロックの右上の瞬接プロックについては、 最も下 の一行の画素）の信号レベルから予測され、予測された値と実際の値との差分（残 誠分） を D C T等によって算術変換符号化する。'このとき、 まだ符号化されて ヽな 、隣接プロックの画素 3 0 5は、 予測に用いることができな V、。 予測の方向 (すなわち、 符号化モード） 3 0 6は複数あり、 全ての方向について予測を行つ て残差成分を比較し、 最も残差成分が小さい方向が選択されて、 その残差成分が 算術変換符号化される。 ここで、 方向 「0 ： D C」 は、 全ての境界画素の信号レ ベルの平均値を予測値とするモードである。
なお、 1 6 X 1 6画素サイズのプロック単位で予測する でも、 予測の方向 は制限されるが、 同様にしてィントラ予測符号化をすることができる。 発明の開示 ' 上記のように、 イントラ予測符号化では、 まだ符号化されていない隣接ブロッ クの画素を用いることができない。 このため、 予測の方向 3 0 6によって、 予測 精度に差が生じる。 例えば、 画面の左上から右下へ順番に走査するラスタースキ ャン方式によってブロックをスキヤンする場合、 左上から右下方向への予測精度 は高くなる力 右上から左下方向への予測精度は低くなる。 すなわち、 左上から 右下方向へ信号レベルが同等の画素力 S続く画像 （右下がり画像） に対しては予測 がしゃす！/、ため、 圧縮率を高くすることができる力 右上から左下へ信号レベル が同等の画素が続く画像 （右上がり画像） に対しては予測がしにくいため、 圧縮 率が低くなる。
また、 従来のイントラ予測符号化では、 境界画素のみを用いて予測しているた め、 ブロック内部の信号レベルの連続的変ィヒを十分精度高く予測できないという PS題点がある。 通常は、 画素の信号レベルはなだらかに変化する。 しカゝし、 従来 のイントラ予測符号化では、 プロック境界にぉレ、て境界画素を延長して予測する
(すなわち、予測されるプロック内の画素を境界画素と同じであると予測する）。 このため、 境界画素から遠い画素ほど、 残 分が大きくなり、 算術変換後の符 号量が多くなる。
本発明は、 上記の問題点に鑑みてなされたものであり、 イントラ予測を行う前 に、 入力画像を垂直方向若しくは水平方向に反転し、 又は、 任意の角度に回転さ せることによって、 スキャン方向を変更することなく常に予測精度の高 、方向に イントラ予測することができる «符号化装置、 及び、 これに対応する «復号 ィ匕装置を することを目的とする。
また、 本努明は、 イントラ予測の際に、 境界画素だけでなく、 ブロック内部の 画素を用いて、 所定の補間式による精度の高いイントラ予測を実現する «符号 ィ匕装置、 及ぴ、 これに対応した »復号化装置を することを目的とする。 本発明によれば、 画像の信号を符号化する符号化装置において、 前記画像の方 向を変換する画像変換部と、 嫌己画像と、 IfitS方向を変換された画像とを符号化 する符号化部と、 鍵己符号化された画像の符号量と、 嫌己符号化された方向を変 換された画像の符号量とを比較し、 ΙίίΙΞ符号量が少ない符号を選択し、 嫌己選択 された符号と、 l己選択された符号を表示するフラグとを出力するモード達択部 と、 を備えるものが^^される。
また、 本努明によれば、 画像の信号を符号化する符号化装置において、 lift己画 像の予測領域の第 1の画素の情報と、 ΙΐίΙ己第 1の画素から予測方向にある一つの 第 2の画素の情報との第 1の^を算出し、 嫌己予測領域の婦己第 1の差分を符 号化し、 編己第 1の画素の情報と、 l己第 1の画素から予測方向にある複数の第
3の画素の情報に前進捕間式を適用して予測値を算出し、 前記予測値との第 2の ^^を算出し、 嫌己予測領域の lift己第 2の差分を符号化する符号化部と、 複数の Ιΐί 予測方向にっ 、て算出された lifts予測領域の t&fS第 1及び第 2の の符号 量を比較し、. lifts符号量が最も少ない符号を選択し、. tins選択された符号と、 前 記選択された符号がいずれの l己予測方向について算出された第 1又は第 2のい ずれの差分であるかを示すフラグとを出力するモード選択部と、 を備えるものが される。
したがって、 本癸明によれば、 スキャン方向を変更することなく常に予測精度 の高い方向にィントラ予測することによって圧縮率を高めた,符号化装置と、 これに対応する！^象複号化装置を することができる。
また、 本発明によれば、 ブロック内部の画素を用いて精度の高いイントラ予測 をすることによって圧縮率を高めた 符号化装置、 およびこれに対応した 復号化装置を することができる。
本癸明の実施形態、 本発明の利点については、 添付された図面を参照しながら 以下に詳細に説明する。 図面の簡単な説明
第 1図は、 本発明の第 1の実施の形態の i«符号化装置のハードウエア構成を 説明するブロック図である。
第 2図は、 本発明の第 1の実施の形態の映像符号化装置の機能を説明するプロ ック図である。
第 3図は、 イントラ予測符号化の説明図である。
第 4図は、 本発明の第 1の実施の形態の映像符号化の手)暝の説明図である。 '第 5図は、 本発明の第 2の実施の形態の映像復号化装置のハードウェア構成を 説明するブロック図である。 第 6図は、 本発明の第 2の実施の形態の映像復号化装置の機能を説明するプロ ック図である。
第 7図は、 本発明の第 2の実施の形態の映像復号化の手順の説明図である。 第 8図は、 本発明の第 3の実施の形態のィントラ予測方法の説明図である。 第 9図は、 本癸明第 3の実施の形態のィントラ予測方法を適用するイントラ予 測部の機能を説明するプロック図である。
第 1 0図は、本発明の第 3の実施の形態のィントラ予測の手順の説明図である。 第 1 1図は、 本発明の第 4の実施の形態のデータ記録媒体の説明図である。 第 1 2図は、 本発明の第 5の実施の形態のパケットの説明図である。 発明を実施するための最良の形態
第 1図は、 本発明の第 1の実施の形態の 符号化装置のハードウエア構成を 説明するプロック図である。
第 1の実施の形態の 象符号化装置 1 0 1は、 相互に通信可能に接続されたプ 口セッサ 1 0 2、 メモリ 1 0 3、 入力インターフェース (入力 I ZF) 1 0 4及 ぴ出力インターフェース （出力 I ZF) 1 0 6からなる。 入力 I /F 1 0 4は、 入力装置 1 0 5に接続される。 また、 出力 I ZF 1 0 6は、 出力装置 1 0 7に接 続される。
プロセッサ 1 0 2は、 本発明の 象符号化の処理を行うプロセッサであり、 メ モリ 1 0 3に格納されたプログラムを実行して、 入力 I /F 1 0 4から受けたデ ータを符号化し、 出力 I ZF 1 0 6に送る。
メモリ 1 0 3には、 プロセッサ 1 0 2が実行するプログラムが格納される。 ま た、 プロセッサ, 1 0 2が処理する ¾ ^となるデータが一時的に格納される。
»符号化装置 1 0 1には、 プロセッサ 1 0 2及びメモリ 1 0 3が複数設けら れてもよレ、。 例えば、 本発明の！ ^符号化の処理を行うプログラムの一部のみを 実行する専用のプロセッサが設けられてもよい。 また、 同一の処理を行う専用の プロセッサ力 S複数設けられてもよい。 '
プロセッサ 102及ぴメモリ 103は、 単」のチップ上に実装されてもよい。 入力 IZF 104は、 プロセッサ 102が処理する映像データを入力装置 10 5から受信するインターフェースである。
入力装置 105は、 映像符号化装置 101が処理する映像信号を入力 I /F 1 04に入力する装置であり、 例えば、 ビデオカメラや TVチューナーである。 こ の場合、 入力 I/F104は、 例えば、 ビデオキヤプチャカードである。 また、 入力装置 105は、 符号化されていない i«データが格納された記憶装置であつ てもよい。 この場合、 入力 I/F104は、 例えば、 SCS Iインターフェース である。
出力 IZF 106は、 プロセッサ 102によって符号化されたデータを出力装 置 107に送信するインターフェースである。
出力装置 107は、 «符号化装置 101が符号化したデータの出力先であり、 例えば、 符号化したデータを格納する記憶装置である。 この：^、 出力 IZF 1 06は、 例えば、 SCS Iインターフェースである。 また、 出力装置 107は、 LANや I Pネットワーク等 （図示省略） を介して出力 I/F106と接続され たコンピュータ装置であってもよい。 この^、 出力 IZF106は、 ネットヮ 一クインターフェースである。 また、 出力装置 107は、 ®fg通信網 （図示省略） を介して出力 I/F106と接続された受¾¾置であってもよい。 この:^、 出 力 I/F 106は、 饞舌信号の送信機である。 また、 出力装置 107は、 デジタ ル TV受像機であってもよい。 この^：、'出力 I /F 106は、 デジタル TV信 号の送信機である。
«符号化装置 101は、 入力 I /F 104及ぴ出力 I/F106をそれぞれ 複数備え、 それぞれの入力 I/F 104及び出力 I ZF 106に、 異なる種類の 入力装置及び出力装置が接続されてもよい。 例えば、 «符号化装置 101は、 二つの出力 IZF 106を備え、 一方にはハードディスク装置が接続され、 もう 一方には光磁気ディスク装置が接続されてもよレヽ。 また、 一方にはハードデイス ク装置が接続され、 もう一方には LAN等を介してコンピュータ装置が接続され てもよい。
第 2図は、 本発明の第 1の実施の形態の »符号化装置 1 0 1の機能を説明す るブロック図である。
»符号化装置 1 0 1は、 原画像メモリ 2 0 1、 画像変換部 2 0 2、 符号化部 2 0 3、 モード制御部 2 1 3及ぴモード選択部 2 1 4力 らなる。 ここで、 原画像 メモリ 2 0 1は、 メモリ 1 0 3の一部の領域であり、 画像変換部 2 0 2、 モード 制御部 2 1 3及ぴモード選択部 2 1 4は、 メモリ 1 0 3に格納され、 プロセッサ 1 0 2によって実行されるプログラムである。 また、 符号化部 2 0 3は、 プロセ ッサ 1 0 2によって案行されるプログラムである動き予測部 2 0 4、 イントラ予 測部 2 0 5、 算術変換部 2 0 6、 量子化部 2 0 7、 係数符号化部 2 0 8、 逆量子 ィ匕部 2 0 9及び逆算術変換部 2 1 0、 並びに、 メモリ 1 0 3の一部の領域である 復号画像メモリ 2 1 1及び予測画像メモリ 2 1 2からなる。
次に、 贿符号化装置 1 0 1の各部の機能を、 画像を符号化する手順に沿って 説明する。
原画像メモリ 2 0 1は、 符号化する原画像を一時的にバッファリングする。 次 に、 画像変換部 2 0.2は、 原画像メモリ 2 0. 1から取得した画像のフレーム全体 又は一部を変換処理する。 ここで、 フレームの一部とは、 例えば、 フレームを所 定のサイズに分割したマクロブロック又はブロックでもよいし、 所定の矩形領域 でもよい。 一般には、 マクロプロック単位で符号化が行われる。
画像変換部 2 0 2は、 フレーム全体に対して変換処理を行つたデータをマクロ ブロック単位に分割して符号化部 2 0 3に伝送してもよいし、 フレームをマクロ プロック単位に分割してから変換処理を行ってもよい。 変換処理を行ったカゝ否か の情報は、 モード制御部 2 1 3に伝送される。
画像変換部 2 0 2が行う変換処理は、 画像の方向を変換する処理である。 画像 の方向を変換する処理とは、例えば、フレームを左右に反転させる左右^ "称変換、 フレームを上下に反転させる上下対称変換、 及ぴ、 フレームを回転させる回転変 換等の線 ¾変換や点対称変換である。 以下、 例として、 画像全体を左右対称変 換した:^と、 変換しない： とを比較して、 符号量が小さくなる方を選択する 場合について説明する。
符号化部 2 0 3は、 画像変換部 2 0 2力ら、 左右対称変換した画像と、 変換し ない画像とを取得し、 それぞれの画像を順次符号化する。 また、 符号化部 2 0 3 が複数設けられ、 それぞれの画像を二つの符号化部 2 0 3が並列に符号化しても よい。 符号化部 2 0 3が複数設けられる^、 «符号化装置 1 0 1には、 符号 ィ匕部 2 0 3のプログラムのみを実行する専用のプロセッサ 1 0 2力複数設けられ る。
動き予測部 2 0 4は、 画像変換部 2 0 2力ら取得した画像に対して、 予測画像 メモリ 2 1 2及び復号画像メモリ 2 1 1の画像を用いてフレーム間予測を行い、 動きべクトル等の情報をモード制御部 2 1 3に伝送し、 予測によって得られた符 号化プロックの残誠分を算術変換部 2 0 6に伝送する。
イントラ予測部 2 0 5は、 画像変換部 2 0 2から取得した画像に対して、 復号 画像メモリ 2 1 1の画像を用いてイントラ予測を行い、 モードの情報等をモード 制御部 2 1 3に伝送し、 予測によって得ちれた符号化ブロックの残誠分を算術 変換部 2 0 6に伝送する。
算術変換部 2 0 6、 量子化部 2 0 7及び係数符号化部 2 0 8は、 従来の符号化 装置と同じものであり、 それぞれ、 D C T演算、 変換係数の量子化、 及び、 係数 の符号への変換等を行う。 また、 逆量子化部 2 0 9、 逆算術変換部 2 1 0も、 従 来の符号化装置と同じものであり、 それぞれ、 符号化されたデータを逆変換する ことによって画像情報に戻し、 復号画像メモリ 2 1 1及び予測画像メモリ 2 1 2 に格納する。
モード制御部 2 1 3は、 画像 （フレーム） 全体及び符号化途中のマクロプロッ クにおける符号化モードを管理する。 画像全体に関しては、 変換処理を行った画 像に対する符号化プロセスと、 変換処理を行っていない画像に対する符号化プロ セスの情報を保持する。 すなわち、 変換処理を行った場合と、 行わない場合のそ れぞれについて、 動き予測の基準となる情報 （動きべクトル、 参照フレームの情 報等） や、 イントラ符号化モード （イントラ予測の方向） の情報等を保持する。 マクロブロックに関しては、 現マクロプロックがィントラ符号化されるかフレー ム間予測符号化されるかの情報、及び、これらに関係するィントラ符号化モード、 動きべクトル、 参照フレームの情報等を保持する。 モード制御部 2 1 3は、 これ らの情報をモード選択部 2 1 4に伝送する。
モード選択部 2 1 4は、 画像全体及ぴ符号化途中のマク口プロックに関する符
I
号化データ並びに符号化モードの情報から、 画像の符号化データを構成して出力 する。 画像変換部 2 Ό 2による変換処理を行つて符号化した:^の全体の符号量 と、 変換処理を行わないで符号化した ^の符号量とを比較し、 小さい方の符号 をストリームとして出力する。 また、 変換処理を行った力否かのフラグ、 及ぴ、 画像の一部の領域について変換した にはその領域の位置情報を、 データとし てストリームに付加する。
変換処理を行った力^かを示すフラグは、 左右対称変換、 上下対称変換につい ては、 それぞれ 1ビットずつあればよい。 回転変換の齢、 時計周りに 9 0度回 転する毎に数を 1ずつ増やすとすると、 2ビットあれば 3 6 0度の回転を表現で さる。
第 4図は、 本発明の第 1の実施の形態の 1«符号化の手順の説明図である。 まず、 画像変換部 2 0 2が符号化方式の判定を行う （ステップ 4 0 1 ) 。 すな わち、 フレーム全体に対して変換処理を行う力、 マクロプロック単位で変換する 力等の判定を行う。 以下、 例として、 フレーム全体を変換する こついて説明. する。 変換処理を行うプロセスは、 ステップ 4 0 2に進み、 変換処理を行わない プロセスはステップ 4 0 4に進む。 ステップ 4 0 2では、 画像変換部 2 0 2が入力画像の変換を行う。 すなわち、 フレームごとに、 左右対称変換、 上下対称変換、 回転変換等を行う。 続いて、 ス テツプ 4 0 3に進む。
ステップ 4 0 3及びステップ 4 0 4では、符号化部 2 0 3が画像を符号化する。 この符号化は、 第 2図において説明した通りである。
次に、 モード選択部 2 1 4が符号量の比較及びモード判定を行う （ステップ 4 0 5 ) 。 すなわち、 第 2図において説明したように、 変換処理を行ったプロセス と変換処理を行わなかったプロセスとで、 符号化によって得られた符号量を比較 し、 符号量の少ないデータを出力すると判定する。
次に、 モード選択部 2 1 4が符号及びフラグを出力する （ステップ 4 0 6 )。 第 2図において説明したように、 ステップ 4 0 5の判定に従い、 変換処理を行つ た力 かを示すフラグと、 画像の一部の領域を変換処理した ^にはその領域の 位置情報と、 選択された符号化データをストリームとして出力する。 以上で符号 化処理が終了する。
第 5図は、 本発明の第 2の実施の形態の映像復号化装置のハードウェア構成を 説明するプロック図である。
第 2の実施の形態の «復号化装置 5 0 1は、 相互に通信可能に接続されたプ 口セッサ 5 0 2、 メモリ 5 0 3、 入力インターフェース （入力 I /F) 5 0 4及. ぴ出力インターフェース (出力 I /F) 5 0 6からなる。 入力 I /F 5 0 4は、 入力装置 5 0 5に接続される。 また、 出力 I /F 5 0 6は、 出力装置 5 0 7に接 続される。
プロセッサ 5 0 2は、 本努明の §¾ ^復号化の処理を行うプロセッサであり、 メ モリ 5 0 3に格納されたプログラムを実行して、 入力 I ZF 5 0 4から受けたデ 一タを復号化し、 出力 I /F 5 0 6に送る。
メモリ 5 0 3には、 プロセッサ 5 0 2が^ t亍するプログラムが格納される。 ま た、 プロセッサ 5 0 2が処理する^となるデータが一時的に格納される。 «復号化装置 5 0 1には、 プロセッサ 5 0 2及びメモリ 5 0 3が複数設けら れてもよレ、。 例えば、 本発明の «復号化の処理を行うプログラムの一部のみを 亍する専用のプロセッサが設けられてもよい。
プロセッサ 5 0 2及ぴメモリ 5 0 3は、 単一のチップ上に実装されてもよい。 入力 I /F 5 0 4は、 プロセッサ 1 0 2が処理する符号化されたデータを入力 装置 5◦ 5から受信するインターフェースである。 ，
入力装置 5 0 5は、 «復号化装置 5 0 1が処理する符号化されだデータを入 力 I /F 5 0 4に入力する装置であり、 例えば、 符号化されたデータが格納され た記憶装置である。 この 合、 入力 I /F 5 0 4は、 例えば、 S C S Iィンター フェースである。 また、 入力装置 5 0 5は、 LANや I Pネットワーク等 （図示 省略）を介して入力 I /F 5 0 4と接続されたコンヒ。ユータ装置であってもよい。 この場合、 入力 I ZF 5 0 4は、 ネットワークインターフェースである。 また、 入力装置 5 0 5は、 ¾fg通信網 （図示省略） を介して入力 I ZF 5 0 4と接続さ れた データ送信装置であってもよい。 この 、 入力 I ZF 5 0 4は、 IS 信号の受信機である。 また、 入力装置 5 0 5は、 デジタル TV放送局であっても よい。 この^、 入力 I /F 5 0 4は、 デジタル TVチューナーである。
出力 I /F 5 0 6は、 プロセッサ 5 0 2によって復号化されたデータを出力装 置 5 0 7に送信するインターフェースである。
出力装置 5 0 7は、 «復号化装置 5 0 1が復号化したデータの出力先であり、 例えば、 を出力するディスプレイである。 この^ \ 出力 I /F 5 0 6は、 例えば、 ビデオカードである。 また、 出力装置 5 0 7は、 復号化したデータをス トリーム記録する記憶装置である。 この^、 出力 I /F 5 0 6は、 例えば、 S C S Iインターフェースである。
復号化装置 5 0 1は、 入力 I /F 5 0 4及び出力 I ZF 5 0 6をそれぞれ 複数備え、 それぞれの入力 I ZF 5 0 4及ぴ出力 I ZF 5 0 6に、 異なる種類の 入力装置及ぴ出力装置が接続されてもよい。 例えば、 赚符号化装置 1 0 1は、 二つの入力 I ZF 5 0 4を備え、 一方にはノヽードディスク装置が接続され、 もう 一方には光ディスク装置が接続されてもよい。 また、 一方にはハードディスク装 置が接続され、 もう一方には L AN等を介してコンピュータ装置が接続されても よい。
第 6図は、 本発明の第 2の実施の形態の贿復号化装置 5 0 1の機能を説明す るブロック図である。
？ ^複号化装置 5 0 1は、 ストリ一ム角？ ^部 6 0 1、 モード判定部 6 0 2、 復 号化部 6 0 3、 画像変換部 6 1 0及ぴ復号画像メモリ 6 1 1からなる。 ここで、 ストリ一ム角斬部 6 0 1、 モード判定部 6 0 2、 複号化部 6 0 3及び画像変換部 6 1 0は、 メモリ 5 0 3に格納され、 プロセッサ 5 0 2によって実行されるプロ グラムであり、 復号画像メモリ 6 1 1は、 メモリ 5 0 3の一部の領域である。 ま た、 復号化部 6 0 3は、 プロセッサ 5 0 2によって実行されるプログラムである 動き予測部 6 0 4、 イントラ予測部 6 0 5、 係数角浙部 6 0 6、 逆量子化部 6 0 7及び逆算術演算部 6 0 8、 並びに、 メモリ 5 0 3の一部の領域である予測画像 メモリ 6 0 9からなる。
第 2の実施の形態の復号化装置 5 0 1は、 第 1の実施の形態の映像符号化装置 1 0 1によって符号化されたストリームを復号化することができる。 次に、 « 復号化装置 5 0 1の各部の機能を、 符号化されたストリ一ムを復号化する手順に 沿って説明する。
ストリーム解析部 6 0 1は、 入力された符号化ストリームのデータを角晰し、 フラグゃデータの情報をモード判定部 6 0 2に伝送する。 ストリーム角？ W部 6 0 1は、 符号化装置 1 0 1によって作成されたストリームのデータ、 フラグを角 斤 する。
次に、 モード判定部 6 0 2は、 ストリーム解析部 6 0 1によって解析された情 報によって、 動き予測やイントラ予測、 画像変換に関するモードの制御を行う。 符号化時に、 画像に対して反転、 回転等の変換処理が施されて 1/、ることを示すフ ラグがストリームに付されている;^には、 施された変換処理の種類の情報 （例 えば、 左右対称変換が施されている力否かの情報等） を画像変換部 6 1 0に伝送 する。
動き予測部 6 0 4は、 モード判定部 6 0 2力 ^伝送された動きべクトル等の情 報と予測画像メモリ 6 0 9および復号画像メモリ 6 1 1の画像とを用いてフレー ム間予測を行い、 予測情報を係数解析部 6 0 6に伝送する。
イントラ予測部 6 0 5は、 モード判定部 6 0 2から伝送されたィントラ符号化 モード等の情報と復号画像メモリ 6 1 1の画像とを用いてイントラ予測を行い、 予測情報を係数解析部 6 0 6に伝送する。
係数解析部 6 0 6、 逆量子化部 6 0 7及ぴ逆算術変換部 6 0 8は、 従来の復号 化装置と同じものであり、 それぞれ、 予測情報と係数情報との合成、 変換係数の 逆量子化及び D C T演算等を行う。
画像変換部 6 1 0は、 モード判定部 6 0 2力ら伝送された情報に従って、 復号 化された画像のフレーム全体又は一部を変換処理する。 すなわち、 上記第 1図及 び第 2図の符号化装置 1 0 1の画像変換部 2 0 2が行った変換処理を元に戻す処 理を行う。
復号画像メモリ 6 1 1は、 画像変換部 6 1 0による変換処理後の復号画像を格 納し、 出力装置 5 0 4に伝送して、 復号化された画像の画面への表示ゃストリー ムへの出力を行う。
第 7図は、 本発明の第 2の実施の形態の映像復号化の手順の説明図である。 まず、 ストリーム角? tf部 6 0 1及びモード判定部 6 0 2がストリーム及びフラ グの角浙を行う （ステップ 7 0 1 ) 。 次に、 復号化部 6 0 3が画像を復号化する (ステップ 7 0 2 ) 。 次に、 画像変換部 6 1 0力 S復号画像の変換を行い、 復号画 像メモリ 6 1 1に格納する （ステップ 7 0 3 ) 。 最後に、 復号画像メモリ 6 1 1 に格納された画像を表示又はストリーム記録のために出力する（ステップ 7 0 4 )。 以上で復号化処理が終了する。 なお、 上記の各部の処理の内容は、 第 6図におい て説明した通りであるので、 詳細な説明を省略する。
以上で説明した本発明の第 1の実施の形態の映像符号化装置 1 0 1及ぴ第 2の 実施の形態の,復号化装置 5 0 1は、 同一のハードウエアとして実装されても よい。 この場合、 メモリ 1 0 3 (又は、 メモリ 5 0 3 ) には、 第 2図及ぴ第 6図 において説明した各プログラムが格納されると共に、 第 2図及ぴ第 6図において 説明した各領域が確保される。
以上の本発明の第 1及ぴ第 2の実施の形態によれば、 スキャン方向を変更する ことなく常に予測精度の高い方向にィントラ予測をすることによって符号化後の 符号量を削減する （すなわち、 圧縮率の高い） 象符号化装置と、 これに対応す る！^復号化装置を することができる。 その結果、 従来のイントラ予測と比 較して、 符号量が最大で約 1割程度削減される。 但し、 符号量は原画像の内容に 応じて変化するので、 常時一定の削減量ではない。
第 8図は、 本発明の第 3の実施の形態のィントラ予測方法の説明図である。 本実施の形態は、 予測プロック 8 0 2の画素の信号レベルを予測する際に、 境 界画素の信号レベルだけでなく、 既に符号化された隣接プロック 8 0 1全体の画 素の信号レベルを使用する方法であり、 上記第 2図及ぴ第 6図のイントラ予測部 2 0 5及ぴ 6 0 5におレ、て用!/ヽられる。 ここで、 「予測プロック J とは、 符号化 の であって、.まだ符号化されていないブロックをいい、 「隣接プロック」 と は、 予測プロックに,する符号化済みのプロックをいう。
予測の方向は、 第 3図の 3 0 6に示す通りである。 本実施の形態では、 説明を 簡単にするため、一部の方向につ ヽての予測のみを記載する力 実際の予測では、 予測の方向 3 0 6の全てについて予測を行い、 残差成分が最も小さくなる方向が 選択される。 ここで、 予測とは、 符号化の際には、 予測プロック 8 0 2の各画素 の実際の信号レベルと、 予測に利用する隣接プロックの画素の信号レベルから算 出された予測値との差分 （残誠分） を符号化する手順をいう。 一方、 復号化の 際には、 同様にして算出された予測値に、 復号化された残 分を加算すること によって復号画像を得る手順をいう。 以下、 符号化の手順を説明する。
従来のイントラ予測方法は、 境界画素のみを用いた予測; W去である。 例えば、 垂直方向に予測する^、 予測プロック 8 0 2の真上にある瞵接プロック 8 0 .1 の境界画素 （最も下の一行の画素） を用いて、 下方向に予測する。 すなわち、 予 測プロック 8 0 2を 4列に分割し、 各画素の信号レベルの値から、 その画素を含 む列の上に接する境界画素の信号レベルの値を減算する。 水平方向に予測する場 合も同様に、 予測ブロックの左側にある隣接ブロックの境界画素 （最も右の一列 の画素） を用いて、 右方向に予測する。 すなわち、 予測プロック 8 0 2を 4行に 分割し、 各画素の信号レベルの値から、 その画素を含む行の左に接する境界画素 の信号レベルの値を減算する。すなわち、上記のいずれの方向の予測においても、 予測ブロックの画素の信号レベルを、 境界画素の信号レベルと同じであると予測 し、 その予測値と実際の値との差 （残 分） を計算する。
一方、本努明の第 3の実施の形態のィントラ予測方法は、境界画素だけでなく、 ,プロックの内部の画素をも用レヽる複合画素による予測方法である。 ここで、 複合画素とは、 予測ブロックの画素の予測に用いる複数のブロックをいい、 例え ば、 水平方向に予測する^^、 予測対象の行の左側に隣接する隣接ブロックの一 .行 （8 0 3 ) である。 この：^、複合画素 8 0 3の値から補間式によって予測値 を算出し、 隣接する予測ブロックの一行の画素の値を予測する。 この予測には、 例えば、 ニュートン前進補間式を用いる。 例えば、 隣接ブロックの複合画素と予 測プロックの予測 ¾ ^の画素の番号 nを 0〜 7として、 画素 nの信号レベルを y nとし、 n = 0、 1、 2、 3 (符号化済み） から n = 4、 5、 6、 7 (未符号化） を求める^について説明する。 この時、 画素 nの信号レベル予測値 y ま、 式 ( 1 ) によって算出される。
残差成分は、 予測ブロックの画素の値から、 式 （1 ) によって算出された予測 値を減算して求める。 例えば、 n = 7の 、 画素 7の残 分は、 画素 7の実 際の値から y 7を減算した値である。斜めの方向に予測する:^も、同様にして、 予測対象となる予測プロックの画素と、予測の基礎となる隣接プロックの画素に、 番号 n (n = 0〜7) を付して、式（1) によって予測値を算出する （805)。 予測の ^となる画素が 4より少ない は、 nの範囲を制限して計算する。 例 えば、 予測の ¾ ^となる画素が 3である ¾ ^は、 n = 0〜6とする （806) 。 一 =ヌ。 +w 0 - 1)!)! - 1)("一 2)£)2 (1)
D0 =yx一 o
A =γ< 2 -2^ι + ο)
D2 = (y3- 3_y2+3 i - o) 式（ 1 )は、プロックサイズが 4 X 4画素の ^に適用する数式の例であるが、 本実施の形態の予測方法は、 他のプロックサイズ （例えば、 16X 16画素等） の ^にも適用することができる。 一般に、 0から nまでの番号力 S付された画素 について、 画素 0〜！ IIの既知の信号レべノレの値から、 画素 ml l~nの信号レベルの値を予測する;^、 予測値 ynは、 式 （2) によって求めることができる。 ここで、 nC jは二項係数である。
Figure imgf000018_0001
c― nl
J 1 jKn-jV.
次に、 従来の予測方法による残差と本実施の形態の予測方法による残差とを比 較する。 従来の予測方法による信号レベル 808は、 画素 3. (境界画素） の信号 レベ/レと同じである。一方、本実施の形態の予測方法による信号レベル 809は、 式 （1) によって算出された値である。
例えば、 画素 0〜 3の信号レベルが一定の割合で変化するとき、 画素 4〜 7の 実際の信号レベル 810も、 それに近い割合で変化することが多い。 すなわち、 実際の信号レベル 810は、 従来の予測方法による信号レベル 808より本実施 の形態の予測方法による信号レベル 809に近レヽことが多レ、。 その結果、 従来の 予測方法による残差 811より本実施の形態の予測方法による残差 812が小さ くなり、 符号量が少なくなる。 なお、 式 （1) 及ぴ式 （2) では、 予測に全ての 既知の画素の信号レベルを用いているが、 一部の画素の信号レベルを用いて予測 することもできる。
なお、 本実施の形態には、 最小二乗法を適用してもよい。
Figure imgf000019_0001
既知の信 号レベルから、 最小二乗法による推定を行った一次式を用いる。 例えば、 上記と 同様に、 n = 0、 1、 2、 3のときの画素 nの既知の信号レベル y nに基づいて、 n = 4s 5、 6、 7のときの画素 nの信号レベル y nを求める:^には、式（.3) を用いる。 ここで、 mは、 予測の基礎となる画素の数であり、 この例では、 m= 4である。
yn =an + b (3)
-y) -n) ∑(i-n)2 b=y ~an,y =— ,yi
1 m-l
=—2 第 9図は、 本発明第 3の実施の形態のィントラ予測方法を適用するィントラ予 測部 205の機能を説明するプロック図である。
本実施の形態のィントラ予測部 205は、 既に符号化された隣接プロックの信 号レベルの情報 907と現画像とに基づ 、て、 予測プロックのイントラ符号化モ ード（すなわち、上記第 3図の予測の方向 306)を決定し、予測処理を行って、 符号化モード及び残差成分の情報 906をモード制御部 213、 及び算術変換部 206に伝送する。 イントラ予測部 2.0 5は、 イントラ予測制御部 9 0 1と、 各符号化モードに対 応する複数の予測部とによって構成される。 これらの複数の予測部は、 従来の境 界画素を使用した予測をおこなうものと、 本実施の形態の複合画素による予測を 行うものに分類され、 それぞれには、 第 2図の予測の方向 3 0 6に示す各方向に 予測を行うものが含まれる。
第 9図には、説明を簡単にするため、境界画素を用いて垂直方向（第 2図の「 0 ： V e r t i c a. l j ) に予測する垂直方向境界画素モード予測部 9 0 2、 境界画 素を用いて水平方向 （第 2図の 「l : H o r i z o n t a l」 ） に予測する水平 方向境界画素モード予測部 9 0 3、 複合画素を用いて垂直方向に予測する垂直方 '向複合画素モード予測部 9 0 4及 合画素を用いて水平方向に予測する水平方 向複合画素モード予測部 9 0 5のみを示すが、 実際には、 第 2図の他の予測の方 向 3 0 6ごとに、 境界画素を用いる予測部と、 複合画素を用いる予測部とが設け られる。
イントラ予測制御部 9 0 1は、 イントラ予測方法の管理を行う。 すなわち、 予 測プロックに隣接するプロックが使用可能かどうかをチェックし、 イントラ予測 のための情報を制御する。
各モード予測部 9 0 2〜 9 0 5は、 隣接プロックの画素の信号レベルから予測 プ.口ックの画素の信号レベルを予測して、 実際の画素の信号レベルとの残差成分 を算出する。 次に、 算出された残差成分が最も小さいモードの情報をモード制御 部 2 1 3に伝送し、 そのモードで算出された残誠分を算術変換部 2 0 6に伝送 する。
垂直方向境界画素モード予測部 9 0 2は、 予測ブロックの上側の隣接プロック の境界画素を用いて、 下方向に予測する。 水平方向境界画素モード予測部 9 0 3. は、予測プロックの左側の隣接プロックの境界画素を用いて、右方向に予測する。 垂直方向複合画素モード予測部 9 0 4及ぴ水平方向複合画素モード予測部 9 0 5は、 本実施の形態の複合画素を用いたィントラ予測を行う。 垂直方向複合画素 モード予測部 9 0 4は、 予測プロックの上側の隣接ブロックの複合画素 （すなわ ち、 境界画素及び内部にある画素） を用いて、 式 （1 ) 又は式 （2 ) によって信 号レベルの予測値を計算し、 実際の信号レベルとの残^ ¾分を求める。 水平方向 複合画素モード予測部 9 0 5は、 予測プロックの左側の隣接プロックの複合画素 を用いて、 式 （1 ) 又は式 （2 ) によって信号レベルの予測値を計算し、 実際の 信号レベルとの残 分を求める。
第 1 0図は、本発明の第 3の実施の形態のィントラ予測の手順の説明図である。 まず、ィントラ予測制御部 9 0 1力 S、イントラ予測モードのチェックを行う （ス テツプ 1 0 0 1 ) 。 すなわち、 隣接するブロックの画素が使用可能であるかどう かを判定し、 その判定結果に基づいて、 適用可能な予測の方向 3 0 6及ぴそれぞ れの予測の方向 3 0 6において予測に使用する画素を特定する。
次に、モード予測部 9 0 2〜 9 0 5力 適用可能な予測の方向 3 0 6について、 イントラ予測を行う。 第 1 0図では、 例として、 垂直方向及び水平方向のそれぞ れについて、 従来の境界画素を用いた予測と、 本実施の形態の複合画素を用いた 予測とを行う （ステップ 1 0 0 2〜1 0 0 5 ) 。
次に、 ステップ 1 0 0 2〜1 0 0 5の予測の結果から、 最適なイントラ予測モ 一ドを選択する （ステップ 1 0 0 6 ) 。 ステップ 1 0 0 2〜 1 0 0 5の予測の結 果、 画素ごとの残^分のモードごとの合計値が算出される。 この合計値が小さ いモードほど符号化後の符号量は小さくできるため、 最も残誠分の合計値が小 さいモードを纖なモードとして選択する。 次に、 選択された残誠分を算術変 換部 2 0 6に伝送し、選択されたモードの情報をモード制御部 2 1 3に伝送する。 さらに正確に判定するためには、 モード選択部 2 1 4力 算術変換部 2 0 6によ る算術変換後の残^;分の合計値が最も小さいモードを: titなモードとして選択 してもよい。 以上で、 イントラ予測処理が終了する。
モード選択部 2 1 4は、 選択された最適なモードを示すフラグを、 出力する符 号のストリームに付加する。 なお、 第 1 0図においては、 説明を簡単にするため、 垂直方向及び水平方向の 予測のみを記載したが、 実際は、 イントラ予測制御部 9 0 1力 S適用可能と判定し た全ての予測の方向について予測を行い、 その結果から最適なモードを選択する ことができる。
第 9図及び第 1 0図は、 1 ^象符号化装置 1 0 1につ!/、て説明したが、 本実施の 形態のィントラ予測方法は、 »復号化装置 5 0 1についても同様に適用するこ とができる。 この^、 イントラ予測部 6 0 5は、 従来の境界画素モード予測部 に加えて、 各予測の方向 3 0 6ごとの複合画素モード予測部を備え、 入力された 符号化データの予測モードに従つてイントラ予測を行うことによって、 本実施の 形態のイントラ予測方法に対応した! ^複号化装置 5 0 1を実現することができ る。
すなわち、 モード判定部 6 0 2は、 復号化しようとする画像のストリームに付 されたフラグを参照し、 画像を符号化したときに選択されたィントラ予測モード を判定する。 次に、 イントラ予測部 6 0 5は、 判定されたィントラ予測モードに 従って予測を行い、 画像を復号化する。 例えば、 復号化しようとする画像が、 右 方向に境界画素モードの符号化がされて 、た は、 予測プロックの画素の信号 レベルを、'予測プロックの左側の隣接プロックの境界画素と同じと予測して、 復 号化する。 また、 例えば、 復号化しようとする画像が、 右方向に複合画素モード の符号化がされて ヽた: ^は、 予測プロックの画素の信号レベルを、 予測ブロッ クの左側の隣接プロックの複合画素に式 ( 1 ) を適用して予測値を算出し、 復号 化する。
以上の本発明の第 3の実施の形態によれば、 複合画素 （ブロック内部の画素） を用いて精度の高いィントラ予測をすることによって、 符号化後の符号量を削減 する （すなわち、 圧縮率が高い） «符号化装置、 およびこれに対応した «復 号化装置を することができる。
第 1 1図は、 本発明の第 4の実施の形態のデータ記録媒体の説明図である。 データ記録媒体 1 1 0 1は、 出力装置 1 0 7又は入力装置 5 0 5が記憶装置で ある ^の記録媒体であり、 例えば、 磁気ディスクである。 本発明の第 1の実施 の形態の！^象符号化装置 1 0 1によって作成された符号化データは、 データ記録 媒体 1 1 0 1上にデータ列 1 1 0 2として記録される。 データ列 1 1 0 2は、 一 定の文法に従う符号化ストリームとして記録される。 以下、 H. 2 6 4 /AV C 規格の例について説明する。
H. 2 6 4 ZAV Cでは、 ストリームは、 シーケンスパラメータセット 1 1 0 3、 ピクチャパラメータセット 1 1 0 4並びにスライス 1 1 0 5、 1 1 0 6及ぴ 1 1 0 7によって構成される。以下、例として、 1つのスライスに 1つの画像（フ レーム） が格納される ¾ ^について説明する。
フレーム全体に左右対称変換、 上下対称変換又は回転変換等の変換処理が行わ れた のストリームでは、 スライス 1 1 0 5の先頭にスライスヘッダ 1 1 0 8 が記録され、 スライスヘッダ 1 1 0 8の内部には、 変換処理に関連するフラグ等 の情報 1 1 0 9力 S格納される。 この情報の内容としては、 変換 理を行ったか否 力を示すフラグと、 画像の一部の領域を変換した場合には、 その一部の領域の位 置情報等が格納される。変換処理を行った力^かを示すフラグは、左右対称変換、 上下対称変換については、それぞれ 1ビットずつあれば足りる。回転変換の 、 時計周りに 9 0度回転する毎に数を 1ずつ増やすとすると、 2ビットあれば 3 6 0度の回転を表現できる。 変換処理を行った領域の位置情報は、 例えば、 画像に おける^標、 ¾¾¾標、 幅、 高さ等の情報である。 また、 マクロプロック毎に変 換処理を行う ¾ ^には、 スライスへッダの代わりにマクロブロックのフラグを記 録する部分にこれらの情報を格納することができる。
また、 本発明の第 3の実施の形態のイントラ予測方法を適用する^^、 H. 2 6 4 /AV C規格の符号化ストリームに複合画素を用いた新しいモードが勵口さ れる。 この：^、 従来のフラグ等の情報 1 1 0 9に、 新しいモードを示す数値を il¾口して格納する。 新しいモードの表現形式としては、 複合画素を用いた予測で あることを示すビットを ϋ¾してもよいし、 各予測方向に対して、 複合画素によ るモード予測を行った：！^の数値を割り当ててもよい。
第 1 2図は、 本亮明の第 5の実施の形態のパケットの説明図である。 ' 第 1 2図は、 例として、 »符号化装置 1 0 1の出力 I /F 1 0 6力 I Pネ ットワークに 言する I Pパケットを第 1 1図のデータ列 1 1 0 2から生成する 手順を説明する図である。
まず、 データ列 1 1 0 2は、 所定のサイズに分割され、 T C Pヘッダ 1 2 0 4 〜1 2 0 6が付され、 T C Pセグメント 1 2 0 1〜 1 2 0 3が生成される。 第 1 2図は、一つのスライスから一つのセグメントが生成される例を示す。このとき、 各スライスに含まれるスライスヘッダ 1 1 0 8も、 セグメントに含まれる。 第 1 1図において説明したように、 スライスヘッダ 1 1 0 8の内部には、 変換処理に 関連するフラグ等の情報 1 1◦ 9力 S格納される。 なお、 第 1 2図では説明を省略 するが、 スライス 1 1 0 7以降についても同様にしてセグメントが生成される。 次に、 各セグメントが所定のサイズに分割され、 I Pへッダが付され、 I Pパ ケットが生成される。 例えば、 セグメント 1 2 0 2を所定のサイズに分割し、 I Pヘッダ 1 2 0 9及ぴ 1 2 1 0を付して、 I Pパケット 1 2 0 7及び 1 2 0 8力 S 生成される。 ここでは、 セグメント 1 2 0 2の一部から生成された I Pパケット 1 2 0 7及ぴ 1 2 0 8のみを示すが、 セグメント 1 2 0 2全体について、 同様に して I Pパケットが生成される。 また、 第 1 2図では説明を省略するが、 他のセ グメント 1 2 0 1等も同様にして分割され、 I Pパケットが生成される。
I Pパケット 1 2 0 9等は、 例えば、 符号化装置 1 0 1の出力 I ZF 1 0 6によって生成され、 I Pネットワーク （図示省略） を介して出力装置 1 0 7に ^言される。
また、 I Pバケツト 1 2 0 9等は、データ列 1 1 0 2が格納された記憶装置と、 データ列 1 1 0 2から I Pパケット 1 2 0 9等を生成して 言する出力インター フェースとを備え、 赚符号化機能を有しないパケット送信装置 （図示省略） か ら 言されてもよい。
また、第 1 2図と同様にして、 g ^符号化装置 1 0 1又はバケツト 言装置は、 データ列 1 1 0 2から無線バケツトを生成し、 無線バケツト通信網を介して出力 装置 1 0 7に無線パケットを難してもよい。
なお、 本発明は、 H. 2 6 4 /AV Cに限らず、 種々の規格に基づいた赚符 号化装置及ぴ«復号化装置等に適用することができる。 産業上の利用可能性
本発明は、 画像データの記録及び伝送に利用することができ、 圧縮率を改善し てデータ量を削減することによって、 記録容量の低減及び伝送速度の向上に寄与 する。 例えば、 本発明は、 ハードディスクや DVDを用いたビデオレコーダー及 ぴビデオプレーヤーに利用することができる。 また、 本発明は、 携帯電話ゃテレ ビ放送を含む、 有線又は無線通信網を用レヽた画像配信サービスに利用することが できる。 また、 本発明は、 テレビ mis、 テレビ会議システム等に利用することが できる。

Claims

請 求 の 範 囲
1 . 画像の信号を符号化する符号化装置において、
嫌己画像の方向を変換する画像変換部 （2 0 2 ) と、
嫌己方向を変換されていない変換前画像と、 觸己方向を変換された変換後画像 とをそれぞれ符号化する一つ又は複数の符号化部 （2 0 3 ) と、
備己符号化された変換前画像の符号量と、 應己符号化された変換後画像の符号 量とを比較し、 tuts符号量が少ない符号を選択し、 觸己選択された符号と、 鍵己 選択された符号の aSUを示す識別子とを出力するモード選択部 （2 1 4) と、 を 備えることを薩とする符号化装置。
2. 前記画像変換部 ( 2 0 2 ) は、 前記画像を上下に反転する上下対称モード、 觸己画像を左右に反転する左右対称モード、 及び Z又は、 編己画像を回転させる 回転モードの変換を行い、
觸 5符号化部 ( 2 0 3 ) は、 廳己変換前画像と、 嫌 3各モードの変換が行われ た変換後画像とをそれぞれ符号ィ匕し、
fillSモード選択部 （2 1 4 ) は、 前記符号化された変換前画像の符号量と、 前 記符号化された各モードの変換後画像の符号量とを比較し、 ttit己符号量が少ない 符号を選択し、 tflfffil択された符号と、 編 S1択された符号の を示す ϋ¾Ι子 とを出力することを樹敷とする請求項 1に記載の符号化装置。
3. 符号化された画像の信号を復号化する復号化装置にぉレ、て、
t&f己画像の方向が変換されているカゝ否かを判定するモード判 13(6 0 2 )と、 編己画像を復号化する復号化部 （6 0 3 ) と、
tin己復号化された画像に対して、 IS判定された変換を元に戻す変換を行う画 像変換部 （6 1 0 ) と、 を備えることを糊敷とする復号化装置。
4.前記モード判定部（6 0 2 )は、 Iff記画像を上下に反転する上下対称モード、 Ιΐίΐ己画像を左右に反転する左右対称モード、 及び/又は、 前記画像を回転させる 回転モードの変換のいずれかが行われているカゝ否かを判定することを特徴とする 請求項 3に記載の復号化装置。
5 . 画像の信号を符号化する処理を、 プ πセッサ （1 0 2 ) に実行させるプログ ラムにおいて、
嫌己画像の方向を変換する第 1の手順と、 ·
ΙίίΙ己方向を変換されていなレ、変換前画像を符号化する第 2の手順と、 廳3方向を変換された変換後画像を符号化する第 3の手順と、
廳 3第 2の手順で符号化された符号量と廳己第 3の手順で符号化された符号量 とを比較し、 觸己符号量が少ない符号を選択し、 嫌己選択された符号と、 爾己選 択された符号の を示す ϋ¾子とを出力する第 4の手順とを含むことを樹敷と するプログラム。
6 . 鍵己第 1の手順は、 嫌己画像を上下に反転する上下対称モード、 廳己画像を 左右に反転する左右対称モード、 及び Ζ又は、 .嫌己画像を回転させる回転モ^"ド の変換を行い、
tins第 3の手順は、 読各モードの変換が行われた変換後画像を符号化し、 前記第 4の手順は、 廳3符号化された変換前画像の符号量と、 歸己符号化され た各モードの変換後画像の符号量とを比較し、廳己符号量が少な Vヽ符号を選択し、 t&ff己選択された符号と、 tfff己選択された符号の顧リを示す翻リ子とを出力するこ とを樹敷とする請求項 5に記載のプログラム。
7. 符号化された画像の信号を復号化する処理を、 プロセッサ （5 0 2) に実行 させるプログラムにぉレ、て、
嫌己画像の方向が変換されている力否かを判定する第 1の手順と、
歯己画像を復号化する第 2の手順と、
tfff己復号化された画像に対して、 判定された変換を元に戻す変換を行う第 3の手)暝と、 を含むことを特徴とするプログラム。
8. 前記第 1の手順は、 爾己画像を上下に反転する上下対称モード、 編己画像を 左右に反転する左右対称モード、 及び/又は、 tins画像を回転させる回転モード の変換のいずれかが行われたカゝ否力を判定することを糊敷とする請求項 7に記載 のプログラム。
9. 画像の信号を符号化する方法であって、 .
lf己画像の方向を変換する第 1の手順と、
MIS方向を変換されていな!/、変換前画像を符号化する第 2の手順と、 廳己方向を変換された変換後画像を符号化する第 3の手順と、
觸 S第 2の手順で符号化された符号量と tins第 3の手順で符号化された符号量 とを比較し、 前記符号量が少ない符号を選択し、 嫌己選択された符号と、 mm 択された符号の を示す識別子とを出力する第 4の手順とを含むことを糊敷と する方法。
1 0. 前記第 1の手順は、 前記画像を上下に反転する上下対称モード、 前記画像 を左右に反転する左右対称モード、 及び/又は、 爾 S画像を回転させる回転モー ドの変換を行い、
編己第 3の手順は、 鍵己各モードの変換が行われた変換後画像を符号化し、 . 嫌己第 4の手順は、 觸 S符号化された変換前画像の符号量と、 嫌己符号化され た各モードの変換後画像の符号量とを比較し、 it己符号量が少ない符号を選択し、 in己選択された符号と、 ttrt己選択された符号の衝リを示す ϋ ^子とを出力するこ とを糊敷とする請求項 9に記載の方法。
1 1 . 符号化された画像の信号を復号化する方法であって、
liifS画像の方向が変換されているカ^カを判定する第 1の手順と、
tfif己画像を復号化する第 2の手順と、
Ιίίϊ己復号化された画像に対して、 前記判定された変換を元に戻す変換を行う第 3の手順と、 を含むことを特徴とする方法。
1 2. 謂 S第 1の手順は、 漏 S画像を上下に反転する上下対称モード、 前記画像 を左右に反転する左右対称モード、 及び Z又は、 tins画像を回転させる回転モー ドの変換の ヽずれかが行われたカゝ否かを判定することを樹敫とする請求項 1 1に 記载の方法。
1 3. 符号化された画像が記録される記録媒体において、
tin己画像を符号化する際に it己画像を上下に反転する上下対称モード、 m 像を左右に反転する左右対称モード、 及び z又は、 tins画像を回転させる回転モ ードの変換が行われたことを示す識別子が、 tins符号化された画像と共に記録さ れることを特徴とする記録媒体。 · .
1 4. 符号化された画像を送信する 言方法であって、
tiif¾ 号化された画像と、 嫌己画像を符号化する際に Ιίίϊ己画像を上下に反転す る上下対称モード、 嫌己画像を左右に反転する左右対称モード、 及び/又は、 前 記画像を回転させる回転モードの変換のレヽずれかが行われたことを示す リ子と を含むバケツトを 言することを樹敷とする 言方法。
1 5 . 画像の信号を符号化する符号化装置において、
t&f己画像の予測領域の第 1の画素の情報と、 tin己第 1の画素から予測方向にあ る複数の第 2の画素の情報に前進補間式を適用して算出した予測値との第 1の差 分を算出し、前記予測領域の鍵 S第 1の を符号化する符号化部（ 2 0 3 )と、 複数の前記予測方向について算出された前記予測領域の前記第 1の差分の符号 量を比較し、 lift己符号量が最も少ない符号を選択し、 ΙίίΙΏΙ択された符号と、 前 記選択された符号がいずれの MIB予測方向について算出された第 1の差分である 力を示す識リ子とを出力するモード選択部 （2 1 4) と、 を備えることを特徴と する符号化装置。
1 6. IH符号化部 （2 0 3 ) は、 ΙίίΙ己画像の予測領域の第 1の画素の情報と、 m 1の画素から予測方向にある一つの第 3の画素の情報との第 2の差分を算 出し、 Ιΐίΐ己予測領域の l己第 2の差分を符号化し、
Ιΐίΐ己モード選択部 （2 1 4 ) は、 複数の 予測方向について算出された ffjf己 予測領域の前記第 1及び第 2の差分の符号量を比較し、 編己符号量が最も少な ヽ 符号を選択し、 前記選択された符号と、 ttifS選択された符号がいずれの ΙΐίΒ予測 方向につレ、て算出された第 1又は第 2のレ、ずれの差分であるかを示す fisij子とを 出力することを樹敷とする請求項 1 .5に記載の符号化装置。 .
1 7. 符号化された画像の信号を復号化する復号化装置において、
ΙίίΙ己符号化された画像の信号が、 ヽずれの予測方向で予測されているかを判定 するモード判 ( 6 0 2) と、
嫌己予測方向の複数の画素の情報に前進補間式を適用して予測値を算出し、 前 記符号化された第 1の差分を復号化する復号化部 （6 0 3 ) と、 を備えることを 特徴とする復号化装
1 8. tiff己モード判定部 （6 0 2) は、 廳 S符号化された画像の信号が、 複数の 画素の情報に Iif己前進補間式を適用して算出された予測値を基準とした第 1の差 分が符号化されたものである力、 一つの画素の情報を基準とした第 2の差分が符 号化されたものであるかを判定し、
難復号化部 (6 0 3) は、 ttifS符号化された画像の信号が觸己第 1の差分が 符号化されたものである は、 ΙΐίΙ己予測方向に ΙίίΙΒ複数の画素の情報に前記前 進補間式を適用して予測値を算出し、 鍵己符号化された第 1の差分を復号化し、 ttlf己符号化された画像の信号が Ιίίΐβ第 2の差分が符号化されたものである は、 Ιΐίΐ己予測方向に編己一つの画素の情報による予測を行い、 前記符号化された第 2 の差分を復号化することを特徴とする請求項 1 7に記載の復号化装置。
1 9. 画像の信号を符号化する処理を、 プロセッサ （1 0 2 ) に実行させるプロ グラムにおいて、
Ιΐίϊ己画像の予測領域の第 1の画素の情報と、 前記第 1の画素から予測方向にあ る複数の第 2の画素の情報に前進補間式を適用して算出した予測値との第 1の差 分を算出し、 觸 5予測領域の編己第 1の ^^を符号化する第 1の手順と、
複数の前記予測方向について算出された ΙΐίΒ予測領域の 101己第 1の差分の符号 量を比較し、 前記符号量が最も少ない符号を選択し、 tiitffil択された符号と、 前 ' 記選択された符号力 sいずれの前記予測方向について算出された第 1の差分である 力を示す識別子とを出力する第 2の手順と、を含むことを特徴とするプログラム。
2 0. 廳己第 1の手順は、 廳己画像の予測領域の第 1の画素の情報と、 編己第 1 の画素から予測方向にある一つの第 3の画素の情報との第 2の差分を算出し、 前 記予測領域の觸 S第 2の差分を符号化し、
爾己第 2の手順は、 複数の tirf己予測方向について算出された嫌己予測領域の前 記第 1及び第 2の^^の符号量を比較し、 ttlf己符号量が最も少ない符号を選択し、 tfft己選択された符号と、 前記選択された符号がレ、ずれの 己予測方向にっレヽて算 出きれた第 1又は第 2の！/ヽずれの差分であるかを示す iiSIJ子とを出力することを 特徵とする請求項 1 9に記載のプログラム。 - 2 1 . 符号化された画像の信号を復号化する処理を、 プロセッサ （5 0 2 ) に実 行させるプログラムにおいて、
前記符号化された画像の信号が、 レヽずれの予測方向で予測されているかを判定 する第 1の手 Mlと、
嫌己予測方向の複数の画素の情報に前進補間式を適用して予測値を算出し、 前 記符号化された第 1の^"を復号化する第 2の手順と、 を含むことを特徴とする プログラム。
2 2 . 編己第 1の手順は、 前記符号化された画像の信号力 複数の画素の情報に lift己前進補間式を適用して算出された予測値を基準とした第 1の差分が符号化さ れたものであるか、 一つの画素の情報を基準とした第 2の差分が符号化されたも のであるかを判定し、
lifts第 2の手順は、 爾己符号化された画像の信号が Ιίίϊΰ第 1の差分が符号化さ れたものである齢は、 前記予測方向に鍵己複数の画素の情報に觸己前進補間式 を適用して予測値を算出し、 ΙίίΙΗ符号化された第 1の差分を復号化し、 爾 S符号 化された画像の信号が嫌己第 2の差分が符号化されたものである は、 觸己予 測方向に觸3—つの画素の情報による予測を行レ、、 Ιϋΐ己符号化された第 2の差分 を復号化することを糊敷とする請求項 2 1に記載のプログラム。
2 3 . 画像の信号を符号化する方法であって、
ΙΐΠ己画像の予測領域の第 1の画素の情報と、 嫌己第 1の画素から予測方向にあ る複数の第 2の画素の情報に前進補間式を適用して算出した予測値との第 1の差 分を算出し、 婦己予測領域の Ιΐίϊ己第 1の ^^を符号化する第 1の手順と、 複数の ΙΐίΙΒ予測方向にっ ヽて算出された ΙΐίΙ己予測領域の Ιΐίϊ己第 1の差分の符号 量を比較し、 籠己符号量が最も少ない符号を選択し、 嫌己選択された符号と、 前 記選択された符号がいずれの編3予測方向について算出された第 1の差分である カゝを示す 1仔とを出力する第 2の手順と、 を含むことを特徴とする方法。
2 4. 觸己第 1の手順は、 Ιΐίϊ己画像の予測領域の第 1の画素の情報と、 MIS第 1 の画素から予測方向にある一つの第 3の画素の情報との第 2の差分を算出し、 前 記予測領域の 第 2の^を符号化し、
嫌 S第 2の手順は、 複数の觸3予測方向について算出された Itl 予測領域の前 記第 1及び第 2の差分の符号量を比較し、前記符号量が最も少な ヽ符号を選択し、 鍵己選択された符号と、 編己選択された符号カ^ヽずれの龍己予測方向につ!/ヽて算 出された第 1又は第 2のいずれの差分である力を示す識別子とを出力することを 特徴とする請求項 2 3に記載の方法。
2 5. 符号化された画像の信号を復号化する方法であって、
ttifS符号化された画像の信号が、 1/、ずれの予測方向で予測されてレヽるかを判定 する第 1の手順と、
lift己予測方向の複数の画素の情報に前進補間式を適用して予測値を算出し、 前 記符号化された第 1の差分を復号化する第 2の手順と、 を含むことを雖とする .方法。
2 6. 廳己第 1の手順は、 前記符号化された画像の信号が、 複数の画素の情報に ΙίίΙ己前進補間式を適用して算出された予測値を基準とした第 1の差分が符号化さ れたものである力、 一つの画素の情報を基準とした第 2の差分が符号化されたも のであるかを判定し、 Ι&ΐ己第 2の手順は、 tfrf己符号化された画像の信号が嫌己第 1の差分が符号化さ れたものである場合は、 前記予測方向に前記複数の画素の情報に前記前進補間式 を適用して予測値を算出し、 編己符号化された第 1の差分を復号化し、 觸3符号 化された画像の信号が ffllB第 2の差分が符号化されたものである:^は、 KJI己予 測方向に ttit己一つの画素の情報による予測を行い、 Ιΐίΐ己符号化された第 2の差分 を復号化することを 敫とする請求項 2 5に記載の方法。
2 7. 符号化された画像が記録される記録媒体において、 .
lift己画像を符号化する際に一つの画素の情報を基準とした第 1の差分が符号化 されている力、 複数の画素の情報と、 前記複数の画素の情報に前進補間式を適用 して予測値が算出され、 tflfS予測値を基準とした第 2の差分が符号化されている かを示す翻リ子が、 t&t己符号化された画像と共に記録されることを特徴とする記 録媒体。 2 8. 符号化された画像を 言する 言方法であって、
觸己符号化された画像と、 lift己画像を符号化する際に一つの画素の情報を基準 とした第 1の差分が符号化されている力、 複数の画素の情報と、 tins複数の画素 の情報に前進補間式を適用して予測値が算出され、 ΙΐίΒ予測値を基準とした第 2 の差 が符号化されて!/、るかを示す識別子とを含むパケットを 言することを特 徴とする 言方法。
PCT/JP2004/006169 2004-04-28 2004-04-28 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法 WO2005107267A1 (ja)

Priority Applications (15)

Application Number Priority Date Filing Date Title
JP2006512698A JP5037938B2 (ja) 2004-04-28 2004-04-28 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
PCT/JP2004/006169 WO2005107267A1 (ja) 2004-04-28 2004-04-28 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
US11/066,169 US8787456B2 (en) 2004-04-28 2005-02-28 Image decoding device and method thereof using inter-coded predictive encoding code
US14/295,525 US8923387B2 (en) 2004-04-28 2014-06-04 Image decoding device and method thereof using inter-coded predictive encoding code
US14/551,114 US8971403B1 (en) 2004-04-28 2014-11-24 Image decoding device and method thereof using inter-coded predictive encoding code
US14/624,889 US9118924B2 (en) 2004-04-28 2015-02-18 Image decoding device and method thereof using inter-coded predictive encoding code
US14/796,505 US9319687B2 (en) 2004-04-28 2015-07-10 Image decoding device and method thereof using inter-coded predictive encoding code
US14/796,573 US9277225B2 (en) 2004-04-28 2015-07-10 Image decoding device and method thereof using inter-coded predictive encoding code
US14/796,413 US9270998B2 (en) 2004-04-28 2015-07-10 Image decoding device and method thereof using inter-coded predictive encoding code
US14/796,650 US9277226B2 (en) 2004-04-28 2015-07-10 Image decoding device and method thereof using inter-coded predictive encoding code
US15/087,937 US9414083B1 (en) 2004-04-28 2016-03-31 Image decoding device and method thereof using inter-coded predictive encoding code
US15/088,074 US9432681B2 (en) 2004-04-28 2016-03-31 Image decoding device and method thereof using inter-coded predictive encoding code
US15/087,752 US9414082B1 (en) 2004-04-28 2016-03-31 Image decoding device and method thereof using inter-coded predictive encoding code
US15/088,218 US9414084B1 (en) 2004-04-28 2016-04-01 Image decoding device and method thereof using inter-coded predictive encoding code
US15/221,893 US9549195B2 (en) 2004-04-28 2016-07-28 Image decoding device and method thereof using inter-coded predictive encoding code

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2004/006169 WO2005107267A1 (ja) 2004-04-28 2004-04-28 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法

Publications (1)

Publication Number Publication Date
WO2005107267A1 true WO2005107267A1 (ja) 2005-11-10

Family

ID=35242050

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/006169 WO2005107267A1 (ja) 2004-04-28 2004-04-28 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法

Country Status (2)

Country Link
JP (1) JP5037938B2 (ja)
WO (1) WO2005107267A1 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007043613A1 (ja) * 2005-10-12 2007-04-19 Ntt Docomo, Inc. 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム
JP2007312362A (ja) * 2006-04-17 2007-11-29 Victor Co Of Japan Ltd 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
WO2008102805A1 (ja) * 2007-02-23 2008-08-28 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2008245088A (ja) * 2007-03-28 2008-10-09 Kddi R & D Laboratories Inc 動画像符号化装置および動画像復号装置のイントラ予測方式
JP2010525676A (ja) * 2007-04-17 2010-07-22 クゥアルコム・インコーポレイテッド フレーム内コーディングのための画素ごとの重み付け
WO2010123056A1 (ja) * 2009-04-24 2010-10-28 ソニー株式会社 画像処理装置および方法
JP2011035902A (ja) * 2009-07-30 2011-02-17 Thomson Licensing 画像シーケンスを表す符号化データストリームの復号方法と画像シーケンスの符号化方法
WO2011089972A1 (ja) * 2010-01-22 2011-07-28 ソニー株式会社 画像処理装置および方法
JP2012090327A (ja) * 2011-12-27 2012-05-10 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム
JP2014103678A (ja) * 2011-06-24 2014-06-05 Mitsubishi Electric Corp 画像復号装置
CN104284190A (zh) * 2014-11-05 2015-01-14 安徽大学 一种基于ambtc高低均值最优化的压缩图像隐写编码方法
JP2015019417A (ja) * 2014-09-22 2015-01-29 日立マクセル株式会社 画像復号化方法
CN104378644A (zh) * 2013-08-16 2015-02-25 上海天荷电子信息有限公司 定宽度变长度像素样值串匹配增强的图像压缩方法和装置
WO2015046431A1 (ja) * 2013-09-30 2015-04-02 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP2015526004A (ja) * 2012-07-04 2015-09-07 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 空間予測方法及び空間予測装置
JP2015223003A (ja) * 2015-09-11 2015-12-10 日立マクセル株式会社 画像復号化方法
JP2015223004A (ja) * 2015-09-11 2015-12-10 日立マクセル株式会社 画像復号化方法
JP2015223002A (ja) * 2015-09-11 2015-12-10 日立マクセル株式会社 画像復号化方法
JP2016129391A (ja) * 2016-02-22 2016-07-14 日立マクセル株式会社 画像復号化方法
US9609322B2 (en) 2007-10-10 2017-03-28 Hitachi Maxell, Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04223786A (ja) * 1990-12-26 1992-08-13 Casio Comput Co Ltd 画像圧縮装置
JPH08317403A (ja) * 1995-05-16 1996-11-29 Canon Inc 画像処理装置及び方法
JPH09200757A (ja) * 1996-01-18 1997-07-31 Nitsuko Corp 符号化装置、復号化装置およびデータ伝送装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04223786A (ja) * 1990-12-26 1992-08-13 Casio Comput Co Ltd 画像圧縮装置
JPH08317403A (ja) * 1995-05-16 1996-11-29 Canon Inc 画像処理装置及び方法
JPH09200757A (ja) * 1996-01-18 1997-07-31 Nitsuko Corp 符号化装置、復号化装置およびデータ伝送装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TORIKEPPUSU ET AL: "Jisedai Dogazo Fugoka Hoshiki MPEG-4 AVC¾H. 264.", WHITE SERIES., vol. 237, 12 March 2004 (2004-03-12), pages 78 - 86, XP002996280 *

Cited By (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110348A (ja) * 2005-10-12 2007-04-26 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム
US8351717B2 (en) 2005-10-12 2013-01-08 Ntt Docomo, Inc. Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
WO2007043613A1 (ja) * 2005-10-12 2007-04-19 Ntt Docomo, Inc. 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム
US8073266B2 (en) 2005-10-12 2011-12-06 Ntt Docomo, Inc. Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
JP2007312362A (ja) * 2006-04-17 2007-11-29 Victor Co Of Japan Ltd 動画像符号化装置、方法、プログラム、動画像復号化装置、方法、およびプログラム
KR101103699B1 (ko) 2007-02-23 2012-01-11 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 복호 방법, 그들의 장치, 그들의 프로그램 및 프로그램을 기록한 기록매체
WO2008102805A1 (ja) * 2007-02-23 2008-08-28 Nippon Telegraph And Telephone Corporation 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
US8472522B2 (en) 2007-02-23 2013-06-25 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
RU2472305C2 (ru) * 2007-02-23 2013-01-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования видео и способ декодирования видео, устройства для этого, программы для этого и носители хранения, на которых хранятся программы
JP5063677B2 (ja) * 2007-02-23 2012-10-31 日本電信電話株式会社 映像符号化方法及び復号方法、それらの装置、それらのプログラム並びにプログラムを記録した記録媒体
JP2008245088A (ja) * 2007-03-28 2008-10-09 Kddi R & D Laboratories Inc 動画像符号化装置および動画像復号装置のイントラ予測方式
JP4707118B2 (ja) * 2007-03-28 2011-06-22 株式会社Ｋｄｄｉ研究所 動画像符号化装置および動画像復号装置のイントラ予測方式
US8238428B2 (en) 2007-04-17 2012-08-07 Qualcomm Incorporated Pixel-by-pixel weighting for intra-frame coding
TWI474721B (zh) * 2007-04-17 2015-02-21 Qualcomm Inc 用於編碼一巨集區塊及預測一巨集區塊之方法、用於產生一經編碼巨集區塊及預測一巨集區塊之裝置、及用於預測一巨集區塊之電腦程式產品
US8488672B2 (en) 2007-04-17 2013-07-16 Qualcomm Incorporated Mode uniformity signaling for intra-coding
US8937998B2 (en) 2007-04-17 2015-01-20 Qualcomm Incorporated Pixel-by-pixel weighting for intra-frame coding
US8406299B2 (en) 2007-04-17 2013-03-26 Qualcomm Incorporated Directional transforms for intra-coding
JP2010525676A (ja) * 2007-04-17 2010-07-22 クゥアルコム・インコーポレイテッド フレーム内コーディングのための画素ごとの重み付け
US9699458B2 (en) 2007-10-10 2017-07-04 Hitachi Maxell, Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
US9706202B2 (en) 2007-10-10 2017-07-11 Hitachi Maxell, Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
US9699459B2 (en) 2007-10-10 2017-07-04 Hitachi Maxell, Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
US9609322B2 (en) 2007-10-10 2017-03-28 Hitachi Maxell, Ltd. Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
US10755444B2 (en) 2009-04-24 2020-08-25 Sony Corporation Image processing device and method
CN102396230B (zh) * 2009-04-24 2015-06-17 索尼公司 图像处理设备和方法
WO2010123056A1 (ja) * 2009-04-24 2010-10-28 ソニー株式会社 画像処理装置および方法
US11107251B2 (en) 2009-04-24 2021-08-31 Sony Corporation Image processing device and method
JP2010258740A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
US10755445B2 (en) 2009-04-24 2020-08-25 Sony Corporation Image processing device and method
US9123109B2 (en) 2009-04-24 2015-09-01 Sony Corporation Image processing device and method
CN102396230A (zh) * 2009-04-24 2012-03-28 索尼公司 图像处理设备和方法
JP2011035902A (ja) * 2009-07-30 2011-02-17 Thomson Licensing 画像シーケンスを表す符号化データストリームの復号方法と画像シーケンスの符号化方法
WO2011089972A1 (ja) * 2010-01-22 2011-07-28 ソニー株式会社 画像処理装置および方法
CN102714734A (zh) * 2010-01-22 2012-10-03 索尼公司 图像处理设备和方法
JP2014103678A (ja) * 2011-06-24 2014-06-05 Mitsubishi Electric Corp 画像復号装置
JP2015164346A (ja) * 2011-06-24 2015-09-10 三菱電機株式会社 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造
JP2016197883A (ja) * 2011-06-24 2016-11-24 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化データのデータ構造
JP2014147122A (ja) * 2011-06-24 2014-08-14 Mitsubishi Electric Corp 画像復号装置及び画像復号方法
JP2012090327A (ja) * 2011-12-27 2012-05-10 Ntt Docomo Inc 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム
JP2015526004A (ja) * 2012-07-04 2015-09-07 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 空間予測方法及び空間予測装置
US9848204B2 (en) 2012-07-04 2017-12-19 Thomson Licensing Spatial prediction method and device, coding and decoding methods and devices
JP2017195638A (ja) * 2012-07-04 2017-10-26 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 符合化及び復号化のための方法及び装置
CN104378644A (zh) * 2013-08-16 2015-02-25 上海天荷电子信息有限公司 定宽度变长度像素样值串匹配增强的图像压缩方法和装置
CN105706447A (zh) * 2013-09-30 2016-06-22 凯迪迪爱通信技术有限公司 动画图像编码设备、动画图像解码设备、动画图像编码方法、动画图像解码方法以及程序
US10057573B2 (en) 2013-09-30 2018-08-21 Kddi Corporation Moving image coding device, moving image decoding device, moving image coding method and moving image decoding method
WO2015046431A1 (ja) * 2013-09-30 2015-04-02 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
JP2015019417A (ja) * 2014-09-22 2015-01-29 日立マクセル株式会社 画像復号化方法
CN104284190B (zh) * 2014-11-05 2017-05-10 安徽大学 一种基于ambtc高低均值最优化的压缩图像隐写编码方法
CN104284190A (zh) * 2014-11-05 2015-01-14 安徽大学 一种基于ambtc高低均值最优化的压缩图像隐写编码方法
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
JP2015223002A (ja) * 2015-09-11 2015-12-10 日立マクセル株式会社 画像復号化方法
JP2015223004A (ja) * 2015-09-11 2015-12-10 日立マクセル株式会社 画像復号化方法
JP2015223003A (ja) * 2015-09-11 2015-12-10 日立マクセル株式会社 画像復号化方法
JP2016129391A (ja) * 2016-02-22 2016-07-14 日立マクセル株式会社 画像復号化方法
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Also Published As

Publication number Publication date
JPWO2005107267A1 (ja) 2008-03-21
JP5037938B2 (ja) 2012-10-03

Similar Documents

Publication Publication Date Title
WO2005107267A1 (ja) 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
JP2006352181A (ja) 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JP6311085B1 (ja) 画像の復号化装置および画像の復号化方法
JP5676717B2 (ja) 画像の復号化装置及び画像の復号化方法
JP5547171B2 (ja) 画像の復号化装置及び画像の復号化方法
JP6647432B2 (ja) 復号化方法
JP6523495B2 (ja) 復号化方法
JP6434172B2 (ja) 復号化方法
JP6311084B1 (ja) 画像の復号化装置および画像の復号化方法
JP6311086B1 (ja) 画像の復号化装置および画像の復号化方法
JP6355870B2 (ja) 画像の復号化装置および画像の復号化方法
JP6222756B2 (ja) 復号化方法
JP6364462B2 (ja) 復号化装置及び復号化方法
JP6357523B2 (ja) 画像の復号化装置および画像の復号化方法
JP6348562B2 (ja) 復号化装置および復号化方法
JP6117302B2 (ja) 復号化方法
JP6096871B2 (ja) 復号化装置および復号化方法
JP2019080348A (ja) 復号化方法
JP5868909B2 (ja) 復号化方法
JP5010709B2 (ja) 画像の復号化装置
JP5055419B2 (ja) 画像の復号化装置、復号化プログラムおよび復号化方法
JP5236088B2 (ja) 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JP5913474B2 (ja) 復号化方法
JP5865966B2 (ja) 画像の復号化装置及び復号化方法
JP5380594B2 (ja) 画像の復号化方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 11066169

Country of ref document: US

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 2006512698

Country of ref document: JP

122 Ep: pct application non-entry in european phase