WO2007004678A1 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム - Google Patents

動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム Download PDF

Info

Publication number
WO2007004678A1
WO2007004678A1 PCT/JP2006/313416 JP2006313416W WO2007004678A1 WO 2007004678 A1 WO2007004678 A1 WO 2007004678A1 JP 2006313416 W JP2006313416 W JP 2006313416W WO 2007004678 A1 WO2007004678 A1 WO 2007004678A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
decoding
encoding
decoded
signal
Prior art date
Application number
PCT/JP2006/313416
Other languages
English (en)
French (fr)
Inventor
Yoshinori Suzuki
Choong Seng Boon
Mitsuru Kobayashi
Original Assignee
Ntt Docomo, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ntt Docomo, Inc. filed Critical Ntt Docomo, Inc.
Priority to EP06780792A priority Critical patent/EP1919223A4/en
Priority to US11/994,712 priority patent/US8369628B2/en
Priority to KR1020127029681A priority patent/KR20120138248A/ko
Publication of WO2007004678A1 publication Critical patent/WO2007004678A1/ja
Priority to US13/596,672 priority patent/US9282340B2/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • Moving picture encoding apparatus moving picture encoding method, moving picture encoding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program
  • the present invention relates to a video encoding device, a video encoding method, a video encoding program, a video decoding device, a video decoding method, and a video decoding program.
  • H.264 moving image encoding method which is an international standard recommended by ITU-T (International Telecommunication Union Telecommunication Standardization Sector), is used.
  • ITU-T International Telecommunication Union Telecommunication Standardization Sector
  • the technology related to the H. 2 64 moving picture code system is disclosed in Non-Patent Document 1 below, for example.
  • Patent Document 1 Japanese Patent Laid-Open No. 2-62180
  • Non-Patent Document 1 Kakuno et al., “H. 264ZAVC Textbook Impress Standard Textbook Series”, Invention Disclosure
  • the present invention has been made in view of the above circumstances, and a moving image that enables more efficient code encoding than when performing inter-frame prediction using a motion vector and performing code encoding. It is possible to provide an encoding device, a moving image encoding method, a moving image encoding program, a moving image decoding device, a moving image decoding method, and a moving image decoding program.
  • a moving image encoding apparatus is a moving image encoding apparatus that encodes moving image data in units of blocks, and includes a plurality of encoding targets for frame images constituting the moving image data.
  • the storage means for storing the image data is encoded using a template that is generated with a reproduction signal force that is adjacent to the target block of the encoding key in a predetermined positional relationship and that belongs to the reproduced moving image data stored by the storage means.
  • Prediction signal generation means for generating a prediction block that is a prediction signal of the encoding target block, and the encoding means converts the prediction block from the encoding target block.
  • a difference block that is a difference signal of the encoding target block is generated by subtraction in units of pixels, the difference block is encoded, and the reproduction image generation means is a reproduction signal of the difference block encoded by the encoding means.
  • a decoded differential block is generated, and the decoded differential block and the prediction block are added in units of pixels to generate a decoded block.
  • a coding target block is generated using a template that is adjacent to the coding target block in a predetermined positional relationship and is generated from a playback signal belonging to the played back moving picture data.
  • a prediction block that is a prediction signal is generated. Sign prediction is performed using this prediction block. That is, according to the moving picture coding apparatus according to the present invention, it is possible to generate a prediction block that is a prediction signal without using a motion vector, thereby enabling efficient coding.
  • a moving picture encoding apparatus is a moving picture encoding apparatus that encodes moving picture data in units of blocks, and a plurality of encoding targets for frame images constituting the moving picture data.
  • Dividing means for dividing into blocks, encoding means for encoding the encoding target block, and reproduced image generating means for generating a decoded block that is a reproduction signal of the encoding target block
  • a storage means for storing the reproduced moving image data generated from the reproduction signal, and a reproduction belonging to the reproduced moving image data stored in the storage means and adjacent to the encoding target block in a predetermined positional relationship.
  • Prediction signal determining means for determining a prediction block, which is a prediction signal of the encoding target block, from the reproduced moving image data stored in the storage means, and the encoding means includes the encoding target block power prediction block.
  • the generating means generates a decoded differential block that is a reproduction signal of the differential block encoded by the encoding means, and adds the decoded differential block and the prediction block in units of pixels to generate a decoded block. It is characterized by that. According to this configuration, a pixel group having a high correlation with the template is searched from the reproduced moving image data, and a prediction block is determined based on the searched pixel group and the predetermined positional relationship. Therefore, a prediction block can be determined with certainty, and the present invention can be implemented with certainty.
  • the moving image encoding apparatus compares the template and the reproduced moving image data stored by the storage means, and estimates the spatial continuity of the image of the target block for encoding based on the comparison result. Based on the estimation means and the spatial continuity of the image estimated by the estimation means, V further divides the encoding target block and sets the divided encoding target block as a new encoding target block. And setting means for setting a template for the new block to be encoded. According to this configuration, the size of the prediction block can be appropriately selected based on the spatial continuity of the reproduced image data. Therefore, even in the sign of moving image data in which the amount of motion changes drastically. Encoding efficiency is improved. In addition, the prediction performance of the prediction signal is improved by changing the shape and size of the template region and the prediction region according to the characteristics of the signal.
  • a moving image decoding apparatus is a moving image decoding apparatus that reproduces encoded data of moving image data into reproduced moving image data in units of blocks, and reproduces a decoding target block to be decoded.
  • Decoding means for decoding the encoded data required for Decoded code data power Reproduced image generating means for generating a decoded block that is a reproduced signal of the decoding target block, storage means for storing reproduced moving image data generated from the reproduced signal, and decoding target block
  • a prediction block which is a prediction signal of the decoding target block is generated by using a template that is generated with a reproduction signal force that is adjacent to the reproduction moving image data stored in the storage unit and is adjacent to the image in a predetermined positional relationship.
  • a prediction signal generation means for generating, wherein the decoding means generates a decoded difference block that is a difference signal of the decoding target block, and the reproduced image generation means adds the decoded difference block and the prediction block in units of pixels. Then, a decoding block is generated.
  • the video decoding device With the video decoding device according to the present invention, it is possible to generate a prediction block and decode a video as in the above-described video encoding device. That is, according to the moving picture decoding apparatus according to the present invention, moving picture data that has been efficiently encoded by the moving picture encoding device can be correctly decoded.
  • a moving image decoding apparatus is a moving image decoding apparatus that reproduces encoded data of moving image data into reproduced moving image data in units of blocks, and reproduces a decoding target block to be decoded.
  • a decoding means for decoding the encoded data required for the decoding, a code data power decoded by the decoding means, a reproduction image generation means for generating a decoded block which is a reproduction signal of the block to be decoded, and a reproduction generated from the reproduction signal
  • Storage means for storing already-moved moving image data, and a template for generating a reproduction signal force that is adjacent to the decoding target block in a predetermined positional relationship and that belongs to the reproduced moving image data stored by the storing means.
  • a prediction signal determining unit that determines a prediction block that is a prediction signal of the decoding target block from the reproduced moving image data stored in the storage unit based on the relationship
  • the decoding unit includes the decoding target block
  • the decoded difference block that is the difference signal of the decoded image is generated, and the reproduction image generating means adds the decoded difference block and the prediction block in units of pixels to generate a decoded block.
  • the moving image decoding apparatus includes a reproduced moving image data stored in a template and storage means.
  • the estimation means for estimating the spatial continuity of the image of the decoding target block based on the comparison result, and the decoding target block based on the spatial continuity of the image estimated by the estimation means. It is preferable to further comprise setting means for further dividing and setting the divided decoding target block as a new decoding target block and setting a template for the new decoding target block. According to this configuration, it is possible to correctly decode the moving image data encoded by the moving image encoding device.
  • the encoding means generates a difference block as a reduced difference block having a smaller number of pixels than the difference block by a reduction process for reducing the number of pixels by a predetermined method, encodes the reduced difference block
  • the reproduction image generation means generates a decoded reduced difference block that is a reproduction signal of the reduced difference block, and generates a decoded block from the decoded reduced difference block by an enlargement process that increases the number of pixels by a predetermined method. It is preferable.
  • the reduced differential block to be encoded can be reduced in number of pixels, so that the prediction performance is low for areas with strong V characteristics, and flat areas are! The code amount of the prediction signal can be efficiently reduced without lowering.
  • the decoding unit generates a decoded reduced difference block having a smaller number of pixels than the difference block by decoding the encoded data, and the reproduced image generation unit expands the number of pixels by a predetermined method. It is preferable to generate a decoded reduced differential block force decoded block by the processing. According to this configuration, it is possible to correctly decode the moving image data encoded by the moving image encoding device.
  • a moving image encoding apparatus is a moving image encoding apparatus that encodes moving image data in units of blocks, and a frame image constituting the moving image data is encoded.
  • a dividing unit that divides the coding target block into a plurality of coding target blocks, a coding unit that codes the coding target block, and a reproduction image generation unit that generates a decoded block that is a reproduction signal of the coding target block;
  • a prediction signal generating means for generating a prediction block that is a prediction signal of the coding target block by a predetermined method, and the encoding means includes the coding target block.
  • a reduced difference block having a smaller number of pixels than that of the difference block is generated by reducing the difference block, which is a difference signal of the target block of the sign subtracted pixel by pixel, by a predetermined method. Then, the reduced difference block is encoded, and the reproduced image generation means generates a decoded reduced difference block that is a reproduction signal of the reduced difference block, and performs the decoding reduced difference by an enlargement process that increases the number of pixels by a predetermined method.
  • a decoding block is generated from the block.
  • the encoded signal target block is a prediction signal of the encoded signal target block that is adjacent to the encoded signal target block in a predetermined positional relationship and belongs to the reproduced moving image data.
  • a prediction block is generated.
  • a reduced differential block to be encoded with a smaller number of pixels than the above-described differential block is generated from the prediction block. That is, according to the moving picture coding apparatus according to the present invention, the reduced difference block to be coded can be reduced to have a small number of pixels. Therefore, it is possible to efficiently reduce the code amount of the prediction signal without degrading the image quality.
  • a moving picture decoding apparatus is a moving picture decoding apparatus that reproduces encoded data of moving picture data to reproduced moving picture data in units of blocks, and reproduces a decoding target block to be decoded.
  • a decoding means for decoding the encoded data required for the decoding, a code data power decoded by the decoding means, a reproduction image generation means for generating a decoded block which is a reproduction signal of the block to be decoded, and a reproduction generated from the reproduction signal
  • a prediction signal generation unit that generates a prediction block that is a prediction signal of the block to be decoded, and the decoding unit decodes the encoded data
  • a decoded reduced difference block having a smaller number of pixels than the difference block that is the difference signal of the decoding target block is generated, and the reproduction image generating means increases the number of pixels by a predetermined method! ]
  • a decoding block is generated from the decoding reduced difference block by the enlarging process. According to this configuration, it is possible to correctly decode the moving image data encoded by the moving image encoding device.
  • the encoding means applies a reduction process to the block to be encoded and the prediction block to As the reduced block and the reduced predicted block, the reduced block power is generated by subtracting the reduced predicted block in units of pixels to generate a reduced difference block, and the reproduced image generating means is a reduced difference encoded by the encoding means.
  • a decoded reduced difference block that is a playback signal of the block is generated, and the decoded reduced difference block and the reduced prediction block are added in units of pixels to generate a decoded reduced block, and the decoded reduced block is subjected to an enlargement process. It is preferable to apply to generate a decoding block. According to this configuration, the reduced difference block to be encoded can be generated with certainty, so that the present invention can be reliably implemented.
  • the encoding unit generates a reduced difference block by applying a reduction process to the difference block
  • the reproduction image generation unit generates a reproduction signal of the reduced difference block encoded by the encoding unit.
  • a decoded reduced block is generated, and a decoding differential block is generated by applying an enlargement process to the decoded reduced block, and the decoded differential block and the prediction block are added in units of pixels. It is preferable to generate. According to this configuration, it is possible to reliably generate a reduced difference block to be encoded, so that the present invention can be reliably implemented.
  • the reproduced image generation means applies a reduction process to the prediction block to obtain a reduced prediction block, adds the decoded reduced difference block and the reduced predicted block in units of pixels to generate a decoded reduced block, It is preferable to generate a decoded block by applying an enlargement process to the decoded reduced block. According to this configuration, the moving image data encoded by the above-described moving image encoding device can be correctly decoded.
  • the reproduced image generation means generates a decoded difference block by applying an enlargement process to the decoded reduced difference block, and adds the decoded difference block and the prediction block in units of pixels to generate a decoded block. Is preferred. According to this configuration, the moving image data encoded by the moving image encoding device can be correctly decoded.
  • the prediction signal determination means selects one template from a plurality of templates having different shapes. According to this configuration, it is possible to efficiently generate a prediction block and improve the efficiency of the sign key processing.
  • the prediction signal determination means refers to the reproduction signal of the reproduced moving image data stored in the storage means or information related to the reproduction signal, and selects one template. Is preferred. According to this configuration, a template can be appropriately selected.
  • the encoding means encodes information specifying the template selected by the prediction signal determining means. According to this configuration, it is possible to facilitate the selection of a template in the moving picture decoding apparatus and perform more efficient decoding.
  • the prediction signal determining means selects one template from a plurality of templates having different shapes. According to this configuration, the moving image data encoded by the moving image encoding device can be correctly decoded.
  • the prediction signal determination unit selects one template with reference to a reproduction signal of the reproduced moving image data stored in the storage unit or information related to the reproduction signal. According to this configuration, it is possible to correctly decode the moving image data encoded by the moving image encoding device.
  • the decoding means decodes information specifying the selected template
  • the prediction signal determining means refers to the information specifying the selected template decoded by the decoding means, so that a plurality of shapes having different shapes can be obtained. It is preferable to select one template from the templates. According to this configuration, it is possible to correctly decode the moving image data encoded by the above-described moving image encoding device.
  • the present invention can be described as the invention of the moving image encoding device and the moving image decoding device as described above, as well as the moving image encoding method, the moving image encoding key program, the moving image as follows. It can also be described as an invention of an image decoding method and a moving image decoding program. These are substantially the same inventions only with different categories and the like, and have the same operations and effects.
  • a moving image encoding method is a moving image encoding method in a moving image encoding apparatus that encodes moving image data in units of blocks, and is a frame constituting moving image data.
  • a division step for dividing the image into a plurality of encoding target blocks, a coding step for encoding the coding target block, and a reproduction image generation step for generating a decoding block that is a reproduction signal of the encoding target block;
  • a storage step for storing the reproduced moving image data generated from the reproduction signal, and a reproduction that belongs to the reproduced moving image data that is adjacent to the encoding target block in a predetermined positional relationship and stored in the storing step.
  • a prediction signal generation step for generating a prediction block that is a prediction signal of the encoding target block using a template generated from the signal.
  • the prediction block is generated from the encoding target block.
  • a difference block that is a difference signal of the target block is generated by subtraction in units of pixels, the difference block is encoded, and encoded in the encoding step in the reproduction image generation step.
  • a decoded difference block that is a reproduction signal of the difference block is generated, and the decoded difference block and the prediction block are added in units of pixels to generate a decoded block.
  • a moving image encoding method is a moving image encoding method in a moving image encoding apparatus that encodes moving image data in units of blocks, and is a frame constituting moving image data.
  • a division step for dividing the image into a plurality of encoding target blocks, a coding step for encoding the coding target block, and a reproduction image generation step for generating a decoding block that is a reproduction signal of the encoding target block;
  • a storage step for storing the reproduced moving image data generated from the reproduction signal, and a reproduction signal belonging to the reproduced moving image data adjacent to the encoding target block in a predetermined positional relationship and stored in the storage step.
  • the difference block is encoded, V is generated in the reproduction image generation step, and a decoded difference block that is a reproduction signal of the difference block encoded in the encoding step is generated.
  • V is generated in the reproduction image generation step
  • a decoded difference block that is a reproduction signal of the difference block encoded in the encoding step is generated.
  • a moving picture decoding method is a moving picture decoding method in a moving picture decoding apparatus that reproduces encoded data of moving picture data into reproduced moving picture data in units of blocks, and is a decoding target to be decoded.
  • a decoding step for decoding the encoded data required for block reproduction, and the decoding target block from the encoded data decoded in the decoding step.
  • a reproduction image generation step for generating a decoded block that is a reproduction signal
  • a storage step for storing reproduced moving image data generated by a reproduction signal force
  • a storage step adjacent to the decoding target block in a predetermined positional relationship In a reproduction image generation step for generating a decoded block that is a reproduction signal, a storage step for storing reproduced moving image data generated by a reproduction signal force, and a storage step adjacent to the decoding target block in a predetermined positional relationship.
  • a decoding difference block that is a difference signal of the decoding target block is generated, and the decoding difference block and the prediction block are added in units of pixels in the reproduction image generation step to generate a decoding block.
  • a moving image decoding method is a moving image decoding method in a moving image decoding apparatus that reproduces encoded data of moving image data into reproduced moving image data in units of blocks, and is a decoding target to be decoded.
  • a decoding step for decoding encoded data required for block reproduction, a reproduction image generation step for generating a decoded block that is a reproduction signal of the block to be decoded from the encoded data decoded in the decoding step, and a reproduction signal power A storage step for storing the reproduced moving image data to be generated, and a template for generating a reproduction signal force that is adjacent to the decoding target block in a predetermined positional relationship and that belongs to the reproduced moving image data stored in the storage step.
  • a moving image encoding method is a moving image encoding method in a moving image encoding apparatus that encodes moving image data in units of blocks, and is a frame constituting moving image data.
  • a division step for dividing an image into a plurality of encoding target blocks as regions to be encoded, an encoding step for encoding the encoding target block, and a decoded block that is a reproduction signal of the encoding target block Reproduction image generation step to generate and reproduction signal From the reproduction step belonging to the reproduced moving image data stored in the storing step for storing the reproduced moving image data to be generated, and adjacent to the encoding target block in a predetermined positional relationship and stored in the storing step,
  • a prediction signal generation step for generating a prediction block that is a prediction signal of the encoding target block by a predetermined method.
  • the difference block which is the difference signal of the current block to be encoded, is reduced to reduce the number of pixels using a specified method, and a reduced difference block with fewer pixels than the difference block is generated. Then, the reduced difference block is encoded, and in the reproduced image generation step, a decoded reduced difference block which is a reproduction signal of the reduced difference block is generated. It generates a click, the expansion process of increasing the number of pixels in Jo Tokoro manner, to generate the decoded reduced difference block output decoding block, and wherein the.
  • a moving image decoding method is a moving image decoding method in a moving image decoding apparatus that reproduces encoded data of moving image data into reproduced moving image data in units of blocks, and is a decoding target to be decoded.
  • a decoding step for decoding encoded data required for block reproduction, a reproduction image generation step for generating a decoded block that is a reproduction signal of the block to be decoded from the encoded data decoded in the decoding step, and a reproduction signal power A storage step for storing the reproduced video data to be generated, and a reproduction signal that is adjacent to the decoding target block in a predetermined positional relationship and that belongs to the reproduced moving image data stored in the storage step.
  • a prediction signal generation step for generating a prediction block that is a prediction signal of the decoding target block by a technique.
  • the decoding step by decoding the encoded data, a decoded reduced difference block having a smaller number of pixels than the difference block that is the difference signal of the block to be decoded is generated, and in the reproduction image generating step, the number of pixels is set to a predetermined value.
  • a decoding reduced difference block power decoding block is generated by an enlargement process that is increased by the above method.
  • a moving picture code key program is a moving picture code key program for controlling a moving picture code key apparatus that codes moving picture data in units of blocks, and is a moving picture coding apparatus. Is divided into a plurality of encoding target blocks, an encoding means for encoding the encoding target block, and an encoding target block.
  • Reproduced image generating means for generating a decoded block that is a lock reproduction signal, storage means for storing reproduced moving image data generated from the reproduced signal, and adjacent to the block to be encoded in a predetermined positional relationship
  • a prediction signal generating means for generating a prediction block that is a prediction signal of the encoding target block using a template that also generates a reproduction signal force belonging to the reproduced moving image data stored by the storage means
  • encoding means Subtracts the prediction block from the encoding target block in units of pixels to generate a differential block that is a differential signal of the encoding target block, encodes the differential block, and the reproduced image generation means
  • a decoded difference block that is a reproduction signal of the difference block encoded by the means is generated, and the decoded difference block and the prediction block are generated.
  • a moving picture code key program is a moving picture code key program for controlling a moving picture code key apparatus that codes moving picture data in units of blocks, and is a moving picture coding apparatus. Are divided into a plurality of coding target blocks, a coding means for coding the coding target block, and a decoding signal that is a reproduction signal of the coding target block.
  • Reproduced image generating means for generating a block, storage means for storing reproduced moving image data generated from a reproduction signal, adjacent to the encoding target block in a predetermined positional relationship, and stored by the storage means
  • a searcher that searches the reproduced moving image data stored by the storage means for a pixel group having a high correlation with the template that also generates the reproduced signal power belonging to the reproduced moving image data.
  • a prediction block which is a prediction signal of the code target block, is determined from the reproduced moving image data stored by the storage unit based on the pixel group searched by the search unit and a predetermined positional relationship.
  • the encoding means subtracts the prediction block from the encoding target block in units of pixels to generate a difference block that is a difference signal of the encoding target block, and encodes the difference block.
  • the reproduced image generating means generates a decoded differential block that is a reproduced signal of the differential block encoded by the encoding means, and adds the decoded differential block and the prediction block in units of pixels to generate a decoded block. It is characterized by that.
  • a moving image decoding program converts the code data of moving image data into block units.
  • a moving picture decoding program for controlling a moving picture decoding apparatus that reproduces moving picture data that has been reproduced at the position.
  • the moving picture decoding apparatus decodes encoded data required for reproduction of a decoding target block to be decoded.
  • Functioning as a prediction signal generation means for generating a certain prediction block, and the decoding means is a decoded differential block that is a differential signal of the decoding target block. Generated, reproduced image generation means, the decoded difference block and the prediction block are added in pixel units to generate the decoded block, and wherein the.
  • a moving image decoding program is a moving image decoding program for controlling a moving image decoding apparatus that reproduces encoded data of moving image data into reproduced moving image data in block units, Decoding means for decoding encoded data required for reproduction of a decoding target block to be decoded, and a decoding block that is a reproduction signal of the decoding target block from the encoded data decoded by the decoding means.
  • Regenerated image generating means for generating the replayed video, storage means for storing the replayed moving image data generated from the replay signal, and a reproduced moving image that is adjacent to the block to be decoded in a predetermined positional relationship and stored by the storage means
  • a prediction block that is a prediction signal of the decoding target block is determined as a reproduced moving image data stored in the storage means.
  • the decoding means generates a decoded difference block that is a difference signal of the decoding target block, and the reproduction image generation means adds the decoded difference block and the prediction block in units of pixels. It is characterized by generating a decoding block.
  • a moving picture code key program is a moving picture code key program for controlling a moving picture code key device that codes moving picture data in units of blocks, and is a moving picture coding program.
  • An apparatus includes a dividing unit that divides a frame image constituting moving image data into a plurality of encoding target blocks as an encoding target region, an encoding unit that encodes the encoding target block, and an encoding unit.
  • a reproduction image generation unit that generates a decoded block that is a reproduction signal of the target block, a storage unit that stores reproduced moving image data generated from the reproduction signal, and a predetermined positional relationship adjacent to the encoding target block
  • a prediction signal generation unit that generates a prediction block that is a prediction signal of the block to be encoded from a reproduction signal belonging to the reproduced moving image data stored by the storage unit by a predetermined method.
  • Is a difference block which is a difference signal of the target block obtained by subtracting the prediction block from the target block in units of pixels.
  • the decoded reduced difference block power decoding block is generated by an expansion process of generating a decoded reduced difference block which is a reproduction signal of the above and increasing the number of pixels by a predetermined method.
  • a moving image decoding program is a moving image decoding program for controlling a moving image decoding apparatus that reproduces encoded data of moving image data into reproduced moving image data in block units, Decoding means for decoding encoded data required for reproduction of a decoding target block to be decoded, and a decoding block that is a reproduction signal of the decoding target block from the encoded data decoded by the decoding means.
  • Regenerated image generating means for generating the replayed video, storage means for storing the replayed moving image data generated from the replay signal, and a reproduced moving image that is adjacent to the block to be decoded in a predetermined positional relationship and stored by the storage means
  • Prediction signal generation means for generating a prediction block that is a prediction signal of a decoding target block from a reproduction signal belonging to image data by a predetermined method.
  • the decoding means decodes the encoded data to generate a decoded reduced difference block having a smaller number of pixels than the difference block that is the difference signal of the decoding target block, and the reproduced image generation means
  • a decoding block is generated from the decoding reduced difference block by an expansion process for increasing the number by a predetermined method.
  • a moving image encoding apparatus encodes moving image data.
  • a dividing unit that divides a frame image constituting moving image data into a plurality of regions as regions to be encoded, and a code that encodes an image of each region divided by the dividing unit.
  • Encoding means, reproduction image generation means for generating a reproduction image of the image encoded by the encoding means, storage means for storing the reproduction image generated by the reproduction image generation means, and encoding by the encoding means An area of an image that is adjacent to the area of the image that is the target of ⁇ with a predetermined positional relationship and that has a high correlation with the reproduced image of the template area that is a part of the reproduced image stored by the storage means.
  • the prediction signal of the area to be encoded is stored by the storage means.
  • a prediction signal determination unit that determines from the reproduced image, and the encoding unit generates a difference signal between the prediction signal determined by the prediction signal determination unit and an image of a region to be encoded.
  • the differential signal is encoded.
  • the moving image encoding apparatus In the moving image encoding apparatus according to the present invention, first, an area of an image having a high correlation with a reproduction image of a template area adjacent to the area of the image to be encoded in a predetermined positional relationship is reproduced from the reproduction image. Explore. Subsequently, based on the searched area and the predetermined positional relationship, a prediction signal of the area to be encoded is determined from the reproduced image. This prediction signal is used for signing. That is, according to the moving picture coding apparatus according to the present invention, a prediction signal can be determined without using a motion vector, and efficient coding is possible.
  • the moving picture decoding apparatus is a moving picture decoding apparatus that decodes moving picture data in which a frame image divided into a plurality of areas is encoded, and the encoded data of each area Decoding means for decoding the image, reproduction image generation means for generating a reproduction image from the image decoded by the decoding means, storage means for storing the image generated by the reproduction image generation means, and a decoding target by the decoding means An image area that is adjacent to the image area in a predetermined positional relationship and has a high correlation with the reproduction image in the template area that is a part of the reproduction image stored in the storage means is reproduced image power stored in the storage means.
  • the prediction signal of the area to be decoded is stored in the reproduced image power stored in the storage means.
  • Predictive signal determining means for determining, the reproduced image generating means by the predictive signal determining means It is characterized in that a reproduced image is obtained by generating a sum signal of the determined prediction signal and the image decoded by the decoding means.
  • the moving picture decoding apparatus it is possible to decode a moving picture by determining a prediction signal in the same manner as in the above moving picture encoding apparatus. That is, according to the moving picture decoding apparatus according to the present invention, it is possible to correctly decode the moving picture data that has been efficiently encoded by the moving picture encoding apparatus.
  • the moving image encoding apparatus compares the reproduced image in the template area with the reproduced image stored in the storage unit, and based on the comparison result, the spatial image of the image in the area to be encoded. Based on the estimation means for estimating the continuity and the spatial continuity of the image estimated by the estimation means! Then, further divide the area to be encoded, set the divided area as a new area to be encoded, and set a template area for the new area to be encoded. It is preferable to further comprise setting means. According to this configuration, it is possible to appropriately select the size of the prediction signal area based on the spatial continuity of the reproduced image. Therefore, even in the sign of moving image data in which the amount of motion changes drastically. Encoding efficiency is improved.
  • the moving image decoding apparatus compares the reproduced image in the template area with the reproduced image stored in the storage unit, and based on the comparison result, the spatial continuity of the image in the area to be decoded. Based on the estimation means for estimating the image and the spatial continuity of the image estimated by the estimation means, the area to be decoded is further divided and the divided area is set as a new area to be decoded And setting means for setting a template area for the new decoding target area. According to this configuration, it is possible to correctly decode the moving image data encoded by the above moving image encoding device.
  • a moving image encoding method according to the present invention is a moving image encoding method in a moving image encoding device that encodes moving image data, in which a frame image constituting moving image data is encoded.
  • a division step that divides the target region into a plurality of regions, a coding step that encodes the image of each region divided by! /, And a coding step that encodes! / ⁇ A reproduction image generation step for generating a reproduction image of the recorded image, a storage step for storing the reproduction image generated in the reproduction image generation step, and an area of the image to be encoded in the encoding step The area of the image that is adjacent to the image in the predetermined positional relationship and has a high correlation with the reproduced image of the template area that is a part of the reproduced image stored in the storing step!
  • a search step for searching from the reconstructed image stored in advance, and a prediction signal for the region to be encoded based on the search step and the predetermined positional relationship in the search step.
  • a prediction signal determination step for determining the reproduced image stored in the step, and in the encoding step, the prediction signal determined in the prediction signal determination step and the region to be encoded
  • a difference signal from the image is generated, and the difference signal is encoded.
  • a moving image encoding program is a moving image encoding program for controlling a moving image encoding device that encodes moving image data.
  • a dividing unit that divides the frame image constituting the image into a plurality of regions as a region to be encoded, a code unit that encodes an image of each region divided by the dividing unit, and an encoding
  • a reproduction image generating means for generating a reproduction image of the image encoded by the means, a storage means for storing the reproduction image generated by the reproduction image generation means, and an image to be encoded by the encoding means.
  • An area of an image that is adjacent to the area in a predetermined positional relationship and has a high correlation with the reproduction image of the template area that is a part of the reproduction image stored by the storage means is the reproduction image stored by the storage means.
  • the prediction signal of the area to be encoded is determined as a prediction signal for determining the reproduced image force stored in the storage means.
  • the encoding means generates a difference signal between the prediction signal determined by the prediction signal determination means and an image of a region to be encoded, and encodes the difference signal.
  • a moving image decoding method is a moving image decoding method in a moving image decoding apparatus for decoding moving image data in which a frame image divided into a plurality of regions is encoded.
  • a prediction signal determination step for determining a prediction signal of a region to be decoded from the reproduced image stored in the storage step.
  • the prediction signal determination step is performed.
  • the decoding step a sum signal of the decoded signal and the decoded image is generated to obtain a reproduced image.
  • a moving picture decoding program is a moving picture decoding program for controlling a moving picture decoding apparatus that decodes moving picture data in which a frame image divided into a plurality of regions is encoded.
  • the image decoding apparatus stores a decoding unit that decodes data of each encoded region, a reproduction image generation unit that generates a reproduction image from an image decoded by the decoding unit, and an image generated by the reproduction image generation unit
  • This area is subject to decoding based on the search means for searching the reproduced image stored in the storage means, and the area searched for by the search means and a predetermined positional relationship.
  • the prediction signal of the region is caused to function as a prediction signal determination unit that determines from the reproduced image stored in the storage unit, and the reproduction image generation unit includes the prediction signal determined by the prediction signal determination unit and the image decoded by the decoding unit. It is characterized in that a regenerated image is produced by generating a sum signal.
  • a template adjacent to a region of an image to be encoded in a predetermined positional relationship A reproduction signal having a high correlation with the plate region is searched, and a prediction signal is determined based on the searched region and the above-described positional relationship, so that efficient coding can be performed without using a motion vector.
  • FIG. 1 is a diagram showing a configuration of a moving image encoding device according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing a configuration of a prediction generation unit in the moving picture code encoding apparatus.
  • FIG. 3 is a diagram showing a positional relationship between a template region and a prediction target region.
  • FIG. 4 is a diagram for explaining a detailed operation of determining a prediction signal by template matching.
  • FIG. 5 is a flowchart showing processing executed by the video encoding apparatus according to the first embodiment of the present invention.
  • FIG. 6 is a diagram showing a configuration of a video decoding device according to the first embodiment of the present invention.
  • FIG. 7 is a flowchart showing processing executed by the video decoding device according to the first embodiment of the present invention.
  • FIG. 8 is a diagram showing a configuration of a prediction generation unit in the second embodiment.
  • FIG. 9 is a diagram showing prediction target areas divided in the second embodiment.
  • FIG. 10 is a flowchart showing processing executed by the video encoding apparatus according to the second embodiment of the present invention.
  • FIG. 11 is a flowchart showing processing executed by the video decoding device according to the second embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a sign key sequence.
  • FIG. 13 is a diagram illustrating an example of a positional relationship between a template region and a prediction target region according to a code key sequence.
  • FIG. 14 is a diagram for explaining a function of a determination unit in the second embodiment.
  • FIG. 15 is a diagram for explaining a function of a determination unit in the second embodiment.
  • FIG. 16 is a diagram showing a configuration of a moving picture code key program according to an embodiment of the present invention.
  • FIG. 17 is a diagram showing a configuration of a video decoding program according to an embodiment of the present invention.
  • FIG. 18 is a diagram showing a configuration of a modified example of the video encoding device according to the first embodiment.
  • FIG. 19 is a diagram illustrating a configuration of a modified example of the video decoding device according to the first embodiment.
  • ⁇ 20 A diagram showing a configuration of a modified example of the prediction generation unit according to the first embodiment.
  • FIG. 22 is a diagram illustrating a configuration of a video decoding device according to the third embodiment of the present invention.
  • FIG. 23 is a diagram showing block reduction / enlargement processing in the third embodiment.
  • FIG. 24 is a flowchart showing a process executed by the video encoding apparatus according to the third embodiment of the present invention.
  • ⁇ 25 A flow chart showing processing executed by the video decoding device according to the third embodiment of the present invention.
  • FIG. 26 is a diagram showing a configuration of a modified example of the video encoding device according to the third embodiment.
  • FIG. 27 is a diagram showing a configuration of a modified example of the video decoding device according to the third embodiment.
  • FIG. 28 is a diagram showing another example of block reduction / enlargement processing in the third embodiment.
  • FIG. 29 is a diagram showing another example of block reduction / enlargement processing in the third embodiment.
  • FIG. 30 is a diagram showing a configuration of a modified example of the video encoding device according to the third embodiment.
  • FIG. 31 is a diagram showing a configuration of a modified example of the video decoding device according to the third embodiment.
  • FIG. 32 is a diagram showing a configuration of a modified example of the video encoding device according to the third embodiment.
  • ⁇ 33] A configuration of a modified example of the video decoding device according to the third embodiment.
  • FIG. 34 is a diagram showing a configuration of a modified example of the video encoding device according to the third embodiment.
  • FIG. 35 is a diagram illustrating a configuration of a modified example of the video decoding device according to the third embodiment.
  • ⁇ 36 It is a diagram showing a configuration of a modified example of the prediction generation unit according to the third embodiment.
  • FIG. 37 is a diagram showing an example of prediction processing in the third embodiment.
  • Video encoding device 600, 19 00, 2200, 2700, 3100, 3300, 3500 ⁇ Video decoding device, 101 ⁇ Dividing part, 1 02, 2102 ... Subtracting part, 103, 2103 ... Converting part, 104, 2104, 3004 ... Signing part, 105, 602, 2105, 2202 ...
  • FIG. 1 shows a moving picture coding apparatus 100 according to the first embodiment.
  • the moving image encoding apparatus 100 is an apparatus that encodes moving image data in units of blocks.
  • the moving image encoding apparatus 100 encodes moving image data by sequentially encoding the frame images with a frame image constituting moving image data as an input.
  • the moving image encoding device 100 is realized by hardware such as an information processing device including a CPU (Central Processing Unit), a frame memory, and a hard disk.
  • the moving image coding apparatus 100 realizes functional components described below by operating the hardware components described above.
  • moving image encoding apparatus 100 includes area dividing unit 101, subtracting unit 102, converting unit 103, encoding unit 104, inverse converting unit 105, and adding unit 106. And a storage unit 107 and a prediction generation unit 108.
  • areas dividing unit 101 subtracting unit 102, converting unit 103, encoding unit 104, inverse converting unit 105, and adding unit 106.
  • a storage unit 107 and a prediction generation unit 108 a prediction generation unit 108.
  • the area dividing unit 101 is a dividing unit that divides a frame image constituting the input moving image data into a plurality of areas as areas to be encoded. That is, the area dividing unit 1 01 is a dividing means for dividing the frame image constituting the input moving image data into a plurality of encoding target blocks. Specifically, the area dividing unit 101 divides the block into predetermined blocks having a predetermined size (for example, 8 pixels ⁇ 8 pixels, encoding target block).
  • the divided original images are output in the order in which the codes are applied and input to the subtracting unit 102.
  • the output order may be the raster scan order, which is the order of the upper left force and lower right of the frame image as shown in Fig.
  • the order to the right end and the right end force may be a zigzag order in which the order to the left end is alternately increased by one step. Note that the output order is stored in advance in the area dividing unit 101.
  • the subtracting unit 102 is a constituent element of an encoding unit that generates and outputs a difference signal between the original signal of the encoding target block and a prediction signal described later.
  • the difference signal is generated by subtracting the prediction signal of the code target block output from the prediction generation unit 108 from the original signal of the code target block output from the region dividing unit 101 in units of pixels.
  • the output difference signal is a signal to be encoded, and is input to the conversion unit 103 for encoding.
  • the conversion unit 103 is a conversion unit that converts the difference signal input from the subtraction unit 102 based on a predetermined conversion method and outputs conversion coefficient data.
  • a predetermined conversion method for example, an orthogonal transformation represented by a discrete cosine transform (DCT) can be used. Relational expressions for conversion and the like are stored in the conversion unit 103 in advance. This conversion may be irreversible or irreversible. This conversion is to make the subsequent sign ⁇ more efficient.
  • the output transform coefficient data is input to the sign key unit 104 and the inverse transform unit 105. For information compression, quantize the coefficients after orthogonal transformation.
  • the code unit 104 is a component of an encoding unit that performs entropy encoding on the transform coefficient data input from the transform unit 103.
  • the encoded data is output from the moving image encoding apparatus 100.
  • a variable-length code method such as a Huffman code or an arithmetic code method represented by CABAC (Context-based Adaptive Binary Arithmetic Coding) can be used. In both cases, the amount of information can be compressed by changing the conversion method based on the bias in the occurrence probability of the conversion coefficient data.
  • CABAC Context-based Adaptive Binary Arithmetic Coding
  • the inverse conversion unit 105 is a component of a reproduction image generation unit that generates a differential signal used for generation of a reproduction image.
  • the difference signal is generated by performing the inverse process of the conversion process performed in the conversion unit 103 on the conversion coefficient data input from the conversion unit 103. Relational expressions for reverse conversion are stored in advance in the reverse conversion unit 105. The difference signal generated by the inverse conversion unit 105 is input to the addition unit 106.
  • the adding unit 106 uses the prediction signal output from the prediction generation unit 108 described later (the same as the prediction signal input to the subtraction unit 102) and the difference signal generated by the inverse conversion unit 105. This is a constituent element of a reproduction image generation means for generating a reproduction signal as a sum signal by adding the signal.
  • the reproduction signal constitutes a reproduction image.
  • the reproduction signal generated by the adding unit 106 is the same as the reproduction signal generated in the decoding device.
  • the reproduction signal generated by the adding unit 106 is input to the storage unit 107.
  • the storage unit 107 stores the reproduction signal input from the addition unit 106 as reproduced moving image data in a storage device provided in the moving image encoding device 100 such as a frame memory and stores the reproduced signal. It is. All playback signals are stored until all of the moving image data has been encoded. As described above, the reproduced moving image data is sequentially accumulated.
  • the prediction generation unit 108 is a feature of the present invention.
  • the prediction generation unit 108 reads out the reproduced image stored in the storage unit 107, and generates a prediction signal of a prediction target (encoding target) block based on the reproduction signal. Generate.
  • Figure 2 shows functional blocks that further refine the functions of the prediction generation unit 108.
  • the prediction generation unit 108 includes a template region determination unit 201, a matching unit 202, and a compensation unit 203.
  • Template region determination unit 201 is a component of search means that determines a template region used to generate a prediction signal and a signal (template) in that region based on an input from storage unit 107. . That is, the template area determination unit 201 is a search unit that generates a template for the reproduction signal power that is adjacent to the target block of the encoding key in a predetermined positional relationship and that belongs to the reproduced moving image data stored in the storage unit 17. One component. Further, the template region determination unit 201 is a prediction signal generation unit that generates a prediction block that is a prediction signal of the encoding target block using a template. It is also a component. As shown in FIG.
  • the template area 301 is adjacent to the area 302 of the image to be encoded in a predetermined positional relationship and is the area of the reproduced image stored by the storage unit 107, that is, has been reproduced.
  • This is a pixel area composed of playback signals of moving image data.
  • the template area includes a pixel area that is a reproduced area of the same frame as the prediction target block stored in the storage unit 107 and is located in a position spatially adjacent to the prediction target block. A pixel group of a predetermined size is applied. For this reason, the position of the template region depends on the code order of the blocks (the order of output from the region dividing unit 101 and the encoding process).
  • the template region determination unit 201 stores in advance conditions as described below for determining the template region.
  • FIG. 13 shows an example of the positional relationship between the template area and the prediction target area.
  • the template region 1301 is a region located on the left and upper side of the prediction target block 1302.
  • regions 1303 located on the left and upper side of the prediction target block 1302 are regions where reproduced images are accumulated in the storage unit 107.
  • the order of the symbols is zigzag, the position of the template area can be changed depending on the progress of the symbols.
  • the prediction target block 1304 is an area located on the right and upper side of the prediction target block 1305.
  • the prediction target block 1304 is an area located on the left and upper side of the prediction target block 1305.
  • Matching section 202 performs template matching using the playback image stored in storage section 107 as a search area using the playback signal of the template area determined by template area determination section 201, and searches the search area.
  • the matching unit 202 is also a constituent element of a prediction signal generation unit that generates a prediction block that is a prediction signal of the encoding target block using a template. Template matching will be described in more detail later.
  • the compensation unit 203 predicts the same size as the prediction target block. It is a prediction signal determination means for setting and determining a signal from a reproduced image. In other words, the compensation unit 203 reproduces a prediction block that is a prediction signal of the target block for coding based on the pixel group searched by the matching unit 202 and the positional relationship, and has been stored in the storage unit 107. It is a prediction signal determination means determined from moving image data. Further, the compensation unit 203 is also a constituent element of a prediction signal generation unit that generates a prediction block that is a prediction signal of a coding target block using a template.
  • the positional relationship between the searched high correlation region and the image region used as the prediction signal is the same as the positional relationship between the template region and the prediction target block. For example, if the block code order is the raster scan order, the regions adjacent to the right and lower sides of the high correlation region are the regions of the prediction signal.
  • the determined prediction signal is input as an output from the prediction generation unit 108 to the subtraction unit 102 and the addition unit 106.
  • the matching unit 202 performs template matching that searches for the internal forces of the search ranges 403 and 404 for a portion similar to the image of the template region 401.
  • the search range includes a reproduced pixel region 403 in a frame including the template region 401 and the prediction target region 402 (prediction target frame), and an image 404 of the other reproduced frame.
  • the correlation between the signal of the template region 401 and the signal of the pixel group having the same shape as the template region 401 at an arbitrary location within the search range is measured.
  • index value indicating the correlation at this time it is possible to use SAD (sum of absolute difference) representing the sum of absolute values of the difference signal, MSE (mean square error) representing the mean square error of the difference signal, or the like. Obtain index values of correlation for all possible pixel groups within the search range, and output information (address) indicating the pixel group with the smallest index value (excluding the image of the template area 401 itself) as the search result To do.
  • SAD sum of absolute difference
  • MSE mean square error
  • the compensation unit 203 sets a pixel group adjacent to the highly correlated region searched by template matching as a prediction signal. In locations where the correlation with the template region is high, the region adjacent to the template region is also likely to have a high correlation. Can be. For this reason, the prediction method by this method is materialized.
  • moving image data to be encoded is input to the moving image encoding apparatus 100, it is input to the region dividing unit 101 for each frame image constituting the moving image.
  • the input frame image is divided into a plurality of blocks of a predetermined size by the area dividing unit 101 (S501, dividing step). All subsequent processing is performed in units of blocks.
  • the block is input to the subtraction unit 102 as an image of the region to be encoded.
  • a prediction signal for the block to be encoded is generated by the prediction generation unit 108 as follows.
  • the prediction generation unit 108 supervises the coding process in the moving picture coding apparatus 100, and the controller (not shown) force is also notified of the coding order of the blocks.
  • the prediction generation unit 108 stores the code order of the blocks in advance.
  • the template area determination unit 201 determines a template area on the reproduced image adjacent to the block (S502, search step).
  • the matching unit 202 performs template matching on the playback image in the same and different frames as the encoding target block, and searches for a region having a high correlation with the playback signal of the template region (S503, Search step).
  • a region having the same size as the current block to be encoded is adjacent to the highly correlated region obtained by template matching by the filling unit 203 in a predetermined positional relationship (right and lower in the example of FIG. 4).
  • the set prediction signal is input to the subtraction unit 102 and the addition unit 106.
  • the subtraction unit 102 subtracts the prediction signal, in which the force of the prediction generation unit 108 (compensation unit 203) is also input, from the original image input from the region division unit 101 in the pixel region, thereby generating a differential signal. Is generated (S505, encoding step).
  • the generated difference signal is input to the conversion unit 103 and converted by the conversion unit 103 (S506).
  • the converted difference signal is input to the encoding unit 104 and the inverse conversion unit 105.
  • the converted differential signal input to the code key unit 104 is entropy encoded by the code key unit 104 to generate compressed encoded data (S507, encoding step).
  • the converted differential signal input to the inverse transform unit 105 is subjected to inverse transform by the inverse transform unit 105.
  • a differential signal after inverse transformation is generated (S508, reproduction image generation step).
  • the difference signal after the inverse transformation is input to the addition unit 106, and the addition unit 106 adds the prediction signal input by the prediction generation unit 108 (compensation unit 203) to form a sum signal, thereby generating a reproduction signal (S509).
  • Playback image generation step The generated reproduction signal is input to the storage unit 107, and is stored in the storage unit 107 at a predetermined address corresponding to the frame to be encoded in the frame memory or the like (S510, storage step).
  • the reproduction signal stored in the storage unit 107 is based on the difference signal converted by the conversion unit 103 and inversely converted by the inverse conversion unit 105. This is because it is also assumed that the encoding by the encoding unit 104 is reversible, and a reproduced image to be reproduced in the decoding device is obtained by the above processing.
  • the power given as an example in which prediction is performed only by compensation by template matching may include other processing.
  • the prediction by the motion vector may be used. In this case, for example, by adding information indicating whether the prediction method is based on this method or using a motion vector and a motion vector value to the header of the block information and adding a motion vector value, both methods can be made efficient. Can be used and separated.
  • inter-frame prediction is performed.
  • the encoded image can be used for inter-frame prediction without using a motion vector, and efficient code recognition is possible. That is, the data encoded by the moving image encoding apparatus 100 according to the present embodiment is substantially the result of encoding only the converted differential signal, and moves compared to the conventional encoding method. The vector is deleted. In addition to this, when determining the prediction signal, only the area that has been reproduced at that time is used, so that it is possible to always code in the scanning order of the moving image data.
  • FIG. 6 shows a moving picture decoding apparatus 600 according to this embodiment.
  • the video decoding device 600 is a device that decodes the video data encoded by the video encoding device 100 and generates reproduced video data.
  • the moving image decoding apparatus 600 is realized by hardware such as an information processing apparatus including a CPU (Central Processing Unit), a frame memory, a hard disk, and the like.
  • the moving image decoding apparatus 600 realizes functional components described below by operating the above hardware components.
  • moving picture decoding apparatus 600 includes decoding section 601, inverse transform section 602, addition section 603, storage section 604, and prediction generation section 605. .
  • decoding section 601 inverse transform section 602, addition section 603, storage section 604, and prediction generation section 605. .
  • inverse transform section 602 inverse transform section 602
  • addition section 603 storage section 604
  • prediction generation section 605. The function of each part is described below.
  • Decoding section 601 is a decoding means for decoding input compressed encoded data.
  • the compressed code data is encoded by the moving image encoding apparatus 100 according to the present embodiment, and the frame image is divided into a plurality of region signals (encoding target blocks). And encoded (block to be decoded).
  • the decoding scheme in the decoding unit 601 corresponds to the entropy coding scheme used by the moving picture coding apparatus 100, and information for decoding is stored in advance by the decoding unit 601. Also, decoding and output in the decoding unit 601 are performed in encoded units (block units), and are performed in the encoded order.
  • the decrypted data is input to the inverse transform unit 602.
  • the inverse transform unit 602 is used for generating a reproduced image by performing an inverse process of the transform process performed by the moving image encoding device 100 on the data input from the decoding unit 601. It is a component of a reproduction image generation unit that generates a difference signal.
  • the inverse transform unit 602 corresponds to the inverse transform unit 105 in the moving image encoding device 100.
  • For inverse transformation Relational expressions and the like are stored in the inverse conversion unit 602 in advance.
  • the difference signal generated in the inverse conversion unit 602 is input to the addition unit 603.
  • Addition unit 603 adds a prediction signal output from prediction generation unit 605 described later and a difference signal generated by inverse transformation unit 602 to generate a sum signal, and generates a reproduction signal. It is a component of the means.
  • the adder 603 corresponds to the adder 106 in 100 moving image encoders.
  • the reproduction signal generated by the adding unit 106 is input to the storage unit 604 and output from the video decoding device 600.
  • the storage unit 604 uses the playback signal, which is the decoded block (decoded block to be encoded) input from the adder 603, as the played back video data to the video decoding device 600 such as a frame memory.
  • the storage unit 604 corresponds to the storage unit 107 in the video encoding device 100. All decoding blocks are stored until all decoding of moving image data is completed. In this way, the reproduced moving image data is sequentially accumulated.
  • the prediction generation unit 605 reads out the reproduced image stored in the storage unit 604, and generates a prediction signal of a prediction target (decoding target) block based on the reproduced image.
  • the prediction generation unit 605 corresponds to the prediction generation unit 108 in the video encoding device 100 and has the same function, and thus the description thereof is omitted here.
  • decoding is performed by the decoding unit 601 (S701, decoding step).
  • decrypted the converted data in units of blocks is extracted.
  • This converted data is input to the inverse conversion unit 602 by the decoding unit 601.
  • the position information dynamic image decoding apparatus 600 in the frame of the decoding target block is input to the prediction generation unit 605 from a controller (not shown) that supervises the decoding process. Note that the position of the block to be decoded depends on the encoding order.
  • the prediction generation unit 605 generates a prediction signal of the decoding target block as follows. It is. First, a template area is set on the reproduced image adjacent to the block by the template area determining unit 201 (S702, search step). Next, the matching unit 202 performs template matching on the reproduced images in the same and different frames as the encoding target block, and searches for an area having a high correlation with the reproduction signal of the template area (S703, search). Step). Next, the filling unit 203 has the same size as the target block of the code that is adjacent to the highly correlated region obtained by template matching in a predetermined positional relationship (right and lower in the example of FIG. 4). The area is set as a prediction signal (S704, prediction signal determination step). The set prediction signal is input to the adding unit 603.
  • the conversion data input from the decoding unit 601 is inversely converted by the inverse conversion unit 602 to generate a differential signal (S705, reproduction image generation step).
  • the series of processing from S702 to S704 and the processing from S705 are performed before the processing from S706 onwards described below! Well, so it's okay if the order is reversed! /.
  • the difference signal input from the inverse transformation unit 602 and the prediction signal input from the prediction generation unit 6 05 are added together by the addition unit 603 to obtain a sum signal, which is a reproduction signal.
  • Is generated (S706, reproduction image generation step).
  • the generated decoded block is input to the storage unit 604, and stored in the storage unit 604 at a predetermined address corresponding to the frame to be decoded in the frame memory or the like (S707, storage step).
  • the moving picture decoding apparatus 600 of the present embodiment it is possible to determine a prediction signal and decode a moving picture as in the moving picture encoding apparatus 100. That is, according to the moving image decoding apparatus 600 of the present embodiment, it is possible to correctly decode the moving image data that has been efficiently encoded by the moving image encoding apparatus 100 and generate a reproduced image.
  • the following modifications can be considered. The following modifications are described with respect to the moving image encoding device and the moving image decoding device, but the same can be applied to the moving image encoding process and the moving image decoding process.
  • the search range that is the target of template matching is used as the playback area (403) in the frame to be encoded and the playback image 404 of the playback frame.
  • the present invention can also be applied to an intra frame in which only a reproduced signal in a frame is predicted as long as it is limited to the reproduced region 403.
  • the reproduced image 404 there is an effect that it is possible to reduce the amount of calculation at the time of decoding the inter frame accompanied by the prediction between frames.
  • a prediction mode (intra template matching prediction) in which the regenerated region 403 is a search target for template matching and a prediction mode (inter template matching prediction) in which the replayed image 404 is a search target for template matching are prepared.
  • the method of selecting in units is also effective because it reduces the amount of computation during decoding.
  • a reproduced image area in the frame to be encoded may be included.
  • the reproduced image of the reproduced frame to be the template matching target and the reproduced image area of the encoding target frame will be collectively referred to as a reference image of the reference frame.
  • the reference image may be a high-resolution image including not only integer pixels but also real pixels generated by the filter processing. A method for generating real pixels is described in Non-Patent Document 1, for example.
  • the reference frame number to be selected may be a block unit or a frame unit, or may be selected without additional information by an index value such as SAD.
  • the prediction target area (in the block to be encoded)
  • the original signal of the region is compared with the prediction signal of the prediction target region (in the encoding target block) generated by the reference image force of a plurality of reference frames, and one reference frame is selected.
  • this encoding process is performed by adding a selection unit 109 between the prediction generation unit 108 and the subtraction unit 102 in the video encoding apparatus 100 shown in FIG. it can.
  • the selection unit 109 calculates an index value (SAD, MSE, etc.) between the prediction signal generated by the prediction generation unit 108 for a plurality of reference frames and the original signal of the code target block, and the index Select the reference frame with the smallest value.
  • the selected reference frame number is entropy-coded by the code key unit 104. Note that even if the processing of the selection unit 109 is included in the prediction generation unit 108, the same result can be obtained, and therefore this modification can be implemented even with this configuration.
  • the prediction generation unit 606 generates a prediction signal using a reference frame corresponding to the reference frame number decoded by the decoding unit 601.
  • two reference frames are selected and obtained from the selected reference frame.
  • the prediction signal of the block to be encoded may be averaged pixel by pixel to calculate the final prediction signal (averaging process).
  • selection candidates for the prediction signal of the code key block from the same reference frame. Selecting two prediction signals with the same reference frame force at a position shifted by one pixel (or 1Z2 pixel or 1Z4 pixel) also has the effect of increasing the accuracy of the motion vector to be searched by interpolation. Since smoothing has the effect of adding noise components to the prediction error signal, it generally has good compatibility with transform coding.
  • the final prediction signal of the prediction target area is calculated by weighted averaging for each pixel rather than by simple averaging (weighted averaging) Is also possible.
  • the method for setting the weighting coefficient and the sign key method are not particularly limited, but the method described in Non-Patent Document 1 can be applied.
  • averaging processing, weighted averaging processing, and median prediction processing can be realized by a prediction generation unit 1108 in which a signal generation unit 204 is added to the prediction generation unit 108 shown in Fig. 2 as shown in Fig. 20 ( (Applied to the prediction generation unit 108 in FIG. 1 and the prediction generation unit 605 in FIG. 6).
  • the signal generation unit 204 receives a prediction signal of a prediction target region generated from a plurality of frames, and generates a final prediction signal by the processing method described above.
  • the processing of the signal generation unit 204 can be performed using information that also derives the force of featured data (such as motion vector) belonging to the reconstructed image and the reconstructed image (data related to the reconstructed image). Can be implemented.
  • a method may be considered in which a plurality of processing methods are prepared from one frame selection processing, averaging processing, weighted averaging processing, median prediction processing, and the like, and processing methods are selected in units of blocks or frames.
  • prediction processing using a template composed of decoded values there is no guarantee that the motion with the optimal index value will minimize the prediction error signal. Therefore, it is effective to select an appropriate method from multiple processing methods that have different prediction signal characteristics in the prediction target region.
  • a method for selecting a processing method first, a method for minimizing the sum of prediction error absolute values (or the sum of squares of prediction errors) of the prediction target region is selected on the sign side (selection unit 109 in Fig. 18). ), A method of transmitting to the decoding side can be considered.
  • This selection method can be realized by replacing the prediction generation unit 108 in FIG. 18 and the prediction generation unit 606 in FIG. 19 with the prediction generation unit 1108 in FIG.
  • the selection unit 109 in FIG. 18 outputs information on the selected processing technique to the encoding unit 104 instead of the selected reference frame number. Since the same result is obtained even in the configuration in which the processing of the selection unit 109 is included in the prediction generation unit 1108, this configuration can also be implemented
  • a template region prediction signal is generated, and an index value (SAD, MSE, etc.) is automatically calculated from the template region generation signal.
  • a method of selecting a method is also conceivable. For example, in the averaging process, two prediction signal candidates in the template area are averaged pixel by pixel, and the prediction signal is calculated. An index value is calculated between the prediction signal and the reproduction signal of the template area.
  • the processing method can be uniquely determined using the information derived from the reproduced image and the feature data (such as motion vectors) belonging to the reproduced image, so the information of the processing method is encoded. There is no need.
  • both TaV and EvV are smaller than the threshold value Averaging process, weighting averaging process when only TaV is smaller than threshold, median prediction process when only EvV is smaller than threshold, 1 frame selection process when both TaV and EvV are larger than threshold A method such as In this case, the strength of the feature in the spatial direction of the template is evaluated by the variance of the reproduction signal in the template region, and the strength of the feature in the temporal direction of the template region is evaluated by the variance of the index value.
  • Such an automatic selection method can be realized by replacing the prediction generation unit 108 in FIG. 18 with the prediction generation unit 1108 in FIG. 20 and introducing the selection method described above into the selection unit 109 in FIG. . Even in this selection method, the processing method can be uniquely determined using the information from which the reproduced image and the characteristic data (variance value, etc.) force belonging to the reproduced image are derived. There is no need. Therefore, the output from the selection unit 109 to the sign key unit 104 is omitted.
  • the input to the selection unit 109 is replaced with the reproduction signal of the original signal power template region of the encoding target block, and the prediction generation unit 1 108 to the selection unit 109 are replaced. It is necessary to add index values of multiple reference frames to the input to. Note that the same result can be obtained with the configuration in which the prediction generation unit 1108 includes the processing of the selection unit 109, and therefore this configuration can also be implemented.
  • the processing on the decoding side can be realized by replacing the prediction generation unit 605 in FIG. 6 with a combination of the prediction generation unit 1108 in FIG. 20 and the selection unit 109 in FIG.
  • the automatic selection method is not limited to the method described here, and any method that uses only information derived from a reproduced image or feature data belonging to the reproduced image can be realized. [0109] (3) Configuration of prediction generator
  • the prediction generation unit 108 is configured by the template region determination unit 201, the matching unit 202, and the compensation unit 203.
  • the present invention can be realized without being limited to this configuration. For example, if the reproduction signal of the template area is directly input from the reproduction signal of the encoding target frame according to a predetermined procedure, the template area determination unit 201 is unnecessary. Further, when the matching unit 201 acquires the prediction signal of the reference frame force template region, the prediction signal of the prediction target region can be acquired at the same time, so that the prediction signal can be generated without the compensation unit.
  • the size of the code target block is 8 pixels ⁇ 8 pixels. Since the present invention can be implemented with other block sizes, it is not limited to this size.
  • the size of the template area is not limited. For example, in the case of 8 pixels x 8 pixels, the template area and the prediction target area are combined into 12 pixels x 12 pixels, or the size of the template area is 10 pixels x 10 pixels. It is also effective to change the size of the encoding target block and the size of the template area in units of blocks or frames. As shown in Non-Patent Document 1, it is effective to prepare sets of encoding target blocks and template areas of different sizes because different patterns in an image can be handled. In addition, when considering intra template matching prediction and inter template matching prediction, it is expected that the prediction efficiency can be improved by reducing the block size of intra template matching prediction, where the redundancy of the template region and search range is generally low.
  • the prediction of the present invention can be performed even with a block size different from that of the prediction target block and the code target block.
  • the reproduction signal of the template area is composed of the reproduced pixels of the target frame, and the reproduced pixels on other reference frames are also known because they are known to the decoding side.
  • a prediction target area of 8 pixel ⁇ 8 pixel block is divided into 4 pixel ⁇ 4 pixel block and a prediction signal is generated in units of 4 ⁇ 4 blocks.
  • the rate area and the prediction target area are combined into a 6 pixel x 6 pixel block, the template area of the 4 X 4 block at the upper left of the 8 X 8 block! Is composed of the reproduced pixels of the encoding target frame. it can.
  • the 6 X 2 pixels at the top of the block can be composed of the reconstructed pixels of the target frame.
  • the 2 X 2 pixels at the left of the block are still encoded. Since it is not displayed, substitute the prediction signal of the 4 X 4 block in the upper left.
  • the reproduced pixels of the encoding target frame are encoded for all the pixels in the template area. Therefore, the prediction signal is used instead.
  • the reproduction signal of the template area is configured by acquiring the reproduced pixels of the block adjacent to the encoding target block.
  • the reproduced signal is subjected to a filter or the like for removing noise.
  • An area reproduction signal may be generated. For example, in an image with a lot of noise, motion detection that is not affected by noise can be performed by filtering the reproduction signal of the template region and the reference image.
  • the index value used to generate the prediction signal in the target area by template matching is the power of the sum of absolute differences (SAD) and mean square error (MSE) of the prediction signal and target signal in the template area. It is not limited to this.
  • SAD sum of absolute differences
  • MSE mean square error
  • a value considering the magnitude of the differential motion vector is also applicable to the index value of the present invention.
  • the difference absolute value between the boundary pixels of the template area and the prediction area can be set to 4, and the distance from the boundary can be reduced to 3, 2, 1, and so on. .
  • the prediction performance can be improved by giving priority to the pixels close to the boundary.
  • the input of the inverse transform unit 105 is the output from the transform unit 103.
  • the output from 104 may be used.
  • the process of the decoding unit 601 in FIG. 6 is performed before the process of the inverse transform unit 105.
  • the present invention can also be implemented by an implementation method that unifies the processing of the video encoding device and the video decoding device. That is, a configuration in which the output of the code key unit 104 is processed by the decoding unit 601 in FIG. 6 and the decoded image is input to the storage unit 107 is also conceivable.
  • the device configurations of the video encoding device and the video decoding device in the second embodiment are the same as the device configuration in the first embodiment except for the detailed configuration of the prediction generation unit.
  • differences between the prediction generation unit in the present embodiment and the prediction generation units 108 and 605 in the first embodiment will be described.
  • the prediction generation unit 800 of this embodiment includes a determination unit 801, a template region determination unit 802, a matching unit 803, and a compensation unit 804.
  • the determination unit 801 compares the reproduction signal of the template region with the reproduction image stored in the storage units 107 and 604, and based on the comparison result, the region to be encoded or decoded (prediction target block) It is an estimation means for estimating the spatial continuity of the signal. Spatial continuity is an index that indicates how well the features such as the direction of movement in a space match. That is, in a certain area, when the motion characteristics are different between the upper half and the lower half of the area, there is no spatial continuity.
  • the determination unit 801 further divides the region to be encoded or decoded based on the estimated spatial continuity of the image, and divides the divided region into a new encoding or decoding target region ( A setting unit for setting a template region for the new region to be encoded or decoded.
  • the determination unit 801 analyzes the reproduced image stored by the storage units 107 and 604, determines a prediction parameter including the size of the template region and the size of the prediction target region, and uses the information as the template region determination unit 802. Output to the compensation unit 804. A specific method for determining the prediction parameter will be described later.
  • template region determination unit 802 Based on the size information of the template region input from determination unit 801, template region determination unit 802 sets a template region used to generate a prediction signal and an image of the region. , A component of the search means.
  • the template area determination unit 802 corresponds to the template area determination unit 201 in the first embodiment and has the same function. Have.
  • the matching unit 803 uses the template region image set by the template region determining unit 802 to perform template matching using the reproduced images stored in the storage units 107 and 604 as search regions, and performs search. This is a search means for searching for an area having the highest correlation with the pixel group of the template area within the area.
  • the matching unit 803 corresponds to the matching unit 202 in the first embodiment and has the same function.
  • the compensation unit 804 predicts the same size as the prediction target block based on the region searched by the matching unit 803 (high correlation region) and the positional relationship between the prediction target block and the template region. This is a prediction signal determining means for determining the signal by setting the reproduction image force.
  • the size of the prediction target block at this time is set by the determination unit 801.
  • the compensation unit 804 corresponds to the compensation unit 203 in the first embodiment and has a similar function.
  • FIG. 14 is a diagram showing the pixels of the prediction target block 1401 and the reproduced pixels 1402 around it.
  • a region A that covers the entire region 1402 adjacent to the prediction target block 1401 and a region 1402 are divided to cover each and part of the region 1402.
  • Prepare four areas, areas B, C, and D areas B, C, and D do not overlap each other, and add to area 1402).
  • template matching is performed on the reproduced image stored in the storage unit using the regions A, B, C, and D as template regions, and regions with high correlation are obtained.
  • SAD is used as the correlation value.
  • SAD for each region A, B, C, D is SAD, SAD, SAD, SAD, and SAD and (SAD + SAD + SA
  • the size of the template region and the size of the prediction target region are set to be smaller than the block size by further dividing the block.
  • the size of the prediction target area at this time can be set to a size according to the division of the areas B, C, and D, for example.
  • the template area is sized according to the size of the prediction target area.
  • the prediction target block 1401. It is estimated that there is spatial continuity in the prediction target block 1401. Based on this estimation, it is determined that template matching by area A is effective, and the prediction target area is the block size (the prediction target area is the area where the block is not divided). Note that the area 1402 adjacent to the prediction target block 1401 used for the above judgment is divided into patterns such as areas B, C, and D as shown in FIG. You may subdivide it further like
  • the prediction based on template matching as in the present invention cannot be an accurate prediction. For this reason, it is necessary to avoid mispredictions. In general, misprediction is likely to occur when the size of the template area is small. On the other hand, if the template area or the prediction target area is large in a portion where the motion is not spatially continuous, it will not be possible to deal with fine motion and the prediction error will increase. Therefore, it is effective to reduce the size of the template area and the size of the prediction target area as in the method according to the present invention to increase the probability of adapting to fine movement.
  • the prediction transition when the size of the template area and the size of the prediction target area are changed will be described with reference to FIG. If there is spatial continuity in the area adjacent to the prediction target block 901 and the size of the prediction target area is the entire prediction target block 901, processing is performed by one template matching as in the first embodiment. Do. For example, as shown in FIG. 9, the prediction J target block 901 is divided into four regions 901a, 901b, 901c, and 901d, the prediction target region size is reduced, and the template region size is also adjusted. Will be described below. It should be noted that the left and upper areas of the prediction target block 901 are areas of an image that has been reproduced.
  • the left and upper regions 902a are set as template regions with respect to the upper left region 901a of the prediction target block 901, and a prediction signal is set by template matching. I do.
  • the upper region 902b is set as a template region with respect to the right region 901b of the region 901a, and a prediction signal is set by template matching.
  • the left region 902c is set as the template region with respect to the lower region 901c where the prediction signal was initially set, and the predicted signal by template matching is set. Set up.
  • the left and upper regions 901d including the regions 901a, 901b, and 901c are set as template regions.
  • the prediction signal is set by template matching using the prediction signal as the target signal of the template region. As a result, prediction signals are set for all regions of the prediction target block 901, and encoding and decoding are possible.
  • the size of the template area and the size of the prediction target area can be changed by simply dividing the template area in both vertical and horizontal directions as shown in Figs. 9 (a) to (d). As in (), only the vertical or horizontal direction may be divided. For example, in FIG. 14 (b), when the highly correlated region in region A includes the highly correlated regions in regions B, C, D, and E, and only the highly correlated region in region F does not include ( e) Divide vertically as shown in (f). This is because in such a case, it can be determined that the spatial continuity is lost between the upper half and the lower half of the prediction target block.
  • the left and upper regions 902e are set as template regions relative to the upper half region 901e of the prediction target block 901, and template matching is performed. Set the prediction signal.
  • the left region 902f is set as the template region with respect to the lower region 901f of the region 901e, and a prediction signal is set by template matching.
  • prediction signals are set for all regions of the prediction target block 901, and code encoding and decoding become possible.
  • moving image data to be encoded is input to the moving image encoding device, it is input to the area dividing unit 101 for each frame image constituting the moving image.
  • the input frame image is divided into a plurality of blocks of a predetermined size by the area dividing unit 101 (S1001). All subsequent processing is performed in units of blocks.
  • the block is input to the prediction generation unit 800 and the subtraction unit 102 as a pixel in the encoding target area.
  • the prediction generation unit 800 generates a prediction signal of the target block for encoding as follows.
  • the determination unit 801 determines a prediction parameter to be used for the code target block using the reproduced pixels adjacent to the code target block (S102, estimation step and determination step).
  • the determined prediction parameter is input to the template area determination unit 802.
  • the template region determination unit 802 sets an encoding target region, and sets a reproduced pixel group adjacent to the region on the reproduced pixel region (template region). Set as a template (S1003).
  • the encoding target area set may be obtained by dividing the encoding target block as described above.
  • the matching unit 803 performs template matching on the reproduced image in the same and different frames as the encoding target block, and searches for a region having a high correlation with the pixel group of the template region (S10 04). .
  • the compensation unit 804 sets a region having the same size as the region to be encoded adjacent to the highly correlated region obtained by template matching in a predetermined positional relationship as a prediction signal (S 1005 ).
  • the prediction signal is set in all areas of the encoding target block (S 1006).
  • the series of processing of S1003 to S1005 is repeated until the prediction signal is set in all the regions of the encoding target block. Note that the above determination may be made, for example, by any one of the above-described components, or may be performed by providing means for supervising the encoding process in the moving image encoding apparatus.
  • the subsequent processes are the same as the corresponding processes (S505 to S511) in the first embodiment.
  • a motion vector is obtained by using a reproduced image that has been encoded.
  • Inter-frame prediction can be performed without using, enabling efficient coding.
  • the size of the predicted signal area can be selected appropriately based on the spatial continuity of the reproduced signal. The coding efficiency is also improved.
  • decoding is performed by the decoding unit 601 (S 1101).
  • the conversion data in units of blocks is extracted.
  • This converted data is input to the inverse conversion unit 602 by the decoding unit 601.
  • the position information power decoding unit 601 in the frame of the decoding target block is input to the prediction generation unit 800. Note that the position of the block to be decoded depends on the encoding order.
  • the prediction generation unit 800 generates a prediction signal of the decoding target block as follows.
  • the determination unit 801 uses the reproduced image adjacent to the decoding target block to determine a prediction parameter to be used for the decoding target block (S1102, estimation step and determination step).
  • the determined prediction parameter is input to the template region determination unit 802.
  • the template area determination unit 802 sets a decoding target area based on the set prediction parameter, and sets a reproduced pixel group adjacent to the area as a template (S1103).
  • the decoding target area set here may be obtained by dividing the decoding target block as described above.
  • the matching unit 803 performs template matching on the reproduced image in the same and different frame as the decoding target block, and searches for a region having a high correlation with the pixel group of the template region (S 1104).
  • the compensation unit 804 sets a region having the same size as the region to be decoded adjacent to the highly correlated region obtained by template matching in a predetermined positional relationship as a prediction signal (S 1105).
  • the above determination may be made, for example, by any one of the above-described constituent elements, and a means for supervising the decoding process in the moving picture decoding apparatus may be provided and performed.
  • the subsequent processing (S1107 to S1110) is the same as the corresponding processing (S705 to S708) in the first embodiment.
  • the series of processing of S1102 to S1106 and the processing of S1107 need only be performed before the processing after S1108, and therefore the order may be reversed. ,.
  • the moving picture decoding apparatus of the present embodiment it is possible to determine a prediction signal and decode a moving picture similarly to the moving picture encoding apparatus of the present embodiment. That is, according to the moving picture decoding apparatus of the present embodiment, it is possible to correctly decode the moving picture data that has been efficiently encoded by the moving picture encoding apparatus of the present embodiment to generate a reproduced image. it can.
  • the determination unit 801 in FIG. 8 may determine the size and shape of the prediction target region and the template region at the same time. Therefore, the present invention can be applied to the case where the size and shape of the prediction target area are fixed and the size or shape of the template area is to be switched adaptively. In this case, output from the determination unit 801 to the compensation unit 804 is not necessary.
  • a method of selecting a template for the prediction target area 1401 from the areas A, B, C, and D in FIGS. 14 (a) and 14 (b) can be considered.
  • As a template of the prediction target region 1401 it is better that there is continuity of the pattern between the prediction target region 1401 and the number of pixels constituting the template is large.
  • the determination processing in the determination unit 801 is not limited to the method described above.
  • a method of comparing the prediction signal of the template region with the prediction signal when the pixels of the region are actually coded, and selecting the template shape and size with a small average difference absolute value is conceivable.
  • the prediction signal may be generated again by using the reproduction signal of the block to be encoded to which the region belongs instead of the prediction signal at the time of encoding.
  • Another possible method is to select a template shape and size with a small average difference absolute value between the prediction signal of the template region and the target signal (reproduced signal).
  • a method for ensuring continuity of movement instead of a pattern is also effective. For example, the difference between the motion vector detected using the region A as the template region and the motion vector of the adjacent block or the predicted motion vector calculated from the adjacent block is calculated. If the difference motion vector is smaller than a predetermined threshold, the detected motion vector is used as the motion vector of the prediction region. On the other hand, if the motion vector of the difference is larger than a predetermined threshold value, a different template shape (for example, regions B, C, D in Fig. 14 (b) or regions B, D, F in Fig. 14 (c)) A motion vector is detected for.
  • a different template shape for example, regions B, C, D in Fig. 14 (b) or regions B, D, F in Fig. 14 (c)
  • the motion vector when the pixels in the region are encoded and the detected motion vector are compared, and if the difference is small, the motion vector is selected as the motion vector of the prediction target region.
  • the motion vector may be detected again using the reproduction signal of the code target block to which the area belongs. Either method can be implemented by using information from which a reproduction signal or characteristic data (such as a motion vector) force belonging to the reproduction signal (information relating to the reproduction signal) is derived. It is also possible to determine the template shape and the size of the prediction region by comparing the magnitudes of motion vectors detected in multiple template shapes. Similarly, it is possible to determine the template shape and the size of the prediction area by comparing the size of the motion vector of adjacent blocks.
  • the shape and size of a candidate template is not limited to template division as shown in FIG. For example, in the case of 8 pixels ⁇ 8 pixels, a case where the combined size of the template region and the prediction target region is selected from 12 pixels ⁇ 12 pixels, 10 pixels ⁇ 10 pixels, and 14 pixels ⁇ 14 pixels is also included in this modification. [0146] (2) Size determination of template area and prediction target area
  • the decision unit 801 in FIG. 8 determines the size and shape of the template region and the prediction target region by calculation, but the optimal size is determined using the original signal (encoding target block) of the prediction target region.
  • the shape information may be signed.
  • the determination method outputs a prediction signal of a prediction target region generated by the prediction generation unit 108 using a plurality of types of templates, and the selection unit minimizes an index value (SAD, MSE, etc.).
  • the template size and shape to be selected are selected, and the information is entropy-coded by the code key unit 104.
  • the processing of the selection unit 109 is performed in a configuration that is included in the prediction generation unit 108.
  • the target signal of the template region may not exist.
  • a template is generated only by existing target signals.
  • the region C shown in Fig. 14 (b) is used as the template region at the left end of the image
  • the region D is used as the template region at the upper end of the image.
  • a search range force is detected for a motion that minimizes the index value of the target signal in the template region and the difference signal for which the prediction signal power is calculated. Therefore, if the target signal in the template region has a distinct feature, appropriate motion prediction can be performed based on the feature.
  • a distinctive feature does not appear in the target signal of the template area as in a flat area, even if the index value is minimum, there is a high possibility of detecting a motion different from the actual one. In this case, if the difference between the prediction signal in the prediction target region and the target signal is large, the code amount also increases.
  • a flat region with no distinctive features has high spatial similarity between the original signal and a signal with a reduced resolution due to a small amount of high frequency components contained in the signal. Therefore, even if the target signal in the prediction target region is encoded with a lower resolution and the reproduced signal with the lower resolution is expanded on the decoding side by a simple method, the degradation of the original signal power can be suppressed.
  • a differential encoding method suitable for a flat region a method of reducing the resolution of the target signal in the prediction target region and the prediction signal and encoding the low-resolution differential signal (code target block and Reduce the prediction block and code the reduced difference block This is a method for the
  • a block composed of a prediction signal is referred to as a prediction block
  • a block composed of a difference signal is referred to as a difference block
  • a block composed of a reproduction signal is referred to as a decoding block.
  • the encoding target block is a block composed of the original signal of the encoding target frame of moving image data.
  • FIG. 21 shows a video encoding device 2100 that implements the third embodiment.
  • This can be realized by providing a reduction unit 2110 (a general term for the reduction unit 2110-1 and the reduction unit 2110-2) and an enlargement unit 2111 in the moving image encoding apparatus 100 of FIG.
  • the functions of the subtractor 2102, the converter 2103, the sign key 2104, the inverse converter 2105, and the adder 2106 are limited by the block size force to be handled (for example, 4 pixels x 4 pixels).
  • the function is the same as that of the 1 subtraction unit 102, the conversion unit 103, the encoding unit 104, the inverse conversion unit 105, and the addition unit 106.
  • the conversion unit 2 103 and the inverse conversion unit 2015 can be handled in units of 4 pixels ⁇ 4 pixels as shown in Non-Patent Document 1 in the conversion unit 103 and the inverse conversion unit 105 of FIG.
  • the difference between the conversion unit 103 and the inverse conversion unit 105 in FIG. 1 and the conversion unit 2103 and the inverse conversion unit 2105 in FIG. 21 means that the number of blocks to be processed is reduced from one to one.
  • the reduction unit 2110-1 and the reduction unit 2110-2 are respectively a code encoding target block obtained from the region dividing unit 108 and a prediction block obtained from the prediction generation unit 108, respectively.
  • the data is reduced to the target block and the reduced prediction block and output to the subtraction unit 2102.
  • the subtraction unit 2102 calculates the difference between the two reduced blocks in units of pixels and outputs the reduced difference block to the conversion unit 2103.
  • the conversion unit 2103 performs conversion (and quantization) processing, and the converted data (quantized data) is encoded by the encoding unit 2104.
  • the transform data (quantized data) is subjected to inverse transform processing (inverse quantization and) in the inverse transform unit, and the decoded reduced difference block is output to the adder 2106.
  • the adding unit 2106 adds the decoded reduced difference block and the reduced prediction block in units of pixels to generate a decoded reduced block.
  • the enlargement unit 211 1 enlarges the decoded reduced block to a decoded block having the same size as the encoding target block, and outputs the decoded block to the recording unit 107.
  • the processing of the reduction unit 2110 and the enlargement unit 2111 will be described later with reference to FIG.
  • FIG. 22 shows a video decoding device 2200 that implements the third embodiment.
  • Figure 6 video This can be realized by providing the decoding device 600 with a reduction unit 2207 and an enlargement unit 2208.
  • the processes of the reduction unit 2207 and the enlargement unit 2208 have the same functions as the reduction unit 2110 and the enlargement unit 2111 in FIG.
  • the functions of the sub-decoding unit 2201, the inverse conversion unit 2202, and the addition unit 2203 are only for a small block size (for example, 4 pixels ⁇ 4 pixels), and the decoding unit 601 and the inverse conversion unit 602 in FIG.
  • the function of the adding unit 603 is the same.
  • the inverse transform unit can be handled in units of 4 pixels ⁇ 4 pixels in the inverse transform unit 602 in FIG. 6 as shown in Non-Patent Document 1 in the same manner as the encoder device in FIG. .
  • the difference between the inverse transform unit 602 in FIG. 6 and the inverse transform unit 2202 in FIG. 22 means that the number of blocks to be processed is reduced from four to one.
  • the reduction unit 2207 reduces the prediction block obtained from the prediction generation unit 605 to a reduced prediction block, and outputs the reduced prediction block to the addition unit 2203.
  • the adding unit 2203 adds the decoded reduced block decoded by the processing of the decoding unit 2201 and the inverse conversion unit 2202 and the reduced prediction block in units of pixels to generate a decoded reduced block. Similar to the encoder device of FIG. 22, the inverse transform unit 2202 may include a quantization process.
  • the expansion unit 2208 expands the decoded reduced block to a decoded block having the same size as the decoded block, and outputs the decoded block to the recording unit 604.
  • FIG. 23 shows reduction / enlargement processing in the reduction units 2110 and 2207 and the enlargement units 2111 and 2208.
  • Block 2301 shows the block before being reduced.
  • Process 2304 describes the pixel generation method on the reduced block in the reduction process. Pixels!, K, m, n indicate pixels on the block 23 01 and pixels on the reduced block where the pixel P is generated. In processing 2304, pixel averaging processing is performed in units of four pixels, and pixels on the reduced block are calculated.
  • Block 2302 indicates a reduced block obtained by the reduction process.
  • a process 2305 shows a pixel generation method on the enlarged block in the enlargement process.
  • Pixels A to D indicate pixels on the block 2302
  • pixels a to i indicate pixels on the enlarged image.
  • pixel interpolation / extrapolation processing is performed by a different method depending on the pixel position. Since pixel a is the only pixel on the adjacent reduced block, pixel a is used as pixel a.
  • the pixels indicated by white circles in the block 2303 are calculated by a method of copying adjacent pixels on the reduced block. For pixels b to e, there are two pixels on the adjacent reduced block. Therefore, these pixels are two adjacent pixels on the reduced block.
  • the pixels indicated by black squares in the block 2303 are calculated by extrapolation using two adjacent pixels on the reduced block. For pixels f to i, there are 4 pixels on the adjacent reduced block. Therefore, these pixels are calculated by linear interpolation using four adjacent pixels on the reduced block. Similarly, the pixels indicated by black circles in block 2303 are calculated by linear interpolation using the four adjacent pixels on the reduced block.
  • FIG. 24 and FIG. 25 show a moving image encoding process and a moving image decoding process that realize the third embodiment, respectively.
  • FIGS. 24 and 25 correspond to FIGS. 5 and 7 in the first embodiment, respectively.
  • the prediction signal generation processing (S2404, S2504) is collectively described.
  • S2401, S2405, S2406, S2407, S2408, S2410, and S2411 in FIG. 24 respectively correspond to S501, S505, S506, S507, S508, S510, and S511 in FIG.
  • the reduction unit 2110-1 reduces the code key block to be input to the area division unit 101 into a reduced code key block, and then reduces the block.
  • the resulting block is output to the subtraction unit 2102.
  • the reduction unit 2110-2 reduces the prediction block input from the prediction generation unit 108 into a reduced prediction block, and the reduced blocks are subtracted and added 2102 and 2106. Output to.
  • the reduced difference block is encoded and decoded to generate a decoded reduced difference block.
  • the adding unit 2106 adds the reduced prediction block and the decoded reduced difference block in pixel units to generate a decoded reduced block.
  • the enlarging unit 211 expands the decoded reduced block into a decoded block.
  • the reduction unit 2207 reduces the prediction block input from the prediction generation unit 605 to a reduced prediction block, and the reduced block is input to the addition unit 2203. Output.
  • the reduced differential block is decoded, and a decoded reduced differential block is generated.
  • the addition unit 2203 adds the reduced prediction block and the decoded reduced difference block in units of pixels to generate a decoded reduced block.
  • the enlargement unit 2208 enlarges the decoded reduced block to a decoded block.
  • the template matching method in the prediction generation unit is not limited to the method shown in FIG. That is, also in the present embodiment and modifications, the prediction signal generation method using template matching shown in the first embodiment, the second embodiment, and modifications thereof can be applied.
  • a selection unit can be added, and the prediction generation units 108 and 605 can be replaced with the prediction generation unit 1108 shown in FIG.
  • replacing the prediction generation units 108 and 605 with the prediction generation unit 800 shown in FIG. 8 can be applied as it is because the signal input / output flow does not change.
  • FIG. 36 shows the configuration of the prediction generation unit in this modification.
  • the figure shows an example of intra prediction in which a prediction signal is generated from a template signal.
  • a method for generating a prediction signal from a template reproduction signal can be implemented by replacing the prediction generation unit 108 in FIGS. 21 and 22 with a prediction generation unit 3608 in FIG.
  • the encoding target A template is composed of 13 regenerated pixels adjacent to the block.
  • the compensation unit 3603 generates a prediction block from the pixels in the template by the method shown in the process 3711 shown in FIG. In FIG. 37, nine types of compensation methods are presented, but the present invention can be implemented by predefining at least one of them.
  • one type may be selected from a plurality of compensation methods in the compensation unit, and a prediction block generated by the selected compensation method may be output.
  • the selection method of the compensation method is not limited in the present invention.
  • Information on the selected compensation method may be transmitted, or a method of determining using only data shared by the encoder (moving image encoding device) and the decoder (moving image decoding device) may be used.
  • the shape of the template is not limited to that shown in FIG.
  • the present invention can be realized even with a template composed of pixels separated by the block boundary force, as long as it is a pixel in the reproduced region of the frame to which the block to be encoded belongs only by the pixel at the block boundary.
  • FIGS. 32 and 34 show another example of the moving picture coding apparatus
  • FIGS. 33 and 35 show another example of the moving picture decoding apparatus.
  • the reducing unit 3210 reduces the difference block generated by subtracting the encoding target block force prediction block that is not the prediction block in units of pixels. Then, the decoded decoded differential block is enlarged by the enlargement unit 3211, and the enlarged block and the prediction block are added in units of pixels to form a decoded block.
  • the video decoding device 3300 in Fig. 33 is a decoding device corresponding to the video encoding device 3200 shown in Fig. 32.
  • the prediction block is not reduced
  • the decoded decoded difference block is enlarged by the enlargement unit 3308
  • the enlarged block and the prediction block are added in units of pixels to form a decoded block.
  • the moving image encoding device 3400 in Fig. 34 has the function of the reduction unit 2110-2 in Fig. 21 in advance. This is a configuration included in the compensation unit in the measurement generation unit 3408.
  • moving picture decoding apparatus 3500 in FIG. 35 has a configuration in which reduction section 2207 in FIG. 22 is included in the compensation section of the prediction generation section.
  • the compensation unit can combine the reduction process and the compensation process so as to directly generate the reduced prediction block.
  • the memory size of the filling unit 203 is the capacity that can be saved in the reduced prediction block.
  • the moving image data power also acquires only necessary information directly and generates a reduced prediction block.
  • the template region determination unit and the matching unit may acquire all the pixels in the template region from the reproduced moving image data in the storage unit 107 as described above, The matching process may be performed by reducing the size and acquiring only necessary information.
  • the template area determination unit need only acquire necessary information directly from the reproduced moving picture data in the storage unit 604.
  • the configuration of the prediction generation unit in the above-described video encoding devices 3200 and 3400 and video decoding devices 3300 and 3500 can be realized by either the configuration shown in Fig. 2 or the configuration shown in Fig. 36. Also, in the case where a selection unit is included, such as the video encoding device 1800 and the video decoding device 1900 shown in FIG. 18 and FIG. 19, it can be realized by adding a selection unit. It is also possible to replace the prediction generation unit shown. Furthermore, replacing Fig. 2 with the prediction generation unit shown in Fig. 8 can be applied as it is because the signal input / output flow does not change.
  • the decoding reduced block enlargement process may not be performed in Fig. 21, and may be stored in the frame memory as it is.
  • template matching is performed on the reduced image obtained by integrating the decoded reduced blocks to generate reduced predicted blocks. Then, the difference code between the reduced code key target block and the reduced prediction block is performed.
  • the reduced prediction block may be enlarged and differential encoding with the encoding target block may be performed.
  • the decoding reduction block enlargement processing may not be performed, and it may be stored in the frame memory as it is.
  • template matching is performed on a reduced image obtained by integrating reduced blocks, and a reduced predicted block is generated.
  • the decoded reduced difference block and the reduced prediction block are added to reproduce the reduced block. Also May enlarge the reduced prediction block, add the decoded difference block and the enlarged block, and reproduce the decoded block. Thus, even if the application method of the reduction process and the enlargement process is changed, the effect of reducing the code amount can be obtained.
  • the method of the reduction process and the enlargement process may be the method shown in FIG. 23 or another example described later.
  • FIGS. 21 and 22 are configured with a block reduction / enlargement process assuming that all the images in the template area are flat. Show. Practically, since a flat part and a characteristic part are mixed in the design of the image, it is combined with the configuration in which the block reduction / enlargement process described in the first embodiment is not performed.
  • FIG. 26 shows a video encoding device 2600 that is a combination of the video encoding devices 100 and 2100 shown in FIGS. 1 and 21, and
  • FIG. 27 shows a video decoding device 600 and 2200 shown in FIGS.
  • a combined video decoding device 2700 is shown.
  • blocks having the same numbers as those in FIGS. 1, 6, 21, and 22 indicate the same functions, and thus detailed description thereof is omitted here.
  • the code key blocks divided by the region dividing unit 101 are input to the subtracting unit 102 and the reducing unit 2110-1, respectively.
  • There are two types of predictive coding methods (TMP-E mode; coding method of the moving picture coding apparatus 100 shown in FIG. 1, TMP L mode; coding of the moving picture coding apparatus 2100 shown in FIG. 21.
  • the conversion unit 103 and the conversion unit 2103 output two types of conversion data (quantized data) to the switching unit 2 613.
  • two types of decoding blocks that are locally decoded by two methods are output to selection section 2612.
  • Selection section 2612 selects one type from the two types of decoding blocks, and outputs the selection information to switching section 2613 and sign key section 2604.
  • the switching unit 26 13 outputs the transform data (quantized data) to the encoding unit 2604 according to the selection information.
  • the code key part entropy codes the selection information and transform data (quantized data) together
  • the difference signal between the separately input encoding target block and two types of decoding blocks is compared, and the difference is calculated.
  • the method of selecting the one with the smaller sum of squares since the code amount is not converted in this method, an encoding method with high encoding efficiency is not selected.
  • a selection method considering the encoding efficiency for example, a method as described in Non-Patent Document 2 can be cited. According to this method, transform data (quantized data) generated by two types of predictive coding techniques are virtually encoded.
  • the code data of the transform data may be input to the selection unit 2612 and executed by the selection unit 2612, or may be executed by the encoding unit 2 604, and information on the amount of code You can enter in the selection section!
  • the decoding unit 2701 uses the TMP-E mode and TMP-L mode selection information and the transformed data (quantized data) based on the selected prediction code method. Are entropy decoded. Based on the selection information, the switching unit 2709 outputs transformed data (quantized data) to the inverse transformation unit 602 when the selected information indicates TMP-E, and converts the converted data (quantized data) when the selected information indicates the TMP-L mode. Data) is output to the inverse conversion unit 2202. The transformed data (quantized data) is decoded by the decoding method indicated by the selection information.
  • TMP-E and TMP-L are treated as different prediction code encoding methods, and the selection information is encoded on the encoding side.
  • the two types of prediction codes are treated as one type! It is also possible to select automatically using decoding information shared by the encoding side and the decoding side (information derived from the reproduced data and the characteristic data force belonging to the reproduced image).
  • the target signal in the template area can be used as the feature data. For example, there is a method using dispersion of the target signal in the template area. A method is conceivable in which a threshold is set in advance and TMP-E is set if the variance is larger than the threshold, and TMP-L is set if the variance is smaller.
  • the pixel gradient of the target signal in the template area (difference value between adjacent pixels) is calculated, and if the number of pixels whose difference value exceeds the threshold is greater than a predetermined number, TMP-E, and if less A method such as TMP-L is also conceivable.
  • TMP-E the motion vector detected by template matching and the motion vector when decoding the pixel group in the template area (decoding process) If the difference is smaller than a predetermined threshold value, TMP-E can be used, and if the difference is larger, TMP-L can be used. is there. You can select the size of the detected motion vector or the motion vector of an adjacent block as a reference. These selections based on variance values, pixel gradients, and motion vectors may be combined. If the selected method is different, the final selection may be made by majority vote, or a method of transmitting selection information only when the selected method is different is feasible. can get.
  • This selection unit performs the same operation as the selection unit of the encoding device, and outputs selection information to the switching unit 2709.
  • the prediction generation unit in each of the devices 2600 and 2700 shown in FIGS. 26 and 27 is not limited to the configuration shown in FIG. 2 as shown in the modification (1).
  • the configurations shown in FIGS. 8, 20 and 36 can also be applied.
  • the prediction generation unit 3608 shown in FIG. 36 performs TMP only in the case of a predetermined compensation method.
  • the prediction code encoding methods TMP-E and TMP-L described above are described in Non-Patent Document 1, and include a plurality of prediction code encoding methods (inter prediction mode for encoding motion vectors and It can be selectively used in combination with an intra prediction mode. At this time, a plurality of block sizes may be prepared for each prediction encoding method.
  • the optimum selection of the prediction code method and the block size can be realized by the method shown in Non-Patent Document 2, for example. Combine the devices 2600 and 2700 shown in Fig. 26 and Fig. 27 (the prediction generation method can be modified as shown in the modification example (1)) with the conventional prediction code input method to expand the selection unit Can be realized. It is also possible to adapt only TMP-L to the conventional predictive coding method.
  • a conventional predictive coding method may be combined with 0 and each of the devices 3200 and 3300 shown in FIGS. 32 and 33 and each of the devices 3400 and 3500 shown in FIGS.
  • the method of block reduction processing by the reduction unit and block expansion processing by the enlargement unit are not limited to the method of FIG. Another example is shown in FIGS.
  • a block 2801 indicates a block before being reduced
  • a block 2802 indicates a reduced block.
  • a reduced block is generated by simple pixel sampling that does not involve filtering processing such as processing 2304.
  • Process 2805 shows a pixel generation method on the enlargement block in the enlargement process.
  • Pixels A to D are pixels on the block 2802
  • pixels a to c are pixels on the enlarged image. Since the pixels A to D are originally pixels before the reduction process, they are copied to the enlarged block 2803 as they are.
  • the pixels excluded by the reduction process are calculated by a simple linear interpolation process, as in the pixels a to c of the process 2305.
  • the pixels indicated by the squares in block 2803 are similarly calculated by linear interpolation using adjacent pixels.
  • a block 2901 indicates a block before being reduced
  • a block 2902 indicates a reduced block.
  • the processing 2904 will explain the reduction processing method.
  • processing 2904 [this pixel p [this contact 8 pixels (j, k, 1, m, n, o, q, r)] is processed on the reduced block by the finer processing using ⁇ lj. Of pixel P.
  • Process 2905 shows a pixel generation method on the enlargement block 2903 in the enlargement process. Since this processing is the same as 2805 in FIG. 28, description thereof is omitted. Also in this case, since the pixel group 2906 is stored in the storage unit, an input path from the storage unit to the enlargement unit is required in FIGS. 21, 22, 26, and 27 in order to realize this processing. It becomes.
  • the size of the reduced block is 1Z2 in both the vertical and horizontal reduction ratios, but the reduction ratio is not limited to this.
  • the reduction ratio may be 1Z4, or vertical and horizontal The reduction ratio may be different.
  • the reduction / enlargement method is not limited to one type, and multiple method powers may be selected.
  • the method for minimizing the sum of absolute values and sum of squares of the sign error may be selected on a frame basis or on a block basis on the sign key side, and the selection information may be signed. Alternatively, it may be automatically determined from a plurality of decoding block candidates.
  • a determination method it is only necessary to use the information derived from the reproduced image and the characteristic data force belonging to the reproduced image.For example, a method of calculating an average value in pixel units, a method of selecting a median value in pixel units, etc. Can be considered.
  • the reduction method for the encoding target block is not limited in the decoding device. Therefore, if the number of pixels of the reduced block is the same, different reduction methods may be applied to the prediction block and the encoding target block. In the decoding device and the decoding process, a method for reducing the encoding target block should not be specified.
  • Fig. 26 and Fig. 27 [Expanded by each device 2600, 2700, enlargement 2111, 2208 [Expanded block is treated as a candidate for a decoded block. It is also possible to adaptively select the prediction block generated by the units 108 and 605. Since the high-frequency component of the block enlarged by the enlargement unit is limited by the filter processing, re-encoding this has the effect of improving the image quality.
  • FIG. 30 and FIG. 31 show a video encoding device 3000 and a video decoding device 3100, respectively, that implement this modification.
  • the moving image encoder apparatus 3000 in FIG. 30 handles the functions of the selection unit 3012 and encoding unit 3004 and the conversion data (quantized data) output from the conversion unit 2103. Is different.
  • the selection unit 2612 of FIG. 26 two types of decoding block candidates are input, but in the selection unit 3012 of this modification, two types of prediction block candidates are input from the prediction generation unit 108 and the enlargement unit 2111.
  • the selection method the method shown in FIG. 26 can be used. However, when using the method of Non-Patent Document 2, it is necessary to virtually encode and decode two types of prediction block candidates in order to calculate total distortion and code amount.
  • the conversion data (quantized data) output from the conversion unit 2103 must also be virtually encoded and converted into a code amount.
  • the selected prediction block is the adder 1 06 and output to the subtraction unit 102, and conversion and encoding.
  • the switch 3013 is turned on, and the conversion data (quantization data) output from the conversion unit 2103 is output to the encoding unit 3004.
  • the encoding unit 3004 encodes data from the conversion unit 103, the conversion unit 2103 (in the case of TMP-L), and the selection unit (if necessary).
  • the decoding unit 3101 first performs entropy decoding on the selection information.
  • the prediction code method is TMP-L mode
  • entropy decoding is performed on the transformed data (quantized data) of the reduced block.
  • the transformed data (quantized data) of the reduced block is output to the inverse transform unit 2202 under the control of the switching unit 3109.
  • Enlarged block transform data (quantized data) is entropy decoded and output to the inverse transform unit 602 under the control of the switching unit 3109.
  • the prediction block generated by template matching in the prediction generation unit 605 is output to the reduction unit 2207 by the control of the switch 3110 based on the selection information.
  • Adder 603 adds the difference block obtained from inverse transformer 602 and the prediction block obtained from enlarger 2208 to generate a decoded block.
  • the predictive coding method is the TMP-E mode
  • the entropy-decoded transformed data is output to the inverse transform unit 602 under the control of the switching unit 3109.
  • the prediction block generated by template matching in the prediction generation unit 605 is output to the addition unit 603 by the control of the switch 3110 based on the selection information.
  • the adding unit 603 adds the difference block obtained from the inverse transform unit 602 and the prediction block obtained from the prediction generation unit 605 through the switch 3110 to generate a decoded block.
  • the moving picture coding program 1601 is stored in a program storage area 1600a formed on a recording medium 1600 that can be read or provided by the moving picture coding apparatus.
  • the moving picture encoding program 1601 includes a main module 1601a that centrally controls moving picture encoding processing, a region dividing module 1601b, a subtraction module 1601c, a conversion module 1601d, an encoding module 1601e, An inverse conversion module 1601f, an addition module 1601g, a storage module 1601h, and a prediction generation module 1601i are provided.
  • the prediction generation module 1601i includes a template area determination module 1601j, a matching module 1601k, and a compensation module 1601m.
  • the functions realized by executing the respective modules are the same as the functions of the respective constituent elements of the moving picture coding apparatus 100 described above. That is, the area division module 1601b, the subtraction module 1601c, the conversion module 1601d, the encoding module 1601e, the inverse conversion module 1601f, the calorie calculation module 1601g, the storage module 1601h, and the prediction generation module 1601i
  • the functions realized by the execution are the area dividing unit 101, the subtracting unit 102, the converting unit 103, the encoding unit 104, and the inverse converting unit 105 in the video encoding device 100 of the above embodiment.
  • the addition unit 106, the storage unit 107, and the prediction generation unit 108 have the same functions.
  • the function realized by executing each of the template area determination module 160 lj, the matching module 1601k, and the compensation module 1601m is a template area determination unit in the moving image encoding apparatus 100 of the above embodiment.
  • the functions of 201, matching unit 202, and compensation unit 203 are the same.
  • the moving picture decoding program 1701 is stored in a program storage area 1700a formed on a recording medium 1700 that can be read or provided by the moving picture decoding apparatus.
  • the moving picture decoding program 1701 includes a main module 1701a that comprehensively controls moving picture decoding processing, a decoding module 1701b, an inverse conversion module 1701c, an addition module 1701d, a storage module 1701e, And a prediction generation module 1701f.
  • the prediction generation module 1701f includes a template region determination module 1701g, a matching module 1701h, and a compensation module 1701i.
  • the functions realized by executing the respective modules are the same as the functions of the respective components of the moving picture decoding apparatus 600 described above. That is, the functions realized by executing the decoding module 1701b, the inverse conversion module 1701c, the calorie calculation module 1701d, the storage module 1701e, and the prediction generation module 1701f are the moving image of the above embodiment.
  • the functions of the decoding unit 601, the inverse transformation unit 602, the addition unit 603, the storage unit 604, and the prediction generation unit 605 in the decoding device 600 are the same.
  • each of the template area determination module 1701g, the matching module 1701h, and the compensation module 170li is the same as that in the video encoding device 100 or the video decoding device 600 of the above embodiment.
  • the functions of the template region determination unit 201, the matching unit 202, and the compensation unit 203 are the same.
  • Part or all of the moving image encoding program 1601 and the moving image decoding program 1701 is transmitted via a transmission medium such as a communication line, and is received and recorded (installed) by another device. Also included as a configuration!
  • 1701 a module for performing the functions of the moving image encoding device and the moving image decoding device is prepared for the modified example of the first embodiment, the second and third embodiments, and the modified example.
  • a moving image code program and a moving image decoding program can be configured, and thus are included in the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

 動画像データの符号化において、動きベクトルを用いることなく予測信号を決定することができ効率的な符号化を可能とする。  動画像符号化装置100は、動画像データを構成するフレーム画像を符号化の対象となる領域として複数の領域に分割する領域分割部101と、各領域の画像を符号化する符号化部104と、符号化された画像の再生画像を生成する逆変換部105及び加算部106と、再生画像を記憶する記憶部107と、符号化対象の画像の領域に対して所定の位置関係で隣接すると共に再生画像の一部であるテンプレート領域の再生画像と相関が高い画像の領域を、再生画像から探索して、探索された領域と上記位置関係とに基づいて予測信号を決定する予測生成部108と、予測信号と符号化対象画像との差分信号を符号化のための信号として生成する減算部102とを備える。

Description

明 細 書
動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画 像復号装置、動画像復号方法及び動画像復号プログラム
技術分野
[0001] 本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動 画像復号装置、動画像復号方法及び動画像復号プログラムに関する。
背景技術
[0002] 動画像データの符号ィ匕には、例えば ITU—T (国際電気通信連合電気通信標準 化部門)勧告の国際標準規格である H. 264動画像符号化方式が用いられる。 H. 2 64動画像符号ィ匕方式に関する技術は、例えば、下記非特許文献 1等に開示されて いる。
[0003] 上記の H. 264動画像符号ィ匕方式においては、動き補償を行い動きベクトルを符 号ィ匕することで動画像フレーム間の冗長を削減し、情報量を削減している。この手法 においては、一つの動きベクトルによって動き補償できる領域を小さくすることにより 細かな動きにも対応できフレーム間予測の予測精度が高まる。その反面、動きべタト ルの数が増え情報量が膨大になるため、これを抑制する必要がある。従来から、動き ベクトルの数を減らしつつ予測精度を上げる方法として、下記特許文献 1に記載され たような手法が提案されて 、る。
特許文献 1:特開平 2— 62180号公報
非特許文献 1 :角野他,「H. 264ZAVC教科書 インプレス標準教科書シリーズ」, 発明の開示
発明が解決しょうとする課題
[0004] し力しながら、上記特許文献 1に記載された手法にお!、ても、動きベクトルが必要で あることには変わりなぐ動きベクトルを符号ィ匕することを余儀なくされていた。このよう な状況から、更に圧縮効率を向上させた動画像データの符号ィ匕方法が求められて [0005] 本発明は、上記事情に鑑みてなされたものであり、動きベクトルを用いてフレーム間 予測を行って符号ィ匕を行う場合よりも更に効率的な符号ィ匕を可能とする動画像符号 化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復 号方法及び動画像復号プログラムを提供することを可能とする。
課題を解決するための手段
[0006] 本発明に係る動画像符号ィ匕装置は、動画像データをブロック単位で符号ィ匕する動 画像符号化装置であって、動画像データを構成するフレーム画像を、複数の符号化 対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と 、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段 と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号ィ匕 対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された 再生済み動画像データに属する再生信号力 生成されるテンプレートを用いて、符 号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段と、を 備え、符号化手段は、符号ィ匕対象ブロックから予測ブロックを画素単位で減算して当 該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを 符号化し、再生画像生成手段は、符号化手段により符号化された差分ブロックの再 生信号である復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画 素単位で加算して、復号ブロックを生成する、ことを特徴とする。
[0007] 本発明に係る動画像符号化装置では、符号化対象ブロックと所定の位置関係で隣 接すると共に再生済み動画像データに属する再生信号から生成されるテンプレート を用いて、符号ィ匕対象ブロックの予測信号である予測ブロックが生成される。この予 測ブロックを用いて符号ィ匕を行う。即ち、本発明に係る動画像符号化装置によれば、 動きベクトルを用いることなく予測信号である予測ブロックを生成することができ効率 的な符号ィ匕を可能とする。
[0008] 本発明に係る動画像符号ィ匕装置は、動画像データをブロック単位で符号ィ匕する動 画像符号化装置であって、動画像データを構成するフレーム画像を、複数の符号化 対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する符号化手段と 、符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段 と、再生信号から生成される再生済み動画像データを記憶する記憶手段と、符号ィ匕 対象ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された 再生済み動画像データに属する再生信号から生成されるテンプレートと相関が高い 画素群を、記憶手段により記憶された再生済み動画像データから探索する探索手段 と、探索手段により探索された画素群と所定の位置関係とに基づいて、符号化対象 ブロックの予測信号である予測ブロックを、記憶手段により記憶された再生済み動画 像データから決定する予測信号決定手段と、を備え、符号化手段は、符号化対象ブ ロック力 予測ブロックを画素単位で減算して当該符号ィ匕対象ブロックの差分信号で ある差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成手段は、符 号化手段により符号化された差分ブロックの再生信号である復号差分ブロックを生成 し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生 成する、ことを特徴とする。この構成によれば、テンプレートと相関が高い画素群を再 生済み動画像データから探索して、探索された画素群と、上記の所定の位置関係と に基づいて予測ブロックが決定される。従って、確実に予測ブロックを決定することが でき、確実に本発明を実施することができる。
[0009] 動画像符号化装置は、テンプレートと記憶手段により記憶された再生済み動画像 データとを比較して、当該比較結果に基づき符号ィ匕対象ブロックの画像の空間的連 続性を推定する推定手段と、推定手段により推定された画像の空間的連続性に基づ V、て、符号化対象ブロックを更に分割して当該分割された符号化対象ブロックを新た な符号化対象ブロックとして設定すると共に当該新たな符号化対象ブロックに対する テンプレートを設定する設定手段と、を更に備えることが好ましい。この構成によれば 、予測ブロックのサイズを再生画像データの空間的連続性をもとに適切に選択するこ とが可能になるので、動き量の変化の激しい動画像データの符号ィ匕においても符号 化効率が向上する。また、テンプレート領域と予測領域の形状とサイズを信号の特長 に応じて変更することにより、予測信号の予測性能が向上する。
[0010] 本発明に係る動画像復号装置は、動画像データの符号ィ匕データをブロック単位で 再生済み動画像データに再生する動画像復号装置であって、復号対象となる復号 対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により 復号された符号ィ匕データ力 復号対象ブロックの再生信号である復号ブロックを生 成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記 憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記 憶手段により記憶された再生済み動画像データに属する再生信号力 生成されるテ ンプレートを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成す る予測信号生成手段と、を備え、復号手段は、復号対象ブロックの差分信号である 復号差分ブロックを生成し、再生画像生成手段は、復号差分ブロックと予測ブロック とを画素単位で加算して、復号ブロックを生成する、ことを特徴とする。
[0011] 本発明に係る動画像復号装置では、上記の動画像符号化装置と同様に予測プロ ックを生成して、動画像を復号することができる。即ち、本発明に係る動画像復号装 置によれば、上記の動画像符号ィ匕装置により効率的な符号化がされた動画像デー タを正しく復号することができる。
[0012] 本発明に係る動画像復号装置は、動画像データの符号ィ匕データをブロック単位で 再生済み動画像データに再生する動画像復号装置であって、復号対象となる復号 対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により 復号された符号ィ匕データ力 復号対象ブロックの再生信号である復号ブロックを生 成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記 憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記 憶手段により記憶された再生済み動画像データに属する再生信号力 生成されるテ ンプレートと相関が高い画素群を、記憶手段により記憶された再生済み動画像デー タから探索する探索手段と、探索手段により探索された画素群と所定の位置関係と に基づいて、復号対象ブロックの予測信号である予測ブロックを、記憶手段により記 憶された再生済み動画像データから決定する予測信号決定手段と、を備え、復号手 段は、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成 手段は、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生 成する、ことを特徴とする。この構成によれば、上記の動画像符号化装置により符号 化された動画像データを正しく復号することができる。
[0013] 動画像復号装置は、テンプレートと記憶手段により記憶された再生済み動画像デ 一タとを比較して、当該比較結果に基づき復号対象ブロックの画像の空間的連続性 を推定する推定手段と、推定手段により推定された画像の空間的連続性に基づいて 、復号対象ブロックを更に分割して当該分割された復号対象ブロックを新たな復号対 象ブロックとして設定すると共に当該新たな復号対象ブロックに対するテンプレートを 設定する設定手段と、を更に備えることが好ましい。この構成によれば、上記の動画 像符号ィ匕装置により符号化された動画像データを正しく復号することができる。
[0014] 符号化手段は、差分ブロックを、画素数を所定の方法で減少させる縮小処理により 、当該差分ブロックよりも画素数の少ない縮小差分ブロックとして生成して、当該縮小 差分ブロックを符号化し、再生画像生成手段は、縮小差分ブロックの再生信号である 復号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理によ り、当該復号縮小差分ブロックから復号ブロックを生成する、ことが好ましい。この構 成によれば、符号ィ匕対象の縮小差分ブロックを画素数の少ないものにできるので、強 Vヽ特徴を持つ領域に対して予測性能が低 、平坦領域につ!、て、画質を低下させず に予測信号の符号量を効率よく低減できる。
[0015] 復号手段は、符号化データを復号することにより、差分ブロックよりも画素数の少な ぃ復号縮小差分ブロックを生成して、再生画像生成手段は、画素数を所定の方法で 増加させる拡大処理により、復号縮小差分ブロック力 復号ブロックを生成する、こと が好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号ィ匕された動画 像データを正しく復号することができる。
[0016] 本発明に係る動画像符号ィ匕装置は、動画像データをブロック単位で符号ィ匕する動 画像符号化装置であって、動画像データを構成するフレーム画像を、符号化の対象 となる領域として複数の符号化対象ブロックに分割する分割手段と、符号化対象プロ ックを符号化する符号化手段と、符号化対象ブロックの再生信号である復号ブロック を生成する再生画像生成手段と、再生信号から生成される再生済み動画像データを 記憶する記憶手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共 に記憶手段により記憶された再生済み動画像データに属する再生信号から、予め定 められた手法により符号ィヒ対象ブロックの予測信号である予測ブロックを生成する予 測信号生成手段と、を備え、符号化手段は、符号ィ匕対象ブロックから予測ブロックを 画素単位で減算した当該符号ィ匕対象ブロックの差分信号である差分ブロックを、画 素数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少 ない縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、再生画像生成 手段は、縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素 数を所定の方法で増力 tlさせる拡大処理により、当該復号縮小差分ブロックから復号 ブロックを生成する、ことを特徴とする。
[0017] 本発明に係る動画像符号ィ匕装置では、符号ィ匕対象ブロックと所定の位置関係で隣 接すると共に再生済み動画像データに属する再生信号から、符号ィ匕対象ブロックの 予測信号である予測ブロックが生成される。更に、予測ブロックから、上記の差分プロ ックよりも画素数の少ない符号化対象の縮小差分ブロックを生成する。即ち、本発明 に係る動画像符号化装置によれば、符号化対象の縮小差分ブロックを画素数の少 な 、ものにできるので、強 、特徴を持つ領域に対して予測性能が低 、平坦領域につ Vヽて、画質を低下させずに予測信号の符号量を効率よく低減できる。
[0018] 本発明に係る動画像復号装置は、動画像データの符号ィ匕データをブロック単位で 再生済み動画像データに再生する動画像復号装置であって、復号対象となる復号 対象ブロックの再生に要する符号化データを復号する復号手段と、復号手段により 復号された符号ィ匕データ力 復号対象ブロックの再生信号である復号ブロックを生 成する再生画像生成手段と、再生信号から生成される再生済み動画像データを記 憶する記憶手段と、復号対象ブロックに対して所定の位置関係で隣接すると共に記 憶手段により記憶された再生済み動画像データに属する再生信号から、予め定めら れた手法により復号対象ブロックの予測信号である予測ブロックを生成する予測信号 生成手段と、を備え、復号手段は、符号化データを復号することにより、復号対象ブ ロックの差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを 生成して、再生画像生成手段は、画素数を所定の方法で増力!]させる拡大処理により 、復号縮小差分ブロックから復号ブロックを生成する、ことを特徴とする。この構成に よれば、上記の動画像符号ィ匕装置により符号化された動画像データを正しく復号す ることがでさる。
[0019] 符号化手段は、符号化対象ブロック及び予測ブロックに縮小処理を適用してそれ ぞれ縮小ブロック及び縮小予測ブロックとして、当該縮小ブロック力 当該縮小予測 ブロックを画素単位で減算して縮小差分ブロックを生成し、再生画像生成手段は、符 号ィ匕手段により符号化された縮小差分ブロックの再生信号である復号縮小差分プロ ックを生成して、当該復号縮小差分ブロックと縮小予測ブロックとを画素単位で加算 して復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用して復号 ブロックを生成する、ことが好ましい。この構成によれば、符号化対象の縮小差分プロ ックを確実に生成することができるので、本発明を確実に実施することができる。
[0020] 符号化手段は、差分ブロックに対して縮小処理を適用することにより縮小差分プロ ックを生成し、再生画像生成手段は、符号化手段により符号化された縮小差分ブロッ クの再生信号である復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理 を適用することにより復号差分ブロックを生成して、当該復号差分ブロックと予測プロ ックとを画素単位で加算して復号ブロックを生成する、ことが好ましい。この構成によ れば、符号ィ匕対象の縮小差分ブロックを確実に生成することができるので、本発明を 確実に実施することができる。
[0021] 再生画像生成手段は、予測ブロックに縮小処理を適用して縮小予測ブロックとし、 復号縮小差分ブロックと当該縮小予測ブロックとを画素単位で加算して復号縮小ブ ロックを生成して、当該復号縮小ブロックに拡大処理を適用して復号ブロックを生成 することが好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号ィ匕され た動画像データを正しく復号することができる。
[0022] 再生画像生成手段は、復号縮小差分ブロックに拡大処理を適用することにより復号 差分ブロックを生成して、当該復号差分ブロックと予測ブロックとを画素単位で加算し て復号ブロックを生成することが好ましい。この構成によれば、上記の動画像符号ィ匕 装置により符号化された動画像データを正しく復号することができる。
[0023] 予測信号決定手段は、形状の異なる複数のテンプレートから 1つのテンプレートを 選択することが好ましい。この構成によれば、効率的に予測ブロックを生成することが でき、符号ィ匕処理の効率を向上させることができる。
[0024] 予測信号決定手段は、記憶手段により記憶された再生済み動画像データの再生 信号又は当該再生信号に関する情報を参照して、 1つのテンプレートを選択すること が好ましい。この構成によれば、適切にテンプレートを選択することができる。
[0025] 符号化手段は、予測信号決定手段により選択されたテンプレートを特定する情報を 符号ィ匕することが好ましい。この構成によれば、動画像復号装置におけるテンプレー トの選択を容易にして、より効率的な復号を行わせることができる。
[0026] 予測信号決定手段は、形状の異なる複数のテンプレートから 1つのテンプレートを 選択することが好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号ィ匕 された動画像データを正しく復号することができる。
[0027] 予測信号決定手段は、記憶手段により記憶された再生済み動画像データの再生 信号又は当該再生信号に関する情報を参照して、 1つのテンプレートを選択すること が好ましい。この構成によれば、上記の動画像符号ィ匕装置により符号ィ匕された動画 像データを正しく復号することができる。
[0028] 復号手段は、選択されるテンプレートを特定する情報を復号して、予測信号決定手 段は、復号手段により復号された選択されるテンプレートを特定する情報を参照して 、形状の異なる複数のテンプレートから 1つのテンプレートを選択することが好ましい 。この構成によれば、上記の動画像符号ィ匕装置により符号ィ匕された動画像データを 正しく復号することができる。
[0029] ところで、本発明は、上記のように動画像符号化装置及び動画像復号装置の発明 として記述できる他に、以下のように動画像符号ィ匕方法、動画像符号ィ匕プログラム、 動画像復号方法及び動画像復号プログラムの発明としても記述することができる。こ れはカテゴリ等が異なるだけで、実質的に同一の発明であり、同様の作用及び効果 を奏する。
[0030] 本発明に係る動画像符号化方法は、動画像データをブロック単位で符号ィ匕する動 画像符号ィ匕装置における動画像符号ィ匕方法であって、動画像データを構成するフ レーム画像を、複数の符号化対象ブロックに分割する分割ステップと、符号化対象ブ ロックを符号化する符号化ステップと、符号化対象ブロックの再生信号である復号ブ ロックを生成する再生画像生成ステップと、再生信号から生成される再生済み動画像 データを記憶する記憶ステップと、符号化対象ブロックに対して所定の位置関係で隣 接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生 信号から生成されるテンプレートを用いて、符号化対象ブロックの予測信号である予 測ブロックを生成する予測信号生成ステップと、を有し、符号化ステップにおいて、符 号ィ匕対象ブロックから予測ブロックを画素単位で減算して当該符号ィ匕対象ブロックの 差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成 ステップにお 、て、符号化ステップにお 、て符号化された差分ブロックの再生信号で ある復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で 加算して、復号ブロックを生成する、ことを特徴とする。
[0031] 本発明に係る動画像符号化方法は、動画像データをブロック単位で符号ィ匕する動 画像符号ィ匕装置における動画像符号ィ匕方法であって、動画像データを構成するフ レーム画像を、複数の符号化対象ブロックに分割する分割ステップと、符号化対象ブ ロックを符号化する符号化ステップと、符号化対象ブロックの再生信号である復号ブ ロックを生成する再生画像生成ステップと、再生信号から生成される再生済み動画像 データを記憶する記憶ステップと、符号化対象ブロックに対して所定の位置関係で隣 接すると共に記憶ステップにおいて記憶された再生済み動画像データに属する再生 信号から生成されるテンプレートと相関が高い画素群を、記憶ステップにおいて記憶 された再生済み動画像データから探索する探索ステップと、探索ステップにおいて探 索された画素群と所定の位置関係とに基づいて、符号化対象ブロックの予測信号で ある予測ブロックを、記憶ステップにお 、て記憶された再生済み動画像データ力も決 定する予測信号決定ステップと、を有し、符号化ステップにおいて、符号化対象プロ ックから予測ブロックを画素単位で減算して当該符号ィ匕対象ブロックの差分信号であ る差分ブロックを生成し、当該差分ブロックを符号化し、再生画像生成ステップにお V、て、符号化ステップにお 、て符号化された差分ブロックの再生信号である復号差 分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加算して、 復号ブロックを生成する、ことを特徴とする。
[0032] 本発明に係る動画像復号方法は、動画像データの符号ィヒデータをブロック単位で 再生済み動画像データに再生する動画像復号装置における動画像復号方法であつ て、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号 ステップと、復号ステップにお ヽて復号された符号化データから復号対象ブロックの 再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号力 生成 される再生済み動画像データを記憶する記憶ステップと、復号対象ブロックに対して 所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画 像データに属する再生信号力 生成されるテンプレートを用いて、当該復号対象ブ ロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、復 号ステップにお ヽて、復号対象ブロックの差分信号である復号差分ブロックを生成し 、再生画像生成ステップにおいて、復号差分ブロックと予測ブロックとを画素単位で 加算して、復号ブロックを生成する、ことを特徴とする。
[0033] 本発明に係る動画像復号方法は、動画像データの符号ィヒデータをブロック単位で 再生済み動画像データに再生する動画像復号装置における動画像復号方法であつ て、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号 ステップと、復号ステップにお ヽて復号された符号化データから復号対象ブロックの 再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号力 生成 される再生済み動画像データを記憶する記憶ステップと、復号対象ブロックに対して 所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画 像データに属する再生信号力も生成されるテンプレートと相関が高い画素群を、記 憶ステップにおいて記憶された再生済み動画像データ力 探索する探索ステップと、 探索ステップにおいて探索された画素群と所定の位置関係とに基づいて、復号対象 ブロックの予測信号である予測ブロックを、記憶ステップにお 、て記憶された再生済 み動画像データ力も決定する予測信号決定ステップと、を有し、復号ステップにおい て、復号対象ブロックの差分信号である復号差分ブロックを生成し、再生画像生成ス テツプにおいて、復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブ口 ックを生成する、ことを特徴とする。
[0034] 本発明に係る動画像符号化方法は、動画像データをブロック単位で符号ィ匕する動 画像符号ィ匕装置における動画像符号ィ匕方法であって、動画像データを構成するフ レーム画像を、符号化の対象となる領域として複数の符号化対象ブロックに分割する 分割ステップと、符号化対象ブロックを符号化する符号化ステップと、符号化対象ブ ロックの再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号 力 生成される再生済み動画像データを記憶する記憶ステップと、符号ィ匕対象ブロッ クに対して所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生 済み動画像データに属する再生信号から、予め定められた手法により符号ィ匕対象ブ ロックの予測信号である予測ブロックを生成する予測信号生成ステップと、を有し、符 号化ステップにお 、て、符号ィ匕対象ブロックカゝら予測ブロックを画素単位で減算した 当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定の方法で 減少させる縮小処理により、当該差分ブロックよりも画素数の少な 、縮小差分ブロッ クを生成して、当該縮小差分ブロックを符号化し、再生画像生成ステップにおいて、 縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所 定の方法で増加させる拡大処理により、当該復号縮小差分ブロック力 復号ブロック を生成する、ことを特徴とする。
[0035] 本発明に係る動画像復号方法は、動画像データの符号ィヒデータをブロック単位で 再生済み動画像データに再生する動画像復号装置における動画像復号方法であつ て、復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号 ステップと、復号ステップにお ヽて復号された符号化データから復号対象ブロックの 再生信号である復号ブロックを生成する再生画像生成ステップと、再生信号力 生成 される再生済み動画像データを記憶する記憶ステップと、復号対象ブロックに対して 所定の位置関係で隣接すると共に記憶ステップにおいて記憶された再生済み動画 像データに属する再生信号から、予め定められた手法により復号対象ブロックの予 測信号である予測ブロックを生成する予測信号生成ステップと、を有し、復号ステップ において、符号化データを復号することにより、復号対象ブロックの差分信号である 差分ブロックよりも画素数の少な 、復号縮小差分ブロックを生成して、再生画像生成 ステップにおいて、画素数を所定の方法で増加させる拡大処理により、復号縮小差 分ブロック力 復号ブロックを生成する、ことを特徴とする。
[0036] 本発明に係る動画像符号ィ匕プログラムは、動画像データをブロック単位で符号ィ匕 する動画像符号ィ匕装置を制御する動画像符号ィ匕プログラムであって、動画像符号化 装置を、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分 割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブ ロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から 生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対 して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像 データに属する再生信号力も生成されるテンプレートを用いて、符号化対象ブロック の予測信号である予測ブロックを生成する予測信号生成手段として機能させ、符号 化手段は、符号ィ匕対象ブロックから予測ブロックを画素単位で減算して当該符号ィ匕 対象ブロックの差分信号である差分ブロックを生成し、当該差分ブロックを符号化し、 再生画像生成手段は、符号ィ匕手段により符号化された差分ブロックの再生信号であ る復号差分ブロックを生成し、当該復号差分ブロックと予測ブロックとを画素単位で加 算して、復号ブロックを生成する、ことを特徴とする。
[0037] 本発明に係る動画像符号ィ匕プログラムは、動画像データをブロック単位で符号ィ匕 する動画像符号ィ匕装置を制御する動画像符号ィ匕プログラムであって、動画像符号化 装置を、動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分 割する分割手段と、符号化対象ブロックを符号化する符号化手段と、符号化対象ブ ロックの再生信号である復号ブロックを生成する再生画像生成手段と、再生信号から 生成される再生済み動画像データを記憶する記憶手段と、符号化対象ブロックに対 して所定の位置関係で隣接すると共に記憶手段により記憶された再生済み動画像 データに属する再生信号力も生成されるテンプレートと相関が高い画素群を、記憶 手段により記憶された再生済み動画像データから探索する探索手段と、探索手段に より探索された画素群と所定の位置関係とに基づいて、符号ィ匕対象ブロックの予測 信号である予測ブロックを、記憶手段により記憶された再生済み動画像データから決 定する予測信号決定手段として機能させ、符号化手段は、符号化対象ブロックから 予測ブロックを画素単位で減算して当該符号ィ匕対象ブロックの差分信号である差分 ブロックを生成し、当該差分ブロックを符号化し、再生画像生成手段は、符号化手段 により符号化された差分ブロックの再生信号である復号差分ブロックを生成し、当該 復号差分ブロックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、 ことを特徴とする。
[0038] 本発明に係る動画像復号プログラムは、動画像データの符号ィ匕データをブロック単 位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プロ グラムであって、動画像復号装置を、復号対象となる復号対象ブロックの再生に要す る符号化データを復号する復号手段と、復号手段により復号された符号化データか ら復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、 再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象 ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生 済み動画像データに属する再生信号力 生成されるテンプレートを用いて、当該復 号対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段として 機能させ、復号手段は、復号対象ブロックの差分信号である復号差分ブロックを生成 し、再生画像生成手段は、復号差分ブロックと予測ブロックとを画素単位で加算して 、復号ブロックを生成する、ことを特徴とする。
[0039] 本発明に係る動画像復号プログラムは、動画像データの符号ィ匕データをブロック単 位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プロ グラムであって、動画像復号装置を、復号対象となる復号対象ブロックの再生に要す る符号化データを復号する復号手段と、復号手段により復号された符号化データか ら復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、 再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象 ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生 済み動画像データに属する再生信号から生成されるテンプレートと相関が高い画素 群を、記憶手段により記憶された再生済み動画像データから探索する探索手段と、 探索手段により探索された画素群と所定の位置関係とに基づいて、復号対象ブロッ クの予測信号である予測ブロックを、記憶手段により記憶された再生済み動画像デ 一タカ 決定する予測信号決定手段として機能させ、復号手段は、復号対象ブロック の差分信号である復号差分ブロックを生成し、再生画像生成手段は、復号差分プロ ックと予測ブロックとを画素単位で加算して、復号ブロックを生成する、ことを特徴とす る。
[0040] 本発明に係る動画像符号ィ匕プログラムは、動画像データをブロック単位で符号ィ匕 する動画像符号ィ匕装置を制御する動画像符号ィ匕プログラムであって、動画像符号化 装置を、動画像データを構成するフレーム画像を、符号化の対象となる領域として複 数の符号化対象ブロックに分割する分割手段と、符号化対象ブロックを符号化する 符号化手段と、符号化対象ブロックの再生信号である復号ブロックを生成する再生 画像生成手段と、再生信号から生成される再生済み動画像データを記憶する記憶 手段と、符号化対象ブロックに対して所定の位置関係で隣接すると共に記憶手段に より記憶された再生済み動画像データに属する再生信号から、予め定められた手法 により符号化対象ブロックの予測信号である予測ブロックを生成する予測信号生成 手段として機能させ、符号化手段は、符号ィ匕対象ブロックから予測ブロックを画素単 位で減算した当該符号ィ匕対象ブロックの差分信号である差分ブロックを、画素数を 所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少な ヽ縮 小差分ブロックを生成して、当該縮小差分ブロックを符号化し、再生画像生成手段は 、縮小差分ブロックの再生信号である復号縮小差分ブロックを生成して、画素数を所 定の方法で増加させる拡大処理により、当該復号縮小差分ブロック力 復号ブロック を生成する、ことを特徴とする。
[0041] 本発明に係る動画像復号プログラムは、動画像データの符号ィ匕データをブロック単 位で再生済み動画像データに再生する動画像復号装置を制御する動画像復号プロ グラムであって、動画像復号装置を、復号対象となる復号対象ブロックの再生に要す る符号化データを復号する復号手段と、復号手段により復号された符号化データか ら復号対象ブロックの再生信号である復号ブロックを生成する再生画像生成手段と、 再生信号から生成される再生済み動画像データを記憶する記憶手段と、復号対象 ブロックに対して所定の位置関係で隣接すると共に記憶手段により記憶された再生 済み動画像データに属する再生信号から、予め定められた手法により復号対象プロ ックの予測信号である予測ブロックを生成する予測信号生成手段として機能させ、復 号手段は、符号化データを復号することにより、復号対象ブロックの差分信号である 差分ブロックよりも画素数の少な 、復号縮小差分ブロックを生成して、再生画像生成 手段は、画素数を所定の方法で増加させる拡大処理により、復号縮小差分ブロック から復号ブロックを生成する、ことを特徴とする。
[0042] 本発明に係る動画像符号ィ匕装置は、動画像データを符号化する動画像符号化装 置であって、動画像データを構成するフレーム画像を、符号化の対象となる領域とし て複数の領域に分割する分割手段と、分割手段により分割された各領域の画像を符 号化する符号化手段と、符号化手段により符号化された画像の再生画像を生成する 再生画像生成手段と、再生画像生成手段により生成された再生画像を記憶する記 憶手段と、符号ィヒ手段による符号ィヒの対象となる画像の領域に対して所定の位置関 係で隣接すると共に記憶手段により記憶された再生画像の一部であるテンプレート 領域の再生画像と相関が高い画像の領域を、記憶手段により記憶された再生画像 から探索する探索手段と、探索手段により探索された領域と所定の位置関係とに基 づいて、符号ィ匕の対象となる領域の予測信号を、記憶手段により記憶された再生画 像から決定する予測信号決定手段と、を備え、符号化手段は、予測信号決定手段に より決定された予測信号と符号ィ匕の対象となる領域の画像との差分信号を生成し、 当該差分信号を符号化する、ことを特徴とする。
[0043] 本発明に係る動画像符号化装置では、まず、符号化対象となる画像の領域と所定 の位置関係で隣接したテンプレート領域の再生画像と相関が高い画像の領域を、再 生画像から探索する。続いて、探索された領域と上記所定の位置関係とに基づいて 、符号化の対象となる領域の予測信号を再生画像から決定する。この予測信号を用 いて符号ィ匕を行う。即ち、本発明に係る動画像符号化装置によれば、動きベクトルを 用いることなく予測信号を決定することができ効率的な符号ィ匕を可能とする。
[0044] 本発明に係る動画像復号装置は、複数の領域に分割されたフレーム画像が符号 ィ匕された動画像データを復号する動画像復号装置であって、符号化された各領域の データを復号する復号手段と、復号手段により復号された画像から再生画像を生成 する再生画像生成手段と、再生画像生成手段により生成された画像を記憶する記憶 手段と、復号手段による復号の対象となる画像の領域に対して所定の位置関係で隣 接すると共に記憶手段により記憶された再生画像の一部であるテンプレート領域の 再生画像と相関が高い画像の領域を、記憶手段により記憶された再生画像力 探索 する探索手段と、探索手段により探索された領域と所定の位置関係とに基づいて、 復号の対象となる領域の予測信号を、記憶手段により記憶された再生画像力 決定 する予測信号決定手段と、を備え、再生画像生成手段は、予測信号決定手段により 決定された予測信号と復号手段により復号された画像との和信号を生成することによ り再生画像とする、ことを特徴とする。
[0045] 本発明に係る動画像復号装置では、上記の動画像符号化装置と同様に予測信号 を決定して、動画像を復号することができる。即ち、本発明に係る動画像復号装置に よれば、上記の動画像符号ィ匕装置により効率的な符号化がされた動画像データを正 しく復号することができる。
[0046] また、動画像符号化装置は、テンプレート領域の再生画像と記憶手段により記憶さ れた再生画像とを比較して、当該比較結果に基づき符号化の対象となる領域の画像 の空間的連続性を推定する推定手段と、推定手段により推定された画像の空間的連 続性に基づ!/、て、符号化の対象となる領域を更に分割して当該分割された領域を新 たな符号化対象の領域として設定すると共に当該新たな符号化対象の領域に対す るテンプレート領域を設定する設定手段と、を更に備えることが好ましい。この構成に よれば、予測信号の領域のサイズを再生画像の空間的連続性をもとに適切に選択 することが可能になるので、動き量の変化の激しい動画像データの符号ィ匕において も符号化効率が向上する。
[0047] また、動画像復号装置は、テンプレート領域の再生画像と記憶手段により記憶され た再生画像とを比較して、当該比較結果に基づき復号の対象となる領域の画像の空 間的連続性を推定する推定手段と、推定手段により推定された画像の空間的連続 性に基づ ヽて、復号の対象となる領域を更に分割して当該分割された領域を新たな 復号対象の領域として設定すると共に当該新たな復号対象の領域に対するテンプレ ート領域を設定する設定手段と、を更に備えることが好ましい。この構成によれば、上 記の動画像符号ィ匕装置により符号化された動画像データを正しく復号することができ る。
[0048] ところで、本発明は、上記のように動画像符号化装置及び動画像復号装置の発明 として記述できる他に、以下のように動画像符号ィ匕方法、動画像符号ィ匕プログラム、 動画像復号方法及び動画像復号プログラムの発明としても記述することができる。こ れはカテゴリ等が異なるだけで、実質的に同一の発明であり、同様の作用及び効果 を奏する。 [0049] 本発明に係る動画像符号化方法は、動画像データを符号化する動画像符号化装 置における動画像符号ィ匕方法であって、動画像データを構成するフレーム画像を、 符号化の対象となる領域として複数の領域に分割する分割ステップと、分割ステップ にお!/、て分割された各領域の画像を符号化する符号化ステップと、符号化ステップ にお!/ヽて符号化された画像の再生画像を生成する再生画像生成ステップと、再生画 像生成ステップにお 、て生成された再生画像を記憶する記憶ステップと、符号化ス テツプにおいて符号化の対象となる画像の領域に対して所定の位置関係で隣接す ると共に記憶ステップにおいて記憶された再生画像の一部であるテンプレート領域の 再生画像と相関が高!ヽ画像の領域を、記憶ステップにお!ヽて記憶された再生画像か ら探索する探索ステップと、探索ステップにお!、て探索された領域と所定の位置関係 とに基づいて、符号化の対象となる領域の予測信号を、記憶ステップにおいて記憶さ れた再生画像カゝら決定する予測信号決定ステップと、を有し、符号化ステップにおい て、予測信号決定ステップにお ヽて決定された予測信号と符号化の対象となる領域 の画像との差分信号を生成し、当該差分信号を符号化する、ことを特徴とする。
[0050] 本発明に係る動画像符号ィ匕プログラムは、動画像データを符号化する動画像符号 化装置を制御する動画像符号ィ匕プログラムであって、動画像符号化装置を、動画像 データを構成するフレーム画像を、符号化の対象となる領域として複数の領域に分 割する分割手段と、分割手段により分割された各領域の画像を符号ィヒする符号ィ匕手 段と、符号化手段により符号化された画像の再生画像を生成する再生画像生成手 段と、再生画像生成手段により生成された再生画像を記憶する記憶手段と、符号ィ匕 手段による符号化の対象となる画像の領域に対して所定の位置関係で隣接すると共 に記憶手段により記憶された再生画像の一部であるテンプレート領域の再生画像と 相関が高い画像の領域を、記憶手段により記憶された再生画像から探索する探索手 段と、探索手段により探索された領域と所定の位置関係とに基づいて、符号化の対 象となる領域の予測信号を、記憶手段により記憶された再生画像力 決定する予測 信号決定手段として機能させ、符号化手段は、予測信号決定手段により決定された 予測信号と符号化の対象となる領域の画像との差分信号を生成し、当該差分信号を 符号化する、ことを特徴とする。 [0051] 本発明に係る動画像復号方法は、複数の領域に分割されたフレーム画像が符号 化された動画像データを復号する動画像復号装置における動画像復号方法であつ て、符号化された各領域のデータを復号する復号ステップと、復号ステップにおいて 復号された画像から再生画像を生成する再生画像生成ステップと、再生画像生成ス テツプにお 、て生成された画像を記憶する記憶ステップと、復号ステップによる復号 の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶ステップに ぉ 、て記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高 ヽ 画像の領域を、記憶ステップにお ヽて記憶された再生画像力も探索する探索ステツ プと、探索ステップにおいて探索された領域と所定の位置関係とに基づいて、復号の 対象となる領域の予測信号を、記憶ステップにお ヽて記憶された再生画像から決定 する予測信号決定ステップと、を有し、再生画像生成ステップにおいて、予測信号決 定ステップにお 、て決定された予測信号と復号ステップにお 、て復号された画像と の和信号を生成することにより再生画像とする、ことを特徴とする。
[0052] 本発明に係る動画像復号プログラムは、複数の領域に分割されたフレーム画像が 符号化された動画像データを復号する動画像復号装置を制御する動画像復号プロ グラムであって、動画像復号装置を、符号化された各領域のデータを復号する復号 手段と、復号手段により復号された画像から再生画像を生成する再生画像生成手段 と、再生画像生成手段により生成された画像を記憶する記憶手段と、復号手段による 復号の対象となる画像の領域に対して所定の位置関係で隣接すると共に記憶手段 により記憶された再生画像の一部であるテンプレート領域の再生画像と相関が高い 画像の領域を、記憶手段により記憶された再生画像から探索する探索手段と、探索 手段により探索された領域と所定の位置関係とに基づいて、復号の対象となる領域 の予測信号を、記憶手段により記憶された再生画像から決定する予測信号決定手 段として機能させ、再生画像生成手段は、予測信号決定手段により決定された予測 信号と復号手段により復号された画像との和信号を生成することにより再生画像とす る、ことを特徴とする。
発明の効果
[0053] 本発明によれば、符号化対象となる画像の領域と所定の位置関係で隣接したテン プレート領域と相関が高い再生領域を探索して当該探索された領域と上記の位置関 係とに基づいて予測信号を決定するので、動きベクトルを用いることなく効率的な符 号化を可能とする。
図面の簡単な説明
[図 1]本発明の第 1実施形態に係る動画像符号ィ匕装置の構成を示す図である。
[図 2]動画像符号ィ匕装置における予測生成部の構成を示す図である。
[図 3]テンプレート領域と予測対象領域との位置関係を示す図である。
[図 4]テンプレートマッチングによる予測信号の決定の詳細な動作を説明するための 図である。
[図 5]本発明の第 1実施形態に係る動画像符号ィ匕装置で実行される処理を示すフロ 一チャートである。
[図 6]本発明の第 1実施形態に係る動画像復号装置の構成を示す図である。
[図 7]本発明の第 1実施形態に係る動画像復号装置で実行される処理を示すフロー チャートである。
[図 8]第 2実施形態における予測生成部の構成を示す図である。
[図 9]第 2実施形態において分割された予測対象領域を示す図である。
[図 10]本発明の第 2実施形態に係る動画像符号化装置で実行される処理を示すフロ 一チャートである。
[図 11]本発明の第 2実施形態に係る動画像復号装置で実行される処理を示すフロー チャートである。
[図 12]符号ィ匕順序を示す図である。
[図 13]符号ィ匕順序に応じたテンプレート領域と予測対象領域との位置関係の例を示 す図である。
[図 14]第 2実施形態において、判断部の機能を説明するための図である。
[図 15]第 2実施形態において、判断部の機能を説明するための図である。
[図 16]本発明の実施形態に係る動画像符号ィ匕プログラムの構成を示す図である。
[図 17]本発明の実施形態に係る動画像復号プログラムの構成を示す図である。
[図 18]第 1実施形態に係る動画像符号ィ匕装置の変形例の構成を示す図である。 圆 19]第 1実施形態に係る動画像復号装置の変形例の構成を示す図である。
圆 20]第 1実施形態に係る予測生成部の変形例の構成を示す図である。
圆 21]本発明の第 3実施形態に係る動画像符号ィ匕装置の構成を示す図である。 圆 22]本発明の第 3実施形態に係る動画像復号装置の構成を示す図である。
[図 23]第 3実施形態におけるブロックの縮小'拡大処理を示す図である。
[図 24]本発明の第 3実施形態に係る動画像符号化装置で実行される処理を示すフロ 一チャートである。
圆 25]本発明の第 3実施形態に係る動画像復号装置で実行される処理を示すフロー チャートである。
圆 26]第 3実施形態に係る動画像符号ィ匕装置の変形例の構成を示す図である。 圆 27]第 3実施形態に係る動画像復号装置の変形例の構成を示す図である。
[図 28]第 3実施形態におけるブロックの縮小'拡大処理の別の例を示す図である。
[図 29]第 3実施形態におけるブロックの縮小'拡大処理の別の例を示す図である。 圆 30]第 3実施形態に係る動画像符号ィ匕装置の変形例の構成を示す図である。 圆 31]第 3実施形態に係る動画像復号装置の変形例の構成を示す図である。
圆 32]第 3実施形態に係る動画像符号ィ匕装置の変形例の構成を示す図である。 圆 33]第 3実施形態に係る動画像復号装置の変形例の構成を示す図である。
圆 34]第 3実施形態に係る動画像符号ィ匕装置の変形例の構成を示す図である。 圆 35]第 3実施形態に係る動画像復号装置の変形例の構成を示す図である。
圆 36]第 3実施形態に係る予測生成部の変形例の構成を示す図である。
圆 37]第 3実施形態おける予測処理の例を示す図である。
符号の説明
100, 1800, 2100, 2600, 3000, 3200, 3400· ··動画像符号ィ匕装置、 600, 19 00, 2200, 2700, 3100, 3300, 3500· ··動画像復号装置、 101· ··領域分割部、 1 02, 2102· ··減算部、 103, 2103· ··変換部、 104, 2104, 3004· ··符号ィ匕部、 105 , 602, 2105, 2202· ··逆変換部、 106, 603, 2106, 2203· ··カロ算部、 107, 604 …記憶部、 108, 605, 800, 1108, 3408, 3505, 3608· ··予測生成部、 201, 80 2, 3602· ··テンプレー卜領域決定部、 202· ··マッチング部、 203, 3603· ··補填部、 6 01 , 2201, 3101 · · ·復号部、 801 · · ·判断部、 109, 2612, 3012· · ·選択部、 204· · · 信号生成 § 、 2110, 2207, ^^丄 …縮 ヽィ匕杳^ 2111, 2208, 3211, 3308· · ·拡 大部、 2613, 2709, 3109· · ·切り替え部、 3013, 3110· · ·スィッチ、 1600, 1700· · · 記録媒体、 1600a, 1700a…プログラム格納領域、 1601…動画像符号ィ匕プロダラ ム、 1701 · · ·動画像復号プログラム、 1601a, 1701a…メインモジュール、 1601b" . 領域分割モジュール、 1601c…減算モジュール、 1601d…変換モジュール、 1601e …符号ィ匕モジユーノレ、 1601f, 1701c…逆変換モジユーノレ、 1601g, 1701d…カロ算 モジュール、 1601h, 1701e…記憶モジュール、 1601i, 1701f…予測生成モジュ ール、 1601j, 1701g…テンプレート領域決定モジュール、 1601k, 1701h…マツ チングモジュール、 1601m, 170 li…補填モジュール、 170 lb…復号モジュール。 発明を実施するための最良の形態
[0056] 以下、図面とともに本発明に係る動画像符号化装置、動画像符号化方法、動画像 符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラムの 好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素 には同一符号を付し、重複する説明を省略する。
[0057] [第 1実施形態]
図 1に、第 1実施形態の動画像符号ィ匕装置 100を示す。動画像符号化装置 100は 、動画像データをブロック単位で符号ィ匕する装置である。動画像符号化装置 100は 、動画像データを構成するフレーム画像を入力として当該フレーム画像を順次符号 化することにより、動画像データを符号化する。動画像符号ィ匕装置 100は、 CPU (Ce ntral Processing Unit)、フレームメモリ、ハードディスク等を備える情報処理装置等の ハードウェアにより実現される。動画像符号ィ匕装置 100は、上記のハードウェア的な 構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。
[0058] 図 1に示すように、動画像符号ィ匕装置 100は、領域分割部 101と、減算部 102と、 変換部 103と、符号化部 104と、逆変換部 105と、加算部 106と、記憶部 107と、予 測生成部 108とを備えて構成されている。以下、各部の機能について説明する。
[0059] 領域分割部 101は、入力された動画像データを構成するフレーム画像を、符号ィ匕 の対象となる領域として複数の領域に分割する分割手段である。即ち、領域分割部 1 01は、入力された動画像データを構成するフレーム画像を、複数の符号化対象プロ ックに分割する分割手段である。具体的には、領域分割部 101は、予め定められた 所定の大きさのブロック (例えば 8画素 X 8画素、符号化対象ブロック)に分割する。 分割された原画像は、符号ィ匕を行う順序で出力され減算部 102に入力される。出力 される順序としては、図 12 (a)に示すようにフレーム画像の左上力 右下への順であ るラスタスキャン順でもよいし、図 12 (b)に示すようにフレーム画像の左端力 右端へ の順と右端力 左端への順とを一段ずつ交互に上力 繰り返すジグザグ順としてもよ い。なお、出力する順序は、予め領域分割部 101に記憶させておく。
[0060] 減算部 102は、上記の符号化対象ブロックの原信号と、後に説明する予測信号と の間の差分信号を生成して出力する、符号化手段の一構成要素である。差分信号 は、領域分割部 101から出力された符号ィ匕対象ブロックの原信号から、予測生成部 108から出力された符号ィ匕対象ブロックの予測信号を画素単位で減算することにより 生成される。出力される差分信号は、符号ィ匕の対象となる信号であり、符号化のため に変換部 103に入力される。
[0061] 変換部 103は、減算部 102から入力された差分信号を予め定められた変換方法に 基づき変換して、変換係数データを出力する変換手段である。変換には例えば、離 散コサイン変換(DCT: Discrete Cosine Transform)に代表される直交変換が利用で きる。変換のための関係式等は予め変換部 103に記憶させておく。この変換は、可 逆的なものであっても非可逆的なものであってもよい。この変換は、この後行われる 符号ィ匕をより効率的に行わせるものである。出力された変換係数データは、符号ィ匕 部 104及び逆変換部 105に入力される。なお、情報量圧縮のため、直交変換後の係 数に対して量子化を行ってもょ 、。
[0062] 符号ィ匕部 104は、変換部 103から入力された変換係数データを、エントロピー符号 化する、符号化手段の一構成要素である。符号化されたデータは、動画像符号化装 置 100の出力となる。エントロピー符号ィ匕としては、ハフマン符号ィ匕のような可変長符 号ィ匕方式や、 CABAC (Context-based Adaptive Binary Arithmetic Coding)に代表 される算術符号ィ匕方式が利用可能である。どちらも変換係数データの発生確率の偏 りに基づいて変換方法を変更することにより、情報量を圧縮できる。 [0063] 逆変換部 105は、再生画像生成のために用いられる差分信号を生成する、再生画 像生成手段の一構成要素である。差分信号は、変換部 103から入力された変換係 数データを変換部 103においてなされた変換処理の逆処理を行うことにより生成され る。逆変換のための関係式等は予め逆変換部 105に記憶させておく。逆変換部 105 にお ヽて生成された差分信号は、加算部 106に入力される。
[0064] 加算部 106は、後に説明する予測生成部 108から出力された予測信号 (減算部 10 2に入力される予測信号と同じものである)と、逆変換部 105により生成された差分信 号とを足し合わせて和信号とし再生信号を生成する、再生画像生成手段の一構成要 素である。ここで、再生信号は再生画像を構成するものである。加算部 106により生 成される再生信号は、復号装置において生成される再生信号と同じものである。加算 部 106により生成された再生信号は、記憶部 107に入力される。
[0065] 記憶部 107は、加算部 106から入力された再生信号を再生済み動画像データとし て、フレームメモリ等の動画像符号化装置 100に備えられる記憶装置に記憶して蓄 積する記憶手段である。再生信号は、動画像データの符号化が全て終了するまで、 全て蓄積しておく。このように再生済み動画像データは逐次蓄積される。
[0066] 予測生成部 108は、本発明の特徴となる部分であり、記憶部 107により蓄積された 再生画像を読み出して、再生信号を元に予測対象 (符号化対象)のブロックの予測 信号の生成を行う。以下、予測生成部 108の詳細な動きについて説明する。図 2に 予測生成部 108の機能をより詳細化した機能ブロックを示す。図 2に示すように予測 生成部 108は、テンプレート領域決定部 201と、マッチング部 202と、補填部 203とを 備えて構成される。
[0067] テンプレート領域決定部 201は、記憶部 107からの入力に基づいて、予測信号を 生成するために用いるテンプレート領域及びその領域の信号 (テンプレート)を決定 する、探索手段の一構成要素である。即ち、テンプレート領域決定部 201は、符号ィ匕 対象ブロックに対して所定の位置関係で隣接すると共に記憶部 17により記憶された 再生済み動画像データに属する再生信号力もテンプレートを生成する、探索手段の 一構成要素である。また、テンプレート領域決定部 201は、テンプレートを用いて、符 号ィ匕対象ブロックの予測信号である予測ブロックを生成する予測信号生成手段の一 構成要素でもある。図 3に示すように、テンプレート領域 301とは符号ィ匕の対象となる 画像の領域 302に対して所定の位置関係で隣接すると共に記憶部 107により記憶さ れた再生画像の領域、つまり再生済み動画像データの再生信号から構成される画素 領域である。具体的には、テンプレート領域には、記憶部 107に記憶された予測対 象ブロックと同一フレームの再生済み領域であって、予測対象ブロックと空間的に隣 接する位置に存在する画素領域を含んだ所定の大きさの画素群が当てられる。この ため、テンプレート領域の位置は、ブロックの符号ィ匕順序 (領域分割部 101から出力 され符号化処理される順序)に依存する。テンプレート領域決定部 201には、テンプ レート領域を決定するための以下に説明するような条件を予め記憶させておく。
[0068] 図 13に、テンプレート領域と予測対象領域の位置関係の一例を示す。図 13 (a)の ように、符号ィ匕順序をラスタスキャン順に行っていれば、テンプレート領域 1301は、 予測対象ブロック 1302の左及び上側に位置する領域となる。図 13 (a)に示すように 、予測対象ブロック 1302の左及び上側に位置する領域 1303は、記憶部 107に再 生画像が蓄積されている領域である。また、符号ィ匕順序がジグザグ順であれば、符 号ィ匕の進行度合によって、テンプレート領域の位置は変わりうる。図 13 (b)のように画 面の左力も右に符号ィ匕が進行中のときは、予測対象ブロック 1304は、予測対象プロ ック 1305の右及び上側に位置する領域となる。図 13 (c)のように画面の右力 左に 符号化が進行中のときは、予測対象ブロック 1304は、予測対象ブロック 1305の左 及び上側に位置する領域となる。
[0069] マッチング部 202は、テンプレート領域決定部 201により決定されたテンプレート領 域の再生信号を用いて、記憶部 107により蓄積された再生画像を探索領域としてテ ンプレートマッチングを実施し、探索領域内にてテンプレート領域の再生信号との相 関が最も高くなる領域を探索 (検出)する探索手段である。即ち、マッチング部 202は 、テンプレート領域決定部 201により決定されたテンプレートと相関が高い画素群を、 記憶部 107により記憶された再生済み動画像データ力も探索する探索手段である。 また、マッチング部 202は、テンプレートを用いて、符号化対象ブロックの予測信号で ある予測ブロックを生成する予測信号生成手段の一構成要素でもある。テンプレート マッチングについては、より詳細に後述する。 [0070] 補填部 203は、マッチング部 202により探索された領域 (高相関領域)、及び予測 対象ブロックとテンプレート領域との間の位置関係とに基づ 、て、予測対象ブロックと 同サイズの予測信号を再生画像から設定して決定する予測信号決定手段である。即 ち、補填部 203は、マッチング部 202により探索された画素群と、上記位置関係とに 基づいて、符号ィ匕対象ブロックの予測信号である予測ブロックを、記憶部 107により 記憶された再生済み動画像データから決定する予測信号決定手段である。また、補 填部 203は、テンプレートを用いて、符号ィ匕対象ブロックの予測信号である予測プロ ックを生成する予測信号生成手段の一構成要素でもある。探索された高相関領域と 予測信号とする画像の領域との間の位置関係は、テンプレート領域と予測対象プロ ックとの間の位置関係と同一となる。例えば、ブロックの符号ィ匕順序がラスタスキャン 順であれば、高相関領域の右及び下側に隣接する領域が予測信号の領域となる。 決定された予測信号は、予測生成部 108からの出力として減算部 102と加算部 106 とに入力される。
[0071] マッチング部 202と補填部 203とにおけるテンプレートマッチングによる予測信号の 決定の詳細な動作について図 4を用いて説明する。マッチング部 202は、テンプレー ト領域 401の画像と類似した箇所を探索範囲 403, 404内力も探索するテンプレート マッチングを行う。探索範囲には、テンプレート領域 401及び予測対象領域 402を含 むフレーム(予測対象フレーム)における再生済み画素領域 403と、それ以外の再生 済のフレームの画像 404とを含む。まず、テンプレート領域 401の信号と探索範囲内 の任意の場所にあるテンプレート領域 401と同形状の画素群の信号との相関を測定 する。このときの相関を示す指標値としては、差分信号の絶対値和を表す SAD (sum of absolute difference)や差分信号の自乗誤差平均を表す MSE (mean square error )等を用いることが可能である。探索範囲内で取り得る全ての画素群について相関の 指標値を取得し、指標値が最も小さい画素群 (但し、テンプレート領域 401の画像自 身は除く)を示す情報 (アドレス)を探索結果として出力する。
[0072] 補填部 203は、テンプレートマッチングにより探索された高相関領域に隣接した画 素群を予測信号として設定する。テンプレート領域と相関が高い場所では、テンプレ ート領域に隣接している領域も相関が高くなる可能性が高いため、予測信号として用 いることができる。このため、本方法による予測方法が成立する。
[0073] 引き続いて、図 5のフローチャートを用いて、本実施形態の動画像符号化装置 100 における符号化処理 (動画像符号化方法)を説明する。
[0074] まず、符号化対象の動画像データが動画像符号化装置 100に入力されると、動画 像を構成するフレーム画像毎に領域分割部 101に入力される。入力されたフレーム 画像は、領域分割部 101により所定の大きさの複数のブロックに分割される(S501、 分割ステップ)。以降の処理は全てブロック単位で行われる。ブロックは、符号化対象 の領域の画像として減算部 102に入力される。
[0075] 次に、以下のように予測生成部 108により符号化対象のブロックの予測信号が生成 される。なお、予測生成部 108は、動画像符号ィ匕装置 100において符号ィ匕処理を統 括して 、るコントローラ(図示せず)力もブロックの符号ィ匕順序を通知されて 、る。ある いは、予測生成部 108は、ブロックの符号ィ匕順序を予め記憶している。まず、テンプ レート領域決定部 201によりブロックに隣接する再生画像上にテンプレート領域が決 定される(S502、探索ステップ)。次に、マッチング部 202により、符号化対象のプロ ックと同一及び別のフレームにおける再生画像に対してテンプレートマッチングが行 われ、テンプレート領域の再生信号と相関の高い領域が探索される(S503、探索ス テツプ)。次に、補填部 203により、テンプレートマッチングにより得られた高相関領域 と所定の位置関係(図 4の例では、右及び下側)で隣接して 、る符号化対象ブロック と同じ大きさの領域が、予測信号として設定される(S504、予測信号決定ステップ)。 設定された予測信号は、減算部 102と加算部 106とに入力される。
[0076] 次に、減算部 102により、領域分割部 101から入力された原画像から、予測生成部 108 (補填部 203)力も入力された予測信号を、画素領域で引くことによって差分信 号が生成される(S505、符号化ステップ)。生成された差分信号は変換部 103に入 力され、変換部 103により変換される(S506)。変換された差分信号は符号化部 104 と逆変換部 105とに入力される。符号ィ匕部 104に入力された変換後の差分信号は符 号ィ匕部 104によりエントロピー符号化され、圧縮符号化データが生成される(S507、 符号化ステップ)。
[0077] 逆変換部 105に入力された変換後の差分信号は、逆変換部 105により逆変換が行 われ、逆変換後の差分信号が生成される(S508、再生画像生成ステップ)。逆変換 後の差分信号は加算部 106に入力され、加算部 106により、予測生成部 108 (補填 部 203)力 入力された予測信号と足し合わされ和信号とされ、再生信号が生成され る(S509、再生画像生成ステップ)。生成された再生信号は記憶部 107に入力され、 記憶部 107により、フレームメモリ等における符号ィ匕対象となるフレームに応じた所定 のアドレスに保存される(S510、記憶ステップ)。
[0078] 続いて、フレーム画像の全てのブロックで上記の処理(S502〜S510)が終了して いる力否かが判断される(S511)。終了していた場合は、このフレームでの処理を終 了し、符号ィ匕部 104によるエントロピー符号ィ匕後の圧縮符号ィ匕データを出力し、次の フレームの処理に遷移する。まだ、未処理のブロックが残っているならば、次のブロッ クの処理に移行する。なお、上記の判断は、例えば、上記の何れかの構成要素によ り行われてもよいし、動画像符号ィ匕装置 100における符号ィ匕処理を統括する手段を 設けてそれに行わせてもよ 、。
[0079] なお、上述した処理では、記憶部 107に記憶される再生信号は、変換部 103により 変換されて逆変換部 105により逆変換された差分信号を基にしている。これは、符号 化部 104による符号ィ匕が可逆的であることを想定している力もであって、上記の処理 で復号装置において再生される再生画像が得られるためである。
[0080] 上述した処理では、予測をテンプレートマッチングによる補填のみで行う例を挙げ た力 これ以外の処理が入っていてもよい。例えば、フレーム画像の上端や両端の符 号化の際には、再生済みの隣接画素が存在しない場合があり、本手法を用いるため には隣接画素を予め仮定しておく必要がある。このような部分においては、従来のよ うに動きベクトルを用いた予測を行う方が、符号化効率が良くなる場合がある。また、 画面端に限らず本方法での予測よりも動きベクトルによる予測の符号ィ匕効率が高くな る場合では、動きベクトルによる予測を用いるようにしてもよい。その場合、例えば、新 たにブロック情報のヘッダに予測を本方式か動きベクトルによるものかどちらの手法 を用いたかを示す情報と、動きベクトル値とを付与しておくことにより、両方式を効率 的に使 、分けることができる。
[0081] 上述したように、本実施形態の動画像符号ィ匕装置 100によれば、フレーム間予測を 行う際に、符号ィ匕済の再生画像を用いることで動きベクトルを用いることなくフレーム 間予測ができ、効率的な符号ィ匕を可能とする。即ち、本実施形態の動画像符号化装 置 100により符号化されたデータは、実質的には変換された差分信号のみが符号ィ匕 されたものであり従来の符号ィ匕方法と比較して動きベクトルを削除したものである。ま た、それに加え、予測信号の決定をする際に、その時点で再生済みの領域のみを用 いるため、常に動画像データのスキャン順に符号ィ匕することができる。
[0082] 次に、本実施形態の動画像復号装置を説明する。図 6に、本実施形態の動画像復 号装置 600を示す。動画像復号装置 600は、動画像符号ィ匕装置 100により符号化さ れた動画像データを復号して、再生済み動画像データを生成する装置である。動画 像復号装置 600は、 CPU (Central Processing Unit)、フレームメモリ、ハードディスク 等を備える情報処理装置等のハードウ アにより実現される。動画像復号装置 600 は、上記のハードウ ア的な構成要素が動作することにより、以下に説明する機能的 な構成要素を実現する。
[0083] 図 6に示すように、動画像復号装置 600は、復号部 601と、逆変換部 602と、加算 部 603と、記憶部 604と、予測生成部 605とを備えて構成されている。以下、各部の 機能について説明する。
[0084] 復号部 601は、入力された圧縮符号化データを復号する復号手段である。圧縮符 号ィ匕データは、上述したように、本実施形態に係る動画像符号化装置 100により符 号化されたものであり、フレーム画像が複数の領域の信号 (符号化対象ブロック)に 分割されて符号化されたもの (復号対象ブロック)である。復号部 601における復号 方式は、動画像符号ィ匕装置 100によるエントロピー符号ィ匕方式に対応するものであり 、復号するための情報が復号部 601により予め記憶されている。また、復号部 601に おける復号及び出力は、符号ィ匕された単位 (ブロック単位)で行われ、符号化された 順序で行われる。復号されたデータは、逆変換部 602に入力される。
[0085] 逆変換部 602は、復号部 601から入力されたデータを、動画像符号化装置 100〖こ よりなされた変換処理の逆処理を行うことにより、再生済み画像生成のために用いら れる差分信号を生成する、再生画像生成手段の一構成要素である。逆変換部 602 は、動画像符号ィ匕装置 100における逆変換部 105に対応している。逆変換のための 関係式等は予め逆変換部 602に記憶させておく。逆変換部 602において生成され た差分信号は、加算部 603に入力される。
[0086] 加算部 603は、後に説明する予測生成部 605から出力された予測信号と、逆変換 部 602により生成された差分信号とを足し合わせて和信号とし再生信号を生成する、 再生画像生成手段の一構成要素である。加算部 603は、動画像符号化装置 100〖こ おける加算部 106に対応している。加算部 106により生成された再生信号は、記憶 部 604に入力されると共に動画像復号装置 600の出力となる。
[0087] 記憶部 604は、加算部 603から入力された復号ブロック (復号された符号化対象ブ ロック)である再生信号を再生済み動画像データとして、フレームメモリ等の動画像復 号装置 600に備えられる記憶装置に記憶して蓄積する記憶手段である。記憶部 604 は、動画像符号ィ匕装置 100における記憶部 107に対応している。復号ブロックは、動 画像データの復号が全て終了するまで、全て蓄積しておく。このように再生済み動画 像データは逐次蓄積される。
[0088] 予測生成部 605は、記憶部 604により蓄積された再生画像を読み出して、再生画 像を基に予測対象 (復号対象)のブロックの予測信号の生成を行う。予測生成部 605 は、動画像符号ィ匕装置 100における予測生成部 108に対応しており、同一の機能を 有しているため、ここでは説明を省略する。
[0089] 引き続いて、図 7のフローチャートを用いて、本実施形態の動画像復号装置 600に おける復号処理 (動画像復号方法)を説明する。動画像復号装置 600により復号さ れる圧縮符号化データは、動画像符号ィ匕装置 100により符号化されたものであると する。
[0090] まず、復号対象の圧縮符号化データが動画像復号装置 600に入力されると、復号 部 601により復号が行われる(S701、復号ステップ)。復号されると、ブロック単位で の変換データが取り出される。この変換データは、復号部 601により逆変換部 602に 入力される。また、復号対象のブロックのフレームにおける位置情報力 動画像復号 装置 600にお 、て復号処理を統括して!/、るコントローラ(図示せず)から予測生成部 605に入力される。なお、復号対象のブロックの位置は、符号化順序に依存する。
[0091] 次に、以下のように予測生成部 605により復号対象のブロックの予測信号が生成さ れる。まず、テンプレート領域決定部 201によりブロックに隣接する再生画像上にテ ンプレート領域が設定される(S702、探索ステップ)。次に、マッチング部 202により、 符号ィ匕対象のブロックと同一及び別のフレームにおける再生画像に対してテンプレ ートマッチングが行われ、テンプレート領域の再生信号と相関の高い領域が探索され る(S703、探索ステップ)。次に、補填部 203により、テンプレートマッチングにより得 られた高相関領域と所定の位置関係(図 4の例では、右及び下側)で隣接している符 号ィ匕対象ブロックと同じ大きさの領域が、予測信号として設定される (S704、予測信 号決定ステップ)。設定された予測信号は、加算部 603に入力される。
[0092] 次に、逆変換部 602により、復号部 601から入力された変換データが逆変換されて 、差分信号が生成される(S705、再生画像生成ステップ)。なお、 S702〜S704の 一連の処理と、 S705の処理とは、以下に説明する S706以降の処理の前に行われ て!、ればよ 、ので、順序が逆になつて 、てもよ!/、。
[0093] 次に、加算部 603により、逆変換部 602から入力された差分信号と、予測生成部 6 05 (補填部 203)力 入力された予測信号とが足し合わされ和信号とされ、再生信号 である復号ブロックが生成される(S706、再生画像生成ステップ)。生成された復号 ブロックは、記憶部 604に入力され、記憶部 604により、フレームメモリ等における復 号対象となるフレームに応じた所定のアドレスに保存される(S707、記憶ステップ)。
[0094] 続いて、フレーム画像の全てのブロックで上記の処理(S701〜S707)が終了して いる力否かが判断される(S708)。終了しており、再生されたフレーム画像が完成し ている場合は、再生されたフレーム画像を、スクリーン等の表示手段(図示せず)に出 力する。また、別の表示用の装置に出力してもよい。まだ、未処理のブロックが残って いるならば、次のブロックの処理に移行する。なお、上記の判断は、例えば、上記の 何れかの構成要素により行われてもよいし、動画像復号装置 600における符号ィ匕処 理を統括する手段を設けてそれに行わせてもよ 、。
[0095] 上述したように、本実施形態の動画像復号装置 600によれば、動画像符号化装置 100と同様に予測信号を決定して、動画像を復号することができる。即ち、本実施形 態の動画像復号装置 600によれば、上記の動画像符号化装置 100により効率的な 符号化がされた動画像データを正しく復号して再生画像を生成することができる。 [0096] なお、本実施形態には、以下のような変形例が考えられる。以下の変形例は、動画 像符号化装置及び動画像復号装置について説明したものであるが、動画像符号ィ匕 処理及び動画像復号処理にっ ヽても同様に実施可能である。
[0097] (1)探索範囲
ここまでは、テンプレートマッチングの対象である探索範囲を符号ィ匕対象フレーム 内の再生済み領域 (403)と再生済みフレームの再生画像 404として!/、るが、フレー ム単位でいずれかを選択しても良い。例えば、再生済み領域 403に限定すれば、フ レーム内の再生信号のみを予測対象とするイントラフレームにも本発明は適用できる 。同様に再生画像 404のみを探索対象に限定することにより、フレーム間の予測を伴 うインターフレームの復号時の演算量を低減できるという効果がある。更に、再生済 み領域 403をテンプレートマッチングの探索対象とする予測モード (イントラテンプレ ートマッチング予測)と、再生画像 404をテンプレートマッチングの探索対象とする予 測モード (インターテンプレートマッチング予測)を用意し、ブロック単位で選択すると いう方法も復号時の演算量の削減に繋がるので効果的である。この際、図 5の説明 にて示したとおり、非特許文献 1に記載されて 、るような複数の予測モードと組み合 わせて用いることも可能である。なお、各画像内の探索範囲を予め設定した小領域と することも演算量の低減につながるので効果的である。
[0098] (2)複数フレーム
ここまでは、テンプレートマッチングの対象とする再生済みフレームの枚数につ!、て は、特に述べていないが、複数枚を対象とすることは予測性能を高めるため有効であ る。この際、符号ィ匕対象フレーム内の再生画像領域を含んでもよい。以下、これらの テンプレートマッチング対象となる再生済みフレームの再生画像及び符号ィ匕対象フ レームの再生画像領域を総称として参照フレームの参照画像と呼ぶことにする。この 際、参照画像は、整数画素のみならず、フィルタ処理により生成した実数画素も含ん だ解像度の高い画像としてもよい。実数画素の生成方法は、例えば、非特許文献 1 に記載されて 、る。選択する参照フレーム番号はブロック単位ある 、はフレーム単位 で符号ィ匕してもよ 、し、 SADなどの指標値により付加情報なしで選択することも可能 である。明示的に符号化する場合には、(符号化対象ブロックにおける)予測対象領 域の原信号と、複数の参照フレームの参照画像力 生成される (符号化対象ブロック における)予測対象領域の予測信号を比較し、 1枚の参照フレームを選択する。
[0099] この符号化処理は図 18に示すように図 1に示す動画像符号ィ匕装置 100にお 、て 予測生成部 108と減算部 102との間に選択部 109を追加することにより実施できる。 選択部 109は、予測生成部 108が複数の参照フレームを対象として生成した予測信 号について、符号ィ匕対象ブロックの原信号との間の指標値 (SADや MSEなど)を計 算し、指標値が最小となる参照フレームを選択する。選択した参照フレーム番号は、 符号ィ匕部 104にてエントロピー符号ィ匕される。なお、選択部 109の処理は、予測生成 部 108に含まれていても同様の結果が得られるので、この構成でも本変形例は実施 できる。復号処理では図 19に示すように、予測生成部 606が復号部 601にて復号さ れた参照フレーム番号に対応する参照フレームを利用して予測信号を生成する。
[0100] また、 1枚の参照フレームを選択して符号ィ匕対象ブロックの予測信号を生成する(1 フレーム選択処理)のではなぐ 2枚の参照フレームを選択し、選択した参照フレーム から得られる符号化対象ブロックの予測信号を画素単位で平均化して最終的な予測 信号を算出(平均化処理)しても良い。この際、符号ィ匕対象ブロックの予測信号の選 択候補を、同じ参照フレームから取得することも考えられる。 1画素(あるいは 1Z2画 素や 1Z4画素)ずれた位置の予測信号を同じ参照フレーム力 2つ選択すれば、内 挿処理により探索する動きベクトルの精度を高める効果もある。なお、平滑化処理は 予測誤差信号の雑音成分をする効果があるため、一般に、変換符号化との相性が良 い。
[0101] 2枚の参照フレームを選択する場合、単純な平均化ではなぐ画素毎の重みづけ 平均化処理にて、予測対象領域の最終的な予測信号を算出する (重みづけ平均化 処理)ことも可能である。重みづけ係数は、ブロック内で一定値とする方法や画素単 位で変更する方法がある。重みづけ係数の設定の方法や符号ィ匕方法にっ 、ては、 特に限定しないが、非特許文献 1に記されるような方法が適用できる。
[0102] 更に、奇数枚の参照フレームを選択し、画素単位で予測対象領域の予測信号の中 央値を選択する方法もある(中央値予測処理)。また、 4枚以上の偶数枚のフレーム から画素単位で予測対象領域の予測信号の中央の 2値を選択し、平均化または重 みづけ平均化により予測値を算出する方法も実施可能である。このような中央値を利 用した予測方法は、平均的な予測誤差を小さくする効果がある。
[0103] これらの平均化処理、重み付け平均化処理、中央値予測処理は図 20に示すように 図 2に示す予測生成部 108に信号生成部 204を追加した予測生成部 1108により実 現できる(図 1の予測生成部 108と図 6の予測生成部 605に適用)。信号生成部 204 では、複数フレームにより生成される予測対象領域の予測信号を入力として、上記に 示した処理方法により最終的な予測信号を生成する。信号生成部 204の処理は、再 生画像や (再生画像に関するデータである)再生画像に属する特徴データ (動きべク トルなど)力も導出される情報を用いて実施できるため、復号側でも同じ処理が実施 できる。
[0104] 1フレーム選択処理、平均化処理、重みづけ平均化処理、中央値予測処理などか ら複数の処理手法を用意し、ブロック単位やフレーム単位で処理手法を選択する方 法も考えられる。復号値により構成されるテンプレートを用いる予測処理では、指標 値が最適となる動きが予測誤差信号を最小化する保証はない。そのため、予測対象 領域の予測信号の特性が異なる複数の処理手法から、適切な手法を選択する方法 は有効である。
[0105] 処理手法の選択方法としては、まず予測対象領域の予測誤差絶対値和 (または予 測誤差二乗和)を最小とする方法を符号ィ匕側で選択して(図 18の選択部 109)、復 号側に伝送する方法が考えられる。この選択手法は、図 18の予測生成部 108と図 1 9の予測生成部 606を図 20の予測生成部 1108に置き換えることにより実現できる。 なお、ここでは、図 18の選択部 109は、選択した参照フレーム番号の替わりに、選択 した処理手法の情報を符号ィ匕部 104に出力する。選択部 109の処理が予測生成部 1108に含まれる構成でも同様の結果が得られるので、この構成でも実施可能である
[0106] また、それぞれの処理手法に基づ 、てテンプレート領域の予測信号を生成し、テン プレート領域の生成信号との間で指標値 (SADや MSEなど)を計算することで自動 的に処理手法を選択する方法も考えられる。例えば、平均化処理では、テンプレート 領域の 2つの予測信号の候補を画素単位で平均化して予測信号を計算し、計算した 予測信号とテンプレート領域の再生信号との間で指標値を計算する。この方法によ れば再生画像や再生画像に属する特徴データ (動きベクトルなど)から導出される情 報を用いて処理手法を一意に決めることができるため、処理手法の情報を符号ィ匕す る必要がない。
[0107] また、テンプレート領域内の信号の分散値 (TaV)と複数参照フレームに対する指 標値の分散値 (EvV)の組み合わせにより、 4つの条件を設定し、 TaVと EvVが共に 閾値より小さい場合には平均化処理、 TaVのみが閾値より小さい場合には重みづけ 平均化処理、 EvVのみが閾値より小さい場合には中央値予測処理、 TaVと EvVが 共に閾値より大きい場合には 1フレーム選択処理とするような手法も考えられる。この 場合、テンプレート領域の再生信号の分散によりテンプレートの空間方向の特徴の 強さを評価し、指標値の分散によりテンプレート領域の時間方向の特徴の強さを評価 する。この手法では、分散値が小さいほど、予測対象領域の予測信号における複数 候補の差が小さぐ平滑化による予測誤差信号の雑音を除去する効果が高いという 仮定に基づ 、て処理手法の選択を実施して!/、る。このような自動的な選択方法は、 図 18の予測生成部 108を図 20の予測生成部 1108に置き換えると共に、図 18の選 択部 109に上記で示した選択方法を導入することで実現できる。この選択方法にお いても、再生画像や再生画像に属する特徴データ (分散値など)力も導出される情報 を用いて処理手法を一意に決めることができるため、処理手法の情報を符号ィ匕する 必要がない。そのため、選択部 109から符号ィ匕部 104への出力は省略される。
[0108] この際、上記に示した分散値を用いる選択方法では、選択部 109への入力を符号 化対象ブロックの原信号力 テンプレート領域の再生信号に置き換え、予測生成部 1 108から選択部 109への入力に複数参照フレームの指標値を追加することが必要と なる。なお、選択部 109の処理を予測生成部 1108が含む構成でも同じ結果が得ら れるので、この構成でも実施可能である。復号側の処理は、符号化処理に合わせて 、図 6の予測生成部 605を図 20の予測生成部 1108と図 18選択部 109の組み合わ せに置き換えることにより実現できる。なお、自動的な選択方法は、ここで記載した方 法に限定されず、再生画像や再生画像に属する特徴データから導出される情報の みを利用する方法であれば実現できる。 [0109] (3)予測生成部の構成
予測生成部 108はテンプレート領域決定部 201、マッチング部 202、補填部 203に より構成されている力 本発明はこの構成に限定されずに実現できる。例えば、テン プレート領域の再生信号を予め定めた手順により符号ィヒ対象フレームの再生信号か ら直接入力される構成とすれば、テンプレート領域決定部 201は不要である。また、 マッチング部 201にて、参照フレーム力 テンプレート領域の予測信号を取得する際 に、予測対象領域の予測信号を同時に取得するように構成すれば、補填部がなくと も予測信号は生成できる。
[0110] (4)符号ィ匕対象ブロックのサイズ
本実施例では符号ィ匕対象ブロックのサイズを 8画素 X 8画素としている力 本発明 は他のブロックサイズでも実施できるため、このサイズには限定されない。また、テン プレート領域のサイズについても、限定されない。例えば、 8画素 X 8画素ではテンプ レート領域と予測対象領域を合わせて 12画素 X 12画素とする場合や、テンプレート 領域のサイズをその半分とする 10画素 X 10画素など様々である。また、ブロック単位 やフレーム単位で、符号ィ匕対象ブロックのサイズとテンプレート領域のサイズを変更 することも有効である。非特許文献 1に示されているように、異なるサイズの符号化対 象ブロックとテンプレート領域の組を用意することは、画像内の異なる絵柄に対応で きるので有効である。また、イントラテンプレートマッチング予測とインターテンプレート マッチング予測を考えた場合、テンプレート領域と探索範囲の冗長性が一般的に低 いイントラテンプレートマッチング予測のブロックサイズを小さくすると予測効率の向上 が期待できる。
[0111] また、予測対象ブロックと符号ィ匕対象ブロックとは異なるブロックサイズでも本発明 の予測は実施可能である。
[0112] (5)テンプレート領域の再生信号
ここまではテンプレート領域の再生信号を符号ィヒ対象フレームの再生済み画素か ら構成している力 その他の参照フレーム上の再生済み画素も復号側に既知である ため利用できる。例えば、 8画素 X 8画素ブロックの予測対象領域を 4画素 X 4画素 ブロックに分割して、 4 X 4ブロック単位で予測信号を生成する場合を考える。テンプ レート領域と予測対象領域を合わせて 6画素 X 6画素ブロックとすると、 8 X 8ブロック の左上の 4 X 4ブロックのテンプレート領域につ!、ては、符号化対象フレームの再生 済み画素にて構成できる。しかしながら 8 X 8ブロックの右上の 4 X 4ブロックのテンプ レート領域では、ブロック上部の 6 X 2画素は符号ィヒ対象フレームの再生済み画素で 構成できる力 ブロック左部の 2 X 2画素はまだ符号ィ匕されていないため、左上の 4 X 4ブロックの予測信号にて代用する。同様に 8 X 8ブロックの左下の 4 X 4ブロックでは ブロック上部の 2 X 2画素、右下の 4 X 4ブロックではテンプレート領域の全画素につ いては、符号化対象フレームの再生済み画素が符号化されて 、な 、ため予測信号 にて代用する。
更に、ここまではテンプレート領域の再生信号を、符号化対象ブロックに隣接するブ ロックの再生済み画素を取得して構成して 、るが、再生済み信号にノイズを除去する フィルタ等を施してテンプレート領域の再生信号を生成してもよい。例えば、雑音が 多 、画像では、テンプレート領域の再生信号及び参照画像にフィルタ処理を施すこ とにより、雑音に影響されない動き検出が可能となる。
[0113] (6)指標値について
ここまでは、テンプレートマッチングにて対象領域内の予測信号を生成する際の指 標値を、テンプレート領域における予測信号と対象信号の差分絶対値和 (SAD)や 平均二乗誤差 (MSE)としていた力 これに限定されることはない。例えば、 T. Wiega nd et. ai., 'Rate—し onstrained Coder Control andし ompanson of Video Coding Stan daras , IEEE Trans. Circuits and Systems for Video Technology, vol. 13, No. 7, July 2003, 688-703. (非特許文献 2)に記載されるように差分動きベクトルの大きさを考慮 した値も本発明の指標値に適用可能である。
[0114] 更に、各画素の差分絶対値あるいは二乗誤差に重みをかけることも有効である。例 えば、 SADを評価値とする場合、テンプレート領域と予測領域の境界画素の差分絶 対値に 4、境界から離れることに 3, 2, 1と重みを小さくしていくという方法が考えられ る。このように境界に近い画素を優先することにより予測性能の向上が期待できる。
[0115] (7)逆変換部の構成
図 1では、逆変換部 105の入力は変換部 103からの出力となっている力 符号化部 104からの出力でもよい。この場合、逆変換部 105の処理の前に、図 6の復号部 601 の処理が実施される。また、動画像符号化装置と動画像復号装置の処理を統一化 する実装方法でも本発明は実施できる。つまり、符号ィ匕部 104の出力を、図 6の復号 部 601にて処理し、復号画像を記憶部 107に入力するという構成も考えられる。
[0116] [第 2実施形態]
第 2実施形態における動画像符号化装置及び動画像復号装置の装置構成は、第 1実施形態における装置構成と、予測生成部の詳細な構成を除いて同一である。以 下、本実施形態における予測生成部と、第 1実施形態における予測生成部 108, 60 5との相違点について説明する。
[0117] 図 8に示すように、本実施形態の予測生成部 800は、判断部 801と、テンプレート 領域決定部 802と、マッチング部 803と、補填部 804とを備えて構成される。
[0118] 判断部 801は、テンプレート領域の再生信号と記憶部 107, 604により記憶された 再生画像とを比較して、当該比較結果に基づき符号化又は復号の対象となる領域( 予測対象ブロック)の信号の空間的連続性を推定する推定手段である。なお、空間 的連続性とは、ある空間内における動きの方向 '大きさなどの特徴がどの程度一致し ているかを示す指標である。即ち、ある領域内において、その領域の上半分と下半分 とで動きの特徴が異なっていた場合、空間性連続性は無い。また、判断部 801は、 推定された画像の空間的連続性に基づいて、符号化又は復号の対象となる領域を 更に分割して当該分割された領域を新たな符号化又は復号対象の領域 (予測対象 領域、補填領域)として設定すると共に当該新たな符号化又は復号対象の領域に対 するテンプレート領域を設定する設定手段である。判断部 801は、記憶部 107, 604 により記憶された再生画像を分析して、テンプレート領域のサイズ及び予測対象領域 のサイズを含む予測パラメータを決定して、その情報をテンプレート領域決定部 802 と、補填部 804とに出力する。予測パラメータの具体的決定方法は、後述する。
[0119] テンプレート領域決定部 802は、判断部 801から入力されたテンプレート領域のサ ィズの情報に基づ 、て、予測信号を生成するために用いるテンプレート領域及びそ の領域の画像を設定する、探索手段の一構成要素である。テンプレート領域決定部 802は、第 1実施形態におけるテンプレート領域決定部 201に対応し、同様の機能を 有する。
[0120] マッチング部 803は、テンプレート領域決定部 802により設定されたテンプレート領 域の画像を用いて、記憶部 107, 604により蓄積された再生画像を探索領域としてテ ンプレートマッチングを実施し、探索領域内にてテンプレート領域の画素群との相関 が最も高くなる領域を探索する探索手段である。マッチング部 803は、第 1実施形態 におけるマッチング部 202に対応し、同様の機能を有する。
[0121] 補填部 804は、マッチング部 803により探索された領域 (高相関領域)、及び予測 対象ブロックとテンプレート領域との間の位置関係とに基づ 、て、予測対象ブロックと 同サイズの予測信号を再生画像力 設定して決定する予測信号決定手段である。こ のときの予測対象ブロックのサイズは、判断部 801により設定されたものである。補填 部 804は、第 1実施形態における補填部 203に対応し、同様の機能を有する。
[0122] ここで、判断部 801におけるテンプレート領域のサイズ及び予測対象領域のサイズ の決定方法を図 14及び図 15を用いて説明する。テンプレート領域のサイズ及び予 測対象領域のサイズの決定には、予測対象ブロックに隣接する再生済み画素を利用 する。図 14は、予測対象ブロック 1401の画素とその周辺の再生済み画素 1402とを 示した図である。まず、図 14 (a)及び (b)に示すように、予測対象ブロック 1401に隣 接する領域 1402を全てカバーする領域 A、及び領域 1402を分割してそれぞれ及 び領域 1402の一部をカバーする領域 B, C, D (領域 B, C, Dはそれぞれ重なり合 わず、足し合わせると領域 1402となる)の 4つの領域を用意する。
[0123] 次に、領域 A, B, C, Dをテンプレート領域とした、記憶部により蓄積された再生画 像に対するテンプレートマッチングを実施し、相関の高い領域をそれぞれ求める。こ こで、相関値としては、例えば SADを用いるとする。それぞれの領域 A, B, C, Dに 対する SADを、 SAD 、 SAD、 SAD、 SADとし、 SADと(SAD +SAD +SA
A B C D A B C
D )とを比較する。 SAD の方が非常に大き力つた場合、領域 A内で空間的連続性
D A
がなぐ予測対象ブロック 1401においても空間的連続性がないと推定する。即ち、図 15に示すように、再生済の画像の領域 1501において、領域 Aと相関が高い領域 15 Olaと、領域 B, C, Dと相関が高い領域 1501b, 1501c, 1501dとが別々に位置し ている状態であると推定する。この推定に基づき、空間 Aによるテンプレートマツチン グでは予測がうまく!/ヽかな!、 (決定された予測信号と符号ィ匕及び復号対象画像との 乖離が大きくなる)と判断する。 SADの方が非常に大きいとの判断は、閾値を予め
A
決めておく等により行うことができる。このように判断したら、テンプレート領域のサイ ズ及び予測対象領域のサイズを、ブロックを更に分割して、ブロックのサイズよりも小 さく設定する。このときの予測対象領域のサイズは、例えば、領域 B, C, Dの分割に 応じたようなサイズとすることができる。また、テンプレート領域はその予測対象領域 のサイズに応じたサイズとする。
[0124] 逆に SAD と(SAD +SAD +SAD )とにあまり差がなかった場合には、領域 A
A B C D
内で空間的連続性があり、予測対象ブロック 1401においても空間的連続性があると 推定する。この推定に基づき、領域 Aによるテンプレートマッチングが有効であると判 断して、予測対象領域はブロックのサイズとする(予測対象領域を、ブロックが分割さ れていない領域とする)。なお、上記の判断に用いる予測対象ブロック 1401に隣接 する領域 1402を分割した領域は、図 14 (b)に示すような領域 B, C, Dのようなパタ ーンだけでなぐ図 14 (c)のように、更に細分ィ匕してもよい。
[0125] 本発明のようなテンプレートマッチングによる予測では、動きベクトルによる予測とは 異なり、正確な予測とはなりえない。このため誤予測をなるベく避ける必要がある。そ して誤予測は、一般的にはテンプレート領域のサイズが小さいときに発生しやすくな ると考えられる。反面、動きが細力べ空間的な連続性が無い部分においては、テンプ レート領域や予測対象領域が大きいと、細かい動きに対応できず、予測誤差が増加 することになる。従って、本発明による手法のようにテンプレート領域のサイズ及び予 測対象領域のサイズを小さくして細かい動きに適合する確率を上げることが有効とな る。
[0126] テンプレート領域のサイズ及び予測対象領域のサイズが変更されたときの予測の推 移について図 9を用いて説明する。予測対象ブロック 901に隣接する領域に空間的 連続性が存在し、予測対象領域のサイズが予測対象ブロック 901全域であった場合 は、第 1実施形態と同様に 1度のテンプレートマッチングにて処理を行う。例えば、図 9【こ示すよう【こ、予 ¾J対象ブロック 901を領域 901a, 901b, 901c, 901dの 4つの領 域に分割して、予測対象領域サイズを小さくして、テンプレート領域のサイズもあわせ て小さくした場合で説明する。なお、予測対象ブロック 901の左及び上側の領域は、 再生済である画像の領域であるものとする。
[0127] まず、図 9 (a)〖こ示すように、予測対象ブロック 901の左上の領域 901aに対して、左 及び上側の領域 902aをテンプレート領域に設定し、テンプレートマッチングによる予 測信号の設定を行う。次に、図 9 (b)に示すように、領域 901aの右側の領域 901bに 対して、上側の領域 902bをテンプレート領域に設定し、テンプレートマッチングによ る予測信号の設定を行う。次に、図 9 (c)に示すように、最初に予測信号の設定を行 つた領域 901aの下側の領域 901cに対して、左側の領域 902cをテンプレート領域 に設定し、テンプレートマッチングによる予測信号の設定を行う。次に、図 9 (d)に示 すよう【こ、残りの領域である右下の領域 901d【こ対して、領域 901a, 901b, 901cを 含む左及び上側の領域 902dをテンプレート領域に設定し、予測信号をテンプレート 領域の対象信号としてテンプレートマッチングによる予測信号の設定を行う。これによ り、予測対象ブロック 901の全ての領域に対して予測信号を設定することになり、符 号化及び復号が可能になる。
[0128] なお、テンプレート領域のサイズ及び予測対象領域のサイズの変更の仕方としては 、図 9 (a)〜(d)のように縦横の両方向に分割するだけでなぐ図 9 (e) (f)のように、縦 横何れかの方向のみ分割するようにしてもよい。例えば、図 14 (b)において、領域 A における高相関領域に領域 B, C, D, Eにおける高相関領域が含まれ、領域 Fにお ける高相関領域のみが含まれない場合に図 9 (e) (f)のように縦方向に分割するのが よい。このような場合、予測対象ブロックの上半分と下半分とで空間的連続性が切れ ると判断できるためである。
[0129] この場合、まず、図 9 (e)に示すように、予測対象ブロック 901の上半分の領域 901 eに対して、左及び上側の領域 902eをテンプレート領域に設定し、テンプレートマツ チングによる予測信号の設定を行う。次に、図 9 (f)に示すように、領域 901eの下側 の領域 901fに対して、左側の領域 902fをテンプレート領域に設定し、テンプレート マッチングによる予測信号の設定を行う。これにより、予測対象ブロック 901の全ての 領域に対して予測信号を設定することになり、符号ィ匕及び復号が可能になる。
[0130] 引き続いて、図 10のフローチャートを用いて、本実施形態の動画像符号化装置に おける符号化処理 (動画像符号化方法)を説明する。
[0131] まず、符号化対象の動画像データが動画像符号化装置に入力されると、動画像を 構成するフレーム画像毎に領域分割部 101に入力される。入力されたフレーム画像 は、領域分割部 101により所定の大きさの複数のブロックに分割される(S1001)。以 降の処理は全てブロック単位で行われる。ブロックは、符号化対象の領域の画素とし て予測生成部 800と減算部 102とに入力される。
[0132] 次に、以下のように予測生成部 800により符号ィ匕対象のブロックの予測信号が生成 される。まず、上述したように判断部 801により符号ィ匕対象ブロックに隣接する再生済 み画素を用いて、当該符号ィ匕対象ブロックに用いる予測パラメータを決定する(S10 02、推定ステップ及び判断ステップ)。決定された予測パラメータは、テンプレート領 域決定部 802に入力される。次に、テンプレート領域決定部 802により、設定した予 測パラメータに基づいて、符号化対象の領域を設定して当該領域に対して隣接する 再生済み画素群を再生済画素領域 (テンプレート領域)上にテンプレートとして設定 する(S1003)。なお、ここで設定される符号化対象の領域は、上述したように符号ィ匕 対象ブロックを分割したものである場合がある。次に、マッチング部 803により、符号 化対象のブロックと同一及び別のフレームにおける再生画像に対してテンプレートマ ツチングが行われ、テンプレート領域の画素群と相関の高い領域が探索される (S10 04)。次に、補填部 804により、テンプレートマッチングにより得られた高相関領域と 所定の位置関係で隣接している符号ィ匕対象の領域と同じ大きさの領域が、予測信号 として設定される(S 1005)。
[0133] 次に、符号ィ匕対象のブロックの全ての領域で予測信号が設定された力否かが判断 される(S 1006)。全ての領域で予測信号が設定されていない場合、 S1003〜S100 5の一連の処理を、符号ィ匕対象のブロックの全ての領域で予測信号が設定されるま で繰り返す。なお、上記の判断は、例えば、上記の何れかの構成要素により行われ てもよいし、動画像符号化装置における符号化処理を統括する手段を設けてそれに 行わせてもよい。
[0134] 以降の処理(S1007〜S1013)の処理は、第 1実施形態における対応する処理(S 505〜S511)と同一である。 [0135] 上述したように、本実施形態の動画像符号化装置によれば、第 1実施形態と同様 に、フレーム間予測を行う際に、符号ィ匕済の再生画像を用いることで動きベクトルを 用いることなくフレーム間予測ができ、効率的な符号ィ匕を可能とする。また、予測信号 の領域のサイズを再生済み信号の空間的連続性をもとに適切に選択することが可能 になるので、動き量の変化の激 、動画像データの符号化にお!、ても符号化効率が 向上する。
[0136] 引き続いて、図 11のフローチャートを用いて、本実施形態の動画像復号装置にお ける復号処理 (動画像復号方法)を説明する。本実施形態の動画像復号装置により 復号される圧縮符号化データは、上記の本実施形態の動画像符号装置により符号 化されたものであるとする。
[0137] まず、復号対象の圧縮符号化データが動画像復号装置に入力されると、復号部 60 1により復号が行われる(S 1101)。復号されると、ブロック単位での変換データが取り 出される。この変換データは、復号部 601により逆変換部 602に入力される。また、復 号対象のブロックのフレームにおける位置情報力 復号部 601により予測生成部 80 0に入力される。なお、復号対象のブロックの位置は、符号化順序に依存する。
[0138] 次に、以下のように予測生成部 800により復号対象のブロックの予測信号が生成さ れる。まず、上述したように判断部 801により復号対象ブロックに隣接する再生画像 を用いて、当該復号対象ブロックに用いる予測パラメータを決定する(S1102、推定 ステップ及び判断ステップ)。決定された予測パラメータは、テンプレート領域決定部 802に入力される。次に、テンプレート領域決定部 802により、設定した予測パラメ一 タに基づいて、復号対象の領域を設定して当該領域に対して隣接する再生済み画 素群をテンプレートとして設定する(S1103)。なお、ここで設定される復号対象の領 域は、上述したように復号対象ブロックを分割したものである場合がある。次に、マツ チング部 803により、復号対象のブロックと同一及び別のフレームにおける再生画像 に対してテンプレートマッチングが行われ、テンプレート領域の画素群と相関の高い 領域が探索される(S 1104)。次に、補填部 804により、テンプレートマッチングにより 得られた高相関領域と所定の位置関係で隣接している復号対象の領域と同じ大きさ の領域が、予測信号として設定される (S 1105)。 [0139] 次に、復号対象のブロックの全ての領域で予測信号が設定された力否かが判断さ れる(S 1106)。全ての領域で予測信号が設定されていない場合、 S1103〜S1105 の一連の処理を、復号対象のブロックの全ての領域で予測信号が設定されるまで繰 り返す。なお、上記の判断は、例えば、上記の何れかの構成要素により行われてもよ V、し、動画像復号装置における復号処理を統括する手段を設けてそれに行わせても よい。
[0140] 以降の処理(S1107〜S1110)の処理は、第 1実施形態における対応する処理(S 705〜S708)と同一である。なお、第 1実施形態と同様に、 S1102〜S1106の一連 の処理と、 S1107の処理とは、 S1108以降の処理の前に行われていればよいので、 順序が逆になつて 、てもよ 、。
[0141] 上述したように、本実施形態の動画像復号装置によれば、本実施形態の動画像符 号化装置と同様に予測信号を決定して、動画像を復号することができる。即ち、本実 施形態の動画像復号装置によれば、本実施形態の上記の動画像符号化装置により 効率的な符号化がされた動画像データを正しく復号して再生画像を生成することが できる。
[0142] なお、本実施形態には、以下のような変形例が考えられる。以下の変形例は、動画 像符号化装置及び動画像復号装置について説明したものであるが、動画像符号ィ匕 処理及び動画像復号処理にっ ヽても同様に実施可能である。
[0143] (1)テンプレート領域と予測対象領域の分離
上記では、図 8の判断部 801にて予測対象領域とテンプレート領域のサイズや形状 を同時に決定している力 一方のサイズと形状を固定してもよい。したがって、予測対 象領域のサイズと形状を固定とし、テンプレート領域のサイズあるいは形状を適応的 に切り替えたい場合にも本発明は適用できる。この場合、判断部 801から補填部 80 4への出力は不要である。例えば、図 14において、予測対象領域 1401に対するテ ンプレートを、図 14 (a) (b)の領域 A、領域 B、領域 C、領域 Dから選択するという方法 が考えられる。予測対象領域 1401のテンプレートとしては、予測対象領域 1401と間 に絵柄の連続性があり、かつそれを構成する画素数は多い方が良い。そのため、通 常は領域 Aが好ましいが、ある方向に絵柄の連続性が無い場合には、小さいサイズ のテンプレートを用いた方が良い。なお、判断部 801における判定処理は上記に示 した手法には限定されない。例えば、テンプレート領域の予測信号を実際にその領 域の画素を符号ィ匕した時の予測信号と比較し、平均差分絶対値が小さ 、テンプレー ト形状とサイズを選択すると 、う方法が考えられる。符号化した時の予測信号ではな ぐその領域が属する符号化対象ブロックの再生信号を用いて再度予測信号を生成 しなおしても良い。また、テンプレート領域の予測信号と対象信号 (再生信号)の平均 差分絶対値が小さいテンプレート形状とサイズを選択するという方法も考えられる。
[0144] 一方で、絵柄ではなく動きの連続性を確保する方法も有効である。例えば、領域 A をテンプレート領域として検出した動きベクトルと、隣接ブロックの動きベクトルあるい は隣接ブロックから算出される予測動きべ外ルの差を計算する。そして差分の動き ベクトルが予め定めた閾値より小さい場合には検出した動きベクトルを予測領域の動 きベクトルとする。一方、差分の動きベクトルが予め定めた閾値より大きい場合には、 異なるテンプレート形状 (例えば、図 14 (b)の領域 B, C, Dや図 14 (c)の領域 B, D, F等)について動きベクトルを検出する。そして、それぞれのテンプレート領域につい て、その領域内の画素を符号ィ匕したときの動きベクトルと検出した動きベクトルを比較 し、差が小さ 、動きベクトルを予測対象領域の動きベクトルとして選択すると 、う方法 も考えられる。その領域内の画素を符号ィ匕したときの動きベクトルの替わりに、その領 域が属する符号ィ匕対象ブロックの再生信号を用いて、再度動きベクトルを検出しなお しても良い。いずれに方法においても、再生信号や (再生信号に関する情報である) 再生信号に属する特徴データ (動きベクトルなど)力も導出される情報を用いて実施 可能である。また、複数のテンプレート形状にて検出した動きベクトルの大きさを比較 してテンプレート形状や予測領域のサイズを決めることも可能である。同様に隣接ブ ロックの動きベクトルの大きさを比較して、テンプレート形状や予測領域のサイズを決 めることも可能である。
[0145] 候補となるテンプレートの形状とサイズは図 14のようにテンプレートの分割に限定さ れるものではない。例えば、 8画素 X 8画素ではテンプレート領域と予測対象領域を 合わせたサイズを 12画素 X 12画素、 10画素 X 10画素及び 14画素 X 14画素から 選択するような場合も本変形例に含まれる。 [0146] (2)テンプレート領域と予測対象領域のサイズ決定
上記では、図 8の判断部 801にてテンプレート領域と予測対象領域のサイズや形状 を計算により決定しているが、予測対象領域の原信号 (符号化対象ブロック)を利用 して、最適なサイズや形状の情報を符号ィ匕しても良い。この決定方法は、例えば、図 18のように予測生成部 108が複数種のテンプレートを用いて生成した予測対象領域 の予測信号を出力し、選択部にて指標値 (SADや MSEなど)を最小とするテンプレ ートサイズと形状を選択し、その情報を符号ィ匕部 104にてエントロピー符号ィ匕すること により実施可能となる。選択部 109の処理が予測生成部 108に含まれている構成で ち実施でさる。
[0147] また、予測対象領域の位置によっては、テンプレート領域の対象信号が存在しな ヽ 場合がある。その場合には、存在する対象信号のみでテンプレートを生成する。例え ば、画像の左端では図 14 (b)に示す領域 C、画像の上端では領域 Dをテンプレート 領域とする。
[0148] [第 3実施形態]
再生信号により構成されるテンプレートを用いる本発明の動き予測では、テンプレ ート領域の対象信号と予測信号力 算出される差分信号の指標値が最小となる動き を探索範囲力 検出する。したがって、テンプレート領域の対象信号に際立った特徴 がある場合には、その特徴に基づいて適切な動き予測が実施できる。しかしながら、 平坦な領域のように、テンプレート領域の対象信号に際立った特徴が表れな 、場合 には、指標値は最小であっても、実際とは異なる動きを検出する可能性が高くなる。 この場合、予測対象領域の予測信号と対象信号との差分が大きければ、その符号量 も増えてしまう。その一方で、際立った特徴のない平坦な領域は信号に含まれる高周 波成分が少なぐ解像度を落とした信号と元の信号との空間相似性は高い。そのた め、予測対象領域の対象信号の解像度を落として符号化し、復号側にて解像度を落 とした再生信号を簡単な手法で拡張しても、元の信号力 の劣化を抑えることができ る。そこで、本実施形態では、平坦な領域に適した差分符号化手法として、予測対象 領域の対象信号と予測信号の解像度を落とし、その低解像度差分信号を符号化す る手法 (符号ィ匕対象ブロックと予測ブロックを縮小化し、その縮小差分ブロックを符号 化する手法)について示す。
[0149] なお、本実施形態では、便宜上、予測信号にて構成されるブロックを予測ブロック、 差分信号にて構成されるブロックを差分ブロック、再生信号にて構成されるブロックを 復号ブロックと呼ぶことにする。そして、符号化対象ブロックは動画像データの符号化 対象フレームの原信号にて構成されるブロックを符号化対象ブロックと呼ぶ。
[0150] 図 21に、第 3の実施形態を実施する動画像符号化装置 2100を示す。図 1の動画 像符号化装置 100に、縮小化部 2110 (縮小化部 2110— 1及び縮小化部 2110— 2 の総称)と拡大部 2111を設けることにより実現できる。なお、減算部 2102、変換部 2 103、符号ィ匕部 2104、逆変換部 2105、加算部 2106の機能は、扱うブロックサイズ 力 、さくなる(例えば 4画素 X 4画素)だけで、それぞれ、図 1の減算部 102、変換部 1 03、符号化部 104、逆変換部 105、加算部 106の機能と同じである。なお、変換部 2 103及び逆変換部 2015については、図 1の変換部 103及び逆変換部 105でも非特 許文献 1に示されるように、 4画素 X 4画素単位で扱うことが可能である。この場合、 図 1の変換部 103及び逆変換部 105と、図 21の変換部 2103及び逆変換部 2105の 違いは、処理するブロックの数力 個から 1個に減ることを意味する。
[0151] 縮小化部 2110— 1と縮小化部 2110— 2とは、それぞれ、領域分割部 108から得ら れる符号ィ匕対象ブロックと予測生成部 108から得られる予測ブロックをそれぞれ、縮 小符号ィ匕対象ブロックと縮小予測ブロックに縮小して、減算部 2102に出力する。減 算部 2102では、 2つの縮小ブロックの差分を画素単位で計算し、縮小差分ブロック を変換部 2103に出力する。変換部 2103では、変換 (及び量子化)処理を実施し、 変換データ(量子化データ)は符号ィ匕部 2104にて符号化される。同時に、変換デー タ(量子化データ)は、逆変換部にて (逆量子化及び)逆変換処理を実施し、復号縮 小差分ブロックを加算部 2106に出力する。加算部 2106では、復号縮小差分ブロッ クと縮小予測ブロックを画素単位で加算し、復号縮小ブロックを生成する。拡大部 21 11は、復号縮小ブロックを符号ィ匕対象ブロックと同じサイズの復号ブロックまで拡大 し、記録部 107に出力する。縮小化部 2110と拡大部 2111の処理は図 23を用いて 後述する。
[0152] 図 22に、第 3の実施形態を実施する動画像復号装置 2200を示す。図 6の動画像 復号装置 600に、縮小化部 2207と拡大部 2208を設けることにより実現できる。縮小 化部 2207と拡大部 2208の処理は、それぞれ図 21における縮小化部 2110と拡大 部 2111と同じ機能を持つ。なお、減復号部 2201、逆変換部 2202、加算部 2203の 機能は、扱うブロックサイズが小さくなる(例えば 4画素 X 4画素)だけで、それぞれ、 図 6の復号部 601、逆変換部 602、加算部 603の機能と同じである。なお、逆変換部 については、図 1の符号ィ匕装置と同様に図 6の逆変換部 602においても非特許文献 1に示されるように、 4画素 X 4画素単位で扱うことが可能である。この場合、図 6の逆 変換部 602と、図 22の逆変換部 2202の違いは、処理するブロックの数が 4個から 1 個に減ることを意味する。
[0153] 縮小化部 2207は、予測生成部 605から得られる予測ブロックを縮小予測ブロック に縮小して、加算部 2203に出力する。加算部 2203では、復号部 2201と逆変換部 2202の処理により復号された復号縮小ブロックと、縮小予測ブロックを画素単位で 加算し、復号縮小ブロックを生成する。図 22の符号ィ匕装置と同様に、逆変換部 2202 は量子化処理を含んでも良い。拡大部 2208は、復号縮小ブロックを復号ブロックと 同じサイズの復号ブロックまで拡大し、記録部 604に出力する。
[0154] 図 23に縮小化部 2110, 2207と拡大部 2111, 2208における縮小'拡大処理を示 す。ブロック 2301は縮小される前のブロックを示している。処理 2304が縮小処理に おける縮小ブロック上の画素生成手法を説明している。画素;!, k, m, nがブロック 23 01上の画素、画素 Pが生成される縮小ブロック上の画素を示している。処理 2304で は、 4画素単位で画素の平均化処理を実施し、縮小ブロック上の画素を算出する。ブ ロック 2302が縮小処理により得られた縮小ブロックを示している。
[0155] 処理 2305が拡大処理における拡大ブロック上の画素生成手法を示している。画素 A〜Dがブロック 2302上の画素、画素 a〜iが拡大画像上の画素を示している。処理 2305では、画素位置に応じて異なる方法で画素の内挿 '外挿処理を実施する。画 素 aは、隣接する縮小ブロック上の画素が Aのみであるため、画素 Aを画素 aとしてそ のまま用いる。同様に、ブロック 2303の白丸で示した画素は、縮小ブロック上の隣接 画素をコピーする方法により算出する。画素 b〜eについては、隣接する縮小ブロック 上の画素が 2画素存在する。そこで、これらの画素は、縮小ブロック上の隣接 2画素 を用いた外挿処理により算出する。同様に、ブロック 2303の黒四角で示した画素は 、縮小ブロック上の隣接 2画素を用いた外挿処理により算出する。画素 f〜iについて は、隣接する縮小ブロック上の画素が 4画素存在する。そこで、これらの画素は、縮 小ブロック上の隣接 4画素を用いた線形内挿処理により算出する。同様に、ブロック 2 303の黒丸で示した画素は、縮小ブロック上の隣接 4画素を用いた線形内挿処理に より算出する。
[0156] 図 24と図 25とはそれぞれ第 3の実施形態を実現する動画像符号化処理及び動画 像復号処理を示している。図 24と図 25は第 1の実施形態における図 5と図 7にそれ ぞれ対応する。図 24と図 25では、図 5と図 7におけるテンプレート領域決定処理(S5 02, S702)、テンプレートマッチング処理(S503, S703)、予測信号決定処理(S5 04)、予測信号生成処理(S704)を、予測信号生成処理(S2404, S2504)としてま とめて記載している。また、図 24における S2401, S2405, S2406, S2407, S240 8, S2410, S2411は、図 5における S501, S505, S506, S507, S508, S510, S511にそれぞれ対応する。これらの処理は扱うブロックサイズが異なるだけで、同様 の処理を実施するため、ここでの説明は省略する。更に、図 25における S2501, S2 505, S2507, S2508は、図 7における S701, S705, S707, S708にそれぞれ対 応する。これらの処理も扱うブロックサイズが異なるだけで、同様の処理を実施するた め、ここでの説明は省略する。
[0157] 図 24の処理 S2412の符号化ブロック縮小化処理では、縮小化部 2110— 1にて、 領域分割部 101入力される符号ィ匕対象ブロックを縮小符号ィ匕対象ブロックに縮小し 、縮小したブロックを減算部 2102に出力する。処理 S2313の予測ブロック縮小化処 理では、縮小化部 2110— 2にて、予測生成部 108から入力される予測ブロックを縮 小予測ブロックに縮小し、縮小したブロックを減算部 2102及び加算部 2106に出力 する。以下処理 S2405〜処理 S2408により、縮小差分ブロックの符号化、復号処理 を実施し、復号縮小差分ブロックが生成される。処理 S2409の復号縮小ブロック生 成処理では、加算部 2106にて、縮小予測ブロックと復号縮小差分ブロックを画素単 位で加算し、復号縮小ブロックを生成する。処理 S2414の拡大処理では、拡大部 21 11にて、復号縮小ブロックを復号ブロックに拡大する。 [0158] 図 25の処理 S2509の予測ブロック縮小化処理では、縮小化部 2207にて、予測生 成部 605から入力される予測ブロックを縮小予測ブロックに縮小し、縮小したブロック を加算部 2203に出力する。処理 S2505では、縮小差分ブロックの復号処理が実施 され、復号縮小差分ブロックが生成される。処理 S2506の復号縮小ブロック生成処 理では、加算部 2203にて、縮小予測ブロックと復号縮小差分ブロックを画素単位で 加算し、復号縮小ブロックを生成する。処理 S2510の拡大処理では、拡大部 2208 にて、復号縮小ブロックを復号ブロックに拡大する。
[0159] 本実施形態には、以下のような変形例が考えられる。以下の変形例は、動画像符 号化装置及び動画像復号装置について説明したものであるが、動画像符号化処理 及び動画像復号処理につ!ヽても同様に実施可能である。
[0160] (1)テンプレートマッチングを用いた予測方法
本実施形態では、予測生成部におけるテンプレートマッチングの方法は、図 2の方 法に限定されるものではない。すなわち、本実施形態及び変形例においても、第 1実 施形態、第 2実施形態及びそれらの変形例にて示したテンプレートマッチングを用い た予測信号生成方法は適用可能である。図 18、図 19のように、選択部を追加するこ ともでき、予測生成部 108, 605を図 20に示した予測生成部 1108に置き換えること も可能である。また、予測生成部 108, 605を図 8に示した予測生成部 800に置き換 えることも、信号の入出力の流れは変わらないため、そのまま適用できる。
[0161] ここまでは、テンプレートマッチングを用いた予測方法として、テンプレートを用いて 、記憶部 107, 604に保存されている再生済み動画像データから予測ブロックを生成 する方法を採用していた。し力 ながら、非特許文献 1に記載されているイントラ予測 のように、テンプレートの再生信号力 所定の方法により予測信号を生成する方法も ある。この方法においても、本実施形態の縮小'拡大処理を用いた符号化 '復号処理 は符号量を削減する効果があるため有効である。
[0162] この変形例における予測生成部の構成を図 36に示す。図は、テンプレートの信号 から予測信号を生成するイントラ予測の例である。テンプレートの再生信号から予測 信号を生成する方法は、図 21と図 22の予測生成部 108を図 36の予測生成部 3608 に置き換えることにより実施できる。テンプレート領域決定部 3602では、符号化対象 ブロックに隣接する 13個の再生済み画素にてテンプレートを構成する。補填部 3603 では、図 37に示す処理 3711に示すような方法で、テンプレート内の画素から予測ブ ロックを生成する。なお、図 37には、 9種類の補填方法が提示されているが、本発明 は、このうち少なくとも 1種類を予め定義しておくことにより実施できる。また、補填部 内にて複数の補填方法から 1種類を選択し、選択した補填方法により生成した予測 ブロックを出力してもよい。この際、補填方法の選択手法は本発明では限定されない 。選択した補填方法の情報を伝送してもよいし、エンコーダ (動画像符号化装置)と デコーダ (動画像復号装置)が共有するデータのみを用いて決める方法でもよい。
[0163] また、テンプレートの形状は図 37に示したものに限定されない。ブロック境界の画 素だけでなぐ符号化対象ブロックが属するフレームの再生済み領域の画素であれ ば、ブロック境界力 離れた画素から構成されるテンプレートであっても本発明は実 現可能である。
[0164] (2)縮小'拡大処理の構成
図 21に示す動画像符号ィ匕装置 2100と図 22に示す動画像復号装置 2200では、 符号ィ匕対象ブロックと予測ブロックを縮小化し、復号された縮小ブロックを拡大するこ とにより復号ブロックを生成している。し力しながら、縮小、拡大処理を用いた符号量 の削減は、異なる構成においても実現可能であり、この方法には限定されない。図 3 2と図 34とに動画像符号化装置の別例、図 33と図 35とに動画像復号装置の別例を 示す。
[0165] 図 32の動画像符号ィ匕装置 3200では、予測ブロックではなぐ符号化対象ブロック 力 予測ブロックを画素単位で減算することにより生成した差分ブロックを縮小化部 3 210にて縮小化する。そして、復号した復号縮小差分ブロックを拡大部 3211にて拡 大し、拡大ブロックと予測ブロックを画素単位で加算し、復号ブロックとする。
[0166] 図 33の動画像復号装置 3300は、図 32に示す動画像符号化装置 3200に対応す る復号装置である。この方法では、予測ブロックの縮小化は実施せず、復号した復号 縮小差分ブロックを拡大部 3308にて拡大し、拡大ブロックと予測ブロックを画素単位 で加算し、復号ブロックとする。
[0167] 図 34の動画像符号ィ匕装置 3400は、図 21における縮小化部 2110— 2の機能が予 測生成部 3408内の補填部に含まれる構成である。同様に図 35の動画像復号装置 3500は、図 22における縮小化部 2207が予測生成部の補填部に含まれる構成であ る。この際、補填部は、縮小予測ブロックを直接生成するように縮小化処理と補填処 理を組み合わせることも可能である。図 2、図 8あるいは図 20に示す補填部 203にお いて、補填部 203の有するメモリサイズが縮小予測ブロックは保存できる力 予測ブ ロックを保存できない大きさであり、記憶部 107内の再生済み動画像データ力も直接 必要な情報のみを取得し、縮小予測ブロックを生成する。この場合には、テンプレー ト領域決定部とマッチング部は、上記に示したようにテンプレート領域内の全画素を 記憶部 107内の再生済み動画像データから取得しても良いし、テンプレート領域に も縮小化を実施し、必要な情報のみを取得してマッチング処理を実施しても良い。一 方、図 35に示す動画像復号装置 3500においては、テンプレート領域決定部も、記 憶部 604内の再生済み動画像データから直接必要な情報のみを取得すればよい。
[0168] なお、上記の動画像符号化装置 3200, 3400及び動画像復号装置 3300, 3500 における予測生成部の構成は、図 2に示すものでも図 36に示すものでも実現可能で ある。また、図 18、図 19に示す動画像符号ィ匕装置 1800及び動画像復号装置 1900 のように、選択部を伴う場合も、選択部を追加することにより実現できるため、図 2や 図 20に示した予測生成部に置き換えることも可能である。更に、図 2を図 8に示した 予測生成部に置き換えることも、信号の入出力の流れは変わらないため、そのまま適 用できる。
[0169] 更に、図 21にて復号縮小ブロックの拡大処理を実施せずに、そのままフレームメモ リに保存しても良い。また、別のフレームでは、復号縮小ブロックを統合することにより 得られる縮小画像にてテンプレートマッチングを行 、、縮小予測ブロックを生成する。 そして、縮小符号ィ匕対象ブロックと縮小予測ブロックの差分符号ィ匕を行なう。または、 縮小予測ブロックを拡大し、符号化対象ブロックとの差分符号化を行なってもよ ヽ。 同様に図 22では復号縮小ブロックの拡大処理を実施せずに、そのままフレームメモ リに保存しても良い。別のフレームでは、縮小ブロックを統合することにより得られる縮 小画像にてテンプレートマッチングを行い、縮小予測ブロックを生成する。そして、復 号した縮小差分ブロックと縮小予測ブロックを加算して縮小ブロックを再生する。また は、縮小予測ブロックを拡大し、復号した差分ブロックと拡大したブロックを加算して 復号ブロックを再生してもよい。このように、縮小処理と拡大処理の適用方法を変更し ても、符号量を削減する効果は得られる。
[0170] 縮小化処理と拡大処理の方法は図 23に示した方法でも良いし、後述する別例でも よい。
[0171] (3)TMP— E、 TMP— Lの選択方法
図 21及び図 22に示す動画像符号ィ匕装置 2100及び動画像復号装置 2200は、テ ンプレート領域の絵柄がすべて平坦な場合を仮定して、ブロックの縮小 ·拡大処理を 伴う装置の構成を示している。実用的には、画像の絵柄には、平坦な部分と特徴の ある部分が混在するため、第 1実施形態にて説明したブロックの縮小'拡大処理を実 施しない構成と組み合わせて実施する。図 26に、図 1及び図 21に示す動画像符号 化装置 100, 2100を組み合わせた動画像符号ィ匕装置 2600を、図 27に、図 6及び 図 22に示す動画像復号装置 600, 2200を組み合わせた動画像復号装置 2700を 示す。図内で図 1、図 6、図 21、図 22と同じ番号のブロックは同じ機能を示すため、こ こでは詳細な説明を省略する。
[0172] 図 26では、領域分割部 101にて分割された符号ィ匕対象ブロックがそれぞれ、減算 部 102と縮小化部 2110— 1に入力される。符号化対象ブロックは 2通りの予測符号 化方法 (TMP— Eモード;図 1に示す動画像符号化装置 100の符号化方式、 TMP Lモード;図 21に示す動画像符号化装置 2100の符号化方式)で符号化処理され 、変換部 103と変換部 2103から 2種類の変換データ(量子化データ)が切り替え部 2 613に出力される。また、 2通りの手法で局部復号された 2種類の復号ブロックが選択 部 2612に出力される。選択部 2612では、その 2種類の復号ブロックから 1種類を選 択し、その選択情報を切り替え部 2613と符号ィ匕部 2604に出力する。切り替え部 26 13は選択情報に従って、変換データ (量子化データ)を符号ィ匕部 2604に出力する。 符号ィ匕部は選択情報と変換データ (量子化データ)を併せてエントロピー符号ィ匕する
[0173] 選択部 2612における TMP— Eと TMP— Lモードの選択方法としては、例えば、別 途入力される符号化対象ブロックと 2種類の復号ブロックの差分信号を比較し、差分 の自乗和が小さいほうを選択する方法が挙げられる。但し、この方法では符号量が換 算されていないため、符号化効率の高い符号化手法が選択されない。符号化効率を 考慮した選択方法としては、例えば、非特許文献 2に記載したような方法が挙げられ る。この方法によれば、 2種類の予測符号ィ匕手法により生成された変換データ (量子 化データ)をそれぞれ仮想的に符号化する。そして、復号ブロックと符号化対象プロ ックとの間のトータル歪 (例えば差分の二乗和)と符号量の重みづけ指標値をそれぞ れ計算し、指標値の小さい符号ィ匕方法を選択する。この方法であれば、符号化効率 の高い予測符号ィ匕方法が選択できる。なお、変換データ (量子化データ)の符号ィ匕 は、選択部 2612にこれらを入力し、選択部 2612にて実施してもよいし、符号化部 2 604にて実施し、符号量の情報を選択部に入力しても良!、。
[0174] 図 27に示す動画像復号装置 2700では、復号部 2701にて、 TMP— Eモードと T MP— Lモードの選択情報と選択された予測符号ィ匕方法による変換データ (量子化 データ)がエントロピー復号される。切り替え部 2709は選択情報に基づいて、選択情 報が TMP—Eを示すときには変換データ(量子化データ)を逆変換部 602に出力し 、選択情報が TMP— Lモードを示すときには変換データ (量子化データ)を逆変換 部 2202に出力する。変換データ (量子化データ)は、選択情報が示す復号方法によ り復号される。
[0175] 上記では、 TMP— Eと TMP— Lとを異なる予測符号ィ匕方法として扱い、符号化側 にてその選択情報を符号ィ匕している。し力しながら、 2種類の予測符号ィ匕方法を 1種 類として扱!ヽ、符号化側と復号側が共有する復号情報 (再生画像や再生画像に属す る特徴データ力 導出される情報)を用いて自動的に選択することも可能である。特 徴データとしてはテンプレート領域の対象信号が利用できる。例えば、テンプレート 領域の対象信号の分散を用いる方法がある。予め閾値を設定し、分散値が閾値より 大きければ TMP— E、小さければ TMP— Lとする方法が考えられる。また、分散値 以外にも、テンプレート領域の対象信号の画素勾配 (隣接画素間の差分値)を計算 し、差分値が閾値を超える画素数が予め定めた数より多ければ TMP— E、少なけれ ば TMP— Lとするような方法も考えられる。更に、テンプレートマッチングにて検出し た動きベクトルと、テンプレート領域の画素群を復号した際の動きベクトル (復号プロ ックの信号を利用して再検索しても良い)を比較し、その差が予め定めたしきい値より 小さい場合には TMP— E、大きい場合には TMP— Lとすることも可能である。検出し た動きベクトルの大きさや隣接ブロックの動きベクトルを基準として選択してもよ 、。こ れら、分散値、画素勾配、動きベクトルによる選択を組み合わせても良い。それぞれ で選択した方法が異なる場合には、多数決で最終的な選択を行ってもよいし、選択 した方法が異なる場合のみ選択情報を伝送するという方法も実現可能であり、安定し た選択結果が得られる。
[0176] この場合、図 27の動画像復号装置 2700では、選択情報が復号されないため別途 選択部を設ける必要がある。この選択部は符号ィ匕装置の選択部と同じ動作をし、選 択情報を切り替え部 2709に出力する。
[0177] 図 26及び図 27に示す各装置 2600, 2700における予測生成部は、上記の変形 例(1)に示したように図 2に示す構成には限定されない。図 8、図 20及び図 36に示 す構成を適用することも可能である。
[0178] なお、図 36に示す予測生成部 3608では、予め定めた補填方法の場合のみ TMP
Lのような縮小化'拡大処理を適用し、他の補填方法では TMP— Eのように差分 符号ィ匕のみを適用することも可能である。また、補填部にて選択した補填方法にて生 成した予測ブロックに対して、 TMP— Lと TMP— Eのような符号ィ匕方法を適用し、適 応的に選択する方法も実施可能である。
[0179] (4)従来の予測符号化方法との適応
上記で示した予測符号ィ匕方法 TMP— Eと TMP— Lとは、非特許文献 1に記載され て 、るような複数の予測符号ィ匕方法 (動きベクトルを符号ィ匕するインター予測モード やイントラ予測モード)と組み合わせて選択的に使用することが可能である。この際、 それぞれの予測符号化方法について、複数のブロックサイズを用意してもよい。予測 符号ィヒ方法とブロックサイズの最適な選択は、例えば非特許文献 2に示したような方 法にて実現できる。図 26と図 27とに示す各装置 2600, 2700 (予測生成方法は変 形例(1)に示すような変形が可能である)に従来の予測符号ィ匕方法を組み合わせ、 選択部を拡張することにより実現できる。また、 TMP— Lのみを従来の予測符号化方 法と適応することも可能である。この場合、図 21及び図 22に示す各装置 2100, 220 0と、図 32及び図 33に示す各装置 3200, 3300、図 34と図 35に示す各装置 3400 , 3500とのいずれかに従来の予測符号ィ匕方法を組み合わせればよい。
[0180] (5)縮小'拡大処理
縮小化部によるブロック縮小処理及び拡大部におけるブロック拡大処理の方法は 図 23の方法に限定されるものではない。別例を図 28と図 29に示す。
[0181] 図 28では、ブロック 2801は縮小される前のブロック、ブロック 2802が縮小ブロック を示している。この例では、処理 2304のようなフィルタ処理を伴わない単純な画素サ ンプリングにより縮小ブロックを生成する。処理 2805が拡大処理における拡大ブロッ ク上の画素生成手法を示している。画素 A〜Dがブロック 2802上の画素、画素 a〜c が拡大画像上の画素を示している。画素 A〜Dは、もともと縮小処理前の画素である ため、そのまま拡大ブロック 2803にコピーされる。縮小処理にて除外された画素につ いては、処理 2305の画素 a〜cのように、単純な線形内挿処理により算出する。ブロ ック 2803の四角で示した画素は、同様に隣接する画素を用いた線形内挿処理によ り算出する。なお、拡大ブロック 2803の上端と左端の黒四角の画素については、丸 で示した隣接画素が 1つまたは 2つしか存在しない。この場合には、画素群 2806に 示した隣接ブロックの復号済み画素を利用する。なお、画素群 2806は記憶部に蓄 積されているため、この処理を実現するためには、図 21、図 22、図 26、図 27に示す 各装置において記憶部力 拡大部への入力パスが必要となる。
[0182] 図 29では、ブロック 2901は縮小される前のブロック、ブロック 2902が縮小ブロック を示しており、処理 2904にて縮小処理の方法を説明する。この縮小方法では、処理 2904【こ示すよう【こ画素 p【こ隨接する 8画素 (j, k, 1, m, n, o, q, r)を禾 lj用したフィノレ タ処理により縮小ブロック上の画素 Pを生成する。処理 2905が拡大処理における拡 大ブロック 2903上の画素生成手法を示している。この処理は図 28の 2805と同様で あるため、説明を省略する。この場合にも、画素郡 2906は記憶部に蓄積されている ため、この処理を実現するためには、図 21、図 22、図 26、図 27において記憶部から 拡大部への入力パスが必要となる。
[0183] これらの例では、縮小ブロックのサイズが縦 ·横の縮小率がそれぞれ 1Z2となって いるが、縮小率はこれに限定されない。例えば、縮小率が 1Z4でもよいし、縦'横の 縮小率が異なっても良い。
[0184] 縮小'拡大方法を 1種類に限定せず、複数の方法力 選択しても良い。選択方法と しては、符号ィ匕誤差の絶対値和や二乗和が最小となる方法を符号ィ匕側でフレーム単 位やブロック単位で選択して、選択情報を符号ィ匕しても良いし、複数の復号ブロック 候補から自動的に決定しても良い。決定方法としては、再生画像や再生画像に属す る特徴データ力 導出される情報を用いていれば良ぐ例えば、画素単位で平均値 を計算する方法や、画素単位で中央値を選択する方法などが考えられる。
[0185] なお、符号ィ匕対象ブロックに対する縮小方法については、復号装置では限定され ない。そのため、縮小ブロックの画素数が同じであれば、予測ブロックと符号化対象 ブロックには異なる縮小方法を適用してもよい。また、復号装置及び復号処理では、 符号化対象ブロックの縮小方法を規定しな ヽ。
[0186] (6)拡大ブロックの再符号ィ匕
図 26及び図 27【こ示す各装置 2600, 2700で ίま、拡大咅 2111, 2208【こより拡大 されたブロックは復号ブロックの候補として 、るが、これを予測ブロックの候補として扱 い、予測生成部 108, 605により生成される予測ブロックと適応選択することも可能で ある。拡大部により拡大したブロックは、フィルタ処理により高周波成分が制限されて いるため、これを再符号化することにより、画質が向上するという効果がある。
[0187] 図 30と図 31とにそれぞれ、本変形例を実施する動画像符号化装置 3000及び動 画像復号装置 3100を示す。
[0188] 図 30の動画像符号ィ匕装置 3000では、図 26と比較して、選択部 3012と符号化部 3004の機能、及び変換部 2103から出力される変換データ(量子化データ)の扱い が異なる。図 26の選択部 2612では、 2種類の復号ブロックの候補が入力されるが、 本変形例の選択部 3012では、予測生成部 108と拡大部 2111から 2種類の予測ブ ロックの候補が入力される。選択方法としては図 26の説明にて示した方法が利用で きる。但し、非特許文献 2の方法を利用する場合には、トータル歪と符号量の算出の ため、 2種類の予測ブロックの候補を仮想的に符号化'復号する必要がある。また、 Τ MP— Lについては、変換部 2103から出力される変換データ(量子化データ)も仮想 的に符号化し、符号量に換算する必要がある。選択された予測ブロックは、加算部 1 06と減算部 102に出力され、変換'符号化される。選択部にて TMP— Lを選択した 場合には、スィッチ 3013をオンとし、変換部 2103からの出力される変換データ(量 子化データ)を符号ィ匕部 3004に出力する。符号ィ匕部 3004では、変換部 103、変換 部 2103 (TMP—Lの場合)、及び選択部(必要の場合)からのデータをまとめて符号 化する。
[0189] なお、変換部 103, 2103にて量子化を実施する場合、変換部 2103の量子化精度 を変換部 103の量子化精度より高く設定すると符号ィ匕効率が向上する。縮小ブロック は符号ィ匕対象ブロックよりも少ない符号量で符号ィ匕できるため、量子化精度を高くし ても符号量は増大しない。そのため、符号ィ匕効率を劣化させずに画質を向上できると いう効果がある。
[0190] 図 31の動画像復号装置 3001では、図 27と比較して、復号部 3101と切り替え部 3 109の機能、及び予測生成部 605から出力される予測ブロックの扱いが異なる。復 号部 3101では、まず選択情報をエントロピー復号する。予測符号ィ匕方法が TMP-L モードのときは、縮小ブロックの変換データ(量子化データ)をエントロピー復号する。 縮小ブロックの変換データ(量子化データ)は切り替え部 3109の制御により逆変換 部 2202に出力される。拡大ブロックの変換データ(量子化データ)をエントロピー復 号し、切り替え部 3109の制御により逆変換部 602に出力される。また、選択情報に 基づくスィッチ 3110の制御により、予測生成部 605にてテンプレートマッチングによ り生成された予測ブロックは縮小化部 2207に出力される。加算部 603は、逆変換部 602から得られる差分ブロックと拡大部 2208から得られる予測ブロックを加算して復 号ブロックを生成する。一方、予測符号ィ匕方法が TMP— Eモードのときは、ェントロ ピー復号された変換データ(量子化データ)は、切り替え部 3109の制御により逆変 換部 602に出力される。また、選択情報に基づくスィッチ 3110の制御により、予測生 成部 605にてテンプレートマッチングにより生成された予測ブロックは加算部 603に 出力される。加算部 603では、逆変換部 602から得られる差分ブロックと、スィッチ 31 10を通して予測生成部 605から得られた予測ブロックを加算して復号ブロックを生成 する。
[0191] なお、この変形例にお!、ても、本実施形態の変形例(1)に示したテンプレート予測 方法及び変形例(3)や (4)に示したモード選択方法を適用することは可能である。
[0192] ここで、上述した一連の符号ィ匕処理を動画像符号ィ匕装置に実行させるための動画 像符号ィ匕プログラムについて説明する。図 16に示すように、動画像符号化プログラム 1601は、動画像符号化装置により読取可能、又は備えられる記録媒体 1600に形 成されたプログラム格納領域 1600a内に格納される。
[0193] 動画像符号ィ匕プログラム 1601は、動画像符号化処理を統括的に制御するメインモ ジュール 1601aと、領域分割モジュール 1601bと、減算モジュール 1601cと、変換 モジュール 1601dと、符号化モジュール 1601eと、逆変換モジュール 1601fと、加算 モジュール 1601gと、記憶モジュール 1601hと、予測生成モジュール 1601iとを備え て構成されている。また、予測生成モジュール 1601iは、テンプレート領域決定モジ ユール 1601jと、マッチングモジュール 1601kと、補填モジュール 1601mとを備えて いる。
[0194] 上記各モジュールが実行されることにより実現される機能は、上述した動画像符号 化装置 100の各構成要素の機能と同様である。即ち、領域分割モジュール 1601bと 、減算モジュール 1601cと、変換モジュール 1601dと、符号化モジュール 1601eと、 逆変換モジュール 1601fと、カロ算モジュール 1601gと、記憶モジュール 1601hと、予 測生成モジュール 1601iの各モジュールを実行させることによって実現する機能は、 上記の実施形態の動画像符号化装置 100における、領域分割部 101と、減算部 10 2と、変換部 103と、符号化部 104と、逆変換部 105と、加算部 106と、記憶部 107と 、予測生成部 108の機能と同様である。また、テンプレート領域決定モジュール 160 ljと、マッチングモジュール 1601kと、補填モジュール 1601mの各モジュールを実 行させることによって実現する機能は、上記の実施形態の動画像符号化装置 100に おける、テンプレート領域決定部 201と、マッチング部 202と、補填部 203の機能と同 様である。
[0195] 続いて、上述した一連の復号処理を動画像復号装置に実行させるための動画像 復号プログラムについて説明する。図 17に示すように、動画像復号プログラム 1701 は、動画像復号装置により読取可能、又は備えられる記録媒体 1700に形成された プログラム格納領域 1700a内に格納される。 [0196] 動画像復号プログラム 1701は、動画像復号処理を統括的に制御するメインモジュ ール 1701aと、復号モジュール 1701bと、逆変換モジュール 1701cと、加算モジュ ール 1701dと、記憶モジュール 1701eと、予測生成モジュール 1701fとを備えて構 成されている。また、予測生成モジュール 1701fは、テンプレート領域決定モジユー ル 1701gと、マッチングモジュール 1701hと、補填モジュール 1701iとを備えている
[0197] 上記各モジュールが実行されることにより実現される機能は、上述した動画像復号 装置 600の各構成要素の機能と同様である。即ち、復号モジュール 1701bと、逆変 換モジュール 1701cと、カロ算モジュール 1701dと、記憶モジュール 1701eと、予測 生成モジュール 1701fの各モジュールを実行させることによって実現する機能は、上 記の実施形態の動画像復号装置 600における、復号部 601と、逆変換部 602と、加 算部 603と、記憶部 604と、予測生成部 605の機能と同様である。また、テンプレート 領域決定モジュール 1701gと、マッチングモジュール 1701hと、補填モジュール 170 liの各モジュールを実行させることによって実現する機能は、上記の実施形態の動 画像符号ィ匕装置 100又は動画像復号装置 600における、テンプレート領域決定部 2 01と、マッチング部 202と、補填部 203の機能と同様である。
[0198] なお、動画像符号ィ匕プログラム 1601及び動画像復号プログラム 1701は、その一 部若しくは全部が、通信回線等の伝送媒体を介して伝送され、他の機器により受信 されて記録 (インストールを含む)される構成としてもよ!/、。
[0199] ここでは、第 1の実施形態に示した図 1と図 6とに記載の動画像符号化装置 100、 動画像復号装置 600に対応する動画像符号化プログラム 1601と動画像復号プログ ラム 1701について説明したが、第 1実施形態の変形例、第 2及び第 3実施形態、並 びにその変形例についても、動画像符号化装置、動画像復号装置の機能を実施す るモジュールを用意するこことにより、動画像符号ィ匕プログラムならびに動画像復号 プログラムを構成できるため、本発明に含まれる。

Claims

請求の範囲
[1] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置であって、
前記動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割 する分割手段と、
前記符号化対象ブロックを符号化する符号化手段と、
前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成 手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段 により記憶された再生済み動画像データに属する再生信号力 生成されるテンプレ ートを用いて、前記符号化対象ブロックの予測信号である予測ブロックを生成する予 測信号生成手段と、を備え、
前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で 減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分 ブロックを符号ィ匕し、
前記再生画像生成手段は、前記符号化手段により符号化された差分ブロックの再 生信号である復号差分ブロックを生成し、当該復号差分ブロックと前記予測ブロックと を画素単位で加算して、復号ブロックを生成する、
ことを特徴とする動画像符号化装置。
[2] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置であって、
前記動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割 する分割手段と、
前記符号化対象ブロックを符号化する符号化手段と、
前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成 手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段 により記憶された再生済み動画像データに属する再生信号力 生成されるテンプレ ートと相関が高い画素群を、前記記憶手段により記憶された再生済み動画像データ から探索する探索手段と、
前記探索手段により探索された画素群と前記所定の位置関係とに基づいて、前記 符号化対象ブロックの予測信号である予測ブロックを、前記記憶手段により記憶され た再生済み動画像データから決定する予測信号決定手段と、を備え、
前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で 減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分 ブロックを符号ィ匕し、
前記再生画像生成手段は、前記符号化手段により符号化された差分ブロックの再 生信号である復号差分ブロックを生成し、当該復号差分ブロックと前記予測ブロックと を画素単位で加算して、復号ブロックを生成する、
ことを特徴とする動画像符号化装置。
[3] 前記テンプレートと前記記憶手段により記憶された再生済み動画像データとを比較 して、当該比較結果に基づき前記符号ィ匕対象ブロックの画像の空間的連続性を推 定する推定手段と、
前記推定手段により推定された画像の空間的連続性に基づいて、前記符号化対 象ブロックを更に分割して当該分割された符号化対象ブロックを新たな符号化対象 ブロックとして設定すると共に当該新たな符号化対象ブロックに対するテンプレートを 設定する設定手段と、
を更に備える請求項 2に記載の動画像符号ィヒ装置。
[4] 動画像データの符号ィ匕データをブロック単位で再生済み動画像データに再生する 動画像復号装置であって、
復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手 段と、
前記復号手段により復号された符号ィヒデータ力 前記復号対象ブロックの再生信 号である復号ブロックを生成する再生画像生成手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段に より記憶された再生済み動画像データに属する再生信号から生成されるテンプレー トを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する予測信 号生成手段と、を備え、
前記復号手段は、前記復号対象ブロックの差分信号である復号差分ブロックを生 成し、
前記再生画像生成手段は、前記復号差分ブロックと前記予測ブロックとを画素単 位で加算して、復号ブロックを生成する、
ことを特徴とする動画像復号装置。
[5] 動画像データの符号ィ匕データをブロック単位で再生済み動画像データに再生する 動画像復号装置であって、
復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手 段と、
前記復号手段により復号された符号ィヒデータ力 前記復号対象ブロックの再生信 号である復号ブロックを生成する再生画像生成手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段に より記憶された再生済み動画像データに属する再生信号から生成されるテンプレー トと相関が高い画素群を、前記記憶手段により記憶された再生済み動画像データか ら探索する探索手段と、
前記探索手段により探索された画素群と前記所定の位置関係とに基づいて、前記 復号対象ブロックの予測信号である予測ブロックを、前記記憶手段により記憶された 再生済み動画像データから決定する予測信号決定手段と、を備え、
前記復号手段は、前記復号対象ブロックの差分信号である復号差分ブロックを生 成し、
前記再生画像生成手段は、前記復号差分ブロックと前記予測ブロックとを画素単 位で加算して、復号ブロックを生成する、
ことを特徴とする動画像復号装置。
[6] 前記テンプレートと前記記憶手段により記憶された再生済み動画像データとを比較 して、当該比較結果に基づき前記復号対象ブロックの画像の空間的連続性を推定 する推定手段と、
前記推定手段により推定された画像の空間的連続性に基づいて、前記復号対象 ブロックを更に分割して当該分割された前記復号対象ブロックを新たな復号対象プロ ックとして設定すると共に当該新たな復号対象ブロックに対するテンプレートを設定 する設定手段と、
を更に備える請求項 5に記載の動画像復号装置。
[7] 前記符号化手段は、前記差分ブロックを、画素数を所定の方法で減少させる縮小 処理により、当該差分ブロックよりも画素数の少ない縮小差分ブロックとして生成して 、当該縮小差分ブロックを符号化し、
前記再生画像生成手段は、前記縮小差分ブロックの再生信号である復号縮小差 分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号 縮小差分ブロック力 復号ブロックを生成する、
ことを特徴とする請求項 1〜3のいずれか一項に記載の動画像符号ィ匕装置。
[8] 前記復号手段は、前記符号化データを復号することにより、前記差分ブロックよりも 画素数の少な ヽ復号縮小差分ブロックを生成して、
前記再生画像生成手段は、画素数を前記所定の方法で増加させる拡大処理により 、前記復号縮小差分ブロックから復号ブロックを生成する、
ことを特徴とする請求項 4〜6のいずれか一項に記載の動画像復号装置。
[9] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置であって、
前記動画像データを構成するフレーム画像を、前記符号化の対象となる領域として 複数の符号化対象ブロックに分割する分割手段と、
前記符号化対象ブロックを符号化する符号化手段と、
前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成 手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段 により記憶された再生済み動画像データに属する再生信号から、予め定められた手 法により前記符号化対象ブロックの予測信号である予測ブロックを生成する予測信 号生成手段と、を備え、
前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で 減算した当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定 の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少な 、縮小差 分ブロックを生成して、当該縮小差分ブロックを符号化し、
前記再生画像生成手段は、前記縮小差分ブロックの再生信号である復号縮小差 分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号 縮小差分ブロック力 復号ブロックを生成する、
ことを特徴とする動画像符号化装置。
[10] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する 動画像復号装置であって、
復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手 段と、
前記復号手段により復号された符号ィヒデータ力 前記復号対象ブロックの再生信 号である復号ブロックを生成する再生画像生成手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段に より記憶された再生済み動画像データに属する再生信号から、予め定められた手法 により前記復号対象ブロックの予測信号である予測ブロックを生成する予測信号生 成手段と、を備え、
前記復号手段は、前記符号化データを復号することにより、前記復号対象ブロック の差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成し て、
前記再生画像生成手段は、画素数を所定の方法で増加させる拡大処理により、前 記復号縮小差分ブロック力 復号ブロックを生成する、
ことを特徴とする動画像復号装置。
[11] 前記符号化手段は、前記符号化対象ブロック及び前記予測ブロックに前記縮小処 理を適用してそれぞれ縮小ブロック及び縮小予測ブロックとして、当該縮小ブロック 力 当該縮小予測ブロックを画素単位で減算して縮小差分ブロックを生成し、 前記再生画像生成手段は、前記符号化手段により符号化された縮小差分ブロック の再生信号である復号縮小差分ブロックを生成して、当該復号縮小差分ブロックと前 記縮小予測ブロックとを画素単位で加算して復号縮小ブロックを生成して、当該復号 縮小ブロックに拡大処理を適用して復号ブロックを生成する、
ことを特徴とする請求項 7又は 9に記載の動画像符号ィ匕装置。
[12] 前記符号化手段は、前記差分ブロックに対して前記縮小処理を適用することにより 縮小差分ブロックを生成し、
前記再生画像生成手段は、前記符号化手段により符号化された縮小差分ブロック の再生信号である復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理 を適用することにより復号差分ブロックを生成して、当該復号差分ブロックと前記予測 ブロックとを画素単位で加算して復号ブロックを生成する、
ことを特徴とする請求項 7又は 9に記載の動画像符号ィ匕装置。
[13] 前記再生画像生成手段は、前記予測ブロックに前記縮小処理を適用して縮小予 測ブロックとし、前記復号縮小差分ブロックと当該縮小予測ブロックとを画素単位で 加算して復号縮小ブロックを生成して、当該復号縮小ブロックに拡大処理を適用して 復号ブロックを生成することを特徴とする請求項 8又は 10に記載の動画像復号装置
[14] 前記再生画像生成手段は、前記復号縮小差分ブロックに前記拡大処理を適用す ることにより復号差分ブロックを生成して、当該復号差分ブロックと前記予測ブロックと を画素単位で加算して復号ブロックを生成することを特徴とする請求項 8又は 10に記 載の動画像復号装置。
[15] 前記予測信号決定手段は、形状の異なる複数の前記テンプレートから 1つのテン プレートを選択することを特徴とする請求項 2, 3, 7, 11, 12のいずれか一項に記載 の動画像符号化装置。
[16] 前記予測信号決定手段は、前記記憶手段により記憶された再生済み動画像デー タの再生信号又は当該再生信号に関する情報を参照して、前記 1つのテンプレート を選択することを特徴とする請求項 15に記載の動画像符号化装置。
[17] 前記符号化手段は、前記予測信号決定手段により選択されたテンプレートを特定 する情報を符号化することを特徴とする請求項 15に記載の動画像符号化装置。
[18] 前記予測信号決定手段は、形状の異なる複数の前記テンプレートから 1つのテン プレートを選択することを特徴とする請求項 5, 6, 8, 13, 14のいずれか一項に記載 の動画像復号装置。
[19] 前記予測信号決定手段は、前記記憶手段により記憶された再生済み動画像デー タの再生信号又は当該再生信号に関する情報を参照して、前記 1つのテンプレート を選択することを特徴とする請求項 18に記載の動画像復号装置。
[20] 前記復号手段は、選択されるテンプレートを特定する情報を復号して、
前記予測信号決定手段は、前記復号手段により復号された選択されるテンプレー トを特定する情報を参照して、形状の異なる複数の前記テンプレートから 1つのテン プレートを選択することを特徴とする請求項 18に記載の動画像復号装置。
[21] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置における動画像符号 化方法であって、
前記動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割 する分割ステップと、
前記符号化対象ブロックを符号化する符号化ステップと、
前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成 ステップと、
前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、 前記符号ィヒ対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステ ップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテ ンプレートを用いて、前記符号化対象ブロックの予測信号である予測ブロックを生成 する予測信号生成ステップと、を有し、
前記符号化ステップにお ヽて、前記符号化対象ブロックから前記予測ブロックを画 素単位で減算して当該符号ィ匕対象ブロックの差分信号である差分ブロックを生成し、 当該差分ブロックを符号化し、 前記再生画像生成ステップにお 、て、前記符号化ステップにお 、て符号化された 差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと 前記予測ブロックとを画素単位で加算して、復号ブロックを生成する、
ことを特徴とする動画像符号化方法。
[22] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置における動画像符号 化方法であって、
前記動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割 する分割ステップと、
前記符号化対象ブロックを符号化する符号化ステップと、
前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成 ステップと、
前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、 前記符号ィヒ対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステ ップにおいて記憶された再生済み動画像データに属する再生信号から生成されるテ ンプレートと相関が高い画素群を、前記記憶ステップにおいて記憶された再生済み 動画像データから探索する探索ステップと、
前記探索ステップにおいて探索された画素群と前記所定の位置関係とに基づいて 、前記符号化対象ブロックの予測信号である予測ブロックを、前記記憶ステップにお V、て記憶された再生済み動画像データ力 決定する予測信号決定ステップと、を有 し、
前記符号化ステップにお ヽて、前記符号化対象ブロックから前記予測ブロックを画 素単位で減算して当該符号ィ匕対象ブロックの差分信号である差分ブロックを生成し、 当該差分ブロックを符号化し、
前記再生画像生成ステップにお 、て、前記符号化ステップにお 、て符号化された 差分ブロックの再生信号である復号差分ブロックを生成し、当該復号差分ブロックと 前記予測ブロックとを画素単位で加算して、復号ブロックを生成する、
ことを特徴とする動画像符号化方法。
[23] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する 動画像復号装置における動画像復号方法であって、
復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ス テツプと、
前記復号ステップにおいて復号された符号ィ匕データ力 前記復号対象ブロックの 再生信号である復号ブロックを生成する再生画像生成ステップと、
前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、 前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステツ プにおいて記憶された再生済み動画像データに属する再生信号力 生成されるテン プレートを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する 予測信号生成ステップと、を有し、
前記復号ステップにお!ヽて、前記復号対象ブロックの差分信号である復号差分ブ ロックを生成し、
前記再生画像生成ステップにお 、て、前記復号差分ブロックと前記予測ブロックと を画素単位で加算して、復号ブロックを生成する、
ことを特徴とする動画像復号方法。
動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する 動画像復号装置における動画像復号方法であって、
復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ス テツプと、
前記復号ステップにおいて復号された符号ィ匕データ力 前記復号対象ブロックの 再生信号である復号ブロックを生成する再生画像生成ステップと、
前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、 前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステツ プにおいて記憶された再生済み動画像データに属する再生信号力 生成されるテン プレートと相関が高い画素群を、前記記憶ステップにおいて記憶された再生済み動 画像データ力 探索する探索ステップと、
前記探索ステップにおいて探索された画素群と前記所定の位置関係とに基づいて 、前記復号対象ブロックの予測信号である予測ブロックを、前記記憶ステップにおい て記憶された再生済み動画像データ力 決定する予測信号決定ステップと、を有し、 前記復号ステップにお!ヽて、前記復号対象ブロックの差分信号である復号差分ブ ロックを生成し、
前記再生画像生成ステップにお 、て、前記復号差分ブロックと前記予測ブロックと を画素単位で加算して、復号ブロックを生成する、
ことを特徴とする動画像復号方法。
[25] 動画像データをブロック単位で符号ィ匕する動画像符号ィ匕装置における動画像符号 化方法であって、
前記動画像データを構成するフレーム画像を、前記符号化の対象となる領域として 複数の符号化対象ブロックに分割する分割ステップと、
前記符号化対象ブロックを符号化する符号化ステップと、
前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成 ステップと、
前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、 前記符号ィヒ対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステ ップにおいて記憶された再生済み動画像データに属する再生信号から、予め定めら れた手法により前記符号化対象ブロックの予測信号である予測ブロックを生成する予 測信号生成ステップと、を有し、
前記符号化ステップにお ヽて、前記符号化対象ブロックから前記予測ブロックを画 素単位で減算した当該符号ィ匕対象ブロックの差分信号である差分ブロックを、画素 数を所定の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少な V、縮小差分ブロックを生成して、当該縮小差分ブロックを符号化し、
前記再生画像生成ステップにお 、て、前記縮小差分ブロックの再生信号である復 号縮小差分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、 当該復号縮小差分ブロックから復号ブロックを生成する、
ことを特徴とする動画像符号化方法。
[26] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する 動画像復号装置における動画像復号方法であって、 復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号ス テツプと、
前記復号ステップにおいて復号された符号ィ匕データ力 前記復号対象ブロックの 再生信号である復号ブロックを生成する再生画像生成ステップと、
前記再生信号から生成される再生済み動画像データを記憶する記憶ステップと、 前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶ステツ プにおいて記憶された再生済み動画像データに属する再生信号から、予め定められ た手法により前記復号対象ブロックの予測信号である予測ブロックを生成する予測信 号生成ステップと、を有し、
前記復号ステップにおいて、前記符号化データを復号することにより、前記復号対 象ブロックの差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロッ クを生成して、
前記再生画像生成ステップにお 、て、画素数を所定の方法で増加させる拡大処理 により、前記復号縮小差分ブロック力も復号ブロックを生成する、
ことを特徴とする動画像復号方法。
動画像データをブロック単位で符号化する動画像符号化装置を制御する動画像符 号化プログラムであって、
前記動画像符号化装置を、
前記動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割 する分割手段と、
前記符号化対象ブロックを符号化する符号化手段と、
前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成 手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段 により記憶された再生済み動画像データに属する再生信号力 生成されるテンプレ ートを用いて、前記符号化対象ブロックの予測信号である予測ブロックを生成する予 測信号生成手段として機能させ、 前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で 減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分 ブロックを符号ィ匕し、
前記再生画像生成手段は、前記符号化手段により符号化された差分ブロックの再 生信号である復号差分ブロックを生成し、当該復号差分ブロックと前記予測ブロックと を画素単位で加算して、復号ブロックを生成する、
ことを特徴とする動画像符号化プログラム。
動画像データをブロック単位で符号化する動画像符号化装置を制御する動画像符 号化プログラムであって、
前記動画像符号化装置を、
前記動画像データを構成するフレーム画像を、複数の符号化対象ブロックに分割 する分割手段と、
前記符号化対象ブロックを符号化する符号化手段と、
前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成 手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段 により記憶された再生済み動画像データに属する再生信号力 生成されるテンプレ ートと相関が高い画素群を、前記記憶手段により記憶された再生済み動画像データ から探索する探索手段と、
前記探索手段により探索された画素群と前記所定の位置関係とに基づいて、前記 符号化対象ブロックの予測信号である予測ブロックを、前記記憶手段により記憶され た再生済み動画像データから決定する予測信号決定手段として機能させ、
前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で 減算して当該符号化対象ブロックの差分信号である差分ブロックを生成し、当該差分 ブロックを符号ィ匕し、
前記再生画像生成手段は、前記符号化手段により符号化された差分ブロックの再 生信号である復号差分ブロックを生成し、当該復号差分ブロックと前記予測ブロックと を画素単位で加算して、復号ブロックを生成する、
ことを特徴とする動画像符号化プログラム。
[29] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する 動画像復号装置を制御する動画像復号プログラムであって、
前記動画像復号装置を、
復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手 段と、
前記復号手段により復号された符号ィヒデータ力 前記復号対象ブロックの再生信 号である復号ブロックを生成する再生画像生成手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段に より記憶された再生済み動画像データに属する再生信号から生成されるテンプレー トを用いて、当該復号対象ブロックの予測信号である予測ブロックを生成する予測信 号生成手段として機能させ、
前記復号手段は、前記復号対象ブロックの差分信号である復号差分ブロックを生 成し、
前記再生画像生成手段は、前記復号差分ブロックと前記予測ブロックとを画素単 位で加算して、復号ブロックを生成する、
ことを特徴とする動画像復号プログラム。
[30] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する 動画像復号装置を制御する動画像復号プログラムであって、
前記動画像復号装置を、
復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手 段と、
前記復号手段により復号された符号ィヒデータ力 前記復号対象ブロックの再生信 号である復号ブロックを生成する再生画像生成手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段に より記憶された再生済み動画像データに属する再生信号から生成されるテンプレー トと相関が高い画素群を、前記記憶手段により記憶された再生済み動画像データか ら探索する探索手段と、
前記探索手段により探索された画素群と前記所定の位置関係とに基づいて、前記 復号対象ブロックの予測信号である予測ブロックを、前記記憶手段により記憶された 再生済み動画像データから決定する予測信号決定手段として機能させ、
前記復号手段は、前記復号対象ブロックの差分信号である復号差分ブロックを生 成し、
前記再生画像生成手段は、前記復号差分ブロックと前記予測ブロックとを画素単 位で加算して、復号ブロックを生成する、
ことを特徴とする動画像復号プログラム。
動画像データをブロック単位で符号化する動画像符号化装置を制御する動画像符 号化プログラムであって、
前記動画像符号化装置を、
前記動画像データを構成するフレーム画像を、前記符号化の対象となる領域として 複数の符号化対象ブロックに分割する分割手段と、
前記符号化対象ブロックを符号化する符号化手段と、
前記符号化対象ブロックの再生信号である復号ブロックを生成する再生画像生成 手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記符号化対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段 により記憶された再生済み動画像データに属する再生信号から、予め定められた手 法により前記符号化対象ブロックの予測信号である予測ブロックを生成する予測信 号生成手段として機能させ、
前記符号化手段は、前記符号化対象ブロックから前記予測ブロックを画素単位で 減算した当該符号化対象ブロックの差分信号である差分ブロックを、画素数を所定 の方法で減少させる縮小処理により、当該差分ブロックよりも画素数の少な 、縮小差 分ブロックを生成して、当該縮小差分ブロックを符号化し、 前記再生画像生成手段は、前記縮小差分ブロックの再生信号である復号縮小差 分ブロックを生成して、画素数を所定の方法で増加させる拡大処理により、当該復号 縮小差分ブロック力 復号ブロックを生成する、
ことを特徴とする動画像符号化プログラム。
[32] 動画像データの符号ィヒデータをブロック単位で再生済み動画像データに再生する 動画像復号装置を制御する動画像復号プログラムであって、
前記動画像復号装置を、
復号対象となる復号対象ブロックの再生に要する符号化データを復号する復号手 段と、
前記復号手段により復号された符号ィヒデータ力 前記復号対象ブロックの再生信 号である復号ブロックを生成する再生画像生成手段と、
前記再生信号から生成される再生済み動画像データを記憶する記憶手段と、 前記復号対象ブロックに対して所定の位置関係で隣接すると共に前記記憶手段に より記憶された再生済み動画像データに属する再生信号から、予め定められた手法 により前記復号対象ブロックの予測信号である予測ブロックを生成する予測信号生 成手段として機能させ、
前記復号手段は、前記符号化データを復号することにより、前記復号対象ブロック の差分信号である差分ブロックよりも画素数の少ない復号縮小差分ブロックを生成し て、
前記再生画像生成手段は、画素数を所定の方法で増加させる拡大処理により、前 記復号縮小差分ブロック力 復号ブロックを生成する、
ことを特徴とする動画像復号プログラム。
[33] 動画像データを符号化する動画像符号化装置であって、
前記動画像データを構成するフレーム画像を、前記符号化の対象となる領域として 複数の領域に分割する分割手段と、
前記分割手段により分割された各領域の画像を符号ィ匕する符号ィ匕手段と、 前記符号化手段により符号化された画像の再生画像を生成する再生画像生成手 段と、 前記再生画像生成手段により生成された再生画像を記憶する記憶手段と、 前記符号化手段による符号化の対象となる画像の領域に対して所定の位置関係 で隣接すると共に前記記憶手段により記憶された再生画像の一部であるテンプレー ト領域の再生画像と相関が高い画像の領域を、前記記憶手段により記憶された再生 画像から探索する探索手段と、
前記探索手段により探索された領域と前記所定の位置関係とに基づいて、前記符 号化の対象となる領域の予測信号を、前記記憶手段により記憶された再生画像から 決定する予測信号決定手段と、を備え、
前記符号化手段は、前記予測信号決定手段により決定された予測信号と前記符 号化の対象となる領域の画像との差分信号を生成し、当該差分信号を符号化する、 ことを特徴とする動画像符号化装置。
複数の領域に分割されたフレーム画像が符号化された動画像データを復号する動 画像復号装置であって、
前記符号化された前記各領域のデータを復号する復号手段と、
前記復号手段により復号された画像力 再生画像を生成する再生画像生成手段と 前記再生画像生成手段により生成された画像を記憶する記憶手段と、
前記復号手段による復号の対象となる画像の領域に対して所定の位置関係で隣 接すると共に前記記憶手段により記憶された再生画像の一部であるテンプレート領 域の再生画像と相関が高い画像の領域を、前記記憶手段により記憶された再生画 像から探索する探索手段と、
前記探索手段により探索された領域と前記所定の位置関係とに基づいて、前記復 号の対象となる領域の予測信号を、前記記憶手段により記憶された再生画像から決 定する予測信号決定手段と、を備え、
前記再生画像生成手段は、前記予測信号決定手段により決定された予測信号と 前記復号手段により復号された画像との和信号を生成することにより再生画像とする ことを特徴とする動画像復号装置,
PCT/JP2006/313416 2005-07-05 2006-07-05 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム WO2007004678A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP06780792A EP1919223A4 (en) 2005-07-05 2006-07-05 DEVICE, METHOD AND PROGRAM FOR DYNAMIC IMAGE ENCODING AND DYNAMIC IMAGE DECODING DEVICE, METHOD, AND PROGRAM
US11/994,712 US8369628B2 (en) 2005-07-05 2006-07-05 Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program
KR1020127029681A KR20120138248A (ko) 2005-07-05 2006-07-05 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
US13/596,672 US9282340B2 (en) 2005-07-05 2012-08-28 Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005196351 2005-07-05
JP2005-196351 2005-07-05
JP2006-094391 2006-03-30
JP2006094391A JP2007043651A (ja) 2005-07-05 2006-03-30 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US11/994,712 A-371-Of-International US8369628B2 (en) 2005-07-05 2006-07-05 Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program
US13/596,672 Continuation US9282340B2 (en) 2005-07-05 2012-08-28 Video encoding device, video encoding method, video encoding program, video decoding device, video decoding method, and video decoding program

Publications (1)

Publication Number Publication Date
WO2007004678A1 true WO2007004678A1 (ja) 2007-01-11

Family

ID=37604537

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/313416 WO2007004678A1 (ja) 2005-07-05 2006-07-05 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム

Country Status (7)

Country Link
US (2) US8369628B2 (ja)
EP (3) EP2475175A3 (ja)
JP (1) JP2007043651A (ja)
KR (4) KR20100019541A (ja)
CN (1) CN103024382B (ja)
RU (2) RU2391794C2 (ja)
WO (1) WO2007004678A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007093629A1 (en) * 2006-02-17 2007-08-23 Thomson Licensing Process for coding images using intra prediction mode
WO2008126843A1 (ja) * 2007-04-09 2008-10-23 Ntt Docomo, Inc. 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
JP2008283662A (ja) * 2007-04-09 2008-11-20 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
JP2008289005A (ja) * 2007-05-18 2008-11-27 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
JP2008300943A (ja) * 2007-05-29 2008-12-11 Sharp Corp 画像復号装置及び画像符号化装置
EP2262270A1 (en) * 2008-04-11 2010-12-15 Huawei Technologies Co., Ltd. Method, device and system for interframe prediction encoding and decoding
JP2011205693A (ja) * 2011-06-14 2011-10-13 Sharp Corp 画像復号装置及び画像符号化装置
RU2472305C2 (ru) * 2007-02-23 2013-01-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования видео и способ декодирования видео, устройства для этого, программы для этого и носители хранения, на которых хранятся программы
US9565442B2 (en) 2011-11-08 2017-02-07 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
JP2018513571A (ja) * 2016-02-17 2018-05-24 テレフオンアクチーボラゲット エルエム エリクソン(パブル) ビデオピクチャを符号化および復号する方法および装置
US11700384B2 (en) 2011-07-17 2023-07-11 Qualcomm Incorporated Signaling picture size in video coding

Families Citing this family (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007244443A1 (en) * 2006-04-28 2007-11-08 Ntt Docomo, Inc. Image predictive coding device, image predictive coding method, image predictive coding program, image predictive decoding device, image predictive decoding method and image predictive decoding program
JP4994767B2 (ja) * 2006-10-03 2012-08-08 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
CN101573982B (zh) * 2006-11-03 2011-08-03 三星电子株式会社 利用运动矢量跟踪编码/解码图像的方法和装置
KR101365567B1 (ko) * 2007-01-04 2014-02-20 삼성전자주식회사 영상의 예측 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP2010509799A (ja) * 2006-11-03 2010-03-25 サムスン エレクトロニクス カンパニー リミテッド 映像の予測符号化方法及び装置、その復号化方法及び装置
JP4685825B2 (ja) * 2007-04-06 2011-05-18 学校法人東京理科大学 動画像復号装置、方法及びプログラム、並びに、動画像符号化装置、方法及びプログラム
KR101378338B1 (ko) * 2007-06-14 2014-03-28 삼성전자주식회사 영상 복구를 이용한 인트라 예측 부호화, 복호화 방법 및장치
US20090003443A1 (en) * 2007-06-26 2009-01-01 Nokia Corporation Priority-based template matching intra prediction video and image coding
EP2034742A3 (en) 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device
KR101403343B1 (ko) * 2007-10-04 2014-06-09 삼성전자주식회사 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
CN101415122B (zh) * 2007-10-15 2011-11-16 华为技术有限公司 一种帧间预测编解码方法及装置
EP2232869A1 (fr) * 2007-11-28 2010-09-29 France Telecom Codage de mouvement sans transmission d' information de mouvement, et decodage
EP2234403A4 (en) * 2007-12-28 2011-12-21 Sharp Kk MOBILE IMAGE ENCODER AND DECODER
JP5011138B2 (ja) * 2008-01-25 2012-08-29 株式会社日立製作所 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法
KR20090095012A (ko) * 2008-03-04 2009-09-09 삼성전자주식회사 연속적인 움직임 추정을 이용한 영상 부호화, 복호화 방법및 장치
JP2011515060A (ja) * 2008-03-09 2011-05-12 エルジー エレクトロニクス インコーポレイティド ビデオ信号のエンコーディングまたはデコーディング方法及び装置
JP4623111B2 (ja) 2008-03-13 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP5413923B2 (ja) * 2008-04-11 2014-02-12 トムソン ライセンシング 変位イントラ予測およびテンプレート・マッチングのためのデブロッキング・フィルタリング
JP5406465B2 (ja) * 2008-04-24 2014-02-05 株式会社Nttドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法及び画像予測復号プログラム
JP2010035137A (ja) * 2008-07-01 2010-02-12 Sony Corp 画像処理装置および方法、並びにプログラム
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
JP2010016453A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
CN102106149A (zh) * 2008-08-08 2011-06-22 夏普株式会社 动态图像编码装置以及动态图像解码装置
US20110170605A1 (en) * 2008-09-24 2011-07-14 Kazushi Sato Image processing apparatus and image processing method
CN102160381A (zh) * 2008-09-24 2011-08-17 索尼公司 图像处理设备和方法
WO2010035733A1 (ja) * 2008-09-24 2010-04-01 ソニー株式会社 画像処理装置および方法
WO2010035735A1 (ja) * 2008-09-24 2010-04-01 ソニー株式会社 画像処理装置および方法
JP5422168B2 (ja) 2008-09-29 2014-02-19 株式会社日立製作所 動画像符号化方法および動画像復号化方法
CN102224734B (zh) * 2008-10-02 2013-11-13 索尼公司 图像处理设备和方法
KR101098739B1 (ko) * 2008-11-24 2011-12-23 한국전자통신연구원 비디오 신호의 부호화/복호화 장치 및 방법
EP2392141A1 (fr) * 2009-01-28 2011-12-07 France Telecom Procede et dispositif de codage d'une image utilisant un masque de prediction, procede et dispositif de decodage, signal et programmes d'ordinateur correspondants
TW201032600A (en) * 2009-02-20 2010-09-01 Sony Corp Image processing device and method
TWI405469B (zh) * 2009-02-20 2013-08-11 Sony Corp Image processing apparatus and method
DK3567852T3 (da) * 2009-03-23 2023-01-16 Ntt Docomo Inc Billedforudsigelsesafkodningsindretning og billedforudsigelsesafkodningsfremgangsmåde
JP2010258738A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
JP2010268259A (ja) * 2009-05-15 2010-11-25 Sony Corp 画像処理装置および方法、並びにプログラム
US8873626B2 (en) * 2009-07-02 2014-10-28 Qualcomm Incorporated Template matching for video coding
CN102577391A (zh) * 2009-10-20 2012-07-11 夏普株式会社 图像编码装置、图像解码装置、以及编码数据的数据结构
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP5321426B2 (ja) * 2009-11-26 2013-10-23 株式会社Jvcケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
KR101601854B1 (ko) * 2009-12-04 2016-03-10 에스케이 텔레콤주식회사 공간적 예측장치 및 그 예측방법, 그것을 이용한 영상 부호화 장치 및 방법, 및 영상 복호화 장치 및 방법
WO2011071514A2 (en) * 2009-12-08 2011-06-16 Thomson Licensing Methods and apparatus for adaptive residual updating of template matching prediction for video encoding and decoding
JP5321439B2 (ja) 2009-12-15 2013-10-23 株式会社Jvcケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法
CN102804774B (zh) 2010-01-19 2016-08-24 汤姆逊许可证公司 用于视频编解码的降低了复杂度的模板匹配预测方法和装置
US9813707B2 (en) 2010-01-22 2017-11-07 Thomson Licensing Dtv Data pruning for video compression using example-based super-resolution
KR101789845B1 (ko) 2010-01-22 2017-11-20 톰슨 라이센싱 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
EP3703369B1 (en) * 2010-04-13 2024-07-24 GE Video Compression, LLC Sample region merging
CN106067983B (zh) 2010-04-13 2019-07-12 Ge视频压缩有限责任公司 解码数据流的方法、生成数据流的方法及解码器
CN106231337B (zh) 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
BR122020008249B1 (pt) 2010-04-13 2021-02-17 Ge Video Compression, Llc herança em amostra de arranjo em subdivisão multitree
JP5455229B2 (ja) * 2010-04-26 2014-03-26 株式会社Kddi研究所 画像符号化装置及び画像復号装置
PL3104616T3 (pl) 2010-07-09 2017-10-31 Samsung Electronics Co Ltd Urządzenie do entropijnego dekodowania współczynników przekształcenia
WO2012005537A2 (ko) * 2010-07-09 2012-01-12 한국전자통신연구원 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
US10091529B2 (en) * 2010-07-09 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding/decoding a transform coefficient
KR101836981B1 (ko) * 2010-07-09 2018-03-09 한국전자통신연구원 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
US9338477B2 (en) 2010-09-10 2016-05-10 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity
US20130163674A1 (en) * 2010-09-10 2013-06-27 Thomson Licensing Encoding of the Link to a Reference Block in Video Compression by Image Content Based on Search and Ranking
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
CN102447895B (zh) * 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
PL3637778T3 (pl) * 2010-10-06 2024-09-23 Ntt Docomo, Inc. Sposób dwupredykcyjnego dekodowania obrazu
US8428375B2 (en) * 2010-11-17 2013-04-23 Via Technologies, Inc. System and method for data compression and decompression in a graphics processing system
KR101950419B1 (ko) 2010-11-24 2019-02-21 벨로스 미디어 인터내셔널 리미티드 움직임 벡터 산출 방법, 화상 부호화 방법, 화상 복호 방법, 움직임 벡터 산출 장치 및 화상 부호화 복호 장치
JP5711514B2 (ja) * 2010-12-14 2015-04-30 日本電信電話株式会社 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム及び復号プログラム
CN103392341A (zh) 2010-12-23 2013-11-13 三星电子株式会社 用于对图像预测单元的帧内预测模式进行编码的方法和装置,以及用于对图像预测单元的帧内预测模式进行解码的方法和装置
JP5594841B2 (ja) 2011-01-06 2014-09-24 Kddi株式会社 画像符号化装置及び画像復号装置
US8913662B2 (en) * 2011-01-06 2014-12-16 Qualcomm Incorporated Indicating intra-prediction mode selection for video coding using CABAC
CN106851306B (zh) * 2011-01-12 2020-08-04 太阳专利托管公司 动态图像解码方法和动态图像解码装置
WO2012096150A1 (ja) * 2011-01-12 2012-07-19 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP5498972B2 (ja) * 2011-01-21 2014-05-21 日本放送協会 符号化装置、復号装置及びプログラム
JP6108309B2 (ja) 2011-02-22 2017-04-05 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
MX2013009864A (es) 2011-03-03 2013-10-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento.
JPWO2012120840A1 (ja) * 2011-03-07 2014-07-17 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
US9832460B2 (en) * 2011-03-09 2017-11-28 Canon Kabushiki Kaisha Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor
US9648334B2 (en) 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
JP5807402B2 (ja) * 2011-06-15 2015-11-10 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding
JP5649524B2 (ja) 2011-06-27 2015-01-07 日本電信電話株式会社 映像符号化方法,装置,映像復号方法,装置およびそれらのプログラム
JP5729817B2 (ja) * 2011-06-29 2015-06-03 日本電信電話株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
MX2014000159A (es) * 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
EP3675497B1 (en) * 2011-10-17 2021-12-29 Kabushiki Kaisha Toshiba Encoding method and decoding method
JP2013102295A (ja) * 2011-11-07 2013-05-23 Canon Inc 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム
EP3280139B1 (en) * 2011-11-08 2020-03-18 Kabushiki Kaisha Toshiba Image decoding method and image decoding apparatus
JP2013115583A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法並びにプログラム
CA2825767C (en) * 2011-12-21 2018-11-27 Panasonic Corporation Image coding method, image decoding method, image coding apparatus and image decoding apparatus
TWI720750B (zh) * 2011-12-28 2021-03-01 日商Jvc建伍股份有限公司 動態影像編碼裝置及動態影像編碼方法
EP2615832A1 (en) * 2012-01-13 2013-07-17 Thomson Licensing Method and device for encoding a block of an image and corresponding reconstructing method and device
WO2013145642A1 (ja) * 2012-03-28 2013-10-03 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、送信装置、送信方法及び送信プログラム、並びに画像復号装置、画像復号方法、画像復号プログラム、受信装置、受信方法及び受信プログラム
CA2847304C (en) 2012-06-27 2017-08-22 Kabushiki Kaisha Toshiba Encoding device, decoding device, encoding method, and decoding method
SI2869563T1 (en) 2012-07-02 2018-08-31 Samsung Electronics Co., Ltd. The process of entropic video decoding
WO2014017809A1 (ko) * 2012-07-24 2014-01-30 한국전자통신연구원 영상의 복호화 방법 및 이를 이용하는 장치
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Nttドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US20150229957A1 (en) * 2012-09-24 2015-08-13 Qualcomm Incorporated Depth map coding
RU2619199C1 (ru) * 2012-11-08 2017-05-12 Кт Корпорейшен Способ декодирования видеосигнала
WO2014094829A1 (en) * 2012-12-18 2014-06-26 Siemens Aktiengesellschaft A method for coding a sequence of digital images
BR112015025151B1 (pt) * 2013-04-09 2022-11-29 Siemens Aktiengesellschaft Método de codificação, método de decodificação, método de codificação e decodificação, aparelho para codificação, aparelho para decodificação e codec para codificar e decodificar uma sequência de imagens digitais
CN104104961B (zh) * 2013-04-10 2018-09-21 华为技术有限公司 一种视频编码方法、解码方法和装置
EP3139605A4 (en) * 2014-04-28 2017-05-17 Panasonic Intellectual Property Corporation of America Encoding method, decoding method, encoding apparatus, and decoding apparatus
JP2019213242A (ja) * 2014-04-28 2019-12-12 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 符号化方法、復号方法、符号化装置および復号装置
CN105338351B (zh) 2014-05-28 2019-11-12 华为技术有限公司 基于模板匹配的帧内预测编、解码、阵列扫描方法及装置
CN104363449B (zh) * 2014-10-31 2017-10-10 华为技术有限公司 图像预测方法及相关装置
CN115278228A (zh) 2015-11-11 2022-11-01 三星电子株式会社 对视频进行解码的方法和对视频进行编码的方法
RU2638756C2 (ru) * 2016-05-13 2017-12-15 Кабусики Кайся Тосиба Устройство кодирования, устройство декодирования, способ кодирования и способ декодирования
US10397569B2 (en) * 2016-06-03 2019-08-27 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
WO2017220164A1 (en) * 2016-06-24 2017-12-28 Huawei Technologies Co., Ltd. Devices and methods for video coding using segmentation based partitioning of video coding blocks
WO2018097077A1 (ja) * 2016-11-22 2018-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
MX2020008575A (es) * 2018-02-15 2020-11-12 Arris Entpr Llc Tamaño de plantilla variable para coincidencia de plantilla.
WO2019185808A1 (en) * 2018-03-29 2019-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intra-prediction mode concept for block-wise picture coding
RU2767973C1 (ru) 2019-03-08 2022-03-22 ДжейВиСиКЕНВУД Корпорейшн Устройство для кодирования видео, способ кодирования видео, устройство для декодирования видео и способ декодирования видео
TWI749676B (zh) * 2020-08-03 2021-12-11 緯創資通股份有限公司 影像品質評估裝置及其影像品質評估方法
WO2024091002A1 (ko) * 2022-10-26 2024-05-02 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치
WO2024148106A2 (en) * 2023-01-04 2024-07-11 Qualcomm Incorporated Multiple modes and multiple templates for template matching related video coding tools
WO2024155170A1 (ko) * 2023-01-20 2024-07-25 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치
WO2024159187A1 (en) * 2023-01-27 2024-08-02 Guangdong Oppo Mobile Telecommunications Corp., Ltd. . Systems and methods for indicating intra template matching prediction

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0262180A (ja) * 1988-08-26 1990-03-02 Fujitsu Ltd 動画像の動き補償予測符号化方式
JP2001028756A (ja) * 1999-06-07 2001-01-30 Lucent Technol Inc コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
JP2002118849A (ja) * 2000-10-06 2002-04-19 Nec Corp 動画像符号化方法、動画像符号化装置、動画像復号化装置及びそれらを備えた動画像通信システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1730724A1 (ru) 1990-04-17 1992-04-30 Всесоюзный научно-исследовательский институт телевидения Кодер сигнала изображени
JPH0795566A (ja) 1993-09-21 1995-04-07 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法および装置
KR100365555B1 (ko) * 1994-10-19 2003-08-27 마츠시타 덴끼 산교 가부시키가이샤 화상부호화/복호화장치
RU2093968C1 (ru) 1995-08-02 1997-10-20 Закрытое акционерное общество "Техно-ТМ" Способ кодирования-декодирования изображений и устройство для его осуществления
KR100371130B1 (ko) * 1996-05-28 2003-02-07 마쯔시다덴기산교 가부시키가이샤 화상예측 복호화 장치 및 그 방법과 화상예측 부호화 장치및 그 방법
JP3343554B1 (ja) 1996-05-28 2002-11-11 松下電器産業株式会社 画像予測復号化方法及び画像予測符号化装置
JP3466032B2 (ja) 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
TW358296B (en) 1996-11-12 1999-05-11 Matsushita Electric Ind Co Ltd Digital picture encoding method and digital picture encoding apparatus, digital picture decoding method and digital picture decoding apparatus, and data storage medium
JP3604864B2 (ja) * 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
US6359929B1 (en) * 1997-07-04 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding apparatus, and data storage medium
SG116400A1 (en) * 1997-10-24 2005-11-28 Matsushita Electric Ind Co Ltd A method for computational graceful degradation inan audiovisual compression system.
JPH11341496A (ja) * 1998-05-28 1999-12-10 Matsushita Electric Ind Co Ltd 画像処理方法,画像処理装置,及びデータ記憶媒体
JP3675429B2 (ja) * 2002-09-12 2005-07-27 独立行政法人産業技術総合研究所 適応型予測符号化、復号化方法およびそれらの装置ならびに適応型予測符号化、復号化プログラムを記録した記録媒体
JP3715283B2 (ja) * 2003-02-04 2005-11-09 株式会社半導体理工学研究センター 動画像の画像圧縮符号化方法及び装置
CN100534192C (zh) * 2003-10-28 2009-08-26 松下电器产业株式会社 帧内预测编码方法
JP2006174415A (ja) * 2004-11-19 2006-06-29 Ntt Docomo Inc 画像復号装置、画像復号プログラム、画像復号方法、画像符号化装置、画像符号化プログラム及び画像符号化方法
US8014613B2 (en) * 2007-04-16 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image parameter prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0262180A (ja) * 1988-08-26 1990-03-02 Fujitsu Ltd 動画像の動き補償予測符号化方式
JP2001028756A (ja) * 1999-06-07 2001-01-30 Lucent Technol Inc コンテクストベースでフレーム内コーディングモードとフレーム間コーディングモードとの間の選択を行なうための方法および装置
US6289052B1 (en) * 1999-06-07 2001-09-11 Lucent Technologies Inc. Methods and apparatus for motion estimation using causal templates
JP2002118849A (ja) * 2000-10-06 2002-04-19 Nec Corp 動画像符号化方法、動画像符号化装置、動画像復号化装置及びそれらを備えた動画像通信システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP1919223A4 *
SUGIMOTO K. ET AL.: "Inter frame coding with template matching spatio-temporal prediction", 2004 INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), vol. 1, 24 October 2004 (2004-10-24), pages 465 - 468, XP010784855 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007093629A1 (en) * 2006-02-17 2007-08-23 Thomson Licensing Process for coding images using intra prediction mode
RU2472305C2 (ru) * 2007-02-23 2013-01-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования видео и способ декодирования видео, устройства для этого, программы для этого и носители хранения, на которых хранятся программы
US8472522B2 (en) 2007-02-23 2013-06-25 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
CN103354613B (zh) * 2007-04-09 2016-01-06 株式会社Ntt都科摩 图像预测编码装置、图像预测编码方法、图像预测解码装置、以及图像预测解码方法
JP2008283662A (ja) * 2007-04-09 2008-11-20 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
EP2154901A1 (en) * 2007-04-09 2010-02-17 NTT DoCoMo, Inc. Image prediction/encoding device, image prediction/encoding method, image prediction/encoding program, image prediction/decoding device, image prediction/decoding method, and image prediction decoding program
WO2008126843A1 (ja) * 2007-04-09 2008-10-23 Ntt Docomo, Inc. 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
US9031130B2 (en) 2007-04-09 2015-05-12 Ntt Docomo, Inc. Image prediction/encoding device, image prediction/encoding method, image prediction/encoding program, image prediction/decoding device, image prediction/decoding method, and image prediction decoding program
EP2154901A4 (en) * 2007-04-09 2011-06-22 Ntt Docomo Inc DEVICE, METHOD AND PROGRAM FOR PICTURE PREDICTING / CODING, DEVICE, METHOD AND PROGRAM FOR PICTURE DECODING / DECODING
CN104023242A (zh) * 2007-04-09 2014-09-03 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
EP2453655A1 (en) * 2007-04-09 2012-05-16 NTT DoCoMo, Inc. Image coding using template matching
CN103997655A (zh) * 2007-04-09 2014-08-20 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
EP2571272A1 (en) * 2007-04-09 2013-03-20 NTT DoCoMo, Inc. Image coding using template matching
CN104023242B (zh) * 2007-04-09 2017-07-07 株式会社Ntt都科摩 图像预测编码装置及方法、图像预测解码装置及方法
JP2008289005A (ja) * 2007-05-18 2008-11-27 Ntt Docomo Inc 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
JP2008300943A (ja) * 2007-05-29 2008-12-11 Sharp Corp 画像復号装置及び画像符号化装置
US8693543B2 (en) 2008-04-11 2014-04-08 Huawei Technologies Co., Ltd. Inter-frame prediction coding method, device and system
EP2262270A4 (en) * 2008-04-11 2011-04-06 Huawei Tech Co Ltd METHOD, DEVICE AND SYSTEM FOR PICTURE-TO-PICTURE PREDICTION CODING / DECODING
EP2262270A1 (en) * 2008-04-11 2010-12-15 Huawei Technologies Co., Ltd. Method, device and system for interframe prediction encoding and decoding
JP2011205693A (ja) * 2011-06-14 2011-10-13 Sharp Corp 画像復号装置及び画像符号化装置
US11700384B2 (en) 2011-07-17 2023-07-11 Qualcomm Incorporated Signaling picture size in video coding
US9648331B2 (en) 2011-11-08 2017-05-09 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
US9565442B2 (en) 2011-11-08 2017-02-07 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
US9854245B2 (en) 2011-11-08 2017-12-26 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
US10080023B2 (en) 2011-11-08 2018-09-18 Kt Corporation Method and apparatus for coefficient scan based on partition mode of prediction unit
JP2018513571A (ja) * 2016-02-17 2018-05-24 テレフオンアクチーボラゲット エルエム エリクソン(パブル) ビデオピクチャを符号化および復号する方法および装置

Also Published As

Publication number Publication date
KR20120138248A (ko) 2012-12-24
KR20080019294A (ko) 2008-03-03
EP1919223A4 (en) 2011-06-15
EP2475175A3 (en) 2012-11-07
EP1919223A1 (en) 2008-05-07
CN103024382A (zh) 2013-04-03
JP2007043651A (ja) 2007-02-15
RU2391794C2 (ru) 2010-06-10
EP2627091B1 (en) 2016-09-07
KR20120030585A (ko) 2012-03-28
US20120320976A1 (en) 2012-12-20
US8369628B2 (en) 2013-02-05
CN103024382B (zh) 2015-03-25
US20090116759A1 (en) 2009-05-07
RU2008104131A (ru) 2009-08-10
KR20100019541A (ko) 2010-02-18
RU2009149744A (ru) 2011-07-10
US9282340B2 (en) 2016-03-08
EP2475175A2 (en) 2012-07-11
EP2627091A1 (en) 2013-08-14

Similar Documents

Publication Publication Date Title
WO2007004678A1 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP5650294B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP6220023B2 (ja) 画像予測復号方法
RU2608264C2 (ru) Способ и устройство для кодирования/декодирования вектора движения
JP4213646B2 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、及び画像復号プログラム。
JP4495580B2 (ja) 面内予測装置および面内予測方法
JP5373626B2 (ja) 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法
JP4763422B2 (ja) イントラ予測装置
JP5686499B2 (ja) 画像予測符号化装置、方法及びプログラム、画像予測復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
KR100510137B1 (ko) 고속 움직임 추정을 위한 참조 픽쳐 및 블록 모드 결정방법, 그 장치, 블록 모드 결정 방법 및 그 장치
KR20100019537A (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
KR20110027480A (ko) 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP5367097B2 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
JP5216710B2 (ja) 復号化処理方法
KR20060084483A (ko) 동영상 코덱에서의 주파수 변환 계수 예측 방법 및 장치,이를 구비한 부호화 및 복호화 장치와 방법
US20090028241A1 (en) Device and method of coding moving image and device and method of decoding moving image
JP2006005659A (ja) 画像符号化装置及びその方法
WO2011002091A1 (ja) 動画像復号化方法及び動画像復号化装置
KR101432777B1 (ko) 참조 이미지 기반 2차 예측을 통한 동영상 부호화 방법, 장치 및 기록 매체
KR20120035769A (ko) 움직임 정보 부호화 및 복호화 방법과 이를 이용한 장치
JP2007243859A (ja) 画像符号化装置及び画像符号化プログラム
JP2012124542A (ja) 動画像符号化方法及び動画像復号化方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680024625.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020087001224

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2006780792

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2008104131

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 11994712

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 1020097027156

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020127002838

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1020127029681

Country of ref document: KR