WO2006073116A1 - 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 - Google Patents

映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 Download PDF

Info

Publication number
WO2006073116A1
WO2006073116A1 PCT/JP2005/024093 JP2005024093W WO2006073116A1 WO 2006073116 A1 WO2006073116 A1 WO 2006073116A1 JP 2005024093 W JP2005024093 W JP 2005024093W WO 2006073116 A1 WO2006073116 A1 WO 2006073116A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
information
encoding
video
setting
Prior art date
Application number
PCT/JP2005/024093
Other languages
English (en)
French (fr)
Inventor
Masaki Kitahara
Kazuto Kamikura
Yoshiyuki Yashima
Original Assignee
Nippon Telegraph And Telephone Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph And Telephone Corporation filed Critical Nippon Telegraph And Telephone Corporation
Priority to US10/586,235 priority Critical patent/US9088802B2/en
Priority to EP05822685.3A priority patent/EP1835747B1/en
Priority to JP2006519047A priority patent/JP4937741B2/ja
Publication of WO2006073116A1 publication Critical patent/WO2006073116A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a video encoding method and apparatus used for encoding a multi-view video, a video encoding program used to realize the video encoding method, and a computer reading recording the program Readable recording medium, video decoding method and apparatus for decoding encoded data generated by the video encoding technique, video decoding program used to realize the video decoding method, and computer recording the program And a possible recording medium.
  • Multi-viewpoint moving images are a plurality of moving images obtained by photographing the same subject and background with a plurality of cameras at various positions.
  • a moving image taken with one camera is called a “two-dimensional moving image”
  • a set of two-dimensional moving images taken of the same subject and background is called a “multi-view moving image”.
  • Two-dimensional video images of each camera included in a multi-view video image have a strong correlation in the time direction.
  • encoding can be performed using intra-frame correlation in an I frame, and encoding can be performed using inter-frame correlation in a plurality of past frames in a P frame.
  • encoding can be performed using inter-frame correlation in a plurality of past frames in a P frame.
  • the frame in the past or future frame Signs can be obtained using inter-frame correlation.
  • the frame is divided into blocks (this block is a macroblock, the block size is 16 ⁇ 16), and intra prediction is performed in each macroblock.
  • each macroblock can be divided into smaller blocks (hereinafter referred to as sub-blocks), and different intra prediction methods can be used for each sub-block.
  • intra prediction or inter prediction can be performed in each macroblock.
  • Intra prediction for P frames is the same as for I frames.
  • motion compensation is performed during inter prediction. Even in motion compensation, a macroblock is divided into smaller blocks, and each subblock has a different motion vector and reference image.
  • the ability to perform intra prediction and inter prediction also in the B frame can be used as a motion compensation reference image in addition to the past frame.
  • the future frame can be used as a motion compensation reference image in addition to the past frame.
  • encoding is performed in the order of I ⁇ P ⁇ B ⁇ B.
  • motion compensation can be performed with reference to the I and P frames.
  • a prediction residual is obtained when intra or inter prediction is performed, but quantization is performed by performing DCT (discrete cosine transform) on the prediction residual block in each macroblock. Specifically, a macro block having a block size of 16 ⁇ 16 is divided into 4 ⁇ 4 sub-blocks, and 4 ⁇ 4 DCT is performed.
  • the quantized value sequence of DCT coefficients is expressed by the following information.
  • -Coded block pattern Of the four 8 X 8 blocks that can be defined in a macroblock, there is a DCT coefficient that is non-zero in any block (hereinafter non-zero coefficient).
  • Coded block flag Information indicating which 4 X 4 blocks have non-zero coefficients among the 4 4 X 4 blocks in an 8 X 8 block where non-zero coefficients exist
  • Significance map Information indicating which of DCT coefficients existing in 4 X 4 block indicated by Coded block flag is non-zero.
  • Level information The value of the non-zero coefficient indicated by the Significance map
  • Encoding is completed by applying a lossless code that is called an entropy code to the method of dividing each macroblock into sub-blocks, motion vectors, etc., based on the information related to the above DCT coefficients. .
  • auxiliary information the quantization value of the pixel region, or an entropy code other than the quantization value of the transform coefficient obtained by orthogonal transformation with respect to the image block (corresponding to the level information in the case of the DCT coefficient) Information that is the subject of the key is called “auxiliary information”.
  • auxiliary information other than the DC T coefficient related auxiliary information includes, for example, the following. Such auxiliary information is given in units of macroblocks.
  • the macroblock type is an index that specifies the combination of intra prediction or inter prediction for macroblocks, prediction method, block division format, etc. Is.
  • the sub-macro block type is an index that expresses combinations of prediction methods in sub-blocks, block division formats, and so on.
  • Reference image index The index value of the reference image used for motion compensation in each sub-block.
  • Motion vector A motion vector in each sub-block. In H.264, it is expressed as a residual predicted by surrounding motion vectors.
  • the entropy code ⁇ is a lossless code ⁇ .
  • lossless encoding is a process of converting a symbol to be encoded (which can be interpreted as one value extracted from a set of integers) into a bit string of 1s and 0s. For example, if it is one value in the set of integers with symbol power S ⁇ 0, 1, 2, 3 ⁇ , the symbol power is 00, 1 for 01, and 1 for 2. If it is 10 or 3, encoding to 11 will result in lossless encoding.
  • This encoding method is called fixed-length encoding.
  • a set of codes for encoding symbols (in this example, ⁇ 00, 01, 10, 11 ⁇ ) is called a “code table”.
  • the high-efficiency entropy code can be performed on the premise that the probability distribution of the symbol to be encoded is known. Therefore, conventionally, the probability distribution is determined empirically or the symbol probability distribution is learned while signing. In addition, the probability distribution power of symbols There are conventional methods for obtaining the optimum code table (Huffman code and arithmetic code). Therefore, we treat the probability distribution and the code table as synonymous below.
  • CABAC Context—Adaptive Binary Arithmetic Coding
  • CABAC CABAC
  • the code table is switched with reference to the encoded macroblock types of the macroblock above and to the left.
  • FIG. 17 shows a conceptual diagram of this reference relationship.
  • the macroblock types of macroblocks described as A and B in the figure have a strong correlation with the target macroblock type.
  • CABAC uses this correlation to predict an optimal code table. Specifically, for macroblocks A and B, a code table is maintained for each possible combination of macroblock type values, and the code table (probability) corresponding to the actual macroblock type values of A and B Distribution) is used to entropy code the target macroblock type. Based on the same idea, the other information about the sign Entropy encoded.
  • a group of frames called "GOP" is classified into two types of GOPs, Base GOP and InterGOP, and encoded.
  • the GOP called Base GOP all frames included in the GOP image of the same camera are encoded by intra or inter prediction.
  • the frames included in the GOP called Inter GOP such intra and inter predictions are used.
  • parallax direction prediction using GOP images from another camera may be used.
  • the parallax direction prediction is to perform the same process as motion compensation using an image of another camera as a reference image when encoding a macroblock of an image of a certain camera.
  • FIG. 18 shows an example of the GOP structure in this method.
  • each GOP has two images, and each arrow represents a reference relationship between images.
  • the code key efficiency can be improved as compared with the method using the correlation only in the time direction.
  • Tokubari 1 Detlev Marpe, et.al., "Ontext— Based Adaptive Binary Arithmetic o ding in the H.264 / AVC Video Compression Standard, IEEE Transactions on Circuits and Systems for Video Technology, Vol. 13. No. 7, pp. 620—636, July, 2003.
  • Non-Patent Document 2 Hideaki Kimataand Masaki Kitahara, “Preliminary results on multiple view video coding (3DAV),” document Ml 0976 MPEG Redmond Meeting, July, 2004 Disclosure of
  • auxiliary information such as a prediction residual, its orthogonal transformation coefficient, a motion vector, and a macroblock type is correlated between cameras. Therefore, it is conceivable to use the correlation between cameras in the sign of these information.
  • this is a method of encoding one two-dimensional moving image, assuming that the encoding method is such that the prediction error of motion compensation is quantized in the pixel region and the quantized value is entropy encoded.
  • Reference 3 (Taichiro Shiojira, Ichiro Matsuda, Satoshi Ito, “Lossless video coding based on motion compensation and 3D prediction: Study on context modeling”, Information Science and Technology Forum (FIT 2003) It is conceivable to apply the method of No. J-053, pp. 303-304, Sep. 2003).
  • the entropy code of the quantized value of the prediction residual is used to use the motion vector obtained in each block, and the code of the previous frame has already been completed.
  • the code table is switched by referring to the quantized value.
  • code target information other than the prediction residual in the pixel region for example, auxiliary information such as orthogonal transform coefficients, motion vectors, and macroblock types
  • auxiliary information such as orthogonal transform coefficients, motion vectors, and macroblock types
  • the present invention has been made in view of powerful circumstances, and when encoding a multi-view video, encoding is performed using the correlation of the parallax direction in the entropy code. In this way, the code efficiency cannot be improved by the conventional parallax direction prediction, and the code efficiency is improved for any multi-view video including multi-view video.
  • An object of the present invention is to provide a new code technology that can be improved. Means for solving the problem
  • the present invention is a video encoding method for encoding a plurality of images as one video
  • reference disparity information indicating a viewpoint shift between the first image and the encoded second image is set.
  • a code table setting step for setting a code table corresponding to the code object information at the corresponding position
  • reference disparity information setting step global disparity information indicating an average viewpoint shift between the first and second images is set as the reference disparity information.
  • the parallax between the two images is estimated using the second image and another third image, and the parallax and the imaging devices of the first to third images are estimated.
  • the reference disparity information is set based on the positional relationship.
  • the disparity information to be referred to (information indicating the magnitude of disparity such as a disparity vector) is not encoded, or data is encoded even if encoded.
  • the amount of information can be reduced to a small amount, and moreover, by using the correlation of the parallax direction, the code information to be encoded can be encoded, so that a plurality of videos (for example, multi-view video images) can be displayed. It becomes possible to efficiently sign.
  • the parallax information indicating the viewpoint shift between different cameras is estimated because the parallax information is obtained and encoded for each block, or one average parallax is obtained for one image.
  • Information global disparity information
  • each pixel of the encoding target image is not used without using the encoding target image (first image). It is possible to estimate disparity information (outside disparity).
  • the image sequence at the same time of each camera is equivalent to shooting a moving image with the subject moving in parallel, so the reference difference information Local parallax information can be approximated only by
  • the code table for the entropy code of the code key target image is switched with reference to the code key target information of another image.
  • the code table setting step the encoding target information of the corresponding position in the second image and the position around the predetermined position in the first image are matched.
  • the code table corresponding to the code key target information that has been encoded is set.
  • the code table is set with reference to code key target information corresponding to positions around the corresponding position in the second image. According to this, it is possible to switch the robust code table.
  • the encoding target information is set for each block obtained by dividing an image.
  • the corresponding position setting step when the position of the block corresponding to the predetermined position in the second image is shifted based on the reference parallax information, the overlapping area with the block is maximized. Set the block position as the corresponding position.
  • the code table setting means switches the code table by referring to the code key target information of the block at the corresponding position.
  • the encoding target information is set for each block obtained by dividing an image
  • the position of the block corresponding to the predetermined position in the second image is determined from the positions of a plurality of blocks around the shifted position based on the reference disparity information. Set as.
  • the code table setting means switches the code table by referring to the code key target information of the plurality of blocks.
  • an encoding pair used for setting the code table is used. It is also possible to set a code table corresponding to the mode value of the image information. By adopting this configuration, while preventing the explosive increase in the number of code tables, it is expressed as a numerical value such as a macro block type or prediction mode, but it is a numerical value as an index to the last. Therefore, it is possible to efficiently code the target information of the code key that cannot be defined.
  • a code table corresponding to the average value of the code target information used for setting the code table may be set.
  • the number of corresponding positions to be referenced is N
  • the number of code tables when the number of corresponding positions to be referenced is 1 is c.
  • the code table is switched with reference to the average value of the information to be encoded regarding a plurality of corresponding positions, so the number of code tables is only c.
  • the present invention is also a video decoding method for decoding encoded data generated by encoding a plurality of images as one video,
  • reference disparity information indicating a viewpoint shift between the first image and the encoded second image is set.
  • An encoding target information decoding step for decoding the encoding target information in the first image using the code table
  • a video decoding method is provided.
  • the disparity between both images is estimated using the second image and another third image, and the disparity and the first to third
  • the reference parallax information is set based on the positional relationship between the image capturing devices.
  • the code table setting step encoding target information of the corresponding position in the second image and decoding for a position around the predetermined position in the first image.
  • a code table corresponding to the already completed code target information is set.
  • the code table is set with reference to code key target information corresponding to positions around the corresponding position in the second image.
  • the encoding target information is set for each block obtained by dividing an image.
  • the position of the block corresponding to the predetermined position in the second image is referred to.
  • the position of the block that has the largest overlap area with the block when shifted is set as the corresponding position.
  • the encoding target information is set for each block obtained by dividing an image.
  • the position of the block corresponding to the predetermined position in the second image is determined from the positions of a plurality of blocks around the shifted position based on the reference disparity information. Set as.
  • an encoding pair used for setting the code table is used.
  • a code table corresponding to the mode value of the image information may be set, or a code table corresponding to the average value of the code target information used for setting the code table may be set.
  • the present invention is also a video encoding device for encoding a plurality of images as one video,
  • reference disparity information indicating a viewpoint shift between the first image and the encoded second image is set.
  • a reference disparity information setting unit
  • a corresponding position setting unit that sets a corresponding position associated with the predetermined position in the second image using the reference parallax information
  • a code table setting unit for setting a code table corresponding to code target information at the corresponding position
  • An encoding target information encoding unit that encodes the encoding target information in the first image using the code table
  • a video encoding device is provided.
  • the reference disparity information setting unit sets, as the reference disparity information, global disparity information indicating an average viewpoint shift between the first and second images and encodes the global disparity information. It has a global parallax information code key part to be displayed.
  • the reference parallax information setting unit estimates the parallax between both images using the second image and another third image, and the parallax and the first to third The reference parallax information is set on the basis of the positional relationship between the image capturing devices of the image.
  • the present invention is also a video decoding apparatus for decoding encoded data generated by encoding a plurality of images as one video,
  • reference disparity information indicating a viewpoint shift between the first image and the encoded second image is set.
  • the second image is associated with the predetermined position.
  • a corresponding position setting unit for setting a corresponding position
  • a code table setting unit for setting a code table corresponding to code target information at the corresponding position
  • An encoding target information decoding unit that decodes the encoding target information in the first image using the code table
  • a video decoding device is provided.
  • the reference disparity information setting unit decodes global disparity information indicating an average viewpoint shift between the first and second images, and sets this as the reference disparity information.
  • the reference parallax information setting unit estimates the parallax between both images using the second image and another third image, and the parallax and the first to third
  • the reference parallax information is set on the basis of the positional relationship between the image capturing devices of the image.
  • Each method of the present invention can be realized by a computer program, and this computer program is provided by being recorded on a suitable computer-readable recording medium or provided via a network.
  • the present invention can be realized by installing and operating on control means such as a CPU.
  • the code efficiency cannot be improved by the parallax direction prediction. Since the correlation between the parallax directions can be used, the code efficiency can be improved for all multi-view video images.
  • FIG. 1A is a diagram showing an example of a reference relationship of encoding target information for switching code tables.
  • FIG. 1B is a diagram illustrating an example of a reference relationship of code target information for switching code tables.
  • FIG. 2A is a diagram showing an example of a reference relationship of encoding target information for switching code tables.
  • FIG. 2B is a diagram illustrating an example of a reference relationship of code key target information for switching code tables.
  • FIG. 3 is a conceptual diagram showing a configuration of a camera in an embodiment of the present invention.
  • FIG. 4 is a diagram showing a configuration of a video encoding device in the same embodiment.
  • FIG. 5 A diagram showing the configuration of the code object information reference code part in the embodiment.
  • ⁇ 6 A diagram showing an operation flow executed by the video encoding device in the same embodiment.
  • ⁇ 7 A diagram showing an operation flow of an encoding process of encoding target information in the image of the camera C2 in the embodiment. It is.
  • FIG. 8A is a diagram showing an example of a reference relationship of encoding target information for switching code tables.
  • FIG. 8B is a diagram illustrating an example of a reference relationship of code target information for switching code tables.
  • FIG. 9 is a diagram showing a configuration of a video decoding device in the embodiment.
  • FIG. 10 is a diagram showing a configuration of a code key target information reference decoding unit in the same embodiment.
  • FIG. 11 is a diagram showing an operation flow executed by the video decoding device in the embodiment.
  • FIG. 12 is a diagram showing an operation flow of the decoding process of the encoding target information in the image of the camera C2 in the embodiment.
  • FIG. 13A is a diagram showing an example of a reference relationship of encoding target information for switching code tables in the embodiment.
  • FIG. 13B is a diagram illustrating an example of a reference relationship of code key target information for switching code tables.
  • FIG. 14 is a diagram illustrating a principle of estimating disparity information (disparity vector) regarding each pixel of an image without using an encoding target image.
  • FIG. 15 is a diagram showing an operation flow of a coding process for coding target information in an image of a camera C2 when parallax information is estimated.
  • FIG. 16 is a diagram showing an operation flow of a decoding process of encoding target information in an image of a camera C2 when disparity information is estimated.
  • FIG. 17 is a diagram showing a reference relationship of macroblocks for switching code tables in H.264.
  • FIG. 18 is a diagram showing an example of a conventional GOP structure.
  • FIGS. 1A and 1B and FIGS. 2A and 2B show an example of a reference relationship of code key target information for switching code tables.
  • a global disparity vector global disparity information
  • the block 502 to which the encoding target information currently being encoded in the camera C2 belongs corresponds to the position specified by shifting the position 501 in the image of the corresponding camera C 1 by the global parallax vector in the image of the camera C 1.
  • the code table is switched according to the code key target information of two blocks (the block described as C in the figure), and the code key target information is encoded using the code table.
  • the position 501 in the image of the camera C1 corresponding to the position of the block 502 corresponds to the position specified by shifting the position in the image of the camera C1 by the global parallax vector.
  • the position of the block (for example, C) having the largest overlap area with the block 501 is set as the corresponding position.
  • the block 502 to which the encoding target information that is the current encoding target in the camera C2 belongs (in this example, block-based encoding such as MPEG-2 is performed). Assuming that the position 501 in the image of the camera C 1 corresponding to the position of the camera C 1 is shifted by the global disparity vector in the image of the camera C1
  • the code table is switched in accordance with the code target information of the blocks described as C, D, E, and F, and the code target information is encoded using the code table.
  • FIG. 3 shows a conceptual diagram of a camera configuration used in the present embodiment.
  • the square figure shown in the figure represents the frame (image) of each camera.
  • each row is left-force scanned and processed from the top row.
  • the code key target information called a macroblock type is encoded.
  • a context-dependent entropy code that uses encoded information about the block corresponding to the encoding target information is used.
  • context-dependent entropy coding using the encoded information subject information and the encoded subject information of the frame of another camera is performed. It is assumed that appropriate code tables are prepared in advance.
  • FIG. 4 shows the configuration of the video encoding device 1 used in this embodiment.
  • the video encoding device 1 shown in this figure includes an image information input unit 10 for inputting the frames of the cameras CI and C2 in the order shown in FIG. 3, an image memory 11 for storing the frames of the camera C1, and a camera.
  • Reference disparity information setting unit 12 for obtaining reference disparity information (global disparity vector in this embodiment) between frames of the camera C1 and the camera C2, and code information target information for encoding the information to be encoded by the camera C1
  • Non-reference code key unit 13 encoding target information memory 14 for storing block information (encoding target information) of camera C1, and encoding target information reference code for encoding encoding target information of camera C2
  • a global parallax code key unit 16 that codes the global parallax vector.
  • FIG. 5 shows a detailed configuration of the encoding target information reference encoding unit 15 in the video encoding device 1.
  • the encoding target information reference encoding unit 15 performs the global disparity beta.
  • the corresponding position setting unit 150 for obtaining the corresponding position from the camera, the reference parameter setting unit 151 for setting the reference parameter for setting the code table based on the encoding target information of the camera C 1 and the camera C2, and the reference parameter.
  • a code table setting unit 152 for setting a code table based on it, an encoding target information setting unit 153 for setting encoding target information from an image of camera C2, and an encoding target for encoding encoding target information of camera C2.
  • an information encoding unit 154 for setting a code table based on it, an encoding target information setting unit 153 for setting encoding target information from an image of camera C2, and an encoding target for encoding encoding target information of camera C2.
  • FIG. 6 shows an operation flow executed by the video coding apparatus 1 configured as described above.
  • the encoding target information non-reference encoding unit 13 encodes the encoding target information of each block (S11ZS12).
  • the image memory 11 has a memory for one frame, and the latest input frame of the camera C1 is always stored.
  • the encoding target information reference encoding unit 15 encodes the encoding target information of each block (S11ZS13). Note that the global disparity vector obtained in advance by the reference disparity information setting unit 12 is used in the sign of the target information of the frame of the camera C2.
  • FIG. 7 shows a detailed operation flow of the code key processing of the code key target information of the camera C2.
  • the reference parallax information setting unit 12 receives an image of the camera C1 from the image memory 11, and receives an image of the camera C2 from the image information input unit 10. Then, the global disparity vector is obtained by the reference disparity information setting unit 12 (S130).
  • the global parallax vector is calculated as an average vector of parallax vectors for each block (for example, macroblock).
  • the reference disparity information setting unit 12 performs block matching on each block of the camera C2 based on the following evaluation function.
  • the global disparity vector obtained in this way is input to the global disparity code encoding unit 16 and encoded by the global disparity encoding unit 16 (S131).
  • the sign of the global disparity vector is assumed to be an irreversible code in the present embodiment.
  • the quantization step size is quantized by 1 (equivalent to mapping to the nearest integer) and entropy-coded.
  • the encoding target information setting unit 153 obtains the encoding target information (S133). More specifically, information such as motion vectors by motion compensation, MBtype, and encoding target information such as orthogonal transform coefficients are required.
  • the encoding target information encoding section 154 encodes the encoding target information.
  • the corresponding position setting unit 150 uses the global disparity vector that has been encoded and decoded to determine the force that the corresponding position exists in the frame of the camera C1 (S134).
  • the corresponding position is obtained by shifting the position 501 in the image of the camera C 1 corresponding to the block b in the image of the camera C2 by the global parallax vector.
  • the position of the four blocks closest to the selected position Specifically, when the position of the upper left corner of the current block b is I, the position of the upper left corner of the block in the image of camera C1 is I +
  • the reference parameter setting unit 151 obtains a set of MBtypes of blocks described as A and B in FIG. 8B. For example, a set of MBtypes such as (0, 5) is obtained.
  • the code table setting unit 152 sets a code table corresponding to this (0, 5) set of MBtypes for entropy code (S 137).
  • the code table used here is the same as that used in camera C1. Also, the code table setting unit 152 holds a code table for each possible combination of MBtype values.
  • the code key target information code key unit 154 outputs a code corresponding to the MBtype of the current block in the code table (S138). That is, the encoding target information of the current block is encoded.
  • the reference parameter setting unit 151 determines that the corresponding position exists (the blocks described as C, D, E, and F in FIG. 8A), the reference parameter setting unit 151 The mode value of the MBtype related to the corresponding position is obtained, and the final MBtype pair is obtained based on the MBtype and the MBtype pair of blocks described as A and B in Fig. 8B. That is, reference is made to the encoded code target information around the block b that is currently being encoded in the encoding target image and the encoded target information of the corresponding position in the encoded reference image. It is done. For example, if the MBtypes at the four corresponding positions are (0, 5, 5, 4), the mode value is 5. In addition, if the combination of MBtypes of the blocks described as A and B in FIG. 8 is (0, 5), the reference parameter setting unit 151 finally (0, 5) based on these MBtypes. , 5) And!
  • the code table setting unit 152 sets a code table corresponding to the MBtype set (0, 5, 5) for the entropy code (S 135).
  • the code key target information code key unit 154 In response to the setting of the code table, the code key target information code key unit 154 outputs a code corresponding to the MBtype of the current block in the code table (S136).
  • the video encoding device 1 of the present invention performs processing so as to encode the encoding target information that is the target of the enthalpy encoding using the correlation of the parallax directions. .
  • FIG. 9 shows the configuration of the video decoding device 2 used in this embodiment.
  • the video decoding device 2 shown in this figure accumulates the encoding target information non-reference decoding unit 20 that decodes the encoding target information related to the camera C1, and the encoded target information decoded for the camera C1.
  • An image information restoration unit 24 that restores an image based on! /
  • an image information output unit 25 that outputs the restored image.
  • FIG. 10 shows a detailed configuration of the encoding target information reference decoding unit 22 in the video decoding device 2.
  • the encoding target information reference decoding unit 22 includes an encoding target information decoding unit 220 that decodes the encoding target information of the camera C2, and a corresponding position from the decoded global disparity vector.
  • a code table setting unit 223 for setting a table.
  • FIG. 11 shows an operation flow executed by the video decoding apparatus 2 configured as described above.
  • the code data strengths of the cameras C1 and C2 are input in the order shown in FIG. 3 (S20).
  • the encoded data of the camera C1 is input to the encoding target information non-reference decoding unit 20, and the encoded data of the camera C2 is input to the encoding target information reference decoding unit 22.
  • the encoded data of the global parallax vector is also input to the global parallax decoding unit 23.
  • the encoding target information non-reference decoding unit 20 decodes the encoding target information of each block (S21ZS22).
  • the encoding target information reference decoding unit 22 decodes the encoding target information of each block (S21ZS23).
  • FIG. 12 shows a detailed operation flow of the decoding process of the encoding target information of the camera C2.
  • the encoded data of the global disparity vector is input to the global disparity decoding unit 23, and the global disparity decoding unit 23 decodes the global disparity vector. (S230).
  • the corresponding position setting unit 221 determines whether a corresponding position corresponding to the current block b in the frame of the camera C2 exists in the frame of the camera C1. (S232).
  • the method for determining the corresponding position is the same as in encoding.
  • the code table is switched by referring only to the decoded code target information of the camera C2, and the code number of the current block is changed.
  • the target information is decrypted (S235ZS236).
  • the reference relationship is the same as in the case of sign-up.
  • the reference parameter setting unit 222 and the code table setting unit 223 are the same as the reference parameter setting unit 151 and the code table setting unit 152 performed when the corresponding position exists in the video encoding device 1. Operates to decode the MBtype of the current block.
  • the image information restoring unit 24 restores the image information of the block based on these pieces of information and outputs the image information from the image information output unit 25. (S237).
  • the video decoding device 2 of the present invention performs processing so as to decode the encoded data generated by the video encoding device 1 of the present invention using the correlation in the parallax direction.
  • the code processing in the above-described embodiment relates to the macroblock type and the entropy of the information !, but the present invention is subject to other entropy codes.
  • the present invention can be applied as it is to the entropy code of information. Some examples are given below.
  • the information that is the target of the entropy code is all expressed as a bit string, and is entropy-encoded bit by bit with a context-dependent arithmetic code. That is, when applying the present invention, the entropy code for each bit is used. It can be used to switch the code table (specifically, it is a probability table because it is an arithmetic code).
  • Coded block pattern is information indicating which block has a non-zero coefficient in any of the four 8 X 8 blocks in the macroblock. Specifically, it is expressed as a total of 4 bits of information that represents the presence or absence of non-zero coefficients in the 8 X 8 block by 1 bit.
  • FIGS. 8A and 8B are diagrams showing the positional relationship of blocks corresponding to FIGS. 8A and 8B, respectively.
  • code tables corresponding to all combinations of 8 8 blocks 8, B, and C are prepared, and A, B, C most suitable for the 8 x 8 block b to be encoded.
  • the Coded block flag and!? Information indicate which block has non-zero coefficients in the four 4 X 4 blocks in the 8 X 8 block where non-zero coefficients exist. It is information to show. Therefore, the Coded block flag is information in the same format as the Coded block pattern, and the application of the present invention can be performed in the same form.
  • the significance map is information indicating which DCT coefficient is non-zero in the 4 ⁇ 4 block indicated by the Coded block flag. Specifically, 1 bit indicates whether a certain DCT coefficient is non-zero, 16 DCT coefficients in the 4 X 4 block are scanned in a certain order, and the DCT coefficient is non-zero. If yes, set to 1, otherwise set to 0. These bits are called Significance bits.
  • the DCT coefficient is non-zero and set to 1
  • the DCT coefficient is represented by 1 bit as to whether or not the DCT coefficient was the last non-zero coefficient in the scan. Value 1 if yes, value 0 if not) Include in Significance map. These bits are called the Last bit.
  • the significan ce bit for subsequent DCT coefficients is not required. Also, whether or not the last DCT coefficient in the scan is non-zero is obvious from the previous Significance and Last bits, so information is particularly necessary for this DCT coefficient. .
  • the power code table that independently encodes the Significance bit and the Last bit is switched according to the position in the scan (as described above, information is not available for the last DCT coefficient). Because it is not necessary, 15 code tables are required).
  • the present invention for example, as shown in FIGS. 13A and 13B, it is conceivable to switch the code table with reference to the number of non-zero coefficients in the 4 ⁇ 4 block C of another camera.
  • the code table used at this time is switched depending on the number of quantized values having an absolute value greater than 1 that occurred during the previous scan in the block. If the absolute value is larger than 1 at a certain point in the scan! / And many quantized values are generated, there is a probability that the quantized value will have a large value at that point. Therefore, a code table that reflects this property is prepared.
  • the present invention has been described according to the embodiment, the present invention is not limited to this.
  • images were taken by two cameras, cameras CI and C2.
  • the present invention has been described with respect to an image as a processing target, the present invention can be directly applied to an image captured by three or more cameras.
  • the present invention can also be realized by inputting disparity information obtained externally in advance using various disparity estimation methods and performing encoding processing using the disparity information as reference disparity. .
  • a disparity vector is used as the disparity information.
  • the present invention may use information other than the disparity vector as the disparity information.
  • the video encoding device determines the parameters of the glossy parallax model and encodes these parameters. Also, when obtaining the corresponding position, these parameters are applied to the global parallax model to obtain the global parallax vector, and the corresponding position is determined. On the other hand, in the video decoding apparatus, the corresponding position is determined by applying the decoded parameters of the global parallax model to the global parallax model.
  • the force described when there are two cameras and the decoded image of one camera is referred to.
  • Camera parameters of each camera (camera position and orientation, lens angle of view, etc.) ) Is known and the decoded images of two or more different cameras can be referred to, it is possible to refer to each pixel of the image to be encoded by the method shown in FIG. 14 without using the image to be encoded.
  • Disparity information (disparity vector) can be estimated.
  • the viewpoint position of the camera C2 that captures the sign ⁇ contrast image is 620, and two other cameras that capture the subject 600 (that is, output the reference image) C 1, C3
  • the viewpoint positions are 610 and 630, respectively.
  • the pixel position for which the difference is to be obtained in the encoded reference image is 640.
  • the pixel value of the corresponding point corresponding to the pixel position 640 in each reference image should be almost the same value. Therefore, in many parallax estimation methods, the pixel values of corresponding points of each reference image are compared with respect to various depths, and the closest depth (indicated by reference numeral 650 in FIG. 14) and the known camera parameters Based on this, the parallax from the camera C1 or C3 can be estimated. This process can be performed in units of pixels of the encoding target image.
  • the global disparity code encoding unit 16 of the video encoding device 1 and the global disparity decoding unit 23 of the video decoding device 2 are unnecessary.
  • the code may be performed by the same process as in the above embodiment. Specifically, the process shown in FIG. 15 is performed in the encoding process of the encoding target information.
  • step S1300 is provided, and in this step, the cameras CI and C3 captured at the same time as the target images captured by the camera C2 are provided.
  • the parallax from the camera C1 or C3 is estimated by the method described above.
  • step S2300 is provided in place of the processing of step S230 in FIG. 12, and in this step, decoding of the images of the cameras CI and C3 captured at the same time as the target image captured by the camera C2 is performed. Using the image, the parallax from the camera C1 or C3 is estimated by the same method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　複数の画像を一つの映像として符号化する映像符号化方法であって、第１の画像内の所定位置に対する符号化対象情報を符号化するにあたり、該第１の画像と符号化済みの第２の画像との間の視点ずれを示す参照視差情報を設定する参照視差情報設定ステップと，前記参照視差情報を用いて、前記第２の画像において前記所定位置と対応付けられる対応位置を設定する対応位置設定ステップと、前記対応位置の符号化対象情報に対応した符号テーブルを設定する符号テーブル設定ステップと、前記符号テーブルを使い、前記第１の画像内の前記符号化対象情報を符号化する符号化対象情報符号化ステップとを有する。

Description

映像符号化方法及び装置、映像復号方法及び装置、それらのプログラム およびそれらプログラムを記録した記録媒体
技術分野
[0001] 本発明は、多視点動画像の符号化に用いられる映像符号化方法及びその装置と、 その映像符号ィ匕方法の実現に用いられる映像符号ィ匕プログラム及びそのプログラム を記録したコンピュータ読み取り可能な記録媒体と、その映像符号ィヒ技術により生成 された符号化データを復号する映像復号方法及びその装置と、その映像復号方法 の実現に用いられる映像復号プログラム及びそのプログラムを記録したコンピュータ 読み取り可能な記録媒体とに関する。
本願は、 2005年 1月 7日に出願された特願 2005— 002423号に基づき優先権を 主張し、その内容をここに援用する。
背景技術
[0002] 多視点動画像は、様々な位置にある複数のカメラで同じ被写体と背景を撮影した 複数の動画像である。以下では、一つのカメラで撮影された動画像を" 2次元動画像 "と呼び、同じ被写体と背景を撮影した 2次元動画像の集合を"多視点動画像"と呼
[0003] 多視点動画像に含まれる各カメラの 2次元動画像は、時間方向に強い相関がある。
一方、各カメラが同期されていた場合、同じ時間に対応した各カメラのフレームは全く 同じ状態の被写体と背景を撮影しているため、カメラ間で強い相関がある。
[0004] まず、 2次元動画像の符号化方式に関する従来技術を述べる。
[0005] 国際符号化標準である H.264、 MPEG— 4、 MPEG— 2をはじめとした従来の多く の 2次元動画像符号化方式では、動き補償、直交変換、量子化、エントロピー符号化 という技術を利用して、高効率な符号化を行う。
[0006] 例えば、 H.264では、 Iフレームにおいてはフレーム内相関を利用して符号化が可 能で、 Pフレームでは過去の複数枚のフレームにおけるフレーム間相関を利用して符 号ィ匕が可能で、 Bフレームでは過去あるいは未来の複数枚毎のフレームにおけるフ レーム間相関を利用して符号ィ匕が可能である。
[0007] Iフレームではフレームをブロック分割し（このブロックをマクロブロックと 、 、、ブロッ クサイズは 16 X 16である）、各マクロブロックにおいてイントラ予測を行う。イントラ予 測の際には、各マクロブロックをさらに小さなブロックに分割し (以後、サブブロックと 呼ぶ）、各サブブロックで異なるイントラ予測方法を行うことができる。
[0008] 一方、 Pフレームでは、各マクロブロックでイントラ予測、あるいはインター予測を行う ことができる。 Pフレームにおけるイントラ予測は Iフレームの場合と同様である。一方、 インター予測の際には動き補償が行われる。動き補償においても、マクロブロックをよ り小さなブロックに分割して、各サブブロックで異なる動きベクトル、参照画像を持つこ とがでさる。
[0009] また、 Bフレームにおいても、イントラ予測とインター予測が行える力 Bフレームで のインター予測では、過去のフレームに加えて未来のフレームも動き補償の参照画 像にできる。例えば、 Iフレーム→Bフレーム→Bフレーム→Pフレームというフレーム 構成で符号化する場合、 I→P→B→Bの順番で符号ィ匕することとなる。そして、 Bフレ ームでは、 Iフレーム及び Pフレームを参照して動き補償ができる。また、 Pフレームの 場合と同様に、マクロブロックを分割したサブブロックごとに異なる動きベクトルを持つ ことができる。
[0010] イントラもしくはインター予測を行うと予測残差が得られるが、各マクロブロックで予 測残差ブロックに DCT (離散コサイン変換)を行って量子化が行われる。具体的には 、ブロックサイズ 16 X 16のマクロブロックは 4 X 4のサブブロックに分割され、 4 X 4の DCTが行われる。そして、 DCT係数の量子化値列は次のような情報で表現される。
[0011] -Coded block pattern:マクロブロック内に定義できる 4つの 8 X 8ブロックのうち、ど のブロック内で非ゼロである DCT係数 (以後、非ゼロ係数）が存
在するか示す情報
•Coded block flag:非ゼロ係数が存在する 8 X 8ブロック内における 4つの 4 X 4ブロ ックのうち、どの 4 X 4ブロックに非ゼロ係数が存在するか示す情報
•Significanceマップ： Coded block flagで示される 4 X 4ブロックに存在する DCT係数 のうち、どの係数が非ゼロである力示す情報 •レベル情報： Significanceマップが示す非ゼロ係数の値
上記の DCT係数に関連する情報にカ卩え、各マクロブロックのサブブロックへの分割 方法や動きベクトルなどに対して、エントロピー符号ィ匕と呼ばれる可逆符号ィ匕が施さ れて符号化が完了する。
[0012] ここで、画素領域の量子化値、ある 、は画像ブロックに対して直交変換した変換係 数の量子化値 (DCT係数の場合、上記のレベル情報に対応する）以外のエントロピ 一符号ィ匕の対象となる情報を"補助情報"と呼ぶこととする。 H.264の場合、上記 DC T係数関連の補助情報以外の補助情報として、例えば以下のようなものがある。これ らの補助情報はマクロブロック単位で与えられる。
[0013] ·マクロブロックタイプ及びサブマクロブロックタイプ： マクロブロックタイプは、マクロ ブロックでイントラ予測を行うか、インター予測を行うかの指定、予測方法、ブロックの 分割形式などの組み合わせをインデックスで表現したものである。一方、サブマクロ ブロックタイプは、サブブロックでの予測方法、ブロックの分割形式などの組み合わせ をインデックスで表現したものである。
•参照画像インデックス： 各サブブロックでの動き補償に利用される参照画像のィ ンデッタス値である。
•動きベクトル： 各サブブロックにおける動きベクトルである。 H.264では、周辺の動 きベクトルで予測した残差として表現して 、る。
[0014] 次に、エントロピー符号ィ匕に関する概要を説明する。
[0015] エントロピー符号ィ匕は可逆符号ィ匕である。ここで、一般的に可逆符号化とは、符号 化対象のシンボル (整数の集合から取り出した一つの値と解釈すれば良 、）を 1と 0に よるビット列に変換する処理である。例えば、符号ィ匕対象のシンボル力 S {0, 1, 2, 3} という整数の集合における一つの値であるとき、そのシンボル力^の時は 00、 1のとき は 01、 2のときは 10、 3のときは 11、に符号化すれば可逆符号化になる。この符号化 方法は固定長符号化と呼ばれている。ここで、シンボルを符号化するための符号の 集合 (この例では、 {00, 01, 10, 11 })を"符号テーブル"と呼ぶ。
[0016] 固定長符号化は可逆符号化だが、符号化効率の意味では効率が悪!、。情報理論 では、シンボルの発生確率 (整数の集合に関する確率分布）を利用することによって 、高効率な可逆符号ィ匕を実現できることが知られている。おおまかには、発生確率の 高 、シンボルには短 、符号長を割り振り、発生確率の低 、シンボルには長 、符号長 を割り振ることで平均的には固定長符号化より効率的な符号化が可能になる。このよ うに、確率分布を利用した可逆符号ィ匕をエントロピー符号ィ匕と!、う。
[0017] しかし、前述のような高効率なエントロピー符号ィ匕が行えるのは、符号化対象のシン ボルの確率分布が既知であることが前提である。従って、従来は経験的に確率分布 を決めたり、符号ィ匕しながらシンボルの確率分布を学習するという方法が取られてい た。なお、シンボルの確率分布力 最適な符号テーブルを求める方法は従来力 あ る (ハフマン符号や算術符号)。従って、以下では確率分布と符号テーブルを同義と して扱う。
[0018] エントロピー符号ィ匕を動画像符号ィ匕の補助情報、画素値、変換係数値の符号化に 利用する場合、これらの符号化対象の情報は画像内で確率が変わる。従って、高効 率な符号ィ匕を実現するには、画像内の位置によって符号ィ匕に利用する符号テープ ルを適切なものに切り替える必要がある。すなわち、確率分布を適切なものに切り替 える必要がある。
[0019] H.264では、 Context— Adaptive Binary Arithmetic Coding(CABAC)という方法で これを実現して 、る（参考文献 1：下記の非特許文献 1)。以下で、マクロブロックタイ プを符号ィ匕する場合を例として、 H.264における CABACの概要を示す。
[0020] CABACでは、あるマクロブロックのマクロブロックタイプを符号化する場合、そのマ クロブロックの上及び左のマクロブロックの符号化済みのマクロブロックタイプを参照 して符号テーブルを切り替える。
[0021] 図 17に、この参照関係の概念図を示す。図中の A、 Bと記述されたマクロブロックの マクロブロックタイプは符号ィ匕対象のマクロブロックタイプと強い相関がある。
[0022] CABACでは、この相関を利用して最適な符号テーブルを予測する。具体的には、 マクロブロック A、 Bについて、あり得るすべてのマクロブロックタイプの値の組み合わ せについてそれぞれ符号テーブルを保持し、実際の A、 Bのマクロブロックタイプの 値に対応した符号テーブル (確率分布）を利用して符号ィ匕対象のマクロブロックタイ プをエントロピー符号ィ匕する。その他の符号ィ匕対象の情報も同じ考え方に基づいて エントロピー符号化される。
[0023] 次に、従来の多視点動画像の符号化方法について説明する。
[0024] 従来の多視点動画像の符号ィ匕では、上記の時間方向及び視差方向（カメラ間）の 相関を利用して符号ィ匕効率を高めるために、時間方向の予測及びカメラ間での補償 を行った符号ィ匕を採用している。その一例としては、参考文献 2 (下記の非特許文献 2)に示される手法がある。
[0025] この手法では、 "GOP"と呼ばれるフレームの集まりを、 Base GOPと InterGOPとい う 2種類の GOPに分類し、符号化する。 Base GOPと呼ばれる GOPでは、同一カメラ の GOPの画像に含まれる全てのフレームがイントラあるいはインター予測によって符 号化される力 Inter GOPと呼ばれる GOPに含まれるフレームでは、このようなイント ラ、インター予測に加え、別のカメラの GOPの画像を利用した視差方向予測も利用し て良い。ここで、視差方向予測というのは、あるカメラの画像のマクロブロックを符号ィ匕 するにあたり、別のカメラの画像を参照画像として動き補償と同じ処理を行うことであ る。
[0026] 図 18に、この方法における GOP構造の一例を示す。図の例においては、各 GOP は 2つの画像を有し、各矢印は画像間の参照関係を表している。この方法では、時 間方向及び視差方向の相関が符号ィ匕に利用されるため、時間方向のみの相関を利 用した方法より符号ィ匕効率を向上させることが可能である。
^^特干文献 1 : Detlev Marpe, et.al., "し ontext— Based Adaptive Binary Arithmeticし o ding in the H.264/AVC Video Compression Standard , IEEE Transactions on Circui ts and Systems for Video Technology, Vol. 13. No. 7, pp. 620—636, July, 2003. 非特許文献 2： Hideaki Kimataand Masaki Kitahara, "Preliminary results on multiple view video coding (3DAV)," document Ml 0976 MPEG Redmond Meeting, July, 2004 発明の開示
発明が解決しょうとする課題
[0027] しかしながら、参考文献 2の手法では、符号化対象の多視点動画像を符号化すると きに、先ず最初に、符号ィ匕効率に基づいて、時間方向の予測を使って符号ィ匕を行う の力、視差方向の予測を使って符号ィ匕を行うのかを決めるようにして、それに従って 、時間方向の予測を使って符号ィ匕を行うことを決定すると、その後は、視差方向の相 関を一切考慮することなく符号ィ匕を行うようにして 、る。
[0028] この場合、符号化対象の多視点動画像において、被写体と背景の時間的な変化が 緩やかで、時間方向の相関がカメラ間の相関に勝る場合、参考文献 2の方法に従つ ていると、時間方向の相関し力利用しない方法と比較して符号ィ匕効率を向上させるこ とができな 、と 、う問題がある。
[0029] これは、参考文献 2の方法を前述のような多視点動画像に適用すると、常に時間方 向の予測が利用され、時間方向の相関し力利用しない方法とほぼ同じ符号ィ匕を行う こと〖こなる力らである。
[0030] しかし、時間方向の予測しか行われな 、場合も、予測残差やその直交変換係数、 動きベクトルやマクロブロックタイプのような補助情報は、カメラ間で相関がある。従つ て、これらの情報の符号ィ匕においてカメラ間の相関を利用することが考えられる。
[0031] 一方、動き補償の予測誤差を画素領域で量子化し、その量子化値をエントロピー 符号化するような符号化方法を前提とした場合、一つの 2次元動画像を符号化する 方法である参考文献 3 (塩寺太一郎，松田一朗，伊東晋,"動き補償と 3次元予測に基 づいた動画像の可逆符号ィ匕〜コンテクストモデリングに関する検討〜",情報科学技 術フォーラム (FIT 2003)講演論文集， No. J- 053, pp. 303-304, Sep. 2003)の手法を 応用することが考えられる。
[0032] この参考文献 3の手法では、予測残差の量子化値のエントロピー符号ィヒの際に、 各ブロックで求められた動きベクトルを利用して、前フレームのすでに符号ィ匕が終了 して 、る量子化値を参照することで符号テーブルを切り替えるようにして 、る。
[0033] 具体的には、現在符号化対象となっている画素の位置を (X, y)、その画素が含ま れるブロックの動きベクトルを（m , m )としたとき、前フレームで（x+m , y+m )の 位置の周辺の画素に対応した量子化値の和を参照して符号テーブルを切り替える。 (x+m , y+m )の位置の周辺の画素に対応した量子化値は、符号ィ匕対象の画素 の量子化値と相関があるため、この手法を用いることで符号ィ匕効率を向上させること が可能となる。 [0034] この手法を多視点動画像の符号ィ匕にお 、て、（画素領域における）予測残差の量 子化値のエントロピー符号ィ匕に応用する場合には、各ブロックで隣接するカメラの同 一フレームに対して視差ベクトルを求め、参考文献 3の手法で時間方向に行ってい た処理を視差方向に行えばよ!/、。
[0035] し力しながら、このような容易に類推可能な方法では、予測残差の量子化値自体の 符号ィ匕効率を向上させることができるものの、各ブロックに対する視差ベクトルを符号 化する必要があるため、全体としての符号ィ匕効率を向上させることが困難である。
[0036] また、このような容易に類推可能な方法では、画素領域の予測残差以外の符号ィ匕 対象情報 (例えば、直交変換係数、動きベクトルやマクロブロックタイプなどの補助情 報)を効率的に符号ィ匕することはできない。これは、画素領域の予測残差とその他の 符号ィ匕対象情報との間に相関がないからである。
[0037] 本発明は力かる事情に鑑みてなされたものであって、多視点動画像を符号ィ匕する ときに、エントロピー符号ィ匕において視差方向の相関を利用して符号ィ匕を行うことが できるようにすることで、従来視差方向予測によって符号ィ匕効率を向上させることが できな ヽで 、た多視点動画像を含めたあらゆる多視点動画像に対して、その符号ィ匕 効率を向上させることができるようにする新たな符号ィ匕技術の提供を目的とする。 課題を解決するための手段
[0038] 上記事情を鑑みて、本発明は、複数の画像を一つの映像として符号ィ匕する映像符 号化方法であって、
第 1の画像内の所定位置に対する符号ィヒ対象情報を符号ィヒするにあたり、該第 1 の画像と符号化済みの第 2の画像との間の視点ずれを示す参照視差情報を設定す る参照視差情報設定ステップと，
前記参照視差情報を用いて、前記第 2の画像にお 、て前記所定位置と対応付けら れる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号ィヒ対象情報に対応した符号テーブルを設定する符号テープ ル設定ステップと、
前記符号テーブルを使!ヽ、前記第 1の画像内の前記符号化対象情報を符号化す る符号化対象情報符号化ステップと を有する映像符号化方法を提供する。
[0039] 典型例として、前記参照視差情報設定ステップでは、前記第 1及び第 2の画像間の 平均的な視点ずれを示すグローバル視差情報を前記参照視差情報として設定する とともに、
前記グローバル視差情報を符号ィヒするグローバル視差情報符号化ステップを有す る。
別の典型例として、
前記参照視差情報設定ステップでは、前記第 2の画像と別の第 3の画像とを用いて 両画像間の視差を推定し、該視差と、前記第 1〜第 3の画像の撮像装置間の位置関 係とに基づいて前記参照視差情報を設定する。
[0040] このように構成される本発明によれば、参照される視差情報 (視差ベクトルなどのよ うな視差の大きさを示す情報)を符号ィ匕しないか、もしくは符号ィ匕してもデータ量を小 さく抑えることができ、なおかつ、視差方向の相関を利用して符号ィ匕対象となってい る符号ィ匕対象情報を符号ィ匕できることにより、複数の映像 (例えば多視点動画像)を 効率的に符号ィ匕できるようになる。
[0041] この実現にあたって、ブロックごとに視差情報を求めて符号ィ匕するのでなぐ異なる カメラ間の視点ずれを示す視差情報を推定するか，もしくは一つの画像に対して 1つ の平均的な視差情報 (グローバル視差情報)を求めて符号化する。
各カメラのカメラパラメータが既知であり、 2つ以上のカメラの復号画像が参照可能 である場合には、符号化対象画像 (第 1の画像)を利用せずに、符号化対象画像の 各画素に関する視差情報 (視差べ外ル)を推定することができる。
また、カメラが一列に並んでいて視軸が平行であるような場合、各カメラの同一時刻 の画像列は被写体が平行移動した動画像を撮影して 、ることと等価なので、参照視 差情報のみでローカルな視差情報を近似できる。
そして、上記のような視差情報を利用して、別の画像の符号ィ匕対象情報を参照して 、符号ィ匕対象画像のエントロピー符号ィ匕用の符号テーブルを切り替える。
[0042] 好適例として、前記符号テーブル設定ステップでは、前記第 2の画像内の前記対 応位置の符号化対象情報と、前記第 1の画像内の前記所定位置の周辺の位置に対 する符号ィ匕済みの符号ィ匕対象情報とに対応した符号テーブルを設定する。
別の好適例として、前記符号テーブル設定ステップでは、前記第 2の画像内の前 記対応位置の周辺の位置に対応する符号ィ匕対象情報も参照して前記符号テーブル を設定する。これによれば、ロバストな符号テーブルの切り替えが可能となる。
これにより、参照視差情報の精度などの影響がある場合でも、上記第 2の画像内の 対応位置を設定するにあたり、上記第 1の画像内の上記所定位置の統計的なばらつ きにも対応できるという効果がある。
即ち、周辺の複数の対応位置を参照して符号テーブルを設定することにより、参照 視差情報の精度などの影響を吸収することが可能となる。
[0043] 典型例として、前記符号化対象情報は、画像を分割したブロックごとに設定されるも のであり、
前記対応位置設定ステップでは、前記第 2の画像にお ヽて前記所定位置に対応 するブロックの位置を、前記参照視差情報に基づ 、てずらしたときに該ブロックとの 重複面積が最大となるブロックの位置を対応位置として設定する。
この場合、符号テーブル設定手段は、その対応位置のブロックの符号ィ匕対象情報 を参照することで符号テーブルを切り替えることになる。この構成を採ることで、ブロッ クベースの符号ィ匕において、各ブロックに対して求められる符号ィ匕対象情報（直交変 換係数、マクロブロックタイプなど）の効率的な符号ィ匕が行えるようになる。
[0044] 別の典型例として、前記符号化対象情報は、画像を分割したブロックごとに設定さ れるものであり、
前記対応位置設定ステップでは、前記第 2の画像にお ヽて前記所定位置に対応 するブロックの位置を、前記参照視差情報に基づ 、てずらした位置の周辺の複数の ブロックの位置を対応位置として設定する。
このときには、符号テーブル設定手段は、その複数のブロックの符号ィ匕対象情報を 参照することで符号テーブルを切り替えることになる。この構成を採ることで、ブロック ベースの符号ィ匕において、前述した理由と同じ理由により、ロバストな符号テーブル の切り替えが可能となる。
[0045] 前記符号テーブル設定ステップでは、前記符号テーブルの設定に用いる符号化対 象情報の最頻値に対応する符号テーブルを設定するようにしても良 、。 この構成を採ることで、符号テーブルの数の爆発的な増加を防ぎながら、マクロプロ ックタイプや予測モードのような、数値として表現されて 、るがあくまでもインデックスと しての数値である、大小関係が定義できない符号ィ匕対象情報を効率的に符号ィ匕す ることがでさるよう〖こなる。
[0046] すなわち、参照する対応位置の数が Nであった場合、 N個のシンボルの全組み合 わせについて符号テーブルを用意すると、参照する対応位置の数力^の場合の符号 テーブル数 cに対して cN_1個の符号テーブルを持つ必要がある。つまり、符号テープ ルの数は指数的に増加する。これに対して、この構成を採ると、複数の対応位置に関 する符号化対象情報の最頻値を参照して符号テーブルを切り替えるので、符号テー ブルの数は cで済む。
[0047] また、前記符号テーブル設定ステップにお 、て、前記符号テーブルの設定に用い る符号ィヒ対象情報の平均値に対応する符号テーブルを設定するようにしても良い。 この構成を採ることで、符号テーブルの数の爆発的な増加を防ぎながら、直交変換 係数の量子化値や非ゼロ係数の数などのような大小関係が定義できる符号化対象 情報を効率的に符号ィ匕することができるようになる。
上述のように、参照する対応位置の数が Nであった場合、 N個のシンボルの全組み 合わせについて符号テーブルを用意すると、参照する対応位置の数が 1の場合の符 号テーブル数 cに対して cN_1個の符号テーブルを持つ必要がある。これに対して、こ の構成を採ると、複数の対応位置に関する符号化対象情報の平均値を参照して符 号テーブルを切り替えるので、符号テーブルの数は cで済む。
[0048] 本発明はまた、複数の画像を一つの映像として符号ィ匕することで生成された符号 化データを復号する映像復号方法であって、
第 1の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第 1の 画像と符号化済みの第 2の画像との間の視点ずれを示す参照視差情報を設定する 参照視差情報設定ステップと，
前記参照視差情報を用いて、前記第 2の画像にお 、て前記所定位置と対応付けら れる対応位置を設定する対応位置設定ステップと、 前記対応位置の符号ィヒ対象情報に対応した符号テーブルを設定する符号テープ ル設定ステップと、
前記符号テーブルを使 ヽ、前記第 1の画像内の前記符号化対象情報を復号する 符号化対象情報復号ステップと
を有する映像復号方法を提供する。
[0049] 典型例として、前記参照視差情報設定ステップでは、前記第 1及び第 2の画像間の 平均的な視点ずれを示すグローバル視差情報を復号し、これを前記参照視差情報と して設定する。
別の典型例として、前記参照視差情報設定ステップでは、前記第 2の画像と別の第 3の画像とを用いて両画像間の視差を推定し、該視差と、前記第 1〜第 3の画像の撮 像装置間の位置関係とに基づいて前記参照視差情報を設定する。
[0050] 好適例として、前記符号テーブル設定ステップでは、前記第 2の画像内の前記対 応位置の符号化対象情報と、前記第 1の画像内の前記所定位置の周辺の位置に対 する復号済みの符号ィ匕対象情報とに対応した符号テーブルを設定する。
別の好適例として、前記符号テーブル設定ステップでは、前記第 2の画像内の前 記対応位置の周辺の位置に対応する符号ィ匕対象情報も参照して前記符号テーブル を設定する。
[0051] 典型例として、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、 前記対応位置設定ステップでは、前記第 2の画像にお ヽて前記所定位置に対応 するブロックの位置を、前記参照視差情報に基づ 、てずらしたときに該ブロックとの 重複面積が最大となるブロックの位置を対応位置として設定する。
別の典型例として、前記符号化対象情報は、画像を分割したブロックごとに設定さ れるものであり、
前記対応位置設定ステップでは、前記第 2の画像にお ヽて前記所定位置に対応 するブロックの位置を、前記参照視差情報に基づ 、てずらした位置の周辺の複数の ブロックの位置を対応位置として設定する。
[0052] 前記符号テーブル設定ステップでは、前記符号テーブルの設定に用いる符号化対 象情報の最頻値に対応する符号テーブルを設定しても良ぐまた、前記符号テープ ルの設定に用いる符号ィ匕対象情報の平均値に対応する符号テーブルを設定しても 良い。
[0053] 本発明はまた、複数の画像を一つの映像として符号ィ匕する映像符号ィ匕装置であつ て、
第 1の画像内の所定位置に対する符号ィヒ対象情報を符号ィヒするにあたり、該第 1 の画像と符号化済みの第 2の画像との間の視点ずれを示す参照視差情報を設定す る参照視差情報設定部と，
前記参照視差情報を用いて、前記第 2の画像にお 、て前記所定位置と対応付けら れる対応位置を設定する対応位置設定部と、
前記対応位置の符号ィヒ対象情報に対応した符号テーブルを設定する符号テープ ル設定部と、
前記符号テーブルを使!ヽ、前記第 1の画像内の前記符号化対象情報を符号化す る符号化対象情報符号化部と
を有する映像符号化装置を提供する。
[0054] 典型例として、前記参照視差情報設定部は、前記第 1及び第 2の画像間の平均的 な視点ずれを示すグローバル視差情報を前記参照視差情報として設定するとともに 前記グローバル視差情報を符号ィ匕するグローバル視差情報符号ィ匕部を有する。 別の典型例として、前記参照視差情報設定部は、前記第 2の画像と別の第 3の画 像とを用いて両画像間の視差を推定し、該視差と、前記第 1〜第 3の画像の撮像装 置間の位置関係とに基づいて前記参照視差情報を設定する。
[0055] 本発明はまた、複数の画像を一つの映像として符号ィ匕することで生成された符号 化データを復号する映像復号装置であって、
第 1の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第 1の 画像と符号化済みの第 2の画像との間の視点ずれを示す参照視差情報を設定する 参照視差情報設定部と，
前記参照視差情報を用いて、前記第 2の画像にお 、て前記所定位置と対応付けら れる対応位置を設定する対応位置設定部と、
前記対応位置の符号ィヒ対象情報に対応した符号テーブルを設定する符号テープ ル設定部と、
前記符号テーブルを使 ヽ、前記第 1の画像内の前記符号化対象情報を復号する 符号化対象情報復号部と
を有する映像復号装置を提供する。
[0056] 典型例として、前記参照視差情報設定部は、前記第 1及び第 2の画像間の平均的 な視点ずれを示すグローバル視差情報を復号し、これを前記参照視差情報として設 定する。
別の典型例として、前記参照視差情報設定部は、前記第 2の画像と別の第 3の画 像とを用いて両画像間の視差を推定し、該視差と、前記第 1〜第 3の画像の撮像装 置間の位置関係とに基づいて前記参照視差情報を設定する。
[0057] 本発明の各方法はコンピュータプログラムでも実現できるものであり、このコンビユー タプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供された り、ネットワークを介して提供され、本発明を実施する際にインストールされて CPUな どの制御手段上で動作することにより本発明を実現することができる。
発明の効果
[0058] 以上に説明したように、本発明によれば、視差方向予測によって符号ィ匕効率を向 上させることができな 、で 、た多視点動画像に対して、エントロピー符号ィ匕にぉ 、て 視差方向の相関を利用することが可能となることから、あらゆる多視点動画像に対し て、符号ィ匕効率を向上させることができるようになる。
図面の簡単な説明
[0059] [図 1A]符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す 図である。
[図 1B]同様に、符号テーブルを切り替えるための符号ィ匕対象情報の参照関係の一 例を示す図である。
[図 2A]符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す 図である。 圆 2B]同様に、符号テーブルを切り替えるための符号ィ匕対象情報の参照関係の一 例を示す図である。
圆 3]本発明の一実施形態において、カメラの構成を示す概念図である。
圆 4]同実施形態における映像符号ィ匕装置の構成を示す図である。
圆 5]同実施形態における符号ィ匕対象情報参照符号ィ匕部の構成を示す図である。 圆 6]同実施形態において、映像符号化装置の実行する動作フローを示す図である 圆 7]同実施形態において、カメラ C2の画像中の符号化対象情報の符号化処理の 動作フローを示す図である。
[図 8A]符号テーブルを切り替えるための符号化対象情報の参照関係の一例を示す 図である。
圆 8B]同様に、符号テーブルを切り替えるための符号ィ匕対象情報の参照関係の一 例を示す図である。
圆 9]同実施形態における映像復号装置の構成を示す図である。
圆 10]同実施形態における符号ィ匕対象情報参照復号部の構成を示す図である。 圆 11]同実施形態において、映像復号装置の実行する動作フローを示す図である。 圆 12]同実施形態において、カメラ C2の画像中の符号化対象情報の復号処理の動 作フローを示す図である。
圆 13A]同実施形態において、符号テーブルを切り替えるための符号化対象情報の 参照関係の一例を示す図である。
[図 13B]同様に、符号テーブルを切り替えるための符号ィ匕対象情報の参照関係の一 例を示す図である。
[図 14]符号化対象画像を利用せずに、該画像の各画素に関する視差情報 (視差べク トル)を推定する原理を示す図である。
[図 15]視差情報を推定する場合の、カメラ C2の画像中の符号化対象情報の符号ィ匕 処理の動作フローを示す図である。
[図 16]視差情報を推定する場合の、カメラ C2の画像中の符号化対象情報の復号処 理の動作フローを示す図である。 [図 17]H.264における符号テーブルを切り替えるためのマクロブロックの参照関係を 示す図である。
[図 18]従来技術の GOP構造の一例を示す図である。
符号の説明
1 映像符号化装置
2 映像復号装置
10 画像情報入力部
11 画像メモリ
12 参照視差情報設定部
13 符号化対象情報非参照符号化部
14 符号化対象情報メモリ
15 符号化対象情報参照符号化部
16 グローバル視差符号ィ匕部
20 符号化対象情報非参照復号部
21 符号化対象情報メモリ
22 符号化対象情報参照復号部
23 グローバル視差復号部
24 画像情報復元部
25 画像情報出力部
発明を実施するための最良の形態
[0061] 以下、実施の形態に従って本発明を詳細に説明する。
[0062] まず、図 1A、 IB及び図 2A, 2Bに、符号テーブルを切り替えるための符号ィ匕対象 情報の参照関係の一例を示す。ここで、これらの図では、説明の便宜上、参照視差 情報としてグローバル視差ベクトル (グローバル視差情報）を用いることを想定して ヽ る。
[0063] これらの図では、 2つのカメラ (カメラ Cl、カメラ C2)で撮影された映像を符号ィ匕する ことを想定しており、カメラ C1に関する符号ィ匕対象情報 (符号ィ匕対象情報とはェント 口ピー符号ィ匕の対象となる情報の総称で、予測残差、直交変換係数、マクロブロック タイプなどの情報である）については、カメラ C2の符号化対象情報を参照せずに符 号化し、一方、カメラ C2の符号ィ匕対象情報のエントロピー符号ィ匕については、カメラ C1の符号ィ匕済みの符号ィ匕対象情報を参照してエントロピー符号ィ匕することを想定し ている。
[0064] 図 1A、 IBの例では、カメラ C2において現時点で符号ィ匕対象となっている符号ィ匕 対象情報が属するブロック 502 (この例では MPEG— 2のようなブロックベースの符 号ィ匕を仮定して 、る）の位置〖こ対応するカメラ C 1の画像中の位置 501を、カメラ C 1 の画像中にお ヽてグローバル視差ベクトル分ずらすことで特定される位置に対応す る 1つのブロック（図中で Cと記述されたブロック）の符号ィ匕対象情報に従って符号テ 一ブルを切り替えて、その符号テーブルを使って符号ィ匕対象情報を符号ィ匕する。
[0065] なお、上記の例で、ブロック 502の位置に対応するカメラ C1の画像中の位置 501を 、カメラ C1の画像中にぉ ヽてグローバル視差ベクトル分ずらすことで特定される位置 に対応する 1つのブロックを特定する場合に、好適例としては、ブロック 501との重複 面積が最大となるブロック (例えば C)の位置を対応位置として設定するようにする。
[0066] また、図 2A, 2Bの例では、カメラ C2において現時点で符号化対象となっている符 号化対象情報が属するブロック 502 (この例では MPEG— 2のようなブロックベース の符号化を仮定して ヽる）の位置に対応するカメラ C 1の画像中の位置 501を、カメラ C1の画像中においてグローバル視差ベクトル分ずらすことで特定される位置周辺に 対応する複数のブロック（図中で C, D, E, Fと記述されたブロック）の符号ィ匕対象情 報に従って符号テーブルを切り替えて、その符号テーブルを使って符号ィ匕対象情報 を符号化する。
[0067] 以下の実施形態例では、 2つのカメラで撮影された多視点動画像を符号化する場 合の具体例を、詳細に説明する。
[0068] 図 3に、本実施形態例で利用するカメラ構成の概念図を示す。ここで、図中に示す 四角型の図形は各カメラのフレーム (画像)を表すものとする。
[0069] この図に示すように、本実施形態例では、カメラ CI, C2を利用することを想定する とともに、カメラ C1のフレームの全符号ィ匕対象情報を同一時刻のカメラ C2のフレーム より前に符号化し、カメラ C2のフレームの符号ィ匕対象情報のエントロピー符号ィ匕にお いてカメラ CIの (符号ィ匕済みの)符号ィ匕対象情報を参照することを想定する。
[0070] 以下では、説明を簡単にするため、図 3の中でフレームの図に記述されている順番 で符号ィ匕していくとする。また、符号化対象情報を符号化する際のブロックのスキャン 方法については、各行を左力 スキャンし、上の行から処理していくこととする。
[0071] また、本発明では、符号ィ匕対象情報ごとに最適な符号テーブルに切り替えるという 構成を採るのである力 本実施形態例では、マクロブロックタイプという符号ィ匕対象情 報を符号化する場合を想定して、その符号テーブルの切り替えについて具体的に説 明する。マクロブロックタイプは、各ブロックでの動き補償の方法やイントラ予測の方 法を示す情報であり、整数インデックスである MBtypeとして表現される。本実施形態 例では、 MBtypeは 12通りあるとする（つまり、 MBtype = 0,l,....,ll)o
[0072] また、符号化対象情報のエントロピー符号化の際には、符号化対象情報に対応す るブロック周辺の符号ィ匕済み符号ィ匕対象情報を利用したコンテクスト依存型ェントロ ピー符号ィ匕を行うか、あるいは、それらの符号ィ匕済み符号ィ匕対象情報及び別カメラ のフレームの符号ィ匕済み符号ィ匕対象情報を利用したコンテクスト依存型エントロピー 符号ィ匕を行うこととする。なお、その際の各符号テーブルは予め適切なものが用意さ れているとする。
[0073] 図 4に、本実施形態例において利用する映像符号ィ匕装置 1の構成を示す。
[0074] この図に示す映像符号ィ匕装置 1は、カメラ CI, C2のフレームを図 3に示す順番で 入力する画像情報入力部 10と、カメラ C1のフレームを蓄積する画像メモリ 11と、カメ ラ C1とカメラ C2のフレームの間で参照視差情報 (本実施形態では、グローバル視差 ベクトル)を求める参照視差情報設定部 12と、カメラ C1の符号化対象情報を符号ィ匕 する符号ィ匕対象情報非参照符号ィ匕部 13と、カメラ C1のブロック情報 (符号化対象情 報)を蓄積する符号化対象情報メモリ 14と、カメラ C2の符号化対象情報を符号化す る符号ィ匕対象情報参照符号ィ匕部 15と、グローバル視差べ外ルを符号ィ匕するグロ一 バル視差符号ィ匕部 16とを備える。
[0075] 図 5に、映像符号化装置 1における符号化対象情報参照符号化部 15の詳細な構 成を示す。
[0076] この図に示すように、符号化対象情報参照符号化部 15は、グローバル視差べタト ルから対応位置を求める対応位置設定部 150と、カメラ C 1とカメラ C2の符号化対象 情報に基づいて符号テーブルを設定するための参照パラメータを設定する参照パラ メータ設定部 151と、参照パラメータを基に符号テーブルを設定する符号テーブル 設定部 152と、カメラ C2の画像から符号化対象情報を設定する符号化対象情報設 定部 153と、カメラ C2の符号化対象情報を符号化する符号化対象情報符号化部 15 4とを備える。
[0077] 図 6に、このように構成される映像符号ィ匕装置 1の実行する動作フローを示す。
[0078] この動作フローに示すように、まず、カメラ C1とカメラ C2のフレーム力 図 3に示され ている順番で、交互に画像情報入力部 10に入力される (S10) o
[0079] 入力されたフレームがカメラ C1のフレームであれば、符号化対象情報非参照符号 化部 13にて、各ブロックの符号ィ匕対象情報が符号化される（S11ZS12)。また、画 像メモリ 11には 1フレーム分のメモリがあり、常にカメラ C1の最新の入力済みフレーム が蓄積される。
[0080] 一方、入力されたフレームがカメラ C2のフレームであれば、符号化対象情報参照 符号ィ匕部 15にて、各ブロックの符号ィ匕対象情報が符号化される（S11ZS13)。なお 、カメラ C2のフレームの符号ィ匕対象情報の符号ィ匕では、事前に参照視差情報設定 部 12で求められたグローバル視差ベクトルが利用される。
[0081] そして、最後に、このようにして生成した符号ィ匕対象情報の符号ィ匕データを出力す る（S14)。
[0082] 図 7に、カメラ C2の符号ィ匕対象情報の符号ィ匕処理の詳細な動作フローを示す。
[0083] 参照視差情報設定部 12には、画像メモリ 11からカメラ C1の画像が入力され、画像 情報入力部 10からカメラ C2の画像が入力される。そして、参照視差情報設定部 12 でグローバル視差ベクトルが求められる（S 130)。
[0084] グローバル視差ベクトルの計算方法は様々な方法が考えられる力 ここでは、各ブ ロック（例えばマクロブロック）ごとの視差ベクトルの平均ベクトルとして求めることとす る。
[0085] すなわち、カメラ C2の b (b = 0, 1, B-1)番目のブロックの画素値を、
I ( i, j) i=0, 1, 1-1, j = 0, 1, J-l と表し、カメラ CIの画像中で左上の画素の位置が（i'， j ' )である、大きさ力 XJである ブロックの画素値を、
I ( i, j) i=0, 1, 1-1, j = 0, 1, J-l
， と表すならば、参照視差情報設定部 12では、カメラ C2の各ブロックについて、以下 の評価関数に基づいてブロックマッチングを行う。
[0086] E (b, i',j') =∑ ∑ (I ( i, j) -I ( i, j) ) 2
i j b ただし、∑ は i=0〜I—lについての総和、∑ は】=0〜】ー1にっぃての総和。 ここで、各ブロックにおいて E (b, i'J')を最小化することで求まった視差ベクトルをく d >としたとき、グローバル視差ベクトル < d>を例えば以下のような式で求める。 b
[0087] < d> =∑< d >/B
b
ただし、∑は b = 0〜： B— 1についての総和。
このようにして求められたグローバル視差ベクトルはグローバル視差符号ィ匕部 16に 入力され、グローバル視差符号化部 16にて符号化される（S 131)。
[0088] グローバル視差ベクトルの符号ィ匕は、本実施形態例では非可逆符号ィ匕されることと する。ここでは、量子化ステップサイズが 1で量子化されて (最も近い整数にマツピン グされることと等価である）、エントロピー符号化されることとする。
[0089] 次に、
Figure imgf000021_0001
、て、符号化対象情報をエントロピー符号化するために、符 号ィ匕対象情報設定部 153にて符号ィ匕対象情報を求める (S 133)。具体的には、動き 補償による動きベクトル、 MBtypeなどの情報や直交変換係数などの符号化対象情 報が求められる。
[0090] 次に、各ブロックについて、符号化対象情報符号化部 154にて符号化対象情報を 符号化する。その際、対応位置設定部 150は、符号化されて復号されたグローバル 視差ベクトルを用いて、対応位置がカメラ C1のフレーム内に存在する力、判定を行う (S 134)。 [0091] 本実施形態例では、図 8A, 8Bに示すように、対応位置は、カメラ C2の画像中のブ ロック bに対応するカメラ C 1の画像中の位置 501をグローバル視差ベクトル分シフトさ せた位置に最も近い 4つのブロックの位置とする。具体的には、現ブロック bの左上の 角の位置を Iとしたとき、カメラ C1の画像においてブロックの左上の角の位置が I +
b b
< d>に最も近!、4つのブロックの位置を対応位置とする。ただし、 I + < d>とブロッ
b
ク左上の角の位置との距離が、予め設定された閾値 maxDistより大きい場合には対 応位置とはしないものとする。
[0092] 対応位置設定部 150により対応位置が存在しないと判定された場合、エントロピー 符号ィ匕の際の符号テーブルの切り替えは、同じ画像内の符号ィ匕済みのブロックのみ の参照で行う。
[0093] すなわち、対応位置が存在しない場合は、参照パラメータ設定部 151は、図 8B中 の A、 Bと記述されたブロックの MBtypeの組を求める。例えば、（0, 5)というような M Btypeの組を求めるのである。
[0094] これを受けて、符号テーブル設定部 152は、この（0, 5)という MBtypeの組に対応 した符号テーブルをエントロピー符号ィ匕用に設定する（S 137)。なお、ここで利用さ れる符号テーブルはカメラ C1で利用されたものと同じとする。また、符号テーブル設 定部 152は、あり得るすべての MBtypeの値の組み合わせについてそれぞれ符号テ 一ブルを保持している。
[0095] そして、この符号テーブルの設定を受けて、符号ィ匕対象情報符号ィ匕部 154は、この 符号テーブル内で現ブロックの MBtypeに対応した符号を出力する（S138)。即ち、 現ブロックの符号化対象情報が符号化される。
[0096] 一方、対応位置設定部 150により対応位置が存在すると判定された場合 (図 8Aで C、 D、 E、 Fと記述されたブロックである）は、参照パラメータ設定部 151は、 4つの対 応位置に関する MBtypeの最頻値を求めて、その MBtypeと、図 8B中の A、 Bと記述 されたブロックの MBtypeの組とに基づいて、最終的な MBtypeの組を求める。即ち、 符号化対象画像中の、現在符号化しょうとしているブロック bの周辺の符号化済み符 号ィ匕対象情報と、符号ィ匕済み参照画像中の対応位置の符号ィ匕対象情報とが参照さ れる。 [0097] 例えば、 4つの対応位置の MBtypeが（0, 5, 5, 4)であったとすると、最頻値は 5で ある。また、図 8中の A、 Bと記述されたブロックの MBtypeの組が（0, 5)だったとする と、参照パラメータ設定部 151は、これらの MBtypeに基づいて、最終的に（0, 5, 5) と!、う MBtypeの糸且を求めるのである。
[0098] これを受けて、符号テーブル設定部 152は、この（0, 5, 5)という MBtypeの組に対 応した符号テーブルをエントロピー符号ィ匕用に設定する（S 135)。
[0099] そして、この符号テーブルの設定を受けて、符号ィ匕対象情報符号ィ匕部 154は、この 符号テーブル内で現ブロックの MBtypeに対応した符号を出力する（S136)。
[0100] これらの処理については、画像内の全ブロックの符号ィ匕対象情報が符号ィ匕される まで行われる（S132ZS139ZS140)。
[0101] このようにして、本発明の映像符号化装置 1は、視差方向の相関を利用して、ェント 口ピー符号化の対象となる符号化対象情報を符号化するように処理するのである。
[0102] 次に、本発明の映像復号装置について説明する。
[0103] 図 9に、本実施形態例において利用する映像復号装置 2の構成を示す。
[0104] この図に示す映像復号装置 2は、カメラ C1に関する符号ィ匕対象情報を復号する符 号化対象情報非参照復号部 20と、カメラ C1について復号された符号ィ匕対象情報を 蓄積する符号化対象情報メモリ 21と、カメラ C2に関する符号化対象情報を復号する 符号ィ匕対象情報参照復号部 22と、グローバル視差べ外ルを復号するグローバル視 差復号部 23と、符号化対象情報に基づ!/、て画像を復元する画像情報復元部 24と、 復元された画像を出力する画像情報出力部 25とを備える。
[0105] 図 10に、映像復号装置 2における符号化対象情報参照復号部 22の詳細な構成を 示す。
[0106] この図に示すように、符号化対象情報参照復号部 22は、カメラ C2の符号化対象情 報を復号する符号化対象情報復号部 220と、復号されたグローバル視差ベクトルか ら対応位置を求める対応位置設定部 221と、カメラ C1とカメラ C2の復号済み符号ィ匕 対象情報に基づいて符号テーブルを設定するための参照パラメータを設定する参照 パラメータ設定部 222と、参照パラメータを基に符号テーブルを設定する符号テープ ル設定部 223とを備える。 [0107] 図 11に、このように構成される映像復号装置 2の実行する動作フローを示す。
[0108] まず、映像復号装置 2では、カメラ C1とカメラ C2の符号ィ匕データ力 図 3に示され て 、る順番で入力される (S20)。
[0109] このとき、カメラ C1の符号化データについては符号化対象情報非参照復号部 20に 入力され、カメラ C2の符号ィ匕データについては符号ィ匕対象情報参照復号部 22に入 力される。ここで、カメラ C2の符号ィ匕データが入力される際には、グローバル視差べ タトルの符号化データもグローバル視差復号部 23に入力される。
[0110] 入力された符号化データがカメラ C1の符号化データであれば、符号化対象情報非 参照復号部 20にて、各ブロックの符号化対象情報が復号される（S21ZS22)。
[0111] 一方、入力された符号化データがカメラ C2の符号化データであれば、符号化対象 情報参照復号部 22にて、各ブロックの符号化対象情報が復号される (S21ZS23)。
[0112] そして、最後に、このようにして復号した符号ィ匕対象情報に基づいて画像を復元し て出力する（S24)。
[0113] 図 12に、カメラ C2の符号ィ匕対象情報の復号処理の詳細な動作フローを示す。
[0114] カメラ C2の符号化対象情報の復号処理では、まずグローバル視差ベクトルの符号 化データがグロ一ノ レ視差復号部 23に入力され、グローバル視差復号部 23でグロ 一バル視差ベクトルが復号される（S230)。
[0115] そして、対応位置設定部 221にて、復号されたグローバル視差ベクトルを用いて、 カメラ C1のフレーム内に、カメラ C2のフレーム内の現ブロック bに対応する対応位置 が存在するか、判定される（S232)。対応位置の決定方法については、符号化時と 同様である。
[0116] 対応位置設定部 221により対応位置が存在しないと判定された場合、カメラ C2の 復号済み符号ィヒ対象情報のみを参照することで符号テーブルの切り替えが行われ、 現ブロックの符号ィ匕対象情報が復号される（S235ZS236)。参照関係については、 符号ィ匕時と同様である。
[0117] このとき、参照パラメータ設定部 222と符号テーブル設定部 223については、映像 符号化装置 1にお ヽて、対応位置が存在しな!、場合に行われる参照パラメータ設定 部 151と符号テーブル設定部 152と同様の動作をして、現ブロックの MBtypeを復号 する。
[0118] 一方、対応位置設定部 221により対応位置が存在すると判定された場合 (符号ィ匕 の場合と同じく図 8Aで C、 D、 E、 Fと記述されたブロックである）、カメラ C2の復号済 み符号ィ匕対象情報及びカメラ C1の対応位置の復号済み符号ィ匕対象情報を参照す ることで符号テーブルの切り替えが行われ、現ブロックの符号化対象情報が復号され る（S233ZS234)。
[0119] このとき、参照パラメータ設定部 222と符号テーブル設定部 223については、映像 符号化装置 1において、対応位置が存在する場合に行われる参照パラメータ設定部 151と符号テーブル設定部 152と同様の動作をして、現ブロックの MBtypeを復号す る。
[0120] 現ブロックの全ての符号化対象情報が復号されると、画像情報復元部 24で、これら の情報をもとに当該ブロックの画像情報が復元され、画像情報出力部 25から出力さ れる（S237)。
[0121] これらの処理については、画像内の全ブロックが復号されるまで行われる（S231Z S238ZS239)。
[0122] このようにして、本発明の映像復号装置 2は、視差方向の相関を利用して、本発明 の映像符号化装置 1により生成された符号化データを復号するように処理するのであ る。
[0123] 前述した実施形態例での符号ィ匕処理はマクロブロックタイプと!/、う情報のエントロピ 一符号ィ匕に関するものであるが、本発明は、その他のエントロピー符号ィ匕の対象とな る情報のエントロピー符号ィ匕に対しても、そのまま応用可能である。以下にいくつか の例を示す。
[0124] 具体的には、 H.264でエントロピー符号ィ匕の対象となり、 DCT係数に関連する情報 で &) 、し oded block pattern、 Coded bloc flag、； gnificanceマップ、レへノレ '隋報【こ 対しての本発明の応用を示す。
[0125] 前述の通り、 H.264では、エントロピー符号ィ匕の対象となる情報は全てビット列で表 現されており、 1ビットずつコンテクスト依存型の算術符号ィ匕でエントロピー符号化さ れる。すなわち、本発明を応用する場合は、各ビットをエントロピー符号ィ匕するときの 符号テーブル (算術符号ィ匕なので、具体的には確率テーブルである）の切り替えに 利用可能である。
[0126] 前述のように、 Coded block patternという情報は、マクロブロック内の 4つの 8 X 8ブ ロックにおいて、どのブロックに非ゼロ係数がある力示す情報である。具体的には、 8 X 8ブロックにおいて非ゼロ係数の存在の有無を 1ビットで表すような、合計 4ビットの 情報として表現される。
[0127] ある 8 X 8ブロックの Coded block patternのビットを符号化する際には、例えば図 1 3A, 13Bに示すような形の参照を、 8 X 8ブロックを単位として行えば良い。図 13A, 13Bは、それぞれ図 8A, 8Bに対応した、ブロックの位置関係を示す図である。つまり 、 8 8ブロック八、 B、 Cのビットの全組み合わせに対応した符号テーブルをそれぞれ 用意しておき、そのうちの、符号ィ匕対象の 8 X 8ブロック bに対して最も相応しい A、 B 、 Cのビットの組み合わせに対応した符号テーブルでエントロピー符号ィ匕すれば良 ヽ
[0128] また、 Coded block flagと!、う情報は、上述のように、非ゼロ係数が存在する 8 X 8ブ ロック内の 4つの 4 X 4ブロックにおいて、どのブロックに非ゼロ係数があるか示す情報 である。従い、 Coded block flagは Coded block patternと同じ形式の情報であり、本 発明の応用も同じ形で行える。
[0129] 次に、 Significanceマップのエントロピー符号化における本発明の応用方法の例を 示す。 Significanceマップという情報は、上述のように、 Coded block flagで示される 4 X 4ブロック内で、どの DCT係数が非ゼロである力示した情報である。具体的には、あ る DCT係数が非ゼロであるか否かを 1ビットで表し、ある順番に従って当該 4 X 4ブロ ック中の 16個の DCT係数をスキャンし、 DCT係数が非ゼロであった場合は 1として、 そうでな 、場合は 0とする。これらのビットを Significanceビットと呼ぶ。
[0130] なお、 DCT係数が非ゼロであって 1とされたときは、その DCT係数がスキャンの中 で最後の非ゼロ係数であった力否かを 1ビットで表して (非ゼロ係数であった場合は 値 1、そうでな 、場合は値 0) Significanceマップに含める。これらのビットを Lastビットと 呼ぶ。
スキャン中に Lastビットの値が 1であるような状況が発生した場合 (即ち、その位置の DCT係数が最後の非ゼロ係数であった場合）、以後の DCT係数に関する Significan ceビットは必要ない。また、スキャンの中で最後の DCT係数が非ゼロであるか否かに っ 、ては、それまでの Significanceビットと Lastビットから明らかなので、この DCT係数 につ 、ては情報は特に必要な 、。
[0131] H.264では、 Significanceビットと Lastビットを独立に符号化する力 符号テーブルは スキャンの中での位置に応じて切り替える（上述のように、最後の DCT係数にっ ヽて は情報が不要なので、 15個の符号テーブルが要求される)。本発明を応用する場合 は、例えば図 13A、 13Bに示されるように、別カメラの 4 X 4ブロック Cにおける非ゼロ 係数の数を参照して符号テーブルを切り替えることが考えられる。これは、多視点動 画像の性質上、ブロック Cにおいて非ゼロである DCT係数の数が大きいほど、符号 化対象の 4 X 4ブロック bの 16個の Significanceビットが 1である（即ち、 DCT係数が非 ゼロである）確率が高く、 Lastビットが 0である確率が高!、からである。
[0132] 最後に、レベル情報のエントロピー符号ィ匕における本発明の応用方法の例を示す 。 H.264では、整数値である DCT係数の量子化値を 2進のビット列に変換し、 Signific anceマップの場合と同様にスキャンしながら、各ビットをエントロピー符号ィ匕していく。
[0133] このときに利用する符号テーブルは、ブロック内のこれまでのスキャン中で発生した 、絶対値が 1より大きい量子化値の数によって切り替える。スキャン中のある時点で、 絶対値が 1より大き!/、量子化値が多く発生して ヽる場合、その時点で符号ィ匕対象とな つて 、る量子化値は大きな値を持つ確率が大き 、ため、この性質を反映した符号テ 一ブルを用意しておく。
[0134] 多視点動画像を符号化する場合、図 13A, 13Bに示されるような別カメラ (C1)の ブロック Cにおける DCT係数の量子化値が大きければ、現在符号化対象となって!/ヽ るブロック (b)の量子化値も大きい値が多いという性質がある。従って、本発明を応用 する場合は、例えば、ブロック Cにおける量子化値の平均値に応じた符号テーブルを 用意しておき、符号ィ匕対象のブロック bに関する別カメラのブロック Cの量子化値の平 均値に対応した符号テーブルによってエントロピー符号ィ匕すれば良い。
[0135] 以上、実施形態例に従って本発明を説明したが、本発明はこれに限定されるもの ではない。例えば、実施形態例ではカメラ CI, C2という 2台のカメラにより撮像された 映像を処理対象として本発明を説明したが、本発明は 3台以上のカメラにより撮像さ れた映像に対してもそのまま適用できるものである。
[0136] また、上述の実施形態例では、参照視差情報を映像符号化装置において求めた 場合を記載した。一方で、本発明は、種々の視差推定手法を用いて予め外部におい て求められた視差情報を入力して、当該視差情報を参照視差として用いて符号化処 理すること〖こよっても実現できる。
[0137] また、実施形態例では視差情報として視差べ外ルを用いることを想定したが、本発 明は視差ベクトル以外のものを視差情報として用いることでもよ 、。
[0138] 具体的には、例えば、参考文献 4 (Aljoscha Smolic, Thomas Sikora and Jens- Raine r Ohm, Long-Term Global Motion Estimation and its Application for Sprite Coding, Content Description, and Segmentation", IEEti, i rans actions on circuits and Syste ms for Video Technology, Vol.9, No.8, pp.1227- 1242, December, 1999)で説明され て 、るようなグローバル動きモデルを視差方向に適用したグローバル視差モデルを 禾 IJ用してちょい。
この場合、映像符号ィ匕装置においてグロ一ノ レ視差モデルのパラメータを求めて、 これらのパラメータを符号化する。また、対応位置を求める際には、これらのパラメ一 タをグローバル視差モデルに適用してグローバル視差ベクトルを求めて、対応位置 を決定する。一方、映像復号装置では、復号されたグローバル視差モデルのパラメ ータをグローバル視差モデルに適用して対応位置を決定する。
[0139] また、上記の実施形態例では、カメラが 2台あり、片方のカメラの復号画像を参照す る場合を記載した力 各カメラのカメラパラメータ (カメラの位置や姿勢、レンズの画角 等)が既知で、異なる 2台以上のカメラの復号画像を参照できる場合は、符号化対象 画像を利用せずに，図 14に示したような方法で符号化対象の画像の各画素に関す る視差情報 (視差ベクトル)を推定することができる。
図 14において、被写体 600に対し、符号ィ匕対照画像を撮像するカメラ C2の視点位 置を 620、同被写体 600を撮像する（即ち、参照画像を出力する）別の 2つのカメラ C 1, C3の視点位置をそれぞれ 610、 630とする。また、符号化対照画像において視 差を求めたい画素位置を 640とする。この図に示されているように、被写体 600に対 する真の視差においては各参照画像において画素位置 640に対応する対応点の画 素値がほぼ同じ値になるはずである。従って、多くの視差推定法では、様々な奥行き に関して各参照画像の対応点の画素値を比較して、画素値が最も近くなる奥行き（ 図 14では符号 650で示す）と、既知のカメラパラメータに基づいて、カメラ C1もしくは C3からの視差を推定できる。この処理は符号化対象画像の画素単位で行うことが可 能である。
上記の実施形態例の構成においてこの方法を実施する場合は、映像符号化装置 1のグローバル視差符号ィ匕部 16、映像復号装置 2のグローバル視差復号部 23は不 要である。そして、例えば符号ィ匕対象ブロックの各画素に関して推定された視差べク トルの平均を用いて、上記実施例と同様の処理により符号ィ匕を実施すればよい。 具体的には、符号化対象情報の符号化処理において、図 15に示すような処理を 行う。ここでは、図 7のステップ S130, S131の処理に代えて、ステップ S1300力設け られ、同ステップにおいて、カメラ C2により撮像された符号ィ匕対象画像と同時刻に撮 像されたカメラ CI, C3の画像の復号画像を用いて、上述の方法によりカメラ C1もしく は C3からの視差を推定する。
また、復号処理においては、図 16に示すような処理を行う。ここでは、図 12のステツ プ S230の処理に代えてステップ S2300が設けられ、同ステップにおいて、カメラ C2 により撮像された符号ィ匕対象画像と同時刻に撮像されたカメラ CI, C3の画像の復号 画像を用いて、同様の方法によりカメラ C1もしくは C3からの視差を推定する。

Claims

請求の範囲
[1] 複数の画像を一つの映像として符号ィ匕する映像符号ィ匕方法であって、
第 1の画像内の所定位置に対する符号ィヒ対象情報を符号ィヒするにあたり、該第 1 の画像と符号化済みの第 2の画像との間の視点ずれを示す参照視差情報を設定す る参照視差情報設定ステップと，
前記参照視差情報を用いて、前記第 2の画像にお 、て前記所定位置と対応付けら れる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号ィヒ対象情報に対応した符号テーブルを設定する符号テープ ル設定ステップと、
前記符号テーブルを使!ヽ、前記第 1の画像内の前記符号化対象情報を符号化す る符号化対象情報符号化ステップと
を有する映像符号化方法。
[2] 請求項 1に記載の映像符号ィ匕方法にぉ 、て、
前記参照視差情報設定ステップでは、前記第 1及び第 2の画像間の平均的な視点 ずれを示すグローバル視差情報を前記参照視差情報として設定するとともに、 前記グローバル視差情報を符号ィヒするグローバル視差情報符号化ステップを有す る映像符号化方法。
[3] 請求項 1に記載の映像符号ィ匕方法にぉ 、て、
前記参照視差情報設定ステップでは、前記第 2の画像と別の第 3の画像とを用いて 両画像間の視差を推定し、該視差と、前記第 1〜第 3の画像の撮像装置間の位置関 係とに基づいて前記参照視差情報を設定する映像符号化方法。
[4] 請求項 1に記載の映像符号ィ匕方法にぉ 、て、
前記符号テーブル設定ステップでは、前記第 2の画像内の前記対応位置の符号化 対象情報と、前記第 1の画像内の前記所定位置の周辺の位置に対する符号化済み の符号ィ匕対象情報とに対応した符号テーブルを設定する映像符号ィ匕方法。
[5] 請求項 1に記載の映像符号ィ匕方法にぉ 、て、
前記符号テーブル設定ステップでは、前記第 2の画像内の前記対応位置の周辺の 位置に対応する符号ィヒ対象情報も参照して前記符号テーブルを設定する映像符号 化方法。
[6] 請求項 1に記載の映像符号ィ匕方法にぉ 、て、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、 前記対応位置設定ステップでは、前記第 2の画像にお ヽて前記所定位置に対応 するブロックの位置を、前記参照視差情報に基づ 、てずらしたときに該ブロックとの 重複面積が最大となるブロックの位置を対応位置として設定する映像符号ィ匕方法。
[7] 請求項 1に記載の映像符号ィ匕方法にぉ 、て、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、 前記対応位置設定ステップでは、前記第 2の画像にお ヽて前記所定位置に対応 するブロックの位置を、前記参照視差情報に基づ 、てずらした位置の周辺の複数の ブロックの位置を対応位置として設定する映像符号ィ匕方法。
[8] 請求項 4又は 5に記載の映像符号ィ匕方法において、
前記符号テーブル設定ステップでは、前記符号テーブルの設定に用いる符号化対 象情報の最頻値に対応する符号テーブルを設定する映像符号ィ匕方法。
[9] 請求項 4又は 5に記載の映像符号ィ匕方法において、
前記符号テーブル設定ステップでは、前記符号テーブルの設定に用いる符号化対 象情報の平均値に対応する符号テーブルを設定する映像符号ィ匕方法。
[10] 複数の画像を一つの映像として符号化することで生成された符号化データを復号 する映像復号方法であって、
第 1の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第 1の 画像と符号化済みの第 2の画像との間の視点ずれを示す参照視差情報を設定する 参照視差情報設定ステップと，
前記参照視差情報を用いて、前記第 2の画像にお 、て前記所定位置と対応付けら れる対応位置を設定する対応位置設定ステップと、
前記対応位置の符号ィヒ対象情報に対応した符号テーブルを設定する符号テープ ル設定ステップと、
前記符号テーブルを使 ヽ、前記第 1の画像内の前記符号化対象情報を復号する 符号化対象情報復号ステップと を有する映像復号方法。
[11] 請求項 10に記載の映像復号方法において、
前記参照視差情報設定ステップでは、前記第 1及び第 2の画像間の平均的な視点 ずれを示すグローバル視差情報を復号し、これを前記参照視差情報として設定する 映像復号方法。
[12] 請求項 10に記載の映像復号方法において、
前記参照視差情報設定ステップでは、前記第 2の画像と別の第 3の画像とを用いて 両画像間の視差を推定し、該視差と、前記第 1〜第 3の画像の撮像装置間の位置関 係とに基づいて前記参照視差情報を設定する映像復号方法。
[13] 請求項 10に記載の映像復号方法において、
前記符号テーブル設定ステップでは、前記第 2の画像内の前記対応位置の符号化 対象情報と、前記第 1の画像内の前記所定位置の周辺の位置に対する復号済みの 符号ィ匕対象情報とに対応した符号テーブルを設定する映像復号方法。
[14] 請求項 10に記載の映像復号方法において、
前記符号テーブル設定ステップでは、前記第 2の画像内の前記対応位置の周辺の 位置に対応する符号ィヒ対象情報も参照して前記符号テーブルを設定する映像復号 方法。
[15] 請求項 10に記載の映像復号方法において、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、 前記対応位置設定ステップでは、前記第 2の画像にお ヽて前記所定位置に対応 するブロックの位置を、前記参照視差情報に基づ 、てずらしたときに該ブロックとの 重複面積が最大となるブロックの位置を対応位置として設定する映像復号方法。
[16] 請求項 10に記載の映像復号方法において、
前記符号化対象情報は、画像を分割したブロックごとに設定されるものであり、 前記対応位置設定ステップでは、前記第 2の画像にお ヽて前記所定位置に対応 するブロックの位置を、前記参照視差情報に基づ 、てずらした位置の周辺の複数の ブロックの位置を対応位置として設定する映像復号方法。
[17] 請求項 13又は 14に記載の映像復号方法において、 前記符号テーブル設定ステップでは、前記符号テーブルの設定に用いる符号化対 象情報の最頻値に対応する符号テーブルを設定する映像復号方法。
[18] 請求項 13又は 14に記載の映像復号方法において、
前記符号テーブル設定ステップでは、前記符号テーブルの設定に用いる符号化対 象情報の平均値に対応する符号テーブルを設定する映像復号方法。
[19] 複数の画像を一つの映像として符号ィ匕する映像符号ィ匕装置であって、
第 1の画像内の所定位置に対する符号ィヒ対象情報を符号ィヒするにあたり、該第 1 の画像と符号化済みの第 2の画像との間の視点ずれを示す参照視差情報を設定す る参照視差情報設定部と，
前記参照視差情報を用いて、前記第 2の画像にお 、て前記所定位置と対応付けら れる対応位置を設定する対応位置設定部と、
前記対応位置の符号ィヒ対象情報に対応した符号テーブルを設定する符号テープ ル設定部と、
前記符号テーブルを使!ヽ、前記第 1の画像内の前記符号化対象情報を符号化す る符号化対象情報符号化部と
を有する映像符号化装置。
[20] 請求項 19に記載の映像符号化装置において、
前記参照視差情報設定部は、前記第 1及び第 2の画像間の平均的な視点ずれを 示すグローバル視差情報を前記参照視差情報として設定するとともに、
前記グローバル視差情報を符号ィヒするグローバル視差情報符号ィヒ部を有する映 像符号化装置。
[21] 請求項 19に記載の映像符号化装置において、
前記参照視差情報設定部は、前記第 2の画像と別の第 3の画像とを用いて両画像 間の視差を推定し、該視差と、前記第 1〜第 3の画像の撮像装置間の位置関係とに 基づ!ヽて前記参照視差情報を設定する映像符号化装置。
[22] 複数の画像を一つの映像として符号化することで生成された符号化データを復号 する映像復号装置であって、
第 1の画像内の所定位置に対する符号化対象情報を復号するにあたり、該第 1の 画像と符号化済みの第 2の画像との間の視点ずれを示す参照視差情報を設定する 参照視差情報設定部と，
前記参照視差情報を用いて、前記第 2の画像にお 、て前記所定位置と対応付けら れる対応位置を設定する対応位置設定部と、
前記対応位置の符号ィヒ対象情報に対応した符号テーブルを設定する符号テープ ル設定部と、
前記符号テーブルを使 ヽ、前記第 1の画像内の前記符号化対象情報を復号する 符号化対象情報復号部と
を有する映像復号装置。
[23] 請求項 22に記載の映像復号装置において、
前記参照視差情報設定部は、前記第 1及び第 2の画像間の平均的な視点ずれを 示すグローバル視差情報を復号し、これを前記参照視差情報として設定する映像復 号装置。
[24] 請求項 22に記載の映像復号装置において、
前記参照視差情報設定部は、前記第 2の画像と別の第 3の画像とを用いて両画像 間の視差を推定し、該視差と、前記第 1〜第 3の画像の撮像装置間の位置関係とに 基づ!、て前記参照視差情報を設定する映像復号装置。
[25] 請求項 1に記載の映像符号化方法の実現に用 、られる処理をコンピュータに実行 させるための映像符号ィ匕プログラム。
[26] 請求項 10に記載の映像復号方法の実現に用 、られる処理をコンピュータに実行さ せるための映像復号プログラム。
[27] 請求項 1に記載の映像符号ィ匕方法の実現に用いられる処理をコンピュータに実行 させるための映像符号ィ匕プログラムを記録したコンピュータ読み取り可能な記録媒体
[28] 請求項 10に記載の映像復号方法の実現に用 、られる処理をコンピュータに実行さ せるための映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2005/024093 2005-01-07 2005-12-28 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 WO2006073116A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/586,235 US9088802B2 (en) 2005-01-07 2005-12-28 Video encoding method and apparatus, video decoding method and apparatus, programs therefor, and storage media for storing the programs
EP05822685.3A EP1835747B1 (en) 2005-01-07 2005-12-28 Video encoding method and device, video decoding method and device, program thereof, and recording medium containing the program
JP2006519047A JP4937741B2 (ja) 2005-01-07 2005-12-28 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-002423 2005-01-07
JP2005002423 2005-01-07

Publications (1)

Publication Number Publication Date
WO2006073116A1 true WO2006073116A1 (ja) 2006-07-13

Family

ID=36647597

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/024093 WO2006073116A1 (ja) 2005-01-07 2005-12-28 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体

Country Status (7)

Country Link
US (1) US9088802B2 (ja)
EP (1) EP1835747B1 (ja)
JP (1) JP4937741B2 (ja)
KR (1) KR100946790B1 (ja)
CN (1) CN100584013C (ja)
TW (1) TWI308028B (ja)
WO (1) WO2006073116A1 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008035654A1 (fr) * 2006-09-20 2008-03-27 Nippon Telegraph And Telephone Corporation Procédés et dispositifs de codage et de décodage d'image, dispositif et programmes de décodage d'image, et support de stockage desdits programmes
WO2008035665A1 (fr) * 2006-09-20 2008-03-27 Nippon Telegraph And Telephone Corporation procédé DE CODAGE D'IMAGE, PROCÉDÉ DE DÉCODAGE, DISPOSITIF associÉ, DISPOSITIF DE DÉCODAGE D'IMAGE, programme associÉ, et support de stockage contenant le programme
WO2008053746A1 (fr) * 2006-10-30 2008-05-08 Nippon Telegraph And Telephone Corporation Procédé de génération d'informations de référence prédictives, procédé de codage et de décodage d'image dynamiques, leur dispositif, leur programme et support de stockage contenant le programme
WO2008053758A1 (fr) * 2006-10-30 2008-05-08 Nippon Telegraph And Telephone Corporation Procédé de codage d'image dynamique, procédé de décodage, leur dispositif, leur programme et support de stockage contenant le programme
WO2008047300A3 (en) * 2006-10-16 2008-07-03 Nokia Corp System and method for using parallelly decodable slices for multi-view video coding
JP2009502084A (ja) * 2005-07-18 2009-01-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 時間及び視点間参照映像バッファを活用した予測符号化／復号化装置及びその方法
JP2010515400A (ja) * 2007-01-03 2010-05-06 サムスン エレクトロニクス カンパニー リミテッド 全域差ベクトルを利用した多視点映像の符号化、復号化方法及び装置
JP2010516158A (ja) * 2007-01-11 2010-05-13 サムスン エレクトロニクス カンパニー リミテッド 多視点映像の符号化、復号化方法及び装置
WO2011083520A1 (ja) * 2010-01-08 2011-07-14 富士通株式会社 動画像符号化装置および動画像復号装置
JP2012505457A (ja) * 2008-10-08 2012-03-01 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ マルチメディアシグネチャのための符号化及び復号の方法及び装置
RU2444856C2 (ru) * 2007-06-25 2012-03-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования видеосигнала и способ декодирования, устройства для этого и носители хранения информации, которые хранят программы для этого
RU2446618C2 (ru) * 2006-12-28 2012-03-27 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования видео, устройства для их осуществления и носители памяти, хранящие программы
WO2013002342A1 (ja) * 2011-06-30 2013-01-03 ソニー株式会社 画像処理装置および方法
RU2480941C2 (ru) * 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US8520961B2 (en) 2006-10-13 2013-08-27 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
US8532412B2 (en) 2007-04-11 2013-09-10 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding and multi-view image
WO2013146507A1 (ja) * 2012-03-30 2013-10-03 ソニー株式会社 画像処理装置および方法、並びに記録媒体
RU2525850C2 (ru) * 2009-02-12 2014-08-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования многовидового изображения, способ декодирования многовидового изображения, устройство кодирования многовидового изображения, устройство декодирования многовидового изображения, компьютерно-читаемый носитель, содержащий программу кодирования многовидового изображения и компьютерно-читаемый носитель, содержащий программу декодирования многовидового изображения
US9094687B2 (en) 2009-12-28 2015-07-28 Fujitsu Limited Video encoder and video decoder

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1703513A1 (en) * 2005-03-15 2006-09-20 Deutsche Thomson-Brandt Gmbh Method and apparatus for encoding plural video signals as a single encoded video signal, method and and apparatus for decoding such an encoded video signal
KR100867995B1 (ko) * 2006-01-07 2008-11-10 한국전자통신연구원 동영상 데이터 인코딩/디코딩 방법 및 그 장치
WO2007110000A1 (en) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
JP2008227689A (ja) * 2007-03-09 2008-09-25 Seiko Epson Corp 符号化装置及び画像記録装置
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
KR101511082B1 (ko) * 2008-05-09 2015-04-13 삼성전자주식회사 최하위 비트를 이용한 엔트로피 부호화 방법과 그 장치 및엔트로피 복호화 방법과 그 장치
US20120320985A1 (en) * 2010-02-09 2012-12-20 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
RU2519525C2 (ru) 2010-02-09 2014-06-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования с предсказанием вектора движения, способ декодирования с предсказанием вектора движения, устройство кодирования фильма, устройство декодирования фильма и их программы
ES2652337T3 (es) 2010-02-09 2018-02-01 Nippon Telegraph And Telephone Corporation Procedimiento de codificación predictiva para vector de movimiento, procedimiento de decodificación predictiva para vector de movimiento, dispositivo de codificación de imagen, dispositivo de decodificación de imagen, y programas para ello
KR101829594B1 (ko) * 2010-09-30 2018-02-14 미쓰비시덴키 가부시키가이샤 동화상 복호 장치, 동화상 복호 방법, 동화상 부호화 장치, 동화상 부호화 방법 및 기록 매체
US8976861B2 (en) * 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
US20120163456A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
BR112013021276A2 (pt) * 2011-02-23 2018-06-12 Koninklijke Philips Nv dispositivo e método de processamento de sinal para processar dados da imagem tridimensional, gerador de ponto de vista, gerador dos dados de profundidade e programa de computador
TW201245768A (en) 2011-03-29 2012-11-16 Sony Corp Image pickup apparatus, image pickup device, image processing method, aperture control method, and program
KR20130049524A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
TWI618401B (zh) * 2011-12-28 2018-03-11 Jvc Kenwood Corp Motion picture coding device, motion picture coding method and memory medium
JP6080405B2 (ja) * 2012-06-29 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9544566B2 (en) * 2012-12-14 2017-01-10 Qualcomm Incorporated Disparity vector derivation
US10027947B2 (en) * 2013-06-05 2018-07-17 Sony Corporation Image processing apparatus and image processing method
CN111200736B (zh) * 2013-06-14 2022-06-21 北京三星通信技术研究有限公司 一种视频编/解码中运动信息的获取方法及装置
US10904570B2 (en) * 2016-09-08 2021-01-26 Kaonmedia Co., Ltd. Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06225274A (ja) * 1993-01-21 1994-08-12 Oki Electric Ind Co Ltd 画像符号化及び復号化装置
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
WO2003063501A1 (en) * 2002-01-22 2003-07-31 Nokia Corporation Coding transform coefficients in image/video encoders and/or decoders

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW498682B (en) 2000-03-01 2002-08-11 Soft4D Co Ltd Method and apparatus for generating sterescopic image using MPEG data
US6690307B2 (en) 2002-01-22 2004-02-10 Nokia Corporation Adaptive variable length coding of digital video
EP1422928A3 (en) * 2002-11-22 2009-03-11 Panasonic Corporation Motion compensated interpolation of digital video signals
JP3746506B2 (ja) 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06225274A (ja) * 1993-01-21 1994-08-12 Oki Electric Ind Co Ltd 画像符号化及び復号化装置
JPH09261653A (ja) * 1996-03-18 1997-10-03 Sharp Corp 多視点画像符号化装置
JPH09275578A (ja) * 1996-04-04 1997-10-21 Sharp Corp 多視点画像符号化装置および復号装置
WO2003063501A1 (en) * 2002-01-22 2003-07-31 Nokia Corporation Coding transform coefficients in image/video encoders and/or decoders

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KIMATA H., ET AL.: "System Design of Free Viewpoint Video Communication", THE FOURTH INTERNATIONAL CONFERENCE ON COMPUTER AND INFORMATION TECHNOLOGY 2004 (CIT '04), 14 September 2004 (2004-09-14), pages 52 - 59, XP010743221 *
See also references of EP1835747A4 *
SHIODERA T. ET AL: "Ugoki Hosho to 3-Jigen Yosoku ni Motoduita Dogazo no Kagyaku Fugoka ~Context Modeling ni Kansuru Kento~", FORUM ON INFORMATION TECHNOLOGY (FIT 2003) KOEN RONBUN, no. J-053, September 2003 (2003-09-01), pages 303 - 304, XP003000402 *

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8369406B2 (en) 2005-07-18 2013-02-05 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
JP2009502084A (ja) * 2005-07-18 2009-01-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 時間及び視点間参照映像バッファを活用した予測符号化／復号化装置及びその方法
US9154786B2 (en) 2005-07-18 2015-10-06 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
US8385628B2 (en) 2006-09-20 2013-02-26 Nippon Telegraph And Telephone Corporation Image encoding and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
WO2008035665A1 (fr) * 2006-09-20 2008-03-27 Nippon Telegraph And Telephone Corporation procédé DE CODAGE D'IMAGE, PROCÉDÉ DE DÉCODAGE, DISPOSITIF associÉ, DISPOSITIF DE DÉCODAGE D'IMAGE, programme associÉ, et support de stockage contenant le programme
US8290289B2 (en) 2006-09-20 2012-10-16 Nippon Telegraph And Telephone Corporation Image encoding and decoding for multi-viewpoint images
JP4999853B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP4999854B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
WO2008035654A1 (fr) * 2006-09-20 2008-03-27 Nippon Telegraph And Telephone Corporation Procédés et dispositifs de codage et de décodage d'image, dispositif et programmes de décodage d'image, et support de stockage desdits programmes
KR101023262B1 (ko) 2006-09-20 2011-03-21 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 이들의 장치 및 이들의 프로그램과 프로그램을 기록한 기억매체
KR101031624B1 (ko) 2006-09-20 2011-04-27 니폰덴신뎅와 가부시키가이샤 화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체
US8520961B2 (en) 2006-10-13 2013-08-27 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding multi-view image
KR101101965B1 (ko) * 2006-10-16 2012-01-02 노키아 코포레이션 멀티뷰 비디오 코딩에 대한 병렬 디코딩가능 슬라이스들을 이용하기 위한 시스템 및 방법
CN101627634A (zh) * 2006-10-16 2010-01-13 诺基亚公司 用于将可并行解码片用于多视点视频编码的系统和方法
WO2008047300A3 (en) * 2006-10-16 2008-07-03 Nokia Corp System and method for using parallelly decodable slices for multi-view video coding
US8594203B2 (en) 2006-10-16 2013-11-26 Nokia Corporation System and method for using parallelly decodable slices for multi-view video coding
TWI400959B (zh) * 2006-10-30 2013-07-01 Nippon Telegraph & Telephone 活動影像編碼方法及解碼方法、其裝置、其電腦程式以及記錄有該電腦程式之記憶媒體
RU2458479C2 (ru) * 2006-10-30 2012-08-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования видео, устройства для них, программы для них, а также носители хранения данных, которые сохраняют программы
JP4999860B2 (ja) * 2006-10-30 2012-08-15 日本電信電話株式会社 動画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US8532190B2 (en) 2006-10-30 2013-09-10 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
US8654854B2 (en) 2006-10-30 2014-02-18 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
JP4999859B2 (ja) * 2006-10-30 2012-08-15 日本電信電話株式会社 予測参照情報生成方法、動画像符号化及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
WO2008053758A1 (fr) * 2006-10-30 2008-05-08 Nippon Telegraph And Telephone Corporation Procédé de codage d'image dynamique, procédé de décodage, leur dispositif, leur programme et support de stockage contenant le programme
US8675735B2 (en) 2006-10-30 2014-03-18 Nippon Telegraph And Telephone Corporation Predicted reference information generating method, video encoding and decoding methods, apparatuses therefor, programs therefor, and storage media which store the programs
US8355438B2 (en) 2006-10-30 2013-01-15 Nippon Telegraph And Telephone Corporation Predicted reference information generating method, video encoding and decoding methods, apparatuses therefor, programs therefor, and storage media which store the programs
WO2008053746A1 (fr) * 2006-10-30 2008-05-08 Nippon Telegraph And Telephone Corporation Procédé de génération d'informations de référence prédictives, procédé de codage et de décodage d'image dynamiques, leur dispositif, leur programme et support de stockage contenant le programme
US9066096B2 (en) 2006-12-28 2015-06-23 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
RU2446618C2 (ru) * 2006-12-28 2012-03-27 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования и способ декодирования видео, устройства для их осуществления и носители памяти, хранящие программы
JP2010515400A (ja) * 2007-01-03 2010-05-06 サムスン エレクトロニクス カンパニー リミテッド 全域差ベクトルを利用した多視点映像の符号化、復号化方法及び装置
JP2010516158A (ja) * 2007-01-11 2010-05-13 サムスン エレクトロニクス カンパニー リミテッド 多視点映像の符号化、復号化方法及び装置
US8670626B2 (en) 2007-04-11 2014-03-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding and multi-view image
US8611688B2 (en) 2007-04-11 2013-12-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding and multi-view image
US9088779B2 (en) 2007-04-11 2015-07-21 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding and multi-view image
US8532412B2 (en) 2007-04-11 2013-09-10 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding and multi-view image
RU2444856C2 (ru) * 2007-06-25 2012-03-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования видеосигнала и способ декодирования, устройства для этого и носители хранения информации, которые хранят программы для этого
US8204118B2 (en) 2007-06-25 2012-06-19 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
JP2012505457A (ja) * 2008-10-08 2012-03-01 ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ マルチメディアシグネチャのための符号化及び復号の方法及び装置
RU2525850C2 (ru) * 2009-02-12 2014-08-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ кодирования многовидового изображения, способ декодирования многовидового изображения, устройство кодирования многовидового изображения, устройство декодирования многовидового изображения, компьютерно-читаемый носитель, содержащий программу кодирования многовидового изображения и компьютерно-читаемый носитель, содержащий программу декодирования многовидового изображения
US9094687B2 (en) 2009-12-28 2015-07-28 Fujitsu Limited Video encoder and video decoder
WO2011083520A1 (ja) * 2010-01-08 2011-07-14 富士通株式会社 動画像符号化装置および動画像復号装置
JP5533885B2 (ja) * 2010-01-08 2014-06-25 富士通株式会社 動画像符号化装置および動画像復号装置
US9078006B2 (en) 2010-01-08 2015-07-07 Fujitsu Limited Video encoder and video decoder
RU2480941C2 (ru) * 2011-01-20 2013-04-27 Корпорация "Самсунг Электроникс Ко., Лтд" Способ адаптивного предсказания кадра для кодирования многоракурсной видеопоследовательности
US9491462B2 (en) 2011-06-30 2016-11-08 Sony Corporation High efficiency video coding device and method based on reference picture type
WO2013002342A1 (ja) * 2011-06-30 2013-01-03 ソニー株式会社 画像処理装置および方法
US9560375B2 (en) 2011-06-30 2017-01-31 Sony Corporation High efficiency video coding device and method based on reference picture type
US9648344B2 (en) 2011-06-30 2017-05-09 Sony Corporation High efficiency video coding device and method based on reference picture type
US9788008B2 (en) 2011-06-30 2017-10-10 Sony Corporation High efficiency video coding device and method based on reference picture type
US10158877B2 (en) 2011-06-30 2018-12-18 Sony Corporation High efficiency video coding device and method based on reference picture type of co-located block
US10187652B2 (en) 2011-06-30 2019-01-22 Sony Corporation High efficiency video coding device and method based on reference picture type
US10484704B2 (en) 2011-06-30 2019-11-19 Sony Corporation High efficiency video coding device and method based on reference picture type
US10764600B2 (en) 2011-06-30 2020-09-01 Sony Corporation High efficiency video coding device and method based on reference picture type
US11405634B2 (en) 2011-06-30 2022-08-02 Sony Corporation High efficiency video coding device and method based on reference picture type
WO2013146507A1 (ja) * 2012-03-30 2013-10-03 ソニー株式会社 画像処理装置および方法、並びに記録媒体

Also Published As

Publication number Publication date
EP1835747B1 (en) 2019-05-08
EP1835747A4 (en) 2011-02-02
KR100946790B1 (ko) 2010-03-11
US20070189396A1 (en) 2007-08-16
EP1835747A1 (en) 2007-09-19
CN100584013C (zh) 2010-01-20
US9088802B2 (en) 2015-07-21
TW200629914A (en) 2006-08-16
JP4937741B2 (ja) 2012-05-23
TWI308028B (en) 2009-03-21
KR20070052692A (ko) 2007-05-22
JPWO2006073116A1 (ja) 2008-06-12
CN1910931A (zh) 2007-02-07

Similar Documents

Publication Publication Date Title
JP4937741B2 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
JP5234587B2 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP5368482B2 (ja) ビデオ符号化および復号におけるインプリシットなブロック分割のための方法および装置
JP4755095B2 (ja) 映像符号化の符号化側／復号化側に使用される双方向予測方法
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
US8204118B2 (en) Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media which store the programs
WO2007077942A1 (ja) 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
KR20110073263A (ko) 인트라 예측 부호화 방법 및 부호화 방법, 그리고 상기 방법을 수행하는 인트라 예측 부호화 장치 및 인트라 예측 복호화 장치
JP4732184B2 (ja) 動画像符号化装置及びその制御方法、コンピュータプログラム、記憶媒体
JP2011061302A (ja) 動画像符号化装置
JP2009260421A (ja) 動画像処理システム、符号化装置、符号化方法、符号化プログラム、復号化装置、復号化方法および復号化プログラム
JP2007329528A (ja) 動きベクトル復号化方法および復号化装置
KR101076272B1 (ko) 분산 비디오 코딩을 위한 픽셀 도메인 기반의 관심영역 추출방법 및 컴퓨터 판독가능 매체
JP2009049969A (ja) 動画像符号化装置及び方法並びに動画像復号化装置及び方法
JP4642033B2 (ja) 参照フレームの数を固定する符号化方式で画像の参照ブロックを取得する方法
JP4789719B2 (ja) 動きベクトル検出装置、動きベクトル検出方法、コンピュータプログラム及び記憶媒体
JP5885886B2 (ja) 画像解析装置及び画像解析方法
JP4561701B2 (ja) 動画像符号化装置
JP4760551B2 (ja) 動きベクトル復号化方法および復号化装置
US20130215966A1 (en) Image encoding method, image decoding method, image encoding device, image decoding device
JP5310620B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラムならびに映像伝送装置
KR20120079561A (ko) 선택적 다중 예측을 통한 적응적 인트라 예측 부호화/복호화 장치 및 방법
JP2010068219A (ja) 動画像符号化装置
JP2012095099A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2006519047

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2007189396

Country of ref document: US

Ref document number: 10586235

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2005822685

Country of ref document: EP

Ref document number: 1020067014435

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 200580002762.4

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 10586235

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2005822685

Country of ref document: EP