WO2014050827A1 - 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 - Google Patents

画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 Download PDF

Info

Publication number
WO2014050827A1
WO2014050827A1 PCT/JP2013/075735 JP2013075735W WO2014050827A1 WO 2014050827 A1 WO2014050827 A1 WO 2014050827A1 JP 2013075735 W JP2013075735 W JP 2013075735W WO 2014050827 A1 WO2014050827 A1 WO 2014050827A1
Authority
WO
WIPO (PCT)
Prior art keywords
depth map
image
viewpoint
virtual
encoding
Prior art date
Application number
PCT/JP2013/075735
Other languages
English (en)
French (fr)
Inventor
信哉 志水
志織 杉本
木全　英明
明 小島
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to KR1020157002048A priority Critical patent/KR101648094B1/ko
Priority to JP2014538497A priority patent/JP5883153B2/ja
Priority to US14/430,433 priority patent/US20150249839A1/en
Priority to CN201380044060.7A priority patent/CN104871534A/zh
Publication of WO2014050827A1 publication Critical patent/WO2014050827A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Definitions

  • the present invention relates to an image encoding method, an image decoding method, an image encoding device, an image decoding device, an image encoding program, an image decoding program, and a recording medium that encode and decode a multi-view image.
  • This application claims priority based on Japanese Patent Application No. 2012-212154 for which it applied to Japan on September 25, 2012, and uses the content here.
  • multi-viewpoint image composed of a plurality of images obtained by photographing the same subject and background with a plurality of cameras.
  • These moving images taken by a plurality of cameras are called multi-view moving images (or multi-view images).
  • an image (moving image) taken by one camera is referred to as a “two-dimensional image (moving image)”, and a plurality of cameras having the same subject and background in different positions and orientations (hereinafter referred to as viewpoints).
  • viewpoints A group of two-dimensional images (two-dimensional moving images) photographed in the above is referred to as “multi-view images (multi-view images)”.
  • the two-dimensional moving image has a strong correlation in the time direction, and the encoding efficiency can be increased by using the correlation.
  • the encoding efficiency can be increased by using this correlation.
  • H. an international encoding standard.
  • high-efficiency encoding is performed using techniques such as motion compensation prediction, orthogonal transform, quantization, and entropy encoding.
  • H.M. In H.264, encoding using temporal correlation with a plurality of past or future frames is possible.
  • H. The details of the motion compensation prediction technique used in H.264 are described in Non-Patent Document 1, for example.
  • H. An outline of the motion compensation prediction technique used in H.264 will be described.
  • H. H.264 motion compensation prediction divides the encoding target frame into blocks of various sizes, and allows each block to have different motion vectors and different reference frames. By using a different motion vector for each block, it is possible to achieve highly accurate prediction that compensates for different motions for each subject. On the other hand, by using a different reference frame for each block, it is possible to realize highly accurate prediction in consideration of occlusion caused by temporal changes.
  • the difference between the multi-view image encoding method and the multi-view image encoding method is that, in addition to the correlation between cameras, the multi-view image has a temporal correlation at the same time.
  • the same method can be used as the method using the correlation between cameras in either case. Therefore, here, a method used in encoding a multi-view video is described.
  • FIG. 13 is a conceptual diagram showing parallax generated between cameras.
  • the image plane of the camera whose optical axes are parallel is looked down vertically. In this way, the position where the same part on the subject is projected on the image plane of a different camera is generally called a corresponding point.
  • each pixel value of the encoding target frame is predicted from the reference frame based on the correspondence relationship, and the prediction residual and the disparity information indicating the correspondence relationship are encoded. Since the parallax changes for each target camera pair and position, it is necessary to encode the parallax information for each region where the parallax compensation prediction is performed. In fact, H. In the H.264 multi-view encoding method, a vector representing disparity information is encoded for each block using disparity compensation prediction.
  • Correspondence given by the parallax information can be represented by a one-dimensional quantity indicating the three-dimensional position of the subject instead of a two-dimensional vector based on epipolar geometric constraints by using camera parameters.
  • information indicating the three-dimensional position of the subject there are various expressions, but the distance from the reference camera to the subject or the coordinate value on the axis that is not parallel to the image plane of the camera is often used. In some cases, the reciprocal of the distance is used instead of the distance. In addition, since the reciprocal of the distance is information proportional to the parallax, there are cases where two reference cameras are set and the three-dimensional position of the subject is expressed as the amount of parallax between images taken by these cameras. . Since there is no essential difference in the physical meaning no matter what representation is used, in the following, the information indicating these three-dimensional positions will be expressed as depth without being distinguished by the representation.
  • FIG. 14 is a conceptual diagram of epipolar geometric constraints.
  • the point on the image of another camera corresponding to the point on the image of one camera is constrained on a straight line called an epipolar line.
  • the corresponding point is uniquely determined on the epipolar line.
  • the corresponding point in the second camera image with respect to the subject projected at the position m in the first camera image is on the epipolar line when the subject position in the real space is M ′.
  • the subject position in the real space is M ′′, it is projected at the position m ′′ on the epipolar line.
  • Non-Patent Document 2 by using this property, the predicted image for the encoding target frame is synthesized from the reference frame according to the three-dimensional information of each subject given by the depth map (distance image) for the reference frame.
  • a highly predictive image is generated, and efficient multi-view video encoding is realized.
  • a predicted image generated based on this depth is called a viewpoint composite image, a viewpoint interpolation image, or a parallax compensation image.
  • a depth map for a reference frame is converted into a depth map for a frame to be encoded, and corresponding points are obtained using the converted depth map, so that only a necessary region is obtained. It is possible to generate a viewpoint composite image. Accordingly, when encoding or decoding an image or a moving image while switching a method for generating a predicted image for each region of a frame to be encoded or decoded, a processing amount for generating a viewpoint composite image or In addition, the memory amount for temporarily storing the viewpoint composite image is reduced.
  • An object is to provide an image encoding method, an image decoding method, an image encoding device, an image decoding device, an image encoding program, an image decoding program, and a recording medium that can be performed.
  • the present invention when encoding a multi-view image that is an image of a plurality of viewpoints, encodes an encoded reference viewpoint image for a viewpoint different from the viewpoint of the encoding target image, and the depth of a subject in the reference viewpoint image.
  • An image encoding method that performs encoding while predicting an image between viewpoints using a reference viewpoint depth map that is a map, and has a resolution lower than that of the encoding target image,
  • a virtual depth map generating step for generating a virtual depth map that is a depth map of the subject, and generating a parallax compensation image for the encoding target image from the virtual depth map and the reference viewpoint image, thereby generating An inter-viewpoint image prediction step for performing image prediction.
  • the image encoding method of the present invention further includes a same-resolution depth map generating step of generating, from the reference viewpoint depth map, a same-resolution depth map having the same resolution as the encoding target image, and the virtual depth map In the generating step, the virtual depth map is generated by reducing the same resolution depth map.
  • the depth closest to the viewpoint among the depths corresponding to the plurality of pixels in the same resolution depth map is determined.
  • the virtual depth map is generated by selecting the depth to be shown.
  • the image encoding method of the present invention further includes a reduced depth map generation step of generating a reduced depth map of the subject in the reference viewpoint image by reducing the reference viewpoint depth map,
  • the virtual depth map is generated from the reduced depth map.
  • the reference view depth map is reduced only in either the vertical direction or the horizontal direction.
  • the reduced depth map generation step in the image encoding method of the present invention for each pixel of the reduced depth map, it is determined that the depth is closest to the viewpoint among the depths corresponding to the plurality of pixels corresponding to the reference viewpoint depth map.
  • the virtual depth map is generated by selecting the depth to be shown.
  • the image coding method of the present invention further includes a sample pixel selection step of selecting some sample pixels from the pixels of the reference viewpoint depth map, and the virtual depth map generation step includes the sample pixel selection step.
  • the virtual depth map is generated by converting the corresponding reference view depth map.
  • the image encoding method of the present invention further includes a region dividing step of dividing the reference view depth map into partial regions according to a resolution ratio of the reference view depth map and the virtual depth map, and the sample pixel In the selection step, the sample pixel is selected for each partial region.
  • the shape of the partial region is determined in accordance with a resolution ratio of the reference viewpoint depth map and the virtual depth map.
  • the sample pixel selection step in the image encoding method of the present invention either a pixel having a depth indicating the closest to the viewpoint or a pixel having a depth indicating the furthest from the viewpoint for each partial region. One of them is selected as the sample pixel.
  • a pixel having a depth indicating closest to the viewpoint and a pixel having a depth indicating the farthest from the viewpoint for each of the partial regions are sampled. Select as a pixel.
  • the present invention provides a decoded reference viewpoint image for a viewpoint different from the viewpoint of the decoding target image, when decoding the decoding target image from code data of a multi-view image that is an image of a plurality of viewpoints, and the reference viewpoint
  • An image decoding method that performs decoding while predicting an image between viewpoints using a reference viewpoint depth map that is a depth map of a subject in an image, wherein the resolution is lower than the decoding target image, and the decoding target image
  • a virtual depth map generating step for generating a virtual depth map that is a depth map of the subject in the image, and generating a parallax compensation image for the decoding target image from the virtual depth map and the reference viewpoint image, thereby generating An inter-viewpoint image prediction step for performing the image prediction.
  • the image decoding method of the present invention further includes a same-resolution depth map generating step for generating a same-resolution depth map having the same resolution as the decoding target image from the reference viewpoint depth map, and the virtual depth map generating step Then, the virtual depth map is generated by reducing the same resolution depth map.
  • the virtual depth map generation step in the image decoding method of the present invention for each pixel of the virtual depth map, it is indicated that the depth is closest to the viewpoint among the depths corresponding to the plurality of pixels corresponding to the same resolution depth map.
  • the virtual depth map is generated by selecting a depth.
  • the image decoding method of the present invention further includes a reduced depth map generation step of generating a reduced depth map of the subject in the reference viewpoint image by reducing the reference viewpoint depth map, and the virtual depth map In the map generation step, the virtual depth map is generated from the reduced depth map.
  • the reference view depth map is reduced only in either the vertical direction or the horizontal direction.
  • the reduced depth map generating step in the image decoding method of the present invention for each pixel of the reduced depth map, it indicates that the depth is closest to the viewpoint among the depths corresponding to the plurality of pixels corresponding to the reference viewpoint depth map.
  • the virtual depth map is generated by selecting a depth.
  • the image decoding method of the present invention further includes a sample pixel selection step of selecting some sample pixels from the pixels of the reference viewpoint depth map, and the virtual depth map generation step corresponds to the sample pixels.
  • the virtual depth map is generated by converting the reference view depth map.
  • the image decoding method of the present invention further includes a region dividing step of dividing the reference view depth map into partial regions according to a resolution ratio of the reference view depth map and the virtual depth map, and the sample pixel selection In the step, a sample pixel is selected for each partial region.
  • the shape of the partial region is determined according to a resolution ratio of the reference viewpoint depth map and the virtual depth map.
  • the sample pixel selection step in the image decoding method of the present invention either a pixel having a depth indicating the closest to the viewpoint or a pixel having a depth indicating the furthest from the viewpoint for each partial region.
  • One is selected as the sample pixel.
  • a pixel having a depth indicating the closest to the viewpoint and a pixel having a depth indicating the farthest from the viewpoint for each of the partial regions are selected as the sample pixels. Choose as.
  • the present invention when encoding a multi-view image that is an image of a plurality of viewpoints, encodes an encoded reference viewpoint image for a viewpoint different from the viewpoint of the encoding target image, and the depth of a subject in the reference viewpoint image.
  • An image encoding device that performs encoding while predicting an image between viewpoints using a reference viewpoint depth map that is a map, having a resolution lower than that of the encoding target image, By generating a virtual depth map generating unit that generates a virtual depth map that is a depth map of the subject, and generating a parallax compensation image for the encoding target image from the virtual depth map and the reference viewpoint image,
  • An inter-viewpoint image prediction unit that performs image prediction.
  • the image coding apparatus further includes a reduced depth map generation unit that generates a reduced depth map of the subject in the reference viewpoint image by reducing the reference viewpoint depth map, and the virtual depth
  • the map generation unit generates the virtual depth map by converting the reduced depth map.
  • the image encoding device of the present invention further includes a sample pixel selection unit that selects some sample pixels from the pixels of the reference viewpoint depth map, and the virtual depth map generation unit corresponds to the sample pixels.
  • the virtual depth map is generated by converting the reference view depth map.
  • the present invention provides a decoded reference viewpoint image for a viewpoint different from the viewpoint of the decoding target image, when decoding the decoding target image from code data of a multi-view image that is an image of a plurality of viewpoints, and the reference viewpoint
  • An image decoding apparatus that performs decoding while predicting an image between viewpoints using a reference viewpoint depth map that is a depth map of a subject in an image, wherein the resolution is lower than the decoding target image, and the decoding target image
  • a virtual depth map generating unit that generates a virtual depth map that is a depth map of the subject in the image, and generating a parallax compensation image for the decoding target image from the virtual depth map and the reference viewpoint image, thereby generating And an inter-viewpoint image predicting unit that performs image prediction.
  • the image decoding apparatus further includes a reduced depth map generation unit that generates a reduced depth map of the subject in the reference viewpoint image by reducing the reference viewpoint depth map, and the virtual depth map The generation unit generates the virtual depth map by converting the reduced depth map.
  • the image decoding device of the present invention further includes a sample pixel selection unit that selects some sample pixels from the pixels of the reference viewpoint depth map, and the virtual depth map generation unit corresponds to the sample pixels.
  • the virtual depth map is generated by converting the reference view depth map.
  • the present invention is an image encoding program for causing a computer to execute the image encoding method.
  • the present invention is an image decoding program for causing a computer to execute the image decoding method.
  • the present invention is a computer-readable recording medium on which the image encoding program is recorded.
  • the present invention is a computer-readable recording medium on which the image decoding program is recorded.
  • the present invention it is possible to generate a viewpoint synthesized image with a small amount of calculation without significantly reducing the quality of the viewpoint synthesized image when generating a viewpoint synthesized image of the processing target frame.
  • step S3 It is a flowchart which shows the processing operation of the process (step S3) which converts the reference camera depth map shown in FIG. 2, FIG. It is a flowchart which shows the operation
  • step S3 It is a block diagram which shows the structure of the image decoding apparatus in one Embodiment of this invention. It is a flowchart which shows operation
  • FIG. 25 is a block diagram illustrating a hardware configuration when an image decoding device is configured by a computer and a software program. It is a conceptual diagram which shows the parallax which arises between cameras. It is a conceptual diagram of epipolar geometric constraint.
  • a multi-viewpoint image captured by two cameras a first camera (referred to as camera A) and a second camera (referred to as camera B), is encoded.
  • camera A a first camera
  • camera B a second camera
  • information necessary for obtaining the parallax from the depth information is given separately. Specifically, this information is an external parameter representing the positional relationship between the camera A and the camera B, or an internal parameter representing projection information on the image plane by the camera. Other information may be given as long as parallax can be obtained.
  • information that can specify the position between the symbols [] is added to an image, video frame, or depth map to add the position. It is assumed that the image signal sampled by the pixels and the depth corresponding thereto are shown. Further, the depth is information having a smaller value as the distance from the camera increases (the parallax is smaller). When the relationship between the depth size and the distance from the camera is defined in reverse, it is necessary to appropriately read the description of the magnitude of the value for the depth.
  • FIG. 1 is a block diagram showing a configuration of an image encoding device according to this embodiment.
  • the image encoding device 100 includes an encoding target image input unit 101, an encoding target image memory 102, a reference camera image input unit 103, a reference camera image memory 104, a reference camera depth map input unit 105, A depth map conversion unit 106, a virtual depth map memory 107, a viewpoint synthesized image generation unit 108, and an image encoding unit 109 are provided.
  • the encoding target image input unit 101 inputs an image to be encoded.
  • the image to be encoded is referred to as an encoding target image.
  • an image of camera B is input.
  • a camera that captures an encoding target image (camera B in this case) is referred to as an encoding target camera.
  • the encoding target image memory 102 stores the input encoding target image.
  • the reference camera image input unit 103 inputs a reference camera image that becomes a reference image when generating a viewpoint composite image (parallax compensation image).
  • an image of camera A is input.
  • the reference camera image memory 104 stores the input reference camera image.
  • the reference camera depth map input unit 105 inputs a depth map for the reference camera image.
  • the depth map for the reference camera image is referred to as a reference camera depth map.
  • the depth map represents the three-dimensional position of the subject shown in each pixel of the corresponding image. Any information may be used as long as the three-dimensional position can be obtained by information such as separately provided camera parameters. For example, a distance from the camera to the subject, a coordinate value with respect to an axis that is not parallel to the image plane, and a parallax amount with respect to another camera (for example, camera B) can be used.
  • the depth map is assumed to be passed in the form of an image here, but it may not be in the form of an image as long as similar information can be obtained.
  • the camera corresponding to the reference camera depth map is referred to as a reference camera.
  • the depth map conversion unit 106 uses the reference camera depth map to generate a depth map of a subject captured in the encoding target image and having a lower resolution than that of the encoding target image.
  • the generated depth map can be considered as a depth map for an image captured by a low-resolution camera at the same position and orientation as the encoding target camera.
  • the depth map generated here is referred to as a virtual depth map.
  • the virtual depth map memory 107 stores the generated virtual depth map.
  • the viewpoint composite image generation unit 108 generates a viewpoint composite image for the encoding target image using the correspondence relationship between the pixel of the encoding target image obtained from the virtual depth map and the pixel of the reference camera image.
  • the image encoding unit 109 performs predictive encoding on the encoding target image using the viewpoint synthesized image, and outputs a bit stream that is encoded data.
  • FIG. 2 is a flowchart showing the operation of the image coding apparatus 100 shown in FIG.
  • the encoding target image input unit 101 inputs an encoding target image and stores the input encoding target image in the encoding target image memory 102 (step S1).
  • the reference camera image input unit 103 inputs a reference camera image and stores the input reference camera image in the reference camera image memory 104.
  • the reference camera depth map input unit 105 inputs the reference camera depth map, and outputs the input reference camera depth map to the depth map conversion unit 106 (step S2).
  • the reference camera image and the reference camera depth map input in step S2 are the same as those obtained on the decoding side, such as the one already decoded. This is to suppress the occurrence of coding noise such as drift by using exactly the same information obtained by the decoding device. However, when the generation of such coding noise is allowed, the one that can be obtained only on the coding side, such as the one before coding, may be input.
  • the reference camera depth map in addition to the one already decoded, the depth map estimated by applying stereo matching or the like to multi-view images decoded for a plurality of cameras, or decoding The depth map estimated using the parallax vector, the motion vector, etc., can also be used as the same one can be obtained on the decoding side.
  • the depth map conversion unit 106 generates a virtual depth map based on the reference camera depth map output from the reference camera depth map input unit 105, and stores the generated virtual depth map in the virtual depth map memory 107 (step). S3).
  • any resolution may be set. For example, a resolution with a predetermined reduction rate may be set for the encoding target image. Details of the processing here will be described later.
  • the viewpoint composite image generation unit 108 uses the reference camera image stored in the reference camera image memory 104 and the virtual depth map stored in the virtual depth map memory 107 to generate a viewpoint composite image for the encoding target image. And the generated viewpoint synthesized image is output to the image encoding unit 109 (step S4).
  • the image of the encoding target camera is synthesized using the depth map for the encoding target camera having a resolution lower than that of the encoding target image and an image captured by a camera different from the encoding target camera. Any method may be used as long as it is a method.
  • one pixel of the virtual depth map is selected, a corresponding region on the encoding target image is obtained, and a corresponding region on the reference camera image is obtained from the depth value.
  • the pixel value of the image in the corresponding area is obtained.
  • the obtained pixel value is assigned as the pixel value of the viewpoint composite image in the area identified on the encoding target image.
  • a predetermined pixel value may be assigned, the pixel value of the pixel in the nearest frame, You may assign the pixel value of the pixel in the nearest flame
  • how the pixel value is determined needs to be the same as that on the decoding side.
  • a filter such as a low-pass filter may be applied after a viewpoint composite image for one frame is obtained.
  • the image encoding unit 109 predictively encodes the encoding target image using the viewpoint composite image as the predicted image and outputs the encoding result (step S5).
  • the bit stream obtained as a result of encoding is the output of the image encoding apparatus 100. Note that any method may be used for encoding as long as decoding is possible on the decoding side.
  • MPEG-2 and H.264 In general video encoding or image encoding such as H.264 and JPEG, an image is divided into blocks of a predetermined size, and a difference signal between the encoding target image and the predicted image is generated for each block. Then, frequency conversion such as DCT (Discrete Cosine Transform) is performed on the difference image, and the resulting value is encoded by sequentially applying quantization, binarization, and entropy coding processing. I do.
  • DCT Discrete Cosine Transform
  • FIG. 3 is a flowchart showing an operation of encoding the encoding target image by alternately repeating the viewpoint composite image generation processing and the encoding target image encoding processing for each block.
  • the same parts as those in the processing operation shown in FIG. the index of a block that is a unit for performing the predictive encoding process is set as blk, and the number of blocks in the encoding target image is expressed as numBlks.
  • the encoding target image input unit 101 inputs an encoding target image and stores the input encoding target image in the encoding target image memory 102 (step S1).
  • the reference camera image input unit 103 inputs a reference camera image and stores the input reference camera image in the reference camera image memory 104.
  • the reference camera depth map input unit 105 inputs the reference camera depth map, and outputs the input reference camera depth map to the depth map conversion unit 106 (step S2).
  • the depth map conversion unit 106 generates a virtual depth map based on the reference camera depth map output from the reference camera depth map input unit 105, and stores the generated virtual depth map in the virtual depth map memory 107 (step). S3). Then, the viewpoint composite image generation unit 108 substitutes 0 for the variable blk (step S6).
  • the viewpoint composite image generation unit 108 generates a viewpoint composite image for the block blk from the reference camera image stored in the reference camera image memory 104 and the virtual depth map stored in the virtual depth map memory 107. Then, the generated viewpoint composite image is output to the image encoding unit 109 (step S4a). Subsequently, after obtaining the viewpoint composite image, the image encoding unit 109 predictively encodes the encoding target image for the block blk using the viewpoint composite image as the prediction image and outputs the encoding result (step S5a).
  • FIGS. 4 to 6 are flowcharts showing the processing operation of the process (step S3) for converting the reference camera depth map shown in FIGS.
  • three different methods will be described as methods for generating a virtual depth map from a reference depth map. Any method may be used, but it is necessary to use the same method as that on the decoding side.
  • information indicating the method used may be encoded and notified to the decoding side.
  • the depth map conversion unit 106 synthesizes a depth map for the encoding target image from the reference camera depth map (step S21). That is, the resolution of the depth map obtained here is the same as that of the encoding target image. Any method can be used for the processing as long as it can be executed on the decoding side. For example, Reference 2 “Y. Mori, N. Fukushima, T. Fujii, and M .Tanimoto, “View Generation Generation with 3D Warping” Using “Depth Information” for “FTV”, “In Proceedings” of “3DTV-CON2008,” pp.229-232, “May” 2008. ”may be used.
  • a virtual depth map for this region (encoding target image) may be generated.
  • a corresponding depth on the virtual depth map is obtained using the depth value of the pixel, and the depth value converted to the corresponding point is assigned to the virtual depth map. May be generated.
  • the converted depth value is obtained by converting a depth value for the reference camera depth map into a depth value for the virtual depth map.
  • the corresponding points are not necessarily obtained as integer pixel positions in the virtual depth map, so continuity is assumed between positions on the virtual depth map corresponding to adjacent pixels on the reference camera depth map. Therefore, it is necessary to generate corresponding points by interpolating the depth values for the respective pixels of the virtual depth map.
  • continuity is assumed only for pixels adjacent to each other on the reference camera depth map when the change in depth value is within a predetermined range. This is because different subjects are considered to appear in pixels with greatly different depth values, and continuity of the subject in real space cannot be assumed.
  • one or a plurality of integer pixel positions may be obtained from the obtained corresponding points, and a converted depth value may be assigned to a pixel at the integer pixel position. In this case, it is not necessary to interpolate depth values, and the amount of calculation can be reduced.
  • the subject that appears in a part of the reference camera image is shielded by the subject that appears in another region of the reference camera image, and there is a subject that does not appear in the encoding target image. Therefore, when using this method, it is necessary to assign a depth value to the corresponding point in consideration of the context.
  • the order of processing the pixels of the reference camera depth map is determined according to the positional relationship between the encoding target camera and the reference camera, and the determination is made. By performing the processing according to the order, the virtual depth map can be generated by always overwriting the obtained corresponding points without considering the context.
  • the pixels of the reference camera depth map are processed in the order of scanning from left to right in each row, and the encoding target camera is compared with the reference camera.
  • the pixels in the reference camera depth map are processed in the order of scanning from right to left in each row, thereby eliminating the need to consider the context. Note that the calculation amount can be reduced by eliminating the need to consider the context.
  • an effective depth can only be obtained for an area that is common to both.
  • an estimated depth value may be assigned using the method described in Patent Document 1, or may remain without an effective value.
  • the depth map conversion unit 106 when the synthesis of the depth map with respect to the encoding target image is completed, the depth map conversion unit 106 generates a virtual depth map of the target resolution by reducing the depth map obtained by the synthesis (step). S22).
  • any method may be used as a method for reducing the depth map. For example, for each pixel of the virtual depth map, a plurality of corresponding pixels are set in the depth map obtained by combining, and an average value, an intermediate value, a mode value, etc. of the depth values for those pixels are obtained, There is a method of setting the depth value of the virtual depth map.
  • the weight may be calculated according to the distance between the pixels, and the average value or intermediate value may be obtained using the weight. It should be noted that the pixel value is not considered in the calculation of the average value or the like for the region that has been left without a valid value in step S21.
  • a plurality of corresponding pixels are set in the combined depth map, and the depth indicating the closest to the camera among the depth values for these pixels is set. There is a way to choose. As a result, since the prediction efficiency for the subject existing in front of subjective importance is improved, it is possible to realize subjectively excellent coding with a small code amount.
  • step S21 if the effective depth is not obtained for a part of the area, the patent is finally applied to the area where the effective depth is not obtained in the generated virtual depth map.
  • the estimated depth value may be assigned using the method described in Document 1.
  • the depth map conversion unit 106 reduces the reference camera depth map (step S31). Any method may be used for reduction as long as the same processing can be performed on the decoding side. For example, reduction may be performed using the same method as in step S22 described above. Note that the resolution after the reduction may be reduced to any resolution as long as the decoding side can reduce the resolution to the same resolution. For example, it may be converted to a resolution with a predetermined reduction rate, or it may be the same as the virtual depth map. However, the resolution of the reduced depth map is the same as or higher than the resolution of the virtual depth map.
  • any method may be used as a method for determining which of the vertical and horizontal reduction is performed. For example, it may be determined in advance or may be determined according to the positional relationship between the encoding target camera and the reference camera.
  • a method of determining according to the positional relationship between the encoding target camera and the reference camera there is a method in which a direction different from the direction in which the parallax is generated as much as possible is set as the direction of reduction. That is, when the encoding target camera and the reference camera are arranged side by side in parallel, reduction is performed only in the vertical direction. By determining in this way, in the next step, processing using high-precision parallax is possible, and a high-quality virtual depth map can be generated.
  • the depth map conversion unit 106 synthesizes a virtual depth map from the reduced depth map (step S32).
  • the processing here is the same as step S21 except that the resolution of the depth map is different.
  • the resolution of the depth map obtained by the reduction is different from the resolution of the virtual depth map
  • the corresponding pixel on the virtual depth map is reduced for each pixel of the depth map obtained by the reduction.
  • the plurality of pixels of the depth map obtained in this way have a corresponding relationship with one pixel of the virtual depth map.
  • it is possible to generate a higher-quality virtual depth map by assigning the depth value of the pixel having the smallest error in decimal pixel accuracy.
  • by selecting a depth value indicating that the pixel group is closest to the camera from among the plurality of pixel groups it is possible to improve the prediction efficiency with respect to a subject existing in a subjectively more important front.
  • the depth map conversion unit 106 sets a plurality of sample pixels from the pixels of the reference camera depth map (step S41).
  • Any sample pixel selection method may be used as long as the decoding side can realize the same selection.
  • the reference camera depth map may be divided into a plurality of regions according to the ratio of the resolution of the reference camera depth map and the virtual depth map, and sample pixels may be selected according to a certain rule for each region.
  • a certain rule is, for example, by selecting a pixel that exists at a specific position in an area, a pixel that has the depth that is the farthest from the camera, or a pixel that has the depth that is the closest to the camera. is there.
  • a plurality of pixels may be selected for each region. That is, the four pixels existing in the four corners of the area, the two pixels of the pixel having the depth indicating the farthest from the camera and the pixel having the depth indicating the closest to the camera, and the depth indicating the proximity from the camera.
  • a plurality of pixels such as three in order, may be used as sample pixels.
  • the positional relationship between the encoding target camera and the reference camera may be used. For example, there is a method in which a width of a plurality of pixels is set according to a resolution ratio only in a direction that is as different as possible from the direction in which parallax occurs, and the width of one pixel is set in the other (direction in which parallax occurs). is there. Further, by selecting sample pixels having a resolution equal to or higher than the resolution of the virtual depth map, it is possible to reduce the number of pixels for which an effective depth cannot be obtained and generate a high-quality virtual depth map in the next step.
  • the depth map conversion unit 106 synthesizes a virtual depth map using only the sample pixels of the reference camera depth map (step S42). This process is the same as step S32 except that the synthesis is performed using some pixels.
  • a virtual depth map may be directly generated from the reference camera depth map.
  • the processing in that case is the same as when the reduction ratio is set to 1 in the second method or when all the pixels of the reference camera depth map are set as sample pixels in the third method.
  • the camera arrangement is one-dimensional parallel means that the theoretical projection plane of the camera is on the same plane and the optical axes are parallel to each other.
  • the cameras are installed next to each other in the horizontal direction, and the reference camera exists on the left side of the encoding target camera.
  • the epipolar straight line for the pixels on the horizontal line on the image plane is a horizontal line that exists at the same height. For this reason, parallax always exists only in the horizontal direction.
  • the projection plane exists on the same plane when the depth is expressed as a coordinate value with respect to the coordinate axis in the optical axis direction, the definition axis of the depth is coincident between the cameras.
  • FIG. 7 is a flowchart showing an operation of generating a virtual depth map from the reference camera depth map.
  • the reference camera depth map is represented as RDdepth
  • the virtual depth map is represented as VDepth. Since the camera arrangement is one-dimensionally parallel, the reference camera depth map is converted for each line to generate a virtual depth map. That is, assuming that the index indicating the virtual depth map line is h and the number of virtual depth map lines is Height, the depth map conversion unit 106 initializes h to 0 (step S51), and then adds 1 to h. However, the following processing (steps S52 to S64) is repeated until h becomes Height (step S66) (step S65).
  • the depth map conversion unit 106 synthesizes a virtual depth map for one line from the reference camera depth map (steps S52 to S62). After that, it is determined whether or not there is an area where the depth could not be generated from the reference camera depth map on the line (step S63). If such an area exists, the depth is generated (step S64). Any method may be used. For example, for all the pixels in the region where the depth is not generated, the depth (Vdepth [ last]) may be assigned.
  • the depth map conversion unit 106 determines a sample pixel set S corresponding to the line h of the virtual depth map (step S52). At this time, since the camera arrangement is one-dimensionally parallel, if the ratio of the number of lines of the reference camera depth map and the virtual depth map is N: 1, the sample pixel set is a line from the line N ⁇ h of the reference camera depth map. It will be selected from ⁇ N ⁇ (h + 1) ⁇ 1 ⁇ .
  • any method may be used to determine the sample pixel set. For example, a pixel having a depth value indicating that it is closest to the camera for each pixel column (a set of pixels in the vertical direction) may be selected as the sample pixel. In addition, one pixel may be selected as a sample pixel for each of a plurality of columns instead of for each column. The column width at this time may be determined based on the ratio of the number of columns of the reference camera depth map and the virtual depth map.
  • the pixel position last on the virtual depth map obtained by warping the sample pixel processed immediately before is initialized with (h, ⁇ 1) (step S53).
  • the depth map conversion unit 106 repeats the process of warping the depth of the reference camera depth map for each pixel included in the sample pixel set. That is, while removing the processed sample pixels from the sample pixel set (step S61), the following processing (steps S54 to S60) is repeated until the sample pixel set becomes an empty set (step S62).
  • the depth map conversion unit 106 selects, from the sample pixel set, a pixel p that is positioned on the leftmost on the reference camera depth map as a sample pixel to be processed ( Step S54). Next, the depth map conversion unit 106 obtains a point cp corresponding to the sample pixel p on the virtual depth map from the value of the reference camera depth map for the sample pixel p (step S55). When the corresponding point cp is obtained, the depth map conversion unit 106 checks whether or not the corresponding point exists in the frame of the virtual depth map (step S56). When the corresponding point is outside the frame, the depth map conversion unit 106 ends the processing for the sample pixel p without doing anything.
  • the depth map conversion unit 106 assigns the depth for the pixel p of the reference camera depth map to the pixel of the virtual camera depth map for the corresponding point cp (step S57).
  • the depth map conversion unit 106 determines whether another pixel exists between the position last assigned the depth of the immediately previous sample pixel and the position cp assigned the depth of the current sample pixel. (Step S58). When such a pixel exists, the depth map conversion unit 106 generates a depth for a pixel existing between the pixel last and the pixel cp (step S59). Any processing may be used to generate the depth. For example, the depth of the pixel last and the pixel cp may be linearly interpolated.
  • the depth map conversion unit 106 updates the last to cp. Then, the processing for the sample pixel p is finished.
  • the processing operation illustrated in FIG. 7 is processing when the reference camera is installed on the left side of the encoding target camera.
  • the positional relationship between the reference camera and the encoding target camera is reversed, the order of the pixels to be processed
  • the pixel position determination conditions may be reversed. Specifically, in step S53, last is initialized with (h, Width), and in step S54, the pixel p in the sample pixel set located on the rightmost on the reference camera depth map is selected as a sample pixel to be processed.
  • step S63 it is determined whether or not there is a pixel on the left side of the last.
  • a depth on the left side of the last is generated. Note that Width is the number of pixels in the horizontal direction of the virtual depth map.
  • the processing operation shown in FIG. 7 is processing when the camera arrangement is one-dimensionally parallel, but even when the camera arrangement is one-dimensional convergence, the same processing flow can be applied depending on the definition of depth. .
  • the same processing flow can be applied when the coordinate axes representing the depth are the same in the reference camera depth map and the virtual depth map. If the depth definition axis is different, the value of the reference camera depth map is not directly assigned to the virtual depth map, but the 3D position represented by the depth of the reference camera depth map is converted according to the depth definition axis. Later, the same flow can be applied basically only by assigning the three-dimensional position obtained by the conversion to the virtual depth map.
  • FIG. 8 is a block diagram showing the configuration of the image decoding apparatus according to this embodiment.
  • the image decoding apparatus 200 includes a code data input unit 201, a code data memory 202, a reference camera image input unit 203, a reference camera image memory 204, a reference camera depth map input unit 205, and a depth map conversion unit 206.
  • the code data input unit 201 inputs code data of an image to be decoded.
  • the image to be decoded is referred to as a decoding target image.
  • the decoding target image indicates an image of the camera B.
  • a camera that captures a decoding target image (camera B in this case) is referred to as a decoding target camera.
  • the code data memory 202 stores code data that is an input decoding target image.
  • the reference camera image input unit 203 inputs a reference camera image that becomes a reference image when generating a viewpoint composite image (parallax compensation image).
  • the image of camera A is input.
  • the reference camera image memory 204 stores the input reference camera image.
  • the reference camera depth map input unit 205 inputs a depth map for the reference camera image.
  • the depth map for the reference camera image is referred to as a reference camera depth map.
  • the depth map represents the three-dimensional position of the subject shown in each pixel of the corresponding image. Any information may be used as long as the three-dimensional position can be obtained by information such as separately provided camera parameters. For example, a distance from the camera to the subject, a coordinate value with respect to an axis that is not parallel to the image plane, and a parallax amount with respect to another camera (for example, camera B) can be used.
  • the depth map is assumed to be passed in the form of an image here, but it may not be in the form of an image as long as similar information can be obtained.
  • a camera corresponding to the reference camera depth map is referred to as a reference camera.
  • the depth map conversion unit 206 uses the reference camera depth map to generate a depth map of a subject captured in the decoding target image and having a lower resolution than the decoding target image.
  • the generated depth map can be considered as a depth map for an image captured by a low-resolution camera at the same position and orientation as the decoding target camera.
  • the depth map generated here is referred to as a virtual depth map.
  • the virtual depth map memory 207 stores the generated virtual depth map.
  • the viewpoint composite image generation unit 208 generates a viewpoint composite image for the decoding target image using the correspondence relationship between the pixel of the decoding target image obtained from the virtual depth map and the pixel of the reference camera image.
  • the image decoding unit 209 decodes the decoding target image from the code data using the viewpoint synthesized image and outputs the decoded image.
  • FIG. 9 is a flowchart showing the operation of the image decoding apparatus 200 shown in FIG.
  • the code data input unit 201 inputs code data of a decoding target image, and stores the input code data in the code data memory 202 (step S71).
  • the reference camera image input unit 203 inputs a reference camera image and stores the input reference camera image in the reference camera image memory 204.
  • the reference camera depth map input unit 205 inputs the reference camera depth map, and outputs the input reference camera depth map to the depth map conversion unit 206 (step S72).
  • reference camera image and the reference camera depth map input in step S72 are the same as those used on the encoding side. This is to suppress the occurrence of encoding noise such as drift by using exactly the same information as that used in the encoding apparatus. However, if such encoding noise is allowed to occur, a different one from that used at the time of encoding may be input.
  • reference camera depth maps in addition to those separately decoded, depth maps estimated by applying stereo matching to multi-viewpoint images decoded for a plurality of cameras, decoded parallax vectors, and motion A depth map estimated using a vector or the like may be used.
  • the depth map conversion unit 206 generates a virtual depth map from the reference camera depth map, and stores the generated virtual depth map in the virtual depth map memory 207 (step S73).
  • the processing here is the same as step S3 shown in FIG. 2 except that encoding and decoding are different, such as an encoding target image and a decoding target image.
  • the viewpoint composite image generation unit 208 generates a viewpoint composite image for the decoding target image from the reference camera image and the virtual depth map, and the generated viewpoint composite image is an image. It outputs to the decoding part 209 (step S74).
  • the process here is the same as step S4 shown in FIG. 2 except that encoding and decoding are different, such as an encoding target image and a decoding target image.
  • the image decoding unit 209 decodes the decoding target image from the code data and outputs the decoding result while using the viewpoint composite image as the predicted image (step S75).
  • the decoded image obtained as a result of decoding is the output of the image decoding apparatus 200. Note that any method may be used for decoding as long as the code data (bit stream) can be correctly decoded. In general, a method corresponding to the method used at the time of encoding is used.
  • the image is divided into blocks of a predetermined size, entropy decoding, inverse binary for each block After performing quantization, inverse quantization, etc., applying inverse frequency transform such as IDCT (Inverse Discrete Cosine Transform) to obtain the prediction residual signal, adding the prediction image to the prediction residual signal, the result obtained Is decoded in the pixel value range.
  • IDCT Inverse Discrete Cosine Transform
  • the decoding target image may be decoded by alternately repeating the viewpoint composite image generation processing (step S74) and the decoding target image decoding processing (step S75) for each block.
  • step S74 the viewpoint composite image generation processing
  • step S75 the decoding target image decoding processing
  • FIG. 10 is a flowchart illustrating an operation of decoding the decoding target image by alternately repeating the viewpoint composite image generation processing and the decoding target image decoding processing for each block.
  • the index of a block that is a unit for performing the decoding process is represented by blk
  • the number of blocks in the decoding target image is represented by numBlks.
  • the code data input unit 201 inputs code data of a decoding target image, and stores the input code data in the code data memory 202 (step S71).
  • the reference camera image input unit 203 inputs a reference camera image and stores the input reference camera image in the reference camera image memory 204.
  • the reference camera depth map input unit 205 inputs the reference camera depth map, and outputs the input reference camera depth map to the depth map conversion unit 206 (step S72).
  • the depth map conversion unit 206 generates a virtual depth map from the reference camera depth map, and stores the generated virtual depth map in the virtual depth map memory 207 (step S73). Then, the viewpoint composite image generation unit 208 substitutes 0 for the variable blk (step S76).
  • the viewpoint synthesized image generation unit 208 generates a viewpoint synthesized image for the block blk from the reference camera image and the virtual depth map, and outputs the generated viewpoint synthesized image to the image decoding unit 209 (step S74a).
  • the image decoding unit 209 decodes the decoding target image for the block blk from the code data and outputs the decoding result while using the viewpoint synthesized image as the predicted image (step S75a).
  • the process of encoding and decoding all the pixels in one frame has been described.
  • the encoding or decoding may be performed using intra-frame prediction encoding or motion compensation prediction encoding used in H.264 / AVC or the like. In that case, it is necessary to encode and decode information indicating which method is used for prediction for each pixel.
  • encoding or decoding may be performed using a different prediction method for each block instead of for each pixel.
  • the process of encoding and decoding one frame has been described.
  • the embodiment of the present invention can be applied to moving picture encoding by repeating the process for a plurality of frames.
  • the embodiment of the present invention can be applied only to some frames and some blocks of a moving image.
  • the configurations and processing operations of the image encoding device and the image decoding device have been described.
  • the image encoding method of the present invention is performed by processing operations corresponding to the operations of the respective units of the image encoding device and the image decoding device. And an image decoding method can be realized.
  • FIG. 11 is a block diagram showing a hardware configuration when the above-described image encoding device is configured by a computer and a software program.
  • the system shown in FIG. 11 includes a CPU (Central Processing Unit) 50 that executes a program, a memory 51 such as a RAM (Random Access Memory) that stores programs and data accessed by the CPU 50, and an encoding target from a camera or the like.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • Encoding target image input unit 52 (which may be a storage unit that stores an image signal from a disk device or the like), and reference camera image input unit 53 (disk that inputs a reference target image signal from a camera or the like)
  • a reference camera depth map input unit 54 for inputting a depth map for a camera having a position and orientation different from that of the camera that has captured the encoding target image from the depth camera or the like.
  • a storage unit that stores a depth map by a disk device or the like), and the image encoding process described above is performed by the CPU 5.
  • a code data output unit 56 (which may be a storage unit for storing code data by a disk device or the like) is connected via a bus.
  • FIG. 12 is a block diagram showing a hardware configuration when the above-described image decoding apparatus is configured by a computer and a software program.
  • the system shown in FIG. 12 includes a CPU 60 that executes a program, a memory 61 such as a RAM that stores programs and data accessed by the CPU 60, and code data that is input with code data encoded by the image encoding apparatus according to this method.
  • An input unit 62 may be a storage unit that stores code data by a disk device or the like
  • a reference camera image input unit 63 a storage unit that stores an image signal by a disk device or the like) that inputs a reference target image signal from a camera or the like
  • a reference camera depth map input unit 64 a storage unit for storing depth information by a disk device or the like that inputs a depth map for a camera in a position and orientation different from that of a camera that has captured a decoding target from a depth camera or the like.
  • a software program that causes the CPU 60 to execute the image decoding process described above.
  • the decoding target image obtained by decoding the code data by executing the program storage device 65 storing the image decoding program 651 and the image decoding program 651 loaded in the memory 61 by the CPU 60 is used as a reproduction device or the like.
  • the decoding target image output unit 66 (which may be a storage unit that stores an image signal by a disk device or the like) that is output to the network is connected by a bus.
  • a program for realizing the function of each processing unit in the image encoding device shown in FIG. 1 and the image decoding device shown in FIG. 8 is recorded on a computer-readable recording medium, and the program recorded on the recording medium
  • the image encoding process and the image decoding process may be performed by causing the computer system to read and execute.
  • the “computer system” includes hardware such as an OS (Operating System) and peripheral devices.
  • the “computer system” also includes a WWW (World Wide Web) system provided with a homepage providing environment (or display environment).
  • Computer-readable recording medium means a portable medium such as a flexible disk, a magneto-optical disk, a ROM (Read Only Memory), a CD (Compact Disk) -ROM, or a hard disk built in a computer system. Refers to the device. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
  • RAM volatile memory
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be for realizing a part of the functions described above. Further, the program may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.
  • the present invention achieves high coding efficiency with a small amount of calculation when performing parallax compensation prediction on an encoding (decoding) target image using a depth map representing a three-dimensional position of a subject with respect to a reference frame. Can be applied to essential applications.
  • DESCRIPTION OF SYMBOLS 100 ... Image coding apparatus, 101 ... Encoding object image input part, 102 ... Encoding object image memory, 103 ... Reference camera image input part, 104 ... Reference camera image memory, 105 ... Reference camera depth map input unit, 106 ... Depth map conversion unit, 107 ... Virtual depth map memory, 108 ... Viewpoint composite image generation unit, 109 ... Image encoding unit, 200 ... Image decoding apparatus, 201: Code data input unit, 202: Code data memory, 203: Reference camera image input unit, 204: Reference camera image memory, 205 ... Reference camera depth map input , 206 ... Depth map conversion unit, 207 ... Virtual depth map memory, 208 ... Viewpoint composite image generation unit, 209 ... Image decoding unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　処理対象フレームの視点合成画像を生成する際に、視点合成画像の品質を著しく低下させることなく、少ない演算量で視点合成画像を生成することが可能な画像符号化・画像復号方法を提供する。複数の視点の画像である多視点画像を符号化・復号する際に、対象画像の視点とは異なる視点に対する参照視点画像と、参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化・復号を行う画像符号化・復号方法であって、対象画像よりも解像度が低く、対象画像内の被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成ステップと、仮想デプスマップと参照視点画像とから、対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップとを有する。

Description

画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
　本発明は、多視点画像を符号化及び復号する画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体に関する。
　本願は、２０１２年９月２５日に日本へ出願された特願２０１２－２１１１５４号に基づき優先権を主張し、その内容をここに援用する。
　従来から、複数のカメラで同じ被写体と背景を撮影した複数の画像からなる多視点画像が知られている。この複数のカメラで撮影した動画像のことを多視点動画像（または多視点映像）という。以下の説明では１つのカメラで撮影された画像（動画像）を“２次元画像（動画像）”と称し、同じ被写体と背景とを位置や向き（以下、視点と称する）が異なる複数のカメラで撮影した２次元画像（２次元動画像）群を“多視点画像（多視点動画像）”と称する。
　２次元動画像は、時間方向に関して強い相関があり、その相関を利用することによって符号化効率を高めることができる。一方、多視点画像や多視点動画像では、各カメラが同期されている場合、各カメラの映像の同じ時刻に対応するフレーム（画像）は、全く同じ状態の被写体と背景を別の位置から撮影したものであるので、カメラ間で強い相関がある。多視点画像や多視点動画像の符号化においては、この相関を利用することによって符号化効率を高めることができる。
　ここで、２次元動画像の符号化技術に関する従来技術を説明する。国際符号化標準であるＨ．２６４、ＭＰＥＧ－２、ＭＰＥＧ－４をはじめとした従来の多くの２次元動画像符号化方式では、動き補償予測、直交変換、量子化、エントロピー符号化という技術を利用して、高効率な符号化を行う。例えば、Ｈ．２６４では、過去あるいは未来の複数枚のフレームとの時間相関を利用した符号化が可能である。
　Ｈ．２６４で使われている動き補償予測技術の詳細については、例えば非特許文献１に記載されている。Ｈ．２６４で使われている動き補償予測技術の概要を説明する。Ｈ．２６４の動き補償予測は、符号化対象フレームを様々なサイズのブロックに分割し、各ブロックで異なる動きベクトルと異なる参照フレームを持つことを許可している。各ブロックで異なる動きベクトルを使用することで、被写体ごとに異なる動きを補償した精度の高い予測を実現している。一方、各ブロックで異なる参照フレームを使用することで、時間変化によって生じるオクルージョンを考慮した精度の高い予測を実現している。
　次に、従来の多視点画像や多視点動画像の符号化方式について説明する。多視点画像の符号化方法と、多視点動画像の符号化方法との違いは、多視点動画像にはカメラ間の相関に加えて、時間方向の相関が同時に存在するということである。しかし、カメラ間の相関を利用する方法はどちらの場合でも、同じ方法を用いることができる。そのため、ここでは多視点動画像の符号化において用いられる方法について説明する。
　多視点動画像の符号化については、カメラ間の相関を利用するために、動き補償予測を同じ時刻の異なるカメラで撮影された画像に適用した“視差補償予測”によって高効率に多視点動画像を符号化する方式が従来から存在する。ここで、視差とは、異なる位置に配置されたカメラの画像平面上で、被写体上の同じ部分が存在する位置の差である。図１３は、カメラ間で生じる視差を示す概念図である。図１３に示す概念図では、光軸が平行なカメラの画像平面を垂直に見下ろしたものとなっている。このように、異なるカメラの画像平面上で被写体上の同じ部分が投影される位置は、一般的に対応点と呼ばれる。
　視差補償予測では、この対応関係に基づいて、符号化対象フレームの各画素値を参照フレームから予測して、その予測残差と、対応関係を示す視差情報とを符号化する。視差は対象とするカメラ対や位置ごとに変化するため、視差補償予測を行う領域ごとに視差情報を符号化することが必要である。実際に、Ｈ．２６４の多視点符号化方式では、視差補償予測を用いるブロックごとに視差情報を表すベクトルを符号化している。
　視差情報によって与えられる対応関係は、カメラパラメータを用いることで、エピポーラ幾何拘束に基づき、２次元ベクトルではなく、被写体の３次元位置を示す１次元量で表すことができる。被写体の３次元位置を示す情報としては、様々な表現が存在するが、基準となるカメラから被写体までの距離や、カメラの画像平面と平行ではない軸上の座標値を用いることが多い。なお、距離ではなく距離の逆数を用いる場合もある。また、距離の逆数は視差に比例する情報となるため、基準となるカメラを２つ設定し、それらのカメラで撮影された画像間での視差量として被写体の３次元位置を表現する場合もある。どのような表現を用いたとしてもその物理的な意味に本質的な違いはないため、以下では、表現による区別をせずに、それら３次元位置を示す情報をデプスと表現する。
　図１４はエピポーラ幾何拘束の概念図である。エピポーラ幾何拘束によれば、あるカメラの画像上の点に対応する別のカメラの画像上の点はエピポーラ線という直線上に拘束される。このとき、その画素に対するデプスが得られた場合、対応点はエピポーラ線上に一意に定まる。例えば、図１４に示すように、第１のカメラ画像においてｍの位置に投影された被写体に対する第２のカメラ画像での対応点は、実空間における被写体の位置がＭ’の場合にはエピポーラ線上の位置ｍ’に投影され、実空間における被写体の位置がＭ’’の場合にはエピポーラ線上の位置ｍ’’に、投影される。
　非特許文献２では、この性質を利用して、参照フレームに対するデプスマップ（距離画像）によって与えられる各被写体の３次元情報に従って、参照フレームから符号化対象フレームに対する予測画像を合成することで、精度の高い予測画像を生成し、効率的な多視点動画像の符号化を実現している。なお、このデプスに基づいて生成される予測画像は視点合成画像、視点補間画像、または視差補償画像と呼ばれる。
　さらに、特許文献１では、最初に参照フレームに対するデプスマップを符号化対象フレームに対するデプスマップへと変換し、その変換されたデプスマップを用いて対応点を求めることで、必要な領域に対してのみ視点合成画像を生成することを可能にしている。これによって、符号化対象または復号対象となるフレームの領域ごとに、予測画像を生成する方法を切り替えながら画像または動画像を符号化または復号する場合において、視点合成画像を生成するための処理量や、視点合成画像を一時的に蓄積するためのメモリ量の削減を実現している。
日本国特開２０１０－２１８４４号公報
ITU-T Recommendation H.264 (03/2009), "Advanced video coding for generic audiovisual services", March, 2009. Shinya SHIMIZU, Masaki KITAHARA, Kazuto KAMIKURA and Yoshiyuki YASHIMA, "Multi-view Video Coding based on 3-D Warping with Depth Map", In Proceedings of Picture Coding Symposium 2006, SS3-6, April, 2006.
　特許文献１に記載の方法によれば、符号化対象フレームに対してデプスが得られるため、符号化対象フレームの画素から参照フレーム上の対応する画素を求めることが可能となる。これにより、符号化対象フレームの指定された領域のみに対して視点合成画像を生成することで、符号化対象フレームの一部の領域にしか視点合成画像が必要ない場合には、常に１フレーム分の視点合成画像を生成する場合に比べて、処理量や要求されるメモリの量を削減することができる。
　しかしながら、符号化対象フレームの全体に対して視点合成画像が必要になる場合は、参照フレームに対するデプスマップから符号化対象フレームに対するデプスマップを合成する必要が生じるため、参照フレームに対するデプスマップから直接、視点合成画像を生成する場合よりも、その処理量が増加してしまうという問題がある。
　本発明は、このような事情に鑑みてなされたもので、処理対象フレームの視点合成画像を生成する際に、視点合成画像の品質を著しく低下させることなく、少ない演算量で視点合成画像を生成することが可能な画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体を提供することを目的とする。
　本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成ステップと、前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップとを有する。
　好ましくは、本発明の画像符号化方法は、前記参照視点デプスマップから、前記符号化対象画像と同じ解像度の同解像度デプスマップを生成する同解像度デプスマップ生成ステップをさらに有し、前記仮想デプスマップ生成ステップでは、前記同解像度デプスマップを縮小することにより、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像符号化方法における前記仮想デプスマップ生成ステップでは、前記仮想デプスマップの画素ごとに、前記同解像度デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像符号化方法は、前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成ステップをさらに有し、前記仮想デプスマップ生成ステップでは、前記縮小デプスマップから、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像符号化方法における前記縮小デプスマップ生成ステップでは、前記参照視点デプスマップを縦方向または横方向のいずれか一方に対してのみ縮小する。
　好ましくは、本発明の画像符号化方法における前記縮小デプスマップ生成ステップでは、前記縮小デプスマップの画素ごとに、前記参照視点デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像符号化方法は、前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択ステップをさらに有し、前記仮想デプスマップ生成ステップでは、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像符号化方法は、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記参照視点デプスマップを部分領域に分割する領域分割ステップをさらに有し、前記サンプル画素選択ステップでは、前記部分領域ごとに前記サンプル画素を選択する。
　好ましくは、本発明の画像符号化方法における前記領域分割ステップでは、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記部分領域の形状を決定する。
　好ましくは、本発明の画像符号化方法における前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素、または、最も視点から遠いことを示すデプスを持つ画素のいずれか一方を前記サンプル画素として選択する。
　好ましくは、本発明の画像符号化方法における前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素と最も視点から遠いことを示すデプスを持つ画素とを前記サンプル画素として選択する。
　本発明は、複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成ステップと、前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップとを有する。
　好ましくは、本発明の画像復号方法は、前記参照視点デプスマップから、前記復号対象画像と同じ解像度の同解像度デプスマップを生成する同解像度デプスマップ生成ステップをさらに有し、前記仮想デプスマップ生成ステップでは、前記同解像度デプスマップを縮小することにより、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像復号方法における前記仮想デプスマップ生成ステップでは、前記仮想デプスマップの画素ごとに、前記同解像度デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像復号方法は、前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成ステップをさらに有し、前記仮想デプスマップ生成ステップでは、前記縮小デプスマップから、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像復号方法における前記縮小デプスマップ生成ステップでは、前記参照視点デプスマップを縦方向または横方向のいずれか一方に対してのみ縮小する。
　好ましくは、本発明の画像復号方法における前記縮小デプスマップ生成ステップでは、前記縮小デプスマップの画素ごとに、前記参照視点デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像復号方法は、前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択ステップをさらに有し、前記仮想デプスマップ生成ステップでは、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像復号方法は、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記参照視点デプスマップを部分領域に分割する領域分割ステップをさらに有し、前記サンプル画素選択ステップでは、前記部分領域ごとにサンプル画素を選択する。
　好ましくは、本発明の画像復号方法における前記領域分割ステップでは、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記部分領域の形状を決定する。
　好ましくは、本発明の画像復号方法における前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素、または、最も視点から遠いことを示すデプスを持つ画素のいずれか一方を前記サンプル画素として選択する。
　好ましくは、本発明の画像復号方法における前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素と最も視点から遠いことを示すデプスを持つ画素とを前記サンプル画素として選択する。
　本発明は、複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部とを備える。
　好ましくは、本発明の画像符号化装置は、前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成部をさらに備え、前記仮想デプスマップ生成部は、前記縮小デプスマップを変換することにより、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像符号化装置は、前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択部をさらに備え、前記仮想デプスマップ生成部は、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記仮想デプスマップを生成する。
　本発明は、複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部とを備える。
　好ましくは、本発明の画像復号装置は、前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成部をさらに備え、前記仮想デプスマップ生成部は、前記縮小デプスマップを変換することにより、前記仮想デプスマップを生成する。
　好ましくは、本発明の画像復号装置は、前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択部をさらに備え、前記仮想デプスマップ生成部は、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記仮想デプスマップを生成する。
　本発明は、コンピュータに、前記画像符号化方法を実行させるための画像符号化プログラムである。
　本発明は、コンピュータに、前記画像復号方法を実行させるための画像復号プログラムである。
　本発明は、前記画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体である。
　本発明は、前記画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体である。
　本発明によれば、処理対象フレームの視点合成画像を生成する際に、視点合成画像の品質を著しく低下させることなく、少ない演算量で視点合成画像を生成することができるという効果が得られる。
本発明の一実施形態における画像符号化装置の構成を示すブロック図である。 図１に示す画像符号化装置１００の動作を示すフローチャートである。 視点合成画像の生成処理と符号化対象画像の符号化処理をブロック毎に交互に繰り返すことで、符号化対象画像を符号化する動作を示すフローチャートである。 図２、図３に示す参照カメラデプスマップを変換する処理（ステップＳ３）の処理動作を示すフローチャートである。 図２、図３に示す参照カメラデプスマップを変換する処理（ステップＳ３）の処理動作を示すフローチャートである。 図２、図３に示す参照カメラデプスマップを変換する処理（ステップＳ３）の処理動作を示すフローチャートである。 参照カメラデプスマップから仮想デプスマップを生成する動作を示すフローチャートである。 本発明の一実施形態における画像復号装置の構成を示すブロック図である。 図８に示す画像復号装置２００の動作を示すフローチャートである。 視点合成画像の生成処理と復号対象画像の復号処理をブロック毎に交互に繰り返すことで、復号対象画像を復号する動作を示すフローチャートである。 画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。 カメラ間で生じる視差を示す概念図である。 エピポーラ幾何拘束の概念図である。
　以下、図面を参照して、本発明の実施形態による画像符号化装置及び画像復号装置を説明する。以下の説明においては、第１のカメラ（カメラＡという）、第２のカメラ（カメラＢという）の２つのカメラで撮影された多視点画像を符号化する場合を想定し、カメラＡの画像を参照画像としてカメラＢの画像を符号化または復号するものとして説明する。なお、デプス情報から視差を得るために必要となる情報は別途与えられているものとする。具体的には、この情報は、カメラＡとカメラＢの位置関係を表す外部パラメータや、カメラによる画像平面への投影情報を表す内部パラメータであるが、これら以外の形態であってもデプス情報から視差が得られるものであれば、別の情報が与えられていてもよい。これらのカメラパラメータに関する詳しい説明は、例えば、参考文献１「Olivier Faugeras, “Three-Dimensional Computer Vision”, pp. 33-66, MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されている。この文献には、複数のカメラの位置関係を示すパラメータや、カメラによる画像平面への投影情報を表すパラメータに関する説明が記載されている。
　以下の説明では、画像や映像フレーム、デプスマップに対して、記号［］で挟まれた位置を特定可能な情報（座標値もしくは座標値に対応付け可能なインデックス）を付加することで、その位置の画素によってサンプリングされた画像信号や、それに対するデプスを示すものとする。また、デプスはカメラから離れる（視差が小さい）ほど小さな値を持つ情報であるとする。デプスの大小とカメラからの距離の関係が逆に定義されている場合は、デプスに対する値の大きさの記述を適宜読み替える必要がある。
　図１は本実施形態における画像符号化装置の構成を示すブロック図である。画像符号化装置１００は、図１に示すように、符号化対象画像入力部１０１、符号化対象画像メモリ１０２、参照カメラ画像入力部１０３、参照カメラ画像メモリ１０４、参照カメラデプスマップ入力部１０５、デプスマップ変換部１０６、仮想デプスマップメモリ１０７、視点合成画像生成部１０８及び画像符号化部１０９を備えている。
　符号化対象画像入力部１０１は、符号化対象となる画像を入力する。以下では、この符号化対象となる画像を符号化対象画像と称する。ここではカメラＢの画像を入力するものとする。また、符号化対象画像を撮影したカメラ（ここではカメラＢ）を符号化対象カメラと称する。符号化対象画像メモリ１０２は、入力した符号化対象画像を記憶する。参照カメラ画像入力部１０３は、視点合成画像（視差補償画像）を生成する際に参照画像となる参照カメラ画像を入力する。ここではカメラＡの画像を入力するものとする。参照カメラ画像メモリ１０４は、入力された参照カメラ画像を記憶する。
　参照カメラデプスマップ入力部１０５は、参照カメラ画像に対するデプスマップを入力する。以下では、この参照カメラ画像に対するデプスマップを参照カメラデプスマップと称する。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここではデプスマップが画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照カメラデプスマップに対応するカメラを参照カメラと称する。
　デプスマップ変換部１０６は、参照カメラデプスマップを用いて、符号化対象画像に撮影された被写体のデプスマップであり、符号化対象画像よりも低い解像度のデプスマップを生成する。すなわち、生成されるデプスマップは符号化対象カメラと同じ位置や向きで、解像度の低いカメラで撮影された画像に対するデプスマップと考えることも可能である。以下では、ここで生成されたデプスマップを仮想デプスマップと称する。仮想デプスマップメモリ１０７は、生成された仮想デプスマップを記憶する。
　視点合成画像生成部１０８は、仮想デプスマップから得られる符号化対象画像の画素と参照カメラ画像の画素との対応関係を用いて、符号化対象画像に対する視点合成画像を生成する。画像符号化部１０９は、視点合成画像を用いて、符号化対象画像に対して予測符号化を行い符号データであるビットストリームを出力する。
　次に、図２を参照して、図１に示す画像符号化装置１００の動作を説明する。図２は、図１に示す画像符号化装置１００の動作を示すフローチャートである。まず、符号化対象画像入力部１０１は、符号化対象画像を入力し、入力された符号化対象画像を符号化対象画像メモリ１０２に記憶する（ステップＳ１）。次に、参照カメラ画像入力部１０３は参照カメラ画像を入力し、入力された参照カメラ画像を参照カメラ画像メモリ１０４に記憶する。これと並行して、参照カメラデプスマップ入力部１０５は参照カメラデプスマップを入力し、入力された参照カメラデプスマップをデプスマップ変換部１０６へ出力する（ステップＳ２）。
　なお、ステップＳ２で入力される参照カメラ画像、参照カメラデプスマップは、既に符号化済みのものを復号したものなど、復号側で得られるものと同じものとする。これは復号装置で得られるものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化前のものなど、符号化側でしか得られないものが入力されてもよい。参照カメラデプスマップに関しては、既に符号化済みのものを復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなども、復号側で同じものが得られるものとして用いることができる。
　次に、デプスマップ変換部１０６は、参照カメラデプスマップ入力部１０５から出力する参照カメラデプスマップに基づき仮想デプスマップを生成し、生成された仮想デプスマップを仮想デプスマップメモリ１０７に記憶する（ステップＳ３）。なお、仮想デプスマップの解像度は、復号側と同じであれば、どのような解像度を設定しても構わない。例えば、符号化対象画像に対して予め定められた縮小率の解像度を設定しても構わない。ここでの処理の詳細については後述する。
　次に、視点合成画像生成部１０８は、参照カメラ画像メモリ１０４に記憶されている参照カメラ画像と、仮想デプスマップメモリ１０７に記憶されている仮想デプスマップとから、符号化対象画像に対する視点合成画像を生成し、生成された視点合成画像を画像符号化部１０９へ出力する（ステップＳ４）。ここでの処理は、符号化対象画像より低い解像度の符号化対象カメラに対するデプスマップと、符号化対象カメラとは異なるカメラで撮影された画像とを用いて、符号化対象カメラの画像を合成する方法であれば、どのような方法を用いても構わない。
　例えば、まず、仮想デプスマップの１つの画素を選択し、符号化対象画像上で対応する領域を求め、デプス値から参照カメラ画像上での対応領域を求める。次に、その対応領域における画像の画素値を求める。そして、得られた画素値を符号化対象画像上で同定された領域の視点合成画像の画素値として割り当てる。この処理を仮想デプスマップの全ての画素に対して行うことで、１フレーム分の視点合成画像が得られる。なお、参照カメラ画像上の対応点が、フレーム外になった場合は、画素値なしとしても構わないし、あらかじめ定められた画素値を割り当てても構わないし、最も近いフレーム内の画素の画素値やエピポーラ直線上で最も近いフレーム内の画素の画素値を割り当てても構わない。ただし、どのように画素値を決定するかは復号側と同じにする必要がある。さらに、１フレーム分の視点合成画像が得られた後に、ローパスフィルタ等のフィルタをかけても構わない。
　次に、視点合成画像を得た後に、画像符号化部１０９は、視点合成画像を予測画像として、符号化対象画像を予測符号化して符号化結果を出力する（ステップＳ５）。符号化の結果得られるビットストリームが画像符号化装置１００の出力となる。なお、復号側で正しく復号可能であるならば、符号化にはどのような方法を用いてもよい。
　ＭＰＥＧ－２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化では、画像を予め定められた大きさのブロックに分割して、ブロックごとに、符号化対象画像と予測画像との差分信号を生成し、差分画像に対してＤＣＴ（Discrete Cosine Transform）などの周波数変換を施し、その結果得られた値に対して、量子化、２値化、エントロピー符号化の処理を順に適用することで符号化を行う。
　なお、予測符号化処理をブロックごとに行う場合、視点合成画像の生成処理（ステップＳ４）と符号化対象画像の符号化処理（ステップＳ５）をブロック毎に交互に繰り返すことで、符号化対象画像を符号化してもよい。その場合の処理動作を図３を参照して説明する。図３は、視点合成画像の生成処理と符号化対象画像の符号化処理をブロック毎に交互に繰り返すことで、符号化対象画像を符号化する動作を示すフローチャートである。図３において、図２に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。図３に示す処理動作では予測符号化処理を行う単位となるブロックのインデックスをｂｌｋとし、符号化対象画像中のブロック数をｎｕｍＢｌｋｓで表している。
　まず、符号化対象画像入力部１０１は、符号化対象画像を入力し、入力された符号化対象画像を符号化対象画像メモリ１０２に記憶する（ステップＳ１）。次に、参照カメラ画像入力部１０３は参照カメラ画像を入力し、入力された参照カメラ画像を参照カメラ画像メモリ１０４に記憶する。これと並行して、参照カメラデプスマップ入力部１０５は参照カメラデプスマップを入力し、入力された参照カメラデプスマップをデプスマップ変換部１０６へ出力する（ステップＳ２）。
　次に、デプスマップ変換部１０６は、参照カメラデプスマップ入力部１０５から出力する参照カメラデプスマップに基づき仮想デプスマップを生成し、生成された仮想デプスマップを仮想デプスマップメモリ１０７に記憶する（ステップＳ３）。そして、視点合成画像生成部１０８は、変数ｂｌｋに０を代入する（ステップＳ６）。
　次に、視点合成画像生成部１０８は、参照カメラ画像メモリ１０４に記憶されている参照カメラ画像と、仮想デプスマップメモリ１０７に記憶されている仮想デプスマップとから、ブロックｂｌｋに対する視点合成画像を生成し、生成された視点合成画像を画像符号化部１０９へ出力する（ステップＳ４ａ）。続いて、視点合成画像を得た後に、画像符号化部１０９は、視点合成画像を予測画像として、ブロックｂｌｋに対する符号化対象画像を予測符号化して符号化結果を出力する（ステップＳ５ａ）。そして、視点合成画像生成部１０８は、変数ｂｌｋをインクリメントし（ｂｌｋ←ｂｌｋ＋１，ステップＳ７）、ｂｌｋ＜ｎｕｍＢｌｋｓを満たすか否かを判定する（ステップＳ８）。この判定の結果、ｂｌｋ＜ｎｕｍＢｌｋｓを満たしていればステップＳ４ａに戻って処理を繰り返し、ｂｌｋ＝ｎｕｍＢｌｋｓを満たした時点で処理を終了する。
　次に、図４～図６を参照して、図１に示すデプスマップ変換部１０６の処理動作を説明する。図４～図６は、図２、図３に示す参照カメラデプスマップを変換する処理（ステップＳ３）の処理動作を示すフローチャートである。ここでは、参照デプスマップから仮想デプスマップを生成する方法として、３つの異なる方法について説明する。どの方法を用いても構わないが、復号側と同じ方法を用いる必要がある。なお、フレームなど一定の大きさごとに使用する方法を変更する場合は、使用した方法を示す情報を符号化して復号側に通知しても構わない。
　始めに、図４を参照して、第１の方法による処理動作を説明する。まず、デプスマップ変換部１０６は、参照カメラデプスマップから、符号化対象画像に対するデプスマップを合成する（ステップＳ２１）。すなわち、ここで得られるデプスマップの解像度は符号化対象画像と同じである。ここでの処理には、復号側で実行可能な方法であれば、どのような方法を用いても構わないが、例えば、参考文献２「Y. Mori, N. Fukushima, T. Fujii, and M. Tanimoto, “View Generation with 3D Warping Using Depth Information for FTV”, In Proceedings of 3DTV-CON2008, pp.229-232, May 2008.」に記載の方法を用いても構わない。
　別の方法としては、参照カメラデプスマップから各画素の３次元位置が得られるため、被写体空間の３次元モデルを復元し、復元されたモデルを符号化対象カメラから観測した際のデプスを求めることで、この領域（符号化対象画像）に対する仮想デプスマップを生成するようにしてもよい。更に別の方法としては、参照カメラデプスマップの画素ごとに、その画素のデプス値を用いて、仮想デプスマップ上の対応点を求め、その対応点に変換したデプス値を割り当てることで仮想デプスマップを生成するようにしてもよい。ここで、変換したデプス値とは、参照カメラデプスマップに対するデプス値を、仮想デプスマップに対するデプス値へと変換したものである。デプス値を表現する座標系として、参照カメラデプスマップと仮想デプスマップとで、共通の座標系を用いる場合は、変換せずに参照カメラデプスマップのデプス値を使用することになる。
　なお、対応点は必ずしも仮想デプスマップの整数画素位置として得られるわけではないため、参照カメラデプスマップ上で隣接する画素にそれぞれ対応した仮想デプスマップ上の位置の間での連続性を仮定することで、仮想デプスマップの各画素に対するデプス値を補間して対応点を生成する必要がある。ただし、参照カメラデプスマップ上で隣接する画素に対して、そのデプス値の変化が予め定められた範囲内の場合においてのみ連続性を仮定する。これは、デプス値が大きく異なる画素には、異なる被写体が写っていると考えられ、実空間における被写体の連続性を仮定できないためである。また、得られた対応点から１つまたは複数の整数画素位置を求め、その整数画素位置にある画素に対して変換したデプス値を割り当てても構わない。この場合、デプス値の補間を行う必要がなくなり、演算量を削減することができる。
　また、被写体の前後関係によって、参照カメラ画像の一部の領域に写っている被写体が、参照カメラ画像の別の領域に写っている被写体によって遮蔽され、符号化対象画像には写らない被写体が存在する参照カメラ画像上の領域が存在するため、この方法を用いる場合は、前後関係を考慮しながら、対応点にデプス値を割り当てる必要がある。ただし、符号化対象カメラと参照カメラの光軸が同一平面上に存在する場合、符号化対象カメラと参照カメラとの位置関係に従って、参照カメラデプスマップの画素を処理する順序を決定し、その決定された順序に従って処理を行うことで、前後関係を考慮せずに、得られた対応点に対して常に上書き処理を行うことで、仮想デプスマップを生成することができる。具体的には、符号化対象カメラが参照カメラよりも右に存在している場合、参照カメラデプスマップの画素を各行で左から右にスキャンする順で処理し、符号化対象カメラが参照カメラよりも左に存在している場合、参照カメラデプスマップの画素を各行で右から左にスキャンする順で処理することで、前後関係を考慮する必要がなくなる。なお、前後関係を考慮する必要がなくなることによって、演算量を削減することができる。
　さらに、あるカメラで撮影された画像に対するデプスマップから別のカメラで撮影された画像に対するデプスマップを合成する場合、その両方に共通して写っている領域に対してしか有効なデプスが得られない。有効なデプスが得られなかった領域については、特許文献１に記載の方法などを用いて、推定したデプス値を割り当てても構わないし、有効な値がないままとしても構わない。
　次に、符号化対象画像に対するデプスマップの合成が終了したら、デプスマップ変換部１０６は、合成して得られたデプスマップを縮小することで、目標とする解像度の仮想デプスマップを生成する（ステップＳ２２）。復号側で同じ方法が使用可能であれば、デプスマップを縮小する方法として、どのような方法を用いても構わない。例えば、仮想デプスマップの画素ごとに、合成して得られたデプスマップで対応する複数の画素を設定し、それらの画素に対するデプス値の平均値や、中間値、最頻値などを求めて、仮想デプスマップのデプス値とする方法がある。なお、単純に平均値を求めるではなく、画素間の距離に応じて重みを計算し、その重みを用いて平均値や中間値などを求めても構わない。なお、ステップＳ２１において、有効な値がないままとしてあった領域については、その画素の値は平均値等の計算において考慮しない。
　別の方法としては、仮想デプスマップの画素ごとに、合成して得られたデプスマップで対応する複数の画素を設定し、それらの画素に対するデプス値のうち、最もカメラに近いことを示すデプスを選択する方法がある。これにより、主観的により重要な手前に存在する被写体に対しての予測効率が向上するため、少ない符号量で主観的に優れた符号化を実現することが可能となる。
　なお、ステップＳ２１において、一部の領域に対して有効なデプスが得られないままとした場合、最後に、生成された仮想デプスマップにおいて、有効なデプスが得られなかった領域に対して、特許文献１に記載の方法などを用いて、推定したデプス値を割り当てても構わない。
　次に、図５を参照して、第２の方法による処理動作を説明する。まず、デプスマップ変換部１０６は、参照カメラデプスマップを縮小する（ステップＳ３１）。復号側で同じ処理を実行可能であれば、どのような方法を用いて縮小を行っても構わない。例えば、前述のステップＳ２２と同様の方法を用いて縮小を行っても構わない。なお、縮小後の解像度は、復号側が同じ解像度へと縮小可能であれば、どのような解像度へと縮小しても構わない。例えば、予め定められた縮小率の解像度へと変換しても構わないし、仮想デプスマップと同じでも構わない。ただし、縮小後のデプスマップの解像度は、仮想デプスマップの解像度と同じか、それよりも高いものとする。
　また、縦横のどちらか一方についてのみ縮小を行っても構わない。縦横のどちらに縮小を行うかを決定する方法は、どのような方法を用いても構わない。例えば、予め定めておいても構わないし、符号化対象カメラと参照カメラの位置関係に従って決定しても構わない。符号化対象カメラと参照カメラの位置関係に従って決定する方法としては、視差の発生する方向と出来るだけ異なる方向を、縮小を行う方向とする方法がある。すなわち、符号化対象カメラと参照カメラとが左右平行に並んでいる場合、縦方向についてのみ縮小を行う。このように決定することで、次のステップにおいて、高い精度の視差を用いた処理が可能となり、高品質な仮想デプスマップを生成することが可能となる。
　次に、デプスマップ変換部１０６は、参照カメラデプスマップの縮小が終了したら、縮小したデプスマップから仮想デプスマップを合成する（ステップＳ３２）。ここでの処理は、デプスマップの解像度が異なる点を除いて、ステップＳ２１と同じである。なお、縮小して得られたデプスマップの解像度が、仮想デプスマップの解像度と異なる際に、縮小して得られたデプスマップの画素ごとに、仮想デプスマップ上の対応画素を求めると、縮小して得られたデプスマップの複数の画素が、仮想デプスマップの１画素と対応関係を持つことになる。このとき、小数画素精度での誤差が最も小さい画素のデプス値を割り当てることで、より高品質な仮想デプスマップを生成可能となる。また、その複数の画素群のうち、最もカメラに近いことを示すデプス値を選択することで、主観的により重要な手前に存在する被写体に対しての予測効率を向上させても構わない。
　このように、仮想デプスマップを合成する際に用いるデプスマップの画素数を削減することで、合成の際に必要となる対応点や３次元モデルの計算に必要な演算量を削減することが可能となる。
　次に、図６を参照して、第３の方法による処理動作を説明する。第３の方法では、まず、デプスマップ変換部１０６は、参照カメラデプスマップの画素の中から、複数のサンプル画素を設定する（ステップＳ４１）。サンプル画素の選択方法は、復号側が同じ選択を実現可能であれば、どのような方法を用いても構わない。例えば、参照カメラデプスマップの解像度と仮想デプスマップの解像度の比に従って、参照カメラデプスマップを複数の領域に分割し、領域ごとに、一定の規則に従ってサンプル画素を選択しても構わない。一定の規則とは、例えば、領域内の特定の位置に存在する画素や、カメラから最も遠いことを示すデプスを持つ画素や、カメラから最も近いことを示すデプスを持つ画素などを選択することである。なお、領域ごとに複数の画素を選択しても構わない。すなわち、領域内の四隅に存在する４つの画素や、カメラから最も遠いことを示すデプスを持つ画素とカメラから最も近いことを示すデプスを持つ画素の２つの画素、カメラから近いことを示すデプスを持つ画素を順に３つなど、複数の画素をサンプル画素としても構わない。
　なお、領域分割の方法としては、参照カメラデプスマップの解像度と仮想デプスマップの解像度の比に加えて、符号化対象カメラと参照カメラの位置関係を用いても構わない。例えば、視差の発生する方向と出来るだけ異なる方向にのみ、解像度の比に応じて複数画素の幅を設定し、もう一方（視差の発生する方向）には１画素分の幅を設定する方法がある。また、仮想デプスマップの解像度以上のサンプル画素を選択することで、次のステップにおいて、有効なデプスの得られない画素の数を減らし、高品質な仮想デプスマップを生成することが可能となる。
　次に、デプスマップ変換部１０６は、サンプル画素の設定が終了したら、参照カメラデプスマップのサンプル画素のみを用いて、仮想デプスマップを合成する（ステップＳ４２）。ここでの処理は、一部の画素を用いて合成を行う点を除いて、ステップＳ３２と同じである。
　このように、仮想デプスマップを合成する際に用いる参照カメラデプスマップの画素を制限することで、合成の際に必要となる対応点や３次元モデルの計算に必要な演算量を削減することが可能となる。また、第２の方法と異なり、参照カメラデプスマップを縮小するのに必要となる演算や一時メモリを削減することが可能である。
　また、以上説明した３つの方法とは別の方法として、参照カメラデプスマップから仮想デプスマップを直接生成しても構わない。その場合の処理は、第２の方法において縮小率を１倍とした場合や、第３の方法において参照カメラデプスマップの全ての画素をサンプル画素として設定した場合に等しい。
　ここで、図７を参照して、カメラ配置が一次元平行の場合に、デプスマップ変換部１０６の具体的な動作の一例を説明する。なお、カメラ配置が一次元平行とは、カメラの理論投影面が同一平面上に存在し、光軸が互いに平行な状態である。また、ここではカメラは水平方向に隣り合って設置されており、参照カメラが符号化対象カメラの左側に存在しているとする。このとき、画像平面上の水平ライン上の画素に対するエピポーラ直線は、同じ高さに存在する水平なライン状となる。このため、視差は常に水平方向にしか存在していないことになる。さらに投影面が同一平面上に存在するため、デプスを光軸方向の座標軸に対する座標値として表現する場合、カメラ間でデプスの定義軸が一致することになる。
　図７は、参照カメラデプスマップから仮想デプスマップを生成する動作を示すフローチャートである。図７においては参照カメラデプスマップをＲＤｅｐｔｈ、仮想デプスマップをＶＤｅｐｔｈと表記している。カメラ配置が一次元平行であるため、ラインごとに、参照カメラデプスマップを変換して、仮想デプスマップを生成する。すなわち、仮想デプスマップのラインを示すインデックスをｈ、仮想デプスマップのライン数をＨｅｉｇｈｔとすると、デプスマップ変換部１０６は、ｈを０で初期化した後（ステップＳ５１）、ｈに１ずつ加算しながら（ステップＳ６５）、ｈがＨｅｉｇｈｔになるまで（ステップＳ６６）、以下の処理（ステップＳ５２～ステップＳ６４）を繰り返す。
　ラインごとに行う処理では、まず、デプスマップ変換部１０６は、参照カメラデプスマップから１ライン分の仮想デプスマップを合成する（ステップＳ５２～ステップＳ６２）。その後、そのライン上で参照カメラデプスマップからデプスが生成できなかった領域が存在するか否かを判定し（ステップＳ６３）、そのような領域が存在する場合はデプスを生成する（ステップＳ６４）。どのような方法を用いても構わないが、例えば、デプスが生成されなかった領域内の全ての画素に対して、そのライン上に生成されたデプスのうち、最も右側に存在するデプス（ＶＤｅｐｔｈ［ｌａｓｔ］）を割り当てても構わない。
　参照カメラデプスマップから１ライン分の仮想デプスマップを合成する処理では、まず、デプスマップ変換部１０６は、仮想デプスマップのラインｈに対応するサンプル画素集合Ｓを決定する（ステップＳ５２）。このとき、カメラ配置が一次元平行であることから、参照カメラデプスマップと仮想デプスマップのライン数の比がＮ：１である場合、サンプル画素集合は参照カメラデプスマップのラインＮ×ｈからライン｛Ｎ×（ｈ＋１）－１｝の中から選択することになる。
　サンプル画素集合の決定にはどのような方法を用いても構わない。例えば、画素列（縦方向の画素の集合）ごとに最もカメラに近いことを示すデプス値を持つ画素をサンプル画素として選択しても構わない。また１列ごとではなく、複数列ごとに１つの画素をサンプル画素として選択しても構わない。このときの列の幅は、参照カメラデプスマップと仮想デプスマップの列数の比に基づいて決定しても構わない。サンプル画素集合が決定したら、直前に処理したサンプル画素をワーピングした仮想デプスマップ上の画素位置ｌａｓｔを（ｈ，－１）で初期化する（ステップＳ５３）。
　次に、デプスマップ変換部１０６は、サンプル画素集合が決定したら、サンプル画素集合に含まれる画素ごとに、参照カメラデプスマップのデプスをワーピングする処理を繰り返す。すなわち、サンプル画素集合から処理したサンプル画素を取り除きながら（ステップＳ６１）、サンプル画素集合が空集合になるまで（ステップＳ６２）、以下の処理（ステップＳ５４～ステップＳ６０）を繰り返す。
　サンプル画素集合が空集合になるまで繰り返される処理では、デプスマップ変換部１０６が、サンプル画素集合の中から、参照カメラデプスマップ上で最も左に位置する画素ｐを処理するサンプル画素として選択する（ステップＳ５４）。次に、デプスマップ変換部１０６は、サンプル画素ｐに対する参照カメラデプスマップの値から、サンプル画素ｐが仮想デプスマップ上で対応する点ｃｐを求める（ステップＳ５５）。対応点ｃｐが得られたら、デプスマップ変換部１０６は、その対応点が仮想デプスマップのフレーム内に存在するか否かをチェックする（ステップＳ５６）。対応点がフレーム外となる場合、デプスマップ変換部１０６は、何もせずにサンプル画素ｐに対する処理を終了する。
　一方、対応点ｃｐが仮想デプスマップのフレーム内の場合、デプスマップ変換部１０６は、対応点ｃｐに対する仮想カメラデプスマップの画素に参照カメラデプスマップの画素ｐに対するデプスを割り当てる（ステップＳ５７）。次に、デプスマップ変換部１０６は、直前のサンプル画素のデプスを割り当てた位置ｌａｓｔと今回のサンプル画素のデプスを割り当てた位置ｃｐとの間に、別の画素が存在するか否かを判定する（ステップＳ５８）。そのような画素が存在する場合、デプスマップ変換部１０６は、画素ｌａｓｔと画素ｃｐの間に存在する画素にデプスを生成する（ステップＳ５９）。どのような処理を用いてデプスを生成しても構わない。例えば、画素ｌａｓｔと画素ｃｐのデプスを線形補間しても構わない。
　次に、画素ｌａｓｔと画素ｃｐの間のデプスの生成が終了したら、または、画素ｌａｓｔと画素ｃｐの間に他の画素が存在しなかった場合、デプスマップ変換部１０６は、ｌａｓｔをｃｐに更新して（ステップＳ６０）、サンプル画素ｐに対する処理を終了する。
　図７に示す処理動作は、参照カメラが符号化対象カメラの左側に設置されている場合の処理であるが、参照カメラと符号化対象カメラの位置関係が逆の場合は、処理する画素の順序や画素位置の判定条件を逆にすればよい。具体的には、ステップＳ５３では、ｌａｓｔを（ｈ，Ｗｉｄｔｈ）で初期化し、ステップＳ５４では、参照カメラデプスマップ上で最も右に位置するサンプル画素集合の中の画素ｐを処理するサンプル画素として選択し、ステップＳ６３では、ｌａｓｔより左側に画素が存在するか否かを判定し、ステップＳ６４では、ｌａｓｔより左側のデプスを生成する。なお、Ｗｉｄｔｈは仮想デプスマップの横方向の画素数である。
　また、図７に示す処理動作は、カメラ配置が一次元平行の場合の処理であるが、カメラ配置が一次元コンバージェンスの場合も、デプスの定義によっては同じ処理フローを適用することが可能である。具体的には、デプスを表現する座標軸が参照カメラデプスマップと仮想デプスマップとで同一の場合に、同じ処理フローを適用することが可能である。また、デプスの定義軸が異なる場合は、参照カメラデプスマップの値を直接、仮想デプスマップに割り当てるのではなく、参照カメラデプスマップのデプスによってあらわされる３次元位置を、デプスの定義軸に従って変換した後に、変換により得られた３次元位置を仮想デプスマップに割り当てるだけで、基本的には同じフローを適用することができる。
　次に、画像復号装置について説明する。図８は、本実施形態における画像復号装置の構成を示すブロック図である。画像復号装置２００は、図８に示すように、符号データ入力部２０１、符号データメモリ２０２、参照カメラ画像入力部２０３、参照カメラ画像メモリ２０４、参照カメラデプスマップ入力部２０５、デプスマップ変換部２０６、仮想デプスマップメモリ２０７、視点合成画像生成部２０８、および画像復号部２０９を備えている。
　符号データ入力部２０１は、復号対象となる画像の符号データを入力する。以下では、この復号対象となる画像を復号対象画像と呼ぶ。ここでは、復号対象画像はカメラＢの画像を指す。また、以下では、復号対象画像を撮影したカメラ（ここではカメラＢ）を復号対象カメラと呼ぶ。符号データメモリ２０２は、入力した復号対象画像である符号データを記憶する。参照カメラ画像入力部２０３は、視点合成画像（視差補償画像）を生成する際に参照画像となる参照カメラ画像を入力する。ここではカメラＡの画像が入力される。参照カメラ画像メモリ２０４は、入力した参照カメラ画像を記憶する。
　参照カメラデプスマップ入力部２０５は、参照カメラ画像に対するデプスマップを入力する。以下では、この参照カメラ画像に対するデプスマップを参照カメラデプスマップと呼ぶ。なお、デプスマップとは対応する画像の各画素に写っている被写体の３次元位置を表すものである。別途与えられるカメラパラメータ等の情報によって３次元位置が得られるものであれば、どのような情報でもよい。例えば、カメラから被写体までの距離や、画像平面とは平行ではない軸に対する座標値、別のカメラ（例えばカメラＢ）に対する視差量を用いることができる。また、ここではデプスマップが画像の形態で渡されるものとしているが、同様の情報が得られるのであれば、画像の形態でなくても構わない。以下では、参照カメラデプスマップに対応するカメラを参照カメラと呼ぶ。
　デプスマップ変換部２０６は、参照カメラデプスマップを用いて、復号対象画像に撮影された被写体のデプスマップであり、復号対象画像よりも低い解像度のデプスマップを生成する。すなわち、生成されるデプスマップは復号対象カメラと同じ位置や向きで、解像度の低いカメラで撮影された画像に対するデプスマップと考えることも可能である。以下では、ここで生成されたデプスマップを仮想デプスマップと呼ぶ。仮想デプスマップメモリ２０７は、生成した仮想デプスマップを記憶する。視点合成画像生成部２０８は、仮想デプスマップから得られる復号対象画像の画素と参照カメラ画像の画素との対応関係を用いて、復号対象画像に対する視点合成画像を生成する。画像復号部２０９は、視点合成画像を用いて、符号データから復号対象画像を復号して復号画像を出力する。
　次に、図９を参照して、図８に示す画像復号装置２００の動作を説明する。図９は、図８に示す画像復号装置２００の動作を示すフローチャートである。まず、符号データ入力部２０１は、復号対象画像の符号データを入力し、入力された符号データを符号データメモリ２０２に記憶する（ステップＳ７１）。これと並行して、参照カメラ画像入力部２０３は参照カメラ画像を入力し、入力された参照カメラ画像を参照カメラ画像メモリ２０４に記憶する。また、参照カメラデプスマップ入力部２０５は参照カメラデプスマップを入力し、入力された参照カメラデプスマップをデプスマップ変換部２０６へ出力する（ステップＳ７２）。
　なお、ステップＳ７２で入力される参照カメラ画像、参照カメラデプスマップは、符号化側で使用されたものと同じものとする。これは符号化装置で使用したものと全く同じ情報を用いることで、ドリフト等の符号化ノイズの発生を抑えるためである。ただし、そのような符号化ノイズの発生を許容する場合には、符号化時に使用されたものと異なるものが入力されてもよい。参照カメラデプスマップに関しては、別途復号したもの以外に、複数のカメラに対して復号された多視点画像に対してステレオマッチング等を適用することで推定したデプスマップや、復号された視差ベクトルや動きベクトルなどを用いて推定されるデプスマップなどを用いることもある。
　次に、デプスマップ変換部２０６は、参照カメラデプスマップから仮想デプスマップを生成し、生成された仮想デプスマップを仮想デプスマップメモリ２０７に記憶する（ステップＳ７３）。ここでの処理は、符号化対象画像と復号対象画像など、符号化と復号が異なる点を除いて、図２に示すステップＳ３と同じである。
　次に、仮想デプスマップが得られたならば、視点合成画像生成部２０８は、参照カメラ画像と仮想デプスマップとから、復号対象画像に対する視点合成画像を生成し、生成された視点合成画像を画像復号部２０９へ出力する（ステップＳ７４）。ここでの処理は、符号化対象画像と復号対象画像など、符号化と復号が異なる点を除いて、図２に示すステップＳ４と同じである。
　次に、視点合成画像が得られたならば、画像復号部２０９は、視点合成画像を予測画像として用いながら、符号データから復号対象画像を復号して復号結果を出力する（ステップＳ７５）。復号の結果得られる復号画像が画像復号装置２００の出力となる。なお、符号データ（ビットストリーム）を正しく復号できるならば、復号にはどのような方法を用いてもよい。一般的には、符号化時に用いられた方法に対応する方法が用いられる。
　ＭＰＥＧ－２やＨ．２６４、ＪＰＥＧなどの一般的な動画像符号化または画像符号化で符号化されている場合は、画像を予め定められた大きさのブロックに分割して、ブロックごとに、エントロピー復号、逆２値化、逆量子化などを施した後、ＩＤＣＴ（Inverse Discrete Cosine Transform）など逆周波数変換を施して予測残差信号を得た後、予測残差信号に対して予測画像を加え、得られた結果を画素値範囲でクリッピングすることで復号を行う。
　なお、復号処理をブロックごとに行う場合、視点合成画像の生成処理（ステップＳ７４）と復号対象画像の復号処理（ステップＳ７５）をブロック毎に交互に繰り返すことで、復号対象画像を復号してもよい。その場合の処理動作を図１０を参照して説明する。図１０は、視点合成画像の生成処理と復号対象画像の復号処理をブロック毎に交互に繰り返すことで、復号対象画像を復号する動作を示すフローチャートである。図１０において、図９に示す処理動作と同一の部分には同一の符号を付し、その説明を簡単に行う。図１０に示す処理動作では復号処理を行う単位となるブロックのインデックスをｂｌｋとし、復号対象画像中のブロック数をｎｕｍＢｌｋｓで表している。
　まず、符号データ入力部２０１は、復号対象画像の符号データを入力し、入力された符号データを符号データメモリ２０２に記憶する（ステップＳ７１）。これと並行して、参照カメラ画像入力部２０３は参照カメラ画像を入力し、入力された参照カメラ画像を参照カメラ画像メモリ２０４に記憶する。また、参照カメラデプスマップ入力部２０５は参照カメラデプスマップを入力し、入力された参照カメラデプスマップをデプスマップ変換部２０６へ出力する（ステップＳ７２）。
　次に、デプスマップ変換部２０６は、参照カメラデプスマップから仮想デプスマップを生成し、生成された仮想デプスマップを仮想デプスマップメモリ２０７に記憶する（ステップＳ７３）。そして、視点合成画像生成部２０８は、変数ｂｌｋに０を代入する（ステップＳ７６）。
　次に、視点合成画像生成部２０８は、参照カメラ画像と仮想デプスマップとから、ブロックｂｌｋに対する視点合成画像を生成し、生成された視点合成画像を画像復号部２０９へ出力する（ステップＳ７４ａ）。続いて、画像復号部２０９は、視点合成画像を予測画像として用いながら、符号データからブロックｂｌｋに対する復号対象画像を復号して復号結果を出力する（ステップＳ７５ａ）。そして、視点合成画像生成部２０８は、変数ｂｌｋをインクリメントし（ｂｌｋ←ｂｌｋ＋１，ステップＳ７７）、ｂｌｋ＜ｎｕｍＢｌｋｓを満たすか否かを判定する（ステップＳ７８）。この判定の結果、ｂｌｋ＜ｎｕｍＢｌｋｓを満たしていればステップＳ７４ａに戻って処理を繰り返し、ｂｌｋ＝ｎｕｍＢｌｋｓを満たした時点で処理を終了する。
　このように、参照フレームに対するデプスマップから、処理対象フレームに対する解像度の小さなデプスマップを生成することで、指定された領域のみに対する視点合成画像の生成を少ない演算量および消費メモリで実現し、多視点画像の効率的かつ軽量な画像符号化を実現することができる。これにより、参照フレームに対するデプスマップを用いて、処理対象フレーム（符号化対象フレームまたは復号対象フレーム）の視点合成画像を生成する際に、視点合成画像の品質を著しく低下させることなく、少ない演算量で、ブロックごとに視点合成画像を生成することが可能になる。
　上述した説明においては、１フレーム中のすべての画素を符号化および復号する処理を説明したが、一部の画素にのみ本発明の実施形態の処理を適用し、その他の画素では、Ｈ．２６４／ＡＶＣなどで用いられる画面内予測符号化や動き補償予測符号化などを用いて符号化または復号を行ってもよい。その場合には、画素ごとにどの方法を用いて予測したかを示す情報を符号化および復号する必要がある。また、画素ごとではなくブロック毎に別の予測方式を用いて符号化または復号を行ってもよい。なお、一部の画素やブロックに対してのみ視点合成画像を用いた予測を行う場合は、その画素に対してのみ視点合成画像を生成する処理（ステップＳ４、Ｓ４ａ、Ｓ７４およびＳ７４ａ）を行うようにすることで、視点合成画像の生成処理にかかる演算量を削減することが可能となる。
　また、上述した説明においては、１フレームを符号化および復号する処理を説明したが、複数フレームについて処理を繰り返すことで本発明の実施形態を動画像符号化にも適用することができる。また、動画像の一部のフレームや一部のブロックにのみ本発明の実施形態を適用することもできる。さらに、上述した説明では画像符号化装置および画像復号装置の構成及び処理動作を説明したが、これら画像符号化装置および画像復号装置の各部の動作に対応した処理動作によって本発明の画像符号化方法および画像復号方法を実現することができる。
　図１１は、前述した画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図１１に示すシステムは、プログラムを実行するＣＰＵ（Central Processing Unit）５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ（Random Access Memory）等のメモリ５１と、カメラ等からの符号化対象の画像信号を入力する符号化対象画像入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照カメラ画像入力部５３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの符号化対象画像を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する参照カメラデプスマップ入力部５４（ディスク装置等によるデプスマップを記憶する記憶部でもよい）と、上述した画像符号化処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５５１が格納されたプログラム記憶装置５５と、ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５５１を実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部５６（ディスク装置等による符号データを記憶する記憶部でもよい）とが、バスで接続された構成になっている。
　図１２は、前述した画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図１２に示すシステムは、プログラムを実行するＣＰＵ６０と、ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と、画像符号化装置が本手法により符号化した符号データを入力する符号データ入力部６２（ディスク装置等による符号データを記憶する記憶部でもよい）と、カメラ等からの参照対象の画像信号を入力する参照カメラ画像入力部６３（ディスク装置等による画像信号を記憶する記憶部でもよい）と、デプスカメラ等からの復号対象を撮影したカメラとは異なる位置や向きのカメラに対するデプスマップを入力する参照カメラデプスマップ入力部６４（ディスク装置等によるデプス情報を記憶する記憶部でもよい）と、上述した画像復号処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６５１が格納されたプログラム記憶装置６５と、ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６５１を実行することにより、符号データを復号して得られた復号対象画像を、再生装置などに出力する復号対象画像出力部６６（ディスク装置等による画像信号を記憶する記憶部でもよい）とが、バスで接続された構成になっている。
　また、図１に示す画像符号化装置及び図８に示す画像復号装置における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像符号化処理と画像復号処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disc）－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
　本発明は、参照フレームに対する被写体の３次元位置を表すデプスマップを用いて、符号化（復号）対象画像に対して視差補償予測を行う際に、高い符号化効率を少ない演算量で達成することが不可欠な用途に適用できる。
　１００・・・画像符号化装置、１０１・・・符号化対象画像入力部、１０２・・・符号化対象画像メモリ、１０３・・・参照カメラ画像入力部、１０４・・・参照カメラ画像メモリ、１０５・・・参照カメラデプスマップ入力部、１０６・・・デプスマップ変換部、１０７・・・仮想デプスマップメモリ、１０８・・・視点合成画像生成部、１０９・・・画像符号化部、２００・・・画像復号装置、２０１・・・符号データ入力部、２０２・・・符号データメモリ、２０３・・・参照カメラ画像入力部、２０４・・・参照カメラ画像メモリ、２０５・・・参照カメラデプスマップ入力部、２０６・・・デプスマップ変換部、２０７・・・仮想デプスマップメモリ、２０８・・・視点合成画像生成部、２０９・・・画像復号部

Claims (32)

  1. 　複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化方法であって、
    　前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成ステップと、
    　前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップと
    　を有する画像符号化方法。
  2. 　前記参照視点デプスマップから、前記符号化対象画像と同じ解像度の同解像度デプスマップを生成する同解像度デプスマップ生成ステップをさらに有し、
    　前記仮想デプスマップ生成ステップでは、前記同解像度デプスマップを縮小することにより、前記仮想デプスマップを生成する請求項１に記載の画像符号化方法。
  3. 　前記仮想デプスマップ生成ステップでは、前記仮想デプスマップの画素ごとに、前記同解像度デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記仮想デプスマップを生成する請求項２に記載の画像符号化方法。
  4. 　前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成ステップをさらに有し、
    　前記仮想デプスマップ生成ステップでは、前記縮小デプスマップから、前記仮想デプスマップを生成する請求項１に記載の画像符号化方法。
  5. 　前記縮小デプスマップ生成ステップでは、前記参照視点デプスマップを縦方向または横方向のいずれか一方に対してのみ縮小する請求項４に記載の画像符号化方法。
  6. 　前記縮小デプスマップ生成ステップでは、前記縮小デプスマップの画素ごとに、前記参照視点デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記仮想デプスマップを生成する請求項４または請求項５に記載の画像符号化方法。
  7. 　前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択ステップをさらに有し、
    　前記仮想デプスマップ生成ステップでは、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記仮想デプスマップを生成する請求項１に記載の画像符号化方法。
  8. 　前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記参照視点デプスマップを部分領域に分割する領域分割ステップをさらに有し、
    　前記サンプル画素選択ステップでは、前記部分領域ごとに前記サンプル画素を選択する請求項７に記載の画像符号化方法。
  9. 　前記領域分割ステップでは、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記部分領域の形状を決定する請求項８に記載の画像符号化方法。
  10. 　前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素、または、最も視点から遠いことを示すデプスを持つ画素のいずれか一方を前記サンプル画素として選択する請求項８または請求項９に記載の画像符号化方法。
  11. 　前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素と最も視点から遠いことを示すデプスを持つ画素とを前記サンプル画素として選択する請求項８または請求項９に記載の画像符号化方法。
  12. 　複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号方法であって、
    　前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成ステップと、
    　前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測ステップと
    　を有する画像復号方法。
  13. 　前記参照視点デプスマップから、前記復号対象画像と同じ解像度の同解像度デプスマップを生成する同解像度デプスマップ生成ステップをさらに有し、
    　前記仮想デプスマップ生成ステップでは、前記同解像度デプスマップを縮小することにより、前記仮想デプスマップを生成する請求項１２に記載の画像復号方法。
  14. 　前記仮想デプスマップ生成ステップでは、前記仮想デプスマップの画素ごとに、前記同解像度デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記仮想デプスマップを生成する請求項１３に記載の画像復号方法。
  15. 　前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成ステップをさらに有し、
    　前記仮想デプスマップ生成ステップでは、前記縮小デプスマップから、前記仮想デプスマップを生成する請求項１２に記載の画像復号方法。
  16. 　前記縮小デプスマップ生成ステップでは、前記参照視点デプスマップを縦方向または横方向のいずれか一方に対してのみ縮小する請求項１５に記載の画像復号方法。
  17. 　前記縮小デプスマップ生成ステップでは、前記縮小デプスマップの画素ごとに、前記参照視点デプスマップで対応する複数の画素に対するデプスのうち、最も視点に近いことを示すデプスを選択することにより、前記仮想デプスマップを生成する請求項１５または請求項１６に記載の画像復号方法。
  18. 　前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択ステップをさらに有し、
    　前記仮想デプスマップ生成ステップでは、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記仮想デプスマップを生成する請求項１２に記載の画像復号方法。
  19. 　前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記参照視点デプスマップを部分領域に分割する領域分割ステップをさらに有し、
    　前記サンプル画素選択ステップでは、前記部分領域ごとにサンプル画素を選択する請求項１８に記載の画像復号方法。
  20. 　前記領域分割ステップでは、前記参照視点デプスマップと前記仮想デプスマップの解像度の比に従って、前記部分領域の形状を決定する請求項１９に記載の画像復号方法。
  21. 　前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素、または、最も視点から遠いことを示すデプスを持つ画素のいずれか一方を前記サンプル画素として選択する請求項１９または請求項２０に記載の画像復号方法。
  22. 　前記サンプル画素選択ステップでは、前記部分領域ごとに最も視点に近いことを示すデプスを持つ画素と最も視点から遠いことを示すデプスを持つ画素とを前記サンプル画素として選択する請求項１９または請求項２０に記載の画像復号方法。
  23. 　複数の視点の画像である多視点画像を符号化する際に、符号化対象画像の視点とは異なる視点に対する符号化済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら符号化を行う画像符号化装置であって、
    　前記符号化対象画像よりも解像度が低く、前記符号化対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、
    　前記仮想デプスマップと前記参照視点画像とから、前記符号化対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部と
    　を備える画像符号化装置。
  24. 　前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成部をさらに備え、
    　前記仮想デプスマップ生成部は、前記縮小デプスマップを変換することにより、前記仮想デプスマップを生成する請求項２３に記載の画像符号化装置。
  25. 　前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択部をさらに備え、
    　前記仮想デプスマップ生成部は、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記仮想デプスマップを生成する請求項２３に記載の画像符号化装置。
  26. 　複数の視点の画像である多視点画像の符号データから、復号対象画像を復号する際に、前記復号対象画像の視点とは異なる視点に対する復号済みの参照視点画像と、前記参照視点画像内の被写体のデプスマップである参照視点デプスマップとを用いて、視点間で画像を予測しながら復号を行う画像復号装置であって、
    　前記復号対象画像よりも解像度が低く、前記復号対象画像内の前記被写体のデプスマップである仮想デプスマップを生成する仮想デプスマップ生成部と、
    　前記仮想デプスマップと前記参照視点画像とから、前記復号対象画像に対する視差補償画像を生成することにより、視点間の画像予測を行う視点間画像予測部と
    　を備える画像復号装置。
  27. 　前記参照視点デプスマップを縮小することにより、前記参照視点画像内の前記被写体の縮小デプスマップを生成する縮小デプスマップ生成部をさらに備え、
    　前記仮想デプスマップ生成部は、前記縮小デプスマップを変換することにより、前記仮想デプスマップを生成する請求項２６に記載の画像復号装置。
  28. 　前記参照視点デプスマップの画素から、一部のサンプル画素を選択するサンプル画素選択部をさらに備え、
    　前記仮想デプスマップ生成部は、前記サンプル画素に対応する前記参照視点デプスマップを変換することにより、前記仮想デプスマップを生成する請求項２６に記載の画像復号装置。
  29. 　コンピュータに、請求項１から１１のいずれか１項に記載の画像符号化方法を実行させるための画像符号化プログラム。
  30. 　コンピュータに、請求項１２から２２のいずれか１項に記載の画像復号方法を実行させるための画像復号プログラム。
  31. 　請求項２９に記載の画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
  32. 　請求項３０に記載の画像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2013/075735 2012-09-25 2013-09-24 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体 WO2014050827A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020157002048A KR101648094B1 (ko) 2012-09-25 2013-09-24 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 화상 복호 프로그램 및 기록매체
JP2014538497A JP5883153B2 (ja) 2012-09-25 2013-09-24 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US14/430,433 US20150249839A1 (en) 2012-09-25 2013-09-24 Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, picture decoding program, and recording media
CN201380044060.7A CN104871534A (zh) 2012-09-25 2013-09-24 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012211154 2012-09-25
JP2012-211154 2012-09-25

Publications (1)

Publication Number Publication Date
WO2014050827A1 true WO2014050827A1 (ja) 2014-04-03

Family

ID=50388224

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/075735 WO2014050827A1 (ja) 2012-09-25 2013-09-24 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体

Country Status (5)

Country Link
US (1) US20150249839A1 (ja)
JP (1) JP5883153B2 (ja)
KR (1) KR101648094B1 (ja)
CN (1) CN104871534A (ja)
WO (1) WO2014050827A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3171598A1 (en) * 2015-11-19 2017-05-24 Thomson Licensing Methods and devices for encoding and decoding a matrix of views obtained from light-field data, corresponding computer program and non-transitory program storage device
KR101876007B1 (ko) * 2015-12-28 2018-07-06 전자부품연구원 분산 및 병렬 프로그래밍 기반의 실시간 초다시점 3d 콘텐츠 합성 시스템 및 방법
US11457196B2 (en) 2019-08-28 2022-09-27 Snap Inc. Effects for 3D data in a messaging system
US11189104B2 (en) 2019-08-28 2021-11-30 Snap Inc. Generating 3D data in a messaging system
US11410401B2 (en) 2019-08-28 2022-08-09 Snap Inc. Beautification techniques for 3D data in a messaging system
US11488359B2 (en) 2019-08-28 2022-11-01 Snap Inc. Providing 3D data for messages in a messaging system
CN110519607B (zh) * 2019-09-27 2022-05-20 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
US11410387B1 (en) * 2020-01-17 2022-08-09 Facebook Technologies, Llc. Systems, methods, and media for generating visualization of physical environment in artificial reality
US10950034B1 (en) 2020-01-27 2021-03-16 Facebook Technologies, Llc Systems, methods, and media for generating visualization of physical environment in artificial reality
CN113271464B (zh) * 2021-05-11 2022-11-18 北京奇艺世纪科技有限公司 视频编码方法、解码方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09289638A (ja) * 1996-04-23 1997-11-04 Nec Corp ３次元画像符号化復号方式
JP2000215311A (ja) * 1999-01-21 2000-08-04 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法およびその装置
JP2010021844A (ja) * 2008-07-11 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP4698831B2 (ja) * 1997-12-05 2011-06-08 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像変換および符号化技術
JP4999853B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5587552B2 (ja) * 2005-10-19 2014-09-10 トムソン ライセンシング スケーラブル映像符号化を用いた多視点映像符号化
US20080278582A1 (en) * 2007-05-07 2008-11-13 Sentinel Ave Llc Video Fusion Display Systems
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
KR20120068540A (ko) * 2010-12-17 2012-06-27 한국전자통신연구원 병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법
US9398313B2 (en) 2010-12-29 2016-07-19 Nokia Technologies Oy Depth map coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09289638A (ja) * 1996-04-23 1997-11-04 Nec Corp ３次元画像符号化復号方式
JP4698831B2 (ja) * 1997-12-05 2011-06-08 ダイナミック ディジタル デプス リサーチ プロプライエタリー リミテッド 画像変換および符号化技術
JP2000215311A (ja) * 1999-01-21 2000-08-04 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法およびその装置
JP4999853B2 (ja) * 2006-09-20 2012-08-15 日本電信電話株式会社 画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
JP2010021844A (ja) * 2008-07-11 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 多視点画像符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JPWO2014050827A1 (ja) 2016-08-22
US20150249839A1 (en) 2015-09-03
KR101648094B1 (ko) 2016-08-12
JP5883153B2 (ja) 2016-03-09
CN104871534A (zh) 2015-08-26
KR20150034205A (ko) 2015-04-02

Similar Documents

Publication Publication Date Title
JP5883153B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP5934375B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP5833757B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
JP6027143B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
JP6053200B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP5947977B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6307152B2 (ja) 画像符号化装置及び方法、画像復号装置及び方法、及び、それらのプログラム
JP6232076B2 (ja) 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム及び映像復号プログラム
JP5926451B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、および画像復号プログラム
WO2015056712A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13841497

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2014538497

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20157002048

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14430433

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13841497

Country of ref document: EP

Kind code of ref document: A1