WO2014157386A1 - 動画像符号化装置及び動画像復号装置 - Google Patents

動画像符号化装置及び動画像復号装置 Download PDF

Info

Publication number
WO2014157386A1
WO2014157386A1 PCT/JP2014/058635 JP2014058635W WO2014157386A1 WO 2014157386 A1 WO2014157386 A1 WO 2014157386A1 JP 2014058635 W JP2014058635 W JP 2014058635W WO 2014157386 A1 WO2014157386 A1 WO 2014157386A1
Authority
WO
WIPO (PCT)
Prior art keywords
calculation
wedgelet
unit
prediction
block
Prior art date
Application number
PCT/JP2014/058635
Other languages
English (en)
French (fr)
Inventor
圭 河村
内藤　整
Original Assignee
Kddi株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kddi株式会社 filed Critical Kddi株式会社
Priority to US14/781,131 priority Critical patent/US10356402B2/en
Publication of WO2014157386A1 publication Critical patent/WO2014157386A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to a moving image encoding device and a moving image decoding device, and in particular, a moving image encoding device and a moving image that apply depth intra prediction to a depth map for each viewpoint texture and depth map in a multi-view video.
  • the present invention relates to a decoding device.
  • Non-Patent Document 1 MVC, which is an extension of the moving image encoding method AVC, has been standardized as an international standard. Further, as described in Non-Patent Document 2, MV-HEVC, which is an extension of the next-generation video encoding scheme HEVC, is being standardized as an international standard.
  • Non-Patent Document 3 an encoding method for multi-view video (texture) and depth map is being studied.
  • FIG. 10 is a diagram conceptually showing the data structure of a multi-view video in which the depth map to be encoded is associated. As shown in the figure, textures 1 to n are given as images taken at each viewpoint 1 to n corresponding to each camera position, and depth maps 1 to n are prepared for each, and such data is obtained at each time t. Prepared.
  • Depth value d (x, x) of the object (object) imaged at each pixel position (x, y) of texture i (i 1, 2, ..., n)
  • Such a texture and depth map can be used in various ways, such as generation of an image from an arbitrary viewpoint other than the viewpoints 1 to n.
  • each depth map i can be prepared by performing processing such as associating the same feature points between the textures i using the positional relationship between the viewpoints and the camera parameters.
  • the depth map can also be regarded as an “image” having a depth value as a pixel value, the same moving image coding method (normal method) as that of the texture can be applied. Further, depth intra prediction dedicated to a depth map can be used instead of or in combination with the normal method.
  • the depth map has a signal depth that is significantly different from that of the texture, so a dedicated depth intra prediction is prepared.
  • a steep edge is generated because the depth is different at the object boundary, while a change in the depth of the object surface is relatively small.
  • the average depth in the object is greatly different if the object is different, such as the “person” of the first object existing in the foreground and the “wall” of the second object existing as the background behind the first object.
  • FIG. 11 is a diagram for explaining the method.
  • FIG. 11 (1) shows a block B0 that is a prediction target, and points (pixel position points) belonging to two different sides are selected from the four sides L1 to L4 of the block B0.
  • the one connected as a line segment is a wedgelet.
  • a line segment W1 connecting the point P1 on the side L4 and the point P2 on the side L3 becomes one wedgelet, and the block B0 is divided into regions R1 and R2 by the wedgelet W1.
  • the average value of the texture signal is obtained in each of the two divided areas.
  • the average value m (R1) of the divided region R1 and the average value m (R2) of the region R2 are obtained.
  • SAD [W1] in the wedgelet W1 in (2) of FIG. 11 is given by the following (formula 1), where the signal value at the position (x, y) of the block B0 is s (x, y). .
  • the signal value is a texture or depth signal value.
  • the prediction image of the depth value in the prediction target block is generated by the wedgelet Wi determined to give the minimum value in [Procedure 3].
  • the predicted image is generated as a representative value in each of the two regions divided by the wedgelet Wi (using the encoder and decoder methods). Typically, the average value of each region can be used as the representative value, but other values calculated in the region may be adopted.
  • the prediction “image” of the depth value is called “image” in that the predicted depth value is mapped to the pixel position. Instead, it may be referred to as a predicted depth map of depth values.
  • the predicted image of the block B0 has the signal value that is the representative value dR1 at all positions in the region R1, and all the images in the region R2 In this position, the signal value is the representative value dR2.
  • depth intra prediction by wedgelets has an object boundary that crosses the block in a straight line within the prediction target block, and the depth at that boundary This is a suitable prediction method for the case where the value of is changing sharply.
  • the depth intra prediction has a problem of a large amount of calculation. That is, as a wedge list in [Procedure 1], a large number of wedgelets are prepared as candidates by all combinations of two points on two different sides. Since it is necessary to search for those that give the minimum value in [Procedure 2] and [Procedure 3] from the large number of candidates, the amount of calculation is large.
  • Non-Patent Document 3 examines the following (first and second means) as means for reducing the amount of calculation by full search as described above.
  • the end points of the line segment for constructing the wedgelet are not selected from all the positions on the side of the block, but are selected only from the positions thinned out for every two points.
  • FIG. 12 is generated by selecting two points from the sides L1 and L2 as a part of the wedge list when the target block B0 shown in (1) of FIG. 11 is 8 ⁇ 8 in size. This is an example in which the calculation amount is reduced by applying the two steps to a series of wedgelets.
  • a final solution is obtained by performing a search without applying two steps in the neighboring wedgelet of the minimum solution.
  • a wedge list is formed only by wedgelets that match the prediction direction. To do.
  • intra prediction as indicated by the direction D1 is applied to the adjacent block B1 of the target block B0.
  • the total number of searches can be greatly reduced by using a wedge list composed only of wedgelets (for example, W11, W12, etc.) parallel to the direction D1.
  • Non-Patent Document 3 As described above, not only the method studied in Non-Patent Document 3, but also a method for reducing the amount of calculation in depth intra prediction is desired.
  • an object of the present invention is to provide a moving image encoding device and a moving image decoding device that can reduce the amount of calculation in depth intra prediction.
  • the present invention applies a prediction to a texture and depth map of each viewpoint in a multi-view video, transforms and quantizes and encodes a moving picture coding apparatus,
  • a video decoding apparatus that performs inverse transform / inverse quantization and applies prediction to decode the video encoding apparatus (and video)
  • Each of the decoding devices includes a depth intra prediction unit that applies prediction to the depth map, and the depth intra prediction unit creates or holds a wedge list that enumerates wedgelets that divide the target block into two regions by line segments.
  • each wedgelet in the target block and for each wedgelet in the wedge list
  • the average value of the signal (texture signal) in the limited calculation area An average value calculation unit for calculating the difference, a difference evaluation unit for calculating a difference between the calculated average value and a signal (texture signal) in the limited calculation region for each wedgelet,
  • a prediction value generation unit that divides the target block into two regions using a wedgelet that has the smallest calculated difference, and generates a depth map prediction signal as a representative value of the signal in each region. It is characterized by.
  • calculation area limiting unit is not limited to limit the calculation target area in the vicinity of the passage of the wedgelet in the target block, but is uniform in the target block for each wedgelet in the wedge list.
  • the second feature is that the calculation target region is limited by a thinning process.
  • the calculation area is limited to the vicinity where the wedgelet passes, the calculation amount is reduced.
  • the calculation target area is limited by uniform thinning processing in the target block, so that the calculation amount is reduced.
  • FIG. 1 is a functional block diagram of a video encoding apparatus according to an embodiment of the present invention.
  • the moving image coding apparatus 100 includes an input unit 101, a difference unit 102, a transform / quantization unit 103, an entropy coding unit 104, an inverse quantization / inverse transform unit 105, an adder 106, a local decoded image memory 107, an in-loop A filter 108, a frame buffer 109, a motion compensation unit 110, a depth intra prediction unit 111, an intra prediction unit 112, and a control unit 113 are provided.
  • FIG. 2 is a functional block diagram of a moving picture decoding apparatus according to an embodiment of the present invention.
  • the video decoding device 200 includes an output unit 201, an entropy decoding unit 204, an inverse quantization / inverse conversion unit 205, an adder 206, a local decoded image memory 207, an in-loop filter 208, a frame buffer 209, a motion compensation unit 210, a depth
  • An intra prediction unit 211, an intra prediction unit 212, and a control unit 213 are provided.
  • the moving image encoding apparatus 100 receives data in which a depth map is associated with a texture of each viewpoint in a multi-view video as described in FIG. 10 and applies various predictions, and then encodes the data. To do.
  • the moving picture decoding apparatus 200 decodes the encoded data, applies the corresponding prediction, and outputs the data corresponding to the original data in FIG.
  • the moving image encoding device 100 is abbreviated as an encoder
  • the moving image decoding device 200 is abbreviated as a decoder.
  • the overall configuration of the encoder and decoder shown in FIGS. 1 and 2 is the same as that disclosed in Non-Patent Document 3, for example.
  • the calculation amount reduction in the present invention is achieved by the processing of the depth intra prediction units 111 and 211.
  • the input unit 101 receives the data of FIG. 10 as input on the encoder side, and passes the data to the differentiator 102.
  • the output unit 201 outputs what is decoded by the decoder side corresponding to the data of FIG. 10 and accumulated in the frame buffer 209 as output on the decoder side.
  • the differentiator 102 is a signal in the data received from the input unit 101, and a signal generated by any of the motion compensation unit 110, the depth intra prediction unit 111, or the intra prediction unit 112 as a prediction signal based on the determination of the control unit 113. , And the value of the difference is passed to the transform / quantization unit 103.
  • the transform / quantization unit 103 orthogonally transforms the difference obtained from the subtractor 102 into a transform coefficient, further quantizes the transform coefficient, and converts the quantized value into the entropy coding unit 104 and the inverse quantization Pass to the inverse conversion unit 105.
  • the entropy encoding unit 104 entropy-encodes the quantized value obtained from the transform / quantization unit 103 and the prediction parameters output by the control unit 113 as necessary, and outputs the encoder-side output. To do.
  • the entropy decoding unit 204 receives the bit stream output from the entropy encoding unit 104 on the encoder side as input on the decoder side, performs entropy decoding, and generates a quantized value, a prediction parameter, and the like.
  • the quantized value is passed to the inverse quantization / inverse transform unit 205, and the prediction parameters and the like are passed to the control unit 213.
  • the inverse quantization / inverse transform unit 105 processes the quantization value received from the transform / quantization unit 103 (entropy decoding unit 204) in the reverse process of the transform / quantization unit 103. Thus, inverse quantization and inverse transformation are performed to obtain a difference value, which is passed to the adders 106 and 206.
  • the adders 106 and 206 are the prediction signals generated by the motion compensation units 110 and 210, the depth intra prediction units 111 and 211, or the intra prediction units 112 and 212, and the difference values output by the inverse quantization / inverse conversion units 105 and 205 based on the determination of the control units 113 and 213. And the decoded signal, and the decoded signal is passed to the local decoded image memories 107 and 207.
  • the local decoded image memories 107 and 207 hold the decoded signals, use them for reference when the intra prediction units 112 and 212 perform prediction, and output the decoded signals to the in-loop filters 108 and 208.
  • the in-loop filters 108 and 208 perform an in-loop filter process on the decoded signals and output the processed signals to the frame buffers 109 and 209.
  • the frame buffers 109 and 209 hold the filtered signals, and serve as references when the motion compensation units 110 and 210 and the depth intra prediction units 111 and 211 perform prediction. As described above, on the decoder side, the frame buffer 209 passes the filtered signal to the output unit 201 as an output of the decoder.
  • the motion compensation units 110 and 211 perform motion prediction using the reference signals of the frame buffers 109 and 209, generate a prediction signal, and pass it to the differencer 102 and the adder 106 (only the adder 206 on the decoder side). Prediction parameters such as motion vectors are generated and encoded on the encoder side when generating a prediction signal, whereas the decoder side uses them when generating a prediction signal.
  • the depth intra prediction units 111 and 211 use the reference signals of the frame buffers 109 and 209 to divide by the wedgelet that minimizes the SAD value (or other difference evaluation value as described later) as described above.
  • the prediction signal of the two regions is generated as the prediction signal of the block, and passed to the difference unit 102 and the adder 106 (only the adder 206 on the decoder side). The prediction parameters and the like will be described later.
  • the intra prediction units 112 and 212 perform intra prediction using the reference signals of the local decoded image memories 107 and 207, generate a prediction signal, and pass it to the difference unit 102 and the adder 106 (only the adder 206 on the decoder side). Prediction parameters such as the prediction mode are generated and encoded on the decoder side when the prediction signal is generated, whereas the encoder side uses the prediction parameter when generating the prediction signal.
  • the control units 113 and 213 comprehensively relate to the data configured as shown in FIG. 10 regarding what kind of prediction is applied and what kind of prediction is applied to the texture and the depth map at each viewpoint. Take control.
  • the control includes setting of block size and the like.
  • parameters and the like necessary for the control are encoded, and on the decoder side, the parameters are decoded and passed to a function unit that requires the parameters.
  • the control unit 113 passes the prediction parameter to any one of the prediction units 110, 111, 112 to the entropy coding unit 104 when it is generated.
  • the prediction parameter is passed to a corresponding prediction unit (motion compensation unit 210, depth intra prediction unit 211, or intra prediction unit 212).
  • motion compensation unit 210 motion compensation unit 210, depth intra prediction unit 211, or intra prediction unit 2112.
  • FIGS. 1 and 2 the flow of exchange of prediction parameters between the control unit 113 or 213 and the prediction units 110, 111, 112 or 210, 211, 212 is omitted because it is complicated.
  • the texture can be encoded / decoded in the same manner as the conventional method by using a device other than the depth intra prediction units 111 and 211.
  • an inter-view prediction unit that applies prediction between viewpoints may be further provided as the fourth prediction unit, and inter-view prediction may be applied.
  • the depth map can be encoded and decoded by the same method as the texture, and the depth intra prediction units 111 and 211 can be applied.
  • FIG. 3 is an example of an encoding / decoding order when depth intra prediction is applied.
  • the block A0 at the same position as the block B0 in the depth map has been encoded and decoded. Further, the area A10 up to the block A0 in the raster scan order is also encoded and decoded. The area A11 after the block A0 may be encoded / decoded or incomplete.
  • the following first mode and second mode are possible.
  • depth intra prediction is applied to the value of the depth map in the block B0 before encoding. Therefore, on the encoder side, information specifying which wedgelet Wi is used as prediction information is generated and encoded, and a prediction signal (representative value of each region described above) of two regions divided by the Wi is generated. In addition to encoding, the difference between the depth value before encoding and the prediction signal is encoded. On the decoder side, the depth value is decoded by decoding and adding the wedgelet Wi, the prediction signal, and the difference.
  • the calculation amount reduction according to the present invention is applicable only to the encoder side.
  • depth intra prediction is applied to the target block B0 by using the block A0 in the texture of the same viewpoint, the same position, and the same time that has been encoded and decoded. Note that the second mode is based on the assumption that the same object boundary appears in the pixel value as in the depth value.
  • the Wi signaling is unnecessary.
  • the signaling target is the difference between the representative value of each area obtained by dividing the block B0 by the Wi and the representative value in each area.
  • the calculation amount reduction according to the present invention can be applied to both the encoder and the decoder.
  • the two examples illustrated above are possible, but even if other encoding / decoding processes are applied, if a wedgelet search is performed, The present invention is applicable.
  • the depth intra prediction units 111 and 211 that achieve the calculation amount reduction according to the present invention will be described.
  • FIG. 4 is a functional block diagram of the depth intra prediction units 111 and 211 common to the encoder and decoder. As described above, there may be various types of encoding / decoding processing. In the functional block, only a portion that achieves a reduction in calculation amount common to the encoder / decoder will be described.
  • the depth intra prediction units 111 and 211 include a wedge list creation unit 31, a calculation area limitation unit 40, an average value calculation unit 32, a difference evaluation unit 33, and a predicted value generation unit 34.
  • the same processing as “procedure 1” to “procedure 4” described above is realized.
  • the processing of the calculation area limiting unit 40 is added after “procedure 1”, and “procedure 2” and subsequent steps are performed under the processing, thereby achieving the effect of reducing the amount of calculation.
  • the wedge list creation unit 31 is responsible for the “procedure 1” described above. That is, a wedge list in the target block is created and passed to the calculation area limiting unit 40. Since all combinations that compose a wedgelet by selecting two points are fixedly determined according to the block size, the wedge list creation unit 31 basically holds a wedge list as the predetermined combination. Then, it may be passed to the calculation area limiting unit 40. When there is a specific instruction such as the following, by dynamically selecting from the held wedge list, a wedge list that is actually used is created in accordance with the instruction and a calculation area What is necessary is just to pass to the limitation part 40.
  • the wedge list creation unit 31 may create a wedge list by adding some restrictions to all the combinations held in advance and reducing the number of combinations. For example, a wedge list may be created based on the instructions from the control units 113 and 213 as limited by the method shown in FIGS.
  • the calculation area limiting unit 40 is in the vicinity where the Wi passes in the target block.
  • the average value calculation unit 32 and the difference evaluation unit 33 in the subsequent stage limit the areas to be calculated. Further limitation may be added in the vicinity. Therefore, a predetermined combination of two regions Ri [1] and Ri [2] limited within the block is prepared for each wedgelet Wi.
  • Ri [1] and Ri [2] are respectively Ri [1] ⁇ R [1] all ... (Formula 2-1) Ri [2] ⁇ R [2] all ... (Formula 2-2) This is a subset relationship. Ri [1] and Ri [2] may not be connected regions.
  • the difference evaluation unit 33 limits the calculation target to the two regions Ri [1] and Ri [2], and then executes [Procedure 4] for each wedgelet Wi as shown in (Equation 4) below.
  • the difference evaluation unit 33 does not necessarily use SAD for the difference evaluation, and may evaluate the magnitude of the difference using other calculation methods based on the difference absolute value, such as the sum of n of the difference absolute value. Good.
  • SSD sum of squared differences
  • Difference evaluation may be performed using a matching degree evaluation function or method between other regions.
  • the prediction value generation unit 34 generates a prediction signal of the depth value by [Procedure 4] in the wedgelet Wi having the minimum difference.
  • the generated targets are not limited to Ri [1] and Ri [2], but are Ri [1] all and Ri [2] all obtained by dividing the entire target block into two.
  • the representative value is obtained as Ri [1] all and Ri [2] all obtained by dividing the entire block of the target depth value into two, and the representative value is used as a prediction signal.
  • Representative value in the entire two divided regions Ri [1] all and Ri [2] all may be determined as an average value of each region Ri [1] all and Ri [2] all, instead, the average
  • the respective average values in the regions Ri [1] and Ri [2] that have already been calculated by the value calculation unit 32 may be employed.
  • the threshold judgment that the passage length of the wedgelet Wi is equal to or greater than a predetermined value or equal to or greater than a predetermined ratio with respect to the size of the sub-block is satisfied.
  • the sub-block is included in the calculation target region and excluded when it is not satisfied (including the case where the wedgelet does not pass).
  • the passage position (passage area defined as a series of pixel positions across the wedgelet) in the sub-block of the wedgelet Wi is considered.
  • whether to include the subblock in the calculation target region in the wedgelet Wi may be determined in the calculation target region.
  • FIGS. 5 to 7 are conceptual examples of the above method.
  • the size of the target block is 8 ⁇ 8, and four sub-blocks A, B, C, and D having a common size of 4 ⁇ 4 are shown.
  • segments into is taken as an example. References to the coordinates in the block are the same as those described in FIG.
  • the division of the sub-blocks of the common size since the calculation is performed in units of sub-blocks, the same calculation can be applied to consecutive pixels, and there is an effect that parallelization by the SIMD function or hardware becomes possible.
  • the division method into sub-blocks may be different for each wedgelet Wi, and the desired block size can be used.
  • the shape may be different between sub-blocks (although not necessarily preferable for parallelization or the like).
  • a wedgelet connecting (5,1) and (1,5) also passes through regions B and D, but has only a small passing portion and is not included in the calculation region.
  • the wedgelet connecting (5,1) and (1,8) also passes through the region B, but it is not included in the calculation region because there are only a few passing portions.
  • the remaining 8 wedgelets other than the one that connects (1, 8) and (8, 1) all pass through region A, but there are only a few passing parts. , Not included in the calculation area.
  • FIG. 8 is a diagram illustrating an example of calculation area determination according to the first embodiment.
  • the size of the target block, the coordinate designation, and the division into sub-blocks A, B, C, and D are common to the examples of FIGS.
  • the sides of the sub-blocks A, B, C, and D and the sides that can be the end points of the wedgelet are shown as a to h.
  • the lower side of sub-block A is a
  • the left side is h.
  • the calculation is performed according to the following case classification rules (1) to (5) based on which side of each of the sub-blocks A, B, C, and D has the two end points.
  • the area can be determined by limiting to a predetermined sub-block.
  • FIG. 9 is a diagram illustrating an example of calculation area determination according to the first embodiment.
  • the size of the target block, the coordinate designation, and the division into sub-blocks A, B, C, and D are common to the examples of FIGS.
  • broken lines a, c, b, and e represent L-shaped block boundary portions as illustrated.
  • a broken line a represents an L-shaped region located at (1,5) to (1,1) to (5,1).
  • broken lines d and f are boundary portions as line segments, for example, d represents line segments (1, 8) to (5, 8).
  • FIG. 9 shows an example of determining the calculation area when there is at least one end of the wedgelet in or near sub-block A. Therefore, the present invention can be similarly applied to the case where at least one end of the wedgelet is present in or near any of the sub-blocks B, C, and D (by replacing the block name).
  • the calculation area is determined according to the following cases. In this case, the calculation area is always halved, and the calculation amount is surely reduced.
  • first and second embodiments can be applied to the moving picture coding method 3D-HEVC.
  • FIG. 14 is a diagram for explaining the third embodiment.
  • the block size and the like are common to the examples of FIGS.
  • the calculation target region is limited to the target block by uniform thinning processing.
  • the target block is separated into a checkered pattern, and only one of the separated blocks is a calculation target. That is, for each position (u, v) in the block, a distinction is made between even-numbered regions (regions where u + v is an even number) indicated in gray in the figure and odd-numbered regions (regions where u + v is an odd number) And only the even or odd area is set as a calculation area.
  • various methods of thinning out every n points can be applied.
  • the thinning ratio n may be changed between the horizontal direction and the vertical direction. Thinning may be performed assuming a straight line or a curve in another direction.
  • the fourth embodiment when the size of the target block is determined to be small according to a predetermined criterion, the application of the calculation area limiting unit 40 is skipped. For example, in the case of a 4 ⁇ 4 size block, the calculation area limiting unit 40 is not used.
  • the first to third embodiments can be implemented independently.
  • the fourth embodiment can be implemented in combination with other embodiments.
  • the third embodiment can be implemented alone and in combination with other embodiments. That is, after the calculation area is limited to a specific sub-block in the first or second embodiment, the thinning-out according to the third embodiment may be performed in the limited sub-block.
  • first and second embodiments are also examples in which predetermined settings are set in advance for how to set a sub-block that limits a calculation area for each wedgelet.
  • first and second embodiments are examples in which, for each wedgelet, a predetermined setting of a sub-block that limits the calculation region is determined for each range where points at both ends of the wedgelet are present.
  • a predetermined setting of a sub-block that limits the calculation region is determined for each range where points at both ends of the wedgelet are present.
  • the present invention can be provided as a moving image encoding program that causes a computer to function as each unit in FIG. 1 or that causes the computer to execute steps corresponding to each unit in FIG.
  • the present invention can be provided as a moving picture decoding program that causes a computer to function as each unit in FIG. 2 or that causes the computer to execute steps corresponding to each unit in FIG.
  • each program may be provided by being recorded on a computer-readable reading medium.
  • DESCRIPTION OF SYMBOLS 100 Video encoding apparatus, 200 ... Video decoding apparatus, 111,211 ... Depth intra prediction part, 31 ... Wedge list preparation part, 40 ... Calculation area limitation part, 32 ... Average value calculation part, 33 ... Difference evaluation part, 34 ... Predicted value generator

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　動画像符号化装置及び動画像復号装置に関し、多視点映像における各視点のテクスチャ及び奥行きマップを対象として、奥行きマップに対するデプスイントラ予測を適用する際の計算量を削減する。　ウェッジレットで分割された各計算対象領域では平均算出及びSAD算出がなされ、ブロックに対して最小SADとなるウェッジレットが予測に利用される。ここで、対象ブロックをサブブロックに分割し、各サブブロックにおいて各ウェッジレットが通過する領域に基づいて、各サブブロックを当該ウェッジレットにおける計算対象領域に含めるか否かを決定することで、計算対象領域を限定することにより、計算量の削減が可能となる。

Description

動画像符号化装置及び動画像復号装置
　本発明は、動画像符号化装置及び動画像復号装置に関し、特に、多視点映像における各視点のテクスチャ及び奥行きマップを対象として、奥行きマップに対するデプスイントラ予測を適用する動画像符号化装置及び動画像復号装置に関する。
　多視点映像符号化方式として、非特許文献1に開示のように、動画像符号化方式AVCを拡張したMVCが国際標準として規格化されている。また、非特許文献2に記載のように、次世代動画像符号化方式HEVCを拡張したMV-HEVCが国際標準として規格化作業中である。
　さらに、上記に加えて、非特許文献3に記載のように、多視点の映像（テクスチャ）と奥行（デプス）マップを対象とする符号化方式が検討されている。
　図10は、当該符号化対象となる奥行きマップが対応づけられた多視点映像のデータ構成を概念的に示す図である。図示するように、各カメラ位置に対応する各視点1～nにおいて撮影された画像としてテクスチャ1～nが与えられ、それぞれに奥行きマップ1～nが用意され、このようなデータが各時刻tにおいて用意される。
　テクスチャi(i=1, 2 , ..., n)の各画素位置(x, y)において撮影されている対象（オブジェクト）の、当該撮影しているカメラからの奥行きの値d(x, y)を与えたものが、奥行きマップi(i=1, 2 , ..., n)となる。こうしたテクスチャ及び奥行きマップは、各視点1～n以外の任意視点での映像の生成その他の、種々の利用が可能である。
　なお、奥行きマップは、既存の手法により用意される。例えば、各視点間の位置関係や各カメラパラメータなどを利用のうえ、各テクスチャi間において同一の特徴点の対応付け等の処理を行うことにより、各奥行きマップiを用意することができる。
　当該各視点i(i=1, 2 , ..., n)のテクスチャi及び奥行きマップiを対象とする符号化方式においては、非特許文献3に記載のように、次のような手法を適用することができる。まず、テクスチャには、通常のイントラ予測と動き補償、予測残差の変換・量子化から構成される動画像符号化方式(非特許文献１，２等の方式)を用いることができる。
　一方、奥行きマップは、奥行きの値を画素値として有する「画像」とみなすこともできるので、テクスチャと同一の上記動画像符号化方式（通常方式）を適用することができる。さらに、当該通常方式の代わりに、あるいは当該通常方式と併用して、奥行きマップ専用のデプスイントラ予測を用いることもできる。
　なお、ここで、奥行きマップは信号特性がテクスチャのそれと大きく異なることから、専用のデプスイントラ予測が用意されている。奥行きマップの信号特性として、オブジェクト境界においては奥行きが異なるため急峻なエッジが生じる一方で、オブジェクト表面は比較的、奥行きの変化が少ないといった点が挙げられる。
　すなわち、例えば、手前に存在する第一オブジェクトの「人物」と後方に背景として存在する第二オブジェクトの「壁」といったように、オブジェクトが異なるとオブジェクト内の平均の奥行きが大きく異なるという特性がある。
　以下、非特許文献3に記載のデプスイントラ予測の一手法を説明する。当該手法は、以下の[手順1]～[手順4]からなる。図１１は、当該手法を説明するための図である。
　　　　[手順1]　ウェッジリストの作成
　　　　[手順2]　領域毎の平均値算出
　　　　[手順3]　SAD計算でウェッジレットを決定
　　　　[手順4]　奥行き値予測画像生成
　[手順1]では、探索対象となる複数のウェッジレットをリストアップしたウェッジリストを作成する。ウェッジレットは、奥行きマップ内のブロックにおけるオブジェクト境界（例えば、人物と背景である壁との境界など）を直線としてモデル化したものである。
　図１１の(1)には、予測対象となっているブロックB0が示されており、当該ブロックB0の4辺L1～L4の中から、異なる2辺に属する点（画素位置の点）を選んで線分として結んだものが、ウェッジレットとなる。例えば(2)に示すように、辺L4上の点P1と、辺L3上の点P2とを結ぶ線分W1が、一つのウェッジレットとなり、当該ウェッジレットW1によって、ブロックB0は領域R1及びR2へと分割される。
　当該異なる2辺上の2点を結ぶ線分として構成されるウェッジレットの可能なものを全て候補として列挙することで、[手順1]にてウェッジリストが作成される。
　[手順2]では、ウェッジリスト内の各ウェッジレットにつき、分割された2領域内においてそれぞれ、テクスチャ信号（あるいは、デプス信号）の平均値を求める。例えば図１１の(2)のウェッジレットW1については、分割された領域R1の平均値m(R1)と、領域R2の平均値m(R2)とを求める。
　[手順3]では、まず、ウェッジリスト内の各ウェッジレットにつき、分割された2領域に対して[手順2]で計算された平均値と、テクスチャ信号値（あるいは、デプス信号）との差分絶対値和(SAD)を求め、当該SADの2領域での和として、予測対象のブロック全体に対する当該ウェッジレットにおけるSADを求める。
　例えば、図１１の(2)のウェッジレットW1におけるSAD[W1]は、ブロックB0の位置(x, y)における信号値をs(x, y)とすると、以下の(式1)で与えられる。（信号値は、テクスチャまたはデプスの信号値。）
Figure JPOXMLDOC01-appb-M000001
　[手順3]では、さらに、ウェッジリスト内の各ウェッジレットWi(i=1, 2 , ..., N)につき、上記(式1)と同様にして計算された差分絶対値和SAD[Wi]が最小となるようなウェッジレットWiを、予測に用いるものとして決定する。
　[手順4]では、上記[手順3]で最小値を与えるものとして決定されたウェッジレットWiによって、当該予測対象ブロックにおける、奥行き値の予測画像を生成する。当該予測画像は、ウェッジレットWiによって分割された2領域においてそれぞれの代表値を与えたものとして（エンコーダ・デコーダそれぞれの手法で）生成される。代表値には、典型的には各領域の平均値を用いることができるが、当該領域で算出されるその他の値を採用してもよい。
　なお、奥行き値（デプス信号）の予測「画像」とは、予測された奥行き値が画素位置に対してマッピングされている点で「画像」と呼んでいる。代わりに、奥行き値の予測奥行きマップと称しても良い。
　例えば、図１１のウェッジレットW1が最小値を与えるものとして決定された場合、ブロックB0の予測画像は、領域R1内の全ての位置において信号値がその代表値dR1であり、領域R2内の全ての位置において信号値がその代表値dR2である画像となる。
　以上[手順1]～[手順4]より明らかなように、ウェッジレットによるデプスイントラ予測は、予測対象のブロック内において、当該ブロックを概ね直線で横切るようなオブジェクト境界が存在し、当該境界において奥行きの値が急峻に変化しているような場合に対して好適な予測手法である。
ISO/IEC 14496-10 MPEG-4 Part 10, Advanced Video Coding JCT3V-B1004, MV-HEVC Draft Text 2 JCT3V-B1005, 3D-HEVC Test Model 2
　しかしながら、デプスイントラ予測は、計算量が多いという課題があった。すなわち、[手順1]にてウェッジリストとして、異なる2辺上の2点の全組み合わせによって、多数のウェッジレットを候補として用意している。当該多数の候補の中から[手順2]及び[手順3]で最小値を与えるものを探索する必要があるため、その計算量は多い。
　非特許文献3では、上記のような全探索による計算量の削減手段として、以下のようなもの（第一及び第二の手段）を検討している。
　第一の手段として、図１２に示すように、2ステップで探索する。すなわち、ウェッジレットを構成するための線分の端点を、ブロックの辺上の全ての位置から選ぶのではなく、2点に1点ごとに間引いた位置のみから選ぶようにする。
　図１２は、図１１の(1)に示した対象とするブロックB0が8×8のサイズである場合の、ウェッジリストのうちの一部分として、辺L1及びL2上から2点を選んで生成される一連のウェッジレットに、当該2ステップを適用することで、計算量が削減される例である。
　適用しない場合は、L1上の7点(1,2)～(1,8)とL2上の7点(2,1)～(8,1)とを端点として、7×7＝49通りのウェッジレットが探索対象となる。これに対して2ステップを適用した場合は、灰色表示の点のみから選択することとすると、L1上の3点(1,3), (1, 5)及び(1, 7)とL2上の3点(3, 1), (5, 1)及び(7, 1)とを端点として、3×3＝9通りに削減されたウェッジレットが探索対象となる。
　第一の手段ではさらに、当該削減されたウェッジリスト内で最小解を求めたのち、当該最小解の近傍ウェッジレットにおいて2ステップを適用せず、探索を行うことで最終的な解を得る。
　例えば、(1,5)と(5,1)を結ぶウェッジレットが2ステップの最小解であれば、その近傍として各端点において両隣の点を加えることで、2ステップを適用しない{(1, 4), (1, 5), (1, 6)}と{(4, 1), (5, 1), (6, 1)}のウェッジリスト内から、改めて探索を行い、最終的な解となす。この場合、3×3＝9通りが対象となる。2ステップの9通りと合計して、18通りの探索を行うので、2ステップを適用しない49通りよりも削減されている。
　第二の手段として、図１３に例を示すように、近傍のブロックにイントラ予測が適用されており、且つ予測の方向が存在する場合、その予測方向に即したウェッジレットのみでウェッジリストを構成する。
　図１３では、対象とするブロックB0の隣接ブロックB1において方向D1で示されるようなイントラ予測が適用されている。この場合、ブロックB0においては、方向D1と平行なウェッジレット（例えばW11やW12等）のみで構成されたウェッジリストを用いることで、探索総数を大きく削減することができる。
　以上のような、非特許文献3で検討されている手法に限らず、デプスイントラ予測の際の計算量を削減する手法が望まれている。
　本発明は、上記課題に鑑み、デプスイントラ予測の際の計算量を削減することが可能な、動画像符号化装置及び動画像復号装置を提供することを目的とする。
　上記目的を達成するため、本発明は、多視点映像における各視点のテクスチャ及び奥行きマップに対して、予測を適用し、変換・量子化して符号化する動画像符号化装置、及び、符号化された多視点映像における各視点のテクスチャ及び奥行きマップを復号するに際して、逆変換・逆量子化し、予測を適用して復号する動画像復号装置、であって、当該動画像符号化装置（及び動画像復号装置）のそれぞれにおいて、奥行きマップに対する予測を適用するデプスイントラ予測部を備え、該デプスイントラ予測部が、対象ブロックを線分で2領域に分割するウェッジレットを列挙したウェッジリストを作成又は保持するウェッジリスト作成部と、前記ウェッジリスト内の各ウェッジレットに対して、対象ブロック内において当該ウェッジレットの通過する近傍に計算対象領域を限定する計算領域限定部と、各ウェッジレットにより対象ブロック内で2分割された領域の各々において、前記限定された計算領域での信号（テクスチャ信号）の平均値を算出する平均値算出部と、各ウェッジレットに対して、前記算出された平均値と、前記限定された計算領域での信号（テクスチャ信号）と、の差分を算出する差分評価部と、前記算出された差分が最小となるウェッジレットによって対象ブロックを2領域に分割して、各領域における信号の代表値として、奥行きマップの予測信号を生成する予測値生成部と、を備えることを第一の特徴とする。
　また、前記計算領域限定部が、対象ブロック内において当該ウェッジレットの通過する近傍に計算対象領域を限定することに代えて、前記ウェッジリスト内の各ウェッジレットに対して、対象ブロック内において一様な間引き処理によって計算対象領域を限定することを、第二の特徴とする。
　前記第一の特徴によれば、ウェッジレットの通過する近傍に計算領域を限定するので、計算量が削減される。
　前記第二の特徴によれば、対象ブロック内において一様な間引き処理によって計算対象領域を限定するので、計算量が削減される。
一実施形態に係る動画像符号化装置の機能ブロック図である。 一実施形態に係る動画像復号装置の機能ブロック図である。 デプスイントラ予測を適用する際の符号化手順（復号手順）の例である。 デプスイントラ予測部の機能ブロック図である。 計算領域限定部による領域限定を概念的に説明するための例を示す図である。 計算領域限定部による領域限定を概念的に説明するための例を示す図である。 計算領域限定部による領域限定を概念的に説明するための例を示す図である。 第一実施形態による計算領域決定の例を示す図である。 第二実施形態による計算領域決定の例を示す図である。 多視点映像における各視点の画像（テクスチャ）に奥行きマップが対応づけられて構成されたデータ構成を説明するための図である。 デプスイントラ予測の一手法を説明するための図である。 ウェッジレット探索の計算量削減手段の一つとしての、2ステップの探索を説明するための図である。 ウェッジレット探索の計算量削減手段の一つとしての、近傍ブロックに適用されたイントラ予測の予測方向を利用することを説明するための図である。 第三実施形態による計算領域決定の例を示す図である。
　図１は、本発明の一実施形態に係る動画像符号化装置の機能ブロック図である。動画像符号化装置100は、入力部101、差分器102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、加算器106、ローカル復号画像メモリ107、インループフィルタ108、フレームバッファ109、動き補償部110、デプスイントラ予測部111、イントラ予測部112及び制御部113を備える。
　図２は、本発明の一実施形態に係る動画像復号装置の機能ブロック図である。動画像復号装置200は、出力部201、エントロピー復号部204、逆量子化・逆変換部205、加算器206、ローカル復号画像メモリ207、インループフィルタ208、フレームバッファ209、動き補償部210、デプスイントラ予測部211、イントラ予測部212及び制御部213を備える。
　動画像符号化装置100には、図１０で説明したような多視点映像における各視点のテクスチャに奥行きマップを対応づけたデータが入力され、種々の予測などを適用してから、これを符号化する。動画像復号装置200は、当該符号化されたデータを復号して、対応する予測などを適用してから、当初の図１０のデータに対応するものを出力する。
　なお、動画像符号化装置100をエンコーダ、動画像復号装置200をデコーダと略称する。当該図１及び図２にそれぞれ示したエンコーダ及びデコーダの全体的な構成自体に関しては、非特許文献3などで開示されているものと同じである。本発明における計算量削減は、デプスイントラ予測部111,211の処理によって達成される。
　以下、エンコーダ及びデコーダの各部の概要を説明する。なお、同一又は対応する処理については、エンコーダ及びデコーダの機能部を併記しながら説明する。
　入力部101では、図１０のデータをエンコーダ側の入力として受け取り、当該データを差分器102に渡す。出力部201では、当該図１０のデータに対応するものデコーダ側で復号されてフレームバッファ209に蓄積されているのを、デコーダ側の出力として、出力する。差分器102は、入力部101から受け取ったデータにおける信号と、その予測信号として、制御部113の判断によって動き補償部110、デプスイントラ予測部111またはイントラ予測部112のいずれかが生成した信号と、の差分を求めて、当該差分の値を変換・量子化部103へ渡す。
　変換・量子化部103は、差分器102より得た差分を、ブロック単位で直交変換して変換係数とし、さらに当該変換係数を量子化して、量子化値をエントロピー符号化部104及び逆量子化・逆変換部105へ渡す。エントロピー符号化部104は、変換・量子化部103から得た量子化値と、制御部113が適宜、必要に応じて出力した予測のパラメータ等と、をエントロピー符号化して、エンコーダ側の出力とする。
　エントロピー復号部204は、エンコーダ側がエントロピー符号化部104で出力したビットストリームを、デコーダ側での入力として受け取り、エントロピー復号して、量子化値及び予測パラメータ等となす。量子化値は逆量子化・逆変換部205へ渡され、予測パラメータ等は、制御部213に渡される。
　逆量子化・逆変換部105（逆量子化・逆変換部205）は、変換・量子化部103（エントロピー復号部204）より受け取った量子化値を、変換・量子化部103の逆の処理によって、逆量子化及び逆変換して、差分値となし、加算器106,206に渡す。
　加算器106,206は、制御部113,213の判断によって、動き補償部110,210、デプスイントラ予測部111,211またはイントラ予測部112,212のいずれかが生成した予測信号と、逆量子化・逆変換部105,205が出力した差分値と、を加算して、復号された信号となし、当該復号された信号を、ローカル復号画像メモリ107,207に渡す。
　ローカル復号画像メモリ107,207は、当該復号された信号を保持して、イントラ予測部112,212が予測を行う際の参照に供すると共に、当該復号された信号をインループフィルタ108,208に出力する。インループフィルタ108,208は、当該復号された信号にインループフィルタの処理を施して、フレームバッファ109,209に出力する。
　フレームバッファ109,209は、フィルタ処理された信号を保持して、動き補償部110,210及びデプスイントラ予測部111,211が予測を行う際の参照に供する。デコーダ側では前述のように、フレームバッファ209は当該フィルタ処理された信号をデコーダの出力として、出力部201へ渡す。
　動き補償部110,211は、フレームバッファ109,209の参照信号を用いて動き予測を行い、予測信号を生成し、差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡す。動きベクトルなどの予測パラメータは、エンコーダ側では、予測信号の生成の際に生成され符号化されるのに対し、デコーダ側では、予測信号の生成の際に利用される。
　本発明に係るデプスイントラ予測部111,211は、フレームバッファ109,209の参照信号を用いて、前述のようにSAD値（あるいは後述のようにその他の差分評価値でもよい）が最小となるウェッジレットで分割した場合における2領域の予測信号をブロックの予測信号として生成し、差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡す。予測パラメータ等については後述する。
　イントラ予測部112,212は、ローカル復号画像メモリ107,207の参照信号を用いてイントラ予測を行い、予測信号を生成して差分器102及び加算器106（デコーダ側では加算器206のみ）へ渡す。予測モードなどの予測パラメータは、デコーダ側では、予測信号の生成の際に生成され符号化されるのに対し、エンコーダ側では、予測信号の生成の際に利用される。
　制御部113,213は、図１０のように構成されるデータに対して、各視点におけるテクスチャ及び奥行きマップをどのような順番でどのような予測を適用して符号化・復号するかに関して、総合的な制御を行う。当該制御にはブロックサイズの設定なども含まれる。エンコーダ側では、当該制御に必要なパラメータ等を符号化させるようにし、デコーダ側では、復号して当該パラメータを必要とする機能部に渡す。
　エンコーダ側では、制御部113は、いずれかの予測部110,111,112において予測パラメータが生成された場合、エントロピー符号化部104へと渡す。デコーダ側では、予測パラメータが復号された場合、対応する予測部（動き補償部210、デプスイントラ予測部211又はイントラ予測部212）へと渡す。なお、図１，２では、当該制御部113又は213と、予測部110,111,112又は210,211,212と、の間における予測パラメータの授受の流れは、図が煩雑となるため、描くのを省略している。
　以上のようなエンコーダ及びデコーダにより、テクスチャについては、デプスイントラ予測部111,211以外を利用して、従来の手法と同様にして符号化・復号が可能である。図示はしていないが、4つめの予測部として、視点間での予測を適用する視点間予測部をさらに備えて、視点間予測を適用してもよい。
　また、奥行きマップについては、上記テクスチャと同様の手法で符号化・復号が可能であると共に、デプスイントラ予測部111,211の適用も可能である。
　図３は、デプスイントラ予測を適用する際の符号化・復号順序の例である。(2)に示すように、視点i(i=1, 2, ..., n)における時刻tの奥行きマップは、ラスタスキャン順でB10の部分まで符号化・復号済みであり、現時点での符号化・復号対象であるブロックB0以降の領域B11が符号化・復号未完了とする。なお、B10の部分の各ブロックについては、必ずしもデプスイントラ予測が適用されている必要はなく、その他のイントラ予測などが適用されていてもよい。
　一方、(1)に示すように、同じ視点iの同じ時刻tのテクスチャにおいては、奥行きマップのブロックB0と同位置のブロックA0は符号化・復号済みである。また、ラスタスキャン順でブロックA0までの領域A10も符号化・復号済みである。ブロックA0より後の領域A11は、符号化・復号済みであっても、未完了であってもよい。
　このような符号化・復号対象の奥行きマップのブロックB0を符号化・復号する際には、例えば、以下の第一モード及び第二モードが可能である。
　第一モードでは、符号化前の当該ブロックB0における奥行きマップの値に対して、デプスイントラ予測を適用する。従って、エンコーダ側では予測情報としていずれのウェッジレットWiを用いたか特定する情報を生成して符号化し、当該Wiによる分割された2領域の予測信号（前述の各領域の代表値）を生成して符号化すると共に、符号化前の奥行き値と当該予測信号との差分が符号化される。デコーダ側ではウェッジレットWi、予測信号及び差分を復号して、加算することにより奥行き値を復号する。
　こうして、第一モードにおいては、本発明による計算量削減は、エンコーダ側のみに適用可能である。
　第二モードでは、対象のブロックB0に対して、符号化・復号済みの同視点・同位置・同時刻のテクスチャにおけるブロックA0を用いて、デプスイントラ予測を適用する。なお、第二モードは、オブジェクト境界は、奥行き値に現れるのと同様のものが画素値においても現れるという想定に基づく。
　第二モードでは、符号化・復号済みのブロックA0より最適のウェッジレットWiを求めるので、当該Wiのシグナリング（符号化及び復号）は不要である。シグナリング対象は、当該WiによってブロックB0を分割した各領域の代表値と、各領域における代表値からの差分となる。
　こうして、第二モードにおいては、本発明による計算量削減は、エンコーダ及びデコーダの両方に適用可能である。
　符号化・復号処理に関しては、以上のように例示した２通りが可能であるが、その他の符号化・復号処理が適用される場合であっても、ウェッジレット探索が実施されるのであれば、本発明は適用可能である。以下、本発明による計算量削減を達成するデプスイントラ予測部111,211の説明を行う。
　図４は、エンコーダ・デコーダで共通の、デプスイントラ予測部111,211の機能ブロック図である。なお、符号化・復号処理は上述のように種々のものがありうるが、当該機能ブロックにおいては、エンコーダ・デコーダで共通の、計算量の削減を達成する部分のみを説明する。
　デプスイントラ予測部111,211は、ウェッジリスト作成部31、計算領域限定部40、平均値算出部32、差分評価部33及び予測値生成部34を備える。ここで特に、計算領域限定部40をスキップした構成（計算領域限定部40が省略された構成）においては、一実施形態では前述の「手順1」～「手順4」と同一の処理が実現される。本発明では特に、「手順1」の後に計算領域限定部40の処理が加わり、当該処理のもとで「手順2」以降が実施されることで、計算量削減の効果を達成する。
　ウェッジリスト作成部31は、前述の「手順1」を担う。すなわち、対象としているブロックにおけるウェッジリストを作成し、計算領域限定部40に渡す。なお、2点を選んでウェッジレットを構成する全ての組み合わせはブロックサイズに応じて固定的に定まるので、ウェッジリスト作成部31は基本的には、当該予め定まった組み合わせとしてウェッジリストを保持しておき、計算領域限定部40に渡せばよい。そして、以下のような特定の指示があった場合に、当該保持しているウェッジリスト中から動的に選択を行うことで、当該指示に従う形で実際に利用するウェッジリストを作成して計算領域限定部40に渡せばよい。
　すなわち、ウェッジリスト作成部31はまた、上記予め保持している全ての組み合わせに対して何らかの制限を加えて、組み合わせ数を減じたものをウェッジリストとして作成してもよい。例えば、制御部113,213からの指示のもとで、図１２や図１３の手法で限定したものとしてウェッジリストを作成してもよい。
　計算領域限定部40は、ウェッジリスト作成部31より受け取ったウェッジリストに属する各ウェッジレットWi(i=1, 2, ..., N)に対して、当該Wiが対象ブロック内で通過する近辺のみに、後段の平均値算出部32及び差分評価部33が計算の対象とする領域を限定する。当該近辺においてさらに限定を加えてもよい。このため、各ウェッジレットWiに対して、ブロック内で限定された2領域Ri[1]及びRi[2]の予め決まった組み合わせを用意しておく。
　すなわち、ウェッジレットWiによって分割されたブロック全体における2領域をRi[1]all及びRi[2]allとすると、当該2領域Ri[1]及びRi[2]はそれぞれ、
　　　　　Ri[1] ⊂ R[1]all　　…(式2-1)
　　　　　Ri[2] ⊂ R[2]all　　…(式2-2)
という、部分集合の関係にある。Ri[1]及びRi[2]はそれぞれ、連結領域でなくともよい。
　平均値算出部32は当該2領域Ri[1]及びRi[2]に計算対象を限定したうえで、以下の(式3)のように、各ウェッジレットWiにつき[手順3]を実施し、限定された各領域内の平均値m(Ri[j]) (j=1, 2)を求める。
Figure JPOXMLDOC01-appb-M000002
　差分評価部33も同じく、当該2領域Ri[1]及びRi[2]に計算対象を限定したうえで、以下の(式4)のように、各ウェッジレットWiにつき[手順4]を実行して、SADの値としての差異が最小となるWiを決定する。従って、SAD等を計算する個数が減少するため、ウェッジレット１本あたりの計算量が削減されることとなる。なお、ウェッジレットWi毎に対応する2領域Ri[1]及びRi[2]の広さ（＝2領域の画素個数Ni）が一定ではない場合は、以下算出するSADの値をさらに当該画素個数Niで割って規格化することで、当該規格化されたSAD値が最小となるようなWiを決定することが好ましい。
Figure JPOXMLDOC01-appb-M000003
　なお、差分評価部33では、差分評価に必ずしもSADを用いる必要はなく、差分絶対値のn乗和など、差分絶対値に基づくその他の計算手法を用いて、差分の大きさを評価してもよい。例えば、n=2として差分二乗和(SSD)で差分を評価してもよい。その他の領域間の一致度評価関数あるいは手法を用いて差分評価を実施してもよい。
　予測値生成部34は、上記差分が最小となるウェッジレットWiにおいて、[手順4]により、奥行き値の予測信号を生成する。なお、当該生成される対象は、Ri[1]及びRi[2]に限定されるのではなく、対象となるブロック全体を2分割したRi[1]all及びRi[2]allとなる。すなわち、代表値を当該対象となる奥行き値のブロック全体を2分割したRi[1]all及びRi[2]allにおいて求めたうえで、当該代表値を予測信号とする。当該全体を２分割した領域Ri[1]all及びRi[2]allにおける代表値は、それぞれ領域Ri[1]all及びRi[2]allの平均値として求めてもよいし、代わりに、平均値算出部32にて既に計算済みである領域Ri[1]及びRi[2]におけるそれぞれの平均値を採用してもよい。
　以下、計算領域限定部40の詳細を説明する。
　計算領域限定部40にて、当該2領域Ri[1]及びRi[2]を各ウェッジレットWiにつき、予め設定しておく手法としては、例えば次がある。対象としているブロックを所定のサブブロックに分割し、各サブブロック内において、ウェッジレットWiの通過長さが所定値以上である又はサブブロックの大きさに対する所定割合以上であるという閾値判定を満たす場合に、当該サブブロックを計算対象領域に含め、満たさない場合（ウェッジレットが通過しない場合を含む）は除外する。
　あるいは、上記長さ・割合に基づく判定に代えて、又は当該判定に加えて、ウェッジレットWiのサブブロック内における通過位置（ウェッジレットの横切る一連の画素位置として定義される通過領域）を考慮して、当該位置（領域）に対する所定条件によって、計算対象領域に、当該サブブロックをウェッジレットWiにおける計算対象領域に含めるか否かを決定してもよい。
　図５～図７は、上記手法の概念的な例であり、ここでは全て、対象ブロックのサイズは8×8であり、共通サイズ4×4の4個のサブブロックA, B, C, Dに分割した場合を例としている。ブロック内の座標への言及には、図12での説明と共通のものを利用する。ここで、共通サイズのサブブロックの分割によれば、サブブロック単位で計算するため、連続する画素に同一の演算を適用でき、SIMD機能やハードウェアによる並列化が可能となるという効果がある。
　なお、一般には、ウェッジレットWi毎にサブブロックへの分割手法が異なっていてもよいし、対象ブロックサイズも所望のものを利用することができる。サブブロックへの分割においては、（並列化などには必ずしも好ましくないが、）サブブロック同士で形が異なっていてもよい。
　図5は、「Ri[1]∪Ri[2]＝A」となるような一連のウェッジレットWiの例である。例えば、(5,1)と(1,5)とを結ぶウェッジレットは領域B及びDも通過しているが、通過部分がわずかしかないので、計算領域には含めない。
　図6は、「Ri[1]∪Ri[2]＝A∪B」となるような一連のウェッジレットWiの例である。例えば、(5,1)と(1,8)とを結ぶウェッジレットは領域Bも通過しているが、通過部分がわずかしかないので、計算領域には含めない。
　図7は、「Ri[1]∪Ri[2]＝B∪D」となるような一連のウェッジレットWiの例である。ここでは、(1, 8)と(8, 1)とを結ぶ1本のウェッジレット以外の残りの8本のウェッジレットは全て、領域Aも通過しているが、通過部分がわずかしかないので、計算領域に含めない。
　以下、上記通過部分の考え方に基づく手法に基づく各実施形態その他を説明する。（なお、以下の第三及び第四実施形態は、通過部分に依存せずに実施可能である。）
　（第一実施形態）
　図８は、第一実施形態による計算領域決定の例を示す図である。対象ブロックのサイズ、座標指定、サブブロックA,B,C,Dへの分割は図５～図７の例と共通である。図８では、各サブブロックA,B,C,Dの辺であって且つ、ウェッジレットの端点となりうる各辺がa～hとして示されている。例えば、サブブロックAの下側の辺がaであり、左側の辺がhである。
　第一実施形態では、ウェッジレットが当該サブブロックA,B,C,Dの各辺のいずれを2つの端点として有するかに基づいて、以下(1)～(5)の場合分け規則によって、計算領域を所定のサブブロックに限定して決定することができる。
　(1)計算領域としてAとBを用いる：
　　　→ウェッジレットの始点と終点の組合せが(h,a), (h,b), (h,c), (c,a), (c,b), (a,b)のいずれかである場合
　(2)計算領域としてCとDを用いる：
　　　→ウェッジレットの始点と終点の組合せが(d,e), (d,f), (d,g), (e,f), (e,g), (f,g)のいずれかである場合
　(3)計算領域としてAとDを用いる：
　　　→ウェッジレットの始点と終点の組合せが(a,f), (a,g), (h,f), (g,h)のいずれかである場合
　(4)計算領域としてBとCを用いる：
　　　→ウェッジレットの始点と終点の組合せが(b,e), (b,d), (c,e), (c,d)のいずれかである場合
　(5)計算領域としてA、B、C、Dを用いる場合：
　　　→ウェッジレットの始点と終点の組合せが上記(1)～(4)以外の場合
　（第二実施形態）
　図９は、第一実施形態による計算領域決定の例を示す図である。対象ブロックのサイズ、座標指定、サブブロックA,B,C,Dへの分割は図５～図７の例と共通である。図９では、破線a,c,b,eはそれぞれ図示されるようなL字型のブロック境界部分を表している。例えば、破線aは(1,5)～(1,1)～(5,1)に位置するL字型領域を表している。同様に、破線d,fは線分としての境界部分であり、例えばdは線分(1,8)～(5, 8)を表している。
　図９では、サブブロックA内又は近辺にウェッジレットの少なくとも一端がある場合の、計算領域の決定の例である。従って、サブブロックB,C,Dのいずれかの内部又は近辺にウェッジレットの少なくとも一端がある場合にも、（ブロック名を読み替えることで、）同様に適用可能である。
　図９では、具体的には、以下の場合分けで計算領域を決定する。この場合、必ず計算領域が半減され、確実に計算量が削減される。
　(1)Aのみを用いる：
　　　→ウェッジレットの始点と終点の組合せが破線aの範囲にある場合
　(2)AとBを用いる：
　　　→ウェッジレットの始点が破線bに、終点が破線fの範囲にある場合
　(3)AとDを用いる：
　　　→ウェッジレットの始点が破線bに、終点が破線dの範囲にある場合
　(4)AとCを用いる：
　　　→ウェッジレットの始点が破線cに、終点が破線eの範囲にある場合
　なお、第一及び第二実施形態は、動画像符号化方式3D-HEVCに適用可能である。
　（第三実施形態）
　図１４は、第三実施形態を説明するための図である。ブロックサイズ等は、図５～図７の例と共通である。第三実施形態では、対象ブロックに対して、一様な間引き処理によって、計算対象領域を限定する。
　図１４の例では、間引き処理の例として、対象ブロックを市松模様に分離して、分離されたいずれかのみを計算対象とする。すなわち、ブロック内の各位置(u, v)につき、図中グレーで表記する偶数領域（u+vが偶数となる領域）と、奇数領域（u+vが奇数となる領域）と、の区別を設けて、当該偶数領域又は奇数領域のいずれかのみを計算領域とする。その他同様に、n点おきに間引く種々の手法を適用可能である。水平方向と垂直方向とで当該間引きの割合nを変更してもよい。別方向の直線あるいは曲線を想定して間引いてもよい。
　（第四実施形態）
　第四実施形態では、対象としているブロックのサイズが所定基準によって小さいと判定される場合には、計算領域限定部40の適用をスキップする。例えば、4×4サイズのブロックである場合、計算領域限定部40は利用しない。
　以上、第一～第三実施形態については、それぞれ単独で実施可能である。第四実施形態については、その他の実施形態と組み合わせて実施可能である。第三実施形態は、単独で実施可能であると共に、その他の実施形態と組み合わせて実施可能である。すなわち、第一又は第二実施形態で特定のサブブロックに計算領域を限定したうえでさらに、当該限定されたサブブロック内において第三実施形態による間引きを実施してもよい。
　なお、第一、第二実施形態は、各ウェッジレットについて、計算領域を限定するサブブロックをどのように設定するかについて、所定設定を予め設けておく例でもある。特に、第一、第二実施形態は、各ウェッジレットについて、計算領域を限定するサブブロックの所定設定を、当該ウェッジレットの両端の点が存在するそれぞれの範囲ごとに定めた例となっている。当該所定設定を予め人手で行うための原則的な考え方として、前述のウェッジレットの通過領域に注目することができるが、例外的な設定を行うことも可能である。
　なお、本発明はコンピュータを図１の各部として機能させる、あるいはコンピュータに図１の各部に対応するステップを実行させる動画像符号化プログラムとして、提供することが可能である。同様に、本発明はコンピュータを図２の各部として機能させる、あるいは、コンピュータに図２の各部に対応するステップを実行させる動画像復号プログラムとして、提供することも可能である。さらに、当該各プログラムは、コンピュータ読み取り可能な読み取り媒体に記録して、提供されてもよい。
　100…動画像符号化装置、200…動画像復号装置、111,211…デプスイントラ予測部、31…ウェッジリスト作成部、40…計算領域限定部、32…平均値算出部、33…差分評価部、34…予測値生成部

Claims (16)

  1. 　多視点映像における各視点のテクスチャ及び奥行きマップに対して、予測を適用し、変換・量子化して符号化する動画像符号化装置であって、奥行きマップに対する予測を適用するデプスイントラ予測部を備え、該デプスイントラ予測部が、
    　対象ブロックを線分で2領域に分割するウェッジレットを列挙したウェッジリストを作成又は保持するウェッジリスト作成部と、
    　前記ウェッジリスト内の各ウェッジレットに対して、対象ブロック内において当該ウェッジレットの通過する近傍に計算対象領域を限定する計算領域限定部と、
    　各ウェッジレットにより対象ブロック内で2分割された領域の各々において、前記限定された計算領域での信号の平均値を算出する平均値算出部と、
    　各ウェッジレットに対して、前記算出された平均値と、前記限定された計算領域での信号と、の差分を算出する差分評価部と、
    　前記算出された差分が最小となるウェッジレットによって対象ブロックを2領域に分割して、各領域におけるデプス信号の代表値として、奥行きマップの予測信号を生成する予測値生成部と、を備えることを特徴とする動画像符号化装置。
  2. 　前記計算領域限定部は、対象ブロックをサブブロックに分割し、各サブブロックにおいて各ウェッジレットが通過する領域に基づいて、各サブブロックを当該ウェッジレットにおける計算対象領域に含めるか否かを決定することで、計算対象領域を限定することを特徴とする請求項１に記載の動画像符号化装置。
  3. 　前記計算領域限定部は、対象ブロックをサブブロックに分割し、各サブブロックにおいて各ウェッジレットが通過する長さが、所定値以上である又は当該サブブロックの大きさに対する所定割合以上であるという条件を満たす場合に、当該サブブロックを計算対象領域に含め、当該条件を満たさない場合は当該サブブロックを計算対象領域から除外することを特徴とする請求項１に記載の動画像符号化装置。
  4. 　前記計算領域限定部は、対象ブロックをサブブロックに分割し、各ウェッジレットについて予め設定されている所定のサブブロックに、計算対象領域を限定することを特徴とする請求項１に記載の動画像符号化装置。
  5. 　前記計算領域限定部は、対象ブロックをサブブロックに分割し、各ウェッジレットについて、その両端の点が存在する範囲ごとに予め設定されている所定のサブブロックに、計算対象領域を限定することを特徴とする請求項１に記載の動画像符号化装置。
  6. 　前記計算領域限定部は、対象ブロックのサイズが所定基準で小さいと判定される場合には、計算対象領域の限定を行わないことを特徴とする請求項１に記載の動画像符号化装置。
  7. 　前記計算領域限定部は、前記近傍にさらに、一様な間引き処理を行うことで計算対象領域を限定することを特徴とする請求項１に記載の動画像符号化装置。
  8. 　符号化された多視点映像における各視点のテクスチャ及び奥行きマップを復号するに際して、逆変換・逆量子化し、予測を適用して復号する動画像復号装置であって、奥行きマップに対する予測を適用するデプスイントラ予測部を備え、該デプスイントラ予測部が、
    　対象ブロックを線分で2領域に分割するウェッジレットを列挙したウェッジリストを作成又は保持するウェッジリスト作成部と、
    　前記ウェッジリスト内の各ウェッジレットに対して、対象ブロック内において当該ウェッジレットの通過する近傍に計算対象領域を限定する計算領域限定部と、
    　各ウェッジレットにより対象ブロック内で2分割された領域の各々において、前記限定された計算領域でのテクスチャ信号の平均値を算出する平均値算出部と、
    　各ウェッジレットに対して、前記算出された平均値と、前記限定された計算領域でのテクスチャ信号と、の差分を算出する差分評価部と、
    　前記算出された差分が最小となるウェッジレットによって対象ブロックを2領域に分割して、各領域におけるデプス信号の代表値として、奥行きマップの予測信号を生成する予測値生成部と、を備えることを特徴とする動画像復号装置。
  9. 　前記計算領域限定部は、対象ブロックをサブブロックに分割し、各サブブロックにおいて各ウェッジレットが通過する領域に基づいて、各サブブロックを当該ウェッジレットにおける計算対象領域に含めるか否かを決定することで、計算対象領域を限定することを特徴とする請求項８に記載の動画像復号装置。
  10. 　前記計算領域限定部は、対象ブロックをサブブロックに分割し、各サブブロックにおいて各ウェッジレットが通過する長さが、所定値以上である又は当該サブブロックの大きさに対する所定割合以上であるという条件を満たす場合に、当該サブブロックを計算対象領域に含め、当該条件を満たさない場合は当該サブブロックを計算対象領域から除外することを特徴とする請求項８に記載の動画像復号装置。
  11. 　前記計算領域限定部は、対象ブロックをサブブロックに分割し、各ウェッジレットについて予め設定されている所定のサブブロックに、計算対象領域を限定することを特徴とする請求項８に記載の動画像復号装置。
  12. 　前記計算領域限定部は、対象ブロックをサブブロックに分割し、各ウェッジレットについて、その両端の点が存在する範囲ごとに予め設定されている所定のサブブロックに、計算対象領域を限定することを特徴とする請求項８に記載の動画像復号装置。
  13. 　前記計算領域限定部は、対象ブロックのサイズが所定基準で小さいと判定される場合には、計算対象領域の限定を行わないことを特徴とする請求項８に記載の動画像復号装置。
  14. 　前記計算領域限定部は、前記近傍にさらに、一様な間引き処理を行うことで計算対象領域を限定することを特徴とする請求項８に記載の動画像復号装置。
  15. 　多視点映像における各視点のテクスチャ及び奥行きマップに対して、予測を適用し、変換・量子化して符号化する動画像符号化装置であって、奥行きマップに対する予測を適用するデプスイントラ予測部を備え、該デプスイントラ予測部が、
    　対象ブロックを線分で2領域に分割するウェッジレットを列挙したウェッジリストを作成又は保持するウェッジリスト作成部と、
    　前記ウェッジリスト内の各ウェッジレットに対して、対象ブロック内において一様な間引き処理によって計算対象領域を限定する計算領域限定部と、
    　各ウェッジレットにより対象ブロック内で2分割された領域の各々において、前記限定された計算領域での信号の平均値を算出する平均値算出部と、
    　各ウェッジレットに対して、前記算出された平均値と、前記限定された計算領域での信号と、の差分を算出する差分評価部と、
    　前記算出された差分が最小となるウェッジレットによって対象ブロックを2領域に分割して、各領域におけるデプス信号の代表値として、奥行きマップの予測信号を生成する予測値生成部と、を備えることを特徴とする動画像符号化装置。
  16. 　符号化された多視点映像における各視点のテクスチャ及び奥行きマップを復号するに際して、逆変換・逆量子化し、予測を適用して復号する動画像復号装置であって、奥行きマップに対する予測を適用するデプスイントラ予測部を備え、該デプスイントラ予測部が、
    　対象ブロックを線分で2領域に分割するウェッジレットを列挙したウェッジリストを作成又は保持するウェッジリスト作成部と、
    　前記ウェッジリスト内の各ウェッジレットに対して、対象ブロック内において一様な間引き処理によって計算対象領域を限定する計算領域限定部と、
    　各ウェッジレットにより対象ブロック内で2分割された領域の各々において、前記限定された計算領域でのテクスチャ信号の平均値を算出する平均値算出部と、
    　各ウェッジレットに対して、前記算出された平均値と、前記限定された計算領域でのテクスチャ信号と、の差分を算出する差分評価部と、
    　前記算出された差分が最小となるウェッジレットによって対象ブロックを2領域に分割して、各領域におけるデプス信号の代表値として、奥行きマップの予測信号を生成する予測値生成部と、を備えることを特徴とする動画像復号装置。
PCT/JP2014/058635 2013-03-29 2014-03-26 動画像符号化装置及び動画像復号装置 WO2014157386A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/781,131 US10356402B2 (en) 2013-03-29 2014-03-26 Video encoding device and video decoding device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-074975 2013-03-29
JP2013074975A JP6154643B2 (ja) 2013-03-29 2013-03-29 動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2014157386A1 true WO2014157386A1 (ja) 2014-10-02

Family

ID=51624349

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/058635 WO2014157386A1 (ja) 2013-03-29 2014-03-26 動画像符号化装置及び動画像復号装置

Country Status (3)

Country Link
US (1) US10356402B2 (ja)
JP (1) JP6154643B2 (ja)
WO (1) WO2014157386A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796721A (zh) * 2015-04-24 2015-07-22 宏祐图像科技(上海)有限公司 应用memc技术对图像光线变化场景进行运动估计的方法
CN106251307A (zh) * 2016-08-02 2016-12-21 电子科技大学 基于 Extended Smoothlets （ExSmoothlets）变换的图像近似方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544601B2 (en) * 2013-10-15 2017-01-10 Qualcomm Incorporated Wedgelet pattern extension for depth intra coding
US9955187B2 (en) * 2014-03-28 2018-04-24 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
EP3178229A4 (en) 2014-09-30 2018-03-14 HFI Innovation Inc. Method of lookup table size reduction for depth modelling mode in depth coding
US9819962B2 (en) 2015-04-06 2017-11-14 Ati Technologies Ulc Efficient low-complexity video compression
CN112689147B (zh) * 2016-05-28 2023-10-13 寰发股份有限公司 视频数据处理方法以及装置
CN110363212B (zh) * 2019-03-28 2022-02-15 西南石油大学 基于边界扫描的多wedgelet图像近似方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10162118A (ja) * 1996-11-29 1998-06-19 Canon Inc 画像処理装置及び方法
JP2004200894A (ja) * 2002-12-17 2004-07-15 Mitsubishi Electric Corp 動きベクトル検出方法、動きベクトル検出装置、画像符号化装置
JP2005277968A (ja) * 2004-03-25 2005-10-06 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
WO2011135841A1 (ja) * 2010-04-29 2011-11-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007300601A (ja) * 2006-04-07 2007-11-15 Konica Minolta Business Technologies Inc 画像データの圧縮方法およびその装置
WO2013068562A1 (en) * 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Effective wedgelet partition coding
KR102090106B1 (ko) * 2011-11-11 2020-03-17 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
WO2013072484A1 (en) * 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling
US9900619B2 (en) * 2012-07-02 2018-02-20 Qualcomm Incorporated Intra-coding of depth maps for 3D video coding
US10271034B2 (en) * 2013-03-05 2019-04-23 Qualcomm Incorporated Simplified depth coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10162118A (ja) * 1996-11-29 1998-06-19 Canon Inc 画像処理装置及び方法
JP2004200894A (ja) * 2002-12-17 2004-07-15 Mitsubishi Electric Corp 動きベクトル検出方法、動きベクトル検出装置、画像符号化装置
JP2005277968A (ja) * 2004-03-25 2005-10-06 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
WO2011135841A1 (ja) * 2010-04-29 2011-11-03 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KEI KAWAMURA ET AL.: "3D-CE6.h related: Calculation Sample Reduction for Depth Modeling Mode 1 and 3", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 JCT3V- C0230, ITU-T, 17 January 2013 (2013-01-17), pages 1 - 3 *
MASAHARU SATO ET AL.: "A Study on decoder complexity reduction of Depth coding in 3 D- HEVC", PROCEEDINGS OF THE 2013 IEICE GENERAL CONFERENCE JOHO SYSTEM 2, THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, 5 March 2013 (2013-03-05), pages 47 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104796721A (zh) * 2015-04-24 2015-07-22 宏祐图像科技(上海)有限公司 应用memc技术对图像光线变化场景进行运动估计的方法
CN104796721B (zh) * 2015-04-24 2018-03-16 宏祐图像科技(上海)有限公司 应用memc技术对图像光线变化场景进行运动估计的方法
CN106251307A (zh) * 2016-08-02 2016-12-21 电子科技大学 基于 Extended Smoothlets （ExSmoothlets）变换的图像近似方法
CN106251307B (zh) * 2016-08-02 2018-12-04 电子科技大学 基于Extended Smoothlets变换的图像近似方法

Also Published As

Publication number Publication date
US20160057417A1 (en) 2016-02-25
JP2014200021A (ja) 2014-10-23
US10356402B2 (en) 2019-07-16
JP6154643B2 (ja) 2017-06-28

Similar Documents

Publication Publication Date Title
US11323704B2 (en) Apparatus for encoding and decoding image by skip encoding and method for same
US11412137B2 (en) Image data encoding/decoding method and apparatus
JP6154643B2 (ja) 動画像符号化装置、動画像符号化装置のデプスイントラ予測方法およびプログラム、ならびに動画像復号装置、動画像復号装置のデプスイントラ予測方法およびプログラム
JP6633694B2 (ja) 多視点信号コーデック
JP5663093B2 (ja) 参照ピクチャー処理のための最適化されたフィルタ選択
US11539979B2 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
US9036933B2 (en) Image encoding method and apparatus, image decoding method and apparatus, and programs therefor
US9998761B2 (en) Apparatus for coding a bit stream representing a three-dimensional video
KR20150109282A (ko) 다시점 비디오 신호 처리 방법 및 장치
US20240048765A1 (en) Method and apparatus of encoding/decoding image data based on tree structure-based block division
US9031338B2 (en) Image encoding method and apparatus, image decoding method and apparatus, and programs therefor
US20170070751A1 (en) Image encoding apparatus and method, image decoding apparatus and method, and programs therefor
JP6571646B2 (ja) マルチビュービデオのデコード方法及び装置
EP2981083A1 (en) Method for encoding a plurality of input images and storage medium and device for storing program
KR20150113524A (ko) 향상된 화면 내 블록 복사 기반의 예측 모드를 이용한 영상 복호화 장치 및 그 방법
KR101750421B1 (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 프로그램, 및 동화상 복호 프로그램
KR20160004946A (ko) 다시점 비디오 신호 처리 방법 및 장치
JP2017126829A (ja) 動画像符号化装置、動画像符号化方法、及びプログラム
WO2014156647A1 (ja) 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置
US12015854B2 (en) Image data encoding/decoding method and apparatus
JP7026064B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP4332061B2 (ja) 画像作成方法，画像符号化方法，画像復号方法，画像作成装置，画像符号化装置，画像復号装置，画像作成プログラム，画像符号化プログラム，画像復号プログラムおよびそれらのプログラム記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14773755

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14781131

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 14773755

Country of ref document: EP

Kind code of ref document: A1