WO2014010583A1 - 映像符号化/復号方法、装置、プログラム、記録媒体 - Google Patents
映像符号化/復号方法、装置、プログラム、記録媒体 Download PDFInfo
- Publication number
- WO2014010583A1 WO2014010583A1 PCT/JP2013/068725 JP2013068725W WO2014010583A1 WO 2014010583 A1 WO2014010583 A1 WO 2014010583A1 JP 2013068725 W JP2013068725 W JP 2013068725W WO 2014010583 A1 WO2014010583 A1 WO 2014010583A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- video
- auxiliary information
- information
- filter
- decoding
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Definitions
- the present invention relates to a video encoding method, a video decoding method, a video encoding device, a video decoding device, a video encoding program, a video decoding program, and a recording medium.
- This application claims priority based on Japanese Patent Application No. 2012-153953 for which it applied on July 9, 2012, and uses the content here.
- the spatial / temporal continuity of a subject is used to divide each frame of a video into blocks as processing units, and the video signal is spatially / temporally divided for each block.
- RRU Reduced Resolution Update
- the final image can be reconstructed at a high resolution in order to perform the prediction on a high resolution basis and to apply an upsampling process at the time of decoding to a low resolution prediction residual.
- the objective quality is reduced, but the bit rate is improved as a result of the reduction of the bits to be encoded.
- the effect on subjective quality is not as great as the effect on objective quality.
- This function is available in ITU-T H.264. It is supported by the H.263 standard and is known to be particularly effective when there are intense dynamic regions in the sequence. This is because the frame rate of the encoder can be kept high by using the RRU mode, while the resolution and quality of the static region can be kept good.
- Free-viewpoint video is an arbitrary image that is obtained by capturing the ray information of the scene by capturing the target scene from various positions and angles using a number of imaging devices, and restoring the ray information at an arbitrary viewpoint based on this.
- This is a video that is viewed from the viewpoint.
- the light ray information of the scene is expressed in various data formats.
- As the most general format there is a method using a video and a depth image called a depth map in each frame of the video (for example, see Non-Patent Document 2). ).
- the depth map describes the distance (depth / depth) from the camera to the subject for each pixel, and is a simple expression of the three-dimensional information of the subject.
- the depth value of the subject is proportional to the reciprocal of the parallax between the cameras, so the depth map may be called a disparity map (parallax image). Since the depth map is an expression having one value for each pixel of the image, it can be described as a gray scale image.
- a depth map video hereinafter referred to as a depth map without distinction between images / videos
- a temporally continuous description of the depth map is similar to a video signal because of the spatial / temporal continuity of the subject. It can be said that there is a spatial and temporal correlation. Therefore, it is possible to efficiently encode the depth map while removing spatial / temporal redundancy by a video encoding method used for encoding a normal video signal.
- Non-Patent Document 3 redundancy is eliminated by sharing the prediction information (block division, motion vector, reference frame) used for both encoding, and efficient encoding is realized.
- the conventional RRU processes the prediction residual of each block without using any data from outside the block.
- the low resolution prediction residual is calculated from the high resolution prediction residual using downsampling interpolation (such as two-dimensional bilinear interpolation) based on the relative position of the sample.
- the low-resolution prediction residual is restored as a high-resolution prediction residual by encoding, reconstruction, and upsampling interpolation, and added to the predicted image.
- 19 and 20 are diagrams illustrating a spatial arrangement of a low resolution prediction residual sample with respect to a high resolution prediction residual sample for a conventional RRU and a calculation example for performing upsampling interpolation.
- white circles indicate the arrangement of high-resolution prediction residual samples
- hatched circles indicate the arrangement of low-resolution prediction residual samples.
- the characters a to e and A to D in each circle are examples of pixel values
- each of the pixel values a to e of the high resolution prediction residual sample is a pixel value A of the surrounding low resolution prediction residual sample. How to calculate from D is shown in the figure.
- the accuracy of the residual reconstructed by the interpolation accompanying the upsampling is lowered, and the quality of the decoded image is lowered.
- a video encoding method and a video decoding which can improve the accuracy of upsampling of a prediction residual in RRU and improve the quality of a finally obtained image. It is an object to provide a method, a video encoding device, a video decoding device, a video encoding program, a video decoding program, and a recording medium.
- the present invention divides each frame constituting a video to be encoded into a plurality of processing regions and down-samples a prediction residual signal using an interpolation filter when predictive encoding is performed for each processing region.
- a video encoding method that performs encoding by encoding, generating or selecting the interpolation filter adaptively with reference to information that can be referred to at the time of decoding in the processing region, so that the filter coefficient is not encoded
- a video encoding method comprising: a filter specifying step for specifying the interpolation filter; and a downsampling step for downsampling the prediction residual signal using the specified interpolation filter to obtain a low resolution prediction residual signal. I will provide a.
- the interpolation filter is generated or selected with reference to auxiliary information generated from the video information.
- the auxiliary information may be information indicating a boundary state inside the processing area.
- the auxiliary information may be information indicating the texture characteristics of the processing area.
- the filter specifying step generates or selects the interpolation filter with reference to a prediction image used for encoding the video.
- the filter specifying step generates or selects the interpolation filter with reference to a motion vector used for encoding the video.
- the filter specifying step generates or selects the interpolation filter with reference to auxiliary information correlated with the video.
- the auxiliary information may be information on a video of another viewpoint when the video is one viewpoint video of multi-view videos obtained by shooting the same scene from a plurality of viewpoints.
- It may further include an auxiliary information encoding step for encoding the auxiliary information and generating auxiliary information code data, and a multiplexing step for outputting code data obtained by multiplexing the auxiliary information code data with video code data.
- the identification number of the interpolation filter to be selected may be encoded as auxiliary information.
- the auxiliary information may be a depth map corresponding to the video.
- It may further include an auxiliary information generation step of generating information indicating the state of the boundary inside the processing area as auxiliary information from the depth map.
- the filter specifying step may generate or select the interpolation filter with reference to a video of another viewpoint corresponding to the video in addition to the depth map.
- a depth map encoding step for encoding the depth map and generating depth map code data, and a multiplexing step for outputting code data obtained by multiplexing the depth map code data with video code data may be further included.
- the video information to be encoded may be a depth map
- the auxiliary information may be video information of the same viewpoint corresponding to the depth map.
- each frame constituting the video is divided into a plurality of processing regions, and an interpolation filter is used for each processing region to generate a prediction residual signal.
- a video decoding method for performing predictive decoding by up-sampling wherein in the processing region, adaptively generating or selecting the interpolation filter with reference to information corresponding to information referred to at the time of encoding, A filter specifying step for specifying the interpolation filter without decoding a filter coefficient; and an upsampling step for upsampling the prediction residual signal using the specified interpolation filter to obtain a high-resolution prediction residual signal.
- the filter specifying step generates or selects the interpolation filter with reference to auxiliary information generated from the code data.
- the auxiliary information may be information indicating a boundary state inside the processing area.
- the auxiliary information may be information indicating the texture characteristics of the processing area.
- the filter specifying step generates or selects the interpolation filter with reference to a prediction image used for decoding the code data.
- the filter specifying step generates or selects the interpolation filter with reference to a motion vector used for decoding the code data.
- the filter specifying step generates or selects the interpolation filter with reference to auxiliary information correlated with the video.
- a demultiplexing step for demultiplexing the code data to separate auxiliary information code data and video code data, and an auxiliary information decoding step for decoding the auxiliary information code data to generate auxiliary information;
- the filter specifying step generates or selects the interpolation filter with reference to the decoded auxiliary information.
- the auxiliary information may be another viewpoint video in a case where the video is one viewpoint video among multi-view videos obtained by shooting the same scene from a plurality of viewpoints.
- the auxiliary information may be an identification number of the interpolation filter to be selected.
- the auxiliary information may be a depth map corresponding to the video information.
- it may further include an auxiliary information generation step of generating, as auxiliary information, information indicating a boundary state inside the processing region from the depth map.
- the filter specifying step may generate or select the interpolation filter with reference to a video of another viewpoint corresponding to the video in addition to the depth map.
- It may further include a demultiplexing step for demultiplexing the code data into a depth map code data and a video code data, and a depth map decoding step for decoding the depth map code data to generate a depth map. good.
- the video information to be encoded may be a depth map
- the auxiliary information may be video information of the same viewpoint corresponding to the depth map.
- the present invention divides each frame constituting a video to be encoded into a plurality of processing regions and down-samples a prediction residual signal using an interpolation filter when predictive encoding is performed for each processing region.
- a video encoding apparatus that performs encoding by performing encoding and generating or selecting the interpolation filter adaptively with reference to information that can be referred to at the time of decoding in the processing region, so that the filter coefficient is not encoded
- a video encoding apparatus comprising: filter specifying means for specifying the interpolation filter; and downsampling means for downsampling the prediction residual signal using the specified interpolation filter to obtain a low resolution prediction residual signal. Also provide.
- each frame constituting the video is divided into a plurality of processing regions, and an interpolation filter is used for each processing region to generate a prediction residual signal.
- a video decoding device that performs predictive decoding by up-sampling, and in the processing region, adaptively generating or selecting the interpolation filter with reference to information corresponding to information referred to at the time of encoding, Filter specifying means for specifying the interpolation filter without decoding filter coefficients, and upsampling means for upsampling the prediction residual signal using the specified interpolation filter to obtain a high resolution prediction residual signal
- a video decoding device comprising:
- the present invention also provides a video encoding program for causing a computer to execute the video encoding method.
- the present invention also provides a video decoding program for causing a computer to execute the video decoding method.
- the present invention also provides a computer-readable recording medium on which the video encoding program is recorded.
- the present invention also provides a computer-readable recording medium on which the video decoding program is recorded.
- an interpolation filter is adaptively applied to each processing block of the prediction residual at the time of decoding.
- the prediction residual upsampling accuracy in RRU can be improved, and the quality of the final image can be improved.
- FIG. 3 is a flowchart showing an operation of the video encoding device 100 shown in FIG. 1. It is a figure which shows the example of the interpolation filter in case a boundary crosses a block diagonally. It is a figure which shows the pattern of the state of a boundary. It is a figure which shows the example of the boundary state which can be estimated from the motion vector of an encoding object block and its peripheral block, and there. It is a figure which shows another example of the boundary state which can be estimated from the motion vector of an encoding object block and its periphery block, and there.
- FIG. 13 is a flowchart showing an operation of the video encoding device 100b shown in FIG. It is a block diagram which shows the structure of the video decoding apparatus 200b by 3rd Embodiment.
- 15 is a flowchart showing an operation of the video decoding device 200b shown in FIG. It is a figure which shows the example which calculates
- FIG. 1 is a block diagram showing the configuration of the video encoding apparatus according to the first embodiment.
- the video encoding apparatus 100 includes an encoding target video input unit 101, an input frame memory 102, an auxiliary information generation unit 103, an auxiliary information memory 104, a filter generation unit 105, a prediction unit 106, and a subtraction unit 107.
- the encoding target video input unit 101 inputs a video to be encoded to the video encoding device 100.
- the video to be encoded is referred to as an encoding target video
- a frame to be processed in particular is referred to as an encoding target frame or an encoding target image.
- the input frame memory 102 stores the input encoding target video.
- the auxiliary information generation unit 103 generates auxiliary information necessary for generating the interpolation filter from the encoding target video or the encoding target frame stored in the input frame memory 102.
- the auxiliary information necessary for generating the filter is simply referred to as auxiliary information.
- the auxiliary information memory 104 stores the generated auxiliary information.
- the filter generation unit 105 refers to the auxiliary information stored in the auxiliary information memory 104 and generates an interpolation filter used for downsampling and upsampling of the prediction residual.
- the interpolation filter used for downsampling and upsampling is simply referred to as an interpolation filter.
- the generation of the interpolation filter with reference to the auxiliary information may create one common filter for downsampling and upsampling, or create separate filters. Further, an interpolation filter may be generated only for one of down-sampling and up-sampling, and a predetermined filter may be provided for the side that is not generated.
- the prediction unit 106 performs a prediction process on the encoding target image stored in the input frame memory 102 to generate a predicted image.
- the subtraction unit 107 takes the difference value between the encoding target image stored in the input frame memory 102 and the prediction image generated by the prediction unit 106, and generates a high-resolution prediction residual.
- the down-sampling unit 108 down-samples the generated high resolution prediction residual using an interpolation filter, and generates a low resolution prediction residual.
- the transform / quantization unit 109 transforms / quantizes the generated low-resolution prediction residual and generates quantized data.
- the inverse quantization / inverse transform unit 110 performs inverse quantization / inverse transformation on the generated quantized data to generate a decoded low-resolution prediction residual.
- the up-sampling unit 111 up-samples the generated decoded low-resolution prediction residual using an interpolation filter, and generates a decoded high-resolution prediction residual.
- the adding unit 112 adds the generated decoded high resolution prediction residual and the predicted image to generate a decoded frame.
- the loop filter unit 113 multiplies the generated decoded frame by a loop filter to generate a reference frame.
- the reference frame memory 114 stores the generated reference frame.
- the entropy encoding unit 115 entropy encodes the quantized data and outputs code data (or encoded data).
- FIG. 2 is a flowchart showing the operation of the video encoding device 100 shown in FIG.
- a process of encoding one frame in the video to be encoded will be described. By repeating this process for each frame, video encoding can be realized.
- the encoding target video input unit 101 inputs the encoding target frame to the video encoding device 100 and stores it in the input frame memory 102 (step S101). It is assumed that some frames in the video to be encoded have already been encoded and the decoded frames are stored in the reference frame memory 114.
- the auxiliary information generation unit 103 generates auxiliary information from the encoding target frame.
- the auxiliary information and the interpolation filter generated thereby may be any type.
- the auxiliary information may be generated by referring to an already encoded / decoded reference frame or information such as a motion vector used for motion compensation prediction. .
- Different interpolation filters may be generated and used using different auxiliary information for upsampling and downsampling.
- the auxiliary information for the downsampling filter may be estimated by referring to any information that can be referred to by the encoding device. For example, the encoding target video itself, the encoding target high-resolution prediction residual, and other non-encoded information may be used.
- the interpolation filter used for upsampling needs to be estimated with reference to information that can be referred to in the decoding device in order to generate and select the same interpolation filter in the encoding device and the decoding device.
- information that can be referred to in the decoding device For example, a prediction image, a low-resolution prediction residual, a reference picture that has already been decoded, prediction information, and other multiplexed code data.
- other information that is not encoded may be referred to.
- this may be referred to.
- an interpolation filter that solves quality degradation at a boundary between dynamic regions or static regions in an image (hereinafter simply referred to as a boundary), which is one of the problems of conventional RRUs, and its generation
- the auxiliary information will be described.
- a prediction error due to motion compensation prediction is large in a block corresponding to a boundary, and the prediction residual of this block takes a variable value. Therefore, a subject boundary portion in a decoded image is detected by downsampling and upsampling of the prediction residual. It tends to cause deterioration. In order to prevent such deterioration, it is effective to determine the coefficient of the interpolation filter in accordance with the boundary state.
- FIG. 3 is an example of an interpolation filter in the case where the boundary indicated by the broken line obliquely crosses the block.
- white circles indicate the arrangement of high-resolution prediction residual samples
- hatched circles indicate the arrangement of low-resolution prediction residual samples.
- the letters a to l and A to H in each circle are examples of pixel values
- each of the pixel values a to l of the high resolution prediction residual sample is a pixel value A of the surrounding low resolution prediction residual sample.
- the figure shows how it is calculated from .about.H.
- interpolation is performed using only the samples in the upper region without using the samples in the lower region.
- the interpolation in the lower region In the region located on the boundary, interpolation is performed using only the samples on the boundary.
- any information indicating a boundary state is used.
- the boundary state may be shown strictly in pixel units, or a rough pattern may be determined in advance as shown in FIG. 4 (a diagram showing an example of the boundary state pattern), and the closest one may be used.
- any method may be used for estimating the boundary.
- a contour obtained by performing contour extraction processing on the encoding target frame may be estimated as the boundary.
- the auxiliary information in this case may be the contour image itself or coordinates indicating pixels constituting the contour.
- a high-resolution contour image cannot be obtained from the low-resolution prediction residual itself, but it can be estimated from the contour images of already decoded blocks and frames. Alternatively, it may be estimated from the predicted image. Further, at this time, estimation from a predicted image may be performed for a block with high prediction accuracy, and estimation may be performed with another method for a block with low prediction accuracy.
- a method of estimating a boundary state using a motion vector used for motion compensation prediction of an encoding target block and its peripheral blocks is also applicable.
- 5A and 5B show examples of motion vectors of the encoding target block and its peripheral blocks, and boundary states that can be estimated from the motion vectors.
- arrows indicate the motion vectors of the respective blocks
- FIG. 5A a horizontal boundary state is estimated
- FIG. 5B a diagonally upward boundary state is estimated.
- several patterns of boundary states are determined in advance, distinguished by identification numbers, a pattern closest to the boundary estimated by any method is selected, and the identification number is used as auxiliary information. It doesn't matter.
- a method for estimating an optimal interpolation filter from the texture characteristics of the target block can be applied. For example, if the texture has a smooth gradation, if it is uniform, if it has edges, or if it has a complex texture that contains many high-frequency components, generate and select an appropriate filter according to the characteristics. You may do it. For example, if the texture has a smooth gradation, create a filter that performs smooth interpolation, such as a bilinear filter, assuming that the residual is also in a smooth state. If the texture has strong edges, the residual is also an edge.
- an interpolation filter that preserves an edge as having
- auxiliary information for generating such an interpolation filter a predicted image of an encoding target block, a peripheral image that has already been encoded, or the like may be used.
- an interpolation filter is determined based on the boundary region pattern in the boundary region, and an interpolation filter is determined based on the texture characteristics in the non-boundary region.
- the filter coefficient of the interpolation filter it may be selected from a predetermined coefficient pattern, or may be calculated based on any function such as a bilateral filter.
- extrapolation filters can be used in some cases.
- the filter to be used may be determined by any method as in the above example. Whether to use an out-of-block sample or whether to perform extrapolation may be estimated from a video signal, or additional information may be encoded separately.
- this problem can also be indirectly reduced by reducing the blurring of the block boundary by using the above-described interpolation filter that takes into account the subject boundary.
- interpolation filter auxiliary information
- estimation method any other interpolation filter, auxiliary information, and estimation method can be used.
- the filter generation unit 105 generates an interpolation filter with reference to the auxiliary information (step S104).
- An example of the interpolation filter to be generated is as described above.
- the filter generation here may be performed by sequentially determining filter coefficients or selecting from several predetermined filter patterns.
- the prediction unit 106 performs any prediction process using the encoding target frame and the reference frame, and generates a predicted image (step S105). Any prediction method may be used as long as the prediction image can be correctly generated on the decoding side using prediction information and the like. In general video coding, a prediction method such as intra prediction or motion compensation is used. In general, the prediction information used at this time is encoded and multiplexed with video code data.
- the subtraction unit 107 takes the difference between the predicted image and the encoding target block and generates a prediction residual (step S106).
- the downsampling unit 108 performs downsampling of the prediction residual using an interpolation filter to generate a low resolution prediction residual (step S107).
- the transform / quantization unit 109 transforms and quantizes the low-resolution prediction residual to generate quantized data (step S108).
- any method may be used as long as it can be correctly inverse-quantized / inverse-transformed on the decoding side.
- the inverse quantization / inverse conversion unit 110 performs inverse quantization / inverse conversion on the quantized data to generate a decoded low-resolution prediction residual (step S109).
- the up-sampling unit 111 performs up-sampling of the decoded low-resolution prediction residual using an interpolation filter, and generates a decoded high-resolution prediction residual (Step S110).
- the interpolation filter to be used is preferably not the same one used for downsampling but the one newly regenerated by the above-described method.
- the encoding noise is not limited to this, and the same one may be used.
- the adding unit 112 adds the decoded high-resolution prediction residual and the predicted image to generate a decoded block.
- the loop filter unit 113 applies a loop filter to the generated decoded block and stores it in the reference frame memory 114 as a reference frame block (step S111). If the loop filter is not necessary, it may be omitted. However, in normal video coding, a deblocking filter or other filters are used to remove coding noise. Alternatively, a filter for removing deterioration due to RRU may be used. In addition, this loop filter may be adaptively generated in the same procedure as in the case of upsampling filter generation.
- the entropy encoding unit 115 entropy-encodes the quantized data to generate code data (step S112). When the processing is completed for all blocks (step S113), video code data is output (step S114).
- FIG. 6 is a block diagram showing the configuration of the video decoding apparatus according to the first embodiment.
- the video decoding apparatus 200 includes a code data input unit 201, a code data memory 202, an entropy decoding unit 203, an inverse quantization / inverse transform unit 204, an auxiliary information generation unit 205, an auxiliary information memory 206, a filter A generation unit 207, an upsampling unit 208, a prediction unit 209, an addition unit 210, a loop filter unit 211, and a reference frame memory 212 are provided.
- the code data input unit 201 inputs video code data to be decoded to the video decoding device 200.
- This video code data to be decoded is called decoding target video code data, and a frame to be processed in particular is called a decoding target frame or a decoding target image.
- the code data memory 202 stores the input decoding target video code data.
- the entropy decoding unit 203 entropy-decodes the code data of the decoding target frame to generate quantized data, and the inverse quantization / inverse transform unit 204 performs inverse quantization / inverse transformation on the generated quantized data to perform decoding low Generate a resolution prediction residual.
- the auxiliary information generation unit 205 generates auxiliary information from the generated decoded low-resolution prediction residual or reference frame and prediction information or other information in the same manner as described above for the encoding device.
- the auxiliary information memory 206 stores the generated auxiliary information.
- the filter generation unit 207 generates an interpolation filter used for upsampling the prediction residual with reference to the auxiliary information.
- the up-sampling unit 208 performs up-sampling of the decoded low-resolution prediction residual using an interpolation filter, and generates a decoded high-resolution prediction residual.
- the prediction unit 209 performs prediction processing on the decoding target image with reference to prediction information and the like, and generates a predicted image.
- the adder 210 adds the generated decoded high-resolution prediction residual and the predicted image to generate a decoded frame.
- the loop filter unit 211 applies a loop filter to the generated decoded frame to generate a reference frame.
- the reference frame memory 212 stores the generated reference frame.
- FIG. 7 is a flowchart showing the operation of the video decoding apparatus 200 shown in FIG.
- a process of decoding one frame in the code data will be described. By repeating this process for each frame, video decoding can be realized.
- the code data input unit 201 inputs video code data to the video decoding device 200 and stores it in the code data memory 202 (step S201). It is assumed that some frames in the video to be decoded have already been decoded and stored in the reference frame memory 212.
- a routine for dividing the decoding target frame into target blocks and decoding the video signal of the decoding target frame for each block is performed (step S202). That is, the following steps S203 to S208 are repeatedly executed until all the blocks in the frame are sequentially processed.
- the entropy decoding unit 203 entropy-decodes the code data, performs inverse quantization / inverse conversion in the inverse quantization / inverse conversion unit 204, and generates a decoded low resolution prediction residual.
- Generate step S203.
- the auxiliary information generation unit 205 generates auxiliary information necessary for generating the interpolation filter from the generated decoded low-resolution prediction residual or reference frame and the prediction information or other information, and stores the auxiliary information in the auxiliary information memory 206.
- Store step S204).
- the filter generation unit 207 When the auxiliary information is generated, the filter generation unit 207 generates an interpolation filter using the auxiliary information (step S205). Next, the upsampling unit 208 upsamples the decoded low resolution prediction residual and generates a decoded high resolution prediction residual (step S206). Subsequently, the prediction unit 209 performs any prediction process using the decoding target block and the reference frame to generate a predicted image (step S207). Further, the adding unit 210 adds the decoded high-resolution prediction residual and the predicted image, further applies a loop filter by the loop filter unit 211, and stores the output as a reference block in the reference frame memory 212 (step S208). Finally, when the processing is completed for all blocks (step S209), it is output as a decoded frame (step S210).
- FIG. 8 is a block diagram showing a configuration of a video encoding device 100a according to the second embodiment of the present invention.
- the apparatus shown in this figure is different from the apparatus shown in FIG. 1 in that an auxiliary information input unit 116 is provided instead of the auxiliary information generation unit 103, and an auxiliary information encoding unit 117 and a multiplexing unit 118 are newly provided. It is.
- the auxiliary information input unit 116 inputs auxiliary information necessary for generating the interpolation filter to the video encoding device 100a.
- the auxiliary information encoding unit 117 encodes the input auxiliary information and generates auxiliary information code data.
- the multiplexing unit 118 multiplexes the auxiliary information code data and the video code data and outputs them.
- FIG. 9 is a flowchart showing the operation of the video encoding device 100a shown in FIG. 9 shows a supplementary information generation process in the first embodiment.
- the supplementary information is taken from outside and used for filter generation.
- the supplementary information is encoded and multiplexed with video code data to obtain a video signal. Shows the process. 9, the same parts as those shown in FIG. 2 are denoted by the same reference numerals, and the description thereof is omitted.
- the encoding target video input unit 101 inputs the encoding target frame to the video encoding device 100 a and stores it in the input frame memory 102.
- the auxiliary information input unit 116 takes in auxiliary information and stores it in the auxiliary information memory 104 (step S101a). It is assumed that some frames in the video to be encoded have already been encoded and the decoded frames are stored in the reference frame memory 114.
- the auxiliary information input here may be any information as long as it can generate the same kind of interpolation filter on the decoding device side. As in the example described in the first embodiment, it may be generated from video information or prediction information, or may be generated based on other information having some correlation with the encoding target video, or based on the information. .
- the video to be encoded is a video from one viewpoint among multi-view videos taken from the same scene from multiple viewpoints
- the video to be encoded has a spatial correlation with the video from other viewpoints.
- auxiliary information for a video to be encoded from a video of another viewpoint.
- the method for obtaining auxiliary information at this time may be the same method as in the example of the first embodiment, or may be another method.
- the auxiliary information that is encoded and multiplexed with the video code data may be auxiliary information obtained for the video data to be encoded, or other information as long as the same auxiliary information can be obtained on the decoding device side. It is possible to encode the video of the viewpoint.
- image information having a value depending on the subject, such as a normal map or a temperature image, may be used.
- some filter patterns and their identification numbers may be determined in advance, and the identification number of the filter to be selected may be used as auxiliary information as it is.
- Any method may be used for filter selection in this case. That is, a filter to be selected may be obtained by a method similar to any of the above-described methods, and encoding / decoding is performed using a filter that is considered for each encoding target block, and the obtained decoding is performed. You may evaluate the quality of the block and select the filter that gives the best quality.
- the filter coefficient of the filter obtained by any method may be used as auxiliary information as it is. Alternatively, for example, a filter coefficient may be determined based on any function such as a bilateral filter, and parameters of the function may be used as auxiliary information.
- the auxiliary information used for generating the filter may be encoded information that is not subjected to encoding when the generation of encoding noise or other noise is allowed. However, in order to improve the encoding quality, it is described later. You may use what passed through encoding and decoding by the encoding procedure and decoding procedure.
- the auxiliary information may be encoded / decoded in the video encoding apparatus, or may be separately encoded / decoded before encoding the encoding target video.
- step S103 a routine for dividing the encoding target frame into encoding target blocks and encoding the video signal of the encoding target frame for each block is performed (step S103). That is, the following steps S104 to S112b are repeatedly executed until all the blocks in the frame are sequentially processed.
- the processing from step S104 to S112 is executed in the same manner as the processing operation shown in FIG.
- the above-described auxiliary information is encoded (step S112a) and multiplexed with video code data to generate code data (step S112b).
- This encoding method may be any method as long as it can be correctly decoded on the decoding side.
- auxiliary information is once encoded / decoded to generate the filter as described above
- the encoded auxiliary information may be used as it is instead of further encoding the decoded data.
- video code data is output (step S114).
- FIG. 10 is a block diagram showing the configuration of the video decoding apparatus according to the second embodiment.
- the apparatus shown in this figure is different from the apparatus shown in FIG. 6 in that a demultiplexing unit 213 is newly provided, and an auxiliary information decoding unit 214 is provided instead of the auxiliary information generation unit 205.
- the demultiplexing unit 213 demultiplexes the code data and separates into auxiliary information code data and video code data.
- the auxiliary information decoding unit 214 decodes the auxiliary information code data and generates auxiliary information.
- FIG. 11 is a flowchart showing the operation of the video decoding apparatus 200a shown in FIG.
- code data in which video code data and auxiliary information code data are multiplexed instead of the video code data in the first embodiment is input to the video decoding device 200a, and this is demultiplexed to generate auxiliary information.
- auxiliary information decoding is performed instead of the above and the decoded auxiliary information is used for filter generation.
- the same parts as those shown in FIG. 7 are denoted by the same reference numerals, and the description thereof is omitted.
- the code data input unit 201 inputs the video code data to the video decoding device 200a and stores it in the code data memory 202 (step S201). It is assumed that some frames in the video to be decoded have already been decoded and stored in the reference frame memory 212.
- a routine for dividing the decoding target frame into target blocks and decoding the video signal of the decoding target frame for each block is performed (step S202). That is, the following steps S203 to S208 are repeatedly executed until all the blocks in the frame are sequentially processed.
- the demultiplexing unit 213 demultiplexes the input video code data into video code data and auxiliary information code data (step 203a). Then, the entropy decoding unit 203 entropy-decodes the video code data, and the inverse quantization / inverse transformation unit 204 performs inverse quantization / inverse transformation to generate a decoded low-resolution prediction residual (step S203). Subsequently, the auxiliary information decoding unit 214 decodes the auxiliary information and stores it in the auxiliary information memory 206 (step S204a). Thereafter, steps S205 to S210 perform the same processing as the processing operation shown in FIG.
- auxiliary information code data and video code data are multiplexed in units of processing blocks.
- different code data may be used in different processing units such as a screen unit.
- the auxiliary information may not be encoded and multiplexed on the encoding device side.
- FIG. 12 is a block diagram showing a configuration of a video encoding device 100b according to the third embodiment of the present invention.
- the apparatus shown in FIG. 1 is different from the apparatus shown in FIG. 1 in that a depth map input unit 119 and a depth map memory 120 are newly provided, and the auxiliary information generation unit 103 uses a depth map instead of the encoding target frame.
- the auxiliary information is generated.
- the depth map input unit 119 inputs a depth map (information) referred to for generating an interpolation filter to the video encoding device 100b.
- the depth map input here represents the depth value of the subject shown in each pixel of each frame of the encoding target video.
- the depth map memory 120 stores the input depth map.
- FIG. 13 is a flowchart showing the operation of the video encoding device 100b shown in FIG. 13 shows processing in the case where a depth map is taken from outside and used for auxiliary information generation instead of generating auxiliary information with reference to video information in the first embodiment.
- FIG. 13 the same parts as those shown in FIG.
- the encoding target video input unit 101 inputs the encoding target frame to the video encoding device 100 b and stores it in the input frame memory 102.
- the depth map input unit 119 captures the depth map and stores it in the depth map memory 120 (step S101b). It is assumed that some frames in the video to be encoded have already been encoded, the decoded frames are stored in the reference frame memory 114, and the corresponding depth maps are stored in the depth map memory 120.
- the input encoding target frames are sequentially encoded. However, the input order and the encoding order are not necessarily the same.
- the previously input frame is stored in the input frame memory 102 until the next frame to be encoded is input.
- the encoding target frame stored in the input frame memory 102 may be deleted from the input frame memory 102 after being encoded by the encoding process described below.
- the depth map stored in the depth map memory 120 is stored until the decoded frame of the corresponding encoding target frame is deleted from the reference frame memory 114.
- the depth map input in step S101b is preferably the same as the depth map obtained on the decoding device side in order to suppress the generation of coding noise and other noises.
- a depth map used for video encoding is one that has been encoded and decoded.
- a depth map synthesized using a decoded depth map of another viewpoint or a coded image group of another viewpoint is decoded.
- a depth map without encoding may be used.
- the auxiliary information generation unit 103 generates auxiliary information used for generating an interpolation filter with reference to the depth map (step S102a).
- the auxiliary information generated here, its estimation method, and the generated interpolation filter may be anything.
- the boundary information as exemplified in the first embodiment is used as auxiliary information, it is the same using the contour information of the depth map, the motion vector for encoding the depth map, and the like instead of the video. May be estimated.
- the depth value of each pixel constituting the same subject takes a relatively continuous value, and the depth value of each pixel often takes a discrete value at the boundary between different subjects.
- boundary information based on contour information and motion vectors in the depth map
- accurate boundary information can be detected without being affected by the texture of the video, so that an interpolation filter can be generated with high accuracy.
- subject boundary extraction is performed from the entire depth map instead of local boundary state estimation.
- the subject may be extracted in consideration of the continuity described above, or a method such as image segmentation may be used.
- the depth value of each pixel in the block itself, a calculated value using the same, or an identification number of a filter to be selected may be used as auxiliary information.
- switching between adaptively generating an interpolation filter or using a predetermined filter may be performed.
- a block with a small average depth value has high accuracy when performing parallax compensation prediction because the parallax with a video from another viewpoint is very small, and because the distance from the camera is long, the movement amount of the subject is small, and the motion Compensation prediction is often relatively accurate. For this reason, there is a high possibility that the prediction residual is extremely small, and a good decoding result is highly likely to be obtained by interpolation using a simple bilinear filter or the like.
- the converse is true for blocks with a large depth value, and it is highly possible that an adaptive interpolation filter is effective.
- an interpolation filter by referring to a video of another viewpoint by obtaining a correspondence relationship between the video to be encoded and a video of another viewpoint that has already been decoded using a depth map with high accuracy. I do not care.
- the filter coefficient it may be selected from a predetermined coefficient pattern, or may be calculated based on any function such as a bilateral filter.
- a cross bilateral filter function is conceivable in which the luminance value referred to by the bilateral filter is not the luminance value of the video to be encoded, but the luminance value of the depth map.
- a function that refers to both the video and the depth map, or further information may be used.
- steps S103 to S114 are executed in the same manner as the processing operation shown in FIG.
- FIG. 14 is a block diagram showing the configuration of the video decoding apparatus according to the third embodiment.
- the apparatus shown in this figure differs from the apparatus shown in FIG. 6 in that a depth map input unit 215 and a depth map memory 216 are newly provided, and the auxiliary information generation unit 205 uses a depth map instead of the low resolution prediction residual.
- the auxiliary information is generated.
- the depth map input unit 215 inputs and inputs a depth map (information) to be referred to for generating an interpolation filter to the video decoding device 200b, and the depth map memory 216 stores the input depth map.
- FIG. 15 is a flowchart showing the operation of the video decoding apparatus 200b shown in FIG. FIG. 15 shows processing when a depth map is taken from the outside and used for auxiliary information generation instead of generating auxiliary information with reference to video information in the first embodiment.
- FIG. 15 the same parts as those shown in FIG. 7 are denoted by the same reference numerals, and the description thereof is omitted.
- the code data input unit 201 inputs code data to the video decoding device 200 b and stores the code data in the code data memory 202.
- the depth map input unit 215 takes in the depth map and stores it in the depth map memory 216 (step S201a). It is assumed that some frames in the video to be decoded have already been decoded, and the corresponding depth map is stored in the depth map memory 216 in the reference frame memory 212.
- the decoding target frame is divided into decoding target blocks, and the video signal of the decoding target frame is decoded for each block (step S202). The following steps S203 to S208 are repeatedly executed until all the blocks in the frame are sequentially processed.
- the entropy decoding unit 203 performs entropy decoding on the code data. Then, the inverse quantization / inverse transformation unit 204 performs inverse quantization / inverse transformation to generate a decoded low-resolution prediction residual (step 203). Subsequently, the auxiliary information generation unit 205 generates auxiliary information necessary for generating the interpolation filter from the depth map and the prediction information thereof, and stores the auxiliary information in the auxiliary information memory 206 (step S204b). Thereafter, processing similar to the processing operation shown in FIG. 7 is performed from step S205 to step S210.
- a depth map may be encoded by RRU.
- an interpolation filter for depth map may be generated with reference to the video information.
- RRU may be used for both the video information and the depth map
- the interpolation filter for the depth map may be generated by self-reference or input auxiliary information
- the video information may be decoded using the decoded depth map.
- the relationship between the video information and the depth map may be reversed.
- the bi-directional reference may be performed by devising the order of encoding and decoding.
- the depth map may be used in combination with auxiliary information estimated from video information as in the first embodiment, or auxiliary information encoded as additional information. For example, a filter corresponding to the boundary state is generated in the boundary region obtained from the depth map, and an interpolation filter is generated from the texture of the video in the non-boundary region.
- auxiliary information is generated by referring to the depth map corresponding to the decoding target frame.
- the depth map corresponding to the already decoded reference frame may be referred to.
- not only the depth map but also the decoding target frame, its prediction information, and the reference frame may be referred to, or the prediction information of the depth map itself may be referred to.
- the input depth map is used as it is.
- a low pass filter or the like is applied to reduce the coding noise of the depth map. It doesn't matter.
- bit depth for the input depth map is sufficient.
- Processing may be performed to reduce the bit depth of the depth map by performing conversion. Note that simple bit depth conversion may be performed, but the information may be converted into information that only distinguishes the subject according to the result by determining the number of subjects from the depth map.
- the present invention may be applied to only some blocks.
- the downsampling rate may be variable depending on the block.
- information indicating whether or not the RRU is applicable and the downsampling rate may be encoded and included in the additional information, or a function for determining whether or not the RRU is applicable and the downsampling rate may be added to the decoding device side.
- RRU applicability and the downsampling rate may be determined with reference to a depth map. In that case, it is preferable to add an avoidance function and a correction function to prevent the decoding from being impossible due to the coding noise of the depth map or a transmission error.
- the interpolation filter is adaptively generated for all the blocks.
- the default filter is used for a block where sufficient performance can be obtained with the default filter. Good.
- whether to use a predetermined filter or to generate a filter may be switched with reference to video information or auxiliary information.
- the downsampling may use a predetermined filter, and may use an interpolation filter that is adaptively generated only for upsampling, or vice versa.
- the auxiliary information is generated outside the loop in the encoding apparatus, but may be executed for each block internally.
- the auxiliary information is generated for each block inside the loop, but may be executed outside the loop if possible.
- the filter generation is executed inside the loop, but it may be executed outside. Further, filter generation may be executed in advance for a plurality of frames, and the decoding apparatus may execute the filter in any other order as long as the corresponding filter can be generated before decoding of the decoding target frame.
- auxiliary information is generated using a decoded low-resolution prediction residual obtained by dequantizing and inversely transforming code data and a decoded depth map in decoding.
- the auxiliary information may be generated with reference to the quantized data before inverse quantization or the transformed data before inverse transform.
- FIG. 16 shows an example in which boundary information is obtained from DCT coefficients of the transformed and quantized depth map.
- boundary information is obtained from DCT coefficients of the transformed and quantized depth map.
- the luminance signal and the color difference signal in the encoding target video signal are not particularly distinguished. However, they may be distinguished. For example, downsampling / upsampling may be performed only on the color difference signal, and the luminance signal may be encoded with high resolution, or vice versa. Alternatively, different interpolation filters for the luminance signal and the color difference signal may be used. In this case, for example, an interpolation filter for the luminance signal may be generated with reference to the color difference signal.
- the video encoding and video decoding processes described above can also be realized by a computer and a software program, and the program can be provided by being recorded on a computer-readable recording medium or provided through a network. Is also possible.
- FIG. 17 shows a hardware diagram in the case where the video encoding apparatus described above is configured by a computer and a software program.
- the system CPU 30 that executes the program
- a memory 31 such as a RAM for storing programs and data accessed by the CPU 30
- An encoding target video input unit 32 that inputs a video signal to be encoded from a camera or the like into the video encoding device (may be a storage unit that stores a video signal by a disk device or the like)
- a program storage device 35 in which a video encoding program 351, which is a software program that causes the CPU 30 to execute the processes shown in FIGS. 2, 9, and 13, is stored.
- a code data output unit 36 that outputs code data generated by the CPU 30 executing the video encoding program loaded in the memory 31 via, for example, a network (also a storage unit that stores code data by a disk device or the like) Good) Are connected by a bus.
- a network also a storage unit that stores code data by a disk device or the like
- an auxiliary information input unit 33 for inputting auxiliary information via a network (an auxiliary information signal by a disk device or the like is input).
- a depth map input unit 34 (which may be a storage unit for storing a depth map signal by a disk device or the like) that inputs a depth map for a video to be encoded, for example, via a network. do it.
- other hardware such as a code data storage unit and a reference frame storage unit is provided and used to implement this method.
- a video signal code data storage unit, a prediction information code data storage unit, and the like may be used.
- FIG. 18 shows a hardware diagram in the case where the above-described video decoding apparatus is configured by a computer and a software program.
- the system CPU 40 that executes the program
- a memory 41 such as a RAM in which programs and data accessed by the CPU 40 are stored
- a code data input unit 42 for inputting code data encoded by the video encoding device according to the method of the present invention into the video decoding device (may be a storage unit for storing code data by a disk device or the like)
- a program storage device 45 in which a video decoding program 451, which is a software program that causes the CPU 40 to execute the processes shown in FIGS. 7, 11, and 15, is stored.
- a decoded video output unit 46 that outputs the decoded video generated by the CPU 40 executing the video decoding program loaded in the memory 41 to a playback device or the like.
- a depth map input unit 44 for example, by a disk device
- a storage unit that stores the depth map signal.
- other hardware such as a reference frame storage unit is provided and used to implement this method.
- a video signal code data storage unit, a prediction information code data storage unit, and the like may be used.
- an interpolation filter is adaptively generated for each processing block of the prediction residual at the time of decoding using any additional information encoded with the video signal or information predictable from the video information.
- the upsampling accuracy of the prediction residual in RRU can be improved, and the final image can be reconstructed with the original high resolution and good quality.
- the RRU mode described above is suitable for use in free viewpoint video coding, but is not limited to this.
- free viewpoint video encoding which is a video signal encoding method with additional information such as a depth map originally, eliminates the need to include extra additional information in the signal, and thus is more effective. Is.
- a program for realizing the functions of the processing units is recorded on a computer-readable recording medium, and the program recorded on the recording medium is stored in a computer system.
- the video encoding process and the video decoding process may be performed by reading and executing.
- the “computer system” includes an OS and hardware such as peripheral devices.
- the “computer system” includes a WWW system having a homepage providing environment (or display environment).
- the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
- the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
- RAM volatile memory
- the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
- the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
- the program may be for realizing a part of the functions described above. Furthermore, what can implement
- Video encoding device 101 Encoding target video input unit 102 ... Input frame memory 103 ... Auxiliary information generation unit 104 ... Auxiliary information memory 105 ... Filter generation Unit 106 ... prediction unit 107 ... subtraction unit 108 ... down-sampling unit 109 ... transformation / quantization unit 110 ... inverse quantization / inverse transformation unit 111 ... up-sampling unit 112 Adder 113 ... Loop filter unit 114 ... Reference frame memory 115 ... Entropy encoding unit 116 ... Auxiliary information input unit 117 ... Auxiliary information encoding unit 118 ... Multiplexing unit 119 ... Depth map input unit 120 ...
- Video decoding device 201 ... Code data input unit 202 ... Memory 203 ... entropy decoding unit 204 ... inverse quantization / inverse conversion unit 205 ... auxiliary information generation unit 206 ... auxiliary information memory 207 ... filter generation unit 208 ... upsampling unit 209 ⁇ Prediction unit 210 ⁇ Addition unit 211 ⁇ Loop filter unit 212 ⁇ Reference frame memory 213 ⁇ Demultiplexing unit 215 ⁇ Depth map input unit 216 ⁇ Depth map memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本願は、2012年7月9日に出願された特願2012-153953号に基づき優先権を主張し、その内容をここに援用する。
このプロセスの結果、客観的な品質は低下するが、符号化対象ビットの減少により結果的にビットレートが向上する。また、主観品質に対する影響は客観品質に対する影響と比較して大きくない。
この機能はITU-T H.263標準によりサポートされており、シーケンス内に激しい動的領域が存在する場合に特に有効であることが知られている。これは、RRUモードを利用することによりエンコーダのフレームレートを高く維持することができ、一方で静的領域の解像度と品質を良好に保つことができるためである。
シーンの光線情報は様々なデータ形式によって表現されるが、最も一般的な形式としては、映像とその映像の各フレームにおけるデプスマップと呼ばれる奥行き画像を用いる方式がある(例えば、非特許文献2参照)。
デプスマップは画像の各画素につき一つの値を持つ表現であるために、グレースケール画像とみなして記述することができる。また、デプスマップの時間的に連続した記述であるデプスマップ映像(以下では画像/映像の区別なしにデプスマップと呼ぶ)は、映像信号と同様に、被写体の空間的/時間的な連続性から、空間的・時間的相関を持つと言える。したがって、通常の映像信号を符号化するために用いられる映像符号化方式によって、空間的/時間的冗長性を取り除きながらデプスマップを効率的に符号化することが可能である。
非特許文献3では、両者の符号化に用いる予測情報(ブロック分割、動きベクトル、参照フレーム)を共通化することで冗長性を排除し、効率的な符号化を実現している。
図19、図20は、従来のRRUについての高解像度予測残差サンプルに対する低解像度予測残差サンプルの空間配置と、アップサンプリング補間を行うための計算例を示す図である。
これら各図において、白丸は高解像度予測残差サンプルの配置を示し、斜線付きの丸は、低解像度予測残差サンプルの配置を示す。また、各丸内の文字a~e、A~Dは画素値の例であり、高解像度予測残差サンプルの画素値a~eの各々が、周囲の低解像度予測残差サンプルの画素値A~Dからどのように算出されるかを図内に示している。
2つ以上の残差値が互いに大きく異なるサンプルを含むブロックにおいては、このアップサンプリングに伴う補間によって再構成された残差の精度が落ち、復号画像の品質を低下させる。また、一般にブロック境界部のアップサンプリングにはブロック内のサンプルのみを利用し、異なるブロックのサンプルは参照しない。このため、補間精度によってはブロック境界部にブロック歪(ブロック境界付近に特有の歪)が発生することがある。
この場合、前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有するようにしても良い。
この場合、前記デプスマップから前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有しても良い。
この場合、前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有するようにしても良い。
これにより、RRUモードを利用して符号化効率を向上させることができるとともに、映像の品質を充分保つことができるという効果が得られる。
<第1実施形態>
始めに、本発明の第1実施形態による映像符号化装置について説明する。図1は、同第1実施形態による映像符号化装置の構成を示すブロック図である。
映像符号化装置100は、図1に示すように、符号化対象映像入力部101、入力フレームメモリ102、補助情報生成部103、補助情報メモリ104、フィルタ生成部105、予測部106、減算部107、ダウンサンプル部108、変換・量子化部109、逆量子化・逆変換部110、アップサンプル部111、加算部112、ループフィルタ部113、参照フレームメモリ114、およびエントロピー符号化部115を備えている。
入力フレームメモリ102は、入力された符号化対象映像を記憶する。
補助情報生成部103は、入力フレームメモリ102に記憶された符号化対象映像または符号化対象フレームから、補間フィルタを生成するために必要となる補助情報を生成する。以下では、このフィルタ生成に必要な補助情報のことを、単に補助情報と呼ぶ。
補助情報メモリ104は、生成された補助情報を記憶する。
フィルタ生成部105は、補助情報メモリ104に記憶された補助情報を参照して予測残差のダウンサンプリングおよびアップサンプリングに使用する補間フィルタを生成する。以下では、このダウンサンプリングおよびアップサンプリングに使用する補間フィルタのことを、単に補間フィルタと呼ぶ。
なお、補助情報を参照しての補間フィルタの生成は、ダウンサンプリングおよびアップサンプリング用で共通の1つのフィルタを作成しても、別々のフィルタを作成しても良い。また、ダウンサンプリングおよびアップサンプリングのいずれか一方のみに補間フィルタを生成し、生成しない側については、所定のフィルタを提供するなどしても良い。
減算部107は、入力フレームメモリ102に記憶された符号化対象画像と予測部106が生成した予測画像の差分値をとり、高解像度予測残差を生成する。
ダウンサンプル部108は、生成された高解像度予測残差を、補間フィルタを使用してダウンサンプリングし、低解像度予測残差を生成する。
変換・量子化部109は、生成された低解像度予測残差を変換・量子化し、量子化データを生成する。
逆量子化・逆変換部110は、生成された量子化データを逆量子化・逆変換し、復号低解像度予測残差を生成する。
アップサンプル部111は、生成された復号低解像度予測残差を、補間フィルタを用いてアップサンプリングし、復号高解像度予測残差を生成する。
加算部112は、生成された復号高解像度予測残差と予測画像とを足しあわせ、復号フレームを生成する。
ループフィルタ部113は、生成された復号フレームにループフィルタを掛け合わせ、参照フレームを生成する。
参照フレームメモリ114は、生成された参照フレームを記憶する。
エントロピー符号化部115は、量子化データをエントロピー符号化し符号データ(または符号化データ)を出力する。
ここでは符号化対象映像中のある1フレームを符号化する処理について説明する。当該処理をフレームごとに繰り返すことで、映像の符号化を実現することができる。
この補助情報及び、それにより生成される補間フィルタは、どのようなものであっても構わない。また、補助情報の生成には、符号化対象フレームの他に、既に符号化・復号済みの参照フレームを参照しても構わないし、動き補償予測に用いる動きベクトルなどの情報を用いても構わない。
また、アップサンプリング用とダウンサンプリング用とで異なる補助情報を用いて異なる補間フィルタを生成して使用してもかまわない。その場合にはダウンサンプリングフィルタのための補助情報は符号化装置で参照可能であるどのような情報を参照して推定してもかまわない。たとえば符号化対象映像そのものや、符号化対象高解像度予測残差、その他の符号化しない情報を用いてもかまわない。
アップサンプリングに用いる補間フィルタに関しては、符号化装置および復号装置において同一の補間フィルタを生成・選択するために、復号装置で参照可能である情報を参照して推定する必要がある。たとえば予測画像、低解像度予測残差、既に復号済みの参照ピクチャや予測情報や、その他多重化される符号データなどである。
あるいは、符号化装置および復号装置で同一のものを参照できるのであれば符号化されない別の情報を参照してもかまわない。たとえば符号化側と復号側とで符号化されていない別の映像を参照できる場合には、これを参照してもかまわない。
一般に、境界に相当するブロックにおいては動き補償予測による予測誤差が大きく、このブロックの予測残差はばらついた値をとるため、予測残差のダウンサンプリング及びアップサンプリングによって、復号画像において被写体境界部が訛るような劣化が生じやすい。こうした劣化を防ぐためには、境界の状態に応じて補間フィルタの係数を決定することが有効である。
図3は、破線で示す境界がブロックを斜めに横切る場合の補間フィルタの例である。
同図において、白丸は高解像度予測残差サンプルの配置を示し、斜線付きの丸は、低解像度予測残差サンプルの配置を示す。また、各丸内の文字a~l、A~Hは画素値の例であり、高解像度予測残差サンプルの画素値a~lの各々が、周囲の低解像度予測残差サンプルの画素値A~Hからどのように算出されるかを図内に示している。
この例では、境界より上部の領域では、下部領域のサンプルを使用せずに、上部領域のサンプルのみを使用して補間を行う。下部領域における補間についても同様である。また、境界上に位置する領域では、境界上のサンプルのみを使用して補間を行なう。
また、境界を推定する方法はどのようなものでも構わないが、例えば、符号化対象フレームに対して輪郭抽出処理を施すことで得られる輪郭を境界と推定しても構わない。この場合の補助情報は、輪郭画像そのものでも構わないし、輪郭を構成する画素を示す座標でも構わない。
復号時には低解像度予測残差そのものからは高解像度の輪郭画像を求めることができないが、既に復号済みのブロックやフレームの輪郭画像から推定することは可能である。または、予測画像から推定しても構わない。更にこのとき、予測精度の高いブロックでは予測画像からの推定を行い、予測精度の低いブロックでは別の方法で推定してもかまわない。
図5A,5Bは、符号化対象ブロック及びその周辺ブロックの動きベクトルと、そこから推定できる境界状態の例を示す。これらの図において、矢印は各ブロックの動きベクトルを示し、図5Aでは水平方向の境界状態が、図5Bでは右上がりの対角線方向の境界状態が、それぞれ推定されている。
また別の方法としては、前述のように局所的な境界状態の推定ではなく、映像全体から被写体抽出を行い境界を推定するといった方法もある。これには画像セグメンテーションや、その他任意の方法を用いて構わない。
更に別の方法としては、予め境界状態のパターンを幾通りかに定め、識別番号によって区別しておき、何れかの方法で推定した境界に最も近いパターンを選択し、その識別番号を補助情報として用いても構わない。
例えば、テクスチャが滑らかなグラデーションを持つ場合や、均一である場合や、エッジをもつ場合、または複雑で高周波成分を多く含むテクスチャを持つ場合、などの特性にあわせて適切なフィルタを生成・選択するようにしても良い。たとえばテクスチャが滑らかなグラデーションを持つ場合においては残差も滑らかな状態であるとしてバイリニアフィルタなどの滑らかな補間を行うフィルタを生成し、強いエッジが存在するようなテクスチャであればその残差もエッジを持つものとしてエッジを保存するような補間フィルタの推定を行うことができる。このような補間フィルタを生成する補助情報として、符号化対象ブロックの予測画像や、既に符号化済みの周辺画像などを利用しても良い。
また、境界情報とテクスチャ特性の両方を組み合わせてもよい。例えば、境界領域では境界領域パターンに基づいて補間フィルタを決定し、非境界領域ではテクスチャ特性に基づいて補間フィルタを決定する等である。
補間フィルタのフィルタ係数の具体的な決定方法としては、予め定めた係数パターンから選択しても構わないし、バイラテラルフィルタのように何れかの関数に基づいて計算しても構わない。
用いるフィルタは、前述の例のようにいずれの方法で決めても構わない。ブロック外サンプルの使用可否や補外の実施可否は映像信号から推定しても構わないし、別に付加情報を符号化しても構わない。また、この問題についても、前述の被写体境界を考慮する補間フィルタを利用することで、ブロック境界部の訛りを低減し、間接的に緩和することができる。
符号化対象ブロックごとに繰り返される処理では、まず、フィルタ生成部105は補助情報を参照して補間フィルタを生成する(ステップS104)。
生成する補間フィルタの例は前述のとおりである。ここでのフィルタ生成は、フィルタ係数を逐次決定しても構わないし、予め幾通りかに定められたフィルタパターンから選択しても構わない。
予測方法は、復号側で予測情報などを使用して正しく予測画像を生成できるのであればどのような方法でも構わない。一般的な映像符号化では、画面内予測や動き補償などの予測方法を用いる。また、一般にはこのとき用いる予測情報を符号化し映像符号データと多重化する。
予測残差の生成が終了したら、ダウンサンプル部108は、補間フィルタを使用して予測残差のダウンサンプリングを実行し低解像度予測残差を生成する(ステップS107)。
続いて、変換・量子化部109は低解像度予測残差を変換・量子化し、量子化データを生成する(ステップS108)。この変換・量子化は、復号側で正しく逆量子化・逆変換できるものであればどのような方法を用いても構わない。
続いて、アップサンプル部111は、補間フィルタを使用して復号低解像度予測残差のアップサンプリングを行い、復号高解像度予測残差を生成する(ステップS110)。このとき、使用する補間フィルタはダウンサンプリングに使用したものと同一のものを使用するのではなく、前述のような手法で新たに生成し直したものを用いることが望ましい。ただし符号化ノイズを許容する場合はその限りではなく、同一のものを使用してもよい。
ループフィルタは必要がなければ特にかけなくてもかまわないが、通常の映像符号化では、デブロッキングフィルタやその他のフィルタを使用して符号化ノイズを除去する。もしくは、RRUによる劣化を除去するためのフィルタを使用してもよい。また、このループフィルタを、アップサンプリングフィルタ生成の場合と同様の手順で適応的に生成してもよい。
次に、エントロピー符号化部115は、量子化データをエントロピー符号化し符号データを生成する(ステップS112)。
全てのブロックについて処理が終了したら(ステップS113)、映像符号データを出力する(ステップS114)。
映像復号装置200は、図6に示すように、符号データ入力部201、符号データメモリ202、エントロピー復号部203、逆量子化・逆変換部204、補助情報生成部205、補助情報メモリ206、フィルタ生成部207、アップサンプル部208、予測部209、加算部210、ループフィルタ部211、および参照フレームメモリ212を備えている。
符号データメモリ202は、入力された復号対象映像符号データを記憶する。
エントロピー復号部203は、復号対象フレームの符号データをエントロピー復号し量子化データを生成し、逆量子化・逆変換部204は生成された量子化データに逆量子化/逆変換を施して復号低解像度予測残差を生成する。
補助情報生成部205は、符号化装置に対しての上述の説明と同様に、生成された復号低解像度予測残差または参照フレーム、および予測情報、またはその他の情報から、補助情報を生成する。
補助情報メモリ206は、生成された補助情報を記憶する。
フィルタ生成部207は、補助情報を参照して予測残差のアップサンプリングに使用する補間フィルタを生成する。
予測部209は、予測情報等を参照して復号対象画像に対して予測処理を行い、予測画像を生成する。
加算部210は、生成された復号高解像度予測残差と予測画像とを加算し、復号フレームを生成する。
ループフィルタ部211は、生成された復号フレームにループフィルタをかけ参照フレームを生成する。
参照フレームメモリ212は、生成された参照フレームを記憶する。
ここでは符号データ中のある1フレームを復号する処理について説明する。当該処理をフレームごとに繰り返すことで、映像の復号を実現することができる。
次に、復号対象フレームを対象ブロックに分割し、ブロック毎に復号対象フレームの映像信号を復号するルーチンを行なう(ステップS202)。すなわち、以下のステップS203~S208までの処理を、フレーム内の全てのブロックが順次処理されるまで、繰り返し実行する。
続いて、補助情報生成部205は、生成された復号低解像度予測残差または参照フレーム、および予測情報、またはその他の情報から、補間フィルタ生成に必要な補助情報を生成し、補助情報メモリ206に記憶する(ステップS204)。
次に、アップサンプル部208は、復号低解像度予測残差をアップサンプリングし、復号高解像度予測残差を生成する(ステップS206)。
続いて、予測部209は、復号対象ブロック及び参照フレームを用いて何れかの予測処理を行い、予測画像を生成する(ステップS207)。
更に加算部210は、復号高解像度予測残差と予測画像を加算し、更にループフィルタ部211でループフィルタをかけ、その出力を参照ブロックとして参照フレームメモリ212に記憶する(ステップS208)。
最後に、全てのブロックについて処理が終了したら(ステップS209)、復号フレームとして出力する(ステップS210)。
<第2実施形態>
図8は、本発明の第2実施形態による映像符号化装置100aの構成を示すブロック図である。この図において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図1に示す装置と異なる点は、補助情報生成部103に代えて補助情報入力部116を備え、新たに補助情報符号化部117と多重化部118を備えている点である。
補助情報入力部116は、補間フィルタを生成するために必要となる補助情報を映像符号化装置100aに入力する。
補助情報符号化部117は入力された補助情報を符号化し、補助情報符号データを生成する。
多重化部118は補助情報符号データと映像符号データとを多重化して出力する。
図9は、第1実施形態における補助情報生成処理の代わりに、外部から補助情報を取り込んでしフィルタ生成に利用し、またその補助情報を符号化し、映像符号データと多重化して映像信号とする場合の処理を示している。
図9において、図2に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照フレームメモリ114に記憶されているものとする。
ここで入力される補助情報は、復号装置側で同種の補間フィルタを生成できるものであればどのようなものでもかまわない。第1実施形態で述べた例のように、映像情報や予測情報から生成したものでもかまわないし、符号化対象映像と何らかの相関を持つ他の情報や、その情報に基づいて生成したものでも構わない。
また、符号化して映像符号データと多重化する補助情報は、符号化対象映像データに対して求めた補助情報でも構わないし、復号装置側で同一の補助情報を求めることができるのであれば、他の視点の映像そのものを符号化したものでも構わない。また別の例としては、法線マップや温度画像などの、被写体に依存した値を持つ画像情報などでもよい。
また、何れかの方法により求めたフィルタのフィルタ係数を、そのまま補助情報としても構わない。
あるいは、例えばバイラテラルフィルタのように何れかの関数に基づいてフィルタ係数を決定するとし、その関数のパラメータを補助情報としても構わない。
以下、ステップS104~S112までの処理は、図2に示す処理動作と同様に実行する。
次に、前述の補助情報を符号化し(ステップS112a)、映像符号データと多重化して符号データを生成する(ステップS112b)。
この符号化方法は、復号側で正しく復号できるのであれば、どのような方法でも構わない。ただし、前述のようにフィルタ生成のために一度補助情報の符号化・復号を行なっている場合には、復号データを更に符号化するのではなく、符号化済みの補助情報をそのまま用いて構わない。
全てのブロックについて処理が終了したら(ステップS113)、映像符号データを出力する(ステップS114)。
この図に示す装置が図6に示す装置と異なる点は、逆多重化部213を新たに備え、補助情報生成部205に代えて補助情報復号部214を備えている点である。
逆多重化部213は、符号データを逆多重化し、補助情報符号データと映像符号データとに分離する。
補助情報復号部214は、補助情報符号データを復号し、補助情報を生成する。
ここでは符号データ中のある1フレームを復号する処理について説明する。当該処理をフレームごとに繰り返すことで、映像の復号を実現することができる。
図11には、第1実施形態における映像符号データの代わりに映像符号データと補助情報符号データとが多重化された符号データを映像復号装置200aに入力し、これを逆多重化して補助情報生成の代わりに補助情報復号を行い、復号された補助情報をフィルタ生成に利用する場合の処理を示している。
図11において、図7に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
次に、復号対象フレームを対象ブロックに分割し、ブロック毎に復号対象フレームの映像信号を復号するルーチンを行なう(ステップS202)。すなわち、以下のステップS203~S208までの処理を、フレーム内の全てのブロックが順次処理されるまで、繰り返し実行する。
そして、エントロピー復号部203は、映像符号データをエントロピー復号し、逆量子化・逆変換部204は逆量子化・逆変換を行い、復号低解像度予測残差を生成する(ステップS203)。
続いて、補助情報復号部214は補助情報を復号し、補助情報メモリ206に記憶する(ステップS204a)。
以下、ステップS205~S210は、図7に示す処理動作と同様の処理を行う。
<第3実施形態>
図12は、本発明の第3実施形態による映像符号化装置100bの構成を示すブロック図である。この図において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。
この図に示す装置が図1に示す装置と異なる点は、デプスマップ入力部119とデプスマップメモリ120とを新たに備え、補助情報生成部103が符号化対象フレームの代わりにデプスマップを使用して補助情報を生成する点である。
デプスマップ入力部119は、補間フィルタを生成するために参照するデプスマップ(情報)を映像符号化装置100bに入力する。ここで入力されるデプスマップは、符号化対象映像の各フレームの各画素に写っている被写体のデプス値を表すものである。
デプスマップメモリ120は、入力されたデプスマップを記憶する。
図13には、第1実施形態における映像情報を参照した補助情報生成の代わりに、外部からデプスマップを取り込んで補助情報生成に利用する場合の処理を示している。
図13において、図2に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
なお、符号化対象映像中の幾つかのフレームは既に符号化されているものとし、その復号フレームが参照フレームメモリ114に、対応するデプスマップがデプスマップメモリ120に記憶されているものとする。
また、本第2実施形態では入力された符号化対象フレームが順次符号化されるものとしているが、入力順と符号化順は必ずしも一致している必要はない。入力順と符号化順が異なる場合には、次に符号化するフレームが入力されるまで、先に入力されたフレームは入力フレームメモリ102に記憶される。
入力フレームメモリ102に記憶された符号化対象フレームは、以下で説明する符号化処理によって符号化されたら、入力フレームメモリ102から削除しても構わない。しかし、デプスマップメモリ120に記憶されたデプスマップは、対応する符号化対象フレームの復号フレームが参照フレームメモリ114から削除されるまで記憶しておく。
復号装置側で得られるデプスマップの他の例としては、別の視点の符号化済みデプスマップを復号したものを用いて合成されたデプスマップや、別の視点の符号化済み画像群を復号したものからステレオマッチング等によって推定したデプスマップなどがある。
ただし、符号化ノイズの発生を許容する場合は符号化を経ないデプスマップを使用しても構わない。
ここで生成する補助情報とその推定方法、及び生成される補間フィルタはどのようなものであっても構わない。例えば、第1実施形態で例を挙げたような境界情報を補助情報として用いる場合には、映像の代わりにデプスマップの輪郭情報や、デプスマップを符号化するための動きベクトル等を用いて同様の推定を行なっても構わない。
一般に、同一被写体を構成する各画素のデプス値は比較的連続な値を取り、また異なる被写体同士の境界においては各画素のデプス値は離散的な値を取ることが多い。したがって、デプスマップにおける輪郭情報や動きベクトルに基づいて境界情報を求めることで、映像のテクスチャに影響を受けず正確な境界情報を検出できるために、精度よく補間フィルタを生成することができる。
また、局所的な境界状態の推定ではなく、デプスマップ全体から、被写体境界抽出を行うといった方法もある。この場合、前述の連続性を考慮して被写体を抽出してもよいし、画像セグメンテーションのような方法を使用しても構わない。
例えば、デプス値の平均を参照して、補間フィルタを適応的に生成するか、既定のフィルタを用いるかの切り替えを行なうようにしてもよい。
平均デプス値の小さいブロックは、別の視点からの映像との視差がごく小さいために視差補償予測を行う場合の精度が高く、またカメラからの距離が遠いために被写体の移動量が少なく、動き補償予測も比較的精度が高いことが多い。このため、予測残差がごく小さくなる可能性が高く、単純なバイリニアフィルタ等を用いた補間により良好な復号結果が得られる可能性が高い。一方、デプス値の大きいブロックについては逆のことが言え、適応的な補間フィルタが有効である可能性が高い。
フィルタ係数の具体的な決定方法としては、予め定めた係数パターンから選択しても構わないし、バイラテラルフィルタのように何れかの関数に基づいて計算しても構わない。
例えば、バイラテラルフィルタで参照する輝度値を、符号化対象映像の輝度値ではなくではなくデプスマップの輝度値とするような、クロスバイラテラルフィルタ関数が考えられる。あるいは、映像とデプスマップの両方、あるいは更に別の情報を参照する関数を使用しても構わない。
以下、ステップS103~ステップS114まで、図2に示す処理動作と同様実行する。
この図に示す装置が図6に示す装置と異なる点は、デプスマップ入力部215とデプスマップメモリ216を新たに備え、補助情報生成部205が低解像度予測残差の代わりにデプスマップを使用して補助情報を生成する点である。
デプスマップ入力部215は、補間フィルタを生成するために参照するデプスマップ(情報)を映像復号装置200bに入力し、入力し、デプスマップメモリ216は、入力されたデプスマップを記憶する。
図15には、第1実施形態における映像情報を参照した補助情報生成の代わりに外部からデプスマップを取り込んで補助情報生成に利用する場合の処理を示している。
図15において、図7に示す処理と同一の部分には同一の符号を付し、その説明を省略する。
なお、復号対象映像中の幾つかのフレームは既に復号されているものとし、参照フレームメモリ212に、対応するデプスマップがデプスマップメモリ216に記憶されているものとする。
次に、復号対象フレームを復号対象ブロックに分割し、ブロック毎に復号対象フレームの映像信号を復号する(ステップS202)。以下のステップS203~S208までの処理を、フレーム内の全てのブロックが順次処理されるまで、繰り返し実行する。
続いて、補助情報生成部205は、デプスマップやその予測情報などから補間フィルタ生成に必要な補助情報を生成し、補助情報メモリ206に記憶する(ステップS204b)。
以下、ステップS205からステップS210まで、図7に示す処理動作と同様の処理を行う。
また、符号化および復号の順序を工夫し、双方向参照を行なっても構わない。
また、デプスマップと、第1実施形態のように映像情報から推定した補助情報や、付加情報として符号化した補助情報を併用しても構わない。例えば、デプスマップから求めた境界領域では境界状態に応じたフィルタを生成し、非境界領域では映像のテクスチャから補間フィルタを生成するなどである。
また、デプスマップだけでなく、復号対象フレームやその予測情報及び参照フレームを参照してもよいし、デプスマップ自身の予測情報などを参照しても構わない。
また、前述の第3実施形態では、入力したデプスマップをそのまま使用しているが、符号化されたデプスマップを用いる場合などは、デプスマップの符号化ノイズを低減するためにローパスフィルタ等をかけても構わない。
また、例に挙げたように被写体境界を判定して補間フィルタを生成する場合などは、被写体の違いが分かる程度のビット深度があれば十分であるため、入力されたデプスマップに対してビット深度変換を施して、デプスマップのビット深度を小さくする処理を加えても構わない。
なお、単純なビット深度変換を行なっても構わないが、デプスマップから被写体数を判定するなどして、その結果に応じて被写体を区別するだけの情報に変換しても構わない。
その場合には、RRU適用可否やダウンサンプル率を示す情報を符号化し付加情報に含めてもよいし、復号装置側にRRU適用可否やダウンサンプル率を判別する機能を付け加えてもよい。
例えば第3実施形態においては、RRU適用可否やダウンサンプル率を、デプスマップを参照して決定しても構わない。その場合には、デプスマップの符号化ノイズや伝送エラーによって復号不能になることを防ぐための回避機能や訂正機能を付け加えるとよい。
また、ダウンサンプリングは既定のフィルタを利用し、アップサンプリングにのみ適応的に生成した補間フィルタを用いてもよいし、その逆でも構わない。
一方、復号装置では、補助情報の生成はループの内部でブロック毎に実行するが、可能ならばループの外部で実行しても構わない。
更に符号化装置・複合装置共に、フィルタの生成はループ内部で実行したが、外部で実行しても構わない。
また、複数フレーム分先行してフィルタ生成を実行しても構わないし、復号装置においては復号対象フレームの復号前に対応するフィルタが生成できるのであれば、その他いかなる順番で実行しても構わない。
図16は、変換・量子化したデプスマップのDCT係数から境界情報を求める例を示している。図16に示すように、変換・量子化したDCT係数から直流成分を除き、交流成分のうちのある閾値以下の係数を0に置き換えてから逆量子化・逆変換を施すと、かなり正確な境界情報を示す画像が復元できる。
補間フィルタ生成のための補助情報を求める場合には、当該DCT係数を画像として復元する必要はなく、DCT係数のパターンから直接補助情報を推定することもできる。
例えば色差信号にのみダウンサンプリング・アップサンプリングを実行し、輝度信号は高解像度のまま符号化するなどしても構わないし、その逆でも構わない。
あるいは、輝度信号・色差信号それぞれの補間フィルタとして、異なるものを用いても構わない。その場合に、例えば輝度信号の補間フィルタを、色差信号を参照して生成するなどしても構わない。
本システムは:
・プログラムを実行するCPU30
・CPU30がアクセスするプログラムやデータが記憶されるRAM等のメモリ31
・カメラ等からの符号化対象の映像信号を映像符号化装置内に入力する符号化対象映像入力部32(ディスク装置などによる、映像信号を記憶する記憶部でもよい)
・図2、図9、図13に示す処理をCPU30に実行させるソフトウェアプログラムである映像符号化プログラム351が記憶されたプログラム記憶装置35
・CPU30がメモリ31にロードされた映像符号化プログラムを実行することにより生成された符号データを、例えばネットワークを介して出力する符号データ出力部36(ディスク装置などによる符号データを記憶する記憶部でもよい)
とが、バスで接続された構成になっている。
この他に、第2、3実施形態で説明した符号化を実現する場合に必要であれば、例えばネットワークを介して補助情報を入力する補助情報入力部33(ディスク装置などによる、補助情報信号を記憶する記憶部でもよい)や、例えばネットワークを介して符号化対象の映像に対するデプスマップを入力するデプスマップ入力部34(ディスク装置などによる、デプスマップ信号を記憶する記憶部でもよい)を更に接続すればよい。
また、図示は省略するが、他に、符号データ記憶部、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。
本システムは:
・プログラムを実行するCPU40
・CPU40がアクセスするプログラムやデータが記憶されるRAM等のメモリ41
・映像符号化装置が本発明による手法により符号化した符号データを映像復号装置内に入力する符号データ入力部42(ディスク装置などによる、符号データを記憶する記憶部でもよい)
・図7、図11、図15に示す処理をCPU40に実行させるソフトウェアプログラムである映像復号プログラム451が記憶されたプログラム記憶装置45
・CPU40がメモリ41にロードされた映像復号プログラムを実行することにより生成された復号映像を、再生装置などに出力する復号映像出力部46
とが、バスで接続された構成になっている。
この他に、第2、3実施形態で説明した復号を実現する場合に必要であれば、例えばネットワークを介して復号対象の映像情報に対するデプスマップを入力するデプスマップ入力部44(ディスク装置などによる、デプスマップ信号を記憶する記憶部でもよい)を更に接続すればよい。
また、図示は省略するが、他に、参照フレーム記憶部などのハードウェアが設けられ、本手法の実施に利用される。また、映像信号符号データ記憶部、予測情報符号データ記憶部などが用いられることもある。
これにより、デプスマップに代表されるような付加情報を伴う映像符号化において、RRUモードを利用し符号化効率を向上し、一方で主観品質を充分保つことができる。
なお、前述したRRUモードは、自由視点映像符号化での使用に好適であるが、これに限定されるものではない。しかしながら、元来デプスマップ等の付加情報を伴う映像信号の符号化方式である自由視点映像符号化等で本発明を利用することは、余分の付加情報を信号に含める必要がないため、より効果的である。
なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境(あるいは表示環境)を備えたWWWシステムも含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
101・・・符号化対象映像入力部
102・・・入力フレームメモリ
103・・・補助情報生成部
104・・・補助情報メモリ
105・・・フィルタ生成部
106・・・予測部
107・・・減算部
108・・・ダウンサンプル部
109・・・変換・量子化部
110・・・逆量子化・逆変換部
111・・・アップサンプル部
112・・・加算部
113・・・ループフィルタ部
114・・・参照フレームメモリ
115・・・エントロピー符号化部
116・・・補助情報入力部
117・・・補助情報符号化部
118・・・多重化部
119・・・デプスマップ入力部
120・・・デプスマップメモリ
200、200a、200b・・・映像復号装置
201・・・符号データ入力部
202・・・符号データメモリ
203・・・エントロピー復号部
204・・・逆量子化・逆変換部
205・・・補助情報生成部
206・・・補助情報メモリ
207・・・フィルタ生成部
208・・・アップサンプル部
209・・・予測部
210・・・加算部
211・・・ループフィルタ部
212・・・参照フレームメモリ
213・・・逆多重化部
215・・・デプスマップ入力部
216・・・デプスマップメモリ
Claims (38)
- 符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化方法であって、
前記処理領域において、復号時に参照可能である情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を符号化しない前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリングステップと
を有することを特徴とする映像符号化方法。 - 前記フィルタ特定ステップは、前記映像の情報から生成される補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項1に記載の映像符号化方法。
- 前記補助情報は、前記処理領域内部の境界の状態を示す情報であることを特徴とする請求項2に記載の映像符号化方法。
- 前記補助情報は、前記処理領域のテクスチャ特性を示す情報であることを特徴とする請求項2に記載の映像符号化方法。
- 前記フィルタ特定ステップは、前記映像の符号化に用いる予測画像を参照して前記補間フィルタを生成または選択することを特徴とする請求項1に記載の映像符号化方法。
- 前記フィルタ特定ステップは、前記映像の符号化に用いる動きベクトルを参照して前記補間フィルタを生成または選択することを特徴とする請求項1に記載の映像符号化方法。
- 前記フィルタ特定ステップは、前記映像と相関を持つ補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項1に記載の映像符号化方法。
- 前記補助情報は、前記映像が同一シーンを複数の視点から撮影した多視点映像のうちのある一つの視点の映像である場合における、他の視点の映像の情報であることを特徴とする請求項7に記載の映像符号化方法。
- 前記補助情報を符号化し補助情報符号データを生成する補助情報符号化ステップと、
前記補助情報符号データを映像符号データと多重化した符号データを出力する多重化ステップと
をさらに有することを特徴とする請求項2、7、8のいずれか1項に記載の映像符号化方法。 - 前記補助情報符号化ステップは、選択すべき補間フィルタの識別番号を補助情報として符号化することを特徴とする請求項9に記載の映像符号化方法。
- 前記補助情報は、前記映像に対応するデプスマップであることを特徴とする請求項7に記載の映像符号化方法。
- 前記デプスマップから、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項11に記載の映像符号化方法。
- 前記フィルタ特定ステップは、前記デプスマップに加えて前記映像に対応する他の視点の映像を参照して前記補間フィルタを生成または選択することを特徴とする請求項11に記載の映像符号化方法。
- 前記デプスマップを符号化してデプスマップ符号データを生成するデプスマップ符号化ステップと、
前記デプスマップ符号データを映像符号データと多重化した符号データを出力する多重化ステップと
をさらに有することを特徴とする請求項11に記載の映像符号化方法。 - 前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報である請求項7に記載の映像符号化方法。
- 前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項15に記載の映像符号化方法。
- 符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号方法であって、
前記処理領域において、符号化時に参照された情報に対応する情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定ステップと、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリングステップと
を有することを特徴とする映像復号方法。 - 前記フィルタ特定ステップは、前記符号データから生成される補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項17に記載の映像復号方法。
- 前記補助情報は、前記処理領域内部の境界の状態を示す情報であることを特徴とする請求項18に記載の映像復号方法。
- 前記補助情報は、前記処理領域のテクスチャ特性を示す情報であることを特徴とする請求項18に記載の映像復号方法。
- 前記フィルタ特定ステップは、前記符号データの復号に用いる予測画像を参照して前記補間フィルタを生成または選択することを特徴とする請求項17に記載の映像復号方法。
- 前記フィルタ特定ステップは、前記符号データの復号に用いる動きベクトルを参照して前記補間フィルタを生成または選択することを特徴とする請求項17に記載の映像復号方法。
- 前記フィルタ特定ステップは、前記映像と相関を持つ補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項17に記載の映像復号方法。
- 前記符号データを逆多重化し、補助情報符号データと映像符号データとに分離する逆多重化ステップと、
前記補助情報符号データを復号して補助情報を生成する補助情報復号ステップとをさらに有し、
前記フィルタ特定ステップは、前記復号された前記補助情報を参照して前記補間フィルタを生成または選択することを特徴とする請求項17に記載の映像復号方法。 - 前記補助情報は、前記映像が同一シーンを複数視点から撮影した多視点映像のうちのある一つの視点映像である場合における他の視点映像であることを特徴とする請求項23に記載の映像復号方法。
- 前記補助情報は、選択すべき前記補間フィルタの識別番号であることを特徴とする請求項24に記載の映像復号方法。
- 前記補助情報は、前記映像の情報に対応するデプスマップであることを特徴とする請求項23に記載の映像復号方法。
- 前記デプスマップから、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項27に記載の映像復号方法。
- 前記フィルタ特定ステップは、前記デプスマップに加えて前記映像に対応する他の視点の映像を参照して前記補間フィルタを生成または選択することを特徴とする請求項27に記載の映像復号方法。
- 前記符号データを逆多重化し、デプスマップ符号データと映像符号データとに分離する逆多重化ステップと、
前記デプスマップ符号データを復号してデプスマップを生成するデプスマップ復号ステップと
をさらに有することを特徴とする請求項27に記載の映像復号方法。 - 前記符号化対象の映像の情報はデプスマップであり、前記補助情報は、前記デプスマップに対応する同じ視点の映像の情報である請求項23に記載の映像符号化方法。
- 前記同じ視点の映像の情報から、前記処理領域内部の境界の状態を示す情報を補助情報として生成する補助情報生成ステップをさらに有することを特徴とする請求項31に記載の映像符号化方法。
- 符号化対象の映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に予測符号化を行う際に、補間フィルタを使用して予測残差の信号をダウンサンプリングすることにより符号化を行う映像符号化装置であって、
前記処理領域において、復号時に参照可能である情報を参照して適応的に前記補間フィルタを生成または選択することにより前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をダウンサンプリングして低解像度予測残差の信号とするダウンサンプリング手段と
を備えることを特徴とする映像符号化装置。 - 符号化対象の映像の符号データを復号する際に、前記映像を構成する各フレームを複数の処理領域に分割し、処理領域毎に補間フィルタを使用して予測残差の信号をアップサンプリングすることにより予測復号を行う映像復号装置であって、
前記処理領域において、符号化時に参照された情報に対応する情報を参照して適応的に前記補間フィルタを生成または選択することにより、フィルタ係数を復号せずに前記補間フィルタを特定するフィルタ特定手段と、
前記特定した補間フィルタを使用して前記予測残差の信号をアップサンプリングして高解像度予測残差の信号とするアップサンプリング手段と
を備えることを特徴とする映像復号装置。 - コンピュータに、請求項1から16のいずれか1項に記載の映像符号化方法を実行させるための映像符号化プログラム。
- コンピュータに、請求項17から32のいずれか1項に記載の映像復号方法を実行させるための映像復号プログラム。
- 請求項35に記載の映像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 請求項36に記載の映像復号プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201380030447.7A CN104718761A (zh) | 2012-07-09 | 2013-07-09 | 视频编码/解码方法、装置、程序、记录介质 |
KR1020147034689A KR20150013741A (ko) | 2012-07-09 | 2013-07-09 | 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램 |
US14/405,643 US20150189276A1 (en) | 2012-07-09 | 2013-07-09 | Video encoding method and apparatus, video decoding method and apparatus, and programs therefor |
JP2014524814A JP5902814B2 (ja) | 2012-07-09 | 2013-07-09 | 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012153953 | 2012-07-09 | ||
JP2012-153953 | 2012-07-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014010583A1 true WO2014010583A1 (ja) | 2014-01-16 |
Family
ID=49916035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/068725 WO2014010583A1 (ja) | 2012-07-09 | 2013-07-09 | 映像符号化/復号方法、装置、プログラム、記録媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20150189276A1 (ja) |
JP (1) | JP5902814B2 (ja) |
KR (1) | KR20150013741A (ja) |
CN (1) | CN104718761A (ja) |
WO (1) | WO2014010583A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019087905A1 (ja) * | 2017-10-31 | 2019-05-09 | シャープ株式会社 | 画像フィルタ装置、画像復号装置、および画像符号化装置 |
WO2022001865A1 (zh) * | 2020-07-03 | 2022-01-06 | 阿里巴巴集团控股有限公司 | 深度图及视频处理、重建方法、装置、设备及存储介质 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6409516B2 (ja) * | 2014-11-13 | 2018-10-24 | 富士通株式会社 | ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置 |
US10009622B1 (en) * | 2015-12-15 | 2018-06-26 | Google Llc | Video coding with degradation of residuals |
WO2017135662A1 (ko) * | 2016-02-01 | 2017-08-10 | 엘지전자 주식회사 | 에지 적응적 그래프 기반 변환을 이용하여 비디오 신호를 인코딩/디코딩하는 방법 및 장치 |
US10694202B2 (en) * | 2016-12-01 | 2020-06-23 | Qualcomm Incorporated | Indication of bilateral filter usage in video coding |
US20200296358A1 (en) * | 2017-11-02 | 2020-09-17 | Samsung Electronics Co., Ltd. | Method and device for encoding image according to low-quality coding mode, and method and device for decoding mage |
CN110278487B (zh) * | 2018-03-14 | 2022-01-25 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置及设备 |
CN110012310B (zh) * | 2019-03-28 | 2020-09-25 | 北京大学深圳研究生院 | 一种基于自由视点的编解码方法及装置 |
EP3989577A4 (en) * | 2019-06-18 | 2023-07-05 | Electronics and Telecommunications Research Institute | METHOD AND DEVICE FOR VIDEO ENCODING/DECODING AND RECORDING MEDIUM FOR STORING A BITSTREAM |
CN112135136B (zh) * | 2019-06-24 | 2022-09-30 | 无锡祥生医疗科技股份有限公司 | 超声远程医疗发送方法、装置和接收方法、装置及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10191351A (ja) * | 1996-10-24 | 1998-07-21 | Fujitsu Ltd | 動画像符号化装置および復号化装置 |
JP2009522941A (ja) * | 2006-01-09 | 2009-06-11 | トムソン ライセンシング | マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置 |
JP2009177546A (ja) * | 2008-01-25 | 2009-08-06 | Hitachi Ltd | 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100421001B1 (ko) * | 2001-02-20 | 2004-03-03 | 삼성전자주식회사 | 샘플링 레이트 변환 장치 및 방법 |
DE10120395A1 (de) * | 2001-04-25 | 2002-10-31 | Bosch Gmbh Robert | Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder |
CN101577535B (zh) * | 2003-03-21 | 2011-06-15 | D2音频有限公司 | 采样速率转换设备和方法 |
EP1886502A2 (en) * | 2005-04-13 | 2008-02-13 | Universität Hannover | Method and apparatus for enhanced video coding |
EP2066134A4 (en) * | 2006-10-10 | 2011-01-12 | Nippon Telegraph & Telephone | VIDEO ENCODING AND DECODING METHODS, THEIR DEVICE, PROGRAM, AND STORAGE MEDIUM CONTAINING THE PROGRAM |
EP2437499A4 (en) * | 2009-05-29 | 2013-01-23 | Mitsubishi Electric Corp | ENCODER AND VIDEO DECODER, VIDEO ENCODING AND DECODING METHOD |
-
2013
- 2013-07-09 KR KR1020147034689A patent/KR20150013741A/ko active IP Right Grant
- 2013-07-09 CN CN201380030447.7A patent/CN104718761A/zh active Pending
- 2013-07-09 WO PCT/JP2013/068725 patent/WO2014010583A1/ja active Application Filing
- 2013-07-09 US US14/405,643 patent/US20150189276A1/en not_active Abandoned
- 2013-07-09 JP JP2014524814A patent/JP5902814B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10191351A (ja) * | 1996-10-24 | 1998-07-21 | Fujitsu Ltd | 動画像符号化装置および復号化装置 |
JP2009522941A (ja) * | 2006-01-09 | 2009-06-11 | トムソン ライセンシング | マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置 |
JP2009177546A (ja) * | 2008-01-25 | 2009-08-06 | Hitachi Ltd | 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019087905A1 (ja) * | 2017-10-31 | 2019-05-09 | シャープ株式会社 | 画像フィルタ装置、画像復号装置、および画像符号化装置 |
WO2022001865A1 (zh) * | 2020-07-03 | 2022-01-06 | 阿里巴巴集团控股有限公司 | 深度图及视频处理、重建方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2014010583A1 (ja) | 2016-06-23 |
CN104718761A (zh) | 2015-06-17 |
KR20150013741A (ko) | 2015-02-05 |
JP5902814B2 (ja) | 2016-04-13 |
US20150189276A1 (en) | 2015-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5902814B2 (ja) | 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム | |
JP6356286B2 (ja) | 多視点信号コーデック | |
KR101648098B1 (ko) | 영상 부호화 방법 및 장치, 영상 복호 방법 및 장치와 이들의 프로그램 | |
KR102274319B1 (ko) | 영상을 부호화하는 방법, 장치, 프로그램 및 영상을 복호화하는 방법, 장치, 프로그램 및 영상 처리 시스템 | |
US7848425B2 (en) | Method and apparatus for encoding and decoding stereoscopic video | |
WO2012131895A1 (ja) | 画像符号化装置、方法及びプログラム、画像復号化装置、方法及びプログラム | |
JP5421757B2 (ja) | 画像符号化装置 | |
KR20190087391A (ko) | 복수의 보간 필터링 방법 및 이를 적용한 부호화 장치 | |
JP2012517178A (ja) | 多視点映像の符号化及び復号化のための装置及び方法 | |
JP5894301B2 (ja) | 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム | |
KR20110086521A (ko) | 영역 기반의 부호화/복호화 장치 및 방법 | |
KR102345770B1 (ko) | 비디오 부호화 및 복호화 방법, 그를 이용한 장치 | |
KR20110049079A (ko) | 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법 | |
JP2006246351A (ja) | 画像符号化装置および画像復号化装置 | |
WO2014156647A1 (ja) | 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置 | |
KR20070075354A (ko) | 비디오 신호의 디코딩/인코딩 방법 및 장치 | |
Shen et al. | Efficient depth coding in 3D video to minimize coding bitrate and complexity | |
JP5952733B2 (ja) | 映像符号化方法、映像復号方法、映像符号化装置、映像復号装置、映像符号化プログラム、映像復号プログラム及び記録媒体 | |
JP5876933B2 (ja) | 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム及び記録媒体 | |
JP6919424B2 (ja) | 映像符号化装置、映像復号装置、及び映像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13816059 Country of ref document: EP Kind code of ref document: A1 |
|
DPE1 | Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101) | ||
ENP | Entry into the national phase |
Ref document number: 2014524814 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14405643 Country of ref document: US |
|
ENP | Entry into the national phase |
Ref document number: 20147034689 Country of ref document: KR Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13816059 Country of ref document: EP Kind code of ref document: A1 |