WO2015012514A1 - 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치 - Google Patents

서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2015012514A1
WO2015012514A1 PCT/KR2014/006211 KR2014006211W WO2015012514A1 WO 2015012514 A1 WO2015012514 A1 WO 2015012514A1 KR 2014006211 W KR2014006211 W KR 2014006211W WO 2015012514 A1 WO2015012514 A1 WO 2015012514A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video
encoder
layer
partial
Prior art date
Application number
PCT/KR2014/006211
Other languages
English (en)
French (fr)
Inventor
박광훈
김경용
허영수
이윤진
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140070006A external-priority patent/KR101595397B1/ko
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to US14/391,429 priority Critical patent/US9686567B2/en
Priority to CA2882283A priority patent/CA2882283C/en
Publication of WO2015012514A1 publication Critical patent/WO2015012514A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present invention relates to a method and apparatus for integrated encoding / decoding of different multi-layer video codecs that share basic encoding / decoding algorithms.
  • the present invention relates to H / W or S / W implementation complexity when integrating and implementing different multi-layer video codecs. It is about a method of reducing.
  • Multi-layer video includes a scalable video image that supports scalability or a multi-view and 3D stereoscopic video image that supports images of multiple viewpoints.
  • Coding techniques As a technique for encoding / decoding using the scalable video, Coding techniques, three-dimensional video coding techniques, and the like.
  • a study on scalable video coding technology The Joint Collaborative Team on Video Coding Extension Development, a joint standardization group of ISO / IEC's Moving Picture Experts Group (MPEG) and ITU-T's Video Coding Experts Group (VCEG). Is a work on scalable video coding technology standards (e.g.
  • the scalable video standard scales base-layer video and its enhancement-layer video with improved picture quality, image size, or frame-rate. It includes standards for advanced data formats and related technologies that enable users to watch videos suitable for various transmission and playback environments using scalability.
  • FIG. 1 The basic scalable video coding system considered in the scalable video standard is shown in FIG. 1.
  • the transmitter acquires image content having scalable information by using down sampling on the input image.
  • the acquired image content may include temporal, spatial, image quality (SNR) scalability information, and the like.
  • the video content is compressed using a scalable video encoding method in a scalable encoder, and the compressed bitstream is transmitted to a terminal through a network.
  • the receiving side reconstructs the image corresponding to the user environment by using the scalable decoding method in the scalable decoder.
  • the 3D video standard uses advanced data and its depth-map to support not only stereoscopic video but also multi-view video input from multiple cameras. It contains standards for format and related technologies.
  • FIG. 1 The basic three-dimensional video system considered in the three-dimensional video standard is shown in FIG.
  • the obtained image content may include N-view video information, depth map information thereof, and camera-related additional information.
  • the video content of the N view is compressed using a multiview video encoding method in the 3DV encoder, and the compressed bitstream is transmitted to the terminal through a network.
  • the receiving side decodes the received bitstream using a multiview video decoding method in a 3DV decoder to reconstruct an image of N views.
  • the reconstructed N-view image may generate virtual view images of more than N views by a depth map-based rendering (DIBR) process.
  • DIBR depth map-based rendering
  • the generated virtual viewpoint images of more than N viewpoints are reproduced for various stereoscopic display apparatuses to provide a user with a stereoscopic image.
  • FIG. 3 is an embodiment of an encoder / decoder supporting a multi-layer image used in the scalable video coding of FIG. 1 or the multi-view video coding of FIG. 2 described above.
  • a base layer may be independently encoded / decoded, and an enhancement layer may be encoded / decoded using encoding information about the base layer.
  • the correlation information between layers may be used to encode / decode dependent layers.
  • the present invention provides a method and apparatus for integrated encoding / decoding of different multilayer video codecs to increase reusability of an existing encoding / decoding module when the multilayer video codec is integrated and implemented.
  • the present invention provides for the integration of three or more different video codecs with the same base layer encoding algorithm (e.g. together with the base codec, both 3D video and scalable video related codecs, i.e. video codecs with three different purposes)
  • Implementation of an integrated codec incorporating the integrated codec and reuse the base layer encoding module that is already implemented in the form of a hardware chip as it is, and implement the different enhancement layer encoding modules for 3D video coding and scalable video coding according to the video codec type.
  • a method of implementing the integrated hardware is provided.
  • an integrated video encoder supporting different kinds of multi-layer images includes a base encoder including an encoding algorithm module for encoding a base layer image in a multilayer image, and a portion including an additional encoding algorithm module for encoding an enhancement layer image according to a video coding type of the multilayer image. It includes an encoder.
  • the multi-layer image may include a scalable image supporting at least one of a view, temporal, spatial, and quality, or a general image and a depth map image for each view. It may be a 3D video image.
  • an integrated video decoder supporting different kinds of multi-layer images.
  • the integrated video decoder includes a base decoder including a decoding algorithm module for decoding a base layer image from a multilayer image, and a portion including an additional decoding algorithm module for decoding an enhancement layer image according to a video coding type of the multilayer image. It includes a decoder.
  • the multi-layer image may include a scalable image supporting at least one of a view, temporal, spatial, and quality, or a general image and a depth map image for each view. It may be a 3D video image.
  • the present invention can reduce the implementation complexity of the integrated encoding method and apparatus by reusing an existing video encoding and decoding module as it is when implementing different multi-layer video codecs.
  • an integrated codec incorporating both a basic codec having a basic encoding algorithm and a 3D video and scalable video related codec including the functions of the basic codec, that is, a video codec having three or more different purposes
  • 1 is an example of a scalable video coding system.
  • 3 is an embodiment of an encoder / decoder supporting a multi-layer image.
  • FIG. 4 illustrates a multi-layer video encoder structure for encoding a multi-layer image.
  • FIG. 5 illustrates an embodiment of an SHVC encoder, which is a scalable video codec for encoding a scalable video image.
  • FIG. 6 is a diagram illustrating an embodiment in which a motion prediction method between a base layer and an enhancement layer is implemented in hardware.
  • FIG. 7 illustrates an embodiment in which the HEVC, the SHVC, and the 3D-HEVC codec are implemented as an integrated codec.
  • FIG 8 shows an example of an integrated video encoder according to an embodiment of the present invention.
  • FIG. 9 is a diagram for describing a method of performing 3D video coding using the integrated video encoder of FIG. 8 according to an embodiment of the present invention.
  • FIG. 10 is a diagram for describing a method of performing scalable video coding using the integrated video encoder of FIG. 8 according to an embodiment of the present invention.
  • FIG 11 shows another example of an integrated video encoder according to an embodiment of the present invention.
  • FIG. 12 is a diagram for describing a method of performing 3D video coding using the integrated video encoder of FIG. 11 according to an embodiment of the present invention.
  • FIG. 13 is a diagram for describing a method of performing scalable video coding using the integrated video encoder of FIG. 11 according to an embodiment of the present invention.
  • FIG 14 shows an example of an integrated video decoder according to an embodiment of the present invention.
  • FIG 15 shows another example of an integrated video decoder according to an embodiment of the present invention.
  • first and second may be used to describe various configurations, but the configurations are not limited by the terms. The terms are used to distinguish one configuration from another.
  • first configuration may be referred to as the second configuration, and similarly, the second configuration may also be referred to as the first configuration.
  • each component shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is listed as a component for convenience of description, and at least two of the components may form one component, or one component may be divided into a plurality of components to perform a function.
  • the integrated and separated embodiments of each component are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • the multi-layer image includes a base layer image that can be independently encoded / decoded, and an enhancement layer image that is encoded / decoded using image information of the base layer or another layer. can do.
  • the multi-layer image may be a scalable video image supporting scalability, a multiview video image supporting images of various viewpoints, a 3D stereoscopic video image, and the like.
  • the conventional multi-layer video encoding / decoding method using correlation information of a base layer and an enhancement layer in a multi-layer image uses inter-layer correlations to increase coding efficiency, and encoding / decoding algorithms exist for each layer.
  • encoding / decoding a multi-layer image more encoding / decoding algorithms are required than when encoding / decoding only a base layer, and hardware and software implementation complexity and computational complexity are increased. There is an increasing problem.
  • FIG. 4 illustrates a multi-layer video encoder structure for encoding a multi-layer image.
  • the multi-layer video encoder 400 receives images of different layers as inputs, encodes them, and outputs an integrated bitstream.
  • the base image which is the base layer image
  • the additional image 1 and the additional image 2 which are the image of the enhancement layer
  • the multi-layer video encoder 400 wherein the images of the three different layers are illustrated in FIG. 4.
  • the signals may be input and encoded by different encoders according to the layer-specific image information.
  • the base picture is encoded by the base layer encoder 410 since the base picture must be coded with a conventional single picture layer video codec for backward compatibility.
  • the additional pictures are encoded by an enhancement layer encoder 420 including an algorithm using inter-layer correlation. Therefore, a more complicated encoder is required when encoding the additional video than when encoding the basic video.
  • FIG. 5 illustrates an embodiment of an SHVC encoder, which is a scalable video codec for encoding a scalable video image.
  • the SHVC encoder 500 may include a base layer (BL) encoder 510 that receives and encodes a downsampled image, and an enhancement layer that receives and encodes an image having a high resolution. (Enhancement Layer (EL) Encoder 520).
  • BL base layer
  • EL Enhancement Layer
  • transform and quantization T / Q
  • I / IQ inverse transform and inverse quantization
  • loop filter A coding algorithm such as a loop filter may use the same algorithm for each layer.
  • encoding algorithms such as motion prediction (M.C. Pred.) Used in the enhancement layer encoder 520 must additionally use inter-layer correlation information in the encoding algorithm of the base layer, and thus cannot apply the same algorithm as the base layer.
  • the encoding algorithm module for the enhancement layer adds information according to correlation information between layers to a part of the coding module of the encoding algorithm of the base layer (hereinafter, referred to as the encoding part module). It can be implemented by modification. Accordingly, it can be seen that some modules of the encoding algorithm for the enhancement layer are more complicated because the algorithm for the enhancement layer is added to the encoding algorithm module for the base layer, and thus the computational complexity is large. In addition, in terms of hardware or software implementation, since both the encoding submodule for the base layer and the encoding submodule for the enhancement layer must be implemented independently, the hardware and software implementation complexity also increases.
  • FIG. 6 is a diagram illustrating an embodiment in which a motion prediction method between a base layer and an enhancement layer is implemented in hardware.
  • the input parameters of the motion prediction method applied to the general image for the base layer and the motion prediction method applied to the enhancement layer are the same.
  • the only difference is an input parameter of a motion prediction method applied to an enhancement layer, in which a “additional motion information” parameter according to correlation information between base layers or layers is added for the enhancement layer.
  • the motion prediction method part is changed through additional motion information. That is, in order to include additional motion information in the motion prediction method of the enhancement layer (in order to increase the encoding efficiency), all motion prediction modules for the enhancement layer must be newly implemented. This can increase the implementation complexity of the hardware.
  • an image of an enhancement layer may be encoded using motion prediction information from the base layer or scaled information thereof as additional motion information.
  • an image of an enhancement layer may be encoded using motion prediction information between a reference view image, an additional view image, and a view obtained from a depth map thereof as additional motion information.
  • the encoding method for the enhancement layer is only changed by correlation information between additional layers obtained according to the inter-layer video coding method.
  • This uses the same base layer encoding method, and for another video codec having a difference in the encoding method of the enhancement layer, a coding module for the base layer and the enhancement layer must be newly implemented with different hardware resources.
  • the 3D-HEVC International Standard which is underway in the joint standardization group JCT-3V, uses the HEVC (or H.265) video codec at the base layer and the 3D-HEVC International standard at the enhancement layer.
  • the algorithm for the enhancement layer must be further implemented using a video codec (hereinafter referred to as 3D enhanced HEVC codec in the present invention).
  • the HEVC or H.265
  • the algorithm for the enhancement layer determined by the SHVC international standard is used in the enhancement layer.
  • it must be implemented using an extended video codec (hereinafter referred to as a scalable-enhanced HEVC codec in the present invention).
  • the HEVC codec and the 3D enhanced HEVC codec and Scalable Enhancements All HEVC codecs must be implemented in one integrated codec.
  • the HEVC codec of the base layer should be implemented in the 3D-enhanced HEVC codec and the scalable-enhanced HEVC codec in a redundant manner. have.
  • This integrated codec results in enormous implementation complexity and redundancy of the underlying codec implementation in hardware design and software design, as shown in FIG. 7 (three HEVC codecs are essentially required in FIG. 7).
  • the present invention proposes a method of implementing different video codecs having the same encoding algorithm in the base layer into one integrated video codec.
  • the HEVC codec, the 3D-HEVC codec, and the SHVC codec are implemented as one integrated codec, as shown in FIG. Provide a plan.
  • the ultimate object of the present invention is to reuse a base layer encoding module that has already been implemented in a hardware chip form in different video codecs having the same base layer encoding algorithm, and according to the type of video codec in each enhancement layer encoding module implementation. By applying only the additional encoding algorithm, it is implemented as one integrated hardware.
  • FIG 8 shows an example of an integrated video encoder according to an embodiment of the present invention.
  • the integrated video encoder may encode different types of multi-layer images.
  • a 3D video image including a scalable image supporting at least one of a view, temporal, spatial, and quality, a general image for each view, and a depth map image. Coding may be performed on different multilayer images, such as.
  • the integrated video encoder 800 may receive and encode images of different layers as inputs, and output an integrated bitstream.
  • the integrated video encoder 800 may be a general view or depth map thereof in the case of 3D video codec related, or temporal, spatial or image quality in the case of scalable video codec related.
  • the layer-specific images including the red (SNR) scalability information may be received as an input, and the encoding may be performed by the base layer encoder (encoder) 810 for the image of each layer.
  • the encoder used herein may be MPEG-1, MPEG-2, MPEG-4 Part 2 Visual, H.264 / AVC, VC-1, AVS, KTA, HEVC (H.265 / HEVC), or the like. .
  • the base layer encoder 810 includes an encoding algorithm module for encoding a base layer image from an input multi-layer image.
  • the base layer encoder 810 may include encoding algorithm modules such as transform, quantization, inverse transform, inverse quantization, intra prediction, motion prediction, loop filter, and the like, and are common to the enhancement layer image as well as the base layer image. It can be implemented as an encoding algorithm module that can be applied to.
  • the integrated video encoder 800 may perform encoding by additionally performing partial encoders 820 and 830 in order to increase encoding efficiency of additional pictures.
  • the partial encoders 820 and 830 include additional encoding algorithm modules for encoding the enhancement layer image according to the video coding type of the multi-layer image.
  • the partial encoders 820 and 830 may include a scalable partial encoder 820 including an additional encoding algorithm module for encoding an enhancement layer for a scalable image, and encoding the enhancement layer for a 3D video image. It may include a three-dimensional partial encoder 830 including an additional encoding algorithm module for.
  • the scalable partial encoder 820 and the 3D partial encoder 830 may be implemented as an algorithm that cannot be encoded using the basic encoding algorithm module, that is, an encoding algorithm module using inter-layer correlation information.
  • an interlayer prediction module may be included, which is a case of predicting using inter-layer information during motion prediction.
  • the integrated video encoder 800 may determine whether to apply the scalable partial encoder 820 or the 3D partial encoder 830 based on the enhancement layer image information indicating the video coding type of the multilayer image.
  • the integrated video encoder 800 may operate the switch 815 to apply the scalable partial encoder 820. Otherwise, if the enhancement layer image information indicates that the 3D video coding is performed, the integrated video encoder 800 operates the switch 815 to not apply the scalable partial encoder 820 and the 3D partial encoder 830. The switch 825 can be operated to apply.
  • the integrated video encoder 800 may multiplex the bitstreams of the video for each layer encoded by the base layer encoder 810 and the partial encoders 820 and 830 into a single bitstream. Can be.
  • the integrated video encoder 800 applies a module used for encoding a base image (base layer image) providing backward compatibility to the encoding of an additional image (enhancement layer image) as it is. Is reduced, and then encoding efficiency may be improved by determining a partial encoder to be applied to the additional video for the enhancement layer from the enhancement layer image information and additionally applying the partial encoder.
  • FIG. 9 is a diagram for describing a method of performing 3D video coding using the integrated video encoder of FIG. 8 according to an embodiment of the present invention.
  • FIG. 9 a process of performing 3D video coding in an integrated video encoder when a general view for each view or a depth map image thereof is input as a multi-layer image.
  • the integrated video encoder 900 performs a base layer encoder 910 on an input 3D video image, and inputs the enhancement layer image information (information indicating that 3D video coding is performed).
  • the 3D partial encoder 930 may be performed without performing the scalable partial encoder 920.
  • the 3D video image encoded by the base layer encoder 910 and the 3D video image of the enhancement layer coded by the 3D partial encoder 930 are input to the multiplexing module, and multiplexed by the multiplexing module into a bitstream. Can be output.
  • FIG. 10 is a diagram for describing a method of performing scalable video coding using the integrated video encoder of FIG. 8 according to an embodiment of the present invention.
  • the integrated video encoder scales the scaled image.
  • a process of performing flexible video coding will be described.
  • the integrated video encoder 1000 performs a base layer encoder 1010 on an input scalable image, and scales by input enhancement layer image information (information indicating that scalable video coding is performed).
  • the flexible partial encoder 1020 may be performed.
  • the integrated video encoder 1000 may not perform the 3D partial encoder 1030.
  • a scalable image encoded by the base layer encoder 1010 and a scalable image of an enhancement layer encoded by the scalable partial encoder 1020 are input to a multiplexing module, multiplexed by the multiplexing module, and output as a bitstream. Can be.
  • FIG 11 shows another example of an integrated video encoder according to an embodiment of the present invention.
  • the integrated video encoder may encode different types of multi-layer images.
  • a 3D video image including a scalable image supporting at least one of a view, temporal, spatial, and quality, a general image for each view, and a depth map image. Coding may be performed on different multilayer images, such as.
  • the integrated video encoder 1100 may receive and encode images of different layers as inputs, and output an integrated bitstream.
  • the integrated video encoder 1100 may be a general view-by-view or its depth map in the case of 3D video codec, temporal, spatial, or image quality in the case of scalable video codec.
  • the image for each layer including the red (SNR) scalability information is received as an input, and encoding may be performed by the base layer encoder (encoder) 1110 for the image for each layer.
  • the encoder used herein may be MPEG-1, MPEG-2, MPEG-4 Part 2 Visual, H.264 / AVC, VC-1, AVS, KTA, HEVC (H.265 / HEVC), or the like. .
  • the base layer encoder 1110 includes an encoding algorithm module for encoding a base layer image from an input multi-layer image.
  • the base layer encoder 1110 may include coding algorithm modules such as transform, quantization, inverse transform, inverse quantization, intra prediction, motion prediction, loop filter, and the like, and are common to the enhancement layer image as well as the base layer image. It can be implemented as an encoding algorithm module that can be applied to.
  • the integrated video encoder 1100 may additionally perform partial encoders 1120 and 1130 to encode additional pictures to increase encoding efficiency.
  • the partial encoders 1120 and 1130 include additional encoding algorithm modules for encoding the enhancement layer image according to the video coding type of the multilayer image.
  • the partial encoders 1120 and 1130 may encode the 3D partial encoder 1120 including an additional encoding algorithm module for encoding the enhancement layer for the 3D video image, and the enhancement layer for the scalable image. It may include a scalable partial encoder 1130 including an additional encoding algorithm module for.
  • the 3D partial encoder 1120 and the scalable partial encoder 1130 may be implemented as an algorithm that cannot be encoded using the basic encoding algorithm module, that is, an encoding algorithm module using inter-layer correlation information.
  • an interlayer prediction module may be included, which is a case of predicting using inter-layer information during motion prediction.
  • the integrated video encoder 1100 may determine whether to apply the 3D partial encoder 1120 or the scalable partial encoder 1130 based on the enhancement layer image information indicating the video coding type of the multi-layer image.
  • the integrated video encoder 1100 may operate the switch 1115 to apply the 3D partial encoder 1120. Otherwise, if the enhancement layer image information indicates that scalable video coding is performed, the integrated video encoder 1100 may operate the switch 1115 to apply the scalable partial encoder 1130.
  • the integrated video encoder 1100 may multiplex bitstreams for each layer of video encoded by the base layer encoder 1110 and the partial encoders 1120 and 1130 into a single bitstream. Can be.
  • the integrated video encoder 1100 applies the module used for encoding the base image (base layer image) providing backward compatibility to the encoding of the additional image (enhancement layer image) as it is. Is reduced, and then encoding efficiency may be improved by determining a partial encoder to be applied to the additional video for the enhancement layer from the enhancement layer image information and additionally applying the partial encoder.
  • FIG. 12 is a diagram for describing a method of performing 3D video coding using the integrated video encoder of FIG. 11 according to an embodiment of the present invention.
  • FIG. 12 a process of performing 3D video coding in the integrated video encoder when a general view for each view or a depth map image thereof is input as a multi-layer image.
  • the integrated video encoder 1200 performs a base layer encoder 1210 on an input 3D video image, and receives input enhancement layer image information (information indicating that 3D video coding is performed).
  • the 3D partial encoder 1220 may be selected and performed.
  • the 3D video image encoded by the base layer encoder 1210 and the 3D video image of the enhancement layer encoded by the 3D partial encoder 1220 are input to the multiplexing module, and multiplexed by the multiplexing module into a bitstream. Can be output.
  • FIG. 13 is a diagram for describing a method of performing scalable video coding using the integrated video encoder of FIG. 11 according to an embodiment of the present invention.
  • the integrated video encoder 1300 performs a base layer encoder 1310 on an input scalable image, and scales by input enhancement layer image information (information indicating that scalable video coding is performed).
  • the flexible part encoder 1330 may be selected and performed.
  • a scalable image encoded by the base layer encoder 1310 and a scalable image of an enhancement layer encoded by the scalable partial encoder 1330 are input to a multiplexing module, multiplexed by the multiplexing module, and output as a bitstream. Can be.
  • the above-described encoding method performed by the integrated video encoder of FIGS. 8 to 13 may be applied to a decoding method, and an integrated video decoder supporting different multi-layer images will be described with reference to FIGS. 14 and 15.
  • FIG 14 shows an example of an integrated video decoder according to an embodiment of the present invention.
  • the integrated video decoder can decode different types of multi-layer images.
  • a 3D video image including a scalable image supporting at least one of a view, temporal, spatial, and quality, a general image for each view, and a depth map image.
  • Decoding may be performed on different multi-layer images such as.
  • the integrated video decoder 1400 performs decoding by applying a base layer decoder 1410 to an input bitstream, and uses the scalable partial decoder 1420 or 3 based on the obtained enhancement layer image information. Decoding is performed by applying the dimensional partial decoder 1430.
  • the base layer decoder 1410 includes a decoding algorithm module for decoding the base layer image with respect to the input bitstream.
  • the base layer decoder 1410 may include a decoding algorithm module such as transform, quantization, inverse transform, inverse quantization, intra prediction, motion prediction, loop filter, and the like, and is common to the enhancement layer image as well as the base layer image. It can be implemented as a decoding algorithm module that can be applied to.
  • the base layer image may be reconstructed by the base layer decoder 1410.
  • the partial decoders 1420 and 1430 include additional decoding algorithm modules for decoding the enhancement layer image according to the video coding type of the multilayer image.
  • the partial decoders 1420 and 1430 may include the scalable partial decoder 1420 including an additional decoding algorithm module for decoding the enhancement layer for the scalable image, and the enhancement layer for the 3D video image. It may include a three-dimensional partial decoder 1430 including an additional decoding algorithm module for.
  • the scalable partial decoder 1420 and the 3D partial decoder 1430 may be implemented as an algorithm that cannot be decoded using the basic decoding algorithm module, that is, a decoding algorithm module using inter-layer correlation information.
  • an interlayer prediction module may be included, which is a case of predicting using inter-layer information during motion prediction.
  • the integrated video decoder 1400 may determine whether to apply the scalable partial decoder 1420 or the 3D partial decoder 1430 based on the enhancement layer image information indicating the video coding type of the multilayer image.
  • the enhancement that indicates that the integrated video decoder 1400 should perform scalable video coding through the base layer decoder 1410.
  • the hierarchical image information may be obtained, and the switch 1415 may be operated to perform the scalable partial decoder 1420 to decode the image for the enhancement layer.
  • the integrated video decoder 1400 indicates that the 3D video coding should be performed through the base layer decoder 1410.
  • the enhancement layer image information may be obtained, and the switch 1425 may be operated to perform the 3D partial decoder 1430 to decode the image of the enhancement layer.
  • FIG 15 shows another example of an integrated video decoder according to an embodiment of the present invention.
  • the integrated video decoder can decode different types of multi-layer images.
  • a 3D video image including a scalable image supporting at least one of a view, temporal, spatial, and quality, a general image for each view, and a depth map image.
  • Decoding may be performed on different multi-layer images such as.
  • the integrated video decoder 1500 performs decoding by applying a base layer decoder 1510 to an input bitstream, and uses the 3D partial decoder 1520 or the scale through the obtained enhancement layer image information.
  • the decoding is performed by applying the flexible partial decoder 1530.
  • the base layer decoder 1510 includes a decoding algorithm module for decoding a base layer image with respect to an input bitstream.
  • the base layer decoder 1510 may include a decoding algorithm module such as transform, quantization, inverse transform, inverse quantization, intra prediction, motion prediction, loop filter, and the like, and is common to the enhancement layer image as well as the base layer image. It can be implemented as a decoding algorithm module that can be applied to.
  • the base layer image may be reconstructed by the base layer decoder 1510.
  • the partial decoders 1520 and 1530 include additional decoding algorithm modules for decoding the enhancement layer image according to the video coding type of the multilayer image.
  • the partial decoders 1520 and 1530 may include the 3D partial decoder 1520 including an additional decoding algorithm module for decoding the enhancement layer for the 3D video image, and the enhancement layer for the scalable image. It may include a scalable partial decoder 1530 including an additional decoding algorithm module for.
  • the 3D partial decoder 1520 and the scalable partial decoder 1530 may be implemented as an algorithm that cannot be decoded using the basic decoding algorithm module, that is, a decoding algorithm module using inter-layer correlation information.
  • an interlayer prediction module may be included, which is a case of predicting using inter-layer information during motion prediction.
  • the integrated video decoder 1500 may determine whether to apply the 3D partial decoder 1520 or the scalable partial decoder 1530 based on the enhancement layer image information indicating the video coding type of the multilayer image.
  • the hierarchical image information may be obtained, and the switch 1515 may be operated to perform the 3D partial decoder 1520 to decode the image for the enhancement layer.
  • the integrated video decoder 1500 indicates that the scalable video coding should be performed through the base layer decoder 1510.
  • the enhancement layer image information may be obtained, and the switch 1515 may be operated to perform the scalable partial decoder 1530 to decode the image of the enhancement layer.
  • the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of steps, and certain steps may occur in a different order or at the same time than other steps described above. Can be. Also, one of ordinary skill in the art appreciates that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 서로 다른 종류의 다계층(multi-layer) 영상을 지원하는 통합 비디오 인코더/디코더에 관한 것이다. 본 발명에 따른 통합 비디오 인코더는 다계층 영상에서 기본 계층 영상을 부호화하기 위한 부호화 알고리즘 모듈을 포함하는 기본 인코더 및 상기 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 부분 인코더를 포함한다.

Description

서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
본 발명은 기본적인 부호화/복호화 알고리즘을 공유하는 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치에 관한 것으로, 서로 다른 다계층 비디오 코덱을 통합하여 구현할 때 H/W 또는 S/W 구현 복잡도를 감소시키는 방법에 관한 것이다.
다계층 영상은 스케일러빌리티(Scalability)를 지원하는 스케일러블 비디오 영상 또는 여러 시점의 영상을 지원하는 다시점 및 3차원 입체 비디오 영상 등이 있으며, 이를 이용하여 부호화/복호화를 하는 기술로는 스케일러블 비디오 코딩 기술, 3차원 비디오 코딩 기술 등이 있다. 스케일러블 비디오 코딩 기술과 관련된 연구로써 ISO/IEC의 MPEG(Moving Picture Experts Group)과 ITU-T의 VCEG(Video Coding Experts Group)의 공동 표준화 그룹인 JCT-VC(The Joint Collaborative Team on Video Coding Extension Development)에서 스케일러블 비디오 코딩 기술 표준(ex: SHVC)이 진행 중이고, 3차원 비디오 코딩 기술과 관련된 연구로써 ISO/IEC의 MPEG(Moving Picture Experts Group)과 ITU-T의 VCEG(Video Coding Experts Group)의 공동 표준화 그룹인 JCT-3V(The Joint Collaborative Team on 3D Video Coding Extension Development)에서 3차원 비디오 코딩 기술 표준(ex: 3D-HEVC)이 진행 중이다.
스케일러블 비디오 표준은 기준영상(Base-layer video)과 그것의 향상된 화질(picture quality), 영상크기(image size), 또는 프레임율(frame-rate)이 향상된 영상(Enhancement-layer video)을 스케일러빌리티(Scalability)를 이용하여 다양한 전송 및 재생환경에 적합한 비디오를 사용자에게 시청하게 할 수 있는 진보된 데이터 형식과 그에 관련된 기술에 대한 표준을 포함하고 있다.
스케일러블 비디오 표준에서 고려하고 있는 기본적인 스케일러블 비디오 코딩 시스템은 도 1과 같다.
송신측에서는 입력 영상에 대해 다운샘플링(down sampling)을 이용하여 스케일러블 정보를 갖는 영상 콘텐츠를 획득한다. 획득된 영상 콘텐츠에는 영상에 대한 시간적(temporal), 공간적(spatial), 화질적(SNR) 스케일러빌리티 정보 등이 포함될 수 있다. 상기 영상 콘텐츠는 스케일러블 인코더에서 스케일러블 비디오 부호화 방법을 사용하여 압축되며, 압축된 비트스트림은 네트워크를 통해 단말로 전송된다.
수신측에서는 전송 받은 비트스트림을 스케일러블 디코더에서 스케일러블 복호화 방법을 사용하여 사용자 환경에 맞는 영상을 복원한다.
3차원 비디오 표준은 실제 영상과 그것의 깊이정보 맵(Depth-map)을 이용하여 스테레오스코픽 영상뿐만 아니라 여러 개의 카메라로부터 입력된 다시점(multi-view) 영상의 재생 등을 지원할 수 있는 진보된 데이터 형식과 그에 관련된 기술에 대한 표준을 포함하고 있다.
3차원 비디오 표준에서 고려하고 있는 기본적인 3차원 비디오 시스템은 도 2와 같다.
송신측에서는 스테레오 카메라, 깊이정보 카메라, 다시점 카메라, 2차원 영상을 3차원 영상으로 변환하는 변환기 등을 이용하여 N(N=2) 시점의 영상 콘텐츠를 획득한다. 획득된 영상 콘텐츠는 N 시점의 비디오 정보와 그것의 깊이정보 맵(Depth-map) 정보 그리고 카메라 관련 부가정보 등이 포함될 수 있다. N 시점의 영상 콘텐츠는 3DV 인코더에서 다시점 비디오 부호화 방법을 사용하여 압축되며, 압축된 비트스트림은 네트워크를 통해 단말로 전송된다.
수신측에서는 전송 받은 비트스트림을 3DV 디코더에서 다시점 비디오 복호화 방법을 사용하여 복호화하여 N 시점의 영상을 복원한다. 복원된 N 시점의 영상은 깊이정보 맵 기반 랜더링(DIBR; Depth-Image-Based Rendering) 과정에 의해 N 시점 이상의 가상시점 영상들이 생성될 수 있다. 생성된 N 시점 이상의 가상시점 영상들은 다양한 입체 디스플레이 장치에 맞게 재생되어 사용자에게 입체감이 있는 영상을 제공하게 된다.
도 3은 상술한 도 1의 스케일러블 비디오 코딩이나 상술한 도 2의 다시점 비디오 코딩에서 사용되는, 다계층(multi-layer) 영상을 지원하는 부호화기/복호화기에 대한 일 실시예이다.
도 3을 참조하면, 기본 계층(base layer)은 독립적으로 부호화/복호화할 수 있으며, 또한 기본 계층에 대한 부호화 정보를 이용하여 향상 계층(enhancement layer)을 부호화/복호화할 수 있다. 또한, 계층간의 상관 정보를 이용하여 계층간 서로 의존적으로 부호화/복호화 할 수 있다.
본 발명은 다게층 비디오 코덱을 통합하여 구현할 때 기존의 부호화/복호화 모듈의 재사용성을 증가시키는 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치를 제공한다.
본 발명은 동일한 기본 계층 부호화 알고리즘을 갖는 3개 이상의 서로 다른 비디오 코덱의 통합에서 (예를 들어, 기본 코덱과 함께, 3D 비디오 및 스케일러블 비디오 관련 코덱, 즉 3가지 각기 다른 목적을 가진 비디오 코덱 모두를 통합한 통합 코덱의 구현), 이미 하드웨어 칩 형태로 구현이 완료된 기본 계층 부호화 모듈을 그대로 재사용하고, 3D 비디오 코딩 및 스케일러블 비디오 코딩을 위한 각기 다른 향상 계층 부호화 모듈 구현에 있어서 비디오 코덱 종류에 따른 추가 부호화 알고리즘만을 적용함으로써 하나의 통합 하드웨어로 구현하는 방법을 제공한다.
본 발명의 일 실시예에 따르면, 서로 다른 종류의 다계층(multi-layer) 영상을 지원하는 통합 비디오 인코더가 제공된다. 상기 통합 비디오 인코더는 다계층 영상에서 기본 계층 영상을 부호화하기 위한 부호화 알고리즘 모듈을 포함하는 기본 인코더 및 상기 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 부분 인코더를 포함한다.
상기 다계층 영상은, 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 또는 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상일 수 있다.
본 발명의 다른 실시예에 따르면, 서로 다른 종류의 다계층(multi-layer) 영상을 지원하는 통합 비디오 디코더가 제공된다. 상기 통합 비디오 디코더는 다계층 영상에서 기본 계층 영상을 복호화하기 위한 복호화 알고리즘 모듈을 포함하는 기본 디코더 및 상기 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 부분 디코더를 포함한다.
상기 다계층 영상은, 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 또는 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상일 수 있다.
본 발명은 서로 다른 다계층 비디오 코덱을 통합하여 구현할 때, 기존 비디오 부호화 및 복호화 모듈을 그대로 재사용함으로써, 통합 부호화 방법 및 장치의 구현 복잡도를 감소시킬 수 있다.
또한, 기본적인 부호화 알고리즘을 갖는 기본 코덱과 함께, 기본 코덱의 기능을 포함하는 3D 비디오 및 스케일러블 비디오 관련 코덱, 즉 3가지 이상의 각기 다른 목적을 가진 비디오 코덱 모두를 통합한 통합 코덱의 구현에 있어서, 이미 하드웨어 칩 형태로 구현이 완료된 기본 계층 부호화 모듈을 그대로 재사용하며, 3D 비디오 코딩 및 스케일러블 비디오 코딩을 위한 각기 다른 향상 계층 부호화 모듈 구현에 있어서 비디오 코덱 종류에 따른 추가 부호화 알고리즘만을 적용함으로써 하나의 통합 하드웨어로 구현할 수 있는 효과가 있다.
도 1은 스케일러블 비디오 코딩 시스템을 나타낸 일예이다.
도 2는 3차원 비디오 시스템을 나타낸 일예이다.
도 3은 다계층(multi-layer) 영상을 지원하는 부호화기/복호화기에 대한 일 실시예이다.
도 4는 다계층 영상을 부호화하기 위한 다계층 비디오 인코더 구조를 나타낸다.
도 5는 스케일러블 비디오 영상을 부호화하기 위한 스케일러블 비디오 코덱인 SHVC 부호화기의 일 실시예를 나타낸다.
도 6은 기본 계층과 향상 계층 간의 움직임 예측 방법을 하드웨어로 구현한 일 실시예를 나타내는 도면이다.
도 7은 HEVC와 SHVC 및 3D-HEVC 코덱을 통합 코덱으로 구현할 경우의 일 실시예를 나타낸다.
도 8은 본 발명의 실시예에 따른 통합 비디오 인코더의 일예를 나타낸다.
도 9는 본 발명의 실시예에 따라서 상술한 도 8의 통합 비디오 인코더를 이용하여 3차원 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 실시예에 따라서 상술한 도 8의 통합 비디오 인코더를 이용하여 스케일러블 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 통합 비디오 인코더의 다른 예를 나타낸다.
도 12는 본 발명의 실시예에 따라서 상술한 도 11의 통합 비디오 인코더를 이용하여 3차원 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따라서 상술한 도 11의 통합 비디오 인코더를 이용하여 스케일러블 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 14는 본 발명의 실시예에 따른 통합 비디오 디코더의 일예를 나타낸다.
도 15는 본 발명의 실시예에 따른 통합 비디오 디코더의 다른 예를 나타낸다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
다계층(multi-layer) 영상은 독립적으로 부호화/복호화될 수 있는 기본 계층(base layer) 영상과, 기본 계층 혹은 다른 계층의 영상 정보를 이용하여 부호화/복호화되는 향상 계층(enhancement layer) 영상을 포함할 수 있다. 예를 들어, 다계층 영상은 스케일러빌리티를 지원하는 스케일러블 비디오 영상, 여러 시점의 영상을 지원하는 다시점 비디오 영상, 3차원 입체 비디오 영상 등일 수 있다.
다계층 영상에서 기본 계층과 향상 계층의 상관 정보를 이용하는 종래 다계층 영상 부호화/복호화 방법은 부호화 효율을 증가시키기 위하여 계층간의 상관성을 이용하며, 부호화/복호화 알고리즘들이 계층별로 존재한다. 이로 인해 다계층 영상에 대한 부호화/복호화시에는, 기본 계층에 대해서만 부호화/복호화를 할 경우보다 더 많은 부호화/복호화 알고리즘이 요구되며, 이를 구현하기 위한 하드웨어 및 소프트웨어의 구현 복잡도가 증가되고 계산 복잡도가 증가되는 문제점이 존재한다.
도 4는 다계층 영상을 부호화하기 위한 다계층 비디오 인코더 구조를 나타낸다.
도 4를 참조하면, 다계층 비디오 인코더(400)는 서로 다른 계층의 영상들을 입력으로 받아 부호화하여 통합된 하나의 비트스트림을 출력한다.
예를 들어, 기본 계층의 영상인 기본 영상과, 향상 계층의 영상인 부가 영상1 및 부가 영상2가 다계층 비디오 인코더(400)로 입력될 수 있으며, 이때 3개의 서로 다른 계층의 영상들은 도 4에서와 같이 계층별 영상 정보에 따라 서로 다른 인코더로 입력되어 부호화될 수 있다.
기본 영상은 역방향 호환성(Backward compatibility)을 위하여 종래 단일 영상 계층 비디오 코덱으로 부호화되어야 하므로, 기본 계층 인코더(410)에 의해 부호화된다. 부가 영상들은 계층간 상관성을 이용한 알고리즘이 포함된 향상 계층 인코더(420)에 의해 부호화된다. 따라서, 기본 영상을 부호화할 때에 비해, 부가 영상을 부호화할 때 더욱 복잡한 인코더가 요구된다.
도 5는 스케일러블 비디오 영상을 부호화하기 위한 스케일러블 비디오 코덱인 SHVC 부호화기의 일 실시예를 나타낸다.
도 5를 참조하면, SHVC 부호화기(500)는 다운샘플링(downsampling)된 영상을 입력 받아 부호화하는 기본 계층(Base Layer; BL) 인코더(510)와, 높은 해상도를 갖는 영상을 입력 받아 부호화하는 향상 계층(Enhancement Layer; EL) 인코더(520)를 포함한다.
기본 계층 인코더(510)와 향상 계층 인코더(520)에서 사용되는 부호화 알고리즘 중, 변환 및 양자화(T/Q) 또는 역변환 및 역양자화(IT/IQ), 인트라 예측(Intra Pred.), 루프 필터(Loop Filter)와 같은 부호화 알고리즘은 계층별로 동일한 알고리즘을 이용할 수 있다. 하지만, 향상 계층 인코더(520)에서 사용되는 움직임 예측(M.C. Pred.)과 같은 부호화 알고리즘은 기본 계층의 부호화 알고리즘에 계층간 상관 정보를 추가적으로 이용하여야 하므로, 기본 계층과 동일한 알고리즘을 적용할 수 없다.
따라서, 향상 계층(기본 계층을 제외한 계층)을 위한 부호화 알고리즘 모듈은, 기본 계층의 부호화 알고리즘의 일부 코딩 모듈(이후, 본 발명에서는 부호화 부분 모듈로 지칭함)에 계층간의 상관 정보에 따른 정보를 추가하거나 수정하여 구현될 수 있다. 따라서, 향상 계층을 위한 부호화 알고리즘의 일부 모듈은 기본 계층을 위한 부호화 알고리즘 모듈에 향상 계층을 위한 알고리즘이 추가되어서, 보다 복잡하게 구성되어 있으며, 그에 따라 계산 복잡도가 크다는 것을 알 수 있다. 또한, 하드웨어 혹은 소프트웨어로 구현하는 측면에서 보면, 기본 계층을 위한 부호화 부분 모듈과 향상 계층을 위한 부호화 부분 모듈을 모두 독립적으로 따로따로 구현해주어야 하므로, 하드웨어 및 소프트웨어 구현 복잡도 역시 매우 증가하게 된다.
도 6은 기본 계층과 향상 계층 간의 움직임 예측 방법을 하드웨어로 구현한 일 실시예를 나타내는 도면이다.
도 6을 참조하면, 기본 계층에 대한 일반 영상에 적용되는 움직임 예측 방법과 향상 계층에 적용되는 움직임 예측 방법의 입력 파라미터가 동일함을 알 수 있다. 단지, 다른 점은 향상 계층에 적용되는 움직임 예측 방법의 입력 파라미터로써, 향상 계층을 위해 기본 계층 또는 계층 간의 상관 정보에 따른 “추가 움직임 정보” 파라미터가 추가된 부분이다. 또한, 향상 계층에 적용되는 움직임 예측 방법에서는 추가 움직임 정보들을 통해 움직임 예측 방법 부분이 변경된다. 즉, 추가 움직임 정보들을 향상 계층의 움직임 예측 방법에 포함시키기 위해서(부호화 효율을 증가시키기 위해서) 향상 계층을 위한 움직임 예측 모듈을 모두 새로 구현하여야 한다. 이는 하드웨어의 구현 복잡도를 증가시킬 수 있다.
도 6의 움직임 예측 방법에 있어서, SHVC 비디오 코덱의 경우에는 기본 계층으로부터의 움직임 예측 정보 또는 그것의 스케일된 정보 등을 추가 움직임 정보로 사용하여 향상 계층의 영상을 부호화할 수 있다. 또한, 3D-HEVC 비디오 코덱의 경우에는 기준 시점 영상과 부가 시점 영상 및 그것의 깊이정보 맵으로부터 얻어지는 시점 간의 움직임 예측 정보 등을 추가 움직임 정보로 사용하여 향상 계층의 영상을 부호화할 수 있다.
따라서, 기본 계층 부호화 방법이 동일한 경우, 향상 계층에 대한 부호화 방법은 단지 계층간 비디오 코딩 방법에 따라 얻어지는 추가적인 계층간의 상관 정보에 의해 차이를 갖게 된다. 이는 동일한 기본 계층의 부호화 방법을 이용하고, 향상 계층의 부호화 방법에서 차이를 갖는 다른 비디오 코덱의 경우, 서로 다른 하드웨어 자원으로 기본 계층과 향상 계층을 위한 부호화 모듈을 새로 각각 구현하여야 한다.
예를 들어, 공동 표준화 그룹인 JCT-3V에서 진행 중에 있는 3D-HEVC 국제 표준의 경우, 기본 계층에서는 HEVC(또는 H.265) 비디오 코덱을 사용하고, 향상 계층에서는 3D-HEVC 국제 표준에서 결정하는 향상 계층을 위한 알고리즘이 추가로 확장된 비디오 코덱(이후, 본 발명에서는 3D 향상(enhanced) HEVC 코덱이라고 지칭함)을 사용해서 구현하여야만 한다.
또한, 공동 표준화 그룹인 JCT-VC에서 진행 중에 있는 SHVC 국제 표준의 경우, 기본 계층에서는 HEVC(또는 H.265) 비디오 코덱을 사용하고, 향상 계층에서는 SHVC 국제 표준에서 결정하는 향상 계층을 위한 알고리즘이 추가로 확장된 비디오 코덱(이후, 본 발명에서는 스케일러블 향상(Scalable-enhanced) HEVC 코덱이라고 지칭함)을 사용해서 구현하여야만 한다.
만약 HEVC 코덱과 함께, 3D 비디오를 위한 3D-HEVC 코덱, 및 스케일러블 비디오를 위한 SHVC 코덱이 모두 포함된 통합 코덱(combined codec)을 구현하여 사용자에게 제공하기 위해서는, HEVC 코덱과 3D 향상 HEVC 코덱 및 스케일러블 향상 HEVC 코덱이 모두 하나의 통합된 코덱에 구현되어야만 한다. 이러한 통합된 코덱에서는 기본 계층의 HEVC 코덱이 중복적으로 3D 향상 HEVC 코덱과 스케일러블 향상 HEVC 코덱에 구현되어야 하므로, 총 3개의 HEVC 코덱 관련 알고리즘이 중복적으로 구현 및 설치 되어야 통합 코덱이 완성될 수 있다. 이러한 통합 코덱은 도 7에 도시된 바와 같이, 하드웨어 설계 및 소프트웨어 설계에서 막대한 구현 복잡도 및 기본 코덱 구현의 중복성(도 7에서는 3개의 HEVC 코덱이 기본적으로 필요함)을 초래하는 결과를 발생시킨다.
따라서, 본 발명에서는 기본 계층의 부호화 알고리즘이 동일한 서로 다른 비디오 코덱을 하나의 통합 비디오 코덱으로 구현하는 방법을 제안한다.
이하, 본 발명에서는 도 7에 도시된 바와 같이, HEVC 코덱과 3D-HEVC 코덱 및 SHVC 코덱을 하나의 통합 코덱으로 구현할 때, 하드웨어 및 소프트웨어 설계의 구현 복잡도를 줄이고 기본 코덱의 구현 중복성을 제거할 수 있는 방안을 제공한다.
본 발명의 궁극적인 목적은 동일한 기본 계층 부호화 알고리즘을 갖는 서로 다른 비디오 코덱에서 이미 하드웨어 칩 형태로 구현이 완료된 기본 계층 부호화 모듈을 그대로 재사용하고, 각각의 향상 계층 부호화 모듈 구현에 있어서 비디오 코덱 종류에 따른 추가 부호화 알고리즘만을 적용함으로써 하나의 통합 하드웨어로 구현하는 것이다.
[구현 방법1]
도 8은 본 발명의 실시예에 따른 통합 비디오 인코더의 일예를 나타낸다.
본 발명의 실시예에 따른 통합 비디오 인코더는 서로 다른 종류의 다계층 영상을 부호화할 수 있다. 예컨대, 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상과 같은 서로 다른 다계층 영상에 대해 부호화를 수행할 수 있다.
도 8을 참조하면, 통합 비디오 인코더(800)는 서로 다른 계층의 영상들을 입력으로 받아 부호화하고, 통합된 하나의 비트스트림을 출력할 수 있다.
예를 들어, 통합 비디오 인코더(800)는, 3D 비디오 코덱 관련의 경우에는 시점별 일반 영상 또는 그것의 깊이정보 맵, 스케일러블 비디오 코덱 관련의 경우에는 시간적(temporal), 공간적(spatial), 또는 화질적(SNR) 스케일러빌리티 정보를 포함하는 계층별 영상들을 입력으로 받고, 각 계층별 영상에 대해 기본 계층 인코더(부호화기)(810)로 부호화를 수행할 수 있다. 일예로, 여기서 사용되는 인코더는 MPEG-1, MPEG-2, MPEG-4 Part 2 Visual, H.264/AVC, VC-1, AVS, KTA, HEVC(H.265/HEVC) 등이 될 수 있다.
기본 계층 인코더(810)는 입력된 다계층 영상에서 기본 계층 영상을 부호화하기 위한 부호화 알고리즘 모듈을 포함한다. 예를 들어, 기본 계층 인코더(810)는 변환, 양자화, 역변환, 역양자화, 인트라 예측, 움직임 예측, 루프 필터 등과 같은 부호화 알고리즘 모듈을 포함할 수 있으며, 기본 계층 영상뿐만 아니라 향상 계층 영상에 대해 공통적으로 적용될 수 있는 부호화 알고리즘 모듈로 구현될 수 있다.
통합 비디오 인코더(800)는 부가 영상들에 대해서는 부호화 효율을 증가시키기 위해서 부분 인코더(820, 830)를 추가적으로 수행하여 부호화할 수 있다.
부분 인코더(820, 830)는 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함한다. 예를 들어, 부분 인코더(820, 830)는 스케일러블 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 스케일러블 부분 인코더(820)와, 3차원 비디오 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 3차원 부분 인코더(830)을 포함할 수 있다.
이때, 스케일러블 부분 인코더(820)와 3차원 부분 인코더(830)는 기본 부호화 알고리즘 모듈을 이용하여 부호화할 수 없는 알고리즘, 즉 계층간 상관 정보를 이용하는 부호화 알고리즘 모듈로 구현될 수 있다. 예컨대, 움직임 예측 시 계층간 정보를 이용하여 예측하는 경우인 인터 레이어 예측 모듈을 포함할 수 있다.
통합 비디오 인코더(800)는 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 스케일러블 부분 인코더(820) 또는 3차원 부분 인코더(830)를 적용할지를 결정할 수 있다.
만일, 향상 계층 영상 정보가 스케일러블 비디오 코딩을 수행함을 나타내는 경우, 통합 비디오 인코더(800)는 스케일러블 부분 인코더(820)를 적용하도록 스위치(815)를 동작시킬 수 있다. 그렇지 않고, 향상 계층 영상 정보가 3차원 비디오 코딩을 수행함을 나타내는 경우, 통합 비디오 인코더(800)는 스케일러블 부분 인코더(820)를 적용하지 않도록 스위치(815)를 동작시키고 3차원 부분 인코더(830)를 적용하도록 스위치(825)를 동작시킬 수 있다.
통합 비디오 인코더(800)는 기본 계층 인코더(810)와 부분 인코더(820, 830)에 의해 부호화된 각 계층별 영상에 대한 비트스트림들을 하나의 비트스트림으로 다중화할 수 있으며, 이를 위하여 다중화기를 포함할 수 있다.
상술한 본 발명의 실시예에 따른 통합 비디오 인코더(800)는 역방향 호환성을 제공하는 기본 영상(기본 계층 영상)의 부호화에 사용되는 모듈을 부가 영상(향상 계층 영상)의 부호화에 그대로 적용함으로써 구현 복잡도가 감소되며, 그 다음으로 향상 계층 영상 정보로부터 향상 계층에 대한 부가 영상에 적용할 부분 인코더를 결정하고 이를 추가적으로 적용함으로써 부호화 효율이 향상될 수 있다.
도 9는 본 발명의 실시예에 따라서 상술한 도 8의 통합 비디오 인코더를 이용하여 3차원 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 9에서는, 다계층 영상으로 시점별 일반 영상 또는 그것의 깊이정보 맵 영상이 입력된 경우, 통합 비디오 인코더에서 3차원 비디오 코딩을 수행하는 과정에 대해 설명한다.
도 9를 참조하면, 통합 비디오 인코더(900)는 입력된 3차원 비디오 영상에 대해 기본 계층 인코더(910)를 수행하고, 입력된 향상 계층 영상 정보(3차원 비디오 코딩을 수행함을 나타내는 정보)에 의해 스케일러블 부분 인코더(920)를 수행하지 않고, 3차원 부분 인코더(930)를 수행할 수 있다.
기본 계층 인코더(910)에 의해 부호화된 3차원 비디오 영상과 3차원 부분 인코더(930)에 의해 부호화된 향상 계층에 대한 3차원 비디오 영상이 다중화 모듈로 입력되고, 다중화 모듈에 의해 다중화되어 비트스트림으로 출력될 수 있다.
도 10은 본 발명의 실시예에 따라서 상술한 도 8의 통합 비디오 인코더를 이용하여 스케일러블 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 10에서는, 다계층 영상으로 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티 정보를 포함하는 스케일러블 영상이 입력된 경우, 통합 비디오 인코더에서 스케일러블 비디오 코딩을 수행하는 과정에 대해 설명한다.
도 10을 참조하면, 통합 비디오 인코더(1000)는 입력된 스케일러블 영상에 대해 기본 계층 인코더(1010)를 수행하고, 입력된 향상 계층 영상 정보(스케일러블 비디오 코딩을 수행함을 나타내는 정보)에 의해 스케일러블 부분 인코더(1020)를 수행할 수 있다. 이때, 통합 비디오 인코더(1000)는 3차원 부분 인코더(1030)를 수행하지 않을 수 있다.
기본 계층 인코더(1010)에 의해 부호화된 스케일러블 영상과 스케일러블 부분 인코더(1020)에 의해 부호화된 향상 계층에 대한 스케일러블 영상이 다중화 모듈로 입력되고, 다중화 모듈에 의해 다중화되어 비트스트림으로 출력될 수 있다.
[구현 방법2]
도 11은 본 발명의 실시예에 따른 통합 비디오 인코더의 다른 예를 나타낸다.
본 발명의 실시예에 따른 통합 비디오 인코더는 서로 다른 종류의 다계층 영상을 부호화할 수 있다. 예컨대, 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상과 같은 서로 다른 다계층 영상에 대해 부호화를 수행할 수 있다.
도 11을 참조하면, 통합 비디오 인코더(1100)는 서로 다른 계층의 영상들을 입력으로 받아 부호화하고, 통합된 하나의 비트스트림을 출력할 수 있다.
예를 들어, 통합 비디오 인코더(1100)는, 3D 비디오 코덱 관련의 경우에는 시점별 일반 영상 또는 그것의 깊이정보 맵, 스케일러블 비디오 코덱 관련의 경우에는 시간적(temporal), 공간적(spatial), 또는 화질적(SNR) 스케일러빌리티 정보를 포함하는 계층별 영상들을 입력으로 받고, 각 계층별 영상에 대해 기본 계층 인코더(부호화기)(1110)로 부호화를 수행할 수 있다. 일예로, 여기서 사용되는 인코더는 MPEG-1, MPEG-2, MPEG-4 Part 2 Visual, H.264/AVC, VC-1, AVS, KTA, HEVC(H.265/HEVC) 등이 될 수 있다.
기본 계층 인코더(1110)는 입력된 다계층 영상에서 기본 계층 영상을 부호화하기 위한 부호화 알고리즘 모듈을 포함한다. 예를 들어, 기본 계층 인코더(1110)는 변환, 양자화, 역변환, 역양자화, 인트라 예측, 움직임 예측, 루프 필터 등과 같은 부호화 알고리즘 모듈을 포함할 수 있으며, 기본 계층 영상뿐만 아니라 향상 계층 영상에 대해 공통적으로 적용될 수 있는 부호화 알고리즘 모듈로 구현될 수 있다.
통합 비디오 인코더(1100)는 부가 영상들에 대해서는 부호화 효율을 증가시키기 위해서 부분 인코더(1120, 1130)를 추가적으로 수행하여 부호화할 수 있다.
부분 인코더(1120, 1130)는 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함한다. 예를 들어, 부분 인코더(1120, 1130)는 3차원 비디오 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 3차원 부분 인코더(1120)와, 스케일러블 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 스케일러블 부분 인코더(1130)를 포함할 수 있다.
이때, 3차원 부분 인코더(1120)와 스케일러블 부분 인코더(1130)는 기본 부호화 알고리즘 모듈을 이용하여 부호화할 수 없는 알고리즘, 즉 계층간 상관 정보를 이용하는 부호화 알고리즘 모듈로 구현될 수 있다. 예컨대, 움직임 예측 시 계층간 정보를 이용하여 예측하는 경우인 인터 레이어 예측 모듈을 포함할 수 있다.
통합 비디오 인코더(1100)는 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 3차원 부분 인코더(1120) 또는 스케일러블 부분 인코더(1130)를 적용할지를 결정할 수 있다.
만일, 향상 계층 영상 정보가 3차원 비디오 코딩을 수행함을 나타내는 경우, 통합 비디오 인코더(1100)는 3차원 부분 인코더(1120)를 적용하도록 스위치(1115)를 동작시킬 수 있다. 그렇지 않고, 향상 계층 영상 정보가 스케일러블 비디오 코딩을 수행함을 나타내는 경우, 통합 비디오 인코더(1100)는 스케일러블 부분 인코더(1130)를 적용하도록 스위치(1115)를 동작시킬 수 있다.
통합 비디오 인코더(1100)는 기본 계층 인코더(1110)와 부분 인코더(1120, 1130)에 의해 부호화된 각 계층별 영상에 대한 비트스트림들을 하나의 비트스트림으로 다중화할 수 있으며, 이를 위하여 다중화기를 포함할 수 있다.
상술한 본 발명의 실시예에 따른 통합 비디오 인코더(1100)는 역방향 호환성을 제공하는 기본 영상(기본 계층 영상)의 부호화에 사용되는 모듈을 부가 영상(향상 계층 영상)의 부호화에 그대로 적용함으로써 구현 복잡도가 감소되며, 그 다음으로 향상 계층 영상 정보로부터 향상 계층에 대한 부가 영상에 적용할 부분 인코더를 결정하고 이를 추가적으로 적용함으로써 부호화 효율이 향상될 수 있다.
도 12는 본 발명의 실시예에 따라서 상술한 도 11의 통합 비디오 인코더를 이용하여 3차원 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 12에서는, 다계층 영상으로 시점별 일반 영상 또는 그것의 깊이정보 맵 영상이 입력된 경우, 통합 비디오 인코더에서 3차원 비디오 코딩을 수행하는 과정에 대해 설명한다.
도 12를 참조하면, 통합 비디오 인코더(1200)는 입력된 3차원 비디오 영상에 대해 기본 계층 인코더(1210)를 수행하고, 입력된 향상 계층 영상 정보(3차원 비디오 코딩을 수행함을 나타내는 정보)에 의해 3차원 부분 인코더(1220)를 선택하여 수행할 수 있다.
기본 계층 인코더(1210)에 의해 부호화된 3차원 비디오 영상과 3차원 부분 인코더(1220)에 의해 부호화된 향상 계층에 대한 3차원 비디오 영상이 다중화 모듈로 입력되고, 다중화 모듈에 의해 다중화되어 비트스트림으로 출력될 수 있다.
도 13은 본 발명의 실시예에 따라서 상술한 도 11의 통합 비디오 인코더를 이용하여 스케일러블 비디오 코딩을 수행하는 방법을 설명하기 위한 도면이다.
도 13에서는, 다계층 영상으로 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티 정보를 포함하는 스케일러블 영상이 입력된 경우, 통합 비디오 인코더에서 스케일러블 비디오 코딩을 수행하는 과정에 대해 설명한다.
도 13을 참조하면, 통합 비디오 인코더(1300)는 입력된 스케일러블 영상에 대해 기본 계층 인코더(1310)를 수행하고, 입력된 향상 계층 영상 정보(스케일러블 비디오 코딩을 수행함을 나타내는 정보)에 의해 스케일러블 부분 인코더(1330)를 선택하여 수행할 수 있다.
기본 계층 인코더(1310)에 의해 부호화된 스케일러블 영상과 스케일러블 부분 인코더(1330)에 의해 부호화된 향상 계층에 대한 스케일러블 영상이 다중화 모듈로 입력되고, 다중화 모듈에 의해 다중화되어 비트스트림으로 출력될 수 있다.
상술한 도 8 내지 도 13의 통합 비디오 인코더에 의해 수행된 부호화 방법은 복호화 방법에 대해서 적용할 수 있으며, 도 14 및 도 15에서 서로 다른 다계층 영상을 지원하는 통합 비디오 디코더에 대해 설명한다.
도 14는 본 발명의 실시예에 따른 통합 비디오 디코더의 일예를 나타낸다.
본 발명의 실시예에 따른 통합 비디오 디코더는 서로 다른 종류의 다계층 영상을 복호화할 수 있다. 예컨대, 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상과 같은 서로 다른 다계층 영상에 대해 복호화를 수행할 수 있다.
도 14를 참조하면, 통합 비디오 디코더(1400)는 입력된 비트스트림에 대해 기본 계층 디코더(1410)를 적용하여 복호화를 수행하고, 이때 얻어진 향상 계층 영상 정보를 통해 스케일러블 부분 디코더(1420) 또는 3차원 부분 디코더(1430)를 적용하여 복호화를 수행한다.
기본 계층 디코더(1410)는 입력된 비트스트림에 대해 기본 계층 영상을 복호화하기 위한 복호화 알고리즘 모듈을 포함한다. 예를 들어, 기본 계층 디코더(1410)는 변환, 양자화, 역변환, 역양자화, 인트라 예측, 움직임 예측, 루프 필터 등과 같은 복호화 알고리즘 모듈을 포함할 수 있으며, 기본 계층 영상뿐만 아니라 향상 계층 영상에 대해 공통적으로 적용될 수 있는 복호화 알고리즘 모듈로 구현될 수 있다.
기본 계층 디코더(1410)에 의해 기본 계층 영상이 복원될 수 있다.
부분 디코더(1420, 1430)는 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함한다. 예를 들어, 부분 디코더(1420, 1430)는 스케일러블 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 스케일러블 부분 디코더(1420)와, 3차원 비디오 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 3차원 부분 디코더(1430)을 포함할 수 있다.
이때, 스케일러블 부분 디코더(1420)와 3차원 부분 디코더(1430)는 기본 복호화 알고리즘 모듈을 이용하여 복호화할 수 없는 알고리즘, 즉 계층간 상관 정보를 이용하는 복호화 알고리즘 모듈로 구현될 수 있다. 예컨대, 움직임 예측 시 계층간 정보를 이용하여 예측하는 경우인 인터 레이어 예측 모듈을 포함할 수 있다.
통합 비디오 디코더(1400)는 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 스케일러블 부분 디코더(1420) 또는 3차원 부분 디코더(1430)를 적용할지를 결정할 수 있다.
만일, 입력된 비트스트림이 상술한 도 8의 스케일러블 부분 인코더에 의해 부호화되어 생성된 경우, 통합 비디오 디코더(1400)는 기본 계층 디코더(1410)를 통해 스케일러블 비디오 코딩을 수행해야 함을 나타내는 향상 계층 영상 정보를 얻고, 스위치(1415)를 동작시켜 스케일러블 부분 디코더(1420)를 수행하여 향상 계층에 대한 영상을 복호화할 수 있다.
그렇지 않고, 입력된 비트스트림이 상술한 도 8의 3차원 부분 인코더에 의해 부호화되어 생성된 경우, 통합 비디오 디코더(1400)는 기본 계층 디코더(1410)를 통해 3차원 비디오 코딩을 수행해야 함을 나타내는 향상 계층 영상 정보를 얻고, 스위치(1425)를 동작시켜 3차원 부분 디코더(1430)를 수행하여 향상 계층에 대한 영상을 복호화할 수 있다.
도 15는 본 발명의 실시예에 따른 통합 비디오 디코더의 다른 예를 나타낸다.
본 발명의 실시예에 따른 통합 비디오 디코더는 서로 다른 종류의 다계층 영상을 복호화할 수 있다. 예컨대, 시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상과 같은 서로 다른 다계층 영상에 대해 복호화를 수행할 수 있다.
도 15를 참조하면, 통합 비디오 디코더(1500)는 입력된 비트스트림에 대해 기본 계층 디코더(1510)를 적용하여 복호화를 수행하고, 이때 얻어진 향상 계층 영상 정보를 통해 3차원 부분 디코더(1520) 또는 스케일러블 부분 디코더(1530)를 적용하여 복호화를 수행한다.
기본 계층 디코더(1510)는 입력된 비트스트림에 대해 기본 계층 영상을 복호화하기 위한 복호화 알고리즘 모듈을 포함한다. 예를 들어, 기본 계층 디코더(1510)는 변환, 양자화, 역변환, 역양자화, 인트라 예측, 움직임 예측, 루프 필터 등과 같은 복호화 알고리즘 모듈을 포함할 수 있으며, 기본 계층 영상뿐만 아니라 향상 계층 영상에 대해 공통적으로 적용될 수 있는 복호화 알고리즘 모듈로 구현될 수 있다.
기본 계층 디코더(1510)에 의해 기본 계층 영상이 복원될 수 있다.
부분 디코더(1520, 1530)는 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함한다. 예를 들어, 부분 디코더(1520, 1530)는 3차원 비디오 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 3차원 부분 디코더(1520)와, 스케일러블 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 스케일러블 부분 디코더(1530)를 포함할 수 있다.
이때, 3차원 부분 디코더(1520)와 스케일러블 부분 디코더(1530)는 기본 복호화 알고리즘 모듈을 이용하여 복호화할 수 없는 알고리즘, 즉 계층간 상관 정보를 이용하는 복호화 알고리즘 모듈로 구현될 수 있다. 예컨대, 움직임 예측 시 계층간 정보를 이용하여 예측하는 경우인 인터 레이어 예측 모듈을 포함할 수 있다.
통합 비디오 디코더(1500)는 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 3차원 부분 디코더(1520) 또는 스케일러블 부분 디코더(1530)를 적용할지를 결정할 수 있다.
만일, 입력된 비트스트림이 상술한 도 11의 3차원 부분 인코더에 의해 부호화되어 생성된 경우, 통합 비디오 디코더(1500)는 기본 계층 디코더(1510)를 통해 3차원 비디오 코딩을 수행해야 함을 나타내는 향상 계층 영상 정보를 얻고, 스위치(1515)를 동작시켜 3차원 부분 디코더(1520)를 수행하여 향상 계층에 대한 영상을 복호화할 수 있다.
그렇지 않고, 입력된 비트스트림이 상술한 도 11의 스케일러블 부분 인코더에 의해 부호화되어 생성된 경우, 통합 비디오 디코더(1500)는 기본 계층 디코더(1510)를 통해 스케일러블 비디오 코딩을 수행해야 함을 나타내는 향상 계층 영상 정보를 얻고, 스위치(1515)를 동작시켜 스케일러블 부분 디코더(1530)를 수행하여 향상 계층에 대한 영상을 복호화할 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (11)

  1. 서로 다른 종류의 다계층(multi-layer) 영상을 지원하는 통합 비디오 인코더에 있어서,
    다계층 영상에서 기본 계층 영상을 부호화하기 위한 부호화 알고리즘 모듈을 포함하는 기본 인코더; 및
    상기 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 부분 인코더를 포함하며,
    상기 다계층 영상은,
    시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 또는 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상인 것을 특징으로 하는 통합 비디오 인코더.
  2. 제1항에 있어서,
    상기 부분 인코더는,
    상기 스케일러블 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 스케일러블 부분 인코더; 및
    상기 3차원 비디오 영상에 대한 향상 계층을 부호화하기 위한 추가 부호화 알고리즘 모듈을 포함하는 3차원 부분 인코더를 포함하는 것을 특징으로 하는 통합 비디오 인코더.
  3. 제2항에 있어서,
    상기 부분 인코더는,
    상기 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 상기 스케일러블 부분 인코더 또는 상기 3차원 부분 인코더를 적용하는 것을 특징으로 하는 통합 비디오 인코더.
  4. 제1항에 있어서,
    상기 기본 인코더는,
    변환, 양자화, 역변환, 역양자화, 인트라 예측, 움직임 예측 및 루프 필터 중 적어도 하나의 부호화 알고리즘 모듈을 포함하는 것을 특징으로 하는 통합 비디오 인코더.
  5. 제1항에 있어서,
    상기 부분 인코더는,
    계층간 상관 정보를 이용하는 추가 부호화 알고리즘 모듈을 포함하는 것을 특징으로 하는 통합 비디오 인코더.
  6. 제1항에 있어서,
    상기 기본 인코더에 의해 부호화된 상기 기본 계층 영상에 대한 비트스트림과, 상기 부분 인코더에 의해 부호화된 상기 향상 계층 영상에 대한 비트스트림을 다중화하는 다중화기를 더 포함하는 통합 비디오 인코더.
  7. 서로 다른 종류의 다계층(multi-layer) 영상을 지원하는 통합 비디오 디코더에 있어서,
    다계층 영상에서 기본 계층 영상을 복호화하기 위한 복호화 알고리즘 모듈을 포함하는 기본 디코더; 및
    상기 다계층 영상의 비디오 코딩 종류에 따른 향상 계층 영상을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 부분 디코더를 포함하며,
    상기 다계층 영상은,
    시점(view), 시간(temporal), 공간(spatial) 및 화질(quality) 중 적어도 하나의 스케일러빌리티를 지원하는 스케일러블 영상, 또는 시점별 일반 영상 및 깊이정보 맵 영상을 포함하는 3차원 비디오 영상인 것을 특징으로 하는 통합 비디오 디코더.
  8. 제7항에 있어서,
    상기 부분 디코더는,
    상기 스케일러블 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 스케일러블 부분 디코더; 및
    상기 3차원 비디오 영상에 대한 향상 계층을 복호화하기 위한 추가 복호화 알고리즘 모듈을 포함하는 3차원 부분 디코더를 포함하는 것을 특징으로 하는 통합 비디오 디코더.
  9. 제8항에 있어서,
    상기 부분 디코더는,
    상기 다계층 영상의 비디오 코딩 종류를 나타내는 향상 계층 영상 정보를 기반으로 하여, 상기 스케일러블 부분 디코더 또는 상기 3차원 부분 디코더를 적용하는 것을 특징으로 하는 통합 비디오 디코더.
  10. 제7항에 있어서,
    상기 기본 디코더는,
    변환, 양자화, 역변환, 역양자화, 인트라 예측, 움직임 예측 및 루프 필터 중 적어도 하나의 복호화 알고리즘 모듈을 포함하는 것을 특징으로 하는 통합 비디오 디코더.
  11. 제7항에 있어서,
    상기 부분 디코더는,
    계층간 상관 정보를 이용하는 추가 복호화 알고리즘 모듈을 포함하는 것을 특징으로 하는 통합 비디오 디코더.
PCT/KR2014/006211 2013-07-26 2014-07-10 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치 WO2015012514A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/391,429 US9686567B2 (en) 2013-07-26 2014-07-10 Method and apparatus for integrated encoding/decoding of different multilayer video codec
CA2882283A CA2882283C (en) 2013-07-26 2014-07-10 Method and apparatus for integrally encoding/decoding different multilayer video codecs

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2013-0089087 2013-07-26
KR20130089087 2013-07-26
KR1020140070006A KR101595397B1 (ko) 2013-07-26 2014-06-10 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
KR10-2014-0070006 2014-06-10

Publications (1)

Publication Number Publication Date
WO2015012514A1 true WO2015012514A1 (ko) 2015-01-29

Family

ID=52393503

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/006211 WO2015012514A1 (ko) 2013-07-26 2014-07-10 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2015012514A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040063597A (ko) * 2003-01-08 2004-07-14 엘지전자 주식회사 복수 코덱을 지원하는 장치와 방법
KR20050049965A (ko) * 2003-11-24 2005-05-27 엘지전자 주식회사 에스엔알 스케일러빌리티를 위한 동영상 부호화 및 복호화장치
US20070150271A1 (en) * 2003-12-10 2007-06-28 France Telecom Optimized multiple coding method
KR20090037252A (ko) * 2007-10-11 2009-04-15 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US20100165077A1 (en) * 2005-10-19 2010-07-01 Peng Yin Multi-View Video Coding Using Scalable Video Coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040063597A (ko) * 2003-01-08 2004-07-14 엘지전자 주식회사 복수 코덱을 지원하는 장치와 방법
KR20050049965A (ko) * 2003-11-24 2005-05-27 엘지전자 주식회사 에스엔알 스케일러빌리티를 위한 동영상 부호화 및 복호화장치
US20070150271A1 (en) * 2003-12-10 2007-06-28 France Telecom Optimized multiple coding method
US20100165077A1 (en) * 2005-10-19 2010-07-01 Peng Yin Multi-View Video Coding Using Scalable Video Coding
KR20090037252A (ko) * 2007-10-11 2009-04-15 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법

Similar Documents

Publication Publication Date Title
WO2010071291A1 (ko) 3차원 영상신호 처리 방법과 이를 구현하기 위한 영상표시 장치
WO2012144821A2 (en) Method and apparatus for unified scalable video encoding for multi-view video and method and apparatus for unified scalable video decoding for multi-view video
WO2010117129A2 (en) Broadcast transmitter, broadcast receiver and 3d video data processing method thereof
WO2011008065A2 (en) Method and apparatus for multi-view video coding and decoding
WO2012036468A2 (en) Method and apparatus for hierarchical picture encoding and decoding
KR20150036299A (ko) 비디오 코딩 및 디코딩을 위한 장치, 방법 및 컴퓨터 프로그램
WO2016056822A1 (ko) 3d 비디오 코딩 방법 및 장치
WO2016056821A1 (ko) 3d 비디오 코딩을 위한 움직임 정보 압축 방법 및 장치
WO2011129602A2 (ko) 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
WO2016056782A1 (ko) 비디오 코딩에서 뎁스 픽처 코딩 방법 및 장치
KR102116265B1 (ko) 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치
WO2010090462A2 (en) Apparatus and method for encoding and decoding multi-view image
WO2013015585A1 (ko) 송신 장치, 수신 장치 및 그 송수신 방법
JP2016508354A (ja) ３ｄビデオにおけるビュー合成
WO2009108028A1 (ko) 자유시점 영상 복호화 방법 및 장치
WO2014171709A1 (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
WO2015009098A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014088306A2 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
WO2014084613A9 (ko) 깊이 정보를 이용한 영상 부호화 및 복호화 방법, 그를 이용한 장치 및 영상 시스템
CN114375570A (zh) 用于视频编码的方法及装置
WO2014109547A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015009091A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016056755A1 (ko) 3d 비디오 부호화/복호화 방법 및 장치
WO2014054896A1 (ko) 비디오 신호 처리 방법 및 장치
WO2015012514A1 (ko) 서로 다른 다계층 비디오 코덱의 통합 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 14391429

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2882283

Country of ref document: CA

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14828991

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14828991

Country of ref document: EP

Kind code of ref document: A1