WO2014051396A1 - 영상 부호화/복호화 방법 및 장치 - Google Patents

영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2014051396A1
WO2014051396A1 PCT/KR2013/008715 KR2013008715W WO2014051396A1 WO 2014051396 A1 WO2014051396 A1 WO 2014051396A1 KR 2013008715 W KR2013008715 W KR 2013008715W WO 2014051396 A1 WO2014051396 A1 WO 2014051396A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
picture
inter
switching
decoding
Prior art date
Application number
PCT/KR2013/008715
Other languages
English (en)
French (fr)
Inventor
이진호
강정원
이하현
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130042558A external-priority patent/KR20140043239A/ko
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/427,103 priority Critical patent/US20150245075A1/en
Publication of WO2014051396A1 publication Critical patent/WO2014051396A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Definitions

  • the present invention relates to image encoding and decoding, and more particularly, to image encoding and decoding based on scalable video coding (SVC).
  • SVC scalable video coding
  • the supporting performance is also diversified by device.
  • the network in which information is transmitted is also diversified not only in the external structure such as wired and wireless networks, but also in functions such as the type of information to be transmitted, the amount and speed of information.
  • the user selects a terminal and a network to be used according to a desired function, and the spectrum of terminals and networks provided to the user by the enterprise is also diversified.
  • Ultra High Definition which has more than four times the resolution of HDTV
  • the demand for technology for compressing and processing higher resolution and higher quality images is increasing.
  • an inter prediction technique for predicting a pixel value included in a current picture from a previous and / or subsequent picture in time, another pixel included in the current picture using pixel information in the current picture
  • An intra prediction technique for predicting a value an entropy encoding technique for allocating a short sign to a high frequency symbol and a long code to a low frequency symbol may be used.
  • the quality, size, frame, etc. of the supported images need to be diversified accordingly.
  • the present invention provides an image encoding / decoding method and apparatus capable of improving encoding / decoding efficiency.
  • the present invention provides a method and apparatus for performing inter-layer switching in scalable video coding that can improve encoding / decoding efficiency.
  • the present invention provides a method and apparatus for providing information for indicating a time point at which inter-layer switching is possible in scalable video coding.
  • an image decoding method supporting a plurality of layers may further include receiving a bitstream including inter-layer switching point information indicating whether inter-layer switching from a first layer to a second layer is possible and decoding the bit stream based on the inter-layer switching point information. It includes a step.
  • the inter-layer switching time point information includes information on a layer switching picture (LSP) at a time when inter-layer switching is possible, and the information on the layer switching picture is NAL (Network Abstraction Layer) parsed from the bitstream. ) Is derived from the unit type.
  • LSP layer switching picture
  • NAL Network Abstraction Layer
  • an image decoding apparatus supporting a plurality of layers.
  • the image decoding apparatus receives a bitstream including inter-layer switching point information indicating whether inter-layer switching is possible from the first layer to the second layer, and decodes the bitstream based on the inter-layer switching point information. It includes a decoding unit.
  • the inter-layer switching time point information includes information on a layer switching picture (LSP) at a time when inter-layer switching is possible, and the information on the layer switching picture is NAL (Network Abstraction Layer) parsed from the bitstream. ) Is derived from the unit type.
  • LSP layer switching picture
  • NAL Network Abstraction Layer
  • an image encoding method supporting a plurality of layers includes encoding inter-layer switching time information indicating whether inter-layer switching is possible from the first layer to the second layer and transmitting a bitstream including the inter-layer switching time information.
  • the inter-layer switching time point information includes information on a layer switching picture (LSP) at a time point at which inter-layer switching is possible, and the information on the layer switching picture is specified by a network abstraction layer (NAL) unit type. .
  • an image encoding apparatus supporting a plurality of layers.
  • the apparatus for encoding an image includes an encoder for encoding inter-layer switching time information indicating whether inter-layer switching is possible from the first layer to the second layer, and transmitting a bitstream including the inter-layer switching time information.
  • the inter-layer switching time point information includes information on a layer switching picture (LSP) at a time point at which inter-layer switching is possible, and the information on the layer switching picture is specified by a network abstraction layer (NAL) unit type. .
  • LSP layer switching picture
  • NAL network abstraction layer
  • an indicator or identifier indicating that the inter-layer switchable picture may be allocated.
  • the layer switching is performed in the inter-layer switchable picture, so that normal transmission and decoding can be performed.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram schematically illustrating an example of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • FIG. 4 is a diagram illustrating a hierarchical structure of coded images processed by a decoding apparatus.
  • FIG. 5 is a diagram illustrating inter-layer switching in a scalable video coding structure to which the present invention can be applied.
  • FIG. 6 is a diagram illustrating an example of a method of encoding or decoding a switching picture at a time point at which inter-layer switching is possible according to an embodiment of the present invention with reference to another layer.
  • FIG. 7 is a diagram for explaining a picture (LSP) for indicating a time point at which inter-layer switching is possible according to an embodiment of the present invention.
  • LSP picture
  • FIG. 8 is a diagram for describing a method of normally performing inter-layer switching when hierarchical switching occurs in a picture (LSP) for indicating a time when inter-layer switching is possible according to an embodiment of the present invention.
  • FIG. 9 is a flowchart schematically illustrating a method of encoding image information according to an embodiment of the present invention.
  • FIG. 10 is a flowchart schematically illustrating a method of decoding image information according to an embodiment of the present invention.
  • first and second may be used to describe various configurations, but the configurations are not limited by the terms. The terms are used to distinguish one configuration from another.
  • first configuration may be referred to as the second configuration, and similarly, the second configuration may also be referred to as the first configuration.
  • each component shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is listed as a component for convenience of description, and at least two of the components may form one component, or one component may be divided into a plurality of components to perform a function.
  • the integrated and separated embodiments of each component are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • a scalable video encoding / decoding method or apparatus may be implemented by extension of a general video encoding / decoding method or apparatus that does not provide scalability, and the block diagram of FIG. An embodiment of an image encoding apparatus that may be the basis of a flexible video encoding apparatus is illustrated.
  • the image encoding apparatus 100 may include a motion predictor 111, a motion compensator 112, an intra predictor 120, a switch 115, a subtractor 125, a transformer 130, A quantization unit 140, an entropy encoding unit 150, an inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a reference picture buffer 190 are included.
  • the image encoding apparatus 100 may encode an input image in an intra mode or an inter mode and output a bitstream.
  • the switch 115 may be switched to intra, and in the inter mode, the switch 115 may be switched to inter.
  • Intra prediction means intra prediction and inter prediction means inter prediction.
  • the image encoding apparatus 100 may generate a prediction block for an input block of an input image and then encode a residual between the input block and the prediction block. In this case, the input image may mean an original picture.
  • the intra predictor 120 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded / decoded around the current block.
  • the motion predictor 111 may obtain a motion vector by searching for a region that best matches an input block in the reference image stored in the reference picture buffer 190 during the motion prediction process.
  • the motion compensator 112 may generate a prediction block by performing motion compensation using the motion vector.
  • the motion vector is a two-dimensional vector used for inter prediction, and may indicate an offset between the current encoding / decoding target image and the reference image.
  • the subtractor 125 may generate a residual block by the difference between the input block and the generated prediction block.
  • the transform unit 130 may output a transform coefficient by performing a transform on the residual block.
  • the transform coefficient may mean a coefficient value generated by performing transform on the residual block and / or the residual signal.
  • a quantized transform coefficient level generated by applying quantization to a transform coefficient may also be referred to as a transform coefficient.
  • the quantization unit 140 may quantize the input transform coefficient according to a quantization parameter or a quantization parameter, and output a quantized coefficient. Quantized coefficients may be referred to as quantized transform coefficient levels. In this case, the quantization unit 140 may quantize the input transform coefficients using the quantization matrix.
  • the entropy encoder 150 may output a bitstream by performing entropy encoding based on values calculated by the quantization unit 140 or encoding parameter values calculated in the encoding process.
  • entropy encoding When entropy encoding is applied, a small number of bits are assigned to a symbol having a high probability of occurrence and a large number of bits are assigned to a symbol having a low probability of occurrence, thereby representing bits for encoding symbols. The size of the heat can be reduced. Therefore, compression performance of image encoding may be increased through entropy encoding.
  • the entropy encoder 150 may use an encoding method such as Exponential-Golomb, Context-Adaptive Variable Length Coding (CAVLC), or Context-Adaptive Binary Arithmetic Coding (CABAC) for entropy encoding.
  • an encoding method such as Exponential-Golomb, Context-Adaptive Variable Length Coding (CAVLC), or Context-Adaptive Binary Arithmetic Coding (CABAC) for entropy encoding.
  • the image encoding apparatus 100 Since the image encoding apparatus 100 according to the embodiment of FIG. 1 performs inter prediction encoding, that is, inter prediction encoding, the currently encoded image needs to be decoded and stored to be used as a reference image. Accordingly, the quantized coefficients are inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170. The inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175 and a reconstructed block is generated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstructed block or reconstructed picture. can do.
  • the filter unit 180 may be referred to as an adaptive in-loop filter.
  • the deblocking filter can remove block distortion generated at the boundary between blocks.
  • SAO can add an appropriate offset to the pixel value to compensate for coding errors.
  • the ALF may perform filtering based on a value obtained by comparing the reconstructed image with the original image.
  • the reconstructed block that has passed through the filter unit 180 may be stored in the reference picture buffer 190.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • the scalable video encoding / decoding method or apparatus may be implemented by extension of a general video encoding / decoding method or apparatus that does not provide scalability, and the block diagram of FIG. 2 is scalable.
  • An embodiment of an image decoding apparatus that may be the basis of a video decoding apparatus.
  • the image decoding apparatus 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, a motion compensator 250, and an adder 255. ), A filter unit 260 and a reference picture buffer 270.
  • the image decoding apparatus 200 may receive a bitstream output from the encoder and perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a reconstructed image.
  • the switch In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
  • the image decoding apparatus 200 may obtain a reconstructed residual block from the received bitstream, generate a prediction block, and then add the reconstructed residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block. .
  • the entropy decoder 210 may entropy decode the input bitstream according to a probability distribution to generate symbols including symbols in the form of quantized coefficients.
  • the quantized coefficients are inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230, and as a result of the inverse quantization / inverse transformation of the quantized coefficients, a reconstructed residual block may be generated.
  • the inverse quantization unit 220 may apply a quantization matrix to the quantized coefficients.
  • the intra predictor 240 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already decoded around the current block.
  • the motion compensator 250 may generate a predictive block by performing motion compensation using the reference vector stored in the motion vector and the reference picture buffer 270.
  • the residual block and the prediction block may be added through the adder 255, and the added block may pass through the filter unit 260.
  • the filter unit 260 may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 may output a reconstructed image, that is, a reconstructed image.
  • the reconstructed picture may be stored in the reference picture buffer 270 and used for inter prediction.
  • FIG. 3 is a conceptual diagram schematically illustrating an example of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • a GOP Group of Picture
  • FIG. 3 a GOP (Group of Picture) represents a picture group, that is, a group of pictures.
  • a transmission medium In order to transmit image data, a transmission medium is required, and its performance varies depending on the transmission medium according to various network environments.
  • a scalable video coding method may be provided for application to such various transmission media or network environments.
  • a video coding method that supports scalability removes redundancy between layers by using texture information, motion information, and residual signals between layers.
  • a coding method that improves encoding and decoding performance may provide various scalability in terms of spatial, temporal, and image quality (or quality) according to peripheral conditions such as transmission bit rate, transmission error rate, and system resources. have.
  • Scalable video coding may be performed using multiple layers structure to provide a bitstream applicable to various network situations.
  • the scalable video coding structure may include a base layer that compresses and processes image data using a general image decoding method, and compresses the image data using both the decoding information of the base layer and a general image decoding method. May include an enhancement layer for processing.
  • the layer is an image and a bit divided based on spatial (eg, image size), temporal (eg, decoding order, image output order, frame rate), image quality, complexity, and the like.
  • the base layer may mean a base layer
  • the enhancement layer may mean an enhancement layer or a higher layer.
  • a layer supporting scalability lower than a specific layer may be referred to as a lower layer, and a layer referenced by a specific layer when encoding or decoding may be referred to as a reference layer.
  • the base layer may be defined as a standard definition (SD), a frame rate of 15 Hz, and a 1 Mbps bit rate
  • the first enhancement layer may be a high definition (HD), a frame rate of 30 Hz, and a 3.9 Mbps bit rate
  • the second enhancement layer may be defined as 4K-UHD (ultra high definition), a frame rate of 60 Hz, and a bit rate of 27.2 Mbps.
  • the format, frame rate, bit rate, etc. are exemplary and may be determined differently as necessary.
  • the number of hierarchies used is not limited to this embodiment and may be determined differently according to a situation. For example, if the transmission bandwidth is 4 Mbps, the frame rate of the first enhancement layer HD may be reduced and transmitted at 15 Hz or less.
  • the scalable video coding method can provide temporal, spatial and image quality scalability by the method described above in the embodiment of FIG. 3.
  • scalable video coding has the same meaning as scalable video encoding in terms of encoding and scalable video decoding in terms of decoding.
  • FIG. 4 is a diagram illustrating a hierarchical structure of coded images processed by a decoding apparatus.
  • a coded picture exists between the VCL (video coding layer) that handles the decoding process of the picture and itself, a subsystem for transmitting and storing coded information, and a network adaptation function that exists between the VCL and the subsystem. It is divided into NAL (network abstraction layer).
  • VCL data including compressed image data (slice data) is generated, or a picture parameter set (PSP), a sequence parameter set (SPS), and a video parameter set (Video Parameter Set: A Supplemental Enhancement Information (SEI) message may be generated in addition to a parameter set including information such as VPS) or an image decoding process.
  • PSP picture parameter set
  • SPS sequence parameter set
  • SEI Supplemental Enhancement Information
  • a NAL unit can be generated by adding header information (NAL unit header) to a raw byte sequence payload (RBSP) generated in a VCL.
  • the RBSP refers to slice data, parameter set, SEI message, etc. generated in the VCL.
  • the NAL unit header may include NAL unit type information specified according to RBSP data included in the corresponding NAL unit.
  • the NAL unit may be divided into a VCL NAL unit and a Non-VCL NAL unit according to the RBSP generated in the VCL.
  • VCL NAL unit means a NAL unit that contains information about the image (slice data)
  • Non-VCL NAL unit means a NAL unit that contains information (parameter set or SEI message) necessary to decode the image. do.
  • VCL NAL unit and Non-VCL NAL unit may be transmitted through a network by attaching header information according to the data standard of the subsystem.
  • the NAL unit may be transformed into data of a predetermined standard such as an H.264 / AVC file format, a real-time transport protocol (RTP), a transport stream (TS), etc., and transmitted through various networks.
  • a predetermined standard such as an H.264 / AVC file format, a real-time transport protocol (RTP), a transport stream (TS), etc.
  • layer switching may be performed according to a decoder or a transmission environment of a network.
  • different layers may provide different resolutions, and the resolution may be changed by switching layers from the current layer to another layer at any point in time.
  • Interlayer switching refers to switching from the current layer to another layer, and may be an inter-layer switching from a lower layer to a higher layer, or an inter-layer switching from an upper layer to a lower layer. Inter-layer switching may be a switching point for a spatial layer or a quality layer.
  • FIG. 5 is a diagram illustrating inter-layer switching in a scalable video coding structure to which the present invention can be applied.
  • Scalable video coding may provide scalability in terms of spatial, temporal, image quality (or quality) as described above, and may include a plurality of layers for such scalability.
  • the lower layer may be a base layer and the upper layer may be an enhancement layer.
  • the layer may be a spatial scalable layer or a qualitative scalable layer.
  • the picture at the time of switching in the switched layer is intra prediction (intra prediction).
  • intra prediction intra prediction
  • the picture at the time of switching in the switched layer is the picture on which inter prediction is performed (inter prediction), and refers to the picture preceding the picture at the time of switching in display order (output order).
  • inter prediction inter prediction
  • encoding or decoding in the switched layer may not be normally performed.
  • the picture preceding the picture at the time of switching in the display order may not exist in the bitstream of the switched layer or may not exist in the decoded picture buffer (DPB), the picture at the time of switching is preceded by the picture at the time of switching. It may happen that a picture to be referred cannot be referred to.
  • an embodiment of the present invention provides information on a time point at which switching between layers is possible. As illustrated in FIG. 5, in the embodiment of the present invention, switching pictures 510 and 520 may be used to indicate when the inter-layer switching is possible.
  • the transition pictures 510 and 520 for indicating when the inter-layer switching is possible are preceded by the switching pictures 510 and 520 in the display order among the pictures of the same layer (upper layer) as the transition pictures 510 and 520. Do not use them as reference pictures.
  • the transition pictures 510 and 520 may refer to pictures of another layer (lower layer).
  • the transition picture 510, 520 may refer to a block of a lower layer at a position corresponding to the block to be encoded or decoded in the transition picture 510, 520, or may be encoded or decoded in the transition picture 510, 520. Reference may be made to blocks of lower layers obtained through motion prediction for the target block.
  • FIG. 6 is a diagram illustrating an example of a method of encoding or decoding a switching picture at a time point at which inter-layer switching is possible according to an embodiment of the present invention with reference to another layer.
  • the encoding or decoding target block 610 (hereinafter, referred to as a “target block”) of the upper layer refers to a lower layer to perform encoding or decoding. Can be done.
  • the lower layer may be referred to as a reference layer since the target block 610 refers to the layer.
  • the target block 610 of the switched picture may be predicted using a co-located block 620 of a lower layer corresponding to the target block 610 as a reference block.
  • prediction may be performed using any block 630 located at a position other than the corresponding block 620 of the lower layer as a reference block.
  • the arbitrary block 630 may be a block in the lower layer derived based on the motion vector obtained through the motion prediction for the target block 610.
  • a switching picture for indicating a time point at which inter-layer switching is possible may be used.
  • Such a transition picture may be known through an indicator or identifier indicating that the transition picture is a transition picture.
  • the NAL unit type may be used as an indicator or identifier to indicate that the picture is a switch picture. That is, the NAL unit type for the switched picture may be defined.
  • the NAL unit type for the switched picture may be defined as a layer switching picture (LSP). If the NAL unit type is LSP, inter-layer switching may be performed from the lower layer to the upper layer or the upper layer to the lower layer in the LSP.
  • a flag indicating that the switching picture is transmitted to the branch office may be transmitted.
  • a temporal sub-layer switching access (TSA) or a step-wise temporal sub-layer switching access (STSA) picture may be used.
  • TSA temporal sub-layer switching access
  • STSA step-wise temporal sub-layer switching access
  • inter-layer switching may be performed by combining temporal hierarchical switching and hierarchical switching of the spatial or quality layer according to the present invention described above.
  • a layer supporting an SD 15Hz frame rate may be switched to a layer supporting an HD 30Hz frame rate, in which case an LSP may be followed by a TSA or STSA picture.
  • the NAL unit type may be specified according to data included in the NAL unit, for example, a picture included in the NAL unit, and information on the NAL unit type may be stored in the NAL unit header.
  • FIG. 7 is a diagram for explaining a picture (LSP) for indicating a time point at which inter-layer switching is possible according to an embodiment of the present invention.
  • LSP picture
  • the lower layer 700 may be a base layer, and the upper layer 710 may be an enhancement layer.
  • the layer may be a spatial scalable layer or a qualitative scalable layer.
  • the coding order may be an encoding (coding) order or a decoding (decoding) order.
  • the display order or output order of the pictures may be determined in order from the picture shown on the left to the picture shown on the right.
  • the coding order and the display order of the pictures may be different.
  • Arrows shown in FIG. 7 indicate a reference relationship as to whether a picture refers to another picture.
  • a picture in coding order 6 of the upper layer 710 uses a picture in coding order 6 of the lower layer 700 as a reference picture, and a picture in coding order 6 in the upper layer 710 is used in a higher layer 710. It is used as a reference picture by pictures having coding orders 7, 9, 10, 11, and 12.
  • a layer for receiving an image may be changed according to a decoder or a network transmission environment.
  • the decoder may receive and decode an image only to the lower layer 700 according to a network transmission environment, or switch the layer from the lower layer 700 to the upper layer 710 and together with the lower layer 700.
  • the decoding may be performed by receiving an image up to an upper layer 710. In this case, as described above, when hierarchical switching is performed due to a reference relationship in encoding or decoding, encoding or decoding may not be normally performed.
  • the present invention proposes to provide a NAL unit type for informing when a switching between layers is possible in a scalable coding structure supporting spatial or qualitative scalability.
  • the NAL unit type may be Layer Switching Picture (LSP).
  • LSP Layer Switching Picture or Layer Switching Picture
  • the LSP may be a picture that is a time point at which inter-layer switching is possible.
  • the LSP 715 and the pictures 713 and 717 decoded after the LSP 715 may have the following conditions in order to perform normal encoding or decoding during inter-layer switching.
  • LSP 715 is a slice capable of intra prediction mode and inter-layer prediction mode.
  • the intra prediction mode refers to performing prediction using an already encoded or decoded block located near the current encoding or decoding target block
  • the inter-layer prediction mode refers to performing prediction on a current encoding or decoding target block using information of another layer.
  • the LSP 715 is co-located with the LSP 715 in another layer (eg, the lower layer 700).
  • Prediction may be performed with reference to a picture (or block) at a location, and another layer (eg, a lower layer) at a location other than the picture (or block) at a location co-located with the LSP 715.
  • a prediction signal may be generated with reference to the picture (or the block) of 700. For example, reference may be made to a picture (or block) of another layer (eg, lower layer 700) obtained through motion prediction for the LSP 715.
  • a leading picture 713 that precedes the display order of the LSP 715 but trails the coding (encoding / decoding) order may refer to the LSP 715.
  • the LSP 715 may be used as a reference picture of the leading picture 7263.
  • a normal picture 717 that is later in display order and coding (encoding / decoding) order than the LSP 715 may not refer to pictures that are output (displayed) before the LSP 715.
  • the normal picture 717 may refer to the LSP 715, but cannot refer to pictures (including a leading picture) having a display order that precedes the LSP 715.
  • FIG. 8 is a diagram for describing a method of normally performing inter-layer switching when hierarchical switching occurs in a picture (LSP) for indicating a time when inter-layer switching is possible according to an embodiment of the present invention.
  • the lower layer 800 may be a base layer, and the upper layer 810 may be an enhancement layer.
  • the layer may be a spatial scalable layer or a qualitative scalable layer.
  • the coding order may be an encoding (coding) order or a decoding (decoding) order. As shown, the coding order and the display order of the pictures may be different. Arrows shown in FIG. 8 indicate a reference relationship as to whether a picture refers to another picture.
  • the LSP 817 needs to indicate that a transition between layers has occurred.
  • the LSP may be a clean random access (CRA) picture.
  • the type of the LSP 817 may be changed in order to inform that the inter-layer switching has occurred in the LSP 817.
  • the LSP may be changed to a type such as a broken link access (BLA) picture. It can be appreciated that the inter-layer switching actually occurred at LSP 817 as the NAL unit type changed from LSP to BLA.
  • BLA broken link access
  • the BLA picture is a picture for indicating a position in the bitstream that can operate as a random access point when the bitstream is spliced or interrupted.
  • the BLA picture may be determined from an encoding device, or the LSP may be changed to a BLA picture in a system that receives a bitstream from the encoding device. For example, if the bitstream actually transitions between layers in the LSP, the system (e.g., system level such as an extractor or middle box) decodes the image to decode the image by changing the LSP to a BLA picture. Can be provided to the device. In this case, parameter information about the image may be newly provided to the decoding apparatus.
  • the decoding apparatus means a device capable of decoding an image, and may be implemented by the decoding apparatus of FIG. 2 or may be implemented as a core module for decoding an image.
  • the LSP 817 and the normal picture 819 following the LSP 817 in the display order and the coding order may have different layers (as described above).
  • the lower layer 800 may be encoded or decoded with reference.
  • the normal picture 819 may refer to the LSP 817 or another normal picture, but may not refer to pictures (eg, 811, 813, 815) output before the LSP 817.
  • leading pictures 813 and 815 that precede LSP 817 in display order and follow LSP 817 in coding order are LSP 817, other leading pictures, or leading pictures 813 in display order and coding order.
  • 815 may be encoded or decoded with reference to the past picture 811 preceding.
  • the past picture 811 may not be available because it does not exist in the received bitstream or does not exist in the DPB. Therefore, the leading picture 813 that refers to the past picture 811 among the leading pictures 813 and 815 may not be normally reconstructed during decoding.
  • leading picture 813 which cannot be normally decoded by referring to a picture that is not available may be skipped without decoding in the decoding process.
  • the leading picture 813 that cannot be decoded may be removed from the bitstream and discarded.
  • the leading picture 815 decodable among the leading pictures 813 and 815 may refer to the LSP 817 or another leading picture (another decoding picture that can be decoded).
  • the leading picture 813 which may be decoded and skipped without being normally decoded, may be removed from the bitstream and excluded from the decoding process and the output process.
  • both the decodeable leading picture 815 and the non-decodable leading picture 813 may be removed from the bitstream and then decoded.
  • a sequence parameter set (SPS) of the corresponding layer may be activated in the LSP 817.
  • the decoding apparatus may determine whether switching between layers has occurred through layer identifier information for identifying a layer stored in the NAL unit header. In this case, when switching between layers occurs in the LSP 817, the SPS of the corresponding layer may be activated in the LSP 817.
  • FIG. 9 is a flowchart schematically illustrating a method of encoding image information according to an embodiment of the present invention. The method of FIG. 9 may be performed by the encoding apparatus of FIG. 1 described above.
  • the encoding apparatus encodes inter-layer switching time point information indicating whether inter-layer switching is possible from the first layer to the second layer (S900).
  • the inter-layer switching from the first layer to the second layer may be an inter-layer switching from a lower layer to an upper layer or from an upper layer to a lower layer.
  • the inter-layer view information may include information on a layer switching picture (LSP), which is a time point at which inter-layer switching is possible.
  • LSP layer switching picture
  • Information about this layer switching picture may be specified as a NAL unit type.
  • the encoding apparatus may store the NAL unit type for the layered picture in the NAL unit header and then transmit the same to the decoding apparatus. That is, the encoding apparatus may encode the NAL unit type with the nal_unit_type syntax and store it in the NAL unit header.
  • the encoding apparatus does not use, as a reference picture, a preceding picture that precedes the layer switched picture in the display order from among pictures of the same layer (second layer) as the layer switched picture when encoding the layer switched picture.
  • encoding may be performed by referring to a picture of a layer (first layer) different from the layer switch picture.
  • the encoding target block in the layered picture is encoded as described above. Coding may be performed by referring to a co-located block of another layer located at a position corresponding to the block, or a block of another layer obtained through motion prediction for an encoding target block.
  • the encoding apparatus may use an intra prediction method of generating a prediction signal by referring to an already encoded block located around a encoding target block in the layer switched picture when encoding the layer switched picture.
  • the encoding apparatus may use the hierarchical switching picture as a reference picture when encoding a leading picture that precedes the hierarchical switching picture in the display order and follows the hierarchical switching picture in the encoding order.
  • the leading picture may include a first leading picture that is skipped without being normally decoded and a second leading picture that is normally decodable.
  • the encoding apparatus may specify the first leading picture and the second leading picture as the NAL unit type for the leading picture so that the decoding apparatus may know the signal, and may signal the decoding apparatus.
  • the encoding device may use the hierarchical switching picture or another normal picture as a reference picture, but the picture preceding the hierarchical switching picture in the display order is referred to as the reference picture. Do not use as.
  • the encoding apparatus generates and transmits a bitstream including the encoded information (S910).
  • the encoded information may include inter-layer switching time point information, that is, NAL unit type information on a hierarchical switching picture of a time point at which inter-layer switching is possible.
  • NAL unit type information about the leading picture may be further included.
  • FIG. 10 is a flowchart schematically illustrating a method of decoding image information according to an embodiment of the present invention. The method of FIG. 10 may be performed by the decoding apparatus of FIG. 2 described above.
  • the decoding apparatus receives a bitstream including inter-layer switching time information indicating whether inter-layer switching is possible from the first layer to the second layer (S1000).
  • the inter-layer switching from the first layer to the second layer may be an inter-layer switching from a lower layer to an upper layer or from an upper layer to a lower layer.
  • the inter-layer view information may include information on a layer switching picture (LSP), which is a time point at which inter-layer switching is possible.
  • LSP layer switching picture
  • Information about this layer switching picture may be specified as a NAL unit type.
  • the decoding apparatus may obtain information about the NAL unit type by parsing the received bitstream, and may derive the information about the layer switched picture through the obtained NAL unit type.
  • the decoding apparatus may obtain the nal_unit_type syntax stored in the NAL unit header from the parsed bitstream, and may know which NAL unit type through the nal_unit_type syntax.
  • the decoding apparatus decodes the bitstream based on the interlayer switching timing information (S1010).
  • the decoding apparatus may perform decoding on the layer switching picture at the time when the inter-layer switching in the bitstream occurs.
  • the hierarchical switching picture does not use the preceding picture that precedes the hierarchical switching picture in the display order among the pictures of the same layer (second layer) as the hierarchical switching picture as the reference picture.
  • it may be decoded by referring to a picture of a layer (first layer) different from the layer switch picture.
  • the decoding target block in the layer switched picture is decoded as described above. It may be decoded by referring to a co-located block of another layer located at a position corresponding to the block, or a block of another layer obtained through motion prediction for a decoding target block.
  • the decoding apparatus may use an intra prediction method of generating a prediction signal by referring to an already decoded block located around the decoding target block in the layer switched picture when decoding the layer switched picture.
  • the decoding apparatus may use the layer switching picture as a reference picture for the leading picture that precedes the layer switching picture in the display order and follows the layer switching picture in the decoding order.
  • a picture having a display order that precedes the layer change picture is not used as a reference picture for the normal picture following the layer change picture.
  • the decoding apparatus may recognize that inter-layer switching has occurred from the first layer to the second layer.
  • a BLA picture is a picture for indicating a position in a bitstream that can operate as a random access point when the bitstream is spliced or interrupted in the middle.
  • the BLA picture may be determined from an encoding device or may be changed to a BLA picture when random access or inter-layer switching occurs in a system that receives a bitstream from the encoding device.
  • the decoding apparatus may recognize that inter-layer switching has occurred from the first layer to the second layer through layer identifier information for identifying a layer parsed from the received bitstream.
  • the layer identifier information may be derived from the nuh_layer_id syntax stored in the NAL unit header parsed from the bitstream.
  • the decoding apparatus when the decoding apparatus recognizes that inter-layer switching has occurred from the first layer to the second layer in the layer switching picture, the decoding apparatus excludes the leading picture existing in the bitstream from the decoding process and the output process. Can also be decoded.
  • the leading picture may include a first leading picture that is skipped without being normally decoded as described above and a second leading picture that is normally decodable.
  • Information about this leading picture may be derived from the NAL unit type.
  • the decoding apparatus may know the first leading picture and the second leading picture through the NAL unit type for the leading picture.
  • the decoding apparatus may perform decoding on the bitstream by removing the first leading picture from the bitstream.
  • the decoding apparatus may perform decoding on the second leading picture.
  • the decoding apparatus may exclude both the first leading picture and the second leading picture from the decoding process and the output process.
  • a sequence parameter set (SPS) of the corresponding layer may be activated in the layer switching picture.
  • the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of steps, and certain steps may occur in a different order or at the same time than other steps described above. Can be. Also, one of ordinary skill in the art appreciates that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 부호화/복호화 방법 및 장치가 개시된다. 본 발명에 따른 복수의 계층을 지원하는 영상 복호화 방법은 제1 계층에서 제2 계층으로 계층간 전환이 가능한지 여부를 나타내는 계층간 전환 시점 정보를 포함하는 비트스트림을 수신하는 단계 및 상기 계층간 전환 시점 정보에 기초하여 상기 비트스트림을 복호화하는 단계를 포함한다. 상기 계층간 전환 시점 정보는 계층간 전환이 가능한 시점의 계층 전환 픽처(layer switching picture; LSP)에 대한 정보를 포함하며, 상기 계층 전환 픽처에 대한 정보는 상기 비트스트림으로부터 파싱된 NAL(Network Abstraction Layer) 유닛 타입으로부터 유도된다.

Description

영상 부호화/복호화 방법 및 장치
본 발명은 영상 부호화 및 복호화에 관한 것으로, 보다 상세하게는 스케일러블 비디오 코딩(Scalable Video Coding; SVC)을 기반으로 하는 영상 부호화 및 복호화에 관한 것이다.
최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다.
예컨대, 단말의 성능과 컴퓨팅 능력(computing capability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 또한 기업이 사용자에게 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다.
이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 많은 노력을 하고 있다.
또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 가지는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다.
영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.
상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자의 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다.
이와 같이, 이종의 통신망과 다양한 기능 및 종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 율 등을 다양하게 지원하는 스케일러빌리티(scalability)는 비디오 포맷의 중요한 기능이 되고 있다.
따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질 등의 측면에서 효율적인 비디오 부호화와 복호화가 가능하도록 스케일러빌리티 기능을 제공하는 것이 필요하다.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화/복호화 방법 및 장치를 제공한다.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 비디오 코딩에서 계층간 전환을 수행하는 방법 및 장치를 제공한다.
본 발명은 스케일러블 비디오 코딩에서 계층간 전환이 가능한 시점을 지시하기 위한 정보를 제공하는 방법 및 장치를 제공한다.
본 발명의 일 양태에 따르면, 복수의 계층을 지원하는 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 제1 계층에서 제2 계층으로 계층간 전환이 가능한지 여부를 나타내는 계층간 전환 시점 정보를 포함하는 비트스트림을 수신하는 단계 및 상기 계층간 전환 시점 정보에 기초하여 상기 비트스트림을 복호화하는 단계를 포함한다. 상기 계층간 전환 시점 정보는 계층간 전환이 가능한 시점의 계층 전환 픽처(layer switching picture; LSP)에 대한 정보를 포함하며, 상기 계층 전환 픽처에 대한 정보는 상기 비트스트림으로부터 파싱된 NAL(Network Abstraction Layer) 유닛 타입으로부터 유도된다.
본 발명의 다른 양태에 따르면, 복수의 계층을 지원하는 영상 복호화 장치가 제공된다. 상기 영상 복호화 장치는 제1 계층에서 제2 계층으로 계층간 전환이 가능한지 여부를 나타내는 계층간 전환 시점 정보를 포함하는 비트스트림을 수신하고, 상기 계층간 전환 시점 정보에 기초하여 상기 비트스트림을 복호화하는 복호화부를 포함한다. 상기 계층간 전환 시점 정보는 계층간 전환이 가능한 시점의 계층 전환 픽처(layer switching picture; LSP)에 대한 정보를 포함하며, 상기 계층 전환 픽처에 대한 정보는 상기 비트스트림으로부터 파싱된 NAL(Network Abstraction Layer) 유닛 타입으로부터 유도된다.
본 발명의 또 다른 양태에 따르면, 복수의 계층을 지원하는 영상 부호화 방법이 제공된다. 상기 영상 부호화 방법은 제1 계층에서 제2 계층으로 계층간 전환이 가능한지 여부를 나타내는 계층간 전환 시점 정보를 부호화하는 단계 및 상기 계층간 전환 시점 정보를 포함하는 비트스트림을 전송하는 단계를 포함한다. 상기 계층간 전환 시점 정보는 계층간 전환이 가능한 시점의 계층 전환 픽처(layer switching picture; LSP)에 대한 정보를 포함하며, 상기 계층 전환 픽처에 대한 정보는 NAL(Network Abstraction Layer) 유닛 타입으로 특정된다.
본 발명의 또 다른 양태에 따르면, 복수의 계층을 지원하는 영상 부호화 장치가 제공된다. 상기 영상 부호화 장치는 제1 계층에서 제2 계층으로 계층간 전환이 가능한지 여부를 나타내는 계층간 전환 시점 정보를 부호화하고, 상기 계층간 전환 시점 정보를 포함하는 비트스트림을 전송하는 부호화부를 포함한다. 상기 계층간 전환 시점 정보는 계층간 전환이 가능한 시점의 계층 전환 픽처(layer switching picture; LSP)에 대한 정보를 포함하며, 상기 계층 전환 픽처에 대한 정보는 NAL(Network Abstraction Layer) 유닛 타입으로 특정된다.
스케일러블 비디오 코딩에서 계층간 전환을 수행할 때, 계층간 전환 가능한 픽처임을 나타내는 지시자 또는 식별자를 할당할 수 있다. 또한, 계층간 전환 가능한 픽처임을 나타내는 지시자 또는 식별자를 판별함으로써 계층간 전환 가능한 픽처에서 계층 전환이 이루어져 정상적인 전송 및 복호화가 수행될 수 있다.
도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일예를 개략적으로 나타내는 개념도이다.
도 4는 디코딩 장치에서 처리되는 코딩된 영상에 대한 계층 구조를 도시한 도면이다.
도 5는 본 발명이 적용될 수 있는 스케일러블 비디오 코딩 구조에서 계층간 전환을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 계층간 전환이 가능한 시점의 전환 픽처가 다른 계층을 참조하여 부호화 혹은 복호화되는 방법의 일예를 설명하기 위해 도시된 도면이다.
도 7은 본 발명의 일 실시예에 따른 계층간 전환이 가능한 시점을 지시하기 위한 픽처(LSP)를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 계층간 전환이 가능한 시점을 지시하기위한 픽처(LSP)에서 계층 전환이 발생했을 경우 계층간 전환을 정상적으로 수행하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상 정보의 인코딩 방법을 개략적으로 나타내는 순서도이다.
도 10은 본 발명의 일 실시예에 따른 영상 정보의 디코딩 방법을 개략적으로 나타내는 순서도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
스케일러블(scalable) 비디오 부호화/복호화 방법 또는 장치는, 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화/복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽처 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 부호화/복호화 대상 영상과 참조 영상 사이의 오프셋을 나타낼 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다.
변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.
양자화부(140)는 입력된 변환 계수를 양자화 파라미터(quantization parameter, 또는 양자화 매개변수)에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. 양자화된 계수는 양자화된 변환 계수 레벨(quantized transform coefficient level)로 불릴 수도 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 입력된 변환 계수를 양자화할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수-골롬(Exponential-Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.
도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 1에서 상술한 바와 같이, 스케일러블 비디오 부호화/복호화 방법 또는 장치는, 스케일러빌리티를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.
도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.
영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다.
엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다. 이때, 역양자화부(220)에서는 양자화된 계수에 양자화 행렬을 적용할 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
도 3은 본 발명이 적용될 수 있는 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.
영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’혹은 ‘스케일러블 비디오 코딩’이라 함)은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적(spatial), 시간적(temporal), 화질적(혹은 품질적, quality) 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.
여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다. 또한, 기본 계층은 베이스 레이어(Base layer)를 의미할 수 있고, 향상 계층은 인핸스먼트 레이어(Enhancement layer) 또는 상위 계층(higher layer)을 의미할 수 있다. 특정 계층보다 낮은 스케일러빌러티를 지원하는 계층은 하위 계층(lower layer)이라 칭할 수 있고, 특정 계층이 부호화 혹은 복호화 시 참조하는 계층은 참조 계층이라 칭할 수 있다.
도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHD (ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다.
상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다. 예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 향상계층 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다.
스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.
본 명세서에서 스케일러블 비디오 코딩은 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.
도 4는 디코딩 장치에서 처리되는 코딩된 영상에 대한 계층 구조를 도시한 도면이다.
코딩된 영상은 영상의 디코딩 처리 및 그 자체를 다루는 VCL(video coding layer, 비디오 코딩 계층), 부호화된 정보를 전송하고 저장하는 하위 시스템, 그리고 VCL과 하위 시스템 사이에 존재하며 네트워크 적응 기능을 담당하는 NAL(network abstraction layer, 네트워크 추상 계층)로 구분되어 있다.
VCL에서는 압축된 영상 데이터(슬라이스 데이터)를 포함하는 VCL 데이터를 생성하거나, 혹은 픽처 파라미터 세트(Picture Parameter Set: PPS), 시퀀스 파라미터 세트(Sequence Parameter Set: SPS), 비디오 파라미터 세트(Video Parameter Set: VPS) 등의 정보를 포함하는 파라미터 세트 또는 영상의 디코딩 과정에 부가적으로 필요한 SEI(Supplemental Enhancement Information) 메시지를 생성할 수 있다.
NAL에서는 VCL에서 생성된 RBSP(Raw Byte Sequence Payload)에 헤더 정보(NAL 유닛 헤더)를 부가하여 NAL 유닛을 생성할 수 있다. 이때, RBSP는 VCL에서 생성된 슬라이스 데이터, 파라미터 세트, SEI 메시지 등을 말한다. NAL 유닛 헤더에는 해당 NAL 유닛에 포함되는 RBSP 데이터에 따라 특정되는 NAL 유닛 타입 정보를 포함할 수 있다.
도 4에 도시된 바와 같이, NAL 유닛은 VCL에서 생성된 RBSP의 따라 VCL NAL 유닛과 Non-VCL NAL 유닛으로 구분될 수 있다. VCL NAL 유닛은 영상에 대한 정보(슬라이스 데이터)를 포함하고 있는 NAL 유닛을 의미하고, Non-VCL NAL 유닛은 영상을 디코딩하기 위하여 필요한 정보(파라미터 세트 또는 SEI 메시지)를 포함하고 있는 NAL 유닛을 의미한다.
상술한 VCL NAL 유닛, Non-VCL NAL 유닛은 하위 시스템의 데이터 규격에 따라 헤더 정보를 붙여서 네트워크를 통해 전송될 수 있다. 예컨대, NAL 유닛은 H.264/AVC 파일 포맷, RTP(Real-time Transport Protocol), TS(Transport Stream) 등과 같은 소정 규격의 데이터 형태로 변형되어 다양한 네트워크를 통해 전송될 수 있다.
한편, 스케일러블 비디오 코딩 구조에서는 복호화기 또는 네트워크의 전송 환경 등에 따라 계층간의 전환(layer switching)을 수행할 수 있다. 예를 들어, 스케일러블 비디오 코딩 구조에서 해상도에 대한 스케일러빌러티를 지원하는 경우, 계층마다 다른 해상도를 제공할 수 있으며 임의의 시점에서 현재 계층에서 다른 계층으로 계층을 전환하여 해상도를 변경할 수 있다.
계층간 전환(레이어 스위칭)은 현재 계층에서 다른 계층으로 전환하는 것을 말하며, 하위 계층에서 상위 계층으로 계층간 전환, 혹은 상위 계층에서 하위 계층으로 계층간 전환일 수 있다. 계층간 전환은 공간적(spatial) 계층 또는 질적(quality) 계층을 위한 전환 시점(switching point)일 수 있다.
도 5는 본 발명이 적용될 수 있는 스케일러블 비디오 코딩 구조에서 계층간 전환을 나타내는 도면이다.
스케일러블 비디오 코딩은 상술한 바와 같이 공간적, 시간적, 화질적(혹은 품질적) 관점에서 스케일러빌러티를 제공할 수 있으며, 이러한 스케일러빌러티를 위한 복수의 계층을 포함할 수 있다.
도 5의 실시예에서는 설명의 편의를 위해 2개의 계층으로 구성된 스케일러블 비디오 코딩 구조를 도시하였다. 하위 계층은 기본 계층일 수 있으며, 상위 계층은 향상 계층일 수 있다. 이때, 계층은 공간적 스케일러블 계층 또는 질적 스케일러블 계층일 수 있다.
예를 들어, 현재 부호화 혹은 복호화가 수행되는 현재 계층(하위 계층)에서 다른 계층(상위 계층)으로 전환할 때, 전환된 계층(상위 계층)에서 전환되는 시점의 픽처가 화면내 예측(인트라 예측)이 수행된 픽처가 아닌 경우에 계층간 전환에 문제가 발생할 수 있다. 다시 말해, 전환된 계층(상위 계층)에서 전환되는 시점의 픽처가 화면간 예측(인터 예측)이 수행된 픽처이며 표시 순서(display order 또는 output order) 상 전환되는 시점의 픽처보다 선행하는 픽처를 참조하는 경우, 전환된 계층에서의 부호화 혹은 복호화가 정상적으로 수행되지 않을 수 있다. 왜냐하면 표시 순서 상 전환되는 시점의 픽처보다 선행하는 픽처는 전환된 계층의 비트스트림 내 존재하지 않거나 DPB(decoded picture buffer) 내 존재하지 않을 수 있으므로, 전환되는 시점의 픽처가 전환되는 시점의 픽처보다 선행하는 픽처를 참조할 수 없는 경우가 발생할 수 있다.
상기와 같이, 현재 부호화 혹은 복호화가 수행되는 현재 계층(하위 계층)에서 다른 계층(상위 계층)으로 계층간 전환이 발생할 때, 전환되는 계층(상위 계층)에서 정상적으로 부호화 혹은 복호화가 수행될 수 있도록 하기 위해서, 본 발명의 실시예에서는 계층간 전환이 가능한 시점에 대한 정보를 제공한다. 도 5에 도시된 바와 같이, 본 발명의 실시예에서는 계층간 전환이 가능한 시점을 지시하기 위한 전환 픽처(switching picture)(510, 520)를 사용할 수 있다.
계층간 전환이 가능한 시점을 지시하기 위한 전환 픽처(510, 520)는 전환 픽처(510, 520)와 동일한 계층(상위 계층)의 픽처들 중에서 표시 순서 상 전환 픽처(510, 520)보다 선행하는 픽처들을 참조 픽처로 사용하지 않는다. 반면, 전환 픽처(510, 520)는 다른 계층(하위 계층)의 픽처들을 참조할 수 있다. 예컨대, 전환 픽처(510, 520)는 전환 픽처(510, 520) 내 부호화 혹은 복호화 대상 블록과 대응하는 위치의 하위 계층의 블록을 참조할 수 있으며, 혹은 전환 픽처(510, 520) 내 부호화 혹은 복호화 대상 블록에 대한 움직임 예측을 통해 획득된 하위 계층의 블록을 참조할 수 있다.
도 6은 본 발명의 일 실시예에 따른 계층간 전환이 가능한 시점의 전환 픽처가 다른 계층을 참조하여 부호화 혹은 복호화되는 방법의 일예를 설명하기 위해 도시된 도면이다.
도 6을 참조하면, 하위 계층에서 상위 계층으로 계층간 전환이 발생할 경우, 상위 계층의 부호화 혹은 복호화 대상 블록(610)(이하, ‘대상 블록’이라 함)은 하위 계층을 참조하여 부호화 혹은 복호화를 수행할 수 있다. 하위 계층은 대상 블록(610)이 참조하는 계층이므로 참조 계층이라고 지칭할 수도 있다.
예를 들어, 전환 픽처의 대상 블록(610)은 대상 블록(610)과 대응하는 하위 계층의 대응 블록(co-located block)(620)을 참조 블록으로 사용하여 예측이 수행될 수 있다. 또는 하위 계층의 대응 블록(620) 이외의 위치에 있는 임의의 블록(630)을 참조 블록으로 사용하여 예측이 수행될 수도 있다. 이때, 임의의 블록(630)은 대상 블록(610)에 대한 움직임 예측을 통해 획득된 움직임 벡터를 기반으로 유도된 하위 계층 내 블록일 수 있다.
상술한 바와 같이, 계층간 전환이 발생할 때 정상적인 부호화 혹은 복호화를 수행하기 위해서, 본 발명의 실시예에 따르면 계층간 전환이 가능한 시점을 지시하기 위한 전환 픽처를 사용할 수 있다. 이러한 전환 픽처는 전환 픽처임을 나타내기 위한 지시자 또는 식별자를 통해 알 수 있다. 본 발명의 실시예에서는 전환 픽처임을 나타내기 위한 지시자 또는 식별자로 NAL 유닛 타입을 사용할 수 있다. 즉, 전환 픽처에 대한 NAL 유닛 타입을 정의할 수 있다. 예컨대, 전환 픽처에 대한 NAL 유닛 타입은 LSP(Layer Switching Picture : 계층 전환 픽처)로 정의할 수 있다. 만일 NAL 유닛 타입이 LSP인 경우, LSP에서 하위 계층에서 상위 계층 혹은 상위 계층에서 하위 계층으로 계층간 전환을 수행할 수 있다. 또한, 상기 지사자로 전환 픽처임을 나타내는 플래그(flag)를 전송할 수 있다.
한편, 시간 계층(temporal layer) 전환을 위해서는 TSA(temporal sub-layer switching access) 혹은 STSA(step-wise temporal sub-layer switching access) 픽처를 사용할 수 있다. 이때, 상위 계층과 하위 계층의 TSA 혹은 STSA 픽처의 위치를 일치시킬 수 있다. 다시 말해, 상위 계층이 TSA 혹은 STSA 픽처이면 하위 계층도 TSA 혹은 STSA 픽처일 수 있다.
본 발명의 실시예에서는, 시간 계층 전환과 상술한 본 발명에 따른 공간 계층 혹은 품질 계층과의 계층 전환을 결합한 계층간 전환을 수행할 수도 있다. 예를 들어, SD 15Hz 프레임율을 지원하는 계층에서 HD 30Hz 프레임율을 지원하는 계층으로 전환할 수 있으며, 이때 LSP 다음에 TSA 혹은 STSA 픽처가 동반될 수 있다.
상술한 바와 같이, NAL 유닛 타입은 NAL 유닛에 포함되는 데이터, 예컨대 NAL 유닛에 포함되는 픽처에 따라 특정될 수 있으며, 이러한 NAL 유닛 타입에 대한 정보는 NAL 유닛 헤더에 저장될 수 있다.
도 7은 본 발명의 일 실시예에 따른 계층간 전환이 가능한 시점을 지시하기 위한 픽처(LSP)를 설명하기 위한 도면이다.
도 7의 실시예에서는 설명의 편의를 위해 2개의 계층으로 구성된 스케일러블 비디오 코딩 구조를 도시하였다. 하위 계층(700)은 기본 계층일 수 있으며, 상위 계층(710)은 향상 계층일 수 있다. 이때, 계층은 공간적 스케일러블 계층 또는 질적 스케일러블 계층일 수 있다.
도 7에는 픽처의 코딩 순서(coding order)가 도시되어 있으며, 코딩 순서는 인코딩(부호화) 순서 혹은 디코딩(복호화) 순서일 수 있다. 픽처의 표시 순서(display order 또는 output order)는 왼쪽에 도시된 픽처부터 오른쪽에 도시된 픽처까지 순서대로 정해질 수 있다. 도시된 바와 같이 픽처의 코딩 순서와 표시 순서는 서로 다를 수 있다. 도 7에 도시된 화살표는 픽처가 다른 픽처를 참조하는지 여부에 대한 참조 관계를 나타낸다. 예컨대, 상위 계층(710)의 코딩 순서 6인 픽처는 하위 계층(700)의 코딩 순서 6인 픽처를 참조 픽처로 사용하고, 상위 계층(710)의 코딩 순서 6인 픽처는 상위 계층(710)의 코딩 순서 7, 9, 10, 11, 12인 픽처에 의해 참조 픽처로 사용되고 있다.
도 7에 도시된 바와 같은 스케일러블 비디오 코딩에서는 복호화기 또는 네트워크 전송 환경 등에 따라 영상을 수신하는 계층이 바뀔 수 있다. 예컨대, 네트워크 전송 환경에 따라 복호화기는 하위 계층(700)으로만 영상을 수신하여 복호화를 수행할 수도 있고, 하위 계층(700)에서 상위 계층(710)으로 계층을 전환하여 하위 계층(700)과 함께 상위 계층(710)까지 영상을 수신하여 복호화를 수행할 수도 있다. 이때, 상술한 바와 같이 부호화 혹은 복호화 시 참조 관계로 인하여 계층 전환이 이루어졌을 때 부호화 혹은 복호화가 정상적으로 수행되지 않을 수 있다.
상기와 같은 문제점을 극복하고자 본 발명에서는 공간적 혹은 질적 스케일러빌러티를 지원하는 스케일러블 코딩 구조에서 계층간 전환이 가능한 시점을 알려 주기 위한 NAL 유닛 타입을 제공할 것을 제안하였다. 본 발명의 일 실시예에 따른 NAL 유닛 타입은 LSP(Layer Switching Picture)일 수 있다. LSP(레이어 스위칭 픽처, 혹은 계층 전환 픽처)는 계층간 전환이 가능한 시점이 되는 픽처일 수 있다.
본 발명의 일 실시예에 따른 LSP(715) 및 LSP(715) 이후에 복호화되는 픽처들(713, 717)은 계층간 전환 시 정상적인 부호화 혹은 복호화를 수행하기 위해 다음과 같은 조건을 가질 수 있다.
- LSP(715)는 화면내 예측 모드(intra prediction mode) 및 계층간 예측 모드(inter-layer prediction mode)가 가능한 슬라이스(slice).
이때, 화면내 예측 모드(혹은 인트라 예측 모드)는 현재 부호화 혹은 복호화 대상 블록의 주변에 위치한 이미 부호화 혹은 복호화된 블록을 이용하여 예측을 수행하는 것을 말하며, 계층간 예측 모드(혹은 인터 레이어 예측 모드)는 다른 계층의 정보를 이용하여 현재 부호화 혹은 복호화 대상 블록에 대한 예측을 수행하는 것을 말한다.
LSP(715)의 예측 모드가 계층간 예측 모드일 경우, 도 6에서 상술한 바와 같이 LSP(715)는 다른 계층(예컨대, 하위 계층(700)) 내 LSP(715)와 대응하는(co-located) 위치의 픽처(혹은 블록)을 참조하여 예측을 수행할 수도 있고, 상기 LSP(715)와 대응하는(co-located) 위치의 픽처(혹은 블록) 이외의 위치에 있는 다른 계층(예컨대, 하위 계층(700))의 픽처(혹은 블록)을 참조하여 예측 신호를 생성할 수도 있다. 예컨대, LSP(715)에 대한 움직임 예측을 통해 획득된 다른 계층(예컨대, 하위 계층(700))의 픽처(혹은 블록)를 참조할 수 있다.
- LSP(715)보다 표시 순서는 선행하나 코딩(인코딩/디코딩) 순서는 후행하는 리딩 픽처(leading picture)(713)는 LSP(715)를 참조할 수 있다. 다시 말해, LSP(715)는 리딩 픽처(7413)의 참조 픽처로 사용될 수 있다.
- LSP(715)보다 표시 순서 및 코딩(인코딩/디코딩) 순서가 후행하는 노말 픽처(normal picture)(717)는 LSP(715) 이전에 출력(디스플레이)되는 픽처들을 참조할 수 없다. 다시 말해, 노말 픽처(717)는 LSP(715)를 참조할 수 있으나, LSP(715)보다 표시 순서가 선행하는 픽처들(리딩 픽처 포함)을 참조할 수 없다.
도 8은 본 발명의 일 실시예에 따른 계층간 전환이 가능한 시점을 지시하기위한 픽처(LSP)에서 계층 전환이 발생했을 경우 계층간 전환을 정상적으로 수행하는 방법을 설명하기 위한 도면이다.
도 8의 실시예에서는 설명의 편의를 위해 2개의 계층으로 구성된 스케일러블 비디오 코딩 구조를 도시하였다. 하위 계층(800)은 기본 계층일 수 있으며, 상위 계층(810)은 향상 계층일 수 있다. 이때, 계층은 공간적 스케일러블 계층 또는 질적 스케일러블 계층일 수 있다.
도 8에는 픽처의 코딩 순서(coding order) 및 표시 순서(display order 또는 output order)가 도시되어 있다. 코딩 순서는 인코딩(부호화) 순서 혹은 디코딩(복호화) 순서일 수 있다. 도시된 바와 같이 픽처의 코딩 순서와 표시 순서는 서로 다를 수 있다. 도 8에 도시된 화살표는 픽처가 다른 픽처를 참조하는지 여부에 대한 참조 관계를 나타낸다.
예를 들어, 계층간 전환이 가능한 시점의 LSP(817)에서 실제로 계층간 전환이 발생했을 경우, LSP(817) 및 LSP(817) 이후에 부호화 혹은 복호화되는 픽처들이 정상적으로 부호화 혹은 복호화가 수행되기 위해서는 LSP(817)에서 계층간 전환이 발생하였음을 알려줄 필요가 있다. 이때, 상기 LSP는 CRA(clean random access) 픽처일 수 있다.
일 예로, LSP(817)에서 계층간 전환이 발생하였음을 알려주기 위해 LSP(817)의 타입을 변경할 수 있다. 예컨대, LSP를 BLA(broken link access) 픽처와 같은 타입으로 변경할 수 있다. 이는 NAL 유닛 타입이 LSP에서 BLA로 변경됨으로써 LSP(817)에서 실제로 계층간 전환이 발생하였음을 인지할 수 있다.
여기서, BLA 픽처는 비트스트림이 스플라이싱(splicing)되거나 중간에 끊어지면 랜덤 억세스 포인트(random access point)로서 동작 가능한 비트스트림 내 위치를 지시하기 위한 픽처이다. BLA 픽처는 부호화 장치에서부터 정해질 수도 있고, 부호화 장치로부터 비트스트림을 수신한 시스템에서 LSP를 BLA 픽처로 변경할 수도 있다. 예를 들어, 비트스트림이 LSP에서 실제로 계층간 전환이 발생되는 경우 시스템(예컨대, 추출기(extractor) 또는 미들 박스(middle box) 등과 같은 시스템 레벨)은 LSP를 BLA 픽처로 변경하여 영상을 복호화하는 복호화 장치에게 제공할 수 있다. 이때 영상에 대한 파라미터 정보가 복호화 장치에 새롭게 제공될 수 있다. 본 발명에서 복호화 장치란 영상을 복호화할 수 있는 디바이스를 의미하며, 도 2의 복호화 장치로 구현될 수도 있고, 영상을 복호화하는 핵심 모듈로 구현될 수도 있다.
만일, LSP(817)에서 NAL 유닛 타입이 LSP에서 BLA로 변경된 경우, LSP(817)와, 표시 순서 및 코딩 순서 상 LSP(817)에 후행하는 노말 픽처(819)는 상술한 바와 같이 다른 계층(하위 계층(800))을 참조하여 부호화 혹은 복호화될 수 있다. 이때, 노말 픽처(819)는 LSP(817) 또는 다른 노말 픽처를 참조할 수는 있으나, LSP(817) 이전에 출력되는 픽처들(예컨대, 811, 813, 815)을 참조할 수는 없다.
한편, 표시 순서 상 LSP(817)에 선행하고 코딩 순서상 LSP(817)에 후행하는 리딩 픽처(813, 815)는 LSP(817), 다른 리딩 픽처, 또는 표시 순서 및 코딩 순서 상 리딩 픽처(813, 815)에 선행하는 과거 픽처(811)를 참조하여 부호화 혹은 복호화될 수 있다. 이때, LSP(817)에서 계층간 전환이 발생한 경우, 과거 픽처(811)는 수신된 비트스트림 내 존재하지 않거나 DPB 내 존재하지 않으므로, 가용하지 않을 수 있다. 따라서, 리딩 픽처(813, 815) 중에서 과거 픽처(811)를 참조하는 리딩 픽처(813)의 경우 복호화 시 정상적으로 복원되지 않을 수 있다. 이러한 경우, 가용하지 않는 픽처를 참조하여 정상적으로 복호화가 불가능한 리딩 픽처(813)는 복호화 과정에서 복호화하지 않고 스킵(skip)될 수 있다. 다시 말해, 복호화가 불가능한 리딩 픽처(813)는 비트스트림으로부터 제거되어 버려질 수 있다.
본 발명의 실시예에 따라 계층간 전환이 발생한 경우, 리딩 픽처(813, 815) 중에서 복호화가 가능한 리딩 픽처(815)는 LSP(817) 또는 다른 리딩 픽처(복호화가 가능한 다른 리딩 픽처)를 참조하여 복호화될 수 있으며, 복호화가 정상적으로 수행되지 않고 스킵되는 리딩 픽처(813)는 비트스트림으로부터 제거되어 복호화 과정 및 출력 과정에서 제외될 수 있다. 또는, 복호화가 가능한 리딩 픽처(815)와 복호화가 불가능한 리딩 픽처(813) 모두 비트스트림으로부터 제거된 다음 복호화 과정을 수행할 수도 있다.
또한, LSP(817)에서 계층간 전환이 발생했을 경우, LSP(817)에서 해당 계층의 SPS(sequence parameter set)가 활성화(activation)될 수 있다.
다른 예로, 계층간 전환이 가능한 시점의 LSP(817)에서 실제로 계층간 전환이 발생했을 경우, 복호화 장치가 입력되는 NAL 유닛을 통해 LSP(817)에서 계층간 전환이 발생하였음을 인지할 수 있다. 예컨대, 복호화 장치는 NAL 유닛 헤더에 저장된 계층을 식별하기 위한 계층 식별자 정보를 통해 계층간 전환이 발생하였는지 여부를 판단할 수 있다. 이때, LSP(817)에서 계층간 전환이 발생했을 경우, LSP(817)에서 해당 계층의 SPS가 활성화될 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 정보의 인코딩 방법을 개략적으로 나타내는 순서도이다. 도 9의 방법은 상술한 도 1의 부호화 장치에서 수행될 수 있다.
도 9를 참조하면, 부호화 장치는 제1 계층에서 제2 계층으로 계층간 전환이 가능한지 여부를 나타내는 계층간 전환 시점 정보를 부호화한다(S900). 여기서, 제1 계층에서 제2 계층으로 계층간 전환은 하위 계층에서 상위 계층, 혹은 상위 계층에서 하위 계층으로 계층간 전환일 수 있다.
계층간 시점 정보는 계층간 전환이 가능한 시점이 되는 계층 전환 픽처(layer switching picture; LSP)에 대한 정보를 포함할 수 있다. 이러한 계층 전환 픽처에 대한 정보는 NAL 유닛 타입으로 특정될 수 있다. 예컨대, 부호화 장치는 계층 전환 픽처에 대한 NAL 유닛 타입을 NAL 유닛 헤더에 저장한 다음 복호화 장치로 전송할 수 있다. 즉, 부호화 장치는 NAL 유닛 타입을 nal_unit_type 신택스로 부호화하여 NAL 유닛 헤더에 저장할 수 있다.
부호화 장치는 계층 전환 픽처를 부호화할 때, 계층 전환 픽처와 동일한 계층(제2 계층)의 픽처들 중에서 표시 순서 상 계층 전환 픽처에 선행하는 선행 픽처를 참조 픽처로 사용하지 않는다. 반면, 계층 전환 픽처와 다른 계층(제1 계층)의 픽처를 참조하여 부호화를 수행할 수 있다.
계층 전환 픽처가 다른 계층의 픽처를 참조하여 부호화될 때, 즉 계층 전환 픽처가 계층간 예측(inter-layer prediction mode)을 통해 부호화될 때, 상술한 바와 같이 계층 전환 픽처 내 부호화 대상 블록은 부호화 대상 블록에 대응하는 위치에 있는 다른 계층의 대응 블록(co-located block), 또는 부호화 대상 블록에 대한 움직임 예측을 통해 획득된 다른 계층의 블록을 참조하여 부호화될 수 있다.
또한, 부호화 장치는 계층 전환 픽처를 부호화할 때, 계층 전환 픽처 내 부호화 대상 블록의 주변에 위치한 이미 부호화된 블록을 참조하여 예측 신호를 생성하는 화면내 예측(intra prediction) 방법을 사용할 수도 있다.
부호화 장치는 표시 순서 상 계층 전환 픽처에 선행하고 부호화 순서 상 계층 전환 픽처에 후행하는 리딩 픽처를 부호화할 때, 계층 전환 픽처를 참조 픽처로 사용할 수 있다. 리딩 픽처는 상술한 바와 같이, 정상적으로 복호화가 수행되지 않고 스킵되는 제1 리딩 픽처와 정상적으로 복호화 가능한 제2 리딩 픽처를 포함할 수 있다. 부호화 장치는 이러한 제1 리딩 픽처와 제2 리딩 픽처를 복호화 장치에서 알 수 있도록 리딩 픽처에 대한 NAL 유닛 타입으로 특정하여 복호화 장치로 시그널링 할 수 있다.
부호화 장치는 표시 순서 및 부호화 순서 상 계층 전환 픽처에 후행하는 노말 픽처를 부호화할 때, 계층 전환 픽처 또는 다른 노말 픽처를 참조 픽처로 사용할 수 있으나, 표시 순서 상 계층 전환 픽처에 선행하는 픽처를 참조 픽처로 사용하지 않는다.
부호화 장치는 부호화된 정보를 포함하는 비트스트림을 생성하여 전송한다(S910). 이때, 부호화된 정보는 계층간 전환 시점 정보, 즉 계층간 전환이 가능한 시점의 계층 전환 픽처에 대한 NAL 유닛 타입 정보를 포함할 수 있다. 또한, 리딩 픽처가 존재할 경우, 리딩 픽처에 대한 NAL 유닛 타입 정보 등을 더 포함할 수 있다.
도 10은 본 발명의 일 실시예에 따른 영상 정보의 디코딩 방법을 개략적으로 나타내는 순서도이다. 도 10의 방법은 상술한 도 2의 복호화 장치에서 수행될 수 있다.
도 10을 참조하면, 복호화 장치는 제1 계층에서 제2 계층으로 계층간 전환이 가능한지 여부를 나타내는 계층간 전환 시점 정보를 포함하는 비트스트림을 수신한다(S1000). 여기서, 제1 계층에서 제2 계층으로 계층간 전환은 하위 계층에서 상위 계층, 혹은 상위 계층에서 하위 계층으로 계층간 전환일 수 있다.
계층간 시점 정보는 계층간 전환이 가능한 시점이 되는 계층 전환 픽처(layer switching picture; LSP)에 대한 정보를 포함할 수 있다. 이러한 계층 전환 픽처에 대한 정보는 NAL 유닛 타입으로 특정될 수 있다. 따라서, 복호화 장치는 수신된 비트스트림을 파싱하여 NAL 유닛 타입에 대한 정보를 획득하고, 획득된 NAL 유닛 타입을 통해 계층 전환 픽처에 대한 정보를 유도할 수 있다. 예컨대, 복호화 장치는 파싱된 비트스트림으로부터 NAL 유닛 헤더에 저장된 nal_unit_type 신택스를 획득할 수 있으며, nal_unit_type 신택스를 통해 어떤 NAL 유닛 타입인지를 알 수 있다.
복호화 장치는 계층간 전환 시점 정보에 기초하여 비트스트림을 복호화한다(S1010).
이때, 제1 계층에서 제2 계층으로 계층간 전환이 발생하는 경우, 복호화 장치는 비트스트림 내 계층간 전환이 되는 시점의 계층 전환 픽처에 대해서 복호화를 수행할 수 있다. 계층 전환 픽처는 계층 전환 픽처와 동일한 계층(제2 계층)의 픽처들 중에서 표시 순서 상 계층 전환 픽처에 선행하는 선행 픽처를 참조 픽처로 사용하지 않는다. 반면, 계층 전환 픽처와 다른 계층(제1 계층)의 픽처를 참조하여 복호화될 수 있다.
계층 전환 픽처가 다른 계층의 픽처를 참조하여 복호화될 경우, 즉 계층 전환 픽처가 계층간 예측(inter-layer prediction mode)을 통해 복호화될 경우, 상술한 바와 같이 계층 전환 픽처 내 복호화 대상 블록은 복호화 대상 블록에 대응하는 위치에 있는 다른 계층의 대응 블록(co-located block), 또는 복호화 대상 블록에 대한 움직임 예측을 통해 획득된 다른 계층의 블록을 참조하여 복호화될 수 있다.
또한, 복호화 장치는 계층 전환 픽처를 복호화할 경우, 계층 전환 픽처 내 복호화 대상 블록의 주변에 위치한 이미 복호화된 블록을 참조하여 예측 신호를 생성하는 화면내 예측(intra prediction) 방법을 사용할 수도 있다.
복호화 장치는 제1 계층에서 제2 계층으로 계층간 전환이 발생하는 경우, 표시 순서 상 계층 전환 픽처에 선행하고 복호화 순서 상 계층 전환 픽처에 후행하는 리딩 픽처에 대한 참조 픽처로 계층 전환 픽처를 사용할 수 있으며, 표시 순서 및 복호화 순서 상 계층 전환 픽처에 후행하는 노말 픽처에 대한 참조 픽처로 계층 전환 픽처보다 표시 순서가 선행하는 픽처를 사용하지 않는다.
한편, 수신된 비트스트림 내 계층 전환 픽처에서, 계층 전환 픽처에 대한 NAL 유닛 타입이 변경된 경우, 예를 들어 계층 전환 픽처에서 NAL 유닛 타입이 LSP(layer switching picture)에서 BLA(broken link access)로 변경된 경우, 복호화 장치는 제1 계층에서 제2 계층으로 계층간 전환이 발생하였음을 인지할 수 있다.
BLA 픽처는 상술한 바와 같이, 비트스트림이 스플라이싱(splicing)되거나 중간에 끊어지면 랜덤 억세스 포인트(random access point)로서 동작 가능한 비트스트림 내 위치를 지시하기 위한 픽처이다. BLA 픽처는 부호화 장치에서부터 정해질 수도 있고, 부호화 장치로부터 비트스트림을 수신한 시스템에서 랜덤 억세스 또는 계층간 전환이 발생하였을 경우 BLA 픽처로 변경할 수도 있다.
또는, 복호화 장치는 수신된 비트스트림으로부터 파싱된 계층을 식별하기 위한 계층 식별자 정보를 통해 제1 계층에서 제2 계층으로 계층간 전환이 발생하였음을 인지할 수 있다. 계층 식별자 정보는 비트스트림으로부터 파싱된 NAL 유닛 헤더에 저장된 nuh_layer_id 신택스로부터 유도될 수 있다.
상기와 같이 복호화 장치가 계층 전환 픽처에서 제1 계층에서 제2 계층으로 계층간 전환이 발생하였음을 인지한 경우, 복호화 장치는 비트스트림 내 존재하는 리딩 픽처를 복호화 과정 및 출력 과정에서 제외하고 비트스트림을 복호화할 수도 있다.
상술한 바와 같이, 표시 순서 및 복호화 순서 상 리딩 픽처에 선행하는 과거 픽처를 참조 픽처로 사용하는 리딩 픽처의 경우, 정상적으로 복호화가 불가능하다. 왜냐하면 과거 픽처가 비트스트림 또는 DPB 내 존재하지 않기 때문에 비가용한 참조 픽처가 된다. 즉, 리딩 픽처는 상기와 같이 정상적으로 복호화가 수행되지 않고 스킵되는 제1 리딩 픽처와 정상적으로 복호화 가능한 제2 리딩 픽처를 포함할 수 있다. 이러한 리딩 픽처에 대한 정보는 NAL 유닛 타입으로부터 유도될 수 있다. 예컨대, 복호화 장치는 리딩 픽처에 대한 NAL 유닛 타입을 통해 제1 리딩 픽처와 제2 리딩 픽처를 알 수 있다.
만일 NAL 유닛 타입이 제1 리딩 픽처를 지시하는 경우, 복호화 장치는 제1 리딩 픽처를 비트스트림으로부터 제거하여 비트스트림에 대한 복호화를 수행할 수 있다. 또는 NAL 유닛 타입이 제2 리딩 픽처를 지시하는 경우, 제2 리딩 픽처는 정상적으로 복호화 가능한 픽처이므로 복호화 장치는 제2 리딩 픽처에 대한 복호화를 수행할 수 있다. 또는, 복호화 장치는 제1 리딩 픽처와 제2 리딩 픽처 모두 복호화 과정 및 출력 과정에서 제외시킬 수도 있다.
그리고, 계층 전환 픽처에서 제1 계층에서 제2 계층으로 계층간 전환이 발생한 경우, 계층 전환 픽처에서 해당 계층의 SPS(sequence parameter set)가 활성화(activation)될 수 있다.
상술한 본 발명의 실시예들에서는 설명의 편의를 위하여 하위 계층에서 상위 계층으로 계층간 전환에 대해 설명하였으나, 이는 상위 계층에서 하위 계층으로 계층간 전환에 대해서도 적용될 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (24)

  1. 복수의 계층을 지원하는 영상 복호화 방법에 있어서,
    제1 계층에서 제2 계층으로 계층간 전환이 가능한지 여부를 나타내는 계층간 전환 시점 정보를 포함하는 비트스트림을 수신하는 단계; 및
    상기 계층간 전환 시점 정보에 기초하여 상기 비트스트림을 복호화하는 단계를 포함하며,
    상기 계층간 전환 시점 정보는 계층간 전환이 가능한 시점의 계층 전환 픽처(layer switching picture; LSP)에 대한 정보를 포함하며,
    상기 계층 전환 픽처에 대한 정보는 상기 비트스트림으로부터 파싱된 NAL(Network Abstraction Layer) 유닛 타입으로부터 유도되는 것을 특징으로 하는 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 비트스트림을 복호화하는 단계에서, 상기 제1 계층에서 상기 제2 계층으로 계층간 전환이 발생할 경우,
    상기 비트스트림에 포함된 계층 전환 픽처는 상기 제2 계층의 픽처들 중에서 표시 순서 상 상기 계층 전환 픽처보다 선행하는 선행 픽처를 참조 픽처로 사용하지 않는 것을 특징으로 하는 영상 복호화 방법.
  3. 제1항에 있어서,
    상기 비트스트림을 복호화하는 단계에서, 상기 제1 계층에서 상기 제2 계층으로 계층간 전환이 발생할 경우,
    상기 비트스트림에 포함된 계층 전환 픽처는 상기 제1 계층의 픽처를 참조 픽처로 사용하는 것을 특징으로 하는 영상 복호화 방법.
  4. 제3항에 있어서,
    상기 계층 전환 픽처 내 복호화 대상 블록은 상기 복호화 대상 블록에 대응하는 위치에 있는 상기 제1 계층의 대응 블록(co-located block) 또는 상기 복호화 대상 블록에 대한 움직임 예측을 통해 획득된 상기 제1 계층의 블록을 참조하여 복호화되는 것을 특징으로 하는 영상 복호화 방법.
  5. 제1항에 있어서,
    상기 비트스트림을 복호화하는 단계에서, 상기 제1 계층에서 상기 제2 계층으로 계층간 전환이 발생할 경우,
    상기 비트스트림에 포함된 계층 전환 픽처는 화면내 예측(intra prediction) 또는 계층간 예측(inter-layer prediction)을 통해 유도된 예측 신호를 이용하여 복호화되는 것을 특징으로 하는 영상 복호화 방법.
  6. 제5항에 있어서,
    상기 계층 전환 픽처 내 복호화 대상 블록에 대한 계층간 예측은 상기 복호화 대상 블록에 대응하는 위치에 있는 상기 제1 계층의 대응 블록(co-located block) 또는 상기 복호화 대상 블록에 대한 움직임 예측을 통해 획득된 상기 제1 계층의 블록을 참조하여 예측 신호를 유도하는 것을 특징으로 하는 영상 복호화 방법.
  7. 제1항에 있어서,
    상기 비트스트림을 복호화하는 단계에서, 상기 제1 계층에서 상기 제2 계층으로 계층간 전환이 발생할 경우,
    상기 계층 전환 픽처보다 표시 순서는 선행하고 복호화 순서는 후행하는 리딩 픽처(leading picture)는 상기 계층 전환 픽처를 참조 픽처로 사용하는 것을 특징으로 하는 영상 복호화 방법.
  8. 제1항에 있어서,
    상기 비트스트림을 복호화하는 단계에서, 상기 제1 계층에서 상기 제2 계층으로 계층간 전환이 발생할 경우,
    상기 계층 전환 픽처보다 표시 순서 및 복호화 순서가 후행하는 노말 픽처(normal picture)는 상기 계층 전환 픽처보다 표시 순서가 선행하는 픽처를 참조 픽처로 사용하지 않는 것을 특징으로 하는 영상 복호화 방법.
  9. 제1항에 있어서,
    상기 비트스트림을 복호화하는 단계에서는,
    상기 계층 전환 픽처에 대한 NAL 유닛 타입이 BLA(broken link access) 픽처에 대한 NAL 유닛 타입으로 변경된 경우, 상기 제1 계층에서 상기 제2 계층으로 계층간 전환이 발생하였음을 인지하는 단계를 포함하며,
    상기 BLA 픽처는 비트스트림이 스플라이싱(splicing)되거나 중간에 끊어지면 랜덤 억세스 포인트(random access point)로서 동작 가능한 비트스트림 내 위치를 지시하기 위한 픽처인 것을 특징으로 하는 영상 복호화 방법.
  10. 제9항에 있어서,
    상기 비트스트림을 복호화하는 단계에서는,
    상기 제1 계층에서 상기 제2 계층으로 계층간 전환이 발생하였음을 인지한 경우, 상기 BLA 픽처보다 표시 순서는 선행하고 복호화 순서는 후행하는 리딩 픽처(leading picture)를 상기 비트스트림으로부터 제거하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  11. 제10항에 있어서,
    상기 리딩 픽처는 복호화가 정상적으로 수행되지 않고 스킵되는 제1 리딩 픽처와 복호화가 정상적으로 수행되는 제2 리딩 픽처를 포함하고,
    상기 리딩 픽처를 상기 비트스트림으로부터 제거하는 단계에서는,
    상기 제1 리딩 픽처를 복호화 과정 및 출력 과정에서 제외 시키거나, 또는 상기 제1 리딩 픽처 및 상기 제2 리딩 픽처를 복호화 과정 및 출력 과정에서 제외시키는 것을 특징으로 하는 영상 복호화 방법.
  12. 제1항에 있어서,
    상기 비트스트림을 복호화하는 단계에서는,
    상기 비트스트림으로부터 파싱된 계층을 식별하기 위한 계층 식별자 정보를 기반으로 상기 제1 계층에서 상기 제2 계층으로 계층간 전환이 발생하였음을 인지하는 단계를 포함하며,
    상기 계층 식별자 정보는 NAL 유닛 헤더에 포함되는 것을 특징으로 하는 영상 복호화 방법.
  13. 제1항에 있어서,
    상기 비트스트림을 복호화하는 단계에서, 상기 제1 계층에서 상기 제2 계층으로 계층간 전환이 발생할 경우,
    상기 제2 계층의 SPS(sequence parameter set)가 활성화(activation)되는 것을 특징으로 하는 영상 복호화 방법.
  14. 복수의 계층을 지원하는 영상 복호화 장치에 있어서,
    제1 계층에서 제2 계층으로 계층간 전환이 가능한지 여부를 나타내는 계층간 전환 시점 정보를 포함하는 비트스트림을 수신하고, 상기 계층간 전환 시점 정보에 기초하여 상기 비트스트림을 복호화하는 복호화부를 포함하며,
    상기 계층간 전환 시점 정보는 계층간 전환이 가능한 시점의 계층 전환 픽처(layer switching picture; LSP)에 대한 정보를 포함하며,
    상기 계층 전환 픽처에 대한 정보는 상기 비트스트림으로부터 파싱된 NAL(Network Abstraction Layer) 유닛 타입으로부터 유도되는 것을 특징으로 하는 영상 복호화 장치.
  15. 복수의 계층을 지원하는 영상 부호화 방법에 있어서,
    제1 계층에서 제2 계층으로 계층간 전환이 가능한지 여부를 나타내는 계층간 전환 시점 정보를 부호화하는 단계; 및
    상기 계층간 전환 시점 정보를 포함하는 비트스트림을 전송하는 단계를 포함하며,
    상기 계층간 전환 시점 정보는 계층간 전환이 가능한 시점의 계층 전환 픽처(layer switching picture; LSP)에 대한 정보를 포함하며,
    상기 계층 전환 픽처에 대한 정보는 NAL(Network Abstraction Layer) 유닛 타입으로 특정되는 것을 특징으로 하는 영상 부호화 방법.
  16. 제15항에 있어서,
    상기 계층간 전환 시점 정보를 부호화하는 단계에서,
    상기 계층 전환 픽처는 상기 제2 계층의 픽처들 중에서 표시 순서 상 상기 계층 전환 픽처보다 선행하는 선행 픽처를 참조 픽처로 사용하지 않고 부호화되는 것을 특징으로 하는 영상 부호화 방법.
  17. 제15항에 있어서,
    상기 계층간 전환 시점 정보를 부호화하는 단계에서,
    상기 계층 전환 픽처는 상기 제1 계층의 픽처를 참조 픽처로 사용하여 부호화되는 것을 특징으로 하는 영상 부호화 방법.
  18. 제17항에 있어서,
    상기 계층 전환 픽처 내 부호화 대상 블록은 상기 부호화 대상 블록에 대응하는 위치에 있는 상기 제1 계층의 대응 블록(co-located block) 또는 상기 부호화 대상 블록에 대한 움직임 예측을 통해 획득된 상기 제1 계층의 블록을 참조하여 부호화되는 것을 특징으로 하는 영상 부호화 방법.
  19. 제15항에 있어서,
    상기 계층간 전환 시점 정보를 부호화하는 단계에서,
    상기 계층 전환 픽처는 화면내 예측(intra prediction) 또는 계층간 예측(inter-layer prediction)을 통해 유도된 예측 신호를 이용하여 부호화되는 것을 특징으로 하는 영상 부호화 방법.
  20. 제19항에 있어서,
    상기 계층 전환 픽처 내 부호화 대상 블록에 대한 계층간 예측은 상기 부호화 대상 블록에 대응하는 위치에 있는 상기 제1 계층의 대응 블록(co-located block) 또는 상기 부호화 대상 블록에 대한 움직임 예측을 통해 획득된 상기 제1 계층의 블록을 참조하여 예측 신호를 유도하는 것을 특징으로 하는 영상 부호화 방법.
  21. 제15항에 있어서,
    상기 계층간 전환 시점 정보를 부호화하는 단계에서,
    상기 계층 전환 픽처보다 표시 순서는 선행하고 부호화 순서는 후행하는 리딩 픽처(leading picture)는 상기 계층 전환 픽처를 참조 픽처로 사용하여 부호화되는 것을 특징으로 하는 영상 부호화 방법.
  22. 제15항에 있어서,
    상기 계층간 전환 시점 정보를 부호화하는 단계에서,
    상기 계층 전환 픽처보다 표시 순서 및 부호화 순서가 후행하는 노말 픽처(normal picture)는 상기 계층 전환 픽처보다 표시 순서가 선행하는 픽처를 참조 픽처로 사용하지 않고 부호화되는 것을 특징으로 하는 영상 부호화 방법.
  23. 제15항에 있어서,
    상기 계층 전환 픽처보다 표시 순서는 선행하고 부호화 순서는 후행하는 리딩 픽처(leading picture)에 대한 정보를 부호화하는 단계를 포함하며,
    상기 리딩 픽처는 NAL(Network Abstraction Layer) 유닛 타입으로 특정되며,
    상기 리딩 픽처는 복호화가 정상적으로 수행되지 않고 스킵되는 제1 리딩 픽처와 복호화가 정상적으로 수행되는 제2 리딩 픽처를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  24. 복수의 계층을 지원하는 영상 부호화 장치에 있어서,
    제1 계층에서 제2 계층으로 계층간 전환이 가능한지 여부를 나타내는 계층간 전환 시점 정보를 부호화하고, 상기 계층간 전환 시점 정보를 포함하는 비트스트림을 전송하는 부호화부를 포함하며,
    상기 계층간 전환 시점 정보는 계층간 전환이 가능한 시점의 계층 전환 픽처(layer switching picture; LSP)에 대한 정보를 포함하며,
    상기 계층 전환 픽처에 대한 정보는 NAL(Network Abstraction Layer) 유닛 타입으로 특정되는 것을 특징으로 하는 영상 부호화 장치.
PCT/KR2013/008715 2012-09-27 2013-09-27 영상 부호화/복호화 방법 및 장치 WO2014051396A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/427,103 US20150245075A1 (en) 2012-09-27 2013-09-27 Method and apparatus for image encoding/decoding

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2012-0107658 2012-09-27
KR20120107658 2012-09-27
KR10-2013-0042558 2013-04-17
KR1020130042558A KR20140043239A (ko) 2012-09-27 2013-04-17 계층간 전환을 이용한 영상 부호화/복호화 방법 및 그 장치
KR10-2013-0115665 2013-09-27
KR1020130115665A KR20140043240A (ko) 2012-09-27 2013-09-27 영상 부호화/복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2014051396A1 true WO2014051396A1 (ko) 2014-04-03

Family

ID=50388674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/008715 WO2014051396A1 (ko) 2012-09-27 2013-09-27 영상 부호화/복호화 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2014051396A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060251169A1 (en) * 2005-04-13 2006-11-09 Nokia Corporation Method, device and system for effectively coding and decoding of video data
KR100813064B1 (ko) * 2006-05-19 2008-03-14 엘지전자 주식회사 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR20100030648A (ko) * 2007-06-26 2010-03-18 노키아 코포레이션 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
KR20110106431A (ko) * 2005-10-11 2011-09-28 노키아 코포레이션 효율적인 규모가변적 스트림 조정을 위한 시스템 및 방법
KR20110124161A (ko) * 2010-05-10 2011-11-16 삼성전자주식회사 계층 부호화 영상의 송수신 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060251169A1 (en) * 2005-04-13 2006-11-09 Nokia Corporation Method, device and system for effectively coding and decoding of video data
KR20110106431A (ko) * 2005-10-11 2011-09-28 노키아 코포레이션 효율적인 규모가변적 스트림 조정을 위한 시스템 및 방법
KR100813064B1 (ko) * 2006-05-19 2008-03-14 엘지전자 주식회사 비디오 영상 복호화/부호화 방법 및 장치, 데이터 포맷
KR20100030648A (ko) * 2007-06-26 2010-03-18 노키아 코포레이션 시간 레이어 스위칭 포인트들을 표시하는 시스템 및 방법
KR20110124161A (ko) * 2010-05-10 2011-11-16 삼성전자주식회사 계층 부호화 영상의 송수신 방법 및 장치

Similar Documents

Publication Publication Date Title
US10841619B2 (en) Method for decoding a video bitstream
JP7171654B2 (ja) 時間的サブレイヤー情報に基づいたインターレイヤー予測方法及び装置
US10499079B2 (en) Encoding device, encoding method, decoding device, and decoding method
US20160261878A1 (en) Signaling information for coding
WO2014163240A1 (ko) 동영상 처리 방법 및 장치
CN113728634A (zh) 自适应环路滤波器（alf）参数的自适应参数集（aps）
WO2013141671A1 (ko) 인터 레이어 인트라 예측 방법 및 장치
KR102551896B1 (ko) 영상 부호화/복호화 방법 및 장치
US10412397B2 (en) Image processing device and method
WO2014042460A1 (ko) 영상 부호화/복호화 방법 및 장치
US20240007667A1 (en) Processing video bitstream conforming to still picture profile
CN114503575A (zh) 对静止图像配置文件的语法元素的约束
JP2023516336A (ja) 混成ｎａｌユニットタイプに基づく画像符号化／復号化方法及び装置、並びにビットストリームを伝送する方法
KR20210083229A (ko) 영상 부호화/복호화 방법 및 장치
AU2014220852C1 (en) Coding and decoding methods of a picture block, corresponding devices and data stream
KR20140043240A (ko) 영상 부호화/복호화 방법 및 장치
WO2014107098A1 (ko) 영상을 부호화/복호화하기 위한 파라미터 세트 생성 방법 및 장치
WO2014051396A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2015102329A1 (en) Method and apparatus for processing video signal for reducing visibility of blocking artifacts
WO2014171771A1 (ko) 비디오 신호 처리 방법 및 장치
WO2014107092A1 (ko) 영상을 멀티 코덱에 호환 가능하도록 부호화/복호화하는 방법 및 장치
WO2022065875A1 (ko) 동작점 정보와 출력 계층 세트 정보를 시그널링하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일을 저장한 컴퓨터 판독 가능한 기록 매체
WO2022060192A1 (ko) 출력 계층 세트 정보를 시그널링하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일을 저장한 컴퓨터 판독 가능한 기록 매체
WO2015053525A1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13841760

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14427103

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13841760

Country of ref document: EP

Kind code of ref document: A1