WO2014058109A1 - Method and device for initializing entropy for extended video coding and decoding - Google Patents

Method and device for initializing entropy for extended video coding and decoding Download PDF

Info

Publication number
WO2014058109A1
WO2014058109A1 PCT/KR2012/011575 KR2012011575W WO2014058109A1 WO 2014058109 A1 WO2014058109 A1 WO 2014058109A1 KR 2012011575 W KR2012011575 W KR 2012011575W WO 2014058109 A1 WO2014058109 A1 WO 2014058109A1
Authority
WO
WIPO (PCT)
Prior art keywords
entropy
layer
initialization
enhancement layer
parameter
Prior art date
Application number
PCT/KR2012/011575
Other languages
French (fr)
Korean (ko)
Inventor
유은경
남정학
조현호
심동규
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Publication of WO2014058109A1 publication Critical patent/WO2014058109A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Definitions

  • the present invention relates to extended video encoding / decoding, and more particularly, to an entropy initialization method and apparatus for extended video encoding / decoding.
  • Scalable Video Coding (SVC) technology allows video of different types of resolution, quality, and frame rate in one compressed bitstream to be used in various terminals and network environments. It is to be able to restore adaptively.
  • SVC is a video codec that gives hierarchical adaptability to various multimedia devices at high compression rate of H.264 / AVC, and is a modification of H.264 / MPEG-4 PART 10 as Joint Video Team (JVT). Standardization was carried out at.
  • Multi-view video coding technology is to enable to support an image having multiple viewpoints in one compressed bitstream.
  • MVC is a video codec that provides various viewpoints at high compression rate of H.264 / AVC. It is standardized by Joint Video Team (JVT) as an amendment of H.264 / MPEG-4 PART 10.
  • HEVC High Efficiency Video Coding
  • HEVC defines a Coding Unit (CU), Prediction Unit (PU), and Transform Unit (TU) with a quadtree structure, and has a sample adaptive offset (SAO). Additional in-loop filters such as Offset and Deblocking filter are applied. In addition, compression coding efficiency is improved by improving existing intra prediction and inter prediction.
  • Standardization is being progressed as an extension version of HEVC, which is being recently standardized, and the existing MVC is improved to 3DVC (3D Video Coding) based on H.264 / AVC or HEVC.
  • Standardization is in progress.
  • Encoding of video increases compression efficiency through entropy encoding of syntax, which is an output after encoding of pixels.
  • the decoding of the video entropy-decodes the input bitstream and outputs a reconstructed image. Therefore, in order to increase the efficiency of entropy coding, it is important to correctly perform entropy initialization and probability prediction.
  • An object of the present invention for solving the above problems is to provide an entropy initialization method for extended video encoding / decoding.
  • Another object of the present invention for solving the above problems is to provide an entropy initialization device for extended video encoding / decoding.
  • an entropy initialization method for extended video decoding determines an entropy initialization method to determine whether to perform entropy initialization based on inter-layer prediction (inter-layer prediction) And if it is determined to perform entropy initialization based on inter-layer prediction, performing entropy initialization for the enhancement layer by referring to the information entropy decoded of the reference layer.
  • the entropy initialization for the enhancement layer may include extracting a parameter for inter-layer entropy initialization from information entropy-decoded the reference layer and referring to a parameter for inter-layer entropy initialization for entropy for the enhancement layer. Initialization can be performed.
  • the parameter for initializing entropy between layers may include at least one of a mapping table number, a binarization method, codeword information, context, MPS, and LPS for a reference layer.
  • the reference layer and the pictures of the enhancement layer may be divided into at least one slice, and the enhancement layer corresponding to the slice of the reference layer may be divided from information obtained by entropy decoding the reference layer.
  • a parameter for initializing entropy between layers may be extracted for each slice, and entropy initialization may be performed for each slice of the enhancement layer by referring to a parameter for initializing entropy between layers.
  • the reference layer and the picture of the enhancement layer are divided into at least one tile, and an enhancement corresponding to a tile of the reference layer with reference to information entropy decoded of the reference layer.
  • a parameter for initializing entropy between layers may be extracted for each tile of the layer, and entropy initialization may be performed for each tile of the enhancement layer by referring to a parameter for initializing entropy between layers.
  • the bitstreams of the reference layer and the enhancement layer are divided into at least one sub-bitstream and refer to information obtained by entropy decoding the sub-bitstream of the reference layer. Extracts parameters for inter-layer entropy initialization for each sub-bitstream of the enhancement layer corresponding to the sub-bitstream of the reference layer, and initializes entropy for each sub-bitstream of the enhancement layer by referring to parameters for inter-layer entropy initialization. Can be performed.
  • entropy initialization for the enhancement layer is performed according to information for entropy decoding for the enhancement layer. Can be done.
  • an extended video decoding apparatus includes an inter-layer reference unit for providing a reconstructed picture of a reference layer to perform intra prediction or inter prediction on an enhancement layer, and inter-layer prediction ( an entropy parameter extracting unit configured to perform entropy initialization for the enhancement layer based on inter-layer prediction.
  • An extended video encoding apparatus for achieving the above object includes an inter-layer reference for providing a reconstructed picture of a reference layer to perform intra prediction or inter prediction on an enhancement layer, and inter-layer prediction.
  • an entropy parameter extracting unit configured to perform entropy initialization for the enhancement layer based on inter-layer prediction.
  • parameters for entropy initialization of the reference layer may be utilized in the enhancement layer.
  • entropy encoding and decoding efficiency may be improved by enabling the enhancement layer to utilize parameters for entropy initialization of the reference layer.
  • FIG. 1 is a conceptual diagram illustrating a reference method and an access unit in extended video encoding / decoding.
  • FIG. 2 is a conceptual diagram illustrating an entropy initialization method according to an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating an entropy initialization method according to an embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating a method of initializing entropy in a slice unit according to an embodiment of the present invention.
  • FIG. 5 is a conceptual diagram illustrating a method of initializing entropy in units of tiles according to an exemplary embodiment of the present invention.
  • FIG. 6 is a conceptual diagram illustrating an entropy initialization method in units of sub-bitstreams according to an embodiment of the present invention.
  • FIG. 7 is a block diagram of an encoding apparatus for performing entropy initialization according to an embodiment of the present invention.
  • FIG. 8 is a block diagram of a decoding apparatus for performing entropy initialization according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • a video encoding apparatus (Video Encoding Apparatus), a video decoding apparatus (Video Decoding Apparatus) to be described below is a personal computer (PC), notebook computer, personal digital assistant (PDA), portable multimedia player (PMP) : Portable Multimedia Player (PSP), PlayStation Portable (PSP: PlayStation Portable), Wireless Communication Terminal (Wireless Communication Terminal), Smart Phone, Smart Phone, TV Application Server, Service Server, etc.
  • a communication device such as a user terminal or a communication modem for communicating with a wired or wireless communication network, a memory for storing various programs and data for inter- or intra-prediction for encoding or decoding an image, or for encoding or decoding an image, and executing a program.
  • Microprocessor for operation and control It can mean a variety of devices.
  • the image encoded in the bitstream by the video encoding apparatus is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal) It may be transmitted to an image decoding apparatus through various communication interfaces such as a serial bus, and may be decoded by the image decoding apparatus to restore and reproduce the image.
  • wired or wireless communication network such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal) It may be transmitted to an image decoding apparatus through various communication interfaces such as a serial bus, and may be decoded by the image decoding apparatus to restore and reproduce the image.
  • USB universal serial bus
  • a video may be composed of a series of pictures, and each picture may be divided into a predetermined area such as a frame or a block.
  • the divided blocks may be classified into intra blocks and inter blocks according to an encoding method.
  • An intra picture block refers to a block that is encoded by using an intra prediction coding method.
  • An intra picture prediction encoding indicates a pixel of blocks previously encoded, decoded, and reconstructed in a current picture that performs current encoding.
  • a prediction block is generated by predicting pixels of the current block using the prediction block, and a difference value with the pixels of the current block is encoded.
  • An inter block refers to a block that is encoded using inter prediction coding.
  • Inter prediction coding generates a prediction block by predicting a current block within a current picture by referring to one or more past or future pictures, and then generates a current block. This is a method of encoding the difference value with.
  • a frame referred to for encoding or decoding the current picture is referred to as a reference frame.
  • the term "picture” described below may be used interchangeably with other terms having equivalent meanings, such as an image, a frame, or the like. If you grow up, you can understand.
  • FIG. 1 is a conceptual diagram illustrating a reference method and an access unit in extended video encoding / decoding.
  • the extended video codec is a technology for encoding / decoding a video composed of at least two layers.
  • the enhancement layer may be encoded and decoded with reference to a reference layer.
  • the enhancement layer may refer to the reference layer decoded in advance.
  • the layers may be distinguished through different resolutions, quality, frame rates, or view points. Therefore, the extended video encoding / decoding method and apparatus according to the embodiment of the present invention may be applied to SVC or 3DVC.
  • video data may include a first layer 10, a second layer 11, and a third layer 12.
  • the first layer 10 may be the lowest layer
  • the third layer 12 may be the highest layer.
  • the second layer 11 may use the first layer 10 as a reference layer
  • the third layer 12 may use the first layer 10 or the second layer 11 as a reference layer.
  • AU access unit
  • FIG. 2 is a conceptual diagram illustrating an entropy initialization method according to an embodiment of the present invention.
  • the enhancement layer 22 may perform entropy initialization using the decoded information of the reference layer 21. have.
  • the enhancement layer 22 must first perform entropy initialization before performing entropy encoding or entropy decoding.
  • the reference layer 21 may be encoded or decoded in advance, and the enhancement layer 22 may be encoded or decoded with reference to the reference layer 21 that has already been encoded or decoded. That is, the enhancement layer 22 may extract a parameter for entropy initialization between layers from the reference layer 21 and perform entropy initialization by using the parameter.
  • the parameter for initializing entropy between layers may be extracted from the encoded or decoded information of the reference layer 21, the mapping table number, the binarization method, the codeword information, the context, and the MPS (Most) for the reference layer. It may include information on Probable Symbol and / or Least Probable Symbol (LPS).
  • FIG. 3 is a flowchart illustrating an entropy initialization method according to an embodiment of the present invention.
  • inter-layer prediction may mean that syntax information of the reference layer is referred to by the enhancement layer based on the correlation of the image between the layers.
  • entropy initialization for the enhancement layer using inter-layer prediction (S310). That is, in entropy initialization for the enhancement layer, information for entropy initialization for the reference layer may be referred to.
  • a parameter for inter-layer entropy initialization may be extracted from the reference layer (S320).
  • Parameters for entropy initialization between layers include a mapping table number for a reference layer, a binarization method, codeword information, a context, a Most Probable Symbol (MPS), or a Least Probable Symbol (LPS).
  • MPS Most Probable Symbol
  • LPS Least Probable Symbol
  • the mapping table number, the binarization method, and the codeword information may mean information about a method of binarizing data for entropy decoding on the bitstream.
  • entropy initialization may be performed with reference to the extracted parameter for entropy initialization between layers (S330).
  • general entropy initialization may be performed on the enhancement layer (S340).
  • general entropy initialization may mean entropy initialization according to a conventional method. That is, entropy initialization for the enhancement layer may be performed according to information for entropy decoding for the enhancement layer.
  • entropy decoding for the enhancement layer may be performed (S350).
  • FIG. 4 is a conceptual diagram illustrating a method of initializing entropy in a slice unit according to an embodiment of the present invention.
  • pictures of the reference layer and the enhancement layer may be divided into at least one slice, and the enhancement layer may be entropy initialized in units of slices.
  • the reference layer and the enhancement layer may be divided into two slices, respectively.
  • Slices 41 and 42 of the reference layer may correspond to slices 43 and 44 of the enhancement layer, respectively. That is, the first slice 41 of the reference layer may correspond to the first slice 43 of the enhancement layer, and the second slice 42 of the reference layer may correspond to the second slice 44 of the enhancement layer.
  • whether the slices 41 and 42 of the reference layer correspond to the slices 43 and 44 of the enhancement layer may be determined based on the slice index, the decoding order or position of the slice, and the decoding order or position of the pixel.
  • parameters for entropy initialization between layers may be extracted for each slice 43 and 44 of the enhancement layer corresponding to the slices 41 and 42 of the reference layer from the information entropy decoded.
  • entropy initialization may be performed for each slice of the enhancement layer by referring to a parameter for entropy initialization between layers.
  • the parameter extraction position of the slices 41 and 42 of the reference layer corresponding to the slices 43 and 44 of the enhancement layer is 2 of the starting positions of each slice. It may be an instant of encoding / decoding for the number of coding tree units (CTUs) or an arbitrary position of a corresponding slice in the reference layer. For example, two CTUs are encoded / decoded according to a raster scan order for slices 41 and 42 of the reference layer, and then parameters are extracted or preset in slices 41 and 42 of the reference layer. The parameter can be extracted at the position of.
  • CTUs coding tree units
  • FIG. 5 is a conceptual diagram illustrating a method of initializing entropy in units of tiles according to an exemplary embodiment of the present invention.
  • pictures of a reference layer and an enhancement layer may be divided into at least one tile, and the enhancement layer may be entropy initialized in units of tiles.
  • the reference layer and the enhancement layer may be divided into four tiles.
  • the tiles 51, 52, 53, 54 of the reference layer may correspond to the tiles 55, 56 57, 58 of the enhancement layer, respectively. That is, the first tile 41 of the reference layer may correspond to the first tile 55 of the enhancement layer, and the second tile 52 of the reference layer may correspond to the second tile 56 of the enhancement layer.
  • the third tile 53 of the reference layer may correspond to the third tile 57 of the enhancement layer, and the fourth tile 54 of the reference layer may correspond to the fourth tile 58 of the enhancement layer.
  • whether the tiles 51, 52, 53, 54 of the reference layer and the tiles 55, 56, 57, 58 of the enhancement layer correspond to each other depends on the tile index, the decoding order or position of the tiles, and the decoding order or position of the pixels. Can be judged based on
  • entropy initialization between layers according to tiles 55, 56, 57, and 58 of an enhancement layer corresponding to tiles 51, 52, 53, and 54 of the reference layer from information entropy decoded from the reference layer.
  • a parameter may be extracted, and entropy initialization may be performed for each tile of the enhancement layer by referring to a parameter for entropy initialization between layers.
  • Tiles 51, 52, 53, 54 of the reference layer corresponding to tiles 55, 56, 57, 58 of the enhancement layer for inter-layer entropy initialization for tiles 55, 56, 57, 58 of the enhancement layer.
  • the parameter extraction position of may be an instant of encoding / decoding for two CTUs of the starting position of each tile or any position of the corresponding tile in the reference layer. For example, after two CTUs are encoded / decoded in the raster scan order for the tiles 51, 52, 53, and 54 of the reference layer, parameters are extracted or pre-selected in the tiles 51, 52, 53, and 54 of the reference layer. Parameters can be extracted at any position you set.
  • FIG. 6 is a conceptual diagram illustrating an entropy initialization method in units of sub-bitstreams according to an embodiment of the present invention.
  • pictures of a reference layer and an enhancement layer may be divided and transmitted into at least one sub-bitstream, and the enhancement layer may be entropy initialized in units of sub-bitstreams.
  • the sub-bitstream may mean a single bitstream that can be independently decoded or a partial bitstream that can be separated by a bundle of independently decodable bitstreams or information included in the bitstream.
  • the reference layer and the enhancement layer may be divided into four sub-bitstreams each.
  • the sub-bitstreams 61, 62, 63, and 64 of the reference layer may correspond to the sub-bitstreams 65, 66, 67, and 68 of the enhancement layer, respectively. That is, the first sub-bitstream 61 of the reference layer corresponds to the first sub-bitstream 65 of the enhancement layer, and the second sub-bitstream 62 of the reference layer corresponds to the second sub-bitstream of the enhancement layer. Correspond to the bitstream 66. Further, the third sub-bitstream 63 of the reference layer corresponds to the third sub-bitstream 67 of the enhancement layer, and the fourth sub-bitstream 64 of the reference layer is the fourth sub-bit of the enhancement layer.
  • bitstream 68 corresponds to the bitstream 68.
  • whether the sub-bitstreams 61, 62, 63, 64 of the reference layer and the sub-bitstreams 65, 66, 67, 68 of the enhancement layer correspond to each other is determined by the sub-bitstream index and the sub-bitstream. The determination may be made based on the decoding order or position.
  • the sub-bitstreams 61, 62, 63, and 64 of the reference layer are referred to with reference to information obtained by entropy decoding the sub-bitstreams 61, 62, 63, and 64 of the reference layer.
  • the sub-bitstream (65) of the enhancement layer by referring to the parameter for inter-layer entropy initialization , 66, 67, 68) can be performed entropy initialization.
  • Sub-bitstream of the reference layer corresponding to the sub-bitstream 65, 66, 67, 68 of the enhancement layer for inter-layer entropy initialization for the sub-bitstreams 65, 66, 67, 68 of the enhancement layer.
  • the parameter extraction position of (61, 62, 63, 64) may be the instant of sub / decoding for the two CTUs of the start position of each sub-bitstream or any position of the corresponding sub-bitstream in the reference layer. Can be.
  • two CTUs may be encoded / decoded in the raster scan order for the sub-bitstreams 61, 62, 63, and 64 of the reference layer, and then parameters may be extracted or the sub-bitstreams 61, 62, 63 and 64, parameters can be extracted at a predetermined position.
  • FIG. 7 is a block diagram of an encoding apparatus for performing entropy initialization according to an embodiment of the present invention.
  • an encoding apparatus for performing entropy initialization includes an encoding apparatus 100 for a reference layer and an encoding apparatus 200 for an enhancement layer.
  • the entropy parameter extracting unit 310 and the inter-layer reference unit 320 is included.
  • Each of the encoding apparatuses 100 and 200 includes a subtraction unit 110 and 210, a transform unit 120 and 220, a quantization unit 130 and 230, an inverse quantization unit 131 and 231, and an inverse transform unit 121 and 221. ), Entropy encoder 140, 240, adder 150, 250, in-loop filter 160, 260, frame memories 170, 270, intra predictor 180, 280, and motion compensator ( 190, 290).
  • the subtractors 110 and 210 generate a residual image between the current image and the predicted image by subtracting the predicted image generated by intra prediction or inter prediction from the target image to be encoded (the current image), which is the received input image. do.
  • the converters 120 and 220 convert the residual image generated by the subtractors 110 and 210 from the spatial domain to the frequency domain.
  • the transformers 120 and 220 convert the residual image using a technique of transforming an image signal of a spatial axis into a frequency axis such as a Hadamard transform, a discrete cosine transform, a discrete cosine transform, and the like. You can convert to the frequency domain.
  • the quantizers 130 and 230 perform quantization on the transformed data (frequency coefficients) provided from the converters 120 and 220. That is, the quantizers 130 and 230 divide the frequency coefficients, which are data converted by the transformers 120 and 220, into approximations by dividing the frequency coefficients into quantization step sizes to calculate a quantization result.
  • the entropy encoders 140 and 240 generate a bitstream by entropy encoding the quantization result values calculated by the quantizers 130 and 230.
  • the entropy encoders 140 and 240 may use the quantization result values calculated by the quantizers 130 and 230 using CAVLC (Context-Adaptive Variable Length Coding) or CABAC (Context-Adaptive Binary Arithmetic Coding). Entropy encoding may be performed, and information necessary for decoding an image, in addition to the quantization result value, may be entropy encoded.
  • the dequantizers 131 and 231 dequantize the quantization result values calculated by the quantizers 130 and 230. In other words, the inverse quantization units 131 and 231 restore the value (frequency coefficient) of the frequency domain from the quantization result.
  • the inverse transformers 121 and 221 restore the residual image by converting the values (frequency coefficients) of the frequency domain provided from the inverse quantizers 131 and 231 from the frequency domain to the spatial domain.
  • the reconstructed image of the input image is generated and stored in the frame memories 170 and 270 by adding the residual image reconstructed by the inverse transformers 121 and 221 to the predicted image generated by the intra prediction or the inter prediction.
  • the intra predictors 180 and 280 perform intra prediction, and the motion compensators 190 and 290 compensate for a motion vector for inter prediction.
  • the in-loop filter units 160 and 260 perform filtering on the reconstructed image, and include a deblocking filter (DF), a sample adaptive offset (SAO), and an adaptive loop filter (ALF). Adaptive Loop Filter).
  • DF deblocking filter
  • SAO sample adaptive offset
  • ALF adaptive loop filter
  • the multiplexer 330 receives an encoded bitstream from a reference layer and an enhancement layer and outputs an extended bitstream.
  • the inter-layer reference unit 320 provides the reconstructed picture of the reference layer to the enhancement layer to perform intra prediction or inter prediction on the enhancement layer.
  • the entropy parameter extractor 310 performs entropy initialization for the enhancement layer based on inter-layer prediction.
  • the entropy parameter extractor 310 may extract and provide a parameter for entropy initialization between layers from information entropy-encoding the reference layer for entropy encoding for the enhancement layer.
  • the parameter for initializing entropy between layers may include at least one of a mapping table number, a binarization method, codeword information, context, MPS, and LPS for a reference layer.
  • FIG. 8 is a block diagram of a decoding apparatus for performing entropy initialization according to an embodiment of the present invention.
  • a decoding apparatus for performing entropy initialization includes a decoding apparatus 400 for a reference layer and an encoding apparatus 500 for an enhancement layer. It also includes an entropy parameter extractor 610 and an inter-layer reference unit 620.
  • Each of the decoding apparatuses 400 and 500 includes an entropy decoder 410 and 510, an inverse quantizer 420 and 520, an inverse transformer 430 and 530, an adder 440 and 540, and an in-loop filter unit 450. 550, frame memories 460 and 560, intra predictors 470 and 570, and motion compensators 480 and 580.
  • Each component of the decoding apparatuses 400 and 500 may be understood to correspond to the components of the encoding apparatus of FIG. 7, and thus, detailed description thereof will be omitted.
  • the decoding apparatus includes an inter-layer reference unit 620 for providing a reconstructed picture of a reference layer to perform intra prediction or inter prediction on an enhancement layer, and inter-layer prediction. Based on the entropy parameter extraction unit 610 to perform the entropy initialization for the enhancement layer.
  • the entropy parameter extractor 610 may extract a parameter for entropy initialization between layers from the information entropy decoded by the reference layer for entropy decoding on the enhancement layer and provide the enhancement layer to the enhancement layer.
  • the parameter for initializing entropy between layers may include at least one of a mapping table number, a binarization method, codeword information, context, MPS, and LPS for a reference layer.
  • the pictures of the reference layer and the enhancement layer are divided into at least one slice, and the entropy parameter extracting unit 610 is for each slice of the enhancement layer corresponding to the slice of the reference layer from the information entropy decoded from the reference layer.
  • Parameters for initializing entropy between layers may be extracted and provided as an enhancement layer.
  • the picture of the reference layer and the enhancement layer is divided into at least one tile, and the entropy parameter extracting unit 610 separates the tiles of the enhancement layer corresponding to the tiles of the reference layer from the information entropy-decoded from the reference layer. Parameters for initializing entropy between layers may be extracted and provided as an enhancement layer.
  • bitstreams of the reference layer and the enhancement layer may be divided into at least one sub-bitstream, and the entropy parameter extractor 610 may entropy decode the sub-bitstream of the reference layer.
  • a parameter for initializing entropy between layers may be extracted and provided to the enhancement layer for each sub-bitstream of the enhancement layer corresponding to the sub-bitstream of the reference layer.
  • the above-described entropy initialization method and apparatus for extended video encoding / decoding improves entropy encoding and decoding efficiency by enabling a parameter for entropy initialization of a reference layer to be used in an enhancement layer.
  • each component of the encoding apparatus and the decoding apparatus according to the embodiment of the present invention described above is included in each component unit for convenience of description, and at least two of the components are combined to form one component unit, or one component unit Functions may be divided into a plurality of components and the integrated and separated embodiments of each of the components may be included in the scope of the present invention, without departing from the spirit of the present invention.
  • the encoding device and the decoding device according to the present invention can be embodied as computer readable programs or codes on a computer readable recording medium.
  • Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable program or code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

A technology related to a method and device for initializing entropy for extended video coding and decoding is disclosed. The method for initializing entropy for extended video decoding includes an entropy initialization determining step in which whether to perform entropy initialization based on inter-layer prediction is determined, and the step of performing entropy initialization for an enhancement layer with reference to information obtained by entropy-decoding a reference layer, if it is determined that entropy initialization based on the inter-layer prediction is performed. Thus, by enabling a parameter for the entropy initialization of the reference layer to be utilized in the enhancement layer, it is possible to enhance entropy coding and decoding efficiency.

Description

확장 비디오 부호화 및 복호화를 위한 엔트로피 초기화 방법 및 그 장치Entropy initialization method for extended video encoding and decoding, and apparatus therefor
본 발명은 확장 비디오 부호화/복호화에 관한 것으로, 더욱 상세하게는 확장 비디오 부호화/복호화를 위한 엔트로피 초기화 방법 및 장치에 관한 것이다.The present invention relates to extended video encoding / decoding, and more particularly, to an entropy initialization method and apparatus for extended video encoding / decoding.
최근 무선망 및 인터넷이 초고속으로 발전함에 따라 다양한 멀티미디어 서비스가 활성화되고 있으며, 특히, 방통 융합망의 등장으로 압축 부호화 기술만을 개발하던 시기와는 달리 멀티미디어의 생성, 전송 및 소비 환경의 다양한 조건들에서 QoS(Quality of Service)를 보장하기 위해 비디오 부호화의 계위성(Scalability)을 제공하기 위한 표준화 작업이 진행되고 있다. Recently, as the wireless network and the Internet are developed at a high speed, various multimedia services are activated.In particular, unlike the time when only compression coding technology was developed due to the emergence of a communication convergence network, in various conditions of multimedia generation, transmission, and consumption environments In order to guarantee the quality of service (QoS), standardization work is being performed to provide scalability of video encoding.
스케일러블 비디오 코딩(SVC: Scalable Video Coding) 기술은, 하나의 압축된 비트스트림에서 서로 다른 종류의 해상도(Spatial), 품질(Quality), 프레임율(Temporal)을 갖는 영상을 다양한 단말기와 네트워크 환경에 적응적으로 복원할 수 있도록 하는 것이다. SVC는 H.264/AVC의 높은 압축률에 다양한 멀티미디어 기기에 적응적으로 대응할 수 있는 계층성을 부여한 비디오 코덱으로, H.264/MPEG-4 PART 10의 수정판(Amendment)으로 JVT(Joint Video Team)에서 표준화를 진행하였다.Scalable Video Coding (SVC) technology allows video of different types of resolution, quality, and frame rate in one compressed bitstream to be used in various terminals and network environments. It is to be able to restore adaptively. SVC is a video codec that gives hierarchical adaptability to various multimedia devices at high compression rate of H.264 / AVC, and is a modification of H.264 / MPEG-4 PART 10 as Joint Video Team (JVT). Standardization was carried out at.
다시점 비디오 코딩(Multi-view Video Coding) 기술은, 하나의 압축된 비트스트림에서 다수 개의 시점을 갖는 영상을 지원할 수 있도록 하는 것이다. MVC는 H.264/AVC의 높은 압축률에 다양한 시점을 제공하는 비디오 코덱으로, H.264/MPEG-4 PART 10의 수정판(Amendment)으로 JVT(Joint Video Team)에서 표준화를 진행하였다.Multi-view video coding technology is to enable to support an image having multiple viewpoints in one compressed bitstream. MVC is a video codec that provides various viewpoints at high compression rate of H.264 / AVC. It is standardized by Joint Video Team (JVT) as an amendment of H.264 / MPEG-4 PART 10.
또한, 종래의 H.264/AVC와 비교하여 약 2 배 이상의 압축 효율을 갖는 것으로 알려져 있는 차세대 비디오 압축 표준 기술로 HEVC(High Efficiency Video Coding)에 대한 표준화가 진행되고 있다. In addition, the standardization of High Efficiency Video Coding (HEVC) is progressing as a next-generation video compression standard technology that is known to have a compression efficiency of about twice or more compared to the conventional H.264 / AVC.
HEVC는 쿼드트리(quadtree) 구조를 가진 코딩 유닛(CU: Coding Unit), 예측 유닛(PU: Prediction Unit), 변환 유닛(TU: Transform Unit)을 정의하고 있으며, 샘플 적응적 오프셋(SAO: Sample Adaptive Offset), 디블록킹 필터(Deblocking filter)와 같은 추가적인 인루프 필터를 적용하고 있다. 또한, 기존의 인트라 예측(intra prediction) 및 인터 예측(inter prediction)을 개선하여 압축 부호화 효율을 향상시키고 있다. HEVC defines a Coding Unit (CU), Prediction Unit (PU), and Transform Unit (TU) with a quadtree structure, and has a sample adaptive offset (SAO). Additional in-loop filters such as Offset and Deblocking filter are applied. In addition, compression coding efficiency is improved by improving existing intra prediction and inter prediction.
한편, 최근에 표준화가 진행되고 있는 HEVC에 대한 확장(extension) 버전으로 SVC에 대한 표준화가 진행되고 있으며, 기존의 MVC를 개선하여 H.264/AVC 또는 HEVC에 기반하는 3DVC(3D Video Coding)에 대한 표준화가 진행되고 있다. 비디오에 대한 부호화는 픽셀에 대한 부호화 이후 출력물인 신택스에 대한 엔트로피 부호화를 통해 압축 효율을 높인다. 그리고, 비디오에 대한 복호화는 입력받은 비트스트림을 엔트로피 복호화하여 복원영상을 출력한다. 따라서, 엔트로피 부호화의 효율을 높이기 위하여 엔트로피 초기화 및 확률 예측을 정확히 수행하는 것이 중요하다.Meanwhile, standardization of SVC is being progressed as an extension version of HEVC, which is being recently standardized, and the existing MVC is improved to 3DVC (3D Video Coding) based on H.264 / AVC or HEVC. Standardization is in progress. Encoding of video increases compression efficiency through entropy encoding of syntax, which is an output after encoding of pixels. The decoding of the video entropy-decodes the input bitstream and outputs a reconstructed image. Therefore, in order to increase the efficiency of entropy coding, it is important to correctly perform entropy initialization and probability prediction.
그러나, SVC와 3DVC에 따른 엔트로피 부호화 및 복호화에 있어, 각 계층에 대해 기존의 엔트로피 초기화를 적용할 경우 엔트로피 부호화 효율이 낮은 문제점이 있다.However, in entropy encoding and decoding according to SVC and 3DVC, when the existing entropy initialization is applied to each layer, entropy encoding efficiency is low.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 확장 비디오 부호화/복호화를 위한 엔트로피 초기화 방법을 제공하는데 있다.An object of the present invention for solving the above problems is to provide an entropy initialization method for extended video encoding / decoding.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 확장 비디오 부호화/복호화를 위한 엔트로피 초기화 장치를 제공하는데 있다.Another object of the present invention for solving the above problems is to provide an entropy initialization device for extended video encoding / decoding.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 확장 비디오 복호화를 위한 엔트로피 초기화 방법은, 계층 간 예측(inter-layer prediction)에 기반하여 엔트로피 초기화(entropy initialization)를 수행할지 결정하는 엔트로피 초기화 방법 결정 단계와, 계층 간 예측에 기반하는 엔트로피 초기화를 수행하는 것으로 결정된 경우, 참조 계층을 엔트로피 복호화한 정보를 참조하여 향상 계층을 위한 엔트로피 초기화를 수행하는 단계를 포함한다.According to an aspect of the present invention, an entropy initialization method for extended video decoding according to an aspect of the present invention, determines an entropy initialization method to determine whether to perform entropy initialization based on inter-layer prediction (inter-layer prediction) And if it is determined to perform entropy initialization based on inter-layer prediction, performing entropy initialization for the enhancement layer by referring to the information entropy decoded of the reference layer.
여기에서, 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계는, 참조 계층을 엔트로피 복호화한 정보로부터 계층 간 엔트로피 초기화를 위한 파라미터를 추출하고, 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 향상 계층을 위한 엔트로피 초기화를 수행할 수 있다. The entropy initialization for the enhancement layer may include extracting a parameter for inter-layer entropy initialization from information entropy-decoded the reference layer and referring to a parameter for inter-layer entropy initialization for entropy for the enhancement layer. Initialization can be performed.
여기에서, 상기 계층 간 엔트로피 초기화를 위한 파라미터는, 참조 계층에 대한 매핑 테이블 번호, 이진화 방법, 코드워드 정보, 컨텍스트, MPS, LPS 중 적어도 하나에 대한 정보를 포함할 수 있다. Here, the parameter for initializing entropy between layers may include at least one of a mapping table number, a binarization method, codeword information, context, MPS, and LPS for a reference layer.
여기에서, 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계는, 참조 계층과 향상 계층의 픽처는 적어도 하나의 슬라이스로 구분되고, 참조 계층을 엔트로피 복호화한 정보로부터 참조 계층의 슬라이스에 대응하는 향상 계층의 슬라이스 별로 계층 간 엔트로피 초기화를 위한 파라미터를 추출하고, 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 향상 계층의 슬라이스 별로 엔트로피 초기화를 수행할 수 있다. In the performing of the entropy initialization for the enhancement layer, the reference layer and the pictures of the enhancement layer may be divided into at least one slice, and the enhancement layer corresponding to the slice of the reference layer may be divided from information obtained by entropy decoding the reference layer. A parameter for initializing entropy between layers may be extracted for each slice, and entropy initialization may be performed for each slice of the enhancement layer by referring to a parameter for initializing entropy between layers.
여기에서, 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계는, 참조 계층과 향상 계층의 픽처는 적어도 하나의 타일로 구분되고, 참조 계층을 엔트로피 복호화한 정보를 참조하여 참조 계층의 타일에 대응하는 향상 계층의 타일 별로 계층 간 엔트로피 초기화를 위한 파라미터를 추출하고, 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 향상 계층의 타일 별로 엔트로피 초기화를 수행할 수 있다. In the performing of the entropy initialization for the enhancement layer, the reference layer and the picture of the enhancement layer are divided into at least one tile, and an enhancement corresponding to a tile of the reference layer with reference to information entropy decoded of the reference layer. A parameter for initializing entropy between layers may be extracted for each tile of the layer, and entropy initialization may be performed for each tile of the enhancement layer by referring to a parameter for initializing entropy between layers.
여기에서, 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계는, 참조 계층과 향상 계층의 비트스트림이 적어도 하나의 서브- 비트스트림으로 분할되고, 참조 계층의 서브-비트스트림을 엔트로피 복호화한 정보를 참조하여 참조 계층의 서브-비트스트림에 대응하는 향상 계층의 서브-비트스트림 별로 계층 간 엔트로피 초기화를 위한 파라미터를 추출하고, 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 향상 계층의 서브-비트스트림 별로 엔트로피 초기화를 수행할 수 있다. In the performing of the entropy initialization for the enhancement layer, the bitstreams of the reference layer and the enhancement layer are divided into at least one sub-bitstream and refer to information obtained by entropy decoding the sub-bitstream of the reference layer. Extracts parameters for inter-layer entropy initialization for each sub-bitstream of the enhancement layer corresponding to the sub-bitstream of the reference layer, and initializes entropy for each sub-bitstream of the enhancement layer by referring to parameters for inter-layer entropy initialization. Can be performed.
여기에서, 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계는, 계층 간 예측에 기반하지 않는 엔트로피 초기화를 수행하는 것으로 결정된 경우, 향상 계층에 대한 엔트로피 복호화를 위한 정보에 따라 향상 계층을 위한 엔트로피 초기화를 수행할 수 있다. Here, in the step of performing entropy initialization for the enhancement layer, if it is determined to perform entropy initialization that is not based on inter-layer prediction, entropy initialization for the enhancement layer is performed according to information for entropy decoding for the enhancement layer. Can be done.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 따른 확장 비디오 복호화 장치는, 향상 계층에 대한 인트라 예측 또는 인터 예측을 수행하도록 참조 계층의 복원된 픽처를 제공하는 계층 간 참조부와, 계층 간 예측(inter-layer prediction)에 기반하여 향상 계층에 대한 엔트로피 초기화를 수행하도록 하는 엔트로피 파라미터 추출부를 포함한다. According to another aspect of the present invention, an extended video decoding apparatus includes an inter-layer reference unit for providing a reconstructed picture of a reference layer to perform intra prediction or inter prediction on an enhancement layer, and inter-layer prediction ( an entropy parameter extracting unit configured to perform entropy initialization for the enhancement layer based on inter-layer prediction.
상기 목적을 달성하기 위한 본 발명의 또 다른 측면에 따른 확장 비디오 부호화 장치는, 향상 계층에 대한 인트라 예측 또는 인터 예측을 수행하도록 참조 계층의 복원된 픽처를 제공하는 계층 간 참조부와, 계층 간 예측(inter-layer prediction)에 기반하여 향상 계층에 대한 엔트로피 초기화를 수행하도록 하는 엔트로피 파라미터 추출부를 포함한다.An extended video encoding apparatus according to another aspect of the present invention for achieving the above object includes an inter-layer reference for providing a reconstructed picture of a reference layer to perform intra prediction or inter prediction on an enhancement layer, and inter-layer prediction. an entropy parameter extracting unit configured to perform entropy initialization for the enhancement layer based on inter-layer prediction.
상기와 같은 본 발명의 실시예에 따른 확장 비디오 부호화/복호화를 위한 엔트로피 초기화 방법 및 장치를 이용할 경우에는 참조 계층의 엔트로피 초기화를 위한 파라미터를 향상 계층에서 활용할 수 있다.When using the entropy initialization method and apparatus for extended video encoding / decoding according to the embodiment of the present invention as described above, parameters for entropy initialization of the reference layer may be utilized in the enhancement layer.
또한, 참조 계층의 엔트로피 초기화를 위한 파라미터를 향상 계층에서 활용할 수 있도록 하여 엔트로피 부호화 및 복호화 효율을 향상시킬 수 있다.In addition, entropy encoding and decoding efficiency may be improved by enabling the enhancement layer to utilize parameters for entropy initialization of the reference layer.
도 1은 확장 비디오 부호화/복호화에 있어 참조 방법 및 액세스 유닛을 설명하는 개념도이다. 1 is a conceptual diagram illustrating a reference method and an access unit in extended video encoding / decoding.
도 2는 본 발명의 실시예에 따른 엔트로피 초기화 방법을 설명하는 개념도이다. 2 is a conceptual diagram illustrating an entropy initialization method according to an embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 엔트로피 초기화 방법을 설명하는 흐름도이다. 3 is a flowchart illustrating an entropy initialization method according to an embodiment of the present invention.
도 4는 본 발명의 실시예에 따른 슬라이스 단위의 엔트로피 초기화 방법을 설명하는 개념도이다. 4 is a conceptual diagram illustrating a method of initializing entropy in a slice unit according to an embodiment of the present invention.
도 5는 본 발명의 실시예에 따른 타일 단위의 엔트로피 초기화 방법을 설명하는 개념도이다. 5 is a conceptual diagram illustrating a method of initializing entropy in units of tiles according to an exemplary embodiment of the present invention.
도 6은 본 발명의 실시예에 따른 서브-비트스트림 단위의 엔트로피 초기화 방법을 설명하는 개념도이다. 6 is a conceptual diagram illustrating an entropy initialization method in units of sub-bitstreams according to an embodiment of the present invention.
도 7은 본 발명의 실시예에 따른 엔트로피 초기화를 수행하는 부호화 장치의 블록도이다. 7 is a block diagram of an encoding apparatus for performing entropy initialization according to an embodiment of the present invention.
도 8은 본 발명의 실시예에 따른 엔트로피 초기화를 수행하는 복호화 장치의 블록도이다.8 is a block diagram of a decoding apparatus for performing entropy initialization according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the drawings, similar reference numerals are used for similar elements.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 무선 통신 단말기(Wireless Communication Terminal), 스마트폰(Smart Phone), TV 응용 서버와 서비스 서버 등 서버 단말기일 수 있으며, 각종 기기 또 등과 같은 사용자 단말기이거나 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하거나 부호화 또는 복호화를 위해 화면간 또는 화면내 예측하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미할 수 있다.A video encoding apparatus (Video Encoding Apparatus), a video decoding apparatus (Video Decoding Apparatus) to be described below is a personal computer (PC), notebook computer, personal digital assistant (PDA), portable multimedia player (PMP) : Portable Multimedia Player (PSP), PlayStation Portable (PSP: PlayStation Portable), Wireless Communication Terminal (Wireless Communication Terminal), Smart Phone, Smart Phone, TV Application Server, Service Server, etc. A communication device such as a user terminal or a communication modem for communicating with a wired or wireless communication network, a memory for storing various programs and data for inter- or intra-prediction for encoding or decoding an image, or for encoding or decoding an image, and executing a program. Microprocessor for operation and control It can mean a variety of devices.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등과 같은 다양한 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.In addition, the image encoded in the bitstream by the video encoding apparatus is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal) It may be transmitted to an image decoding apparatus through various communication interfaces such as a serial bus, and may be decoded by the image decoding apparatus to restore and reproduce the image.
통상적으로 동영상은 일련의 픽처(Picture)로 구성될 수 있으며, 각 픽처들은 프레임 또는 블록(Block)과 같은 소정의 영역으로 분할될 수 있다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 화면내 블록(Intra Block), 인터 블록(Inter Block)으로 분류될 수 있다. 화면내 블록은 화면내 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 화면내 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 프레임을 참조 프레임(Reference Frame)이라고 한다. 또한, 이하에 기재된 "픽처(picture)"이라는 용어는 영상(image), 프레임(frame) 등과 같은 동등한 의미를 갖는 다른 용어로 대치되어 사용될 수 있음을 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.In general, a video may be composed of a series of pictures, and each picture may be divided into a predetermined area such as a frame or a block. When a region of an image is divided into blocks, the divided blocks may be classified into intra blocks and inter blocks according to an encoding method. An intra picture block refers to a block that is encoded by using an intra prediction coding method. An intra picture prediction encoding indicates a pixel of blocks previously encoded, decoded, and reconstructed in a current picture that performs current encoding. A prediction block is generated by predicting pixels of the current block using the prediction block, and a difference value with the pixels of the current block is encoded. An inter block refers to a block that is encoded using inter prediction coding. Inter prediction coding generates a prediction block by predicting a current block within a current picture by referring to one or more past or future pictures, and then generates a current block. This is a method of encoding the difference value with. Here, a frame referred to for encoding or decoding the current picture is referred to as a reference frame. In addition, the term "picture" described below may be used interchangeably with other terms having equivalent meanings, such as an image, a frame, or the like. If you grow up, you can understand.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 확장 비디오 부호화/복호화에 있어 참조 방법 및 액세스 유닛을 설명하는 개념도이다. 1 is a conceptual diagram illustrating a reference method and an access unit in extended video encoding / decoding.
도 1을 참조하면, 확장 비디오 코덱은 적어도 두 개의 계층(layer)으로 구성된 비디오를 부호화/복호화하는 기술이다. 향상 계층(enhancement layer)은 참조 계층(reference layer)을 참조하여 부호화 및 복호화될 수 있다. Referring to FIG. 1, the extended video codec is a technology for encoding / decoding a video composed of at least two layers. The enhancement layer may be encoded and decoded with reference to a reference layer.
즉, 향상 계층은 미리 복호화된 참조 계층을 참조할 수 있다. 여기서, 계층은 서로 다른 해상도(Spatial), 품질(Quality), 프레임율(Temporal) 또는 시점(View Point) 등을 통해 구분될 수 있다. 따라서, 본 발명의 실시예에 따른 확장 비디오 부호화/복호화 방법 및 장치는 SVC 또는 3DVC에 적용될 수 있다. That is, the enhancement layer may refer to the reference layer decoded in advance. In this case, the layers may be distinguished through different resolutions, quality, frame rates, or view points. Therefore, the extended video encoding / decoding method and apparatus according to the embodiment of the present invention may be applied to SVC or 3DVC.
예를 들어, 비디오 데이터는 제 1 계층(10), 제 2 계층(11) 및 제 3 계층(12)을 포함하여 구성될 수 있다. 제 1 계층(10)이 최하위 계층이고, 제 3 계층(12)이 최상위 계층일 수 있다. 제 2 계층(11)은 제 1 계층(10)을 참조 계층으로 할 수 있고, 제 3 계층(12)은 제 1 계층(10) 또는 제 2 계층(11)을 참조 계층으로 할 수 있다. 여기서, 각 계층에서 특정 시점에 동시에 출력되는 픽처를 액세스 유닛(AU: Access Unit)(13)이라 정의할 수 있다. For example, video data may include a first layer 10, a second layer 11, and a third layer 12. The first layer 10 may be the lowest layer, and the third layer 12 may be the highest layer. The second layer 11 may use the first layer 10 as a reference layer, and the third layer 12 may use the first layer 10 or the second layer 11 as a reference layer. Here, a picture that is simultaneously output at a specific time point in each layer may be defined as an access unit (AU) 13.
도 2는 본 발명의 실시예에 따른 엔트로피 초기화 방법을 설명하는 개념도이다. 2 is a conceptual diagram illustrating an entropy initialization method according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 실시예에 따르면, 동일한 액세스 유닛(13) 내에서 향상 계층(22)이 참조 계층(21)의 복호화된 정보를 이용하여 엔트로피 초기화(entropy initialization)을 수행할 수 있다. Referring to FIG. 2, according to an embodiment of the present invention, in the same access unit 13, the enhancement layer 22 may perform entropy initialization using the decoded information of the reference layer 21. have.
향상 계층(22)은 엔트로피 부호화 또는 엔트로피 복호화를 수행하기 전에 먼저 엔트로피 초기화를 수행하여야 한다. 참조 계층(21)은 부호화 또는 복호화가 미리 수행되었으며, 향상 계층(22)은 이미 부호화 또는 복호화가 수행된 참조 계층(21)을 참조하여 부호화 또는 복호화가 수행될 수 있다. 즉, 향상 계층(22)은 참조 계층(21)으로부터 계층 간 엔트로피 초기화를 위한 파라미터를 추출하고, 이를 이용하여 엔트로피 초기화를 수행할 수 있다. 여기서, 계층 간 엔트로피 초기화를 위한 파라미터는 참조 계층(21)의 부호화 또는 복호화한 정보로부터 추출될 수 있으며, 참조 계층에 대한 매핑 테이블 번호, 이진화 방법, 코드워드 정보, 컨텍스트(context), MPS(Most Probable Symbol) 및/또는 LPS(Least Probable Symbol)에 대한 정보를 포함할 수 있다. The enhancement layer 22 must first perform entropy initialization before performing entropy encoding or entropy decoding. The reference layer 21 may be encoded or decoded in advance, and the enhancement layer 22 may be encoded or decoded with reference to the reference layer 21 that has already been encoded or decoded. That is, the enhancement layer 22 may extract a parameter for entropy initialization between layers from the reference layer 21 and perform entropy initialization by using the parameter. Here, the parameter for initializing entropy between layers may be extracted from the encoded or decoded information of the reference layer 21, the mapping table number, the binarization method, the codeword information, the context, and the MPS (Most) for the reference layer. It may include information on Probable Symbol and / or Least Probable Symbol (LPS).
도 3은 본 발명의 실시예에 따른 엔트로피 초기화 방법을 설명하는 흐름도이다. 3 is a flowchart illustrating an entropy initialization method according to an embodiment of the present invention.
도 3을 참조하면, 향상 계층에 대한 엔트로피 복호화를 위한 엔트로피 초기화 방법을 설명한다. 계층 간 예측(inter-layer prediction)을 이용하여 엔트로피 초기화를 수행하는 것으로 결정하면, 계층 간 엔트로피 초기화를 위한 파라미터를 추출하고, 추출된 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 향상 계층에 대한 엔트로피 초기화를 수행할 수 있다. 또한, 향상 계층에 대한 엔트로피 초기화를 수행한 후 향상 계층에 대한 엔트로피 복호화를 수행할 수 있다. 여기서, 계층 간 예측은 계층 간의 영상의 상관성에 기반하여 참조 계층의 신택스(syntax) 정보를 향상 계층에서 참조하는 것을 의미할 수 있다. Referring to FIG. 3, an entropy initialization method for entropy decoding for an enhancement layer will be described. If it is determined that entropy initialization is performed using inter-layer prediction, the parameter for inter-layer entropy initialization is extracted, and the entropy initialization for the enhancement layer is referred to by referring to the extracted parameter for inter-layer entropy initialization. Can be performed. In addition, after performing entropy initialization for the enhancement layer, entropy decoding for the enhancement layer may be performed. Here, inter-layer prediction may mean that syntax information of the reference layer is referred to by the enhancement layer based on the correlation of the image between the layers.
먼저, 계층 간 예측을 이용하여 향상 계층에 대한 엔트로피 초기화를 수행할지 결정할 수 있다(S310). 즉, 향상 계층에 대한 엔트로피 초기화에 있어서, 참조 계층에 대한 엔트로피 초기화를 위한 정보를 참조할 수 있다. First, it may be determined whether to perform entropy initialization for the enhancement layer using inter-layer prediction (S310). That is, in entropy initialization for the enhancement layer, information for entropy initialization for the reference layer may be referred to.
계층 간 예측에 기반하는 엔트로피 초기화를 수행하는 것으로 결정되면, 계층 간 엔트로피 초기화를 위한 파라미터를 참조 계층에서 추출할 수 있다(S320). 계층 간 엔트로피 초기화를 위한 파라미터는 참조 계층에 대한 매핑 테이블 번호, 이진화 방법, 코드워드 정보, 컨텍스트(context), MPS(Most Probable Symbol) 또는 LPS(Least Probable Symbol)에 대한 정보를 포함한다. 여기서, 매핑 테이블 번호, 이진화 방법, 코드워드 정보는 비트스트림에 대한 엔트로피 복호화를 위하여 데이터를 이진화하는 방법에 대한 정보를 의미할 수 있다. If it is determined to perform entropy initialization based on inter-layer prediction, a parameter for inter-layer entropy initialization may be extracted from the reference layer (S320). Parameters for entropy initialization between layers include a mapping table number for a reference layer, a binarization method, codeword information, a context, a Most Probable Symbol (MPS), or a Least Probable Symbol (LPS). Here, the mapping table number, the binarization method, and the codeword information may mean information about a method of binarizing data for entropy decoding on the bitstream.
향상 계층에서는 추출된 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 엔트로피 초기화를 수행할 수 있다(S330).In the enhancement layer, entropy initialization may be performed with reference to the extracted parameter for entropy initialization between layers (S330).
또한, 계층 간 예측에 기반하지 않는 엔트로피 초기화를 수행하는 것으로 결정되면, 향상 계층에 대해 일반적인 엔트로피 초기화를 수행할 수 있다(S340). 여기서, 일반적인 엔트로피 초기화는 종래의 방법에 따른 엔트로피 초기화를 의미할 수 있다. 즉, 향상 계층에 대한 엔트로피 복호화를 위한 정보에 따라 향상 계층을 위한 엔트로피 초기화를 수행할 수 있다. In addition, if it is determined to perform entropy initialization that is not based on inter-layer prediction, general entropy initialization may be performed on the enhancement layer (S340). Here, general entropy initialization may mean entropy initialization according to a conventional method. That is, entropy initialization for the enhancement layer may be performed according to information for entropy decoding for the enhancement layer.
그리고, 향상 계층에 대한 엔트로피 초기화를 완료한 후에 향상 계층에 대한 엔트로피 복호화를 수행할 수 있다(S350). After entropy initialization for the enhancement layer is completed, entropy decoding for the enhancement layer may be performed (S350).
도 4는 본 발명의 실시예에 따른 슬라이스 단위의 엔트로피 초기화 방법을 설명하는 개념도이다. 4 is a conceptual diagram illustrating a method of initializing entropy in a slice unit according to an embodiment of the present invention.
도 4를 참조하면, 참조 계층과 향상 계층의 픽처는 적어도 하나의 슬라이스로 구분될 수 있으며, 향상 계층은 슬라이스 단위로 엔트로피 초기화가 수행될 수 있다. Referring to FIG. 4, pictures of the reference layer and the enhancement layer may be divided into at least one slice, and the enhancement layer may be entropy initialized in units of slices.
예를 들어, 참조 계층과 향상 계층은 각각 2 개의 슬라이스(slice)로 구분될 수 있다. 참조 계층의 슬라이스(41, 42)는 향상 계층의 슬라이스(43, 44)에 각각 대응될 수 있다. 즉, 참조 계층의 제 1 슬라이스(41)는 향상 계층의 제 1 슬라이스(43)에 대응되고, 참조 계층의 제 2 슬라이스(42)는 향상 계층의 제 2 슬라이스(44)에 대응될 수 있다. 여기서, 참조 계층의 슬라이스(41, 42)와 향상 계층의 슬라이스(43, 44)의 대응 여부는 슬라이스 인덱스, 슬라이스의 복호화 순서 또는 위치, 픽셀의 복호화 순서 또는 위치에 기반하여 판단할 수 있다. For example, the reference layer and the enhancement layer may be divided into two slices, respectively. Slices 41 and 42 of the reference layer may correspond to slices 43 and 44 of the enhancement layer, respectively. That is, the first slice 41 of the reference layer may correspond to the first slice 43 of the enhancement layer, and the second slice 42 of the reference layer may correspond to the second slice 44 of the enhancement layer. Here, whether the slices 41 and 42 of the reference layer correspond to the slices 43 and 44 of the enhancement layer may be determined based on the slice index, the decoding order or position of the slice, and the decoding order or position of the pixel.
본 발명의 실시예에 따르면, 참조 계층을 엔트로피 복호화한 정보로부터 참조 계층의 슬라이스(41, 42)에 대응하는 향상 계층의 슬라이스(43, 44) 별로 계층 간 엔트로피 초기화를 위한 파라미터를 추출할 수 있고, 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 향상 계층의 슬라이스 별로 엔트로피 초기화를 수행할 수 있다. According to an embodiment of the present invention, parameters for entropy initialization between layers may be extracted for each slice 43 and 44 of the enhancement layer corresponding to the slices 41 and 42 of the reference layer from the information entropy decoded. In addition, entropy initialization may be performed for each slice of the enhancement layer by referring to a parameter for entropy initialization between layers.
향상 계층의 슬라이스(43, 44)에 대한 계층 간 엔트로피 초기화를 위하여 향상 계층의 슬라이스(43, 44)에 대응되는 참조 계층의 슬라이스(41, 42)의 파라미터 추출 위치는 각 슬라이스의 시작 위치의 2개의 CTU(Coding Tree Unit)에 대한 부/복호화가 끝난 순간 또는 참조 계층에서 대응되는 슬라이스의 임의의 위치가 될 수 있다. 예컨대, 참조 계층의 슬라이스(41, 42)에 대해 래스터 스캔 순서(raster scan order)에 따라 2개의 CTU를 부/복호화한 후 파라미터를 추출하거나 참조 계층의 슬라이스(41, 42)에서 미리 설정한 임의의 위치에서 파리미터를 추출할 수 있다. For the inter-layer entropy initialization for the slices 43 and 44 of the enhancement layer, the parameter extraction position of the slices 41 and 42 of the reference layer corresponding to the slices 43 and 44 of the enhancement layer is 2 of the starting positions of each slice. It may be an instant of encoding / decoding for the number of coding tree units (CTUs) or an arbitrary position of a corresponding slice in the reference layer. For example, two CTUs are encoded / decoded according to a raster scan order for slices 41 and 42 of the reference layer, and then parameters are extracted or preset in slices 41 and 42 of the reference layer. The parameter can be extracted at the position of.
도 5는 본 발명의 실시예에 따른 타일 단위의 엔트로피 초기화 방법을 설명하는 개념도이다.5 is a conceptual diagram illustrating a method of initializing entropy in units of tiles according to an exemplary embodiment of the present invention.
도 5를 참조하면, 참조 계층과 향상 계층의 픽처는 적어도 하나의 타일(tile)로 구분될 수 있으며, 향상 계층은 타일 단위로 엔트로피 초기화가 수행될 수 있다. Referring to FIG. 5, pictures of a reference layer and an enhancement layer may be divided into at least one tile, and the enhancement layer may be entropy initialized in units of tiles.
예를 들어, 참조 계층과 향상 계층은 각각 4 개의 타일로 구분될 수 있다. 참조 계층의 타일(51, 52, 53, 54)은 향상 계층의 타일(55, 56 57, 58)에 각각 대응될 수 있다. 즉, 참조 계층의 제 1 타일(41)는 향상 계층의 제 1 타일(55)에 대응되고, 참조 계층의 제 2 타일(52)은 향상 계층의 제 2 타일(56)에 대응될 수 있다. 또한, 참조 계층의 제 3 타일(53)는 향상 계층의 제 3 타일(57)에 대응되고, 참조 계층의 제 4 타일(54)은 향상 계층의 제 4 타일(58)에 대응될 수 있다. 여기서, 참조 계층의 타일(51, 52, 53, 54)와 향상 계층의 타일(55, 56, 57, 58)의 대응 여부는 타일 인덱스, 타일의 복호화 순서 또는 위치, 픽셀의 복호화 순서 또는 위치에 기반하여 판단할 수 있다. For example, the reference layer and the enhancement layer may be divided into four tiles. The tiles 51, 52, 53, 54 of the reference layer may correspond to the tiles 55, 56 57, 58 of the enhancement layer, respectively. That is, the first tile 41 of the reference layer may correspond to the first tile 55 of the enhancement layer, and the second tile 52 of the reference layer may correspond to the second tile 56 of the enhancement layer. In addition, the third tile 53 of the reference layer may correspond to the third tile 57 of the enhancement layer, and the fourth tile 54 of the reference layer may correspond to the fourth tile 58 of the enhancement layer. Here, whether the tiles 51, 52, 53, 54 of the reference layer and the tiles 55, 56, 57, 58 of the enhancement layer correspond to each other depends on the tile index, the decoding order or position of the tiles, and the decoding order or position of the pixels. Can be judged based on
본 발명의 실시예에 따르면, 참조 계층을 엔트로피 복호화한 정보로부터 참조 계층의 타일(51, 52, 53, 54)에 대응하는 향상 계층의 타일(55, 56, 57, 58) 별로 계층 간 엔트로피 초기화를 위한 파라미터를 추출할 수 있고, 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 향상 계층의 타일 별로 엔트로피 초기화를 수행할 수 있다. According to an embodiment of the present invention, entropy initialization between layers according to tiles 55, 56, 57, and 58 of an enhancement layer corresponding to tiles 51, 52, 53, and 54 of the reference layer from information entropy decoded from the reference layer. A parameter may be extracted, and entropy initialization may be performed for each tile of the enhancement layer by referring to a parameter for entropy initialization between layers.
향상 계층의 타일(55, 56, 57, 58)에 대한 계층 간 엔트로피 초기화를 위하여 향상 계층의 타일(55, 56, 57, 58)에 대응되는 참조 계층의 타일(51, 52, 53, 54)의 파라미터 추출 위치는 각 타일의 시작 위치의 2개의 CTU에 대한 부/복호화가 끝난 순간 또는 참조 계층에서 대응되는 타일의 임의의 위치가 될 수 있다. 예컨대, 참조 계층의 타일(51, 52, 53, 54)에 대해 래스터 스캔 순서에 따라 2개의 CTU를 부/복호화한 후 파라미터를 추출하거나 참조 계층의 타일(51, 52, 53, 54)에서 미리 설정한 임의의 위치에서 파리미터를 추출할 수 있다. Tiles 51, 52, 53, 54 of the reference layer corresponding to tiles 55, 56, 57, 58 of the enhancement layer for inter-layer entropy initialization for tiles 55, 56, 57, 58 of the enhancement layer. The parameter extraction position of may be an instant of encoding / decoding for two CTUs of the starting position of each tile or any position of the corresponding tile in the reference layer. For example, after two CTUs are encoded / decoded in the raster scan order for the tiles 51, 52, 53, and 54 of the reference layer, parameters are extracted or pre-selected in the tiles 51, 52, 53, and 54 of the reference layer. Parameters can be extracted at any position you set.
도 6은 본 발명의 실시예에 따른 서브-비트스트림 단위의 엔트로피 초기화 방법을 설명하는 개념도이다. 6 is a conceptual diagram illustrating an entropy initialization method in units of sub-bitstreams according to an embodiment of the present invention.
도 6을 참조하면, 참조 계층과 향상 계층의 픽처는 적어도 하나의 서브-비트스트림(sub-bitstream)으로 분할되어 전송될 수 있으며, 향상 계층은 서브-비트스트림 단위로 엔트로피 초기화가 수행될 수 있다. 여기서, 서브-비트스트림은 독립적으로 복호화 가능한 단일 비트스트림 또는 독립적으로 복호화 가능한 비트스트림의 묶음 또는 비트스트림에 포함된 정보에 의해서 분리될 수 있는 부분적인 비트스트림을 의미할 수 있다. Referring to FIG. 6, pictures of a reference layer and an enhancement layer may be divided and transmitted into at least one sub-bitstream, and the enhancement layer may be entropy initialized in units of sub-bitstreams. . Here, the sub-bitstream may mean a single bitstream that can be independently decoded or a partial bitstream that can be separated by a bundle of independently decodable bitstreams or information included in the bitstream.
예를 들어, 참조 계층과 향상 계층은 각각 4 개의 서브-비트스트림으로 분할될 수 있다. 참조 계층의 서브-비트스트림(61, 62, 63, 64)은 향상 계층의 서브-비트스트림(65, 66 67, 68)에 각각 대응될 수 있다. 즉, 참조 계층의 제 1 서브-비트스트림(61)는 향상 계층의 제 1 서브-비트스트림(65)에 대응되고, 참조 계층의 제 2 서브-비트스트림(62)은 향상 계층의 제 2 서브-비트스트림(66)에 대응될 수 있다. 또한, 참조 계층의 제 3 서브-비트스트림(63)은 향상 계층의 제 3 서브-비트스트림(67)에 대응되고, 참조 계층의 제 4 서브-비트스트림(64)은 향상 계층의 제 4 서브-비트스트림(68)에 대응될 수 있다. 여기서, 참조 계층의 서브-비트스트림(61, 62, 63, 64)과 향상 계층의 서브-비트스트림(65, 66, 67, 68)의 대응 여부는 서브-비트스트림 인덱스, 서브-비트스트림의 복호화 순서 또는 위치에 기반하여 판단할 수 있다. For example, the reference layer and the enhancement layer may be divided into four sub-bitstreams each. The sub-bitstreams 61, 62, 63, and 64 of the reference layer may correspond to the sub-bitstreams 65, 66, 67, and 68 of the enhancement layer, respectively. That is, the first sub-bitstream 61 of the reference layer corresponds to the first sub-bitstream 65 of the enhancement layer, and the second sub-bitstream 62 of the reference layer corresponds to the second sub-bitstream of the enhancement layer. Correspond to the bitstream 66. Further, the third sub-bitstream 63 of the reference layer corresponds to the third sub-bitstream 67 of the enhancement layer, and the fourth sub-bitstream 64 of the reference layer is the fourth sub-bit of the enhancement layer. Correspond to the bitstream 68. Here, whether the sub-bitstreams 61, 62, 63, 64 of the reference layer and the sub-bitstreams 65, 66, 67, 68 of the enhancement layer correspond to each other is determined by the sub-bitstream index and the sub-bitstream. The determination may be made based on the decoding order or position.
본 발명의 실시예에 따르면, 참조 계층의 서브-비트스트림(61, 62, 63, 64)을 엔트로피 복호화한 정보를 참조하여 참조 계층의 서브-비트스트림(61, 62, 63, 64)에 대응하는 향상 계층의 서브-비트스트림(65, 66, 67, 68) 별로 계층 간 엔트로피 초기화를 위한 파라미터를 추출할 수 있고, 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 향상 계층의 서브-비트스트림(65, 66, 67, 68) 별로 엔트로피 초기화를 수행할 수 있다. According to an embodiment of the present invention, the sub-bitstreams 61, 62, 63, and 64 of the reference layer are referred to with reference to information obtained by entropy decoding the sub-bitstreams 61, 62, 63, and 64 of the reference layer. For each sub-bitstream (65, 66, 67, 68) of the enhancement layer to extract the parameter for inter-layer entropy initialization, the sub-bitstream (65) of the enhancement layer by referring to the parameter for inter-layer entropy initialization , 66, 67, 68) can be performed entropy initialization.
향상 계층의 서브-비트스트림(65, 66, 67, 68)에 대한 계층 간 엔트로피 초기화를 위하여 향상 계층의 서브-비트스트림(65, 66, 67, 68)에 대응되는 참조 계층의 서브-비트스트림(61, 62, 63, 64)의 파라미터 추출 위치는 각 서브-비트스트림의 시작 위치의 2개의 CTU에 대한 부/복호화가 끝난 순간 또는 참조 계층에서 대응되는 서브-비트스트림의 임의의 위치가 될 수 있다. 예컨대, 참조 계층의 서브-비트스트림(61, 62, 63, 64)에 대해 래스터 스캔 순서에 따라 2개의 CTU를 부/복호화한 후 파라미터를 추출하거나 참조 계층의 서브-비트스트림(61, 62, 63, 64)에서 미리 설정한 임의의 위치에서 파리미터를 추출할 수 있다. Sub-bitstream of the reference layer corresponding to the sub-bitstream 65, 66, 67, 68 of the enhancement layer for inter-layer entropy initialization for the sub-bitstreams 65, 66, 67, 68 of the enhancement layer. The parameter extraction position of (61, 62, 63, 64) may be the instant of sub / decoding for the two CTUs of the start position of each sub-bitstream or any position of the corresponding sub-bitstream in the reference layer. Can be. For example, two CTUs may be encoded / decoded in the raster scan order for the sub-bitstreams 61, 62, 63, and 64 of the reference layer, and then parameters may be extracted or the sub-bitstreams 61, 62, 63 and 64, parameters can be extracted at a predetermined position.
도 7은 본 발명의 실시예에 따른 엔트로피 초기화를 수행하는 부호화 장치의 블록도이다. 7 is a block diagram of an encoding apparatus for performing entropy initialization according to an embodiment of the present invention.
도 7을 참조하면, 본 발명의 실시예에 따른 엔트로피 초기화를 수행하는 부호화 장치는, 참조 계층에 대한 부호화 장치(100)와 향상 계층에 대한 부호화 장치(200)를 포함한다. 또한, 엔트로피 파라미터 추출부(310) 및 계층 간 참조부(320)를 포함한다. Referring to FIG. 7, an encoding apparatus for performing entropy initialization according to an embodiment of the present invention includes an encoding apparatus 100 for a reference layer and an encoding apparatus 200 for an enhancement layer. In addition, the entropy parameter extracting unit 310 and the inter-layer reference unit 320 is included.
각각의 부호화 장치(100, 200)는, 감산부(110, 210), 변환부(120, 220), 양자화부(130, 230), 역양자화부(131, 231), 역변환부(121, 221), 엔트로피 부호화부(140, 240), 가산부(150, 250), 인루프 필터부(160, 260), 프레임 메모리(170, 270), 인트라 예측부(180, 280) 및 움직임 보상부(190, 290)를 포함한다. Each of the encoding apparatuses 100 and 200 includes a subtraction unit 110 and 210, a transform unit 120 and 220, a quantization unit 130 and 230, an inverse quantization unit 131 and 231, and an inverse transform unit 121 and 221. ), Entropy encoder 140, 240, adder 150, 250, in- loop filter 160, 260, frame memories 170, 270, intra predictor 180, 280, and motion compensator ( 190, 290).
감산부(110, 210)은 제공받은 입력 영상인 부호화할 대상 영상(현재 영상)으로부터 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상을 감산함으로써 현재 영상과 예측 영상 간의 잔차 영상(residue image)을 생성한다. The subtractors 110 and 210 generate a residual image between the current image and the predicted image by subtracting the predicted image generated by intra prediction or inter prediction from the target image to be encoded (the current image), which is the received input image. do.
변환부(120, 220)는 감산부(110, 210)에 의해 생성된 잔차 영상을 공간 영역에서 주파수 영역으로 변환하는 기능을 한다. 여기서, 변환부(120, 220)는 하다마드 변환, 이산 여현 변환(Discrete Cosine Transform), 이산 사인 변환(Discrete Cosine Transform) 등과 같이 공간축의 화상 신호를 주파수축으로 변환하는 기법을 이용하여 잔차 영상을 주파수 영역으로 변환할 수 있다. The converters 120 and 220 convert the residual image generated by the subtractors 110 and 210 from the spatial domain to the frequency domain. Here, the transformers 120 and 220 convert the residual image using a technique of transforming an image signal of a spatial axis into a frequency axis such as a Hadamard transform, a discrete cosine transform, a discrete cosine transform, and the like. You can convert to the frequency domain.
양자화부(130, 230)는 변환부(120, 220)로부터 제공되는 변환된 데이터(주파수 계수)에 대해 양자화를 수행한다. 즉, 양자화부(130, 230)는 변환부(120, 220)에 의해 변환된 데이터인 주파수 계수들을 양자화 스텝사이즈(Quantization Step-Size)로 나누어 근사화하여 양자화 결과값을 산출한다. The quantizers 130 and 230 perform quantization on the transformed data (frequency coefficients) provided from the converters 120 and 220. That is, the quantizers 130 and 230 divide the frequency coefficients, which are data converted by the transformers 120 and 220, into approximations by dividing the frequency coefficients into quantization step sizes to calculate a quantization result.
엔트로피 부호화부(140, 240)는 양자화부(130, 230)에 의하여 산출된 양자화 결과값을 엔트로피 부호화함으로써 비트스트림을 생성한다. 또한, 엔트로피 부호화부(140, 240)는 양자화부(130, 230)에 의해 산출된 양자화 결과값을 CAVLC(Context-Adaptive Variable Length Coding) 또는 CABAC(Context-Adaptive Binary Arithmetic Coding) 기법 등을 이용하여 엔트로피 부호화할 수 있으며, 양자화 결과값 이외에 영상을 복호화하는데 필요한 정보를 엔트로피 부호화할 수 있다. The entropy encoders 140 and 240 generate a bitstream by entropy encoding the quantization result values calculated by the quantizers 130 and 230. In addition, the entropy encoders 140 and 240 may use the quantization result values calculated by the quantizers 130 and 230 using CAVLC (Context-Adaptive Variable Length Coding) or CABAC (Context-Adaptive Binary Arithmetic Coding). Entropy encoding may be performed, and information necessary for decoding an image, in addition to the quantization result value, may be entropy encoded.
역양자화부(131, 231)은 양자화부(130, 230)에 의해 산출된 양자화 결과값을 역양자화한다. 즉, 역양자화부(131, 231)은 양자화 결과값으로부터 주파수 영역의 값(주파수 계수)을 복원한다. The dequantizers 131 and 231 dequantize the quantization result values calculated by the quantizers 130 and 230. In other words, the inverse quantization units 131 and 231 restore the value (frequency coefficient) of the frequency domain from the quantization result.
역변환부(121, 221)는 역양자화부(131, 231)에 제공받은 주파수 영역의 값(주파수 계수)을 주파수 영역에서 공간 영역으로 변환함으로써 잔차 영상을 복원하고, 가산부(150, 250)는 인트라 예측 또는 인터 예측에 의해 생성된 예측 영상에 역변환부(121, 221)에 의해 복원된 잔차 영상을 가산함으로써 입력 영상의 복원 영상을 생성하여 프레임 메모리(170, 270)에 저장한다. The inverse transformers 121 and 221 restore the residual image by converting the values (frequency coefficients) of the frequency domain provided from the inverse quantizers 131 and 231 from the frequency domain to the spatial domain. The reconstructed image of the input image is generated and stored in the frame memories 170 and 270 by adding the residual image reconstructed by the inverse transformers 121 and 221 to the predicted image generated by the intra prediction or the inter prediction.
인트라 예측부(180, 280)는 인트라 예측(Intra Prediction)을 수행하며, 움직임 보상부(190, 290)는 인터 예측(Inter Prediction)을 위한 움직임 벡터를 보상한다. The intra predictors 180 and 280 perform intra prediction, and the motion compensators 190 and 290 compensate for a motion vector for inter prediction.
인루프 필터부(160, 260)는 복원된 영상에 대한 필터링을 수행하는 것으로, 디블록킹 필터(DF: Deblocking Filter), 샘플 적응적 오프셋(SAO: Sample Adaptive Offset), 적응적 루프 필터(ALF: Adaptive Loop Filter)를 포함하여 구성될 수 있다. The in- loop filter units 160 and 260 perform filtering on the reconstructed image, and include a deblocking filter (DF), a sample adaptive offset (SAO), and an adaptive loop filter (ALF). Adaptive Loop Filter).
멀티플렉서(330)는 참조 계층과 향상 계층으로부터 부호화된 비트스트림을 수신하여 확장 비트스트림을 출력한다. The multiplexer 330 receives an encoded bitstream from a reference layer and an enhancement layer and outputs an extended bitstream.
계층 간 참조부(320)는 향상 계층에 대한 인트라 예측 또는 인터 예측을 수행하도록 참조 계층의 복원된 픽처를 향상 계층으로 제공한다.  The inter-layer reference unit 320 provides the reconstructed picture of the reference layer to the enhancement layer to perform intra prediction or inter prediction on the enhancement layer.
엔트로피 파라미터 추출부(310)는 계층 간 예측(inter-layer prediction)에 기반하여 향상 계층에 대한 엔트로피 초기화를 수행하도록 한다. The entropy parameter extractor 310 performs entropy initialization for the enhancement layer based on inter-layer prediction.
즉, 엔트로피 파라미터 추출부(310)는, 향상 계층에 대한 엔트로피 부호화를 위하여 참조 계층을 엔트로피 부호화한 정보로부터 계층 간 엔트로피 초기화를 위한 파라미터를 추출하여 제공할 수 있다. 여기서, 계층 간 엔트로피 초기화를 위한 파라미터는, 참조 계층에 대한 매핑 테이블 번호, 이진화 방법, 코드워드 정보, 컨텍스트, MPS, LPS 중 적어도 하나에 대한 정보를 포함할 수 있다. That is, the entropy parameter extractor 310 may extract and provide a parameter for entropy initialization between layers from information entropy-encoding the reference layer for entropy encoding for the enhancement layer. Here, the parameter for initializing entropy between layers may include at least one of a mapping table number, a binarization method, codeword information, context, MPS, and LPS for a reference layer.
도 8은 본 발명의 실시예에 따른 엔트로피 초기화를 수행하는 복호화 장치의 블록도이다. 8 is a block diagram of a decoding apparatus for performing entropy initialization according to an embodiment of the present invention.
도 8을 참조하면, 본 발명의 실시예에 따른 엔트로피 초기화를 수행하는 복호화 장치는, 참조 계층에 대한 복호화 장치(400)와 향상 계층에 대한 부호화 장치(500)를 포함한다. 또한, 엔트로피 파라미터 추출부(610) 및 계층 간 참조부(620)를 포함한다. Referring to FIG. 8, a decoding apparatus for performing entropy initialization according to an embodiment of the present invention includes a decoding apparatus 400 for a reference layer and an encoding apparatus 500 for an enhancement layer. It also includes an entropy parameter extractor 610 and an inter-layer reference unit 620.
각각의 복호화 장치(400, 500)는 엔트로피 복호화부(410, 510), 역양자화부(420, 520), 역변환부(430, 530), 가산부(440, 540), 인루프 필터부(450, 550), 프레임 메모리(460, 560), 인트라 예측부(470, 570) 및 움직임 보상부(480, 580)를 포함한다. 복호화 장치(400, 500)의 각 구성 요소는 도 7의 부호화 장치의 구성 요소와 각각 대응되어 이해될 수 있으므로 상세한 설명은 생략한다. Each of the decoding apparatuses 400 and 500 includes an entropy decoder 410 and 510, an inverse quantizer 420 and 520, an inverse transformer 430 and 530, an adder 440 and 540, and an in-loop filter unit 450. 550, frame memories 460 and 560, intra predictors 470 and 570, and motion compensators 480 and 580. Each component of the decoding apparatuses 400 and 500 may be understood to correspond to the components of the encoding apparatus of FIG. 7, and thus, detailed description thereof will be omitted.
본 발명의 실시예에 따른 복호화 장치는, 향상 계층에 대한 인트라 예측 또는 인터 예측을 수행하도록 참조 계층의 복원된 픽처를 제공하는 계층 간 참조부(620)와, 계층 간 예측(inter-layer prediction)에 기반하여 향상 계층에 대한 엔트로피 초기화를 수행하도록 하는 엔트로피 파라미터 추출부(610)를 포함한다. The decoding apparatus according to the embodiment of the present invention includes an inter-layer reference unit 620 for providing a reconstructed picture of a reference layer to perform intra prediction or inter prediction on an enhancement layer, and inter-layer prediction. Based on the entropy parameter extraction unit 610 to perform the entropy initialization for the enhancement layer.
엔트로피 파라미터 추출부(610)는, 향상 계층에 대한 엔트로피 복호화를 위하여 참조 계층을 엔트로피 복호화한 정보로부터 계층 간 엔트로피 초기화를 위한 파라미터를 추출하여 향상 계층으로 제공할 수 있다. 여기서, 계층 간 엔트로피 초기화를 위한 파라미터는, 참조 계층에 대한 매핑 테이블 번호, 이진화 방법, 코드워드 정보, 컨텍스트, MPS, LPS 중 적어도 하나에 대한 정보를 포함할 수 있다. The entropy parameter extractor 610 may extract a parameter for entropy initialization between layers from the information entropy decoded by the reference layer for entropy decoding on the enhancement layer and provide the enhancement layer to the enhancement layer. Here, the parameter for initializing entropy between layers may include at least one of a mapping table number, a binarization method, codeword information, context, MPS, and LPS for a reference layer.
또한, 참조 계층과 향상 계층의 픽처는 적어도 하나의 슬라이스(slice)로 구분되고, 엔트로피 파라미터 추출부(610)는, 참조 계층을 엔트로피 복호화한 정보로부터 참조 계층의 슬라이스에 대응하는 향상 계층의 슬라이스 별로 계층 간 엔트로피 초기화를 위한 파라미터를 추출하여 향상 계층으로 제공할 수 있다. In addition, the pictures of the reference layer and the enhancement layer are divided into at least one slice, and the entropy parameter extracting unit 610 is for each slice of the enhancement layer corresponding to the slice of the reference layer from the information entropy decoded from the reference layer. Parameters for initializing entropy between layers may be extracted and provided as an enhancement layer.
그리고, 참조 계층과 향상 계층의 픽처는 적어도 하나의 타일(tile)로 구분되고, 엔트로피 파라미터 추출부(610)는, 참조 계층을 엔트로피 복호화한 정보로부터 참조 계층의 타일에 대응하는 향상 계층의 타일 별로 계층 간 엔트로피 초기화를 위한 파라미터를 추출하여 향상 계층으로 제공할 수 있다. The picture of the reference layer and the enhancement layer is divided into at least one tile, and the entropy parameter extracting unit 610 separates the tiles of the enhancement layer corresponding to the tiles of the reference layer from the information entropy-decoded from the reference layer. Parameters for initializing entropy between layers may be extracted and provided as an enhancement layer.
한편, 참조 계층과 향상 계층의 비트스트림이 적어도 하나의 서브- 비트스트림(sub-bitstream)으로 분할될 수 있고, 엔트로피 파라미터 추출부(610)는, 참조 계층의 서브-비트스트림을 엔트로피 복호화한 정보를 참조하여 참조 계층의 서브-비트스트림에 대응하는 향상 계층의 서브-비트스트림 별로 계층 간 엔트로피 초기화를 위한 파라미터를 추출하여 향상 계층으로 제공할 수 있다. Meanwhile, the bitstreams of the reference layer and the enhancement layer may be divided into at least one sub-bitstream, and the entropy parameter extractor 610 may entropy decode the sub-bitstream of the reference layer. A parameter for initializing entropy between layers may be extracted and provided to the enhancement layer for each sub-bitstream of the enhancement layer corresponding to the sub-bitstream of the reference layer.
상술한 본 발명의 실시예에 따른 확장 비디오 부호화/복호화를 위한 엔트로피 초기화 방법 및 장치는, 참조 계층의 엔트로피 초기화를 위한 파라미터를 향상 계층에서 활용할 수 있도록 하여 엔트로피 부호화 및 복호화 효율을 향상시킨다. The above-described entropy initialization method and apparatus for extended video encoding / decoding according to an embodiment of the present invention improves entropy encoding and decoding efficiency by enabling a parameter for entropy initialization of a reference layer to be used in an enhancement layer.
또한, 상술한 본 발명의 실시예에 따른 부호화 장치 및 복호화 장치의 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다. In addition, each component of the encoding apparatus and the decoding apparatus according to the embodiment of the present invention described above is included in each component unit for convenience of description, and at least two of the components are combined to form one component unit, or one component unit Functions may be divided into a plurality of components and the integrated and separated embodiments of each of the components may be included in the scope of the present invention, without departing from the spirit of the present invention.
그리고, 본 발명에 따른 부호화 장치 및 복호화 장치는, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다. The encoding device and the decoding device according to the present invention can be embodied as computer readable programs or codes on a computer readable recording medium. Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable program or code is stored and executed in a distributed fashion.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to a preferred embodiment of the present invention, those skilled in the art will be variously modified and changed within the scope of the invention without departing from the spirit and scope of the invention described in the claims below I can understand that you can.

Claims (17)

  1. 향상 계층에 대한 엔트로피 복호화에 있어서, In entropy decoding for the enhancement layer,
    계층 간 예측(inter-layer prediction)에 기반하여 엔트로피 초기화(entropy initialization)를 수행할지 결정하는 엔트로피 초기화 방법 결정 단계;Determining an entropy initialization method that determines whether to perform entropy initialization based on inter-layer prediction;
    계층 간 예측에 기반하는 엔트로피 초기화를 수행하는 것으로 결정된 경우, 참조 계층을 엔트로피 복호화한 정보를 참조하여 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계를 포함하는 확장 비디오 복호화를 위한 엔트로피 초기화 방법.If it is determined to perform entropy initialization based on inter-layer prediction, performing entropy initialization for the enhancement layer by referring to the information entropy decoded of the reference layer.
  2. 청구항 1에 있어서, 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계는, The method of claim 1, wherein performing entropy initialization for the enhancement layer comprises:
    상기 참조 계층을 엔트로피 복호화한 정보로부터 계층 간 엔트로피 초기화를 위한 파라미터를 추출하고, 상기 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 것을 특징으로 하는 확장 비디오 복호화를 위한 엔트로피 초기화 방법.Extracting a parameter for inter-layer entropy initialization from the information entropy-decoded from the reference layer, and performing entropy initialization for the enhancement layer by referring to the parameter for inter-layer entropy initialization. How to initialize entropy.
  3. 청구항 2에 있어서, 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계는, The method of claim 2, wherein performing entropy initialization for the enhancement layer comprises:
    참조 계층의 픽처의 슬라이스(slice), 타일(tile) 또는 서브-비트스트림(sub-bitstream)에 대해 2개의 CTU(Coding Tree Unit)를 복호화한 후 또는 미리 설정된 임의의 위치에서 상기 계층 간 엔트로피 초기화를 위한 파라미터를 추출하는 것을 특징으로 하는 확장 비디오 복호화를 위한 엔트로피 초기화 방법.Initialize the inter-layer entropy after decoding two coding tree units (CTUs) for a slice, tile, or sub-bitstream of a picture of a reference layer, or at a predetermined position Entropy initialization method for extended video decoding, characterized in that for extracting the parameters for.
  4. 청구항 2에 있어서, 상기 계층 간 엔트로피 초기화를 위한 파라미터는,The method of claim 2, wherein the parameter for initializing entropy between layers is
    상기 참조 계층에 대한 매핑 테이블 번호, 이진화 방법, 코드워드 정보, 컨텍스트, MPS(Most Probable Symbol), LPS(Least Probable Symbol)중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 확장 비디오 복호화를 위한 엔트로피 초기화 방법.Entropy for extended video decoding comprising at least one of mapping table number, binarization method, codeword information, context, Most Probable Symbol (MPS) and Least Probable Symbol (LPS) for the reference layer Initialization method.
  5. 청구항 1에 있어서, 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계는,The method of claim 1, wherein performing entropy initialization for the enhancement layer comprises:
    상기 참조 계층과 상기 향상 계층의 픽처는 적어도 하나의 슬라이스(slice)로 구분되고, 상기 참조 계층을 엔트로피 복호화한 정보로부터 상기 참조 계층의 슬라이스에 대응하는 상기 향상 계층의 슬라이스 별로 상기 계층 간 엔트로피 초기화를 위한 파라미터를 추출하고, 상기 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 상기 향상 계층의 슬라이스 별로 엔트로피 초기화를 수행하는 것을 특징으로 하는 확장 비디오 복호화를 위한 엔트로피 초기화 방법.The reference layer and the picture of the enhancement layer are divided into at least one slice, and the inter-layer entropy initialization is performed for each slice of the enhancement layer corresponding to the slice of the reference layer from information entropy-decoded of the reference layer. And entropy initialization for each slice of the enhancement layer by referring to a parameter for entropy initialization between layers.
  6. 청구항 1에 있어서, 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계는,The method of claim 1, wherein performing entropy initialization for the enhancement layer comprises:
    상기 참조 계층과 상기 향상 계층의 픽처는 적어도 하나의 타일(tile)로 구분되고, 상기 참조 계층을 엔트로피 복호화한 정보를 참조하여 상기 참조 계층의 타일에 대응하는 상기 향상 계층의 타일 별로 상기 계층 간 엔트로피 초기화를 위한 파라미터를 추출하고, 상기 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 상기 향상 계층의 타일 별로 엔트로피 초기화를 수행하는 것을 특징으로 하는 확장 비디오 복호화를 위한 엔트로피 초기화 방법.The reference layer and the picture of the enhancement layer are divided into at least one tile, and the entropy between the layers is determined for each tile of the enhancement layer corresponding to a tile of the reference layer by referring to information obtained by entropy decoding the reference layer. Extracting a parameter for initialization, and performing entropy initialization for each tile of the enhancement layer by referring to the parameter for entropy initialization between layers.
  7. 청구항 1에 있어서, 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계는,The method of claim 1, wherein performing entropy initialization for the enhancement layer comprises:
    상기 참조 계층과 상기 향상 계층의 비트스트림이 적어도 하나의 서브- 비트스트림(sub-bitstream)으로 분할되고, 상기 참조 계층의 서브-비트스트림을 엔트로피 복호화한 정보를 참조하여 상기 참조 계층의 서브-비트스트림에 대응하는 상기 향상 계층의 서브-비트스트림 별로 상기 계층 간 엔트로피 초기화를 위한 파라미터를 추출하고, 상기 계층 간 엔트로피 초기화를 위한 파라미터를 참조하여 상기 향상 계층의 서브-비트스트림 별로 엔트로피 초기화를 수행하는 것을 특징으로 하는 확장 비디오 복호화를 위한 엔트로피 초기화 방법.The bitstream of the reference layer and the enhancement layer is divided into at least one sub-bitstream, and the sub-bit of the reference layer is referred to with reference to information obtained by entropy decoding the sub-bitstream of the reference layer. Extracting a parameter for inter-layer entropy initialization for each sub-bitstream of the enhancement layer corresponding to a stream, and performing entropy initialization for each sub-bitstream of the enhancement layer with reference to the parameter for inter-layer entropy initialization. An entropy initialization method for extended video decoding, characterized in that.
  8. 청구항 1에 있어서, 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 단계는,The method of claim 1, wherein performing entropy initialization for the enhancement layer comprises:
    계층 간 예측에 기반하지 않는 엔트로피 초기화를 수행하는 것으로 결정된 경우, 상기 향상 계층에 대한 엔트로피 복호화를 위한 정보에 따라 상기 향상 계층을 위한 엔트로피 초기화를 수행하는 것을 특징으로 하는 확장 비디오 복호화를 위한 엔트로피 초기화 방법.If it is determined to perform entropy initialization that is not based on inter-layer prediction, the entropy initialization method for extended video decoding according to the information for entropy decoding for the enhancement layer, performs entropy initialization for the enhancement layer. .
  9. 비디오 복호화 장치에 있어서, In the video decoding apparatus,
    향상 계층에 대한 인트라 예측 또는 인터 예측을 수행하도록 참조 계층의 복원된 픽처를 제공하는 계층 간 참조부; 및An inter-layer reference providing a reconstructed picture of the reference layer to perform intra prediction or inter prediction on the enhancement layer; And
    계층 간 예측(inter-layer prediction)에 기반하여 향상 계층에 대한 엔트로피 초기화를 수행하도록 하는 엔트로피 파라미터 추출부를 포함하는 확장 비디오 복호화 장치.And an entropy parameter extractor configured to perform entropy initialization for the enhancement layer based on inter-layer prediction.
  10. 청구항 9에 있어서, 상기 엔트로피 파라미터 추출부는,The method of claim 9, wherein the entropy parameter extraction unit,
    상기 향상 계층에 대한 엔트로피 복호화를 위하여 상기 참조 계층을 엔트로피 복호화한 정보로부터 계층 간 엔트로피 초기화를 위한 파라미터를 추출하여 제공하는 것을 특징으로 하는 확장 비디오 복호화 장치.And a parameter for initializing entropy between layers from the information entropy decoded for the reference layer for entropy decoding for the enhancement layer.
  11. 청구항 10에 있어서, 상기 계층 간 엔트로피 초기화를 위한 파라미터는,The method of claim 10, wherein the parameter for initializing entropy between layers is
    상기 참조 계층에 대한 매핑 테이블 번호, 이진화 방법, 코드워드 정보, 컨텍스트, MPS(Most Probable Symbol), LPS(Least Probable Symbol) 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 확장 비디오 복호화 장치.And at least one of a mapping table number, a binarization method, codeword information, a context, a Most Probable Symbol (MPS), and a Least Probable Symbol (LPS) for the reference layer.
  12. 청구항 9에 있어서, 상기 엔트로피 파라미터 추출부에 있어서, The method according to claim 9, wherein in the entropy parameter extraction unit,
    상기 참조 계층과 상기 향상 계층의 픽처는 적어도 하나의 슬라이스(slice)로 구분되고, 상기 참조 계층을 엔트로피 복호화한 정보로부터 상기 참조 계층의 슬라이스에 대응하는 상기 향상 계층의 슬라이스 별로 상기 계층 간 엔트로피 초기화를 위한 파라미터를 추출하여 제공하는 것을 특징으로 하는 확장 비디오 복호화 장치.The reference layer and the picture of the enhancement layer are divided into at least one slice, and the inter-layer entropy initialization is performed for each slice of the enhancement layer corresponding to the slice of the reference layer from information entropy-decoded of the reference layer. And an extended video decoding apparatus.
  13. 청구항 9에 있어서, 상기 엔트로피 파라미터 추출부에 있어서, The method according to claim 9, wherein in the entropy parameter extraction unit,
    상기 참조 계층과 상기 향상 계층의 픽처는 적어도 하나의 타일(tile)로 구분되고, 상기 참조 계층을 엔트로피 복호화한 정보로부터 상기 참조 계층의 타일에 대응하는 상기 향상 계층의 타일 별로 상기 계층 간 엔트로피 초기화를 위한 파라미터를 추출하여 제공하는 것을 특징으로 하는 확장 비디오 복호화 장치.The reference layer and the picture of the enhancement layer are divided into at least one tile, and the entropy initialization between the layers is performed for each tile of the enhancement layer corresponding to the tile of the reference layer from information entropy decoded from the reference layer. And an extended video decoding apparatus.
  14. 청구항 9에 있어서, 상기 엔트로피 파라미터 추출부에 있어서, The method according to claim 9, wherein in the entropy parameter extraction unit,
    상기 참조 계층과 상기 향상 계층의 비트스트림이 적어도 하나의 서브- 비트스트림(sub-bitstream)으로 분할되고, 상기 참조 계층의 서브-비트스트림을 엔트로피 복호화한 정보를 참조하여 상기 참조 계층의 서브-비트스트림에 대응하는 상기 향상 계층의 서브-비트스트림 별로 상기 계층 간 엔트로피 초기화를 위한 파라미터를 추출하여 제공하는 것을 특징으로 하는 확장 비디오 복호화 장치.The bitstream of the reference layer and the enhancement layer is divided into at least one sub-bitstream, and the sub-bit of the reference layer is referred to with reference to information obtained by entropy decoding the sub-bitstream of the reference layer. And extracting and providing a parameter for initializing entropy between the layers for each sub-bitstream of the enhancement layer corresponding to a stream.
  15. 비디오 부호화 장치에 있어서, In the video encoding apparatus,
    향상 계층에 대한 인트라 예측 또는 인터 예측을 수행하도록 참조 계층의 복원된 픽처를 제공하는 계층 간 참조부; 및An inter-layer reference providing a reconstructed picture of the reference layer to perform intra prediction or inter prediction on the enhancement layer; And
    계층 간 예측(inter-layer prediction)에 기반하여 향상 계층에 대한 엔트로피 초기화를 수행하도록 하는 엔트로피 파라미터 추출부를 포함하는 확장 비디오 부호화 장치.And an entropy parameter extractor configured to perform entropy initialization for the enhancement layer based on inter-layer prediction.
  16. 청구항 15에 있어서, 상기 엔트로피 파라미터 추출부는, The method of claim 15, wherein the entropy parameter extraction unit,
    상기 향상 계층에 대한 엔트로피 부호화를 위하여 상기 참조 계층을 엔트로피 부호화한 정보로부터 계층 간 엔트로피 초기화를 위한 파라미터를 추출하여 제공하는 것을 특징으로 하는 확장 비디오 부호화 장치.And a parameter for initializing entropy between layers from the information entropy-encoded in the reference layer for entropy encoding for the enhancement layer.
  17. 청구항 16에 있어서, 상기 계층 간 엔트로피 초기화를 위한 파라미터는,The method of claim 16, wherein the parameter for initializing entropy between layers is
    상기 참조 계층에 대한 매핑 테이블 번호, 이진화 방법, 코드워드 정보, 컨텍스트, MPS(Most Probable Symbol), LPS(Least Probable Symbol) 중 적어도 하나에 대한 정보를 포함하는 것을 특징으로 하는 확장 비디오 부호화 장치.And at least one of a mapping table number, a binarization method, codeword information, a context, a Most Probable Symbol (MPS), and a Least Probable Symbol (LPS) for the reference layer.
PCT/KR2012/011575 2012-10-09 2012-12-27 Method and device for initializing entropy for extended video coding and decoding WO2014058109A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0111886 2012-10-09
KR20120111886 2012-10-09

Publications (1)

Publication Number Publication Date
WO2014058109A1 true WO2014058109A1 (en) 2014-04-17

Family

ID=50477559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/011575 WO2014058109A1 (en) 2012-10-09 2012-12-27 Method and device for initializing entropy for extended video coding and decoding

Country Status (2)

Country Link
KR (1) KR20140048807A (en)
WO (1) WO2014058109A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090097014A (en) * 2008-03-10 2009-09-15 삼성전자주식회사 Apparatus of encoding image and apparatus of decoding image
US20120230428A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder for slices
US20120230399A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including a bitstream signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090097014A (en) * 2008-03-10 2009-09-15 삼성전자주식회사 Apparatus of encoding image and apparatus of decoding image
US20120230428A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder for slices
US20120230399A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including a bitstream signal

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MISRA, KIRAN ET AL.: "Entropy Slices for Parallel Entropy Coding", (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC/ JTC1/SC29/WG11 2ND MEETING, 21 July 2010 (2010-07-21), GENEVA, CH, Retrieved from the Internet <URL:http://ebookbrowse.com/jctvc-b111-r1-doc-d44536724> *
YU, EUN-GYEONG ET AL.: "Novel Coding Tools for HEVC Entropy", JOURNAL OF THE IEEK, vol. 38, no. 8, August 2011 (2011-08-01) *

Also Published As

Publication number Publication date
KR20140048807A (en) 2014-04-24

Similar Documents

Publication Publication Date Title
RU2645291C2 (en) Quantization parameter (qp) encoding when encoding video
EP3162061B1 (en) Method for motion vector difference (mvd) coding of screen content video data
WO2013070006A1 (en) Method and apparatus for encoding and decoding video using skip mode
WO2013002549A2 (en) Method and apparatus for coding/decoding image
WO2012057528A2 (en) Adaptive intra-prediction encoding and decoding method
WO2012033344A2 (en) Method and apparatus for encoding/decoding images using the effective selection of an intra-prediction mode group
EP3183881B1 (en) Methods incorporating extensions to copy-above mode for palette mode coding
JP2018524873A (en) Grouping palette bypass bins for video coding
WO2012091461A2 (en) Method and device for encoding/decoding image using feature vectors of surrounding blocks
WO2013141671A1 (en) Method and apparatus for inter-layer intra prediction
WO2012093854A2 (en) Method and device for encoding and decoding by using parallel intra-prediction by a coding unit
CN103190147A (en) Joint coding of syntax elements for video coding
US10412397B2 (en) Image processing device and method
WO2013002550A2 (en) Method and apparatus for coding/decoding through high-speed coding unit mode decision
KR20170028905A (en) Method for palette mode coding
JP7358473B2 (en) Encoders, decoders, and corresponding methods for most probable mode list construction for blocks with multi-hypothesis prediction
WO2012077959A2 (en) Method and device for encoding/decoding image in spatial domain for noise component
WO2018074626A1 (en) Video coding method and apparatus utilizing adaptive interpolation filter
WO2011052990A2 (en) Method and apparatus for encoding/decoding images based on adaptive resolution
WO2018070556A1 (en) Method and apparatus for extracting intra prediction mode data of square or rectangular block
CN115039406A (en) Encoder, decoder and corresponding method for indicating sub-pictures in a sequence parameter set
WO2018070568A1 (en) Video coding method and apparatus utilizing decoder-based intra prediction mode extraction scheme
WO2021137445A1 (en) Method for determining transform kernels for video signal processing and apparatus therefor
WO2012011683A2 (en) Method and device for subband coding frequency conversion unit, and method and device for image encoding/decoding using same
WO2014058109A1 (en) Method and device for initializing entropy for extended video coding and decoding

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12886304

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12886304

Country of ref document: EP

Kind code of ref document: A1