WO2014175658A1 - 비디오 부호화 및 복호화 방법, 그를 이용한 장치 - Google Patents

비디오 부호화 및 복호화 방법, 그를 이용한 장치 Download PDF

Info

Publication number
WO2014175658A1
WO2014175658A1 PCT/KR2014/003554 KR2014003554W WO2014175658A1 WO 2014175658 A1 WO2014175658 A1 WO 2014175658A1 KR 2014003554 W KR2014003554 W KR 2014003554W WO 2014175658 A1 WO2014175658 A1 WO 2014175658A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
enhancement layer
motion information
motion
picture
Prior art date
Application number
PCT/KR2014/003554
Other languages
English (en)
French (fr)
Inventor
심동규
유성은
조현호
Original Assignee
인텔렉추얼 디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130045309A external-priority patent/KR20140127405A/ko
Priority claimed from KR20130045311A external-priority patent/KR20140127406A/ko
Priority claimed from KR1020130045316A external-priority patent/KR20140127407A/ko
Application filed by 인텔렉추얼 디스커버리 주식회사 filed Critical 인텔렉추얼 디스커버리 주식회사
Publication of WO2014175658A1 publication Critical patent/WO2014175658A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Definitions

  • the present invention relates to an image processing technique, and more particularly, to a method and apparatus for predicting a difference coefficient between layers in a scalable video codec.
  • MPEG and VCEG which have jointly standardized MPEG-2 Video and H.264 / AVC codecs, have been jointly standardizing new video compression technologies since 2010.
  • MPEG and VCEG formed Joint Collaborative Team on Video Coding (JCT-VC) in January 2010 to develop a new standard technology.
  • JCT-VC Joint Collaborative Team on Video Coding
  • MPEG and VCEG formed the next generation video standard called High Efficiency Video Coding (HEVC) through JCT-VC. You have completed the enactment of the Version 1 standard of the technology.
  • HEVC has about 50% more compression efficiency than H.264 / AVC High profile, which is known to have the highest compression efficiency, and supports full-HD, 4K-UHD, and 8K-UHD resolution images. .
  • HEVC High Efficiency Video Coding
  • HEVC-based scalable video compression standard technology and the HEVC-based multi-view video compression standard will be enacted.
  • HEVC is similar in structure to conventional video codecs such as H.264 / AVC, but with new coding such as quadtree-based variable block sizes, improved intra and inter prediction techniques, transform kernels up to 32x32 size, and sample adaptive offsets. Because of the additional techniques used, HEVC-based scalable video compression techniques require the development of inter-layer prediction techniques considering these new techniques.
  • An object of the present invention is to provide a method and apparatus for minimizing the difference signal of the enhancement layer by predicting the difference signal of the enhancement layer once more using the difference signal of the reference layer in the scalable video codec.
  • a video decoding method using a scalable video codec may include extracting motion information of an enhancement layer, determining whether a picture corresponding to a reference frame index of the enhancement layer exists in the reference layer based on the extracted motion information of the enhancement layer, and the picture is Adjusting the reference frame index of the enhancement layer if not present in the reference layer, scaling a motion vector included in the motion information according to the adjusted index, and adjusting the adjusted index and the scaled motion vector Predicting the inter-layer difference coefficients based on.
  • a video decoding apparatus using a scalable video codec determines whether a picture corresponding to the reference frame index of the enhancement layer exists in the reference layer based on the motion compensation unit for extracting the motion information of the enhancement layer and the extracted motion information of the enhancement layer. And a motion information adjusting unit for adjusting the reference frame index of the enhancement layer when it does not exist in the reference layer, and scaling a motion vector included in the motion information according to the adjusted index.
  • the motion compensator may predict an inter-layer difference coefficient based on the adjusted index and the scaled motion vector.
  • the motion information extractor of the enhancement layer extracts a reference frame index and a motion vector of the enhancement layer.
  • the motion information adjusting unit of the enhancement layer checks whether the extracted reference frame index and the motion vector are available in the reference layer. If the motion information of the enhancement layer is not available in the reference layer because the inter-layer frame rates are different, the motion of the enhancement layer is used. Scale the vector.
  • the inter-layer difference signal prediction unit obtains a difference coefficient in the reference layer using motion information of the enhancement layer or adjusted motion layer of the enhancement layer, and generates a more accurate prediction value using the corresponding coefficient value and the prediction block of the enhancement layer. It is possible to minimize the difference coefficient of the enhancement layer.
  • FIG. 1 is a block diagram illustrating a configuration of a scalable video encoder.
  • FIG. 2 is a conceptual diagram for explaining inter-layer difference coefficient prediction in an image encoding / decoding apparatus according to the present invention.
  • 3 is a conceptual diagram for explaining in detail generalized residual prediction for predicting inter-layer difference coefficients.
  • FIG. 4 is a conceptual view illustrating a case in which a picture corresponding to a reference picture of an enhancement layer does not exist in a reference layer when predicting a differential signal between layers in an image decoding apparatus to which the present invention is applied.
  • FIG. 5 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 8 is a conceptual view illustrating adjusting motion information by the motion information adjusting unit 720 of FIG. 7.
  • FIG. 9 is a conceptual diagram for describing adjusting motion information according to a distance of a reference frame by the motion information adjusting unit 720 of FIG. 7.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is included in each component for convenience of description, and at least two of the components may be combined into one component, or one component may be divided into a plurality of components to perform a function.
  • Integrated and separate embodiments of the components are also included within the scope of the present invention without departing from the spirit of the invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of a scalable video encoder.
  • a scalable video encoder provides spatial scalability, temporal scalability, and SNR scalability.
  • spatial scalability multi-layers using upsampling are used, and temporal scalability uses Hierarchical B picture structure.
  • quality scalability only the quantization coefficient is changed or a gradual encoding method for quantization error is used in the same manner as the technique for spatial scalability.
  • Input video 110 is down sampled through spatial decimation 115.
  • the down-sampled image 120 is used as an input of the reference layer, and the coding blocks in the picture of the reference layer may be obtained through intra prediction using the intra prediction unit 135 or inter prediction using the motion compensation unit 130.
  • the difference coefficient which is a difference value between the original block to be encoded and the prediction block generated by the motion compensation unit 130 or the intra prediction unit 135, is discrete cosine transformed or integer transformed through the transform unit 140.
  • the transform difference coefficient is quantized while passing through the quantization unit 145, and the transform difference coefficient is entropy coded by the entropy encoder 150.
  • the quantized transform difference coefficients are reconstructed back into differential coefficients through the inverse quantizer 152 and the inverse transform unit 154 to generate predicted values for use in adjacent blocks or adjacent pictures.
  • the difference coefficient value restored due to an error occurring in the quantization unit 145 may not match the difference coefficient value used as an input of the converter 140.
  • the reconstructed difference coefficient value is added to a prediction block previously generated by the motion compensator 130 or the intra predictor 135 to reconstruct the pixel value of the block currently encoded.
  • the reconstructed block passes through the in-loop filter 156. When all blocks in the picture are reconstructed, the reconstructed picture is input to the reconstructed picture buffer 158 and used for inter prediction in the reference layer.
  • the input video 110 is used as an input value and encoded.
  • the interlayer prediction is performed by the motion compensator 172 or the intra predictor 170 in order to effectively encode the coding block in the picture as in the reference layer.
  • an intra prediction is performed and an optimal prediction block is generated.
  • the block to be encoded in the enhancement layer is predicted in the prediction block generated by the motion compensator 172 or the intra predictor 170, and as a result, a difference coefficient is generated in the enhancement layer.
  • the difference coefficients of the enhancement layer are encoded through the transform unit, the quantization unit, and the entropy encoding unit similarly to the reference layer.
  • encoded bits are generated in each layer.
  • the multiplexer 192 serves to configure one single bitstream 194.
  • each of the multiple layers may be independently encoded in FIG. 1, since the input video of the lower layer is down-sampled from the video of the upper layer, it has very similar characteristics. Therefore, when the reconstructed pixel values, motion vectors, and residual signals of the lower layer video are used in the enhancement layer, encoding efficiency may be increased.
  • the inter-layer intra prediction 162 reconstructs an image of a reference layer and interpolates the reconstructed image 180 according to an image size of an enhancement layer and uses the image as a reference image.
  • a method of decoding the reference image in units of frames and a method of decoding in units of blocks may be used in consideration of complexity reduction.
  • inter-layer prediction is allowed only when the reference layer is encoded in the intra prediction mode.
  • the image 180 reconstructed in the reference layer is input to the intra prediction unit 170 of the enhancement layer, thereby improving coding efficiency than using neighboring pixel values in the picture in the enhancement layer.
  • inter-layer motion prediction 160 refers to motion information 185 such as a motion vector or a reference frame index in the reference layer in the enhancement layer.
  • motion information 185 such as a motion vector or a reference frame index in the reference layer in the enhancement layer.
  • the inter-layer difference coefficient prediction 164 predicts the difference coefficient of the enhancement layer as the value of the difference coefficient 190 decoded in the reference layer.
  • the difference coefficient value of the enhancement layer can be encoded more effectively.
  • the difference coefficient 190 decoded in the reference layer is input to the motion compensation unit 172 of the enhancement layer to predict the motion of the enhancement layer. From the process, an optimal motion vector may be derived by considering the decoded difference coefficient value 190 of the reference layer.
  • FIG. 2 is a conceptual diagram for explaining prediction of a difference coefficient between layers in an image encoding / decoding apparatus according to the present invention.
  • the predictive block 220 is determined through motion prediction and compensation in the reference picture of the enhancement layer, and the motion vector 210 for the prediction block is determined.
  • the reference frame index to the decoder.
  • the difference between the block 200 and the prediction block 220 to be encoded in the enhancement layer is called the difference coefficient 250 of the enhancement layer.
  • the difference is improved by using the prediction block derived from the enhancement layer and the difference coefficient derived from the reference layer at the same time.
  • the technique of obtaining the difference coefficient in the layer is called generalized residual prediction (GRP).
  • the motion compensation block is also used in the reference layer by using the motion vector 210 of the enhancement layer as it is based on the block 230 at the same position as the coding block 200 of the current picture. Find 240.
  • a difference value between the block 230 at the same position as the enhancement layer and the motion compensation block 240 in the reference layer is calculated.
  • the difference signal 250 of the enhancement layer is predicted by the motion compensation block 220 of the enhancement layer and the difference signal 260 calculated by the reference layer.
  • FIG. 3 is a conceptual diagram illustrating in more detail generalized residual prediction (GRP) for predicting inter-layer difference coefficients.
  • GRP generalized residual prediction
  • the motion compensation block 320 is determined through unidirectional prediction.
  • the motion information 310 reference frame index, motion vector
  • the scalable video decoder obtains a motion compensation block 320 by decoding a syntax element for motion information 310 (reference frame index, motion vector) for the block 300 to be decoded in the enhancement layer, and performs motion compensation on the block. do.
  • the GRP technique derives the difference coefficients from the upsampled base layer and then uses the derived difference coefficients as prediction values of the enhancement layer.
  • the coding block 330 co-located with the coding block 300 of the enhancement layer is selected from the upsampled base layer.
  • the motion compensation block 350 in the base layer is determined using the motion information 310 of the enhancement layer based on the block selected in the base layer.
  • the difference coefficient 360 in the base layer is calculated as the difference value of the coding block 330 in the base layer and the motion compensation block 350 in the base layer.
  • the weighted sum 370 of the motion compensation block 320 derived through temporal prediction in the enhancement layer and the difference coefficient 360 derived through motion information of the enhancement layer in the reference layer is predicted for the enhancement layer. Used as In this case, the weighting factor may be selectively written as 0, 0.5, 1, and the like.
  • GRP uses the bidirectional motion information of the enhancement layer to derive the difference coefficient in the reference layer.
  • bidirectional prediction reference is made to a compensation block in the L0 direction in the enhancement layer, a difference coefficient in the L0 direction derived from the reference layer, a compensation block in the L1 direction in the enhancement layer, to calculate a prediction value 380 for the enhancement layer.
  • the weighted sum of the difference coefficients in the L1 direction derived from the layer is used.
  • FIG. 4 is a conceptual view illustrating a case in which a picture corresponding to a reference picture of an enhancement layer does not exist in a reference layer when predicting a differential signal between layers in an image decoding apparatus to which the present invention is applied.
  • encoding when encoding a block 400 of an enhancement layer in a scalable video codec, encoding may be performed more effectively through prediction of a difference coefficient between layers.
  • the reference layer performs upsampling in the same manner as the resolution of the enhancement layer and then calculates a difference coefficient in the reference layer through the motion vector 410 of the enhancement layer.
  • the picture 460 corresponding to the reference frame index of the enhancement layer may not exist in the reference layer, and in this case, the motion layer 410 of the reference layer may be used in the reference layer.
  • the motion compensation block 450 may not be obtained.
  • FIG. 5 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • an image encoding apparatus to which the present invention is applied is based on a GRP that generates a difference coefficient in a reference layer and uses it as a prediction value in order to predict a difference coefficient of an enhancement layer.
  • the motion information adjusting unit 510 uses reference frame index information and motion vector information of the enhancement layer, which are written through the entropy encoder 500 of the enhancement layer.
  • the motion information adjusting unit 510 determines whether a frame corresponding to the reference frame index of the enhancement layer exists in the reference layer and the prediction block can be derived from the reference layer using motion vector information of the enhancement layer in the frame. If the motion information of the enhancement layer is not available in the reference layer, the motion information adjustment unit 510 adjusts the motion information of the enhancement layer to be available in the reference layer by referring to a context such as a picture order count (POC).
  • POC picture order count
  • the motion information 515 of the enhancement layer adjusted through the motion information adjuster 510 is input to the motion compensator 520 of the reference layer.
  • the motion compensation block 530 compensated by the motion compensation unit 520 of the reference layer is input to the base layer difference coefficient generator 530.
  • a block 535 at the same position as the block encoded by the enhancement layer is input to the base layer difference coefficient generator 540. In this case, the same block 535 is obtained after the reconstructed picture of the reference layer is upsampled to match the resolution of the enhancement layer.
  • the base layer difference coefficient generator 540 subtracts the block 535 of the reference layer at the same position as the block of the enhancement layer and the motion compensation block 530 derived by using the motion information of the enhancement layer from the reference layer. Generate the difference coefficient at.
  • the difference coefficient 550 generated in the base layer is used as an input value to the motion compensation unit 560 of the enhancement layer.
  • the motion compensation unit 560 of the enhancement layer When GRP is used, the motion compensation unit 560 of the enhancement layer generates the prediction blocks 370 and 380 through the sum of the difference coefficients 550 of the reference layer and the weighted sum of the motion compensation blocks derived by temporal prediction in the enhancement layer. do.
  • FIG. 6 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • an image decoding apparatus to which the present invention is applied is based on a GRP that generates a difference coefficient in a reference layer and uses it as a prediction value in order to predict a difference coefficient of an enhancement layer.
  • the motion information adjusting unit 625 uses reference frame index information and motion vector information 620 of the enhancement layer decoded by the entropy decoding unit of the enhancement layer.
  • the motion information adjusting unit 625 determines whether a frame corresponding to the reference frame index of the enhancement layer exists in the reference layer and can derive the prediction block from the reference layer using motion vector information of the enhancement layer in the frame. If the motion information of the enhancement layer is not available in the reference layer, the motion information adjustment unit 625 adjusts the motion information of the enhancement layer to be available in the reference layer by referring to a context such as a picture order count (POC).
  • POC picture order count
  • the motion information 627 of the enhancement layer adjusted through the motion information adjuster 625 is input to the motion compensator 630 of the reference layer.
  • the motion compensation block 635 compensated by the motion compensation unit 630 of the reference layer is input to the base layer difference coefficient generator 645.
  • a block 640 at the same position as the block decoded in the enhancement layer is input to the base layer difference coefficient generator 645. In this case, the same block 635 is obtained after the reconstructed picture of the reference layer is upsampled to match the resolution of the enhancement layer.
  • the base layer difference coefficient generator 645 subtracts the block 640 of the reference layer at the same position as the block of the enhancement layer and the motion compensation block 635 derived using the motion information of the enhancement layer from the reference layer. Generate the difference coefficient at.
  • the difference coefficient 650 generated in the base layer is used as an input value to the motion compensation unit 660 of the enhancement layer.
  • the motion compensation unit 660 of the enhancement layer When GRP is used, the motion compensation unit 660 of the enhancement layer generates the prediction blocks 370 and 380 through a sum of weights of the difference coefficient 650 of the reference layer and the motion compensation block derived by temporal prediction in the enhancement layer. do.
  • FIG. 7 is a block diagram illustrating a configuration of an image encoding / decoding apparatus according to an embodiment of the present invention.
  • an image encoding / decoding apparatus includes a motion information extractor 710 of an enhancement layer, a motion information adjuster 720, and an inter-layer difference signal predictor 730.
  • the motion information extractor 710 of the enhancement layer extracts the reference frame index and motion vector information decoded in the enhancement layer in order to use the movement information of the enhancement layer in the reference layer.
  • the motion information controller 720 adjusts the frame rates of the enhancement layer and the reference layer when the reference frame index and the motion vector information extracted from the enhancement layer are not used in the reference layer.
  • the motion vector scaling and the reference frame index are adjusted using the motion information in the enhancement layer.
  • the base layer difference coefficient generator 730 derives a motion compensation block from the reference layer by using the motion information of the enhancement layer, which is adjusted or not adjusted through the motion information controller 720. At the same time, the block having the same position as the coding block of the enhancement layer is derived from the upsampled reference layer according to the resolution of the enhancement layer, and the difference value from the previously derived compensation block is calculated to generate the difference coefficient block in the base layer.
  • FIG. 8 is a conceptual view illustrating adjusting motion information by the motion information adjusting unit 720 of FIG. 7.
  • the motion information adjusting unit 720 readjusts the motion information in the enhancement layer. For example, when the block 800 to be encoded / decoded in the enhancement layer generates the prediction block 820 through the motion vector 810, the corresponding motion vector may also be used in the reference layer. However, when the picture 855 of the corresponding position in the reference layer is not referenceable as shown in FIG. 8, the picture 875 corresponding to the position nearest to the prediction direction in the reference layer is selected, and the enhancement layer is the same as the picture 875 in the reference layer.
  • the new motion vector 830 may be calculated by scaling the motion vector of the enhancement layer based on the selected picture 845.
  • the picture corresponding to the position closest to the prediction direction refers to a picture having a POC value closer to that of the picture currently being encoded / decoded based on the POC.
  • the method described in FIG. 8 is applied to each prediction direction as it is.
  • the motion information for the L0 direction does not need to be adjusted in the motion information controller 720, and only motion information for the L1 direction needs to be adjusted through the motion information controller 720 for the L1 direction.
  • the motion information is adjusted using the method described above. If the motion information needs to be adjusted in both the L0 and L1 directions, the motion information is adjusted using the method described above in both directions.
  • the reference layer extracts the prediction block 870 from the reference layer using the adjusted reference frame index using the newly adjusted motion vector 830.
  • the difference coefficient in the reference layer may be calculated through the block 850 co-located with the enhancement layer and the prediction block 870 in the reference layer.
  • the motion vector 810 and the reference frame 805 before the adjustment are written as syntax elements separately from the motion information being adjusted, and additional syntax elements related thereto are written when GRP is used.
  • FIG. 9 is a conceptual diagram for describing adjusting motion information according to a distance of a reference frame by the motion information adjusting unit 720 of FIG. 7.
  • the motion information controller 720 readjusts the motion information of the enhancement layer for the reference layer.
  • the distance between the frames (td, tb) means the difference value of the POC value, which is clipped to the range of -128 ⁇ 127.
  • a tx 950 value is first calculated.
  • the disScaleFactor 955 value is calculated using the calculated tx 950 and tb 945.
  • the motion vector MV e1 905 of the enhancement layer is scaled to the motion vector MV e2 915 for prediction of the difference coefficient in the reference layer (960).
  • the method according to the present invention described above may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape , Floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.

Abstract

본 발명은 계층간 차분 계수 예측을 위하여 향상 계층의 움직임 벡터를 보상하는 방법 및 장치에 관한 것이다. 향상 계층의 움직임 벡터를 사용하여 참조 계층에서 차분 계수를 생성하는 경우, 참조 계층과 향상 계층의 프레임 레이트의 불일치로 인하여 향상 계층의 움직임 벡터 정보를 그대로 사용할 수 없을 수 있다. 해당 부호화/복호화 방법 및 장치는 향상 계층의 움직임 정보 추출 단계; 향상 계층의 움직임 정보 조정 단계; 계층간 차분 신호 예측 단계를 포함함으로써 상기 문제를 해결한다.

Description

비디오 부호화 및 복호화 방법, 그를 이용한 장치
본 발명은 영상 처리 기술에 관한 것으로써, 보다 상세하게는 스케일러블 비디오 코덱에서 계층간의 차분 계수를 예측하는 방법 및 장치에 관한 것이다.
최근 고해상도, 고화질 영상에 대한 요구가 증가함에 따라 차세대 영상 서비스를 위한 고효율의 비디오 압축 기술에 대한 필요성이 대두되었다. 이러한 시장의 요구에 따라, MPEG-2 Video, H.264/AVC 코덱을 공동으로 표준화 했던 MPEG과 VCEG은 2010년부터 새로운 비디오 압축 기술에 대한 공동 표준화를 진행해오고 있다. MPEG과 VCEG은 새로운 표준 기술 개발을 위하여 2010년 1월 JCT-VC(Joint Collaborative Team on Video Coding)를 구성하였으며, 2013년 1월에는 JCT-VC를 통해서 HEVC(High Efficiency Video Coding)라는 차세대 비디오 표준 기술의 버전 1 표준의 제정을 완료하였다. HEVC는 종래에 가장 높은 압축 효율을 갖는 것으로 알려진 H.264/AVC High 프로파일에 비하여 약 50% 이상의 압축 효율을 가지며, Full-HD, 4K-UHD, 8K-UHD급의 해상도의 영상을 지원하고 있다.
기본 계층에 대한 HEVC 표준화는 HEVC 버전 1이라는 이름으로 2013년 1월에 표준이 제정되었으며, 2014년까지는 HEVC 기반의 스케일러블 비디오 압축 표준기술과 HEVC 기반의 다시점 비디오 압축 표준이 제정될 예정이다. HEVC는 H.264/AVC와 같은 종래의 비디오 코덱과 기본 구조는 비슷하지만 쿼드트리 기반의 가변 블록 크기, 향상된 인트라 및 인터 예측 기술, 32x32 크기까지의 트랜스폼 커널, 샘플 적응적 오프셋과 같은 새로운 부호화 기술들이 추가로 사용되었기 때문에 HEVC 기반의 스케일러블 비디오 압축 기술에서는 이러한 새로운 기술들을 고려한 계층간 예측 기술의 개발이 필요하다.
본 발명에서는 스케일러블 비디오 코덱에서 향상 계층의 차분 신호를 참조 계층의 차분 신호를 사용하여 한번 더 예측함으로써 향상 계층의 차분 신호를 최소화 시키는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시 예에 따르면, 스케일러블 비디오 코덱을 이용한 비디오 복호화 방법이 제공된다. 상기 비디오 복호화 방법은 향상 계층의 움직임 정보를 추출하는 단계, 상기 추출된 향상 계층의 움직임 정보에 기초하여 상기 향상 계층의 참조 프레임 인덱스에 대응되는 픽처가 참조 계층에 존재하는지 판단하는 단계, 상기 픽처가 상기 참조 계층에 존재하지 않는 경우 상기 향상 계층의 상기 참조 프레임 인덱스를 조정하는 단계, 상기 조정된 인덱스에 따라 상기 움직임 정보에 포함된 움직임 벡터를 스케일링하는 단계 및 상기 조정된 인덱스 및 상기 스케일링된 움직임 벡터에 기초하여 계층간 차분 계수를 예측하는 단계를 포함한다.
본 발명의 다른 실시 예에 따르면, 스케일러블 비디오 코덱을 이용한 비디오 복호화 장치가 제공된다. 상기 비디오 복호화 장치는 향상 계층의 움직임 정보를 추출하는 움직임 보상부 및 상기 추출된 향상 계층의 움직임 정보에 기초하여 상기 향상 계층의 참조 프레임 인덱스에 대응되는 픽처가 참조 계층에 존재하는지 판단하고, 상기 픽처가 상기 참조 계층에 존재하지 않는 경우 상기 향상 계층의 상기 참조 프레임 인덱스를 조정하며, 상기 조정된 인덱스에 따라 상기 움직임 정보에 포함된 움직임 벡터를 스케일링하는 움직임 정보 조정부를 포함한다.
상기 움직임 보상부는 상기 조정된 인덱스 및 상기 스케일링된 움직임 벡터에 기초하여 계층간 차분 계수를 예측할 수 있다.
본 발명의 일 실시 예에 따르면, 향상 계층의 움직임 정보 추출부에서는 향상 계층의 참조 프레임 인덱스와 모션 벡터를 추출한다. 향상 계층의 움직임 정보 조정부에서는 추출된 참조 프레임 인덱스와 모션 벡터가 참조 계층에서 사용 가능한지에 대하여 확인하고, 계층간 프레임 레이트가 달라 향상 계층의 움직임 정보를 참조 계층에서 사용할 수 없는 경우에는 향상 계층의 모션 벡터를 스케일링을 한다. 계층간 차분 신호 예측부에서는 향상 계층의 움직임 정보 또는 조정된 향상 계층의 움직임 정보를 사용하여 참조 계층에서 차분 계수를 구하고, 해당 계수 값과 향상 계층의 예측 블록을 사용하여 보다 정확한 예측 값을 생성함으로써 향상 계층의 차분 계수를 최소화할 수 있다.
도 1은 스케일러블 비디오 부호화기의 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 부/복호화 장치에서 계층간 차분 계수 예측에 대하여 설명하기 위한 개념도이다.
도 3은 계층간 차분 계수를 예측하기 위한 generalized residual prediction에 대하여 보다 상세히 설명하기 위한 개념도이다.
도 4는 본 발명이 적용되는 영상 복호화 장치에서 계층간 차분 신호 예측 시 향상 계층의 참조 픽쳐에 대응하는 픽쳐가 참조 계층에 존재하지 않는 경우를 설명하기 위한 개념도이다.
도 5는 본 발명이 적용되는 영상 부호화 장치의 일 실시 예에 따른 구성을 나타내는 블록도이다.
도 6은 본 발명이 적용되는 영상 복호화 장치의 일 실시 예에 따른 구성을 나타내는 블록도이다.
도 7은 본 발명이 적용되는 영상 복호화 장치의 일 실시 예에 따른 구성을 나타내는 블록도이다.
도 8은 도 7의 움직임 정보 조정부(720)에서 움직임 정보를 조정하는 것을 설명하기 위한 개념도이다.
도 9는 도 7의 움직임 정보 조정부(720)에서 참조 프레임의 거리에 따라서 움직임 정보를 조정하는 것을 설명하기 위한 개념도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 스케일러블 비디오 부호화기의 구성을 나타내는 블록도이다.
도 1을 참조하면, 스케일러블 비디오 부호화기는 공간적 스케일러빌러티(spatial scalability), 시간적 스케일러빌리티(temporal scalability), 화질적 스케일러빌리티 (SNR scalability)를 제공한다. 공간적 스케일러빌러티를 위해서는 업샘플링을 이용한 다계층(multi-layers) 방식을 사용하며, 시간적 스케일러빌러티는 Hierarchical B 픽쳐 구조를 사용한다. 그리고 화질적 스케일러빌리티를 위해서는 공간적 스케일러빌러티를 위한 기법과 동일한 방식에 양자화 계수만을 변경하거나 양자화 에러에 대한 점진적 부호화 기법을 사용한다.
입력 비디오(110)는 spatial decimation(115)을 통해서 다운 샘플링된다. 다운 샘플링된 영상(120)은 참조 계층의 입력으로 사용되며 참조 계층의 픽쳐 내의 코딩 블록들을 인트라 예측부(135)를 통한 화면 내 예측 기술 또는 움직임 보상부(130)를 통한 화면 간 예측 기술을 통해 효과적으로 부호화된다. 부호화하려는 원본 블록과 움직임 보상부(130) 또는 인트라 예측부(135)에서 생성된 예측 블록과의 차이 값인 차분 계수는 변환부(140)를 통해서 이산여현변환 또는 정수 변환된다. 변환 차분 계수는 양자화부(145)를 거치면서 양자화되고 양자화된 변환 차분 계수는 엔트로피 부호화부(150)를 통해 엔트로피 코딩된다. 양자화된 변환 차분 계수는 인접하는 블록 또는 인접한 픽쳐에서 사용할 예측 값을 생성하기 위하여 역양자화부(152)와 역변환부(154)를 거치면서 다시 차분 계수로 복원된다. 이때 양자화부(145)에서 발생하는 에러로 인하여 복원된 차분 계수 값은 변환부(140)의 입력으로 사용되었던 차분 계수 값과 일치하지 않을 수 있다. 복원된 차분 계수 값은 앞서 움직임 보상부(130) 또는 인트라 예측부(135)에서 생성된 예측 블록과 더해짐으로써 현재 부호화했던 블록의 픽셀 값을 복원한다. 복원된 블록은 인-루프 필터(156)를 거치게 되는데 픽쳐 내의 모든 블록이 복원된 경우 복원 픽쳐는 복원 픽쳐 버퍼(158)에 입력되어 참조 계층에서 화면 간 예측에 사용된다.
향상 계층에서는 입력 비디오(110)를 그대로 입력 값으로 사용하여 이를 부호화하는데, 참조 계층과 마찬가지로 픽쳐 내의 부호화 블록을 효과적으로 부호화하기 위하여 움직임 보상부(172) 또는 인트라 예측부(170)를 통해 화면 간 예측 또는 화면 내 예측을 수행하고 최적의 예측 블록을 생성한다. 향상 계층에서 부호화하려는 블록은 움직임 보상부(172) 또는 인트라 예측부(170)에서 생성된 예측 블록에서 예측되며 그 결과로 향상 계층에서의 차분 계수가 발생한다. 향상 계층의 차분 계수는 참조 계층과 마찬가지로 변환부, 양자화부, 엔트로피 부호화부를 통해서 부화된다. 도 1과 같이 다계층 구조에서는 각 계층에서 부호화 비트가 발생하는데 멀티플렉서는(192)는 이를 하나의 단일 비트스트림(194)으로 구성하는 역할을 한다.
도 1에서 다계층 각각을 독립적으로 부호화할 수도 있지만, 하위 계층의 입력 비디오는 상위 계층의 비디오에서 다운 샘플링된 것이므로 매우 유사한 특성을 갖고 있다. 따라서 하위 계층의 비디오의 복원된 픽셀값, 모션벡터, 잔차 신호등을 향상 계층에서 이용하면 부호화 효율을 높일 수 있다.
도 1에서 계층간 화면 내 예측(162)은 참조 계층의 영상을 복원한 후 복원된 영상(180)을 향상 계층의 영상 크기에 맞게 보간하고 이를 참조 영상으로 이용한다. 참조 계층의 영상을 복원하는 경우 복잡도 감소를 고려하여 프레임 단위로 참조 영상을 복호화 하는 방식과 블록 단위로 복호화 하는 방식이 사용될 수 있다. 특히 참조 계층이 화면 간 예측 모드로 부호화된 경우에는 이를 복호화하는 복잡도가 높기 때문에 H.264/SVC 에서는 참조 계층이 오직 화면 내 예측 모드로 부호화된 경우에만 계층간 화면 내 예측을 허용하였다. 참조 계층에서 복원된 영상(180)은 향상 계층의 인트라 예측부(170)에 입력되는데 이를 통해서 향상 계층에서 픽쳐 내에서 주변의 픽셀 값을 이용하는 것보다 부호화 효율을 향상시킬 수 있다.
도 1에서 계층간 모션 예측(160)은 참조 계층에서의 모션 벡터나 참조 프레임 인덱스와 같은 움직임 정보(185)를 향상 계층에서 참조한다. 특히 영상을 낮은 비트율로 부호화할 때 움직임 정보에 대한 비중이 높기 때문에, 참조 계층의 이러한 정보를 참조함으로써 향상 계층의 부호화 효율을 향상 시킨다.
도 1에서 계층간 차분 계수 예측(164)은 향상 계층의 차분 계수를 참조 계층에서 복호된 차분 계수(190) 값으로 예측한다. 이를 통하여 향상 계층의 차분 계수 값을 더 효과적으로 부호화할 수 있는데, 부호화기의 구현 방식에 따라 참조 계층에서 복호된 차분 계수(190)를 향상 계층의 움직임 보상부(172)에 입력하여 향상 계층의 움직임 예측 과정에서부터 참조 계층의 복호된 차분 계수값(190)을 고려하여 최적의 움직임 벡터를 도출할 수 있다.
도 2는 본 발명이 적용되는 영상 부/복호화 장치에서 계층간 차분 계수 예측에 대하여 설명하기 위한 개념도이다.
도 2를 참조하면, 스케일러블 비디오 부호화기에서는 향상 계층의 블록(200)을 부호화할 때 향상 계층의 참조 픽쳐에서 움직임 예측 및 보상을 통하여 예측 블록(220)을 결정하고 예측 블록에 대한 모션 벡터(210)와 참조 프레임 인덱스를 복호화기로 전송한다. 향상 계층에서 부호화하려는 블록(200)과 예측 블록(220)에 대한 차분 값을 향상 계층의 차분 계수(250)라고 하는데 향상 계층에서 유도한 예측 블록과 참조 계층에서 유도한 차분 계수를 동시에 사용하여 향상 계층에서 차분 계수를 구하는 기술을 generalized residual prediction (GRP)라고 한다.
향상 계층의 해상도와 동일하게 업샘플링된 참조 계층에서는 현재 픽쳐의 부호화 블록(200)과 동일 위치의 블록(230)을 기준으로 향상 계층의 모션 벡터(210)를 그대로 사용하여 참조 계층에서도 움직임 보상 블록(240)을 구한다. 참조 계층에서도 향상 계층과 동일 위치의 블록(230)과 참조 계층에서의 움직임 보상 블록(240)사이의 차분 값을 계산한다. 향상 계층의 차분 신호(250)는 향상 계층의 움직임 보상 블록(220)과 참조 계층에서 계산한 차분 신호(260)로 예측된다.
도 3은 계층간 차분 계수를 예측하는 generalized residual prediction (GRP)에 대하여 보다 상세히 설명하기 위한 개념도이다.
도 3을 참조하면, 스케일러블 비디오 인코더에서 향상 계층의 블록(300)을 코딩할 때 단방향 예측을 통하여 움직임 보상 블록(320)을 결정한다. 결정된 움직임 보상 블록(320)에 대한 움직임 정보(310; 참조 프레임 인덱스, 모션 벡터)는 신택스 요소를 통해 표현된다. 스케일러블 비디오 디코더에서는 향상 계층에서 디코딩할 블록(300)에 대한 움직임 정보(310; 참조 프레임 인덱스, 모션 벡터)에 대한 신택스 요소를 디코딩함으로써 움직임 보상 블록(320)을 구하고 해당 블록에 움직임 보상을 수행한다.
GRP 기술에서는 업 샘플링 된 기본 계층에서도 차분 계수를 유도한 후 유도된 차분 계수 값을 향상 계층의 예측 값으로 사용한다. 이를 위해 향상 계층의 코딩 블록(300)과 동일 위치의 코딩 블록(330)을 업 샘플링 된 기본 계층에서 선택한다. 기본 계층에서 선택된 블록을 기준으로 향상 계층의 움직임 정보(310)를 사용하여 기본 계층에서의 움직임 보상 블록(350)을 결정한다.
기본 계층에서의 차분 계수(360)는 기본 계층에서의 코딩 블록(330)과 기본 계층에서의 움직임 보상 블록(350)의 차 값으로 계산된다. 향상 계층에서는 향상 계층에서 시간 예측을 통해 유도한 움직임 보상 블록(320)과 참조 계층에서 향상 계층의 움직임 정보를 통해 유도한 차분 계수(360)의 가중치 합을(370)을 향상 계층에 대한 예측 블록으로 사용한다. 이때 가중 치의 계수는 0, 0.5, 1등이 선택적으로 쓰여질 수 있다.
양방향 예측을 사용하는 경우 GRP는 향상 계층의 양방향 움직임 정보를 사용하여 참조 계층에서 차분 계수를 유도한다. 양방향 예측에서는 향상 계층에 대한 예측 값(380)을 계산하기 위하여 향상 계층에서의 L0 방향으로 보상 블록, 참조 계층에서 유도한 L0 방향으로의 차분 계수, 향상 계층에서의 L1 방향으로의 보상 블록, 참조 계층에서 유도한 L1 방향으로의 차분 계수들의 가중치 합을 이용한다.
도 4는 본 발명이 적용되는 영상 복호화 장치에서 계층간 차분 신호 예측 시 향상 계층의 참조 픽쳐에 대응하는 픽쳐가 참조 계층에 존재하지 않는 경우를 설명하기 위한 개념도이다.
도 4를 참조하면, 스케일러블 비디오 코덱에서 향상 계층의 블록(400)을 부호화할 때 계층 간의 차분 계수 예측을 통하여 보다 효과적으로 부호화를 수행할 수 있다. 이 경우 참조 계층에서는 향상 계층의 해상도와 동일하게 업샘플링을 수행한 후 향상 계층의 모션 벡터(410)를 통하여 참조 계층에서의 차분 계수를 계산한다. 그러나 향상 계층과 참조 계층의 프레임 레이트가 다른 경우 향상 계층의 참조 프레임 인덱스에 해당하는 픽쳐(460)가 참조 계층에서는 존재하지 않을 수 있으며, 이 경우 향상 계층의 모션 벡터(410)을 통해서 참조 계층의 움직임 보상 블록(450)을 구할 수 없게 된다.
도 5는 본 발명이 적용되는 영상 부호화 장치의 일 실시 예에 따른 구성을나타내는 블록도이다.
도 5를 참조하면, 본 발명이 적용되는 영상 부호화 장치는 향상 계층의 차분 계수를 예측하기 위하여 참조 계층에서 차분 계수를 생성하고 이를 예측 값으로 사용하는 GRP를 기반으로 한다. 이를 위해 움직임 정보 조정부(510)에서는 향상 계층의 엔트로피 부호화부(500)를 통해 쓰여지는 향상 계층의 참조 프레임 인덱스 정보와 모션 벡터 정보를 사용한다. 움직임 정보 조정부(510)에서는 향상 계층의 참조 프레임 인덱스에 해당하는 프레임이 참조 계층에 존재하고 해당 프레임에서 향상 계층의 모션 벡터 정보를 사용하여 참조 계층에서 예측 블록을 유도할 수 있는지 판단한다. 참조 계층에서 향상 계층의 움직임 정보를 그대로 사용할 수 없는 경우에는 움직임 정보 조정부(510)에서는 POC (picture order count)와 같은 컨텍스트를 참조하여 향상 계층의 움직임 정보를 참조 계층에서 사용 가능하도록 조정한다.
움직임 정보 조정부(510)를 통해서 조정된 향상 계층의 움직임 정보(515)는 참조 계층의 움직임 보상부(520)로 입력된다. 참조 계층의 움직임 보상부(520)에서 보상된 움직임 보상 블록(530)은 기본계층 차분계수 생성부(530)로 입력된다. 동시에 참조 계층의 복원 픽쳐 버퍼에서는 향상 계층에서 부호화하는 블록과 동일 위치의 블록(535)이 기본계층 차분계수 생성부(540)로 입력된다. 이때 동일 위치의 블록(535)은 참조 계층의 복원 픽쳐가 향상 계층의 해상도에 맞게 업샘플링 된 후에 얻어지게 된다. 기본계층 차분계수 생성부(540)에서는 향상 계층의 블록과 동일 위치의 참조 계층의 블록(535)과 참조계층에서 향상 계층의 움직임 정보를 사용하여 유도한 움직임 보상 블록(530)을 빼줌으로써 기본계층에서의 차분계수를 생성한다. 기본 계층에서 생성된 차분 계수(550)는 향상 계층의 움직임 보상부(560)으로 입력 값으로 사용된다. 향상 계층의 움직임 보상부(560)는 GRP가 사용되는 경우 참조 계층의 차분계수(550)와 향상 계층에서 시간 예측을 통해 유도한 움직임 보상 블록의 가중치 합을 통해 예측 블록(370, 380)을 생성한다.
도 6은 본 발명이 적용되는 영상 복호화 장치의 일 실시 예에 따른 구성을나타내는 블록도이다.
도 6를 참조하면, 본 발명이 적용되는 영상 복호화 장치는 향상 계층의 차분 계수를 예측하기 위하여 참조 계층에서 차분 계수를 생성하고 이를 예측 값으로 사용하는 GRP를 기반으로 한다. 이를 위해 움직임 정보 조정부(625)에서는 향상 계층의 엔트로피 복호화부에서 복호화된 향상 계층의 참조 프레임 인덱스 정보와 모션 벡터 정보등(620)를 사용한다. 움직임 정보 조정부(625)에서는 향상 계층의 참조 프레임 인덱스에 해당하는 프레임이 참조 계층에 존재하고 해당 프레임에서 향상 계층의 모션 벡터 정보를 사용하여 참조 계층에서 예측 블록을 유도할 수 있는지 판단한다. 참조 계층에서 향상 계층의 움직임 정보를 그대로 사용할 수 없는 경우에는 움직임 정보 조정부(625)에서는 POC (picture order count)와 같은 컨텍스트를 참조하여 향상 계층의 움직임 정보를 참조 계층에서 사용 가능하도록 조정한다.
움직임 정보 조정부(625)를 통해서 조정된 향상 계층의 움직임 정보(627)는 참조 계층의 움직임 보상부(630)로 입력된다. 참조 계층의 움직임 보상부(630)에서 보상된 움직임 보상 블록(635)은 기본계층 차분계수 생성부(645)로 입력된다. 동시에 참조 계층의 복원 픽쳐 버퍼에서는 향상 계층에서 복호화하는 블록과 동일 위치의 블록(640)이 기본계층 차분계수 생성부(645)로 입력된다. 이때 동일 위치의 블록(635)은 참조 계층의 복원 픽쳐가 향상 계층의 해상도에 맞게 업샘플링 된 후에 얻어지게 된다. 기본계층 차분계수 생성부(645)에서는 향상 계층의 블록과 동일 위치의 참조 계층의 블록(640)과 참조계층에서 향상 계층의 움직임 정보를 사용하여 유도한 움직임 보상 블록(635)을 빼줌으로써 기본계층에서의 차분계수를 생성한다. 기본 계층에서 생성된 차분 계수(650)는 향상 계층의 움직임 보상부(660)으로 입력 값으로 사용된다. 향상 계층의 움직임 보상부(660)는 GRP가 사용되는 경우 참조 계층의 차분계수(650)와 향상 계층에서 시간 예측을 통해 유도한 움직임 보상 블록의 가중치 합을 통해 예측 블록(370, 380)을 생성한다.
도 7은 본 발명의 2실시예에 따른 영상 부/복호화 장치의 일 실시 예에 따른 구성을 나타내는 블록도이다.
도 7를 참조하면, 본 발명이 적용되는 영상 부/복호화 장치는 향상 계층의 움직임 정보 추출부(710), 움직임 정보 조정부(720), 계층간 차분 신호 예측부(730)를 포함한다.
향상 계층의 움직임 정보 추출부(710)는 계층간 차분 계수 예측을 수행하는 경우에 있어서 참조 계층에 향상 계층의 움직일 정보를 사용하기 위하여 향상 계층에서 복호화 된 참조 프레임 인덱스와 모션 벡터 정보를 추출한다.
움직임 정보 조정부(720)는 계층간 차분 계수 예측을 수행하는 경우에 있어서, 향상 계층에서 추출한 참조 프레임 인덱스와 모션 벡터 정보가 참조 계층에서 그대로 사용할 수 없는 경우에, 향상 계층과 참조 계층의 프레임 레이트와 향상 계층에서의 움직임 정보를 사용하여 모션 벡터 스케일링과 참조 프레임 인덱스를 조정하는 과정을 수행한다.
기본계층 차분계수 생성부(730)에서는 움직임 정보 조정부(720)를 통해서 조정되거나 조정되지 않은 향상 계층의 움직임 정보를 사용하여 참조 계층에서 움직임 보상 블록을 유도한다. 동시에 향상계층의 코딩 블록과 동일한 위치의 블록을 향상계층의 해상도에 맞게 업샘플링 된 참조 계층에서 유도하여 앞서 유도한 보상 블록과의 차이 값을 계산하여 기본 계층에서 차분계수 블록을 생성한다.
도 8은 도 7의 움직임 정보 조정부(720)에서 움직임 정보를 조정하는 것을 설명하기 위한 개념도이다.
도 8를 참조하면, 움직임 정보 조정부(720)는 참조 계층에서 향상 계층의 움직임 정보를 그대로 사용하는 것이 불가능한 경우에, 향상 계층에서 움직임 정보를 재조정하게 된다. 예를 들어, 향상 계층에서 부/복호화하려는 블록(800)이 모션 벡터(810)을 통해서 예측 블록(820)을 생성한 경우 참조 계층에서도 해당 모션 벡터를 사용할 수 있다. 그러나 도 8과 같이 참조 계층에서 해당 위치의 픽쳐(855)가 참조 불가능한 경우에는 참조 계층에서 예측 방향으로 가장 가까운 위치에 해당하는 픽쳐(875)를 선택하고, 향상 계층에서는 이 픽쳐(875)와 동일한 위치의 픽쳐(845)를 선택한 후 선택된 픽쳐(845)를 기준으로 향상 계층의 모션 벡터를 스케일링하여 새로운 모션 벡터(830)를 계산할 수 있다. 이때 예측 방향으로 가장 가까운 위치에 해당하는 픽쳐는 POC를 기준으로 현재 부/복호화하는 픽쳐의 POC와 더 가까운 POC 값을 갖는 픽쳐를 의미한다.
향상 계층에서 양방향 예측을 사용하여 향상 계층에 두 개의 움직임 보상 블록이 존재하는 경우에는 도 8에서 기술한 방법을 그대로 각 예측 방향에 적용한다. 예를 들어, 향상 계층에서 L0 방향에 대한 움직임 정보는 움직임 정보 조정부(720)에서 조정이 필요하지 않고, L1 방향에 대한 움직임 정보만 움직임 정보 조정부(720)를 통해서 조정이 필요한 경우 L1 방향에 대한 움직임 정보를 앞서 기술한 방법을 사용하여 조정한다. L0 와 L1 두 방향 모두 움직임 정보 조정이 필요한 경우에는 두 방향 모두에 대해서 앞서 기술한 방법을 사용하여 움직임 정보를 조정한다.
한편, 본 발명의 제3실시예에 따르면 참조 계층에서는 새로 조정된 모션 벡터(830)을 사용하여 조정된 참조 프레임 인덱스를 사용하여 참조 계층에서 예측 블록(870)을 추출한다. 참조 계층에서는 향상 계층과 동일 위치의 블록(850)과 참조 계층에서의 예측 블록(870)를 통하여 참조 계층에서의 차분 계수를 계산할 수 있다. 향상 계층에서는 움직임 정보가 조정되는 것과 별개로 조정 전의 모션 벡터(810)와 참조 프레임(805)가 신택스 요소로 쓰여지며 GRP가 사용되는 경우 이와 관련된 추가 신택스 요소가 쓰여진다.
도 9는 도 7의 움직임 정보 조정부(720)에서 참조 프레임의 거리에 따라서 움직임 정보를 조정하는 것을 설명하기 위한 개념도이다.
도 9를 참조하면, 움직임 정보 조정부(720)는 참조 계층에서 향상 계층의 움직임 정보를 그대로 사용하여 차분 계수 값을 도출할 수 없는 경우, 참조 계층을 위하여 향상 계층의 움직임 정보를 재 조정한다. 향상 계층의 움직임 정보를 재 조정하는 경우 향상 계층에서 부/복호화하려는 프레임(925)과 움직임 보상을 수행하는 프레임(930) 사이의 거리 td(940)와 향상 계층에서 부/복호화하려는 프레임(925)과 참조 계층에서 사용이 가능하면서 향상 계층의 부/복호화하려는 프레임(925)과 가장 가까운 프레임(935) 사이의 거리 tb(945)을 사용한다. 이때 프레임 사이의 거리(td, tb)는 POC 값의 차이 값을 의미하는데 이 값은 -128~127의 범위로 클립핑 된다. 참조 계층을 위하여 향상 계층의 모션 벡터를 스케일링하기 위하여 먼저 tx(950) 값을 계산한다. 계산된 tx(950)값과 tb(945)를 사용하여 disScaleFactor(955) 값이 계산된다. 최종적으로 향상 계층의 움직임 벡터 MVe1(905)을 참조 계층에서의 차분 계수 예측을 위한 모션 벡터 MVe2(915)로 스케일링한다(960).
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (14)

  1. 스케일러블 비디오 코덱을 이용한 비디오 복호화 방법에 있어서,
    향상 계층의 움직임 정보를 추출하는 단계;
    상기 추출된 향상 계층의 움직임 정보에 기초하여, 상기 향상 계층의 참조 프레임 인덱스에 대응되는 픽처가 참조 계층에 존재하는지 판단하는 단계;
    상기 픽처가 상기 참조 계층에 존재하지 않는 경우, 상기 향상 계층의 상기 참조 프레임 인덱스를 조정하는 단계;
    상기 조정된 인덱스에 따라 상기 움직임 정보에 포함된 움직임 벡터를 스케일링하는 단계; 및
    상기 조정된 인덱스 및 상기 스케일링된 움직임 벡터에 기초하여 계층간 차분 계수를 예측하는 단계를 포함하는 비디오 복호화 방법.
  2. 제1항에 있어서,
    상기 예측하는 단계는,
    상기 향상 계층과 동일 위치에 있는 상기 참조 계층의 블록 및 상기 참조 계층의 예측 블록을 이용하여 상기 참조 계층의 차분 계수를 계산하는 단계를 포함하는 비디오 복호화 방법.
  3. 제1항에 있어서,
    상기 스케일링하는 단계는,
    복호화 대상 프레임과 상기 참조 프레임간의 거리에 따라서 스케일링하는 단계를 포함하는 비디오 복호화 방법.
  4. 제3항에 있어서,
    상기 프레임간 거리는 POC(Picture Order Count)간 차이 값을 포함하는 비디오 복호화 방법.
  5. 제4항에 있어서,
    상기 POC간 차이 값을 최소값 및 최대값에 기초하여 클리핑(clipping)하는 단계를 더 포함하는 비디오 복호화 방법.
  6. 제1항에 있어서,
    상기 스케일링하는 단계는,
    상기 향상 계층과 상기 참조 계층의 프레임 레이트와 상기 향상 계층의 움직임 정보를 사용하여 상기 움직임 벡터를 스케일링하는 단계를 포함하는 비디오 복호화 방법.
  7. 제1항에 있어서,
    상기 스케일링하는 단계는,
    상기 참조 계층에서 예측 방향으로 가장 가까운 위치에 해당하는 픽처를 선택하고, 상기 선택된 픽처와 동일한 위치의 상기 향상 계층의 픽처를 기준으로 상기 향상 계층의 모션 벡터를 스케일링하는 단계를 포함하는 비디오 복호화 방법.
  8. 제7항에 있어서,
    상기 예측 방향으로 가장 가까운 위치에 해당하는 픽처는 POC를 기준으로 현재 복호화 대상 픽처의 POC와 가까운 값을 갖는 픽처를 포함하는 비디오 복호화 방법.
  9. 제1항에 있어서,
    상기 조정하는 단계는,
    상기 향상 계층과 상기 참조 계층의 프레임 레이트와 상기 향상 계층의 움직임 정보를 사용하여 상기 참조 프레임 인덱스를 조정하는 단계를 포함하는 비디오 복호화 방법.
  10. 제1항에 있어서,
    상기 조정하는 단계는,
    POC를 참조하여 상기 향상 계층의 움직임 정보를 상기 참조 계층에서 사용 가능하도록 조정하는 단계를 포함하는 비디오 복호화 방법.
  11. 제1항에 있어서,
    상기 판단하는 단계는,
    상기 향상 계층의 참조 프레임 인덱스에 해당하는 프레임이 상기 참조 계층에 존재하는지 판단하는 단계를 포함하는 비디오 복호화 방법.
  12. 제11항에 있어서,
    상기 향상 계층의 참조 프레임 인덱스에 해당하는 프레임에서 상기 향상 계층의 움직임 벡터 정보를 사용하여 상기 참조 계층에서 예측 블록을 유도할 수 있는지 판단하는 비디오 복호화 방법.
  13. 제2항에 있어서,
    상기 예측하는 단계는,
    상기 참조 계층의 차분 계수와 상기 향상 계층에서 시간 예측을 통해 유도되는 움직임 보상 블록의 가중치 합을 통해 상기 향상 계층의 예측 블록을 생성하는 단계를 포함하는 비디오 복호화 방법.
  14. 스케일러블 비디오 코덱을 이용한 비디오 복호화 장치에 있어서,
    향상 계층의 움직임 정보를 추출하는 움직임 보상부; 및
    상기 추출된 향상 계층의 움직임 정보에 기초하여, 상기 향상 계층의 참조 프레임 인덱스에 대응되는 픽처가 참조 계층에 존재하는지 판단하고, 상기 픽처가 상기 참조 계층에 존재하지 않는 경우, 상기 향상 계층의 상기 참조 프레임 인덱스를 조정하며, 상기 조정된 인덱스에 따라 상기 움직임 정보에 포함된 움직임 벡터를 스케일링하는 움직임 정보 조정부를 포함하고,
    상기 움직임 보상부는 상기 조정된 인덱스 및 상기 스케일링된 움직임 벡터에 기초하여 계층간 차분 계수를 예측하는 비디오 복호화 장치.
PCT/KR2014/003554 2013-04-24 2014-04-23 비디오 부호화 및 복호화 방법, 그를 이용한 장치 WO2014175658A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020130045309A KR20140127405A (ko) 2013-04-24 2013-04-24 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR20130045311A KR20140127406A (ko) 2013-04-24 2013-04-24 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR10-2013-0045309 2013-04-24
KR1020130045316A KR20140127407A (ko) 2013-04-24 2013-04-24 비디오 부호화 및 복호화 방법, 그를 이용한 장치
KR10-2013-0045316 2013-04-24
KR10-2013-0045311 2013-04-24

Publications (1)

Publication Number Publication Date
WO2014175658A1 true WO2014175658A1 (ko) 2014-10-30

Family

ID=51792137

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/003554 WO2014175658A1 (ko) 2013-04-24 2014-04-23 비디오 부호화 및 복호화 방법, 그를 이용한 장치

Country Status (1)

Country Link
WO (1) WO2014175658A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060101131A (ko) * 2005-03-18 2006-09-22 삼성전자주식회사 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
KR20060105394A (ko) * 2005-04-01 2006-10-11 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
US20070183499A1 (en) * 2004-08-16 2007-08-09 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
US20080095238A1 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers
KR100893868B1 (ko) * 2004-12-06 2009-04-20 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070183499A1 (en) * 2004-08-16 2007-08-09 Nippon Telegraph And Telephone Corporation Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
KR100893868B1 (ko) * 2004-12-06 2009-04-20 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR20060101131A (ko) * 2005-03-18 2006-09-22 삼성전자주식회사 시간적 레벨간 모션 벡터 예측을 이용한 비디오인코딩/디코딩 방법 및 장치
KR20060105394A (ko) * 2005-04-01 2006-10-11 삼성전자주식회사 비동기 픽쳐의 모션 벡터를 압축/복원하는 방법 및 그방법을 이용한 장치
US20080095238A1 (en) * 2006-10-18 2008-04-24 Apple Inc. Scalable video coding with filtering of lower layers

Similar Documents

Publication Publication Date Title
CN112235572B (zh) 视频解码方法和装置以及计算机设备和存储介质
CN113545083A (zh) 视频编解码的方法和装置
US9743092B2 (en) Video coding with helper data for spatial intra-prediction
CN110944202A (zh) 视频编解码方法、装置、计算机设备和存储介质
CN110876056B (zh) 视频解码的方法和装置、计算机设备及存储介质
CN112806002A (zh) 用信号通知用于跳过和合并模式的多假设的方法和装置、以及用信号通知具有运动矢量差的合并中的距离偏移表的方法和装置
CN112789851B (zh) 视频解码方法、装置、电子设备及可读存储介质
CN112235581B (zh) 视频解码方法、装置、存储介质及电子设备
CN112291571A (zh) 视频解码方法及装置以及计算机设备和存储介质
CN111885387A (zh) 用于仿射光流预测值细化的视频解码方法和装置
CN113557728A (zh) 视频编解码方法和装置
CN113875234A (zh) 视频编解码的方法和装置
CN112655205A (zh) 仿射模型运动矢量的约束
CN113259661A (zh) 视频解码的方法和装置
CN110971907B (zh) 视频编解码方法和装置、计算机设备及存储介质
CN113545079A (zh) 视频编解码的方法和装置
CN114600453A (zh) 视频编解码的方法和装置
CN114651447A (zh) 用于视频编解码的方法和装置
CN112154663A (zh) 用于基于子块的时间运动矢量预测的方法和设备
WO2014088306A2 (ko) 비디오 부호화 및 복호화 방법, 그를 이용한 장치
CN113348668A (zh) 在帧内块补偿中利用整数偏移进行块矢量预测的方法和装置
CN112771869A (zh) 小型编码块的简化合并列表构建
WO2012033343A2 (ko) 참조 화소들의 특성을 이용하여 예측모드 정보의 전송을 생략할 수 있는 화면 내 예측 부호화/복호화 장치 및 그 방법
WO2015072626A1 (ko) 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치
CN117063471A (zh) 用于运动矢量差的联合信令方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14788502

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14788502

Country of ref document: EP

Kind code of ref document: A1