WO2011071321A2 - 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체 - Google Patents

멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체 Download PDF

Info

Publication number
WO2011071321A2
WO2011071321A2 PCT/KR2010/008803 KR2010008803W WO2011071321A2 WO 2011071321 A2 WO2011071321 A2 WO 2011071321A2 KR 2010008803 W KR2010008803 W KR 2010008803W WO 2011071321 A2 WO2011071321 A2 WO 2011071321A2
Authority
WO
WIPO (PCT)
Prior art keywords
plane
encoding
order
color planes
decoding
Prior art date
Application number
PCT/KR2010/008803
Other languages
English (en)
French (fr)
Other versions
WO2011071321A3 (ko
Inventor
김수년
임정연
이규민
최재훈
최윤식
최영호
김용구
정진우
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/514,563 priority Critical patent/US20120320965A1/en
Priority claimed from KR1020100125291A external-priority patent/KR20110065412A/ko
Publication of WO2011071321A2 publication Critical patent/WO2011071321A2/ko
Publication of WO2011071321A3 publication Critical patent/WO2011071321A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Definitions

  • the order of the blue plane, the red plane, and the green plane may be checked using the color_plane_id of the bitstream.
  • a computer-readable recording medium in which the decoding method of the multi-plane image is recorded by a program may be provided.
  • encoding / decoding is performed by adaptively determining the encoding / decoding order between planes according to characteristics of an input image when encoding / decoding a multi-plane image
  • encoding is performed according to an existing fixed plane sequence. It provides higher encoding and decoding efficiency than / decoding, and especially higher encoding / decoding efficiency when performing interplane prediction.
  • FIG. 4 is a block diagram of an apparatus for encoding a multi-plane video according to an embodiment of the present invention.
  • the present invention can be applied to a common encoding method using a common prediction mode between color planes as well as an independent encoding method for encoding color planes in an independent manner.
  • the plane decoding order confirmation unit 610 checks the color_plane_id of the video stream to confirm the color plane currently decoded.
  • the encoding is performed according to the optimal plane order output from the plane encoding order determiner 410 or the plane encoding order determiner S710. That is, the encoding unit 430 or the encoding step S730 encodes the green plane when the optimal plane order is green, red, or blue, and then the red plane performs encoding by using interplane prediction with the green plane. Finally, in the case of a blue plane, an interplane prediction is performed by selecting a plane having a high coding efficiency among the red plane and the green plane.
  • the blue plane may be decoded first and then decoded in the order of the red plane and the green plane.
  • the decoding step S930 performs decoding based on the decoding order of the color planes. If the decoding order is blue, red, and green plane order as in the example above, the blue plane is decoded using intra-plane prediction, and the red plane is decoded using intra-plane prediction or intra-plane prediction based on blue plane. The green plane is decoded using intra plane prediction or inter plane prediction using blue and red.
  • the embodiment of the present invention is applied to the field of video data compression technology, in particular, to the encoding / decoding technique of a multi-plane image, and to adaptively determine the encoding / decoding order between planes according to the characteristics of the input image to encode the image. Since decoding / decoding, the encoding / decoding efficiency is higher than that of encoding / decoding in the conventional fixed plane order. In particular, it is a very useful invention that provides higher encoding / decoding efficiency when performing prediction between planes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명의 실시예는 멀티 플레인 영상의 부호화 시 입력 영상의 특성에 따라 적응적으로 플레인의 부호화 순서를 결정하여 부호화하는 멀티 플레인 영상의 부호화 기술에 관한 것으로, 멀티 플레인 영상의 부호화 장치는 일정 단위로 입력된 다수의 컬러 플레인간의 순서를 부호화 비용에 근거하여 적응적으로 결정하는 플레인 부호화 순서 결정부; 및 상기 일정 단위로 상기 입력된 다수의 컬러 플레인을 상기 결정된 순서에 따라 부호화 하는 부호화부를 포함하여, 멀티 플레인 영상의 부호화 시 입력 영상의 특성에 따라 적응적으로 플레인간의 부호화 순서를 결정하여 부호화하므로, 기존의 고정된 플레인 순서로 부호화 하는 것에 비해 더욱 높은 부호화 효율을 제공하며, 특히 플레인 간의 예측을 수행할 시 더욱 높은 부호화 효율을 제공한다.

Description

멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
본 발명의 실시예는 영상 데이터 부호화/복호화 기술에 관한 것으로서, 보다 상세하게는 멀티 플레인 영상의 부호화 시 입력 영상의 특성에 따라 적응적으로 플레인의 부호화 순서를 결정하여 부호화하는, 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
일반적으로, 현재 모든 칼라 비디오의 입력 및 출력은 RGB 형태로 이루어 지고 있다. 즉 R(빨강), G(녹색), B (파랑)에 의해 모든 색을 표현할 수 있게 된다. 그러나 RGB 형식은 각각의 칼라 채널 간에 상관도가 높아 RGB 형식으로 비디오를 부호화할 경우 압축률이 낮다는 문제가 있다. 따라서 현재 일반적인 상용 애플리케이션에서는 비디오의 저장, 전송 및 압축 등에서 RGB형식이 아닌 YCbCr 형식으로 된 비디오 형식을 사용하고 있다. 현재 RGB에서 YCbCr로 변환하기 위한 방법이 ITU 나 SMPTE 같은 국제 표준 그룹에 정의되어 있다. YCbCr에서 Y는 휘도 성분을 Cb,Cr은 색차 성분이고, 각각의 칼라 채널간의 상관도는 상당히 제거되어 있다.
현재 대부분의 상용 애플리케이션에서는 단순히 YCbCr 형식으로 변환한 것뿐만 아니라 4:2:0 형식으로 신호를 사용한다. 도 1은 YCbCr 4:4:4 형식을 나타내는 도면이고, 도 2는 YCbCr 4:4:2 형식을 나타내는 도면이며, 도 3은 YCbCr 4:2:0 형식을 나타내는 도면이다. 4:2:0 형식이란 색차 신호, 즉 Cb, Cr의 정보를 도 3과 같이 가로 및 세로로 1/2만큼씩 서브샘플링(subsampling)하여 색차 신호의 정보를 1/4로 줄이는 것이다. 이것은 사람이 색차신호보다 휘도 신호에 대해 더욱 민감한 점을 이용한 것이다. 따라서 현재 대부분의 비디오 코덱은, MPEG-2/4, H.263, H.264/MPEG-4 AVC 등은 기본적으로 YCbCr 4:2:0 형식의 비디오 입력에 대하여 부/복호화를 하도록 되어 있다.
하지만 이런 경우 원래 영상대비 부호화된 영상의 색차 신호의 손실이 크게 발생하게 된다. 그래서 프로페셔널 어플리케이션(professional application) 영역인 디지털시네마나, 의료영상, UHDTV에서는 YCbCr 4:2:0이 아닌 RGB 4:4:4 혹은 YCbCr 4:4:4 형식을 사용하게 된다.
이를 지원하기 위해서 H.264/AVC AMD에서는 High 4:4:4 Intra/Predictive profiles로 RGB영역에서의 신호처리를 지원하고 있는데 하기의 2가지 방식이 지원된다. 첫째, RGB 신호을 처리할 때 그린(GREEN) 색차 신호의 부호화 시에 결정된 인트라/인터(intra/inter) 모드(mode)를 블루(BLUE)와 레드(RED)에도 적용하는 공통(common)모드의 방식과, 둘째, RGB 각각을 따로 독립적으로 처리하는 독립(independent) 모드의 방식이 지원된다. 하지만 앞에서 설명했듯이 이럴 경우 RGB간의 높은 상관 관계로 인해 부호화된 영상의 압축율이 저하되는 문제가 있다.
따라서, RGB영역은 기본적으로 서로 색차 신호간에 높은 상관 관계가 존재하므로 이를 제거해서 부호기의 효율을 높이고자 하는 연구가 진행되어 왔다.
[문헌 1] Byung Cheol Song, Yun Gu Lee, and Nak Hoon Kim "Block Adaptive Inter-Color Compensation Algorithm for RGB 4:4:4 Video Coding," IEEE CVST., vol. 18, no.10, pp. 1447-1451, Oct, 2008.
[문헌 2] Y.-H. Kim, S.-Y. Jung, B.H. Choi and J.K.Park, "High Fidelity RGB Video coding Using Adaptive Inter-Plane Weighted Prediction," IEEE CVST., vol. 19, No.7, pp1051~1056, July, 2009.
[문헌 1]에서는 각각의 R,G,B 신호간에 선형 관계를 보이는 점에 착안하여 G의 신호를 이용하여 R과 B의 신호를 예측하였다. [문헌 2]에서는 R,G,B 의 신호 간 선형 관계를 이용하여 한 컬러 플레인에서 다른 컬러 플레인의 예측하였다. 한편, [문헌1]이 G 플레인을 부호화한 후 R과 B플레인을 G 플레인만으로 예측한 데 반해, [문헌 2]에서는 G플레인을 먼저 부호화한 후, B플레인은 G플레인에서 예측하며, 마지막으로 R플레인을 부호화할 때에는 B플레인 또는 G 플레인으로 부호화를 수행하게 된다.
그러나 상술된 바와 같은 기존의 기술에 따르면 플레인 간의 부호화/복호화 순서가 고정되어 정해진 순서대로만 예측을 수행하기 때문에, 부호화/복호화 효율이 저하되는 문제가 있었다.
본 발명의 실시예는 상술된 종래의 문제점을 해결하기 위한 것으로, 그 목적은 멀티 플레인 영상의 부호화/복호화 시 입력 영상의 특성에 따라 적응적으로 플레인간의 부호화/복호화 순서를 결정하여 부호화/복호화하여 부호화 및 복호화 효율을 향상하는, 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체를 제공하는 것이다.
전술한 목적을 달성하기 위하여 본 발명의 일 측면에 따른 멀티 플레인 영상의 부호화 장치는, 일정 단위로 입력된 다수의 컬러 플레인간의 순서를 부호화 비용에 근거하여 적응적으로 결정하는 플레인 부호화 순서 결정부; 및 상기 일정 단위로 상기 입력된 다수의 컬러 플레인을 상기 결정된 순서에 따라 부호화 하는 부호화부를 포함할 수 있다. 상기 플레인 부호화 순서 결정부는 상기 일정 단위로 상기 입력된 다수의 컬러 플레인의 순서를 모든 경우의 수만큼 설정하고, 상기 설정된 각 순서에 따라 상기 다수의 컬러 플레인을 부호화한 후, 상기 부호화 시의 비용에 근거하여 상기 각 순서 중 최적의 순서를 결정할 수 있다. 상기 비용은 율 왜곡 최적화(rate distortion optimization) 방식에 근거하여 구할 수 있다. 상기 부호화부는 상기 결정된 순서의 첫번째 컬러 플레인은 인트라 플레인 프리딕션(intra plane prediction)에 근거하여 부호화를 수행하고, 두번째 컬러 플레인부터는 인터 플레인 프리딕션 inter plane prediction)에 근거하여 부호화를 수행할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따른 멀티 플레인 영상의 부호화 방법은, 일정 단위로 입력된 다수의 컬러 플레인간의 순서를 부호화 비용에 근거하여 적응적으로 결정하는 플레인 부호화 순서 결정 단계; 및 상기 일정 단위로 상기 입력된 다수의 컬러 플레인을 상기 결정된 순서에 따라 부호화 하는 부호화 단계를 포함하고, 상기 플레인 부호화 순서 결정 단계는 상기 일정 단위로 상기 입력된 다수의 컬러 플레인의 순서를 모든 경우의 수만큼 설정하는 단계; 상기 설정된 각 순서에 따라 상기 다수의 컬러 플레인을 부호화 하는 단계; 및 상기 부호화 시의 비용에 근거하여 상기 각 순서 중 최적의 순서를 결정하는 단계를 포함할 수 있다. 상기 비용은 율 왜곡 최적화(rate distortion optimization) 방식에 근거하여 구할 수 있다. 상기 부호화 단계는 상기 결정된 순서의 첫번째 컬러 플레인에 대해 인트라 플레인 프리딕션(intra plane prediction)에 근거하여 부호화를 수행하는 단계; 및 상기 결정된 순서의 두번째 이상의 컬러 플레인에 대해 인터 플레인 프리딕션 inter plane prediction)에 근거하여 부호화를 수행하는 단계를 포함할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 상기 멀티 플레인 영상의 부호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다.
전술한 목적을 달성하기 위한 멀티 플레인 영상의 복호화 장치는, 비트스트림에서 일정 단위로 입력된 다수의 컬러 플레인간의 순서를 확인하는 플레인 복호화 순서 확인부; 및 일정 단위로 입력된 다수의 컬러 플레인을 결정된 순서에 따라 복호화하는 복호화부를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 멀티 플레인 영상의 복호화 방법은, 비트스트림에서 일정 단위로 입력된 다수의 컬러 플레인간의 순서를 확인하는 단계; 및 일정 단위로 입력된 다수의 컬러 플레인을 결정된 순서에 따라 복호화하는 단계를 포함하는 것을 특징으로 한다.
다수의 컬러 플레인간의 순서를 확인하는 단계는, 비트스트림의 color_plane_id를 이용하여 블루 플레인, 레드 플레인, 그린 플레인에 대한 순서를 확인할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 상기 멀티 플레인 영상의 복호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다.
이상과 같은 본 발명의 다양한 측면에 의하면, 멀티 플레인 영상의 부호화/복호화 시 입력 영상의 특성에 따라 적응적으로 플레인간의 부호화/복호화 순서를 결정하여 부호화/복호화하므로, 기존의 고정된 플레인 순서로 부호화/복호화 하는 것에 비해 더욱 높은 부호화 및 복호화 효율을 제공하며, 특히 플레인 간의 예측을 수행할 시 더욱 높은 부호화/복호화 효율을 제공한다.
도 1 내지 도 3은 각각 YCbCr 4:4:4, 4:2:2, 및 4:2:0 형식을 나타내는 도면,
도 4는 본 발명의 일 실시예에 따른 멀티 플레인 영상의 부호화 장치의 블록도,
도 5는 도 4의 플레인 부호화 순서 결정부의 세부 블록도,
도 6은 본 발명의 일 실시예에 따른 멀티 플레인 영상의 복호화 장치를 개략적으로 도시한 블록도,
도 7은 본 발명의 일 실시예에 따른 멀티 플레인 영상의 부호화 방법의 흐름도,
도 8은 도 7의 플레인 부호화 순서 결정 단계의 세부 흐름도,
도 9는 본 발명의 일 실시예에 따른 멀티 플레인 영상의 복호화 방법의 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체를 상세하게 설명한다.
도 4는 본 발명의 일 실시예에 따른 멀티 플레인 영상의 부호화 장치의 블록도로, 동 도면에 도시된 바와 같이, 플레인 부호화 순서 결정부(410) 및 부호화부(430)를 포함한다.
플레인 부호화 순서 결정부(410)는 일정 단위로 입력된 다수의 컬러 플레인간의 순서를 부호화 비용에 근거하여 적응적으로 결정하는 것으로, 도 5에 도시된 바와 같이, 일정 단위로 입력된 다수의 컬러 플레인의 순서를 모든 경우의 수만큼 설정하는 순서 설정부(411), 설정된 각 순서에 따라 다수의 컬러 플레인을 부호화한 후 그 부호화 시의 비용을 구하는 비용 산출부(413), 및 산출된 비용에 근거하여 각 순서 중 최적의 순서를 결정하는 최적 순서 결정부(415)를 포함한다. 본 발명의 실시예에 따르면, 상기 비용은 일 예로 율 왜곡 최적화(rate distortion optimization) 방식에 근거하여 산출할 수 있고, 입력 영상으로서의 다수의 컬러 플레인은 적어도 그린(Green) 플레인, 블루(Blue) 플레인, 및 레드(Red) 플레인을 포함할 수 있다. 또한, 본 발명의 실시예에 따르면 입력 영상은 시퀀스, 프레임, 슬라이스, 매크로블록, 또는 블록 등의 일정 단위로 입력되어 처리될 수 있다.
부호화부(430)는 플레인 부호화 순서 결정부(410)에 의해 결정된 순서에 따라 일정 단위로 입력된 다수의 컬러 플레인을 부호화 하는 것으로, 본 실시예에 따르면 결정된 순서의 첫번째 컬러 플레인은 인트라 플레인 프리딕션(intra plane prediction)에 근거하여 부호화를 수행하고, 두번째 컬러 플레인부터는 인터 플레인 프리딕션(inter plane prediction)에 근거하여 부호화를 수행할 수 있다.
본 발명은 컬러 플레인 간 독립적인 방식으로 부호화하는 independent 부호화 방법뿐만 아니라 컬러 플레인 간 공통된 예측 모드를 사용하는 common 부호화 방법에도 적용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 멀티 플레인 영상의 복호화 장치를 개략적으로 나타낸 도면이다. 도 6을 참조하면, 본 발명의 실시예에 따른 멀티 플레인 영상의 복호화 장치(600)는 플레인 복호화 순서 확인부(610) 및 복호화부(620)를 포함할 수 있다.
플레인 복호화 순서 확인부(610)는 비디오 스트림의 color_plane_id를 확인하여 현재 복호되는 컬러 플레인을 확인한다.
복호화부(620)는 첫 번째 컬러 플레인은 인트라 플레인 프리딕션(intra plane prediction)에 근거하여 복호화를 수행하고, 두 번째 컬러 플레인부터는 인트라 플레인 프리딕션 또는 인터 플레인 프리딕션(inter plane prediction)에 근거하여 복호화를 수행한다.
도 7은 본 발명의 일 실시예에 따른 멀티 플레인 영상의 부호화 방법의 흐름도로, 동 도면에 도시된 바와 같이, 플레인 부호화 순서 결정 단계(S710) 및 부호화 단계(S730)를 포함하며, 도 4의 장치에 일 예로서 적용되므로 그 장치의 동작과 병행하여 설명한다.
플레인 부호화 순서 결정 단계(S710)
먼저, 프레임, 슬라이스, 매크로블록, 또는 블록 등의 일정 단위로 영상 신호가 입력되면, 플레인 부호화 순서 결정부(410)는 입력 영상으로서의 다수의 컬러 플레인간의 순서를 부호화 비용에 근거하여 적응적으로 결정한다.
도 8은 도 7의 플레인 부호화 순서 결정 단계(S710)의 세부 흐름도로, 먼저 일정 단위로 입력된 다수의 컬러 플레인의 순서를 모든 경우의 수만큼 설정하고(S711), 그 설정된 각 순서에 따라 다수의 컬러 플레인을 부호화 하며(S713), 단계 S713에서의 각 부호화 시의 비용을 일 예로 율 왜곡 최적화(rate distortion optimization) 방식에 근거하여 산출하고(S715), 단계 S715에서 산출된 각 비용에 근거하여 단계 S711에서 설정된 모든 순서 중 비용이 가장 적은 순서를 최적 순서로 결정한다(S717).
부호화 단계(S730)
본 단계에서 부호화부(430)는, 플레인 부호화 순서 결정 단계(S710)에서 플레인 부호화 순서 결정부(410)에 의해 적응적으로 결정된 최적 순서에 따라, 일정 단위로 입력된 다수의 컬러 플레인에 대해 부호화를 수행한다. 본 단계에서 부호화부(430)는 결정된 순서의 첫번째 컬러 플레인에 대해 인트라 플레인 프리딕션(intra plane prediction)에 근거하여 부호화를 수행하고, 그 결정된 순서의 두번째 이상의 컬러 플레인에 대해서는 인터 플레인 프리딕션 inter plane prediction)에 근거하여 부호화를 수행한다.
이하, 도 4의 장치의 동작/작용 및 이에 대응하는 도 5의 방법의 구제적인 과정에 대한 일 예에 대해 상세히 설명한다.
본 발명의 실시예에 따르면, 플레인 부호화 순서 결정부(410) 또는 플레인 부호화 순서 결정 단계(S710)에서는 각 플레인의 부호화 순서를 결정하게 된다. 플레인 부호화 순서 결정부(410) 또는 플레인 부호화 순서 결정 단계(S710)는 다음과 같은 예시에 의해 최적 순서를 결정한다. 예를 들어, 입력 영상이 R, G, B의 3가지 플레인으로 이루어졌다고 가정한다. 또한 부호화부(430) 또는 부호화 단계(S730)에서는 다음의 설명과 같이 플레인간의 예측(prediction)을 수행한다. 플레인 사이의 예측을 수행하여 부호화 효율을 높이는 것을 인터 플레인 프리딕션(inter plane prediction)이라고 한다. 첫 번째 그린(Green) 플레인은 인터 플레인 프리딕션(inter plane prediction)을 수행하지 않고 자기 자신의 플레인 정보만을 이용하여 부호화하는데, 이를 인트라 플레인 프리딕션(intra plane prediction)이라고 한다. 두 번째 블루(Blue) 플레인은 첫 번째 플레인의 복호화된 정보를 이용하여 인터 플레인 프리딕션을 수행한다. 두 번째 플레인의 경우 복호화된 플레인이 첫 번째 플레인 밖에 없기 때문에, 첫 번째 플레인만을 사용하여 인터 플레인 프리딕션을 수행할 수 있다. 세 번째 레드(Red) 플레인의 경우에는 첫 번째 및/또는 두 번째 플레인을 이용하여 인터 플레인 프리딕션을 수행할 수 있다. 이 경우 현재 블록이 첫 번째 플레인에서 인터 플레인 프리딕션을 수행했는지 아니면 두 번째 플레인에서 인터 플레인 프리딕션을 수행했는지에 대한 정보를 저장하고 복호기측으로 전송할 필요가 있다.
본 발명의 실시예에 따른 부호화부(430) 및 부호화 단계(S730)가 상술된 바와 같이 동작하는 것을 전제하고 이하 서술한다. 그러나 부호화부(430) 및 부호화 단계(S730)가 반드시 위와 같은 경우에 한정되지 않는다. 다만, 위와 같은 부호화부(430) 및 부호화 단계(S730)의 구조에서 성능이 극대화될 수도 있을 것이다.
플레인 부호화 순서 결정부(410) 및 플레인 부호화 순서 결정 단계(S710)에 대한 설명의 편의를 위하여, 그린 플레인이 첫 번째 플레인으로 이미 부호화 되었다고 전제하자. 그렇다면 나머지 플레인은 블루와 레드 플레인이다. 기존 방법은 영상의 특성에 상관없이 두 번째 플레인은 블루 플레인으로, 세 번째 플레인은 레드 플레인으로 부호화를 수행한다. 그러나 본 발명의 실시예에 따르면 영상의 특성에 따라 두 번째 부호화될 플레인을 블루 플레인 또는 레드 플레인으로 결정한다.
플레인 부호화 순서 결정부(410) 및 플레인 부호화 순서 결정 단계(S710)에서 플레인의 순서를 결정하는 방법은 율 왜곡 최적화(rate distortion optimization: RDO) 기법에 의해 결정될 수 있다. 그러나 위의 방법에 한정되지는 않는다. 본 실시예에서 입력 영상은 시퀀스, 프레임, 슬라이스, 매크로블록, 블록 등의 단위일 수 있다.
플레인 부호화 순서 결정부(410) 및 플레인 부호화 순서 결정 단계(S710)에서 RDO 기법에 기반한 플레인 부호화 순서 기법은 다음과 같다. 다음의 식(1)은 그린 플레인이 첫 번째 플레인으로 이미 부호화 되어 있을 때, 블루 플레인과 레드 플레인 순서로 부호화 한 경우의 비용을 나타낸다. 식(1)에서 R은 위와 같이 그린, 블루, 레드의 순서로 부호화부(430)로 부호화했을 때, 블루 플레인의 영상과 레드 플레인의 영상을 부호화한 비트를 나타내고, D는 부호화된 비트로 복호화를 수행하여 나온 복호화된 영상과 원영상과의 왜곡을 나타내며,
Figure PCTKR2010008803-appb-I000001
는 라그랑지 멀티플라이어로 상수값을 갖는다. 수학식 (2)는 그린 플레인이 먼저 부호화 되고 레드 플레인과 블루 플레인 순서로 부호됐을 때, 생성되는 비용을 의미한다.
Figure PCTKR2010008803-appb-I000002
식(1)
Figure PCTKR2010008803-appb-I000003
식(2)
식(1)과 식(2) 중 최소가 되는 비용이 그 영상의 최적의 부호화 플레인 순서가 되게 된다. 즉 식(2)의 비용이 식(1)보다 작다면 두 번째 플레인은 레드 플레인이고, 세 번째 플레인은 블루 플레인이 될 수 있다.
위와 같이 플레인 부호화 순서 결정부(410) 및 플레인 부호화 순서 결정 단계(S710)에서는, RDO에 의해 일정 단위의 영상마다 적응적으로 플레인 부호화 순서를 결정할 수 있다. 위의 경우와 같이 첫 번째 플레인이 이미 그린 플레인으로 결정될 필요는 없으며, 첫 번째 플레인부터 위와 같은 RDO기법을 사용하여 플레인 부호화 순서를 결정할 수 있다.
부호화부(430) 또는 부호화 단계(S730)에서는 플레인 부호화 순서 결정부(410) 또는 플레인 부호화 순서 결정 단계(S710)에서 출력으로 나온 최적의 플레인 순서에 따라서 부호화를 수행하게 된다. 즉 부호화부(430) 또는 부호화 단계(S730)는 최적의 플레인 순서가 그린, 레드, 블루의 경우에는 그린 플레인을 부호화한 후, 레드 플레인은 그린 플레인과의 인터 플레인 프리딕션을 이용하여 부호화를 수행하고, 마지막으로 블루 플레인의 경우에는 레드 플레인과 그린 플레인 중에서 부호화 효율이 높은 플레인을 선택하여 인터 플레인 프리딕션을 수행한다.
도 9은 본 발명의 일 실시예에 따른 멀티 플레인 영상의 복호화 방법의 흐름도이다. 도 9에 도시된 바와 같이, 멀티 플레인 영상의 복호화 방법은 플레인 복호화 순서 확인 단계(S910) 및 복호화 단계(S930)를 포함한다.
복호화 순서 확인 단계(S910)는 비트 스트림의 color_plane_id를 이용하여 현재 플레인의 컬러 정보를 확인한다. 예를 들어 color_plane_id와 컬러 플레인 간은 표 1과 같이 매핑될 수 있다.
표 1
Figure PCTKR2010008803-appb-T000001
예를 들어 스트림의 복호된 color_plane_id가 1,2,0이라고 하면 블루 플레인이 가장 먼저 복호되고, 레드 플레인, 그린 플레인 순서로 복호될 수 있다.
복호화 단계(S930)는 컬러 플레인의 복호화 순서에 기반하여 복호화를 수행한다. 위의 예처럼 복호 순서가 블루, 레드, 그린 플레인 순서라고 하면, 블루 플레인은 인트라 플레인 프리딕션을 이용하여 복호하고, 레드 플레인은 인트라 플레인 프리딕션 또는 블루 플레인에 기반한 인터 플레인 프리딕션을 이용하여 복호화 하고, 그린 플레인은 인트라 플레인 프리딕션 또는 블루, 레드를 이용한 인터 플레인 프리딕션을 사용하여 복호화 한다.
RGB 신호를 동일한 예측 모드를 사용하는 common mode (공통 모드)에서는 color_plane_id의 순서를 스트림의 header에 추가하기를 권장하며, 다음과 같은 방법으로 추가할 수 있다. RGB 컬러 플레인의 가능한 복호화 순서는 표 2와 같이 총 6개이다. 예를 들어 이를 위한 codeword는 Codeword는 표 2와 같이 fixed codeword 로 부호화 될 수 있으나, 이에 한정하지 않는다.
표 2
Figure PCTKR2010008803-appb-T000002
도 7 및 도 8을 참조하여 설명된 본 발명의 실시예에 따른 멀티 플레인 영상의 부호화 방법, 및 도 9를 참조하여 설명된 본 발명의 실시예에 따른 멀티 플레인 영상의 복호화 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 기록 매체로 구현될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체는 본 발명의 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 기록 매체는 프로그램 명령, 로컬 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 또한, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 따라서, 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는, 영상 데이터 압축 기술 분야, 특히 멀티 플레인 영상의 부호화/복호화 기술에 적용되어, 입력 영상의 특성에 따라 적응적으로 플레인간의 부호화/복호화 순서를 결정하여 부호화/복호화 하므로, 기존의 고정된 플레인 순서로 부호화/복호화 하는 것에 비해 더욱 높은 부호화/복호화 효율을 제공하며, 특히 플레인 간의 예측을 수행할 시 더욱 높은 부호화/복호화 효율을 제공하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2009년 12월 09일 한국에 출원한 특허출원번호 제10-2009-0121964호 및 2010년 12월 09일 한국에 출원한 특허출원번호 제 10-2010-0125291 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (15)

  1. 일정 단위로 입력된 다수의 컬러 플레인간의 순서를 부호화 비용에 근거하여 적응적으로 결정하는 플레인 부호화 순서 결정부; 및
    상기 일정 단위로 상기 입력된 다수의 컬러 플레인을 상기 결정된 순서에 따라 부호화 하는 부호화부;
    를 포함하는 것을 특징으로 하는 멀티 플레인 영상의 부호화 장치.
  2. 제 1 항에 있어서,
    상기 플레인 부호화 순서 결정부는 상기 일정 단위로 상기 입력된 다수의 컬러 플레인의 순서를 모든 경우의 수만큼 설정하고, 상기 설정된 각 순서에 따라 상기 다수의 컬러 플레인을 부호화한 후, 상기 부호화 시의 비용에 근거하여 상기 각 순서 중 최적의 순서를 결정하는 것을 특징으로 하는 멀티 플레인 영상의 부호화 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 비용은 율 왜곡 최적화(rate distortion optimization) 방식에 근거하여 구하는 것을 특징으로 하는 멀티 플레인 영상의 부호화 장치.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 부호화부는 상기 결정된 순서의 첫번째 컬러 플레인은 인트라 플레인 프리딕션(intra plane prediction)에 근거하여 부호화를 수행하고, 두번째 컬러 플레인부터는 인터 플레인 프리딕션 inter plane prediction)에 근거하여 부호화를 수행하는 것을 특징으로 하는 멀티 플레인 영상의 부호화 장치.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 다수의 컬러 플레인은 적어도 그린(Green) 플레인, 블루(Blue) 플레인, 및 레드(Red) 플레인을 포함하는 것을 특징으로 하는 멀티 플레인 영상의 부호화 장치.
  6. 일정 단위로 입력된 다수의 컬러 플레인간의 순서를 부호화 비용에 근거하여 적응적으로 결정하는 플레인 부호화 순서 결정 단계; 및
    상기 일정 단위로 상기 입력된 다수의 컬러 플레인을 상기 결정된 순서에 따라 부호화 하는 부호화 단계;
    를 포함하는 것을 특징으로 하는 멀티 플레인 영상의 부호화 방법.
  7. 제 6 항에 있어서,
    상기 플레인 부호화 순서 결정 단계는,
    상기 일정 단위로 상기 입력된 다수의 컬러 플레인의 순서를 모든 경우의 수만큼 설정하는 단계;
    상기 설정된 각 순서에 따라 상기 다수의 컬러 플레인을 부호화 하는 단계; 및
    상기 부호화 시의 비용에 근거하여 상기 각 순서 중 최적의 순서를 결정하는 단계를 포함하는 것을 특징으로 하는 멀티 플레인 영상의 부호화 방법.
  8. 제 6 항에 있어서,
    상기 비용은 율 왜곡 최적화(rate distortion optimization) 방식에 근거하여 구하는 것을 특징으로 하는 멀티 플레인 영상의 부호화 방법.
  9. 제 6 항에 있어서,
    상기 부호화 단계는,
    상기 결정된 순서의 첫번째 컬러 플레인에 대해 인트라 플레인 프리딕션(intra plane prediction)에 근거하여 부호화를 수행하는 단계; 및
    상기 결정된 순서의 두번째 이상의 컬러 플레인에 대해 인터 플레인 프리딕션 inter plane prediction)에 근거하여 부호화를 수행하는 단계를 포함하는 것을 특징으로 하는 멀티 플레인 영상의 부호화 방법.
  10. 제 6 항에 있어서,
    상기 다수의 컬러 플레인은 적어도 그린(Green) 플레인, 블루(Blue) 플레인, 및 레드(Red) 플레인을 포함하는 것을 특징으로 하는 멀티 플레인 영상의 부호화 방법.
  11. 제 6 항 내지 제 10 항 중 어느 한 항의 상기 멀티 플레인 영상의 부호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  12. 비트스트림에서 일정 단위로 입력된 다수의 컬러 플레인간의 순서를 확인하는 플레인 복호화 순서 확인부; 및
    상기 일정 단위로 상기 입력된 다수의 컬러 플레인을 상기 결정된 순서에 따라 복호화하는 복호화부;
    를 포함하는 것을 특징으로 하는 멀티 플레인 영상의 복호화 장치.
  13. 비트스트림에서 일정 단위로 입력된 다수의 컬러 플레인간의 순서를 확인하는 단계; 및
    상기 일정 단위로 상기 입력된 다수의 컬러 플레인을 상기 결정된 순서에 따라 복호화하는 단계;
    를 포함하는 것을 특징으로 하는 멀티 플레인 영상의 복호화 방법.
  14. 제 13항에 있어서,
    상기 다수의 컬러 플레인간의 순서를 확인하는 단계는,
    상기 비트스트림의 color_plane_id를 이용하여 블루 플레인, 레드 플레인, 그린 플레인에 대한 순서를 확인하는 것을 특징으로 하는 멀티 플레인 영상의 복호화 방법.
  15. 제 13 항 또는 제 14 항의 상기 멀티 플레인 영상의 복호화 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체.
PCT/KR2010/008803 2009-12-09 2010-12-09 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체 WO2011071321A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/514,563 US20120320965A1 (en) 2009-12-09 2010-12-09 Apparatus and method for encoding/decoding a multi-plane image, and recording medium for same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20090121964 2009-12-09
KR10-2009-0121964 2009-12-09
KR10-2010-0125291 2010-12-09
KR1020100125291A KR20110065412A (ko) 2009-12-09 2010-12-09 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체

Publications (2)

Publication Number Publication Date
WO2011071321A2 true WO2011071321A2 (ko) 2011-06-16
WO2011071321A3 WO2011071321A3 (ko) 2011-11-10

Family

ID=44146058

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/008803 WO2011071321A2 (ko) 2009-12-09 2010-12-09 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체

Country Status (1)

Country Link
WO (1) WO2011071321A2 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060079051A (ko) * 2004-12-30 2006-07-05 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
KR20080106647A (ko) * 2007-06-04 2008-12-09 전자부품연구원 Ｒｇｂ 색 공간 신호의 영상 부호화 방법
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060079051A (ko) * 2004-12-30 2006-07-05 삼성전자주식회사 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
KR20080106647A (ko) * 2007-06-04 2008-12-09 전자부품연구원 Ｒｇｂ 색 공간 신호의 영상 부호화 방법
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체

Also Published As

Publication number Publication date
WO2011071321A3 (ko) 2011-11-10

Similar Documents

Publication Publication Date Title
JP7187702B2 (ja) ビデオ符号化の方法、装置及びコンピュータ・プログラム
US20220053214A1 (en) Method and apparatus for video coding
US11706454B2 (en) One-level transform split
US8260069B2 (en) Color image encoding and decoding method and apparatus using a correlation between chrominance components
US8902980B2 (en) Apparatus and method for encoding and decoding high fidelity video, and computer-readable storage medium
KR101138392B1 (ko) 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
JP5047995B2 (ja) 映像のイントラ予測符号化、復号化方法及び装置
WO2013005941A2 (ko) 영상 부호화 및 복호화 방법과 장치
US20210392345A1 (en) Method and apparatus for video coding
WO2013062191A1 (ko) 인트라 예측 모드에서의 영상 부호화 방법 및 장치
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
CN107113431A (zh) 视频编码设备、视频解码设备、视频编码方法、视频解码方法和程序
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
WO2011071254A2 (ko) 쌍예측을 이용한 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
CN114600453A (zh) 视频编解码的方法和装置
US20240163481A1 (en) Primary transform using 8-bit cores
CN114270836A (zh) 视频编解码的颜色转换
WO2012033343A2 (ko) 참조 화소들의 특성을 이용하여 예측모드 정보의 전송을 생략할 수 있는 화면 내 예측 부호화/복호화 장치 및 그 방법
TW202044835A (zh) 在視訊編碼之餘數編碼中常規二進位字元之彈性分配
JP2023519978A (ja) レジデュアルコーディングに対する映像デコーディング方法及びその装置
KR102706586B1 (ko) 분리된 변환 분할
WO2010047492A2 (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
WO2011071321A2 (ko) 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
US10666981B2 (en) Method, apparatus and medium for decoding or encoding
EP3700201A1 (en) Separate coding trees for luma and chroma prediction

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10836216

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13514563

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 18-09-2012)

122 Ep: pct application non-entry in european phase

Ref document number: 10836216

Country of ref document: EP

Kind code of ref document: A2