KR20090052849A

KR20090052849A - 비디오 색 인핸스먼트 데이터를 인코딩하기 위한 방법 및 장치, 그리고 비디오 색 인핸스먼트 데이터를 디코딩하기 위한 방법 및 장치

Info

Publication number: KR20090052849A
Application number: KR20097001015A
Authority: KR
Inventors: 용잉 가오; 유웬 우; 잉 첸
Original assignee: 톰슨 라이센싱
Priority date: 2006-07-17
Filing date: 2006-07-17
Publication date: 2009-05-26
Also published as: US20090285283A1; WO2008019524A1; KR101196975B1; DE602006019006D1; CN101507284A; EP2041983B1; CN101507284B; US8761249B2; JP4991851B2; JP2009544198A; EP2041983A4; EP2041983A1

Abstract

종래의 8비트 색 깊이(color depth)보다 매우 정교한 비쥬얼 강도 및 대비의 재생은 점점 더 이용되고, 높은 비트 깊이라 지칭되는 인핸스드 다이내믹 레인지의 발전을 유도한다. M<N이고, 둘 다 동일한 공간 해상도를 갖는, 제1의 M비트의 RGB 픽셀의 낮은 비트 깊이 이미지(IM_BL) 및 제2의 N비트의 RGB 픽셀의 높은 비트 깊이 이미지(IM_EL)를 인코딩하기 위한 방법은 제1 및 제2 비디오 이미지의 색 히스토그램(Hist_BL, Hist_EL)에 기초하여 제1 전송 함수(LUT_inter)를 생성하는 단계, 제1 전송 함수(LUT_inter)에 기초하여 제2 전송 함수(LUT_final)를 생성하는 단계, 제2 전송 함수(LUT_final)를 제1 비디오 이미지에 적용하는 단계를 포함하고, 변환된 제1 비디오 이미지(IM_TR,BL)는 생성되고, 나머지(IM_res)를 계산하고 인코딩하며, 제1 비디오 이미지(IM_BL)를 인코딩하고 인코딩된 제1 비디오 이미지(IM_BL), 제2 전송 함수(LUT_final) 및 인코딩된 차이를 전송한다.

비트 깊이, 비디오 이미지, 전송 함수, 히스토그램 평활화, 확률 맵핑

Description

비디오 색 인핸스먼트 데이터를 인코딩하기 위한 방법 및 장치, 그리고 비디오 색 인핸스먼트 데이터를 디코딩하기 위한 방법 및 장치{METHOD AND APPARATUS FOR ENCODING VIDEO COLOR ENHANCEMENT DATA, AND METHOD AND APPARATUS FOR DECODING VIDEO COLOR ENHANCEMENT DATA}

본 발명은 비디오 색 인핸스먼트 데이터를 인코딩하기 위한 방법 및 장치에 관한 것이다. 더욱이, 본 발명은 비디오 색 인핸스먼트 데이터를 디코딩하기 위한 방법 및 장치에 관한 것이다.

최근, 종래의 8비트 색 깊이(color depth)보다 매우 정교한 비쥬얼 강도 및 대비의 재생이 의료 영상, 고화질 비디오 기능이 강화된 컴퓨터 게임, 전문 스튜디오 및 애플리케이션에 관련된 홈 씨어터와 같은 다양한 분야에서 점점 더 이용된다. 이 프로세스는 본 명세서에서 높은 비트 깊이(high bit-depth)라 불리는 인핸스드 다이내믹 레인지(enhanced dynamic range)의 발전을 유도한다. 전자 센서, 프로세서 및 저장 장치의 발전으로 캡쳐 및 디스플레이 장치 둘 다에 대해 픽셀 해상도가 매우 높아진 사실과 반대로, 디지털 이미징 시스템의 색 수용력(color capability)은 매우 느린 속도로 진화해왔다. 제1 세대 디지털 비쥬얼 콘텐츠가 나타난 이래로 8비트 색 깊이는 캡쳐 및 디스플레이 장치에 대해 지배적이었다.

표준 8비트 및 더 높은 비트의 디지털 이미징 시스템이 미래의 상당히 긴 기간 동안 소비자 시장에 동시에 존재할 것이란 사실을 고려하면 색 비트 깊이 확장성(scalability)은 잠재적으로 유용하다. 상이한 색 비트 깊이는 예를 들면 멀티미디어 콘텐츠를 전송하는 동안 단말 디스플레이 장치에 대해 특히 중요하다.

(발명의 요약)

본 발명은 비디오 색 공간 확장성을 가능하게 하기 위한 방법 및 장치를 제공한다. 본 발명의 일 양상에 따르면, 색 인핸스먼트 계층을 인코딩하기 위한 방법 및 장치가 제공되며, 차분적으로 인코딩된다. 본 발명의 다른 양상은 종래의 색 비트 깊이 이미지 또는 인핸스드 색 비트 깊이 이미지 중 하나를 획득한 비디오 신호를 디코딩하기 위한 방법 및 장치이다.

원칙적으로는, 본 발명의 인코딩 양상은 이하의 단계: 예를 들면 룩업테이블(LUT)의 형태로, 둘 다 2^M개의 상이한 색으로 이루어진, 입력 색 값을 출력 색 값으로 맵핑하는 데 적당한 전송 함수를 생성하는 단계, 전송 함수를 낮은 또는 종래의 색 비트 깊이를 갖는 제1 비디오 화상으로 적용하는 단계, 전송된 비디오 화상 과 더 높은 색 비트 깊이를 갖는 제2 비디오 화상(N 비트, N>M이지만 제1 비디오 화상과 동일한 공간 해상도) 간에 상이한 화상 또는 나머지를 생성시키는 단계 및 나머지를 인코딩하는 단계를 포함한다. 그리고나서, 인코딩된 제1 비디오 화상, 전송 함수의 파라미터(예를 들면, 룩업테이블 자체), 및 인코딩된 나머지가 수신기로 전송된다. 전송 함수의 파라미터도 인코딩될 수 있다. 더욱이, 전송 함수의 파라미터는 인식될 수 있다. 제1 및 제2 이미지는 각각 색 베이스 계층 및 색 인핸스먼트 계층이 되는 것으로 고려될 수 있다.

특히, 전송 함수는 제1 및 제2 비디오 화상의 색 히스토그램을 비교함으로써 획득될 수 있고, 그 때문에 2^M개의 빈을 갖는 제1 화상의 색 히스토그램은 2^N개의 빈(bin)을 갖는 "평활화된" 색 히스토그램으로 변환되며(N>M), 평활화된 색 히스토그램의 값과 색 인핸스먼트 계층 히스토그램의 값 간에 전송을 정의하는 평활화된 히스토그램 및 색 인핸스먼트 계층 히스토그램으로부터 전송 함수를 결정한다. 설명된 프로시져는 기본적 디스플레이 색 적색, 녹색 및 청색에 대해 개별적으로 행해진다.

본 발명의 디코딩 양상에 따르면, 제1 및 제2 비디오 이미지를 위한 비트 스트림 비디오 데이터로부터 추출하는 단계, 및 색 인핸스먼트 제어 데이터를 추출하는 단계, 더욱이 제1 비디오 이미지를 디코딩하고 재생하며, 재생된 제1 비디오 이미지는 각각 M비트의 색 픽셀값을 가지면서 획득되는 단계, 및 전송 함수를 구현하는 맵핑 테이블을 색 인핸스먼트 제어 데이터로부터 구성하는 단계를 포함한다. 그리고나서, 맵핑 테이블은 재생된 제1 비디오 이미지의 각각의 픽셀에 적용되며, 결과로서 생긴 전송된 비디오 이미지가 디코딩된 제 2 비디오 이미지를 갖고 업데이트된 예측 이미지로서 기능을 수행한다. 디코딩된 제2 비디오 이미지는 나머지의 이미지이고, 업데이트된 것은 각각 N 비트(N>M)의 픽셀값을 가져서, 재생된 제1 비디오 이미지보다 더 높은 색 공간을 갖는 인핸스드 비디오 이미지가 된다. 이상 의 단계는 기본적인 비디오 색 적색, 녹색, 및 청색 각각에 대해 개별적으로 수행된다. 따라서, 완전한 비디오 신호는 각각의 화상에 대해 인코딩된 낮은 색-해상도 이미지, 각각의 색에 대해 인코딩된 나머지 이미지 및 전송 함수의 파라미터, 및 더 높은 색-해상도 이미지를 생성하기 위해 둘 다를 포함할 수도 있다. 유리하게, 전송 함수 및 나머지 이미지를 생성하는 것은 로우 비디오 이미지(raw video image)의 RGB값 상에서 수행되므로 비디오 인코딩으로부터 더 독립적이다. 따라서, 낮은 색 해상도 이미지는 예를 들어 MPEG 또는 JVT 표준(AVC, SVC 등)에 따라 임의의 종래의 인코딩을 이용하여도 인코딩될 수 있다. 또한 디코딩 측 상에서 색 인핸스먼트는 종래의 디코딩의 정점에서 수행되므로 그의 인코딩 포맷으로부터 독립적이다.

따라서, 더 낮은 비트 깊이 디스플레이 수용력(예를 들면, 8비트 디스플레이) 요구를 갖는 장치는 더 낮은 색 비트 깊이를 갖는 색 베이스 계층만을 디코딩하며, 인핸스드 색 비트 깊이 디스플레이 수용력(예를 들면, 12비트 디스플레이)을 갖는 발전된 장치는 적색, 녹색 및 청색을 위한 색 인핸스먼트 계층 및 전송 테이블도 디코딩할 수도 있고, 전체 색 공간 활용의 화상을 생성한다.

본 발명은 새로운 형식의 비디오 확장성, 즉 색 비트 깊이 확장성에 관한 것이고, 코딩 효율을 개선하기 위해 색 비트 깊이 스케일러블 코덱의 계층간 예측에 적용될 수 있다. 예측 이미지는 각각의 색 인핸스먼트 계층 이미지를 더 좋게 매칭시키기 때문에, 나머지 이미지를 생성하기 전에 예측 이미지를 생성하는 전송 함수를 이용하는 장점은 인코딩이 더 효율적이라는 것이다. 예를 들면, 색 베이스 계층에서 9A_hex의 8비트 값에 의해 설명되는, 특정 녹색 톤에 대한 값은 색 인핸스먼트 계층에서의 16개의 상이한 12비트 색 값에 9AO_hex부터 9AF_hex까지 맵핑될 수도 있다. 하나의 화상에서 16개 값 중 하나는 색 인핸스먼트 계층에서 억제될 수도 있으나, 이는 또 다른 화상에서 또 다른 값이 될 수도 있다. 따라서, 본 발명은 색 인핸스먼트 계층의 최적화된 인코딩을 가능하게 한다.

본 발명의 유리한 실시예는 종속 청구항, 이하의 설명 및 도면에 개시된다.

본 발명의 예시적인 실시예는 첨부하는 도면을 참조하여 설명되며,

도 1은 색 비트 깊이 스케일러블 비디오 코딩 및 디코딩의 구조이다;

도 2는 인코딩 프로세스의 플로우도이다;

도 3은 평활화된 히스토그램 명세화의 플로우도이다;

도 4는 히스토그램 평활화의 예이다;

도 5는 디코딩 프로세스의 플로우도이고;

도 6은 완전한 인핸스먼트 레이어 인코더의 개략이다.

도 1은 색 비트 깊이 스케일러블 비디오 코딩 및 디코딩의 일반 구조를 도시한다. M 비트의 종래의 색 해상도 및 N 비트의 인핸스드 색 해상도에서(N>M), 인코더 ENC는 각각의 비디오 이미지를 두 번 수신한다. 2개의 독립적인 별개의 비디오 스트림을 생성하는 대신에, 색 베이스 계층 및 색 인핸스먼트 계층이 생성되는데, 색 인핸스먼트 계층은 색 베이스 계층에 대해 독립적이다. 도 1에 도시한 바와 같이, 계층간 예측은 더 높은 비트 깊이의 색을 예측하기 위한 인코더 및 디코더 둘 다에서 수행된다.

도 1에서 베이스 계층 인코더 블록은 모든 종래의 인코딩 단계, 예를 들면 개별 휘도 및 색차 값, DCT 변환 등을 생성하는 것과 같은 임의의 공간 및/또는 시간 리던던시 감소를 포함한다. 디코더 측 상에서, 베이스 계층 디코더는 각각의 디코딩을 수행한다. "베이스 계층" 및 "인핸스먼트 계층"은 색 비트 깊이만을 지칭한다. 유리하게, 어떠한 비디오 인코딩 및 디코딩 방법은 베이스 계층에 대해 이용될 수 있고, 본 발명에 의해 가능한 색 인핸스먼트 프로세스로부터 독립적이다. 베이스 계층 디코더의 출력은 예를 들면 M 비트 색 해상도를 갖는 종래의 디스플레이 장치에 적당하지만, 인핸스먼트 계층 디코더의 출력은 적색, 녹색 및 청색 각각의 부분 이미지를 2^N개(N>M)의 상이한 색 값으로 디스플레이할 수 있는 높은 품질의 디스플레이에 적당하다. M이 예를 들어 8이면, N에 대한 예는 10, 12 또는 16비트이나, 원칙적으로 M 및 N (N>M)의 모든 조합이 구현될 수 있다. 품질 확장성, 공간 확장성 및 시간 확장성과 같은 다른 형식의 확장성처럼, 계층간 예측은 코딩 효율에 중대하게 영향을 미친다.

본 발명은 평활화된 히스토그램 명세화(smoothed histogram specification)에 기초하여 색 비트 깊이에 대한 공간적으로 균일한 접근을 제안한다. 동일한 장면을 도시하는 2개의 이미지를 생각하자. 2개의 이미지에 대해, 대응하는 픽셀(여기서 "대응 픽셀"은 2개의 이미지에 각각 속하지만 이미지 좌표계에서 동일한 좌표를 갖는 2개의 픽셀을 의미함)은 동일한 장면 위치를 지칭한다. 대응 픽셀 간의 차이는 색 비트 깊이뿐이다. 하나의 이미지의 각각의 색이 M 비트 길이의 코드 워드(code word)로 인코딩되지만, 다른 이미지는 M<N인 N 비트 길이의 코드 워드로 인코딩된다고 가정하자. 역 톤(inverse tone) 맵핑 작업은 M 비트 이미지로부터 N 비트 이미지의 예측된 버전을 생성하는 것이고, 예측된 N 비트 이미지와 오리지널 N 비트 이미지 간의 차이가 최소화되는 기준을 따르는 것이다. 예측된 N 비트 이미지와 오리지널의 N 비트 이미지 간의 차이는 임의의 방법, 예를 들어 비디오 압축 분야에서 광범위하게 허용되고 이용되는 PSNR로 측정될 수도 있다. 더욱이, 이 경우에서 가장 중요한 양상은, 예측된 이미지가 어떻게 보이는지보다, 예측된 이미지가 이하의 나머지 데이터 압축에 대해 얼마나 효율적으로 작용하는지이다.

도 2는 본 발명의 일 실시예의 일반 인코딩 프로시져를 도시한다. 베이스 계층 이미지 IM_BL은 맵핑 함수를 구현하는 룩업테이블 LUT_final을 이용하는 TR로 변환된다. 변환 TR의 결과는 변환된 베이스 계층 이미지 IM_{TR, BL}이다. 룩업테이블 LUT_final은 또 다른 중간 룩업테이블 LUT_inter로부터 생성되고, 중간 룩업테이블 LUT_inter는 베이스 계층 화상, 바람직하게는 재생된 베이스 계층 화상의 색 히스토그램, 및 인핸스먼트 계층 화상의 색 히스토그램으로부터 생성된다. 이러한 화상의 상이한 색 해상도로 인하여, 이러한 화상의 색 히스토그램은 상이한 양의 빈(bin)(각각의 가능한 색에 대해 한 개)을 포함할 뿐만 아니라, 인핸스먼트 계층 화상의 빈 중에서 값의 분포는 각각의 베이스 계층 색, 및 시퀀스의 각 화상에 대해 상이할 수도 있다. 예를 들어, 베이스 계층은 M 비트를 갖고 인핸스먼트 계층은 N 비트를 갖는다고 하면, 베이스 계층 히스토그램의 각각의 빈은 인핸스먼트 계층 히스토그램의 2^N-M개의 빈에 대응하는데, 즉 각각의 베이스 계층 픽셀값은 통상적으로 2^N-M개의 픽셀값 중 하나를 예측하는 기능을 수행한다. 이 예측은 2개의 화상의 색 히스토그램을 고려하여 최적화된다. 중간 룩업테이블 LUT_inter은, 후술된, 인핸스먼트 계층 화상의 색 히스토그램 Hist_EL과 베이스 계층 화상 IM_BL로부터 생성된 색 히스토그램 SMHist_BL 사이의 변환을 설명하는 히스토그램 변환 함수를 구현한다.

변환된 베이스 계층 화상 IM_TR,BL은 인핸스먼트 계층 화상 IM_EL을 예측하는 데 사용되고, 차이 또는 나머지 Δ는 계산되고, IM_res로 인코딩되며 전송된다. 이 모든 프로세스는 R, G 및 B에 대해 개별적이다.

도 3은 제안된 공간적으로 균일한 역 톤 맵핑의 세부 사항을 도시한다. 더 나은 이해를 위하여, 베이스 계층(M 비트) 이미지는 "입력 이미지" NI로 지정되나 인핸스먼트 계층(N 비트) 이미지는 "원하는 이미지" DI로 재지정된다. 하나의 기본 아이디어는 히스토그램 명세화의 알고리즘(R.C. Gonzalez and R.E. Woods, "Digital image processing", 2^nd edition, pp. 94-102, Prentice Hall, 2002)을 NI 및 DI에 대해 적용하는 것이다 룩업테이블은 DI의 히스토그램에 의해 지정된 바와 같은, 특정한 히스토그램을 갖는 NI를 변환하도록 생성된다.

그러나, 색 비트 깊이 예측을 위한 고전적 히스토그램 명세화를 이용할 때 2가지 주요한 단점이 있다. 우선, 히스토그램은 이산값을 갖기 때문에, 변환된 NI는 DI와 정확히 동일한 히스토그램을 갖지 않는다. 대신, 변환된 NI의 히스토그램은 DI의 히스토그램에 대한 근사값이다. 다음으로, 2개의 히스토그램의 상이한 빈 크기(다른 비트 깊이로 인한)는 히스토그램 사이에서의 매칭을 저하시킨다(빈 크기는 각각의 색 성분 레벨의 수를 의미하고, 예를 들어 8비트 이미지의 빈 크기는 256). 이는 고려된 색 비트 깊이 예측에서 특정한 단점이다. 예를 들어, NI가 단순히 DI로부터 비트 시프트만한 경우에, 히스토그램 명세화에 의해 획득되었던 변환된 NI의 PSNR은 간단한 역 비트 시프트에 의해 획득된 PSNR보다 때로는 더 낮을 수 있다.

이러한 단점들을 극복하기 위해, NI의 히스토그램을 "평활화"한 후 구체화하는 것을 제안한다. 평활화된 히스토그램 SMHist_BL은 히스토그램 명세화의 프로세스에 대한 원하는 히스토그램으로서 역할을 하는 DI의 히스토그램 Hist_EL과 동일한 빈 크기이다. 고전적 히스토그램 명세화 알고리즘은 평활화된 히스토그램 및 원하는 히스토그램 상에 적용된다. 최종적으로, "확률 맵핑"으로 지칭되는 후처리가 수행되어 룩업테이블을 획득한다. 평활화된 히스토그램 명세화의 플로우챠트는 도 3에 도시된다.

은 NI의 히스토그램 Hist_BL을 나타내고, DI의 히스토그램 Hist_EL은

에 의해 설명된다.

도 3에서, 낮은 비트(M 비트) 이미지 NI에 대해, 하나의 색 채널의 히스토그램은 p_x(x)이다. 히스토그램은 수학식 (5), 및 높은 비트(N 비트) 이미지 DI의 히스토그램과 동일한 빈 크기를 갖는 평활화된 히스토그램 p_x'(x) 결과를 사용하여 평활화된다. 값은 축적되고, s_k(도 3의 예에 대해 k=1,…,16)가 된다. 이는 함수 F(x_k')으로 표현될 수 있다.

높은 비트(N 비트) 이미지 DI는 동일한 색 채널의 히스토그램 p_z(z)을 갖고, 히스토그램 p_z(z)은 축적되어 v_k(k는 이상과 동일)가 된다. 이는 함수 G(z_k)로 표현될 수 있다. 그리고나서, 분포 v_j는 결정되고, s_k의 각각의 값에 대하여 최상의 매칭값 v₁(높은 비트 이미지 DI의 v_k 값에서의)을 부여한다. 이 분포 v_j는 값 s_k(그러므로 x_k')로부터 값 v_k까지 변환을 설정하는데, 이는 변환 G의 역이다.

이하에서, 히스토그램 평활화의 프로세스가 설명된다. 히스토그램 평활화의 목적은 원하는 히스토그램과 동일한 빈 크기를 갖도록 입력 히스토그램을 "스트레치(stretch)"하는 것이다. 이는 히스토그램 명세화 프로세스에 대해 필요조건이다. 도 3의 표시에 따르면, 수학식 (5)에 설명된 바와 같이, p_x(x_k) 값은

의 대응 범위로 균등하게 분포된다.

<수학식 5>

"균일한 분포"를 확실하게 하기 위해, 비정규화 히스토그램이 이용된다. 평활화된 히스토그램의 간단한 예는 도 4에 도시된다. 도 4의 a)는 특정 색(예를 들어 레드)의 가능한 2²=4개 색 값을 의미하는 2비트의 색 비트 깊이를 갖는 베이스 계층 입력 화상의 색 히스토그램을 도시한다. 히스토그램 평활화 프로세스는 2⁴=16개의 가능한 색 값을 의미하는 4비트의 색 비트 깊이까지 히스토그램을 "스트레치"한다. 입력 화상의 단일 빈에서 값의 수는 이 특정 색 값을 갖는 입력 화상의 픽셀 수이다. 예를 들면, 값 0에 대응하는 가장 왼쪽 빈에서의 40 값은 입력 화상의 40 픽셀이 0의 "레드" 값을 갖는다는 것을 의미한다(이 히스토그램에서 "레드"로 지칭됨). 평활화 프로세스는 평활화된 히스토그램의 2^N-M개의 대응 빈에 이러한 값을 분포시킨다. 이 2^N-M=4인 예에서 평활화된 히스토그램의 첫 번째 4개 빈은 오리지널 히스토그램의 첫 번째 빈에 대응한다. 수학식 (5)에 따르면, 오리지널 히스토그램의 40개 값은, 도 4의 b)에 도시된 바와 같이, 평활화된 히스토그램의 4개 대응 빈으로 균등하게 분포된다.

평활화 이면의 아이디어는 평활화가 입력 히스토그램의 연속성을 향상시켜서, 히스토그램 명세화가 더 효율적으로 될 것이라는 것이다. 상세하게, 연속적인 그레이 레벨 이미지에 대해 도 3에 나타난 수학식 (1), 수학식 (2) 및 수학식 (4)의 대안을 기입한다:

<수학식 1'>

<수학식 2'>

<수학식 4'>

연속적 그레이 레벨의 경우에서, 입력 히스토그램은 원하는 히스토그램만큼 정확히 동일하게 지정될 수 있다. 그러나, 상술한 바와 같이, 이산 그레이 레벨에 대해 원하는 히스토그램에 대한 근사만이 달성될 수 있다. 더욱이, 그레이 레벨의 수가 무한대에 접근하고 있기 때문에, 상기 근사는 정확한 매치에 접근하고 있다. 따라서, 이론적으로, 평활화 프로시져는 입력 히스토그램의 이산화 동안 샘플링 속도를 증가시키는 것과 동등하고, 상이한 빈 크기를 갖는 2개의 히스토그램 간의 직접적인 히스토그램 명세화를 능가한다.

평활화된 히스토그램은 이 알고리즘에서 중간 단계일 뿐이다. 이에 대응하는 이미지는 없다.

이하는 확률 맵핑의 프로세스를 설명한다. 고전적 히스토그램 명세화 알고리즘이 평활화된 히스토그램 p_x'(x) 및 원하는 히스토그램 p_z(z)에 적용되었다면, 중간 룩업테이블 y_k'=LUT_inter(x_k')이 생성된다. 다음 문제는 중간 룩업테이블의 대응 범위

의 다중 맵핑값에서 x_k의 고유 맵핑값을 선택하는 것이다. 전형적으로, 2개의 다른 기준이, 이하 수학식 (6) 및 수학식 (7)에 도시된 바와 같이, 확률 맵핑을 위한 기준으로서 제안된다:

<수학식 6>

<수학식 7>

y_k는 x_k의 맵핑값이다. 최종 룩업테이블

은 오리지널 히스토그램을 원하는 히스토그램으로 맵핑하도록 생성된다.

수학식 (6)은 x_k가 대응하는 2^N-M개의 값 중에서, 원하는 히스토그램 p_z(y₁')의 가장 높은 값을 갖는 하나를 선택하는 것을 의미한다.

수학식 (7)은 x_k가 대응하는 2^N-M개의 값 중에서, 그 평균보다 작거나 동일한 가장 가까운 정수를 최종적으로 맵핑된 값으로서 사용하는 것을 의미한다.

LUT_inter은 입력 이미지의 평활화된 히스토그램을 원하는 이미지의 히스토그램으로 맵핑하기 때문에 "일대일" 맵핑이다. 그러나, 입력 이미지의 연속된(straight) 히스토그램을 고려하면, 각각의 x_k가 2^N-M개의 값에 대응하는 것을 알 수 있다. "확률 맵핑"의 작업은 2^N-M개의 값으로부터 하나의 값만을 x_k의 최종적으로 맵핑된 값으로서 선택하는 것이다. 따라서, LUT_final은 여전히 "일대일" 맵핑이다: LUT_final은 각각의 값 x_k을 값 y_k로 맵핑한다. 원하는 이미지의 총 값(2^N) 중 2^M개의 값만이 대응 x_k 값을 갖기 때문에 룩업테이블의 맵핑은 역이 가능하다.

상술된 알고리즘이 입력 이미지 및 원하는 이미지에 적용될 경우에, 두 이미지의 히스토그램은 계산된다. 그리고나서 입력 히스토그램은 평활화되고, "평활화된 히스토그램"이 된다. 남은 단계(고전적 히스토그램 명세화 및 확률 맵핑)가 종결된 후에, 최종 룩업테이블은 입력 히스토그램의 레벨을 원하는 히스토그램의 레벨로 맵핑되도록 생성된다. 그리고나서, 예측된 이미지는 룩업테이블을 입력 이미지의 각각의 픽셀에 적용함으로써 생성된다.

도 6은 R, G 및 B 이미지에 대한 별도의 분기를 구비한 완전한 인핸스먼트 계층 인코더의 개략을 도시한다. 베이스 계층은 통상적으로 인코딩된다.

본 발명은 비디오 인코더 및 비디오 디코더에 이용가능하고, 특히 동일한 공간 해상도의 색 베이스 계층 및 인핸스먼트 계층을 최적화된 효율로 인코딩/디코딩하는 데 이용가능하다.

Claims

M<N이고, 각각 M 비트를 갖는 RGB 픽셀값으로 이루어진 제1 비디오 이미지(IM_BL)와 각각 N 비트를 갖는 RGB 픽셀값으로 이루어진 제2 비디오 이미지(IM_EL)를 인코딩하기 위한 방법으로서,

상기 제1 및 제2 비디오 이미지는 동일한 공간 해상도를 갖고,

2^N개의 가능한 입력 값을 갖고 상기 제1 및 제2 비디오 이미지의 색 히스토그램(Hist_BL, Hist_EL)에 기초하는 제1 전송 함수(LUT_inter)를 생성하는 단계;

상기 제1 전송 함수(LUT_inter)에 기초하여 제2 전송 함수(LUT_final) - 상기 제2 전송 함수는 2^M개의 가능한 입력값을 갖고, 각각의 입력값을 상기 제1 전송 함수의 2^(N-M)개의 대응 값 중 하나에 맵핑하기 위한 함수를 포함함 - 를 생성하는 단계;

상기 제2 전송 함수(LUT_final)를 상기 제1 비디오 이미지에 적용하는 단계 - 상기 제2 전송 함수는 픽셀을 맵핑하기 위해 이용되고, 변환된 제1 비디오 이미지(IM_TR,BL)가 생성됨 - ;

상기 변환된 제1 비디오 이미지(IM_TR,BL)와 상기 제2 비디오 이미지(IM_EL) 간의 차이(IM_res)를 계산하는 단계;

상기 차이(IM_res)를 인코딩하는 단계;

상기 제1 비디오 이미지(IM_BL)를 인코딩하는 단계; 및

상기 인코딩된 제1 비디오 이미지(IM_BL), 상기 제2 전송 함수(LUT_final) 및 상기 인코딩된 차이(IM_res)를 전송하는 단계

를 포함하는 방법.
제1항에 있어서,

상기 제1 전송 함수(LUT_inter)를 생성하는 단계는

재생된 제1 이미지의 제1 색 히스토그램(Hist_BL) - 상기 제1 색 히스토그램은 2^M개의 빈(bin)을 가짐 - 을 생성하는 단계;

상기 제2 이미지의 제2 색 히스토그램(Hist_EL) - 상기 제2 색 히스토그램은 2^N개의 빈을 가짐 - 을 생성하는 단계; 및

상기 제1 색 히스토그램(Hist_BL) 으로부터 2^N개의 빈을 갖는 평활화된 색 히스토그램 (SmHist_BL)을 생성하는 단계 - 상기 제1 히스토그램의 각각의 빈의 값은 2^(N-M)개 빈으로 분포되고, 상기 제1 전송 함수(LUT_inter)는 상기 평활화된 색 히스토 그램(SmHist_BL)과 상기 제2 색 히스토그램(Hist_EL) 간의 전송을 정의함 -

를 포함하는 방법.
제1항 또는 제2항에 있어서,

상기 제1 비디오 이미지(IM_BL)를 인코딩하는 단계; 및

상기 인코딩된 제1 비디오 이미지를 디코딩하여 재생된 제1 비디오 이미지 (IM_BL,rec)를 획득하는 단계

를 더 포함하고,

상기 제2 전송 함수를 적용하는 단계(TR)는 상기 재생된 제1 비디오 이미지를 참조하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,

상기 제2 전송 함수(LUT_final)의 각각의 입력값을 상기 제1 전송 함수의 2^(N-M)개의 대응 값 중 하나로 맵핑하기 위한 함수는 확률 맵핑 함수인 방법.
제4항에 있어서,

상기 확률 맵핑 함수는 상기 제2 전송 함수의 2^M개의 값 각각에 대해 상기 제1 전송 함수의 2^N-M개의 대응 값으로부터 하나의 값을 선택하고, 상기 하나는 상 기 제2 히스토그램(Hist_EL)에서 가장 높은 값을 갖는 방법.
제4항에 있어서,

상기 확률 맵핑 함수는 상기 제2 전송 함수의 2^M개의 값 각각에 대해 상기 제1 전송 함수의 2^N-M개의 대응 값으로부터 하나의 값을 선택하고, 상기 하나는 상기 제1 전송 함수의 2^N-M 대응 값의 평균값보다 작거나 동일한 가장 가까운 정수인 방법.
비트스트림(bs)에서 수신된 제1 및 제2 비디오 이미지 - 상기 제1 및 제2 비디오 이미지는 동일한 공간 해상도를 가짐 - 를 디코딩하기 위한 방법으로서,

상기 비트스트림(bs)으로부터 상기 제1 및 제2 비디오 이미지를 위한 비디오 데이터 및 색 인핸스먼트 제어 데이터를 추출하는 단계;

상기 제1 비디오 이미지를 디코딩하고 재생하는 단계(dec_BL) - 재생된 제1 비디오 이미지(IM_BL)는 각각 M비트의 색 픽셀값을 가지면서 획득됨 - ;

상기 색 인핸스먼트 제어 데이터로부터 맵핑 테이블(LUT_final)을 구성하는 단계(dec_LUT);

상기 맵핑 테이블(LUT_final)을 상기 재생된 제1 비디오 이미지(IM_BL)의 픽셀에 적용하는 단계 - 변환된 제1 비디오 이미지(LUT_final)는 상기 재생된 제1 비디오 이미지보다 상이한 색 히스토그램을 가지고 생성됨 - ;

제2 비디오 이미지(IM_res) - 상기 제2 비디오 이미지는 픽셀 차이값을 포함함 - 를 디코딩하는 단계; 및

상기 디코딩된 제2 비디오 이미지(IM_res)를 상기 변환된 제1 비디오 이미지(IM_TR,BL)에 추가하는 단계 - 재생된 제2 비디오 이미지(IM_EL)는 M<N인 N 비트를 각각 갖는 색 픽셀값을 가지고 획득됨 -

를 포함하는 방법.
제7항에 있어서,

상기 변환된 제1 비디오 이미지(IM_TR,BL)는 상기 재생된 제1 비디오 이미지 (IM_BL)의 각각의 색 히스토그램과 다른 적색, 녹색 및/또는 청색에 대한 색 히스토그램을 갖는 방법.
제7항 또는 제8항에 있어서,

3개의 개별 맵핑 테이블(LUT_final) 또는 맵핑 테이블 면적은 상기 색 인핸스먼트 제어 데이터로부터 생성되고, 개별 맵핑 테이블 또는 맵핑 테이블의 영역의 각각은 상기 적색, 녹색 및 청색 중 하나에 관한 것인 방법.
M<N이고, 각각 M 비트를 갖는 RGB 픽셀값으로 이루어진 제1 비디오 이미지(IM_BL)와 각각 N 비트를 갖는 RGB 픽셀값으로 이루어진 제2 비디오 이미지(IM_EL)를 인코딩하기 위한 장치로서,

상기 제1 및 제2 비디오 이미지는 동일한 공간 해상도를 갖고,

2^N개의 가능한 입력 값을 갖고 상기 제1 및 제2 비디오 이미지의 색 히스토그램(Hist_BL, Hist_EL)에 기초하는 제1 전송 함수(LUT_inter)를 생성하기 위한 수단;

상기 제1 전송 함수(LUT_inter)에 기초하여 제2 전송 함수(LUT_final) - 상기 제2 전송 함수는 2^M개의 가능한 입력값을 갖고, 각각의 입력값을 상기 제1 전송 함수의 2^(N-M)개의 대응 값 중 하나에 맵핑하기 위한 함수를 포함함 - 를 생성하기 위한 수단;

상기 제2 전송 함수(LUT_final)를 상기 제1 비디오 이미지에 적용하기 위한 수단 - 상기 제2 전송 함수는 픽셀을 맵핑하기 위해 이용되고, 변환된 제1 비디오 이미지(IM_TR,BL)가 생성됨 - ;

상기 변환된 제1 비디오 이미지(IM_TR,BL)와 상기 제2 비디오 이미지(IM_EL) 간의 차이(IM_res)를 계산하기 위한 수단;

상기 차이(IM_res)를 인코딩하기 위한 수단;

상기 제1 비디오 이미지(IM_BL)를 인코딩하기 위한 수단; 및

상기 인코딩된 제1 비디오 이미지(IM_BL), 상기 제2 전송 함수(LUT_final) 및 상기 인코딩된 차이(IM_res)를 전송하기 위한 수단

을 포함하는 장치.
제10항에 있어서,

상기 제1 전송 함수(LUT_inter)를 생성하기 위한 수단은

재생된 제1 이미지의 제1 색 히스토그램(Hist_BL) - 상기 제1 색 히스토그램은 2^M개의 빈(bin)을 가짐 - 을 생성하기 위한 수단;

상기 제2 이미지의 제2 색 히스토그램(Hist_EL) - 상기 제2 색 히스토그램은 2^N개의 빈을 가짐 - 을 생성하기 위한 수단; 및

상기 제1 색 히스토그램(Hist_BL) 으로부터 2^N개의 빈을 갖는 평활화된 색 히스토그램 (SmHist_BL)을 생성하기 위한 수단 - 상기 제1 히스토그램의 각각의 빈의 값은 2^(N-M)개 빈으로 분포되고, 상기 제1 전송 함수(LUT_inter)는 상기 평활화된 색 히 스토그램(SmHist_BL)과 상기 제2 색 히스토그램(Hist_EL) 간의 전송을 정의함 -

을 포함하는 장치.
비트스트림(bs)에서 수신된 제1 및 제2 비디오 이미지 - 상기 제1 및 제2 비디오 이미지는 동일한 공간 해상도를 가짐 - 를 디코딩하기 위한 장치로서,

상기 비트스트림(bs)으로부터 상기 제1 및 제2 비디오 이미지를 위한 비디오 데이터 및 색 인핸스먼트 제어 데이터를 추출하기 위한 수단;

상기 제1 비디오 이미지를 디코딩하고 재생하기 위한 수단(dec_BL) - 재생된 제1 비디오 이미지(IM_BL)는 각각 M비트의 색 픽셀값을 가지면서 획득됨 - ;

상기 색 인핸스먼트 제어 데이터로부터 맵핑 테이블(LUT_final)을 구성하기 위한 수단(dec_LUT);

상기 맵핑 테이블(LUT_final)을 상기 재생된 제1 비디오 이미지(IM_BL)의 픽셀에 적용하기 위한 수단 - 변환된 제1 비디오 이미지(LUT_final)는 상기 재생된 제1 비디오 이미지보다 상이한 색 히스토그램을 가지고 생성됨 - ;

제2 비디오 이미지(IM_res) - 상기 제2 비디오 이미지는 픽셀 차이값을 포함함 - 를 디코딩하기 위한 수단; 및

상기 디코딩된 제2 비디오 이미지(IM_res)를 상기 변환된 제1 비디오 이미 지(IM_TR,BL)에 추가하기 위한 수단 - 재생된 제2 비디오 이미지(IM_EL)는 M<N인 N 비트를 각각 갖는 색 픽셀값을 가지고 획득됨 -

을 포함하는 장치.