KR20170037608A

KR20170037608A - 이미지 데이터를 프로세싱하기 위한 방법 및 장치

Info

Publication number: KR20170037608A
Application number: KR1020177001827A
Authority: KR
Inventors: 파트리끄 로페즈; 파브리스 레르앙네; 야닉 올리비에; 다비 뚜즈
Original assignee: 톰슨 라이센싱
Priority date: 2014-07-22
Filing date: 2015-07-20
Publication date: 2017-04-04
Also published as: KR102401881B1; BR112017000992A2; EP3172718A1; MX2017000846A; TW201605228A; US20170223366A1; CN106537912A; AU2015294052B2; JP2020145707A; JP6703978B2; AU2015294052A1; EP2977958A1; JP6980054B2; JP2017525290A; EP3172718B1; CN106537912B; WO2016012396A1; TWI725939B; US10757426B2

Abstract

발명은 동적 범위를 확장하기 위해 인코딩 전에 색차 성분들을 스케일링하는 것과 관련된다. 일 실시형태에서, 색차 성분들은 양자화 전에 인코딩된다. 다른 실시형태에서, 색차 성분들은 양자화 후에 인코딩된다. 디코더는 디코딩 프로세스를 위해 이득 팩터를 나타내는 데이터를 프로세싱하도록 구성된다.

Description

이미지 데이터를 프로세싱하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE DATA}

이 발명은 이미지 데이터를 프로세싱하기 위한 방법 및 디바이스에 관한 것이다. 특히, 배타적으로는 아니지만, 발명은 색차 (color-difference) 성분들의 인코딩 및 색차 성분들의 디코딩에 관한 것이다.

디지털 카메라에 의해 캡처된 이미지들 또는 컴퓨터 생성된 이미지들과 같은 이미지들은 각각의 픽셀 또는 픽셀들의 그룹의 색 특성들을 정의하는 색 정보를 포함한다. 그러한 색 정보는 색 공간에서 색을 정의하는 색 성분들로서 나타낼 수 있다. 색 성분들은, 예를 들어 적색, 녹색, 또는 청색 광 성분 세기 (RGB) 의 측정으로서 또는 이러한 측정을 위해 청색 또는 적색 쪽으로 뉴트럴 그레이스케일 색으로부터 루마 휘도 및 크로마 색 편차들 (YUV) 의 측정으로서 색의 세기를 나타낼 수 있다. YUV 모델은 일반적으로 하나의 루마 (Y) 및 2 개의 크로미넌스 (UV) 성분들에 관하여 색 공간을 정의한다. 일반적으로 Y 는 루마 성분 (휘도) 을 나타내고 U 및 V 는 크로미넌스 (색) 또는 크로마 성분들을 나타낸다.

XYZ 색 공간은 CIE (Commission Internationale de l’Eclairage) 에 의해 개발된 국제 표준이다. 이 색 모델은 3 개의 프라이머리들, XYZ 에 기초하며, 모든 가시성 색들은 X, Y, 및 Z 의 양의 값들을 사용하여 나타낸다. Y 프라이머리는 루미넌스에 근접하여 매칭하도록 정의되는 한편, X 및 Z 프라이머리들은 색 정보를 부여한다.

높은 동적 범위 이미징 (HDR 또는 HDRI 로 또한 지칭됨) 은 전형적인 낮은 동적 범위 (LDR) 이미지들에 비해 더 큰 색역 (color gamut) 의 범위, 및 장면의 밝은 영역과 어두운 영역 사이에서 휘도의 더 큰 동적 범위를 가능하게 한다. 이것은 전체 범위에 걸쳐 높은 신호 정확성을 제공하기 위해서 더 넓은 동적 범위로 신호 표현을 확장하는 것에 의해 HDR 이미징에서 달성된다. HDR 이미지들에 있어서, 픽셀들의 색 성분 값들은 보통 플로팅 포인트 포맷 (예를 들어, 각각의 성분에 대해 32 비트 또는 16 비트, 즉 플로트 또는-하프 플로트) 을 포함한 많은 수의 비트들 (예를 들어, 16 비트부터 64 비트까지) 로 나타내며, 가장 대중적인 포맷은 openEXR 하프-플로트 포맷 (RGB 성분 당 16 비트, 즉 픽셀당 48 비트) 또는 긴 표현을 갖는 정수들로는, 통상적으로 적어도 16 비트이다. 그러한 범위들은 인간 가시계의 고유 감도에 대응한다. 이러한 방식으로, HDR 이미지들은 실제 장면들에서 발견되는 색 및 휘도의 넓은 범위를 더 정확히 나타냄으로써 장면의 보다 현실적인 표현들을 제공한다.

색 정보, 특히 HDR 정보의 저장을 위해 필요한 메모리의 양을 감소시키고, 송신에서의 대역폭 사용을 감소시키기 위해서, 이미지 정보의 색 정보를 더 작고, 더 관리가능한 데이터 사이즈들로 압축하기 위한 많은 기법들이 존재한다.

예를 들어, SMPTE 2085 표준은 높은 동적 범위 XYZ 신호들을 위해 사용될 YDzDx 색차 인코딩을 정의한다. 비선형으로 인코딩된 X', Y' 및 Z' 값들로 나타낸 색 정보는 Y', D'z 및 D'x 색차 신호들로 변환된다. 크로마 신호 (D'z) 는 성분들 Z' 와 Y' 사이의 가중화된 차이로서 정의되고, D'x 는 색 성분들 X' 와 Y' 사이의 가중화된 차이이다. 루미넌스 신호 (Y') 는 변환에 의해 변경되지 않는다. SMPTE 2085 표준은 X'Y'Z' 로부터 Y'D'ZD'X 로의 변환 및 Y'D'ZD'X 로부터 X'Y'Z' 로의 변환을 정의한다.

색차 성분들 D'z 및 D'X 의 역학은 콘텐츠를 위해 사용된 색 공간에 의존한다. 예를 들어, ITU Rec709 에 있어서, D'x 는 범위 [-0.135 ; 0.131] 내에서 변화하는 반면, ITU Rec2020 가 고려될 때 외도 범위는 [-0.496; 0.147] 이다. 따라서, 유효 역학은 ITU Rec2020 에서 전체 범위의 약 65% 이지만 ITU Rec709 에서는 단지 27% 이다. 감소된 입력 데이터는 인코더 입력에서 더 많은 양자화 노이즈의 도입을 유도할 수 있다.

본 발명은 앞서 언급한 것에 의해 생각으로 창안되었다.

일반적인 형태에 있어서, 발명은 동적 범위를 확장하기 위해 인코딩 전에 색차 성분들을 다시 적용하는 것과 관련된다.

발명의 제 1 양태에 따라, 색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 이미지 데이터를 인코딩하는 방법이 제공되며, 방법은, 이미지의 적어도 일 부분에 대하여, 이미지 부분의 색 성분들로부터 획득된 색차 성분들을, 그 동적 범위를 확장하기 위해 이득 팩터를 적용하는 것에 의해, 스케일링하는 단계; 및 스케일링된 색차 성분들을 인코딩하는 단계를 포함한다. 개별 색차 성분에 적용된 이득 팩터는 색 공간의 색역에 의존할 수도 있다.

발명의 일 실시형태에서, 개별 색차 성분에 적용된 이득 팩터는 색차 성분이 - 0.5 내지 0.5 범위 내에 있도록 하는 것이고, 색차 성분들이 유도되는 색 성분들 (X', Y', Z') 은 [0.0, 1.0] 범위이다.

발명의 일 실시형태에서, 색차 성분들의 스케일링은 색차 성분들의 양자화 전에 적용된다.

일 실시형태에서, 색차 성분들의 스케일링은 색차 성분들의 양자화 후에 적용된다.

일 실시형태에서, 이미지 부분은 8 비트보다 더 큰 비트 심도를 갖는 높은 동적 범위 이미지 부분이다.

일 실시형태에서, 방법은 적용된 이득 팩터를 나타내는 데이터를 송신하는 단계를 더 포함한다. 예를 들어, 적용된 이득 팩터를 나타내는 데이터는, 색역이 예를 들어 비디오 유용성 정보의 matrix_coeff 필드에 포함될 수도 있는 것을 표시하는 비디오 유용성 정보 데이터의 필드에 포함된다.

발명의 제 2 양태에 따라, 색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 이미지 데이터를 디코딩하기 위한 방법이 제공되고, 방법은, 이미지의 적어도 일 부분에 대하여, 수신된 데이터 비트스트림을 디코딩하는 단계; 디코딩된 비트스트림으로부터, 색차 성분들을 획득하는 단계; 인코딩 전에 색차 성분들에 적용된 이득 팩터에 대응하는 재스케일링 팩터를 적용하는 것에 의해 색차 성분들을 재스케일링하는 단계; 및 이미지 부분의 대응 색 성분들을 획득하기 위해 재스케일링된 색차 성분들을 프로세싱하는 단계를 포함한다. 개별 색차 성분에 적용된 이득 팩터는 색 공간의 색역에 의존할 수도 있다.

일 실시형태에서, 방법은 예를 들어 비디오 유용성 정보의 필드에서, 인코딩 전에 적용된 이득 팩터를 나타내는 데이터를 수신하는 단계를 포함한다. 사용된 색역을 표시하는 데이터는 예를 들어 비디오 유용성 정보의 matrix_coeff 필드에 포함될 수도 있다.

발명의 제 3 양태는 색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 이미지 데이터를 인코딩하기 위한 인코딩 디바이스를 제공하며, 인코딩 디바이스는, 이미지 부분의 색 성분들로부터, 색차 성분들을 획득하기 위한 프로세싱 모듈; 색차 성분들을, 그 동적 범위를 확장하기 위해 이득 팩터를 적용하는 것에 의해 스케일링하기 위한 스케일러; 및 스케일링된 색차 성분들을 인코딩하기 위한 인코더를 포함한다.

인코딩 디바이스는 색 공간의 색역에 의존하는 개별 색차 성분에 이득 팩터를 적용하도록 구성될 수도 있다.

인코딩 디바이스는 색차 성분이 -0.5 내지 0.5 범위 이내이도록 개별 색차 성분에 이득 팩터를 적용하도록 구성될 수도 있다.

인코딩 디바이스는 색차 성분들의 양자화 전에 색차 성분들을 스케일링하도록 구성될 수도 있다.

다른 실시형태에서, 인코딩 디바이스는 색차 성분들의 양자화 후에 색차 성분들을 스케일링하도록 구성될 수도 있다.

일 실시형태에서, 인코딩 디바이스는 적용된 이득 팩터를 나타내는 데이터를 송신하기 위한 송신기를 포함한다. 예를 들어, 적용된 이득 팩터를 나타내는 데이터는, 사용된 색역이 예를 들어 비디오 유용성 정보의 matrix_coeff 필드에 포함될 수도 있는 것을 표시하는 비디오 유용성 정보 데이터의 필드에 포함된다.

색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 이미지 데이터를 디코딩하기 위한 디코딩 디바이스를 제공하며, 디코딩 디바이스는, 수신된 비트스트림을 디코딩하기 위한 디코더; 디코딩된 비트스트림으로부터 색차 성분들을 획득하기 위한 프로세싱 모듈; 인코딩 전에 색차 성분들에 적용된 이득 팩터에 대응하는 재스케일링 팩터를 적용하는 것에 의해 색차 성분들을 재스케일링하기 위한 재스케일러; 및 이미지 부분의 대응 색 성분들을 획득하기 위해 재스케일링된 색차 성분들을 프로세싱하기 위한 이미지 프로세서를 포함한다. 개별 색차 성분에 적용된 이득 팩터는 색 공간의 색역에 의존할 수도 있다.

디코딩 디바이스는, 예를 들어 비디오 유용성 정보의 필드에서, 인코딩 전에 적용된 이득 팩터를 나타내는 데이터를 수신하도록 구성될 수도 있다. 사용된 색역을 표시하는 데이터는 예를 들어 비디오 유용성 정보의 matrix_coeff 필드에 포함될 수도 있다.

발명의 제 5 양태는 데이터 패키지를 제공하며, 데이터 패키지는,

색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 인코딩된 이미지 데이터로서, 이미지 데이터는 발명의 제 1 양태의 임의의 실시형태의 방법에 따라 인코딩되는, 상기 인코딩된 이미지 데이터; 및 동적 범위를 확장하기 위해 인코딩되기 전에 이미지 데이터의 색차 성분들에 적용된 이득 팩터를 나타내는 데이터를 포함한다.

발명의 추가 양태는 전자 디바이스를 제공함, 전자 디바이스는,

메모리; 하나 이상의 프로세서들; 및 메모리에 저장되고 하나 이상의 프로세서들에 의한 실행을 위해 구성된 하나 이상의 모듈들을 포함하고,

하나 이상의 모듈들은,

이미지 부분의 색 성분들로부터, 색차 성분들을 획득하는 것;

색차 성분들을, 그 동적 범위를 확장하기 위해 이득 팩터를 적용하는 것에 스케일링하는 것; 및

스케일링된 색차 성분들을 인코딩하는 것을 포함하는,

색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 이미지 데이터를 인코딩하기 위한 명령들을 포함한다. 개별 색차 성분에 적용된 이득 팩터는 색 공간의 색역에 의존할 수도 있다.

발명의 추가 양태는 전자 디바이스를 제공하며, 전자 디바이스는,

하나 이상의 모듈들은,

수신된 비트스트림을 디코딩하는 것,

디코딩된 비트스트림으로부터, 색차 성분들을 획득하는 것, 및

인코딩 전에 색차 성분들에 적용된 이득 팩터에 대응하는 재스케일링 팩터를 적용하는 것에 의해 색차 성분들을 재스케일링하는 것; 및

이미지 부분의 대응 색 성분들을 획득하기 위해 재스케일링된 색차 성분들을 프로세싱하는 것을 포함하는, 색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 이미지 데이터를 디코딩하기 위한 명령들을 포함한다.

발명에 따른 방법들의 적어도 부분들은 컴퓨터 구현될 수도 있다. 따라서, 본 발명은 전부 하드웨어 실시형태, 전부 소프트웨어 실시형태 (펌웨어, 레지던트 소프트웨어, 마이크로-코드 등을 포함), 또는 "회로", "모듈", 또는 "시스템' 으로서 본 명세서에서 모두 일반적으로 지칭될 수도 있는 소프트웨어 및 하드웨어 양태들을 결합한 실시형태의 형태를 취할 수도 있다. 또한, 본 발명은 매체에서 구현되는 컴퓨터 사용가능 프로그램 코드를 갖는 표현의 임의의 유형의 매체에서 구현되는 컴퓨터 프로그램 제품의 형태를 취할 수도 있다.

본 발명은 소프트웨어에서 구현될 수 있기 때문에, 본 발명은 임의의 적절한 캐리어 매체 상의 프로그램가능 장치에 대한 프로비전을 위해 컴퓨터 판독가능 코드로서 구현될 수 있다. 유형의 캐리어 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 매직 테이프 디바이스 또는 고체 상태 메모리 디바이스 등과 같은 저장 매체를 포함할 수도 있다. 일시적인 캐리어 매체는 전기 신호, 전자 신호, 광학 신호, 음향 신호, 자기 신호 또는 전자기 신호, 예를 마이크로웨이브 또는 RE 신호와 같은 신호를 포함할 수도 있다.

이제 발명의 실시형태들은 단지 예시에 의해 그리고 다음의 도면들을 참조하여 기재될 것이다.
도 1 은 발명의 하나 이상의 실시형태들이 구현될 수 있는 데이터 통신 시스템의 일 예의 블록 다이어그램이다.
도 2 는 발명의 하나 이상의 실시형태들이 구현될 수 있는 이미지 프로세싱 디바이스의 일 예의 블록 다이어그램이다.
도 3 은 발명의 제 1 실시형태에 따른 인코딩 디바이스의 블록 다이어그램이다.
도 4 는 발명의 제 1 실시형태에 따른 인코딩 방법의 단계들을 도시하는 플로우 챠트이다.
도 5 는 발명의 제 2 실시형태에 따른 인코딩 디바이스의 블록 다이어그램이다.
도 6 은 발명의 제 2 실시형태에 따른 인코딩 방법의 단계들을 도시하는 플로우 챠트이다.
도 7 은 발명의 제 1 실시형태에 따른 디코딩 디바이스의 블록 다이어그램이다.
도 8 은 발명의 제 2 실시형태에 따른 디코딩 방법의 단계들을 도시하는 플로우 챠트이다.
도 9 는 발명의 제 2 실시형태에 따른 디코딩 디바이스의 블록 다이어그램이다.
도 10 은 발명의 제 2 실시형태에 따른 디코딩 방법의 단계들을 도시하는 플로우 챠트이다.
도 11 은 발명의 하나 이상의 실시형태들이 구현될 수 있는 수신 디바이스의 일 예의 블록 다이어그램이다.
도 12 는 발명의 하나 이상의 실시형태들이 구현될 수 있는 수신 디바이스의 다른 예의 블록 다이어그램이다.

도 1 은 발명의 하나 이상의 실시형태들이 구현될 수도 있는 데이터 통신 시스템의 일 예를 개략적으로 도시한다. 도시된 예에서는 스트리밍 시나리오가 고려되지만, 2 개의 디바이스들 사이의 데이터 전송이 예를 들어 광학 디스크 또는 USB 키와 같은 미디어 저장 디바이스를 사용하여 수행될 수도 있다는 것을 알 것이다. 도시된 예에서, 데이터 통신 시스템 (100) 은 송신 디바이스, 예를 들어 서버 (110) 를 포함하고, 이는 수신 디바이스, 예를 들어 클라이언트 단말기 (120) 에, 데이터 통신 네트워크 (150) 를 통해, 데이터 스트림의 데이터 패킷들을 송신하도록 동작가능하다. 데이터 통신 네트워크 (150) 는 광역 네트워크 (WAN) 또는 로컬 영역 네트워크 (LAN) 일 수도 있다. 그러한 네트워크는 예를 들어 무선 네트워크 (Wifi / 802.11a 또는 b 또는 g), 에더넷 네트워크, 인터넷 네트워크 또는 수개의 상이한 네트워크들로 구성된 혼합 네트워크일 수도 있다. 발명의 특정 실시형태에서, 데이터 통신 시스템은, 서버 (110) 가 다중 클라이언트들에 동일한 데이터 콘텐츠를 송신하는 디지털 텔레비전 브로드캐스트 시스템일 수도 있다.

서버 (110) 에 의해 제공된 데이터 스트림 (140) 은 이미지들의 시퀀스를 포함하는 하나 이상의 스틸 이미지들 또는 비디오 데이터를 나타내는 비트스트림을 포함한다. 비트스트림에 나타낸 이미지 데이터는, 발명의 일부 실시형태들에서, 카메라를 사용하여 송신 디바이스 (110) 에 의해 캡처되고, 송신 디바이스 (110) 상에 저장되고, 또 다른 데이터 제공자로부터 송신 디바이스 (110) 에 의해 수신되고, 또는 송신 디바이스 (110) 에서 생성된다. 송신 디바이스 (110) 에는 인코더로의 이미지 데이터 입력의 더 컴팩트한 표현인 송신을 위해 압축된 비트스트림을 제공하기 위해 이미지 데이터를 인코딩하기 위한 인코더 (111) 가 제공된다. 발명의 하나 이상의 실시형태들에서, 인코딩된 이미지 데이터는 이미지(들) 의 색 정보를 표현하는 인코딩된 색차 신호들을 포함한다.

클라이언트 단말기 (120) 는 송신된 비트스트림 (140) 을 수신하고, 클라이언트 단말기 상에서 멀티미디어 데이터를 렌더링하기 위해 발명의 실시형태들에 따라 비트스트림을 디코더 (121) 에 의해 디코딩한다. 클라이언트 단말기는, 고정 디바이스, 예컨대 텔레비전 또는 컴퓨터, 또는 포터블 컴퓨터, 핸드헬드 컴퓨터, 테블릿 컴퓨터, 모바일 전화기, 미디어 플레이어, 개인용 디지털 보조기 등을 포함하지만 이에 제한되지 않는, 포터블 전자 디바이스일 수도 있다.

도 2 는 본 발명의 적어도 하나의 실시형태를 구현하도록 구성된 이미지 프로세싱 디바이스 (200) 의 기능적 컴포넌트들을 개략적으로 도시하는 블록 다이어그램이다. 프로세싱 디바이스는 발명의 실시형태들에 따라 이미지를 인코딩하거나 디코딩하기 위한 인코더 또는 디코더를 포함할 수도 있다. 이미지 프로세싱 디바이스 (200) 는 마이크로컴퓨터, 워크스테이션과 같은 디바이스 또는 스마트폰, 테블릿, 또는 포터블 컴퓨터와 같은 포터블 디바이스일 수도 있다.

이미지 프로세싱 디바이스 (200) 는 메모리 (210), 하나 이상의 프로세싱 유닛들 (CPU들)(220), 어플리케이션으로 및 어플케이션으로부터 데이터의 전송을 위한 입력/출력 인터페이스 (230) 을 포함한다. 이미지 프로세싱 디바이스 (200) 의 컴포넌트들은 하나 이상의 통신 버스들 (250) 을 통해 통신한다. 메모리 (210) 는 고속 랜덤 액세스 메모리 (RAM)(211) 및 리드 온니 메모리 (ROM)(212) 를 포함할 수도 있다. ROM (212) 은 적어도 프로그램 코드 및 파라미터들을 저장한다. 발명의 실시형태들에 따른 방법들의 알고리즘은 ROM (212) 에 저장될 수도 있다. 스위치 온 될 때, CPU (220) 는 프로그램을 RAM (211) 에 업로드하고 대응 명령들을 실행한다.

RAM (211) 은, 레지스터에서, CPU (220) 에 의해 실행되고 디바이스 (200) 의 스위치 온 후에 업로드되는 프로그램, 레지스터에서의 입력 데이터, 레지스터에서 알고리즘의 상이한 상태들의 중간 데이터, 및 레지스터에서 알고리즘의 실행을 위해 사용된 다른 변수들을 포함한다.

메모리 (210) 는 비휘발성 메모리, 예컨대 하나 이상의 자기 디스크 저장 디바이스들, 플래시 메모리 디바이스들 또는 다른 비휘발성 고체 상태 메모리 디바이스들을 포함할 수도 있다. 일부 실시형태들에서, 메모리는 하나 이상의 CPU들 (220) 로부터 원격으로 위치된 스토리지를 더 포함할 수도 있다. 예를 들어, 스토리지는 인터페이스 및/또는 통신 네트워크를 통해 액세스가능함을 의미한다.

일부 실시형태들에서, 예를 들어 프로세싱 디바이스가 디코딩 디바이스인 경우, 그 디바이스에는, 키보드 또는 임의의 다른 사용자 상호작용 수단에 의해, 사용자와의 그래픽 인터페이스로서 작용하고 및/또는 데이터를 디스플레이하기 위한 디스플레이, 예를 들어 터치 감지형 스크린이 제공된다. 일부 실시형태들에서, 디바이스에는 배터리 (1140) 와 같은 전원이 제공된다. 대안의 실시형태들에 따라, 전원은 디바이스 외부에 있을 수도 있다.

이 실시형태에서, 프로세싱 디바이스 (200) 는 발명을 구현하기 위해 소프트웨어를 사용하는 프로그램가능 장치이다. 하지만, 대안으로, 프로세싱 디바이스는 하드웨어에서 (예를 들어, 주문형 집적 회로 또는 ASIC 의 형태로 또는 하드웨어 및 소프트웨어의 조합으로) 구현될 수도 있다.

도 3, 도 5, 도 7 및 도 9 에서, 도시된 모듈들은 별개의 물리 유닛들에 대응할 수도 있고 또는 대응하지 않을 수도 있는, 기능 모듈들에 대응한다. 예를 들어, 복수의 그러한 모듈들은 고유 컴포넌트 또는 회로에서 연관되거나, 소프트웨어 기능들에 대응할 수도 있다. 게다가, 모듈은 별도의 물리 엔티티들 또는 소프트웨어 기능들로 잠재적으로 구성될 수도 있다.

도 3 은 발명의 제 1 실시형태에 따른 인코딩 디바이스 (300) 의 기능 모듈들을 도시하는 개략적인 블록 다이어그램이다. 도 4 는 발명의 제 1 실시형태에 따른 인코딩의 방법의 단계들을 착수하는 플로우 챠트이다.

인코딩 디바이스 (300) 로의 입력 데이터는 이미지 데이터를 포함한다. 이미지 데이터는 인코딩될 이미지 또는 이미지의 부분을 나타낼 수도 있다. 이미지 데이터의 색 정보는 높은 동적 범위의 색역을 갖는 색 공간에서 나타낸다. 색 성분들은 연관된 색 공간에서 이미지 데이터의 색 정보를 정의한다. 이러한 특정 실시형태에서, 색 성분들은 XYZ 포맷으로 제공된다. 하지만, 발명은 예를 들어 RGB 와 같은 색 성분들의 다른 포맷들에 적용될 수도 있다는 것이 이해될 것이다. 단계 (S410) 에서, OETF (광-전자 전송 기능) 모듈 (310) 은 색 성분들에 광-전자 전송 기능을 적용한다. OEFT 기능은 제한된 역학으로 입력 신호를 압축하여, 픽처의 어두운 영역들에 더 상세하게 부여한다. 색 성분들 (X, Y, 및 Z) 로부터 획득된 변환된 색 성분들은 각각 X', Y', 및 Z' 로서 지칭된다.

단계 (S420) 에서, 색 변환 모듈 (320) 은 그 후 색차 성분들을 획득하기 위해 OETF 모듈로부터 출력된 색 성분 신호들 (X', Y' 및 Z') 에 대해 색 변환을 수행한다. 변환된 X, Y 및 Z 성분들은 Y', D'z 및 D'x 색차 신호들로 변환된다. 크로마 신호 (D'z) 는 색 성분들 Z' 와 Y' 사이의 가중화된 차이로서 정의되고, 색차 신호 (D'x) 는 색 성분들 X' 와 Y' 사이의 가중화된 차이이다. 루미넌스 신호 (Y') 는 변환에 의해 변경되지 않는다. 적용된 색 변환의 일 예가 하기에 수학적으로 표현된다. 색차 성분들 (D'Z, D'X) 는 다음과 같이 표현된다:

식중, 입력 색 성분들 X', Y' 및 Z' 는 [0.0, 1.0] 범위에 있고 출력 색차 성분들 D'z 및 D'x 은 공칭 범위 [-0.5, +0.5] 에 있다.

단계 (S430) 에서, 스케일링 모듈 (330) 은 대응 동적 범위들을 확장하기 위해서 개별 이득 팩터들 (gx 및 gz) 을 색차 성분들 (D'x 및 D'z) 에 적용한다. 적용된 이득 팩터들 (gx, gz) 은 사용된 색역에 의존한다. 일부 실시형태들에서, 적용된 이득 팩터들은, 스케일링된 색차 성분들 (gxD'x 및 gz D'z) 이 범위 [-0.5; 0.5] 이내이도록 하는 것이다.

색역들 (Rec709 및 Rec2020) 에 적용될 수도 있는 이득 팩터들의 일 예가 [표 1] 에 주어진다.

표 1: Dz 및 Dx 성분들에 적용될 이득 팩터들의 예

단계 (S440) 에서, 양자화 모듈 (340) 은 색차 성분 (Y') 및 스케일링된 색차 성분들 (gxD'x 및 gz D'z) 에 적용되어 양자화된 색차 성분들 (QgxD'x, QY' 및 Q gz D'z) 을 획득한다.

단계 (S450) 에서, 양자화된 색차 성분들 (QgxD'x, QY' 및 Q gz D'z) 는 이미지 데이터를 나타내는 비트 스트림으로 인코더 모듈 (350) 에 의해 인코딩된다.

도 5 는 발명의 제 2 실시형태에 따른 인코딩 디바이스 (500) 의 기능 모듈들을 도시하는 개략적인 블록 다이어그램이다. 도 6 은 발명의 제 2 실시형태에 따른 방법의 단계들을 착수하는 플로우 챠트이다.

인코딩 디바이스 (500) 로의 입력 데이터는 이미지 데이터의 색 성분들이 XYZ 포맷으로 제공되는 제 1 실시형태의 이미지 데이터와 유사한 이미지 데이터를 포함한다. 제 2 실시형태는 색차 성분들의 양자화 후에 색차 성분들에 스케일링이 적용된다는 점에서 발명의 제 1 실시형태와 상이하다. 발명의 제 2 실시형태에 따른 이미지 데이터를 인코딩하는 방법의 초기 단계 (S610) 에서, OETF 모듈 (510) 은 광-전자 전송 기능을 색 성분들 (X, Y, Z) 에 적용하여 X', Y' 및 Z' 로서 지칭된 변환된 색 성분들을 각각 획득한다.

단계 (S620) 에서, 색 변환 모듈 (520) 은 그 후, 발명의 제 1 실시형태에서와 동일한 방식으로 색차 성분들 (D'z 및 D'x) 를 획득하기 위해서 OEFT 모듈로부터 출력된 색 성분 신호들 (X' 및 Z') 에 대해 색 변환을 수행한다. 색 성분 (Y') 은 변경되지 않은 상태를 유지한다.

단계 (S630) 에서, 양자화 모듈 (530) 은 색차 성분 (Y') 및 색차 성분들 (D'x 및 D'z) 에 양자화를 적용하여 양자화된 색차 성분들 (QD'x, QY' 및 QD'z) 를 획득한다.

단계 (S640) 에서, 스케일링 모듈 (540) 은 그 후 동적 범위를 확장하기 위해서 양자화된 색차 성분들 (QD' x 및 QD'z) 에 개별 이득 팩터들 (gx 및 gz) 을 적용한다.

단계 (S650) 에서, 스케일링된 양자화된 색차 성분들 (gxQD'x, QY' 및 gzQ D'z) 는 이미지 데이터를 나타내는 비트 스트림으로 인코더 모듈 (550) 에 의해 인코딩된다.

도 7 은 발명의 제 1 실시형태에 따른 디코딩 디바이스 (700) 의 기능 모듈들을 도시하는 개략적인 블록 다이어그램이다. 도 8 은 발명의 제 1 실시형태에 따른 디코딩의 방법의 단계들을 착수하는 플로우 챠트이다.

디코딩 디바이스 (700) 로의 입력 데이터는 발명의 제 1 실시형태에 따라 인코딩된 이미지 데이터를 나타내는 인코딩된 비트 스트림을 포함한다.

단계 (S810) 에서, 디코딩 모듈 (710) 은 들어오는 비트스트림을 디코딩하여 양자화되고 스케일링된 색차 성분들 (QgxD'x, QY' 및 Qgz D'z) 을 획득한다.

단계 (S820) 에서, 양자화되고 스케일링된 색차 성분들은 역양자화 모듈 (710) 에 의해 역양자화되어 스케일링된 색차 성분들 (gxD'x, Y' 및 gz D'z) 을 획득한다.

단계 (S830) 에서, 역양자화된 색차 성분들은 색 변환 모듈 (730) 에 의해 프로세싱되어 다음과 같이 색 성분들 (X', Y' 및 Z') 를 획득한다:

식중:

식중:

X', Y', 및 Z' 는 범위 [0.0, 1.0] 에 있고 D'z 및 D'x 는 범위 [-0.5, 0.5] 에 있다.

색 성분들 (X', Y' 및 Z') 는 그 후 디코딩 디바이스와 연관된 디스플레이 디바이스의 요건들에 따라 단계 (S840) 에서 추가로 프로세싱될 수도 있다.

도 9 는 발명의 제 2 실시형태에 따른 디코딩 디바이스 (900) 의 기능 모듈들을 도시하는 개략적인 블록 다이어그램이다. 도 10 은 발명의 제 2 실시형태에 따른 디코딩의 방법의 단계들을 착수하는 플로우 챠트이다.

디코딩 디바이스 (900) 로의 입력 데이터는 발명의 제 2 실시형태에 따라 인코딩된 이미지 데이터를 나타내는 인코딩된 비트 스트림을 포함한다.

단계 (S1010) 에서, 디코딩 모듈 (910) 은 들어오는 비트스트림을 디코딩하여 스케일링된 양자화된 색차 상분들 (gxQD'x, QY' 및 gz QD'z) 를 획득한다.

스케일링된 양자화된 색차 성분들 (gxQD'x, QY' 및 gz QD'z) 을 프로세싱하기 위해서, 인코더에 의해 적용된 이득 팩터들 (gx gz) 의 정보가 디코딩 디바이스에 의해 획득된다.

[표 2] 는 색역들 (Rec709 및 Rec2020) 에 대한 [표 1] 의 이득 팩터들의 경우에 적용될 역스케일링 팩터들을 예시한다.

표 2: Dz 및 Dx 성분들에 적용될 디코딩 스케일링

정보는 다양한 방식들로 디코더에 의해 액세스될 수도 있다. 예를 들어, 정보는 미리 저장될 수도 있고, 또는 정보는 이미지 데이터와 함께 또는 이미지 데이터와 별도로, 인코더로부터 디코더에 송신될 수도 있다.

발명의 하나의 특정 실시형태에 있어서, 비디오 유용성 정보 (VUI) 는 3 개의 필드들, color_primaries, transfer_characteristics 및 matrix_coeffs 을 통해, 스케일링 정보를 디코더에 전달하기 위해 사용될 수도 있다.

color_primaries 필드는 ISO 11664-1 에서 특정된 바와 같이, x 및 y 의 CIE 1931 정의에 관하여 소스 프라이머리들의 색도 좌표를 표시한다. 이 필드는 사용된 색역이 예를 들어 Rec709 인지 또는 Rec2020 인지를 표시하기 위해 사용될 수도 있다.

transfer_characteristics 필드는 소스 픽처의 광-전자 전송 특성을 표시한다. 이것은 인코딩될 색차 성분들로의 XYZ 의 변환을 기술하기 위해 사용될 수도 있다.

matrix_coeffs 필드는 녹색, 청색 및 적색 프라이머리들로부터 루마 및 크로마 신호들을 유도하는데 사용된 매트릭스 계수들을 기술한다.

발명의 이러한 실시형태에 있어서, 신규 값이 matrix_coeffs 필드에 부가된다. matrix_coeff 의 이러한 특정 값에 대하여, 성분들 (QD'x 및 QD'z) 은 표 2 에 나타낸 바와 같이, color_primaries 필드에 따라 인코더 측에서 스케일링된다.

예를 들어, color_primaries = 1 (Rec709 를 표시함) 인 경우, QD'x 및 QD'z 는 디코더 측에서 8 및 3 의 팩터에 의해 D'x 및 D'z 로 각각 다운스케일링된다.

단계 (S1020) 에서, 색차 성분들은 역양자화 모듈 (910) 에 의해 역양자화되어 스케일링된 색차 성분들 (D'x, Y' 및 D'z) 을 획득한다.

단계 (S1030) 에서, 역양자회된 색차 성분들은 색변환 모듈 (930) 에 의해 프로세싱되어 다음과 같이 색 성분들 (X', Y', 및 Z') 를 획득한다:

식중:

식중,

색 성분들 (X', Y' 및 Z') 는 범위 [0.0, 1.0] 에 있고 색차 성분들 (D'z 및 D'x) 는 범위 [-0.5, 0.5] 에 있다.

색 성분들 (X', Y' 및 Z') 은 그 후 디코딩 디바이스와 연관된 디스플레이 디바이스의 요건들에 따라 단계 (S1050) 에서 추가로 프로세싱될 수도 있다.

발명의 실시형태들은 예를 들어 MPEG 인코딩과 같은 비디오 스트리밍에 대해 다양한 인코딩 스킴들에서 어플리케이션들을 찾을 수도 있다.

도 11 은 예시적인 송신 시스템 (1300) 을 도시한다. 입력 미디어 데이터, 예를 들어 HDR 이미지 데이터를 포함하는 오디오 및 비디오 데이터는, 발명의 실시형태들에 따라 미디어 인코더 (1310) 에서 인코딩된다. 인코딩된 데이터는 멀티플렉서 (1320) 에서 멀티플렉싱되고, 송신기 (1330) 에서 송신된다. 송신 시스템은 전형적인 TV 브로드캐스트 환경에서 사용될 수도 있고, 또는 스트리밍 또는 다운로딩을 위해 시청각 데이터를 제공하는 임의의 서비스에서 사용될 수도 있다.

도 12 는 예시적인 수신 시스템 (1400) 을 도시한다. 시스템 (1400) 의 입력 데이터는 비트스트림에서 인코딩된 멀티미디어 데이터, 예를 들어 시스템 (1300) 의 출력일 수도 있다. 데이터는 수신기 (1410) 에서 수신되고, 디멀티플렉서 (1420) 에서 디멀티플렉싱되며, 그 후 발명의 실시형태들에 따른 디코딩 방법들을 적용하는 것에 의해 미디어 디코더 (1430) 에서 디코딩된다. 디코딩된 패킷들은 디멀티플렉서 (1420) 의 버퍼에 배치될 수 있다. 렌더링 엔진 (1440) 은, 예를 들어 HDR 이미지들을 색으로 디스플레이하기 위해 미디어 콘텐츠를 렌더링한다.

본 발명은 특정 실시형태들을 참조하여 위의 본 명세서에 기재되었지만, 본 발명은 특정 실시형태들에 제한되지 않음이 이해될 것이고, 본 발명의 범위 내에 놓인 수정들이 당업자에게 자명할 것이다.

예를 들어, 앞서 언급한 예들에서는 프리 프로세싱 SMPTE 색 변환 프로세스를 포함하는 인코딩 또는 디코딩 프로세스가 기재되어 있지만, 발명은 색차 성분들을 획득하기 위한 임의의 특정 프로세스에 제한되지 않는다는 것이 이해될 것이다. 이미지들의 색 정보의 인코딩에 적용가능한 다른 프로세스들이 발명의 맥락에서 적용될 수도 있다. 예를 들어, 인코딩 프로세스 및 상보적인 디코딩 프로세스는 MPEG2, MPEG4, AVC, H.263 와 같은 일부 인코딩 전략 최적화 단계를 수반하는 다른 인코딩/디코딩 방법들에 기초할 수도 있다.

단지 예시로서만 주어지고, 오직 첨부된 청구항들에 의해서만 결정되는, 발명의 범위를 제한하도록 의도되지 않는 앞서 언급한 예시적인 실시형태들을 참조하면, 많은 추가적인 수정들 및 변형들은 그 자체를 당업자에게 제안할 것이다. 특히, 상이한 실시형태들로부터의 상이한 피처들은 적절한 경우 상호교환될 수도 있다.

Claims

색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 이미지 데이터를 인코딩하는 방법으로서,
이미지의 적어도 일 부분에 대하여,
상기 이미지 부분의 색 성분들로부터 획득된 색차 성분들을, 그 동적 범위를 확장하기 위해 이득 팩터를 적용하는 것에 의해, 스케일링하는 단계로서, 개별 색차 성분에 적용된 상기 이득 팩터는 상기 색 공간의 색역에 의존하는, 상기 색차 성분들을 스케일링하는 단계; 및
스케일링된 상기 색차 성분들을 인코딩하는 단계를 포함하는, 이미지 데이터를 인코딩하는 방법.
제 1 항에 있어서,
상기 개별 색차 성분에 적용된 상기 이득 팩터는 상기 색차 성분이 - 0.5 내지 0.5 범위 내에 있도록 하는 것인, 이미지 데이터를 인코딩하는 방법.
제 1 항 또는 제 2 항에 있어서,
상기 색차 성분들의 스케일링은 상기 색차 성분들의 양자화 전에 적용되는, 이미지 데이터를 인코딩하는 방법.
제 1 항 또는 제 2 항에 있어서,
상기 색차 성분들의 스케일링은 상기 색차 성분들의 양자화 후에 적용되는, 이미지 데이터를 인코딩하는 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 이미지 부분은 8 비트보다 더 큰 비트 심도를 갖는 높은 동적 범위 이미지 부분인, 이미지 데이터를 인코딩하는 방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
적용된 상기 이득 팩터를 나타내는 데이터를 송신하는 단계를 더 포함하는, 이미지 데이터를 인코딩하는 방법.
제 6 항에 있어서,
상기 적용된 이득 팩터를 나타내는 데이터는 비디오 유용성 정보의 필드에 포함되는, 이미지 데이터를 인코딩하는 방법.
제 7 항에 있어서,
사용된 상기 색역을 표시하는 데이터는 비디오 유용성 정보의 matrix_coeff 필드에 포함되는, 이미지 데이터를 인코딩하는 방법.
색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 이미지 데이터를 디코딩하기 위한 방법으로서,
이미지의 적어도 일 부분에 대하여,
수신된 데이터 비트스트림을 디코딩하는 단계;
디코딩된 상기 비트스트림으로부터, 색차 성분들을 획득하는 단계;
인코딩 전에 상기 색차 성분들에 적용된 이득 팩터에 대응하는 재스케일링 팩터를 적용하는 것에 의해 상기 색차 성분들을 재스케일링하는 단계로서, 상기 이득 팩터는 상기 색 공간의 색역에 의존하는, 상기 색차 성분들을 재스케일링하는 단계; 및
상기 이미지 부분의 대응 색 성분들을 획득하기 위해 재스케일링된 상기 색차 성분들을 프로세싱하는 단계를 포함하는, 이미지 데이터를 디코딩하기 위한 방법.
제 9 항에 있어서,
비디오 유용성 정보의 필드에서, 상기 인코딩 전에 적용된 이득 팩터를 나타내는 데이터를 수신하는 단계를 포함하는, 이미지 데이터를 디코딩하기 위한 방법.
색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 이미지 데이터를 인코딩하기 위한 인코더로서,
상기 이미지 부분의 색 성분들로부터 획득된 색차 성분들을, 그 동적 범위를 확장하기 위해 이득 팩터를 적용하는 것에 의해, 스케일링하기 위한 스케일링 모듈로서, 개별 색차 성분에 적용된 상기 이득 팩터는 상기 색 공간의 색역에 의존하는, 상기 스케일링 모듈; 및
스케일링된 상기 색차 성분들을 인코딩하기 위한 인코딩 모듈을 포함하는, 이미지 데이터를 인코딩하기 위한 인코더.
색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 이미지 데이터를 디코딩하기 위한 디코더로서,
수신된 비트스트림을 디코딩하기 위한 디코딩 모듈;
디코딩된 상기 비트스트림으로부터, 색차 성분들을 획득하기 위한 프로세싱 모듈;
인코딩 전에 상기 색차 성분들에 적용된 이득 팩터에 대응하는 재스케일링 팩터를 적용하는 것에 의해 상기 색차 성분들을 재스케일링하기 위한 재스케일링 모듈로서, 개별 색차 성분에 적용된 상기 이득 팩터는 상기 색 공간의 색역에 의존하는, 재스케일링 모듈; 및
상기 이미지 부분의 대응 색 성분들을 획득하기 위해 재스케일링된 상기 색차 성분들을 프로세싱하기 위한 이미지 프로세싱 모듈을 포함하는, 이미지 데이터를 디코딩하기 위한 디코더.
데이터 패키지로서,
색 공간에서 이미지 부분들의 색 특성들을 정의하는 색 성분들을 포함하는 인코딩된 이미지 데이터로서, 상기 이미지 데이터는 제 1 항 내지 제 8 항 중 어느 한 항의 방법에 따라 인코딩되는, 상기 인코딩된 이미지 데이터; 및
동적 범위를 확장하기 위해 인코딩되기 전에 상기 이미지 데이터의 색차 성분들에 적용된 이득 팩터를 나타내는 데이터를 포함하는, 데이터 패키지.
프로그램가능 장치를 위한 컴퓨터 프로그램 제품으로서,
상기 프로그램가능 장치로 로딩되고 상기 프로그램가능 장치에 의해 실행될 때, 제 1 항 내지 제 10 항 중 어느 한 항에 기재된 방법을 구현하기 위한 명령들의 시퀀스를 포함하는, 컴퓨터 프로그램 제품.