KR20210019076A

KR20210019076A - 비디오 신호 처리 방법 및 장치

Info

Publication number: KR20210019076A
Application number: KR1020217000634A
Authority: KR
Inventors: 정 왕; 러 위안; 런젠 우; 팡 황
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2018-07-05
Filing date: 2019-06-10
Publication date: 2021-02-19
Also published as: JP7115776B2; CN112272947B; US20210152801A1; JP2021529339A; EP3796648A1; WO2020007165A1; EP3796648A4; US11317071B2; CN108900823B; CN112272947A; CN108900823A; KR102511572B1

Abstract

본 출원의 실시예들은 비디오 신호 처리 방법을 개시한다. 이 방법은: 제1 선형 휘도 신호를 획득하는 단계 - 상기 제1 선형 휘도 신호는 처리될 비디오 신호에 대응하는 제1 선형 적녹청 RGB 신호에 기초하여 획득됨 -; 상기 제1 선형 휘도 신호를 제1 비-선형 휘도 신호로 변환하는 단계; 상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하는 단계; 상기 제2 비-선형 휘도 신호를 제2 선형 휘도 신호로 변환하는 단계; 상기 제2 선형 휘도 신호와 상기 제1 선형 휘도 신호 간의 휘도 이득을 계산하는 단계; 및 상기 휘도 이득과 상기 제1 선형 RGB 신호의 곱에 기초하여, 상기 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득하는 단계를 포함한다. 이 방법은 휘도 신호를 비-선형 공간으로 변환하여 구분적 휘도 매핑을 수행하여, 디스플레이 디바이스 상의 비디오 신호의 디스플레이 효과를 개선한다.

Description

비디오 신호 처리 방법 및 장치

본 출원은 2018년 7월 5일자로 중국 국가 지적 재산권 국에 출원되고 발명의 명칭이 "HIGH DYNAMIC RANGE VIDEO SIGNAL PROCESSING METHOD AND APPARATUS"인 중국 특허 출원 제201810732833.5호에 대한 우선권을 주장하고, 2018년 7월 19일자로 중국 국가 지적 재산권 국에 출원되고 발명의 명칭이 "VIDEO SIGNAL PROCESSING METHOD AND APPARATUS"인 중국 특허 출원 제201810797968.X호에 대한 우선권을 주장하고, 이들은 그 전체가 인용에 의해 본 명세서에 포함된다.

본 출원은 멀티미디어 통신 분야에 관한 것으로, 특히, 비디오 신호 처리 방법 및 장치에 관한 것이다.

하이 다이내믹 레인지(High Dynamic Range, HDR) 비디오 기술은 이미지의 디스플레이 가능한 휘도 범위를 확장하고, 따라서 비교적 많은 양의 휘도 범위 정보를 기록하고 더 많은 밝음 및 어두움 세부사항들을 제시할 수 있다. HDR 기술은 최근 몇 년 동안 비디오 산업에서 출현한 핫한 기술이고, 또한 미래의 비디오 산업에서의 개발 동향이다. 현실 세계에서 인간의 눈에 보이는 실제 화상(real picture)의 다이내믹 레인지는 비교적 크다. 종래의 표준 다이내믹 레인지(Standard Dynamic Range, SDR) 디스플레이 디바이스는 낮은 휘도 및 비교적 작은 다이내믹 레인지를 갖는다. 종래의 SDR 비디오 기술에서는, 카메라가 캡처, 제작, 편집, 및 인코딩을 수행할 때, 캡처된 화상의 다이내믹 레인지를 연속적으로 압축하여 캡처된 화상을 SDR 텔레비전 세트 상에 디스플레이되기에 적합하게 만든다. 이에 반해서, 통상적으로, HDR 비디오의 휘도 범위는 SDR 디스플레이 디바이스 또는 많은 양의 다른 기존의 HDR 디스플레이 디바이스들에 의해 디스플레이될 수 있는 휘도 범위보다 훨씬 더 크다. 따라서, HDR 비디오 신호가 기존의 디스플레이 디바이스 상에 디스플레이될 때, HDR 비디오 신호가 기존의 디바이스 상에 디스플레이되기에 적합하도록, HDR 비디오 신호를 디스플레이 디바이스에 의해 디스플레이될 수 있는 휘도 범위와 매칭시키기 위해, HDR 비디오 신호의 휘도를 디스플레이 디바이스의 능력에 기초하여 처리할 필요가 있다. 비디오 신호에 대해 수행되는 휘도 처리 동안, 부적절한 휘도 처리는 HDR 비디오의 디스플레이 효과가 바람직하지 않은 결과를 야기한다.

본 출원의 실시예들은 디스플레이 디바이스 상의 비디오 신호의 디스플레이 효과를 개선하기 위한 비디오 신호 처리 방법 및 장치를 제공한다.

본 출원의 제1 방면은 비디오 신호 처리 방법을 제공한다. 이 방법은: 제1 선형 휘도 신호를 획득하는 단계 - 상기 제1 선형 휘도 신호는 처리될 비디오 신호에 대응하는 제1 선형 적녹청 RGB 신호에 기초하여 획득됨 -; 상기 제1 선형 휘도 신호를 제1 비-선형 휘도 신호로 변환하는 단계; 상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하는 단계; 상기 제2 비-선형 휘도 신호를 제2 선형 휘도 신호로 변환하는 단계; 상기 제2 선형 휘도 신호와 상기 제1 선형 휘도 신호 간의 휘도 이득을 계산하는 단계; 및 상기 휘도 이득과 상기 제1 선형 RGB 신호의 곱에 기초하여, 상기 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득하는 단계를 포함한다.

본 출원의 이 실시예에서는, 상기 휘도 신호를 구분적 휘도 매핑을 위해 비-선형 공간으로 변환하여, 비디오 신호의 디스플레이 휘도 범위가 디스플레이 디바이스에 의해 디스플레이될 수 있는 휘도 범위 상에 적절하게 매핑될 수 있도록 한다. 이는 화상의 명암비(contrast ratio), 휘도, 및 디테일 표현을 개선한다; 그리고 특히 저-휘도 디스플레이의 경우에, 매핑 후에 획득된 디스플레이 휘도 분포가 적절하고 디스플레이된 화상이 상당히 어둡지 않다. 휘도 매핑이 비-선형 공간에서 수행되기 때문에, 휘도 매핑에 의해 야기되는 오류들이 고르게 분포되고 비디오 신호의 최종적인 디스플레이 효과에 비교적 작은 영향을 미친다. 또한, 처리될 비디오 신호의 휘도 범위가 비교적 크고, 상이한 휘도 구역들에서의 비디오 신호들이 비디오 디스플레이 효과에 대한 기여도가 서로 다르다. 따라서, 상이한 휘도 매핑 관계들을 사용하여 처리될 비디오 신호의 휘도 구간들의 특성들에 기초하여 처리될 비디오 신호의 휘도 값들에 대해 구분적 매핑을 수행하는 것은 휘도 매핑의 유연성 및 적절성을 개선한다.

가능한 구현에서, 상기 처리될 비디오 신호는 감지 양자화기(perceptual quantizer) PQ 신호이고, 제1 선형 휘도 신호를 획득하는 단계는: 상기 PQ 신호에 대해 색 공간 변환을 수행하여 제1 비-선형 RGB 신호를 획득하는 단계; PQ 전기-광 전달 함수(PQ electro-optical transfer function)에 기초하여 상기 제1 비-선형 RGB 신호를 상기 제1 선형 RGB 신호로 변환하는 단계; 및 상기 제1 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 상기 제1 선형 휘도 신호를 획득하는 단계를 포함한다.

가능한 구현에서, 상기 처리될 비디오 신호는 하이브리드 로그-감마 HLG 신호이고, 제1 선형 휘도 신호를 획득하는 단계는: 상기 HLG 신호에 대해 색 공간 변환을 수행하여 제2 비-선형 RGB 신호를 획득하는 단계; HLG 역 광-전기 전달 함수(HLG inverse optical-electro transfer function)에 기초하여 상기 제2 비-선형 RGB 신호를 제2 선형 RGB 신호로 변환하는 단계; 상기 제2 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 제3 선형 휘도 신호를 획득하는 단계; 및 상기 제3 선형 휘도 신호에 대해 휘도 신호 유형 변환을 수행하여 상기 제1 선형 휘도 신호를 획득하는 단계를 포함한다.

본 출원의 이 실시예에서, 상기 HLG 신호에 기초하여 획득된 휘도 신호는 장면 광 휘도 신호이고, 상기 장면 광 휘도 신호는 디스플레이 광 휘도 신호로 변환될 필요가 있다; 그리고 상기 장면 광 휘도 신호가 상기 디스플레이 광 휘도 신호로 변환된 후에, 상기 디스플레이 광 휘도 신호는 직접 디스플레이되지 않고, 휘도 디테일들을 가능한 한 많이 유지하기 위해, 상기 휘도 신호는 구분적 휘도 매핑을 위해 비-선형 공간으로 변환된다. 이는 휘도 매핑의 적절성을 개선하고, HLG 신호의 디스플레이 효과를 개선한다.

가능한 구현에서, 상기 제1 선형 휘도 신호는 선형 디스플레이 광 휘도 신호이고, 상기 제3 휘도 신호는 선형 장면 광 휘도 신호이다.

가능한 구현에서, 상기 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득한 후에, 이 방법은: 상기 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하여 목표 디스플레이 신호를 획득하는 단계를 추가로 포함하고, 상기 목표 디스플레이 신호의 색 형식은 디스플레이 디바이스에 대응하는 색 형식과 동일하다.

가능한 구현에서, 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득한 후에, 방법은: 상기 RGB 디스플레이 신호의 각각의 색 값에 흑색 레벨 리프트 BlackLevelLift를 추가하여 처리된 RGB 디스플레이 신호를 획득하는 단계를 추가로 포함하고, 상기 BlackLevelLift는 상기 디스플레이 디바이스의 디스플레이 휘도의 최소 값이다; 대응하여, 상기 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하는 단계는: 상기 처리된 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하는 단계를 포함한다.

본 출원의 이 실시예에서는, 휘도 매핑 곡선에 미치는 디스플레이 디바이스의 흑색 레벨의 영향이 고려되고, 저휘도 부분의 휘도 디테일들이 유지된다.

가능한 구현에서, 상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하는 단계는: 제1 임계값 및 제2 임계값을 결정하는 단계를 포함하고, 상기 제1 임계값은 상기 제2 임계값보다 작고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다 작거나 그와 동등할 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 제1 비-선형 휘도 신호의 휘도 값과 동등하고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다는 크고 상기 제2 임계값보다는 작거나 그와 동등할 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 제1 비-선형 휘도 신호의 휘도 값을 독립 변수로서 사용하는 피팅된 곡선(fitted curve)에 기초하여 획득되고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제2 임계값보다 클 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 디스플레이 디바이스에 대응하는 최대 비-선형 디스플레이 휘도 값과 동등하다.

본 출원의 이 실시예에서, 상기 처리될 비디오 신호는 상기 2개의 휘도 임계값에 기초하여 3개의 부분으로 분할된다. 그 휘도 값이 상기 제1 임계값보다 작은 부분은 제1 비디오 신호 세그먼트로서 사용되고, 휘도 매핑 후에 획득되는 상기 제1 비디오 신호 세그먼트의 휘도는 휘도 매핑 전의 그것의 휘도와 동등하고, 즉, 저휘도 부분에서의 비디오 신호는 압축되지 않고, 그에 따라 저휘도 부분의 이미지 디테일들이 최대한으로 유지될 수 있다. 고휘도 부분은 2개의 부분으로 분할된다: 그 휘도 값이 상기 제1 임계값보다는 크고 상기 제2 임계값보다는 작은 부분은, 해당 부분의 휘도 디테일들을 가능한 한 많이 유지하도록, 피팅된 곡선에 기초하여 압축되고; 그리고 그 휘도 값이 상기 제2 임계값보다 큰 부분은 상기 제2 임계값 상에 매핑된다. 구분적 휘도 매핑 동안, 휘도들의 특성들이 충분히 고려되고, 휘도 디테일들이 가능한 한 많이 유지되고, 이로써 휘도 매핑의 적절성이 개선된다.

가능한 구현에서, 상기 피팅된 곡선은 상기 제1 임계값 및 상기 제2 임계값에 대해 에르미트 Hermite 보간을 수행하는 것에 의해 획득된다.

가능한 구현에서, 상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하는 단계는: 다음의 구분적 함수:

를 사용하여 상기 제1 비-선형 휘도 신호에 대해 상기 휘도 매핑을 수행하는 단계를 포함하고,

여기서

는 상기 제1 비-선형 휘도 신호이고;

는 상기 제2 비-선형 휘도 신호이고; KP1은 상기 제1 임계값이고; KP2는 상기 제2 임계값이고; maxDL은 상기 디스플레이 디바이스의 최대 비-선형 디스플레이 휘도 값이고; maxSL은 최대 비-선형 소스 휘도 값이고; x₀=KP1, x₁=maxSL, y₀=KP1, y₁=maxDL, y₀'=1, 및 y₁'=0이다.

본 출원의 이 실시예에서, y0=x0은 제1 임계값보다 작은 휘도 값에 대해서는 압축이 수행되지 않고, 선형 매핑이 수행된다는 것을 지시하고; x1=maxSL 및 y1=maxDL은 최대 소스 휘도가 최대 스크린 휘도 maxDL 상에 매핑된다는 것을 지시하고; 그리고 x0=KP 및 y0'=1일 때, 임계값 KP에서의 곡선의 기울기가 1인 것이 보장되고, x1=maxSL 및 y1'=0일 때, 임계값 maxSL에서의 곡선의 기울기가 0인 것이 보장된다. 이러한 방식으로, 피팅을 통해 획득된 곡선이 2개의 임계값에서 평활한 것이 보장될 수 있다.

가능한 구현에서, 제1 임계값 및 제2 임계값을 결정하는 단계는: 상기 제1 비-선형 휘도 신호의 디스플레이 휘도 범위와 상기 디스플레이 디바이스의 디스플레이 휘도 범위 간의 관계에 기초하여 상기 제1 임계값을 결정하는 단계; 및 상기 제1 비-선형 휘도 신호의 최대 휘도 값을 상기 제2 임계값으로서 사용하는 단계를 포함한다.

본 출원의 이 실시예에서는, 휘도 임계값의 선택이 디스플레이 디바이스의 소스 휘도와 디스플레이 휘도 간의 차이와 관련된다. 상기 소스 휘도가 상기 디스플레이 휘도보다 낮거나 그와 동등할 때는, 상기 소스 휘도에 대해 압축이 수행될 필요가 없고, 이 경우, 상기 제1 임계값은 상기 제2 임계값과 동등하고 상기 소스 신호의 최대 비-선형 휘도 값과 동등하다. 상기 소스 휘도가 상기 디스플레이 휘도보다 훨씬 높고 압축될 필요가 있는 휘도 구간이 비교적 클 때는, 비교적 작은 값이 상기 제1 임계값으로서 선택된다. 상기 소스 휘도가 상기 디스플레이 휘도보다 높고 이들 간의 차이가 상당히 작을 때는, 비교적 큰 값이 상기 제1 임계값으로서 선택될 수 있다.

가능한 구현에서, 상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하는 단계는: 상기 제1 비-선형 휘도 신호와 상기 제2 비-선형 휘도 신호 간의 미리 설정된 휘도 값 매핑 관계에 기초하여, 상기 제1 비-선형 휘도 신호의 휘도 값에 대응하는 상기 제2 비-선형 휘도 신호의 휘도 값을 결정하는 단계를 포함한다.

가능한 구현에서, 상기 제1 선형 휘도 신호를 제1 비-선형 휘도 신호로 변환하는 단계는: PQ 역 전기-광 전달 함수에 기초하여 상기 제1 선형 휘도 신호를 상기 제1 비-선형 휘도 신호로 변환하는 단계를 포함하고; 대응하여, 상기 제2 비-선형 휘도 신호를 제2 선형 휘도 신호로 변환하는 단계는 PQ 전기-광 전달 함수에 기초하여 상기 제2 비-선형 휘도 신호를 상기 제2 선형 휘도 신호로 변환하는 단계를 포함한다.

본 출원의 제2 방면은 비디오 신호 처리 장치를 제공한다. 이 장치는: 제1 선형 휘도 신호를 획득하도록 구성된 휘도 획득 유닛 - 상기 제1 선형 휘도 신호는 처리될 비디오 신호에 대응하는 제1 선형 적녹청 RGB 신호에 기초하여 획득됨 -; 상기 제1 선형 휘도 신호를 제1 비-선형 휘도 신호로 변환하도록 구성된 제1 변환 유닛; 상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하도록 구성된 휘도 매핑 유닛; 상기 제2 비-선형 휘도 신호를 제2 선형 휘도 신호로 변환하도록 구성된 제2 변환 유닛; 상기 제2 선형 휘도 신호와 상기 제1 선형 휘도 신호 간의 휘도 이득을 계산하도록 구성된 이득 계산 유닛; 및 상기 휘도 이득과 상기 제1 선형 RGB 신호의 곱에 기초하여, 상기 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득하도록 구성된 디스플레이 신호 획득 유닛을 포함한다.

가능한 구현에서, 상기 처리될 비디오 신호는 감지 양자화기 PQ 신호이고, 상기 휘도 획득 유닛은 구체적으로: 상기 PQ 신호에 대해 색 공간 변환을 수행하여 제1 비-선형 RGB 신호를 획득하고; PQ 전기-광 전달 함수에 기초하여 상기 제1 비-선형 RGB 신호를 상기 제1 선형 RGB 신호로 변환하고; 상기 제1 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 상기 제1 선형 휘도 신호를 획득하도록 구성된다.

가능한 구현에서, 상기 처리될 비디오 신호는 하이브리드 로그-감마 HLG 신호이고, 상기 휘도 획득 유닛은 구체적으로: 상기 HLG 신호에 대해 색 공간 변환을 수행하여 제2 비-선형 RGB 신호를 획득하고; HLG 역 광-전기 전달 함수에 기초하여 상기 제2 비-선형 RGB 신호를 제2 선형 RGB 신호로 변환하고; 상기 제2 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 제3 선형 휘도 신호를 획득하고; 상기 제3 선형 휘도 신호에 대해 휘도 신호 유형 변환을 수행하여 상기 제1 선형 휘도 신호를 획득하도록 구성된다.

가능한 구현에서, 이 장치는: 상기 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하여 목표 디스플레이 신호를 획득하도록 구성된 색 공간 변환 유닛을 추가로 포함하고, 상기 목표 디스플레이 신호의 색 형식은 상기 디스플레이 디바이스에 대응하는 색 형식과 동일하다.

가능한 구현에서, 이 장치는: 상기 RGB 디스플레이 신호의 각각의 색 값에 흑색 레벨 리프트 BlackLevelLift를 추가하여 처리된 RGB 디스플레이 신호를 획득하도록 구성된 보상 유닛을 추가로 포함하고, 상기 BlackLevelLift는 상기 디스플레이 디바이스의 디스플레이 휘도의 최소 값이고; 대응하여, 상기 색 공간 변환 유닛은 구체적으로 상기 처리된 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하도록 구성된다.

가능한 구현에서, 상기 휘도 매핑 유닛은 구체적으로 상기 제1 임계값 및 상기 제2 임계값을 결정하도록 구성되고, 상기 제1 임계값은 상기 제2 임계값보다 작고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다 작거나 그와 동등할 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 제1 비-선형 휘도 신호의 휘도 값과 동등하고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다는 크고 상기 제2 임계값보다는 작거나 그와 동등할 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 제1 비-선형 휘도 신호의 휘도 값을 독립 변수로서 사용하는 피팅된 곡선(fitted curve)에 기초하여 획득되고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제2 임계값보다 클 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 디스플레이 디바이스에 대응하는 최대 비-선형 디스플레이 휘도 값과 동등하다.

가능한 구현에서, 상기 휘도 매핑 유닛은 구체적으로 다음의 구분적 함수:

를 사용하여 상기 제1 비-선형 휘도 신호에 대해 상기 휘도 매핑을 수행하도록 구성되고,

여기서

는 상기 제1 비-선형 휘도 신호이고;

가능한 구현에서, 상기 휘도 매핑 유닛은 구체적으로, 상기 제1 비-선형 휘도 신호와 상기 제2 비-선형 휘도 신호 간의 미리 설정된 휘도 값 매핑 관계에 기초하여, 상기 제1 비-선형 휘도 신호의 휘도 값에 대응하는 상기 제2 비-선형 휘도 신호의 휘도 값을 결정하도록 구성된다.

가능한 구현에서, 상기 제1 변환 유닛은 구체적으로 PQ 역 전기-광 전달 함수에 기초하여 상기 제1 선형 휘도 신호를 상기 제1 비-선형 휘도 신호로 변환하도록 구성되고; 대응하여, 상기 제2 변환 유닛은 구체적으로 상기 PQ 전기-광 전달 함수에 기초하여 상기 제2 비-선형 휘도 신호를 상기 제2 선형 휘도 신호로 변환하도록 구성된다.

본 출원의 제3 방면은 비디오 신호 처리 장치를 제공한다. 이 장치는: 프로세서 및 메모리를 포함하고, 상기 프로세서는 상기 메모리 내의 소프트웨어 명령어를 호출하여 다음의 단계들을 수행하도록 구성된다: 제1 선형 휘도 신호를 획득하는 단계 - 상기 제1 선형 휘도 신호는 처리될 비디오 신호에 대응하는 제1 선형 적녹청 RGB 신호에 기초하여 획득됨 -; 상기 제1 선형 휘도 신호를 제1 비-선형 휘도 신호로 변환하는 단계; 상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하는 단계; 상기 제2 비-선형 휘도 신호를 제2 선형 휘도 신호로 변환하는 단계; 상기 제2 선형 휘도 신호와 상기 제1 선형 휘도 신호 간의 휘도 이득을 계산하는 단계; 및 상기 휘도 이득과 상기 제1 선형 RGB 신호의 곱에 기초하여, 상기 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득하는 단계.

가능한 구현에서, 상기 처리될 비디오 신호는 감지 양자화기 PQ 신호이고, 상기 프로세서는 구체적으로: 상기 PQ 신호에 대해 색 공간 변환을 수행하여 제1 비-선형 RGB 신호를 획득하고; PQ 전기-광 전달 함수에 기초하여 상기 제1 비-선형 RGB 신호를 상기 제1 선형 RGB 신호로 변환하고; 상기 제1 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 상기 제1 선형 휘도 신호를 획득하도록 구성된다.

가능한 구현에서, 상기 처리될 비디오 신호는 하이브리드 로그-감마 HLG 신호이고, 상기 프로세서는 구체적으로: 상기 HLG 신호에 대해 색 공간 변환을 수행하여 제2 비-선형 RGB 신호를 획득하고; HLG 역 광-전기 전달 함수에 기초하여 상기 제2 비-선형 RGB 신호를 제2 선형 RGB 신호로 변환하고; 상기 제2 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 제3 선형 휘도 신호를 획득하고; 상기 제3 선형 휘도 신호에 대해 휘도 신호 유형 변환을 수행하여 상기 제1 선형 휘도 신호를 획득하도록 구성된다.

가능한 구현에서, 상기 프로세서는 상기 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하여 목표 디스플레이 신호를 획득하도록 추가로 구성되고, 상기 목표 디스플레이 신호의 색 형식은 상기 디스플레이 디바이스에 대응하는 색 형식과 동일하다.

가능한 구현에서, 상기 프로세서는: 상기 RGB 디스플레이 신호의 각각의 색 값에 흑색 레벨 리프트 BlackLevelLift를 추가하여 처리된 RGB 디스플레이 신호를 획득하도록 구성되고, 상기 BlackLevelLift는 상기 디스플레이 디바이스의 디스플레이 휘도의 최소 값이고; 대응하여, 상기 프로세서는 구체적으로 상기 처리된 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하도록 구성된다.

가능한 구현에서, 상기 프로세서는 구체적으로 상기 제1 임계값 및 상기 제2 임계값을 결정하도록 구성되고, 상기 제1 임계값은 상기 제2 임계값보다 작고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다 작거나 그와 동등할 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 제1 비-선형 휘도 신호의 휘도 값과 동등하고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다는 크고 상기 제2 임계값보다는 작거나 그와 동등할 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 제1 비-선형 휘도 신호의 휘도 값을 독립 변수로서 사용하는 피팅된 곡선(fitted curve)에 기초하여 획득되고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제2 임계값보다 클 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 디스플레이 디바이스에 대응하는 최대 비-선형 디스플레이 휘도 값과 동등하다.

가능한 구현에서, 상기 피팅된 곡선은 상기 메모리에 저장된다.

가능한 구현에서, 상기 프로세서는 구체적으로 다음의 구분적 함수:

여기서

는 상기 제1 비-선형 휘도 신호이고;

가능한 구현에서, 상기 구분적 함수는 상기 메모리에 저장된다.

가능한 구현에서, 상기 프로세서는 구체적으로: 상기 제1 비-선형 휘도 신호의 디스플레이 휘도 범위와 상기 디스플레이 디바이스의 디스플레이 휘도 범위 간의 관계에 기초하여 상기 제1 임계값을 결정하고; 상기 제1 비-선형 휘도 신호의 최대 휘도 값을 상기 제2 임계값으로서 사용하도록 구성된다.

가능한 구현에서, 상기 프로세서는 구체적으로, 상기 제1 비-선형 휘도 신호와 상기 제2 비-선형 휘도 신호 간의 미리 설정된 휘도 값 매핑 관계에 기초하여, 상기 제1 비-선형 휘도 신호의 휘도 값에 대응하는 상기 제2 비-선형 휘도 신호의 휘도 값을 결정하도록 구성된다. 상기 매핑 관계는 상기 메모리에 저장된다.

가능한 구현에서, 상기 프로세서는 구체적으로 PQ 역 전기-광 전달 함수에 기초하여 상기 제1 선형 휘도 신호를 상기 제1 비-선형 휘도 신호로 변환하도록 구성되고; 대응하여, 상기 프로세서는 구체적으로 상기 PQ 전기-광 전달 함수에 기초하여 상기 제2 비-선형 휘도 신호를 상기 제2 선형 휘도 신호로 변환하도록 구성된다.

본 출원의 제4 방면은 컴퓨터 판독가능 저장 매체를 제공한다. 이 컴퓨터 판독가능 저장 매체는 명령어를 저장한다. 상기 명령어가 컴퓨터 또는 프로세서 상에서 실행될 때, 상기 컴퓨터 또는 상기 프로세서는 제1 방면 또는 제1 방면의 가능한 구현들 중 어느 하나에 따른 방법을 수행할 수 있게 된다.

본 출원의 제5 방면은 명령어를 포함하는 컴퓨터 프로그램 제품을 제공한다. 컴퓨터 프로그램 제품이 컴퓨터 또는 프로세서 상에서 실행될 때, 상기 컴퓨터 또는 상기 프로세서는 제1 방면 또는 제1 방면의 가능한 구현들 중 어느 하나에 따른 방법을 수행할 수 있게 된다.

본 출원의 실시예들에서의 제2 방면 내지 제5 방면 및 그의 가능한 구현들에서 사용되는 기술적 수단들은 본 출원의 실시예들에서의 제1 방면 및 제1 방면의 가능한 구현들에서 사용되는 것들과 유사하고, 제2 방면 내지 제5 방면 및 그의 가능한 구현들에서 해결되는 기술적 문제들은 제1 방면 및 제1 방면의 가능한 구현들에서 해결되는 것들과 동일하다는 것을 이해해야 한다. 제2 방면 내지 제5 방면 및 그의 가능한 구현들에서 달성될 수 있는 기술적 효과들에 대해서는, 본 출원의 실시예들에서의 제1 방면의 관련 설명들을 참조한다. 세부사항들은 여기서 다시 설명되지 않는다.

도 1은 본 출원의 실시예에 따른 예시적인 응용 시나리오의 개략도이다.
도 2는 본 출원의 실시예에 따른 예시적인 응용 시나리오의 개략 아키텍처 도이다.
도 3은 본 출원의 실시예에 따른 다른 예시적인 응용 시나리오의 개략 아키텍처 도이다.
도 4는 본 출원의 실시예에 따른 예시적인 재생 디바이스 및 디스플레이 디바이스의 하드웨어의 개략 아키텍처 도이다.
도 5는 본 출원의 실시예에 따른 예시적인 비디오 신호 처리 방법의 흐름도이다.
도 6은 본 출원의 실시예에 따른 예시적인 HDR 비디오 신호 휘도 처리 방법의 흐름도이다.
도 7은 본 출원의 실시예에 따른 예시적인 휘도 매핑 곡선의 개략도이다.
도 8a는 본 출원의 실시예에 따른 예시적인 정적 메타데이터 HDR tone mapping의 개략도이다.
도 8b는 본 출원의 실시예에 따른 예시적인 동적 메타데이터 HDR tone mapping의 개략도이다.
도 9는 본 출원의 실시예에 따른 휘도 매핑 곡선을 획득하기 위한 예시적인 방법의 흐름도이다.
도 10은 본 출원의 실시예에 따른 다른 예시적인 HDR 신호 휘도 처리 방법의 흐름도이다.
도 11은 본 출원의 실시예에 따른 예시적인 PQ EOTF 곡선(좌측 도) 및 예시적인 PQ EOTF^-1 곡선(우측 도)을 도시한다.
도 12는 본 출원의 실시예에 따른 예시적인 HLG OETF 곡선(좌 도면) 및 예시적인 HLG OETF^-1 곡선(우측 도)을 도시한다.
도 13은 본 출원의 실시예에 따른 예시적인 비디오 신호 처리 장치를 도시한다.
도 14는 본 출원의 실시예에 따른 HDR 단말 기술적 솔루션의 예시적인 처리 흐름도이다.
도 15는 본 출원의 실시예에 따른 예시적인 색역(color gamut) 변환 프로세스의 개략도이다.
도 16은 본 출원의 실시예에 따른 예시적인 신호 변환 프로세스의 개략도이다.
도 17은 본 출원의 실시예에 따른 예시적인 테스트 네트워킹의 개략도이다.
도 18은 본 출원의 실시예에 따른 다른 예시적인 테스트 네트워킹의 개략도이다.
도 19는 본 출원의 실시예에 따른 HDR 엔드-투-엔드 시스템의 아키텍처 도이다.
도 20은 본 출원의 실시예에 따른 1000 cd/m² HLG 곡선 HDR 비디오 엔드-투-엔드 시스템의 개략도이다.
도 21은 본 출원의 실시예에 따른 비-1000 cd/m² HLG 곡선 HDR 비디오 엔드-투-엔드 시스템의 개략도이다.

본 출원의 명세서, 청구항들, 및 첨부 도면들의 실시예들에서, 용어들 "제1", "제2" 등은 유사한 대상들을 구별하려고 의도된 것이고 반드시 특정 순서 또는 시퀀스를 지시하는 것은 아니다. 또한, 용어들 "포함하다", "갖다", 또는 이들의 임의의 다른 변형어는 비배타적 포함(non-exclusive inclusion)을 커버하려고 의도된 것이다. 예를 들어, 단계들 또는 유닛들의 리스트를 포함하는 방법, 시스템, 제품, 또는 디바이스는 명시적으로 열거된 해당 단계들 또는 유닛들로 반드시 제한되는 것은 아니고, 명시적으로 열거되지 않은 또는 그러한 프로세스, 방법, 제품, 또는 디바이스에 고유한 다른 단계들 또는 유닛들을 포함할 수 있다.

본 출원에서, "적어도 하나(항목)"는 하나 이상을 의미하고, "복수의"는 둘 이상을 의미한다는 것을 이해해야 한다. 용어 "및/또는"은 연관된 대상들을 기술하기 위한 연관 관계를 기술하고 3개의 관계가 존재할 수 있다는 것을 표현한다. 예를 들어, "A 및/또는 B"는 다음 세 가지 경우를 표현할 수 있다: A만 존재, B만 존재, 그리고 A와 B 둘 다 존재. A 및 B는 각각 단수 또는 복수 형식일 수 있다. 문자 "/"는 일반적으로 연관된 대상들 간의 "또는" 관계를 지시한다. "다음의 적어도 하나(항목)" 또는 그의 유사한 표현은, 단수(항목) 또는 복수(항목)의 임의의 조합을 포함하여, 이들 항목의 임의의 조합을 의미한다. 예를 들어, a, b, 또는 c 중 적어도 하나(항목)는 a; b; c; a 및 b; a 및 c; b 및 c; 또는 a, b 및 c를 표현할 수 있고, 여기서 a, b 및 c는 각각 단수 또는 복수 형식일 수 있다.

본 출원의 실시예들의 이해의 편의를 위해, 먼저 본 출원의 실시예들에서의 일부 개념들 또는 용어들이 해석된다.

색 값(color value)은 특정 화상 색 성분(예를 들어, R, G, B, 또는 Y)에 대응하는 값이다.

디지털 코드 값(digital code value)은 이미지 신호의 수치 표현 값이고, 디지털 코드 값은 비-선형 색 값을 지시하기 위해 사용된다.

선형 색 값(linear color value): 선형 색 값은 광 강도에 정비례한다. 옵션의 경우에, 선형 색 값은 [0, 1]로 정규화되어야 하고 약칭하여 E라고 지칭된다.

비-선형 색 값(nonlinear color value): 비-선형 색 값은 이미지 정보의 정규화된 수치 표현 값이고, 디지털 코드 값에 정비례한다. 옵션의 경우에, 비-선형 색 값은 [0, 1]로 정규화되어야 하고 약칭하여 E'라고 지칭된다.

전기-광 전달 함수(electro-optical transfer function, EOTF)는 비-선형 색 값으로부터 선형 색 값으로의 변환의 관계이다.

광-전기 전달 함수(optical-electro transfer function, OETF)는 선형 색 값으로부터 비-선형 색 값으로의 변환의 관계이다.

메타데이터(Metadata)는 비디오 소스 정보를 기술하고 비디오 신호에서 반송되는 데이터이다.

동적 메타데이터(dynamic metadata)는 이미지의 각각의 프레임과 연관된 메타데이터이다. 이 메타데이터는 상이한 화상들에 따라 달라진다.

정적 메타데이터(static metadata)는 이미지 시퀀스와 연관된 메타데이터이다. 이 메타데이터는 이미지 시퀀스에서 불변인 채로 유지된다.

휘도 신호(luma)는 비-선형 원색 신호들의 조합을 표현하고, 그것의 심볼은 Y'이다.

휘도 매핑(luminance mapping)은 소스 이미지의 휘도를 목표 시스템에 매핑하는 것을 의미한다.

색 볼륨(colour volume)은 색 공간에서 디스플레이에 의해 제시될 수 있는 색도(chroma) 및 휘도(luminance)에 의해 형성되는 볼륨이다.

디스플레이 적응(display adaptation)은 비디오 신호를 처리하여, 비디오 신호가 목표 디스플레이의 디스플레이 특성에 적응하게 만드는 것을 의미한다.

소스 이미지(source picture)는 HDR 전처리 단계에서 입력되는 이미지이다.

마스터링 디스플레이(Mastering Display)는 비디오 신호를 사용하여 수행되는 편집 동안 사용되는 참조 디스플레이이고, 비디오 편집의 효과를 결정하도록 구성된다.

선형 장면 광(Linear Scene Light) 신호는 HDR 비디오 기술에서 그 내용이 장면 광인 HDR 비디오 신호이다. 장면 광은 카메라/카메라 렌즈 센서에 의해 캡처된 장면 광이고, 통상적으로 상대값이다. HLG 신호는 선형 장면 광 신호에 대해 HLG 인코딩이 수행된 후에 획득된다. HLG 신호는 장면 광 신호이고, HLG 신호는 비-선형이다. 장면 광 신호는 통상적으로 OOTF를 사용하여 디스플레이 광 신호로 변환될 필요가 있고, 그 후 디스플레이 광 신호는 디스플레이 디바이스 상에 디스플레이된다.

선형 디스플레이 광(Linear Display Light) 신호는 HDR 비디오 기술에서 그 내용이 디스플레이 광인 HDR 비디오 신호이다. 디스플레이 광은 디스플레이 디바이스에 의해 방출되는 디스플레이 광이고, 통상적으로 nits 단위로 측정되는 절대값이다. 선형 디스플레이 광 신호에 대해 PQ 인코딩이 수행된 후에 PQ 신호가 획득된다. PQ 신호는 디스플레이 광 신호이고, PQ 신호는 비-선형 신호이다. 디스플레이 광 신호는 통상적으로 디스플레이 광 신호의 절대 휘도에 기초하여 디스플레이 디바이스 상에 디스플레이된다.

광-광 전달(optical-optical transfer)(OOTF) 곡선은 비디오 기술에서 광 신호를 다른 광 신호로 변환하기 위해 사용되는 곡선이다.

다이내믹 레인지(Dynamic Range)는 비디오 신호에서 최대 휘도와 최소 휘도 간의 비율이다.

휘도-색도-색도(Luma-Chroma-Chroma)는 Y/C 분리 비디오 신호의 3개의 성분이다.

감지 양자화기(Perceptual Quantizer, PQ)는 HDR 표준이고 또한 HDR 전달 방정식이다. PQ는 인간의 시각 능력에 기초하여 결정된다. 디스플레이 디바이스 상에 디스플레이된 비디오 신호는 통상적으로 PQ 인코딩 형식의 비디오 신호이다.

PQ EOTF 곡선은 PQ 인코딩을 통해 획득된 전기 신호들을 선형 광 신호로 변환하기 위해 사용되고, nits 단위로 측정된다. 변환 공식은 다음과 같다:

E'는 입력 전기 신호를 표현하고, E'의 값 범위는 [0, 1]이다. 고정된 파라미터 값들은 다음과 같다:

PQ EOTF 곡선은 도 11에서 좌측 도에 도시되어 있다: 입력은 범위 [0, 1] 내의 전기 신호들이고, 출력은 범위 [0, 10000] nits 내의 선형 광 신호들이다.

PQ EOTF^-1 곡선은 PQ 역 EOTF 곡선이고, 그것의 물리적 의미는 해당 곡선이 범위 [0, 10000] nits 내의 선형 광 신호들을 PQ 인코딩을 통해 획득된 전기 신호들로 변환하기 위해 사용된다는 것이다. 변환 공식은 다음과 같다:

PQ EOTF^-1 곡선은 도 11에서 우측 도에 도시되어 있다: 입력은 범위 [0, 10000] nits 내의 선형 광 신호들이고, 출력은 범위 [0, 1] 내의 전기 신호들이다.

색역(Color Gamut)은 색 공간에 포함된 색 범위이고, 관련 색역 표준들은 BT.709 및 BT.2020을 포함한다.

하이브리드 로그-감마(Hybrid Log Gamma, HLG)는 HDR 표준이다. 카메라, 비디오 카메라, 이미지 센서, 또는 다른 유형의 이미지 캡처 디바이스에 의해 수집된 비디오 신호는 HLG 인코딩 형식의 비디오 신호이다.

HLG OETF 곡선은, HLG 인코딩을 통해, 선형 장면 광 신호들을 비-선형 전기 신호들로 변환하기 위해 사용되는 곡선이다. 변환 공식은 다음과 같다:

E는 입력 선형 장면 광 신호를 표현하고, E의 범위는 [0, 1]이다. E'는 출력 비-선형 전기 신호를 표현하고, E'의 범위는 [0, 1]이다.

고정된 파라미터들은 a=0.17883277, b=0.28466892, 및 c=0.55991073이다. 도 12의 좌측 도는 HLG OETF 곡선의 예시적인 다이어그램이다.

HLG OETF^-1 곡선은 HLG 역 OETF 곡선이고, HLG 인코딩을 통해 획득된 비-선형 전기 신호들을 선형 장면 광 신호들로 변환하기 위해 사용된다. 예를 들어, 변환 공식은 다음과 같다:

도 12의 우측 도는 HLG OETF^-1 곡선의 예시적인 다이어그램이다. E'는 입력 비-선형 전기 신호를 표현하고, E'의 범위는 [0, 1]이다. E는 출력 선형 장면 광 신호를 표현하고, E의 범위는 [0, 1]이다.

선형 공간: 본 출원에서의 선형 공간은 선형 광 신호가 위치하는 공간이다.

비-선형 공간: 본 출원에서의 비-선형 공간은 선형 광 신호가 비-선형 곡선을 사용하여 변환된 후에 획득되는 신호가 위치하는 공간이다. HDR에 대해 흔하게 사용되는 비-선형 곡선들은 PQ EOTF^-1 곡선, HLG OETF 곡선 등을 포함한다. SDR에 대해 흔하게 사용되는 비-선형 곡선은 감마 곡선을 포함한다. 비-선형 곡선을 사용하여 선형 광 신호에 대해 인코딩이 수행된 후에, 인코딩된 신호는 인간의 눈에 시각적으로 선형이라는 것이 일반적으로 고려된다. 비-선형 공간은 시각적으로 선형인 공간으로 간주될 수 있다는 것을 이해해야 한다.

감마 보정(Gamma Correction): 감마 보정은 이미지에 대해 비-선형 색조 편집을 수행하기 위한 방법이고, 이미지 신호에서 짙은 색 부분 및 옅은 색 부분을 검출하고 이 2개의 부분 간의 비율을 증가시켜서, 이미지의 명암비 효과를 개선하기 위해 사용될 수 있다. 현재, 디스플레이 스크린, 카메라 필름, 및 많은 전자 카메라들의 모든 광-전기 전달 특성들은 비-선형일 수 있다. 이들 비-선형 성분의 출력들과 입력들 간의 관계는 멱함수를 사용하여 표현될 수 있다:

.

인간의 시각 계통은 비-선형이고 인간들은 비교를 통해 시각 자극을 감지한다는 이유 때문에 디바이스에 의해 출력된 색 값에 대해 비-선형 변환이 수행된다. 외부 세계가 특정 비율로 자극을 강화시키는 경우에만 인간들의 관점에서 자극이 균일하게 증가하고 있다. 따라서, 인간 감지의 관점에서, 등비수열(geometric progression)로 증가하는 물리량의 값들은 균일하다. 인간 시각 법칙에 따라 입력 색을 디스플레이하기 위해서는, 전술한 멱함수의 형식의 비-선형 변환이 수행될 필요가 있고, 선형 색 값이 비-선형 색 값으로 변환된다. 감마의 값 γ는 색 공간의 광-전기 전달 곡선을 사용하여 결정될 수 있다.

색 공간(Color Space): 색들은 상이한 주파수들에서의 광선들에 대한 상이한 눈의 느낌들을 반영할 수 있고, 객관적으로 존재하는 상이한 주파수들에서의 광을 또한 지시할 수 있다. 색 공간은 색들을 지시하기 위해 사람들에 의해 생성되는 좌표계에 의해 정의되는 색 범위이다. 색역 및 색 모델은 공동으로 색 공간을 정의한다. 색 모델은 색들을 지시하기 위해 색 성분들의 그룹을 사용하는 추상 수학 모델이다. 색 모델은, 예를 들어, 적녹청(red green blue, RGB) 색 모델 및 인쇄 청록 자홍 황색 키(cyan magenta yellow key plate, CMYK) 모드를 포함할 수 있다. 색역은 시스템에 의해 생성될 수 있는 색들의 전체 범위를 의미한다. 예를 들어, Adobe RGB 및 sRGB는 RBG 모델들에 기초한 2가지 유형의 상이한 색 공간이다.

디스플레이 또는 프린터와 같은 각각의 디바이스는 그 자신의 색 공간을 갖고, 디바이스의 색역에서만 색들을 생성할 수 있다. 이미지가 디바이스로부터 다른 디바이스로 이동할 때, 각각의 디바이스가 디바이스의 색 공간에 기초하여 색 변환을 수행하고 그 후 RGB 또는 CMYK를 디스플레이하기 때문에, 이미지의 색들은 상이한 디바이스들 상에서 변화될 수 있다.

다음은 몇 가지 유형의 공통 색 공간을 설명한다.

sRGB 색 공간(standard Red Green Blue color space)은 1996년에 휴렛 팩커드 사 및 마이크로소프트 사에 의해 개발되었고 디스플레이, 프린터, 및 인터넷을 위해 사용되는 표준 RGB 색 공간이다. sRGB 색 공간은, 디스플레이, 인쇄, 및 스캐닝 기능들을 갖는 다양한 컴퓨터 외부 디바이스 등이 응용 소프트웨어와 색들에 대한 공통 언어를 갖게 하기 위해, 색들을 정의하기 위한 표준 방법을 제공한다. sRGB 색 공간은, 독립적인 색 좌표들에 기초하여, 색들이 상이한 디바이스들에 의해 수행되는 사용 및 송신 동안, 이들 디바이스의 상이한 색 좌표들에 의해 영향을 받지 않고 동일한 색 좌표계에 대응하게 할 수 있다. 그러나, sRGB 색역 공간은 비교적 작다. sRGB는 3원색, 즉, 적색, 녹색, 및 청색을 정의한다. 3원색 중 하나의 색의 색 값이 그것의 최대 값을 취하고 다른 2개의 색의 색 값들이 둘 다 0일 때, 대응하는 색은 하나의 색을 표현한다. 예를 들어, 3원색, 즉, 적색, 녹색, 및 청색 중, 색 값들 R, G, 및 B의 값 범위들은 모두 0-255이다. R 및 G의 값들이 둘 다 0이고 B의 값이 255일 때, 대응하는 색은 청색을 표현한다.

YCC 색 공간은 본 출원에서 Y/C 분리 색 공간이다. YCC의 3개의 성분은 각각 휘도-색도-색도(Luma-Chroma-Chroma)를 표현한다. YCC 공간에서 흔한 비디오 신호들은 YUV, YCbCr, ICtCp 등을 포함한다.

상이한 색 공간들 사이에 변환이 수행될 수 있다는 것을 이해해야 한다.

예비 비트(reserved_bits): 비트스트림에서 "예비 비트들"은 일부 구문 유닛들이 미래에 이 부분을 확장하도록 예비되고, 이들 비트는 디코딩 처리 동안에 무시되어야 한다는 것을 의미한다. "예비 비트들"에 대해, 임의의 바이트 정렬 위치로부터 시작하여 21개 초과의 연속적인 '0'이 출현해서는 안 된다.

마커 비트(marker_bit)는 비트의 값이 '1'이어야 한다는 것을 의미한다.

HDR 비디오의 디스플레이 가능한 휘도는 비교적 크다. 옵션의 경우에, SDR 비디오 신호의 최대 휘도는 100 nits이고 HDR 비디오 신호의 최대 휘도는 1000 nits보다 크지만, 많은 양의 기존의 디스플레이 디바이스들에 의해 디스플레이될 수 있는 휘도 범위는 HDR 비디오의 휘도 범위에 도달할 수 없다. 따라서, HDR 비디오 신호의 디스플레이 동안, HDR 비디오 신호가 기존의 디바이스 상에 디스플레이되기에 적합하도록, HDR 비디오 신호를 디스플레이 디바이스에 의해 디스플레이될 수 있는 휘도 범위와 매칭시키기 위해, HDR 비디오 신호의 휘도를 디스플레이 디바이스의 디스플레이 능력에 기초하여 처리할 필요가 있다. ITU BT.2100에서 정의된 PQ 신호 및 HLG 신호는 2가지 유형의 국제적으로 인정된 HDR 신호 소스들이고, 많은 국가들 및 지역들에 의한 표준들에 포함된다.

도 1은 본 출원의 실시예에 따른 예시적인 응용 시나리오의 개략도이다. 이 응용 시나리오에서, 재생 디바이스(102)는 비디오 스트림(101)의 수신 및 디코딩을 완성한다. 재생 디바이스(102)는, 고해상도 멀티미디어 인터페이스(High Definition Multimedia Interface, HDMI)를 통해, 디코딩된 비디오 또는 오디오 데이터를 디스플레이 또는 재생을 위해 디스플레이 디바이스(103)에 송신하여, 사용자가 비디오 또는 오디오 콘텐츠를 감상할 수 있게 한다.

예를 들어, 비디오 스트림(101)은 웹사이트 스트리밍 미디어, 원격 네트워크 디바이스, 인터넷, 광섬유 네트워크 등으로부터 온 것일 수 있다. 비디오 스트림은 동적 메타데이터 HDR 비디오 데이터 또는 정적 메타데이터 HDR 비디오 데이터일 수 있다. 예를 들어, 비디오 스트림(101)은 전송 스트림(Transport Stream, TS) 형식의 데이터 스트림일 수 있고, TS는 비디오 스트림, 오디오 스트림, 자막 데이터 패킷 등을 포함할 수 있다. 비디오 스트림은 대안적으로 다른 유사한 형식의 데이터 스트림일 수 있다. 예를 들어, 스트리밍 미디어는 (Matroska Video File, MKV) 형식 또는 MKV 형식과 유사한 오디오 비디오 인터리브된(Audio Video Interleaved, AVI) 형식을 사용하여 오디오 데이터, 비디오 데이터, 자막 데이터 등을 모두 캡슐화하기 위해 이용될 수 있다. 오디오/비디오 스트림 전송 형식은 본 출원에서 제한되지 않는다. 예를 들어, 비디오 스트림은 HDR 비디오 데이터 및 HDR 비디오를 기술하기 위해 사용되는 메타데이터를 포함할 수 있다. 이 경우, 메타데이터 및 HDR 비디오 데이터 둘 다는 비디오 스트림 내에 압축된다. 다른 옵션의 경우에, TS는 비디오 스트림, 오디오 스트림, 자막 데이터 패킷, 및 HDR 비디오를 기술하기 위해 사용되는 메타데이터를 포함할 수 있다; 이 경우, HDR 비디오 데이터를 기술하기 위해 사용되는 메타데이터는 TS 내에 배치되고, 비디오 스트림 내에 압축되지 않는다. 메타데이터는 비디오 이미지 데이터의 기술을 포함한다. 예를 들어, 정적 메타데이터는 전체 비디오의 제작 환경을 기술하고, 비디오 편집 및 색 그레이딩을 위해 사용되는 마스터링 디스플레이의 관련 정보, 피크 휘도, 흑색 레벨, RGB 3색 좌표, 백색 점 좌표 등을 포함할 수 있다. 예를 들어, 동적 메타데이터는 통상적으로 비디오 이미지 내의 콘텐츠의 각각의 프레임의 기술을 포함한다. 예를 들어, 동적 메타데이터는 이미지의 최대 휘도, 최소 휘도, 및 평균 휘도를 포함할 수 있다. 옵션으로, 동적 메타데이터는 이미지의 프레임 및 디스플레이 스크린에 대응하는 참조 매핑 곡선을 추가로 포함할 수 있다. 동적 메타데이터에 포함된 참조 매핑 곡선은 비디오 이미지의 변화에 따라 달라진다는 것을 이해해야 한다.

옵션의 솔루션에서, 재생 디바이스(102)는 셋톱 박스(Set Top Box, STB), 멀티미디어 플레이어 등일 수 있다. STB는 주로 플러그인 카드 빌링, 비디오 암호화 및 복호화 등과 같은 많은 보안 기능들을 갖는다. 비교적 높은 품질의 일부 비디오들에 대한 디지털 권리 보호 메커니즘이 존재하고, 비디오들은 STB 측에서 복호화된 후에만 TV 측에서 시청될 수 있다. STB 측에서 수신된 비디오 데이터는 통상적으로 인코딩된 비디오 데이터이다. STB는 디코딩 기능을 추가로 갖고, STB는 통상적으로 비디오 데이터를 디코딩하고 그 후 디코딩된 비디오 데이터를 디스플레이를 위해 TV 측에 송신한다. 도 3은 본 출원의 실시예에 따른 재생 디바이스가 비디오 데이터의 처리를 완성하고 처리된 비디오 데이터를 디스플레이를 위해 디스플레이 디바이스에 송신하는 응용 시나리오의 개략 아키텍처 도이다. STB는 수신된 TS를 파싱하여 비디오 데이터, 오디오 데이터, 메타데이터 metadata 등을 획득한다. 예를 들어, STB에 의해 수신된 비디오 데이터는 HDR HLG 비디오 신호, HDR PQ 비디오 신호, 또는 SDR 비디오 신호일 수 있다. 그 후, STB는, HDR 비디오 신호가 디스플레이 스크린의 휘도 범위에 적응하도록, 비디오 데이터에 대해 디코딩, 디스플레이 휘도 처리, 색 채도 처리, 색역 처리 등을 수행한다; 그리고 STB는 처리된 비디오 데이터를 유선 또는 무선 HDMI 또는 디스플레이 포트 송신을 통해, 또는 다른 방식으로 디스플레이 디바이스(103)에 송신한다. 옵션으로, 재생 디바이스에 의해 수행된 처리를 통해 획득된 비디오 데이터는 디스플레이 디바이스에 의해 디스플레이될 수 있는 휘도 범위와 매칭된다; 그리고 처리된 비디오 데이터의 유형은 디스플레이 디바이스의 유형과 관련되고, HDR 비디오 데이터 또는 SDR 비디오 데이터일 수 있다. 도 3에 도시된 바와 같이, 계산을 통한 휘도 매핑 곡선의 획득은 메인 프로세서에 의해 구현되고, 통상적으로 소프트웨어를 사용하여 완성된다; 사전에 계산을 통해 획득된 휘도 매핑 곡선은 메모리에 저장된다; 그리고 비디오 프로세서 내의 휘도 처리 유닛은 메모리 내의 휘도 매핑 곡선을 사용하여 비디오 화상 처리를 완성한다. 옵션으로, 비디오 프로세서는 전용 집적 하드웨어, 전용 회로, 또는 전용 칩 상에서 실행되는 복수의 소프트웨어 모듈일 수 있다. 도 3은 예에 불과하고, 재생 디바이스의 아키텍처에 대한 어떠한 제한도 구성하지 않는다는 것을 이해해야 한다. 실제 응용에서, 기능 모듈들의 구현은 실제 응용 시나리오에 기초하여 조정될 수 있다. 이 기능 모듈들은 전적으로 비디오 프로세서를 사용하여 구현될 수 있거나, 전적으로 메인 프로세서의 소프트웨어를 사용하여 구현될 수 있거나, 또는 하드웨어, 즉, DSP 또는 FPGA와 같은 다른 전용 칩과 소프트웨어의 조합을 사용하여 구현될 수 있다.

옵션의 경우에, 비디오 데이터 등을 포함하는 비디오 스트림이 TV와 같은 디스플레이 디바이스(103)에 직접 송신될 수 있고, 그 후 디스플레이 디바이스 내부의 비디오 데이터에 대해 비디오 디코딩, 휘도 매핑 처리, 색 채도 처리, 색역 처리 등이 수행된다. 도 2는 본 출원의 실시예에 따른 디스플레이 디바이스가 비디오 데이터의 처리를 완성하고 처리된 비디오 데이터를 디스플레이하는 응용 시나리오의 개략 아키텍처 도이다. 옵션의 경우에, 계산을 통한 휘도 매핑 곡선의 획득은 메인 프로세서에 의해 구현되고, 통상적으로 소프트웨어 명령어를 사용하여 완성된다; 사전에 계산을 통해 획득된 휘도 매핑 곡선은 메모리에 저장된다; 그리고 비디오 프로세서 내의 휘도 처리 유닛은 메모리 내의 휘도 매핑 곡선을 사용하여 비디오 화상 처리를 완성한다. 실제 응용에서, 기능 모듈들의 구현은 실제 응용 시나리오에 기초하여 조정될 수 있다는 것을 이해해야 한다. 이 기능 모듈들은 전적으로 비디오 프로세서를 사용하여 구현될 수 있거나, 전적으로 메인 프로세서의 소프트웨어를 사용하여 구현될 수 있거나, 또는 하드웨어, 즉, DSP 또는 FPGA와 같은 다른 전용 칩과 소프트웨어의 조합을 사용하여 구현될 수 있다.

예를 들어, 디스플레이 디바이스(103)는 TV, 컴퓨터 디스플레이, 또는 디스플레이 기능을 갖는 임의의 고정 단말 또는 이동 단말일 수 있다. TV는 STB에 의해 송신된 비디오 데이터에 대해 디스플레이 처리를 수행하고, 그 후 처리된 비디오 데이터를 스크린 상에 디스플레이한다. 예를 들어, 디스플레이 처리는 미리 설정된 휘도 매핑 관계에 기초하여 TV에 의해 비디오 휘도를 조정하여, 비디오 콘텐츠가 TV의 디스플레이 능력에 적응하게 만드는 것일 수 있다. 옵션의 경우에, STB에 의해 송신된 비디오가 동적 메타데이터를 갖는 HDR 비디오이고, TV가 HDR 디스플레이 기능을 갖는 TV일 때, TV는, 상이한 화상들이 최적의 방식으로 디스플레이되고 제시될 수 있도록, 동적 메타데이터에 포함된 복수의 휘도 매핑 관계 그룹에 기초하여 상이한 비디오 화상들에 대해 휘도 매핑 tone mapping 처리를 수행한다. 옵션으로, TV는 대안적으로 SDR TV 또는 HDR PQ TV일 수 있다.

다음은 프로세서 하드웨어의 관점에서 본 출원의 실시예들에서의 재생 디바이스 및 디스플레이 디바이스를 개별적으로 설명한다.

도 4는 본 출원의 실시예에 따른 재생 디바이스 및 디스플레이 디바이스의 하드웨어의 개략 아키텍처 도이다.

옵션으로, 재생 디바이스(102)는 적어도 하나의 중앙 처리 유닛 CPU, 적어도 하나의 메모리, GPU, 디코더, 전용 비디오/그래픽 처리 유닛, 입력 인터페이스, HDMI 송신기 등을 포함한다. 옵션으로, 재생 디바이스는 마이크로프로세서, 마이크로컨트롤러 유닛(Microcontroller Unit, MCU) 등을 추가로 포함할 수 있다. 옵션의 경우에, 재생 디바이스의 부분들은 커넥터를 통해 서로 결합되고, 여기서 커넥터는 다양한 유형의 인터페이스들, 송신 라인들, 버스들 등을 포함할 수 있다. 이는 이 실시예에서 제한되지 않는다. 커넥터는 다양한 유형의 인터페이스들, 송신 라인들, 버스들 등을 포함할 수 있다. 이는 이 실시예에서 제한되지 않는다. 옵션의 경우에, 부분들은 동일한 칩에 집적되고, 함께 재생 디바이스의 코어 칩을 구성한다. 다른 옵션의 경우에, CPU, GPU, 디코더, 입력 인터페이스, 및 HDMI 송신기는 칩에 집적되고, 칩 내부의 부분들은 버스를 사용하여 외부 메모리에 액세스한다. 전용 비디오/그래픽 처리 유닛은 CPU와 동일한 칩에 집적될 수 있거나, 독립적인 프로세서 칩으로서 존재할 수 있다. 본 출원의 이 실시예에서의 칩은 집적 회로 기법을 사용하여 동일한 반도체 기판 상에 제조된 시스템이고, 반도체 칩이라고도 지칭된다. 칩은 집적 회로 기법을 사용하여 기판(예를 들어, 통상적으로 실리콘-유형 반도체 재료) 상에 형성된 집적 회로들의 세트일 수 있고, 칩의 외부 층은 통상적으로 반도체 패키징 재료에 의해 패키징된다. 집적 회로는 다양한 기능 디바이스들을 포함할 수 있다. 각각의 기능 디바이스는 로직 게이트 회로, 금속 산화물 반도체(Metal-Oxide-Semiconductor, MOS) 트랜지스터, 바이폴라 트랜지스터, 다이오드, 또는 다른 트랜지스터를 포함하거나, 커패시터, 저항기, 인덕터, 또는 다른 컴포넌트를 포함할 수 있다. 각각의 기능 디바이스는 독립적으로 동작하거나 필요한 드라이버 소프트웨어의 작용 하에서 동작할 수 있고, 통신, 계산, 및 저장과 같은 다양한 기능들을 구현할 수 있다.

CPU는 본 출원의 이 실시예에서 모든 또는 일부 계산을 구현하기 위해, 예를 들어, 이미지에 대한 tone mapping, 비디오 데이터의 디멀티플렉싱 및 디코딩, 계산을 통한 휘도 매핑 곡선 tone-mapping curve의 획득, 및 계산을 통한 색 채도 곡선의 획득을 구현하기 위해 사용될 수 있다. 옵션으로, CPU는 싱글-코어 프로세서(single-CPU) 또는 멀티-코어 프로세서(multi-CPU)일 수 있다. 옵션으로, CPU는 복수의 프로세서를 포함하는 프로세서 세트일 수 있고, 복수의 프로세서는 하나 이상의 버스를 통해 서로 결합된다. 옵션의 경우에, 일부 이미지 및 비디오 처리는 GPU에 의해 완성되고, 일부 이미지 및 비디오 처리는 전용 비디오/그래픽 처리 유닛에 의해 완성된다; 또는 이미지 및 비디오 처리는 CPU 또는 GPU 상에서 실행되는 소프트웨어 코드를 사용하여 완성될 수 있다.

메모리는 운영 체제(Operation System, OS), 각종 사용자 응용 프로그램들, 및 본 출원의 솔루션들을 수행하기 위해 사용되는 프로그램 코드를 포함하는 다양한 컴퓨터 프로그램 코드를 포함하는 컴퓨터 프로그램 명령어를 저장하도록 구성될 수 있다. 예를 들어, 메모리는 휘도 매핑 곡선 또는 휘도 매핑 룩업 테이블 LUT를 저장하도록 구성될 수 있다. 메모리는 비디오 데이터, 오디오 데이터, 자막 데이터 등을 저장하도록 추가로 구성될 수 있다. CPU는 본 출원의 실시예들에서의 방법들을 구현하기 위해, 메모리에 저장된 컴퓨터 프로그램 코드를 실행하도록 구성될 수 있다. 각종의 실행되는 프로그램 코드는 CPU의 드라이버로서 간주될 수 있다. 옵션으로, 메모리(302)는 파워-오프시 비휘발성 메모리(non-power-off volatile memory), 예를 들어, 임베디드 멀티미디어 카드(Embedded Multi Media Card, EMMC), 범용 플래시 스토리지(Universal Flash Storage, UFS), 판독 전용 메모리(Read-Only Memory, ROM), 또는 정적 정보 및 명령어를 저장할 수 있는 다른 유형의 정적 저장 디바이스일 수 있다. 대안적으로, 메모리(302)는 파워-오프시 휘발성 메모리(power-off volatile memory)(volatile memory), 예를 들어, 랜덤 액세스 메모리(Random Access Memory, RAM), 정보 및 명령어를 저장할 수 있는 다른 유형의 동적 저장 디바이스, 전기적으로 소거가능한 프로그램 가능 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 콤팩트 디스크 판독 전용 메모리(Compact Disc Read-Only Memory, CD-ROM), 다른 광 디스크 스토리지, 광 디스크 스토리지(콤팩트 디스크, 레이저 디스크, 광 디스크, 디지털 다기능 디스크, 블루레이 디스크 등을 포함함), 자기 디스크 저장 매체, 다른 자기 저장 디바이스, 또는 명령어 또는 데이터 구조의 형식으로 프로그램 코드를 반송 또는 저장하기 위해 사용될 수 있는 그리고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 컴퓨터 판독가능 저장 매체일 수 있다. 그러나, 그에 어떠한 제한도 부과되지 않는다.

입력 인터페이스는 전송 스트림을 수신하도록 구성된다. 재생 디바이스의 입력 인터페이스는 네트워크 인터페이스, 예를 들어, Wi-Fi 인터페이스 또는 이더넷 인터페이스일 수 있다. 입력 인터페이스는 대안적으로 방송 텔레비전 포트, 예를 들어, tunner일 수 있다. 입력 인터페이스는 대안적으로 범용 직렬 버스(Universal Serial Bus, USB) 인터페이스일 수 있다.

옵션의 경우에, CPU는 관련 코드를 실행하여 전송 스트림을 디멀티플렉싱하여, 비디오 데이터, 자막 데이터 등을 획득한다. 디코더는 비디오 데이터 및 메타데이터를 획득하기 위해 비디오 데이터 스트림을 디코딩한다. 비디오/그래픽 처리 유닛은 비디오 데이터에 대해 수행되는 휘도 매핑 처리, 색 채도 처리, 색 공간 변환, 색역 처리, 장면 광 신호와 디스플레이 광 신호 간의 변환, 선형 공간과 비-선형 공간 간의 변환 등을 완성한다; 그리고 옵션으로 계산을 통한 휘도 매핑 곡선 및 채도 매핑 곡선의 획득을 추가로 완성할 수 있다. HDMI 송신기는 디코딩된 비디오 데이터, 디코딩된 메타데이터, 및 자막 데이터를 개별적으로 캡슐화하고, 캡슐화된 데이터 패킷/정보 프레임을 HDMI 데이터 경로를 통해 디스플레이 디바이스(103)에 송신한다.

옵션으로, 디스플레이 디바이스(103)는 HDMI 수신기, 적어도 하나의 중앙 처리 유닛 CPU, 적어도 하나의 메모리, GPU, 디코더, 전용 비디오/그래픽 처리 유닛, "V by One" 인터페이스 등을 포함한다. 디스플레이 디바이스는 디스플레이 스크린(도면에 도시되지 않음)을 추가로 포함한다. 옵션으로, "V by One" 인터페이스가 디스플레이 스크린에 결합된다. "V by One" 인터페이스는 이미지 송신을 위해 개발된 디지털 인터페이스 표준이다. 옵션으로, 도 4에 도시된 디스플레이 디바이스(103)는 집적된 디스플레이 칩일 수 있다. 수신된 비디오 데이터는 디스플레이 칩에서 처리되고, 그 후 처리된 비디오 데이터는 디스플레이를 위해 디스플레이 스크린에 송신된다.

CPU 및 메모리의 구체적인 설명에 대해서는, 재생 디바이스 측의 CPU 및 메모리의 설명들을 참조한다. 세부사항들은 여기서 다시 설명되지 않는다. HDMI 송신기는 비디오 데이터 프레임, 메타데이터 정보 프레임, 자막 정보 프레임, 및 다른 정보 프레임들 또는 데이터 패킷들을 디스플레이 디바이스에 개별적으로 송신한다. HDMI 내부에는 복수의 경로가 존재하고, 일부 경로들은 데이터 정보를 송신하기 위해 사용되고, 일부 다른 경로들은 클록 신호, 체크섬 신호, 전원 신호, 및 접지 신호와 같은 제어 정보를 송신하기 위해 사용된다는 것을 이해해야 한다. 옵션의 경우에, 데이터 경로에 대해 시분할 다중화가 수행되고, 다양한 유형의 데이터 패킷들이 동시에 송신될 수 없다. 주어진 시간 기간에 경로 상에서 송신되는 데이터의 양은 동작 주파수에 의해 제한되고, 주어진 시간 기간에 경로 상에서 송신될 수 있는 데이터의 최대량은 HDMI 경로의 대역폭과 동등하다. 예를 들어, HDMI2.1의 대역폭은 18 Gbps(bit per second)이다. 옵션으로, 송신 인터페이스는 HDR 비디오 데이터 프레임, 메타데이터 정보 프레임, 및 자막 정보 프레임을 상이한 시간에 송신한다. 옵션으로, 송신 인터페이스는 복수의 송신 주파수 대역에 대응하고, 송신 인터페이스는 비디오 데이터 프레임, 메타데이터 프레임, 및 자막 정보 프레임을 상이한 주파수 대역들에서 송신한다. 옵션으로, 송신 인터페이스는 복수의 송신 경로에 대응하고, 송신 인터페이스는 비디오 데이터 프레임, 메타데이터 프레임, 및 자막 정보 프레임을 상이한 경로들 상에서 송신한다. 비디오 데이터에 대해 수행되는 tone mapping 처리는 GPU에 의해 완성될 수 있거나, 전용 비디오/그래픽 처리 유닛에 의해 완성될 수 있다. 휘도 매핑은 전용 비디오/그래픽 처리 유닛에 의해 완성될 수 있거나, CPU 또는 GPU 상에서 실행되는 소프트웨어 코드를 사용하여 완성될 수 있다. 옵션의 경우에, 비디오/그래픽 처리 유닛은, "V by One" 인터페이스를 사용하여, 디스플레이 휘도 처리 후에 획득된 비디오 데이터를 디스플레이를 위해 디스플레이 스크린에 송신한다.

예를 들어, 디스플레이 스크린은 액정 디스플레이(Liquid Crystal Display, LCD), 발광 다이오드(Light Emitting Diode, LED) 디스플레이, 유기 발광 다이오드(Organic Light-Emitting Diode, OLED) 디스플레이 스크린, 또는 음극선관(Cathode Ray Tube, CRT) 디스플레이 스크린일 수 있다.

도 5는 본 출원의 실시예에 따른 비디오 신호 처리 방법의 흐름도이다. 설명의 편의를 위해, 도 5는 단계들을 사용하여 방법을 설명한다는 것을 이해해야 한다. 방법 흐름도, 즉, 도 5는 방법의 시퀀스를 도시하지만, 일부 경우들에서, 설명된 단계들은 본 명세서에서의 시퀀스와 상이한 시퀀스로 수행될 수 있다.

비디오 신호 처리 방법은 다음의 단계들을 포함한다.

501. 제1 선형 휘도 신호를 획득한다.

제1 선형 휘도 신호는 처리될 비디오 신호에 대응하는 제1 선형 RGB 신호에 기초하여 획득된다. 예를 들어, 제1 선형 RGB 신호는 선형 디스플레이 광 신호이고, 제1 선형 휘도 신호는 선형 디스플레이 광 휘도 신호이다. 휘도 신호는 처리될 비디오 신호의 휘도 성분이라는 것을 이해해야 한다. 옵션의 경우에, 제1 선형 휘도 신호는 제1 선형 RGB 신호의 3원색 신호들 R, G, 및 B에 기초하여 계산된다.

예를 들어, 처리될 비디오 신호는 PQ 신호일 수 있고, PQ 신호는 YUV 공간에서의 PQ 신호일 수 있다. 선형 휘도 신호가 획득되기 전에, PQ 신호를 YUV 공간으로부터 RGB 공간으로 변환하여, 제1 비-선형 RGB 신호를 획득할 필요가 있다. 옵션으로, 제1 비-선형 RGB 신호는 PQ 전기-광 전달 함수에 기초하여 제1 선형 RGB 신호로 변환되고; 그리고 제1 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 제1 선형 휘도 신호를 획득한다. 이 경우, 제1 선형 휘도 신호는 디스플레이 광 휘도 신호이다.

예를 들어, 처리될 비디오 신호는 HLG 신호일 수 있고, HLG 신호는 YUV 공간에서의 HLG 신호일 수 있다. 선형 휘도 신호가 획득되기 전에, HLG 신호를 YUV 공간으로부터 RGB 공간으로 변환하여, 제2 비-선형 RGB 신호를 획득할 필요가 있다. 옵션으로, HLG 역 전기-광 전달 함수에 기초하여 제2 비-선형 RGB 신호를 제2 선형 RGB 신호로 변환하고, 여기서 제2 선형 RGB 신호는 선형 장면 광 신호이고; 그리고 제2 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 제3 선형 휘도 신호를 획득한다. HLG 신호는 장면 광 신호이기 때문에, 획득된 제3 선형 휘도 신호는 장면 광 휘도 신호이고, 제1 선형 휘도 신호를 획득하기 위해 제3 선형 휘도 신호에 대해 휘도 신호 유형 변환이 수행될 필요가 있다는 것을 이해해야 한다. 예를 들어, 제1 선형 휘도 신호는 디스플레이 광 휘도 신호이다.

502. 제1 선형 휘도 신호를 제1 비-선형 휘도 신호로 변환한다.

본 출원의 이 실시예에서는 비-선형 공간에서 휘도 매핑이 수행된다. 다시 말해서, 본 출원의 이 실시예에서, 휘도 매핑에 대한 입력은 선형 휘도 신호이다. 따라서, 선형 휘도 신호는 비-선형 휘도 신호로 변환될 필요가 있다.

예를 들어, 제1 선형 휘도 신호는 PQ 역 전기-광 전달 함수에 기초하여 제1 비-선형 휘도 신호로 변환될 수 있다. 대안적으로, 제1 선형 휘도 신호로부터 제1 비-선형 휘도 신호로의 변환은 다른 전달 함수 또는 전달 곡선을 사용하여 완성될 수 있다. 제1 비-선형 휘도 신호는 휘도 매핑 전의 비-선형 휘도 신호이다.

503. 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득한다.

옵션으로, 구분적 휘도 매핑은 미리 설정된 휘도 매핑 룩업 테이블에 기초하여 제1 비-선형 휘도 신호에 대해 수행될 수 있다. 휘도 매핑 룩업 테이블은 메모리에 저장될 수 있고, 휘도 매핑 룩업 테이블은 이산 좌표점들의 몇 개의 그룹을 포함하고, 제1 비-선형 휘도 신호의 휘도 값이 입력된 후에 제2 비-선형 휘도 신호의 휘도 값이 대응하여 출력된다. 옵션으로, 휘도 매핑 룩업 테이블 내의 매핑 데이터는 이전 실험에 의해 획득될 수 있다.

옵션으로, 구분적 휘도 매핑은 구분적 함수를 사용하여 제1 비-선형 휘도 신호에 대해 수행될 수 있다. 옵션의 경우에, 제1 비-선형 휘도 신호는 휘도 값들에 기초하여 3개의 부분으로 분할될 수 있고, 여기서 부분들에 대응하는 휘도 매핑 함수들은 상이하다. 예를 들어, 제1 임계값 및 제2 임계값이 결정되고, 여기서 상기 제1 임계값은 상기 제2 임계값보다 작고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다 작거나 그와 동등할 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 제1 비-선형 휘도 신호의 휘도 값과 동등하고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다 크고 상기 제2 임계값보다 작거나 그와 동등할 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 제1 비-선형 휘도 신호의 휘도 값을 독립 변수로서 사용하는 피팅된 곡선(fitted curve)에 기초하여 획득되고; 상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제2 임계값보다 클 때는, 상기 비-선형 휘도 신호의 휘도 값이 디스플레이 디바이스에 대응하는 최대 비-선형 디스플레이 휘도 값과 동등하다. 옵션의 경우에, 상기 피팅된 곡선은 상기 제1 임계값 및 상기 제2 임계값에 대해 Hermite 보간을 수행하는 것에 의해 획득된다.

예를 들어, 다음은 본 출원의 실시예에서 제공되는 몇 가지 구분적 휘도 매핑 곡선들을 설명한다.

경우 1: 휘도 매핑 전의 휘도 범위는 0-1000 nits이고, 휘도 매핑 후의 휘도 범위는 0-100 nits이다.

이 경우, 구분적 휘도 매핑 곡선은 다음의 구분적 함수로서 표현될 수 있다:

함수 hmt()는 다음과 같이 정의된다:

경우 2: 휘도 매핑 전의 휘도 범위는 0-1000 nits이고, 휘도 매핑 후의 휘도 범위는 0-150 nits이다.

함수 hmt()는 다음과 같이 정의된다:

경우 3: 휘도 매핑 전의 휘도 범위는 0-1000 nits이고, 휘도 매핑 후의 휘도 범위는 0-200 nits이다.

함수 hmt()는 다음과 같이 정의된다:

경우 4: 휘도 매핑 전의 휘도 범위는 0-1000 nits이고, 휘도 매핑 후의 휘도 범위는 0-250 nits이다.

함수 hmt()는 다음과 같이 정의된다:

경우 5: 휘도 매핑 전의 휘도 범위는 0-1000 nits이고, 휘도 매핑 후의 휘도 범위는 0-300 nits이다.

함수 hmt()는 다음과 같이 정의된다:

경우 6: 휘도 매핑 전의 휘도 범위는 0-1000 nits이고, 휘도 매핑 후의 휘도 범위는 0-350 nits이다.

함수 hmt()는 다음과 같이 정의된다:

경우 7: 휘도 매핑 전의 휘도 범위는 0-1000 nits이고, 휘도 매핑 후의 휘도 범위는 0-400 nits이다.

함수 hmt()는 다음과 같이 정의된다:

옵션으로, 구분적 휘도 매핑은 휘도 매핑 곡선에 기초하여 제1 비-선형 휘도 신호에 대해 수행될 수 있다. 휘도 매핑 곡선은 구분적 곡선일 수 있다. 구분적 휘도 매핑 곡선은 구분적 함수의 그래픽 표현으로서 간주될 수 있고, 룩업 테이블 내의 이산 데이터는 휘도 매핑 곡선 상의 좌표점들일 수 있다는 것을 이해해야 한다.

504. 제2 비-선형 휘도 신호를 제2 선형 휘도 신호로 변환한다.

예를 들어, 제2 비-선형 휘도 신호는 PQ 전기-광 전달 함수에 기초하여 제2 선형 휘도 신호로 변환될 수 있다. 대안적으로, 제2 비-선형 휘도 신호로부터 제2 선형 휘도 신호로의 변환은 다른 전달 함수 또는 전달 곡선을 사용하여 완성될 수 있다. 제2 비-선형 휘도 신호는 휘도 매핑 후의 비-선형 휘도 신호이다.

505. 제2 선형 휘도 신호와 제1 선형 휘도 신호 간의 휘도 이득을 계산한다.

예를 들어, 휘도 이득은 제2 선형 휘도 신호 대 제1 선형 휘도 신호의 비율이다.

506. 휘도 이득과 제1 선형 RGB 신호의 곱에 기초하여, 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득한다.

구체적으로, 휘도 이득을 제1 선형 RGB 신호의 3원색 성분들 R, G, 및 B와 개별적으로 곱하여 RGB 디스플레이 신호를 획득한다. 옵션으로, RGB 디스플레이 신호는 디스플레이 디바이스에 의해 수행되는 디스플레이를 위해 사용될 수 있다.

옵션의 경우에, 디스플레이 디바이스에 의해 디스플레이될 수 있는 색 형식이 RGB와 상이하다면, 이 방법은:

상기 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하여 목표 디스플레이 신호를 획득하는 단계를 추가로 포함하고, 상기 목표 디스플레이 신호의 색 형식은 상기 디스플레이 디바이스에 대응하는 색 형식과 동일하다.

가능한 구현에서, 상기 RGB 디스플레이 신호가 획득된 후에, 흑색 레벨 리프트 BlackLevelLift가 상기 RGB 디스플레이 신호의 원색 성분들 R, G, 및 B 각각에 추가되고, 여기서 BlackLevelLift는 디스플레이 디바이스의 디스플레이 휘도의 최소 값이다. 또한, 상기 처리된 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하여 그 색 형식이 디스플레이 디바이스에 대응하는 색 형식과 동일한 목표 디스플레이 신호를 획득한다.

다음은 본 출원의 실시예들에서 제공되는 비디오 신호 처리 방법들을 설명하기 위해 입력이 HDR PQ 신호이고 입력이 HDR HLG 신호인 예들을 개별적으로 사용한다.

도 6은 본 출원의 실시예에 따른 HDR 비디오 데이터 휘도 처리 방법의 개략 흐름도이다.

선형 장면 광 신호 및 선형 디스플레이 광 신호는 2가지 형식의 비디오 신호들이라는 것을 이해해야 한다. 선형 장면 광 신호는 카메라, 다른 이미지 캡처 디바이스, 또는 비디오 캡처 디바이스에 의해 캡처된 비디오 신호이고, 선형 디스플레이 광 신호는 디스플레이 디바이스에 의해 디스플레이된 비디오 신호이다. 휘도 신호는, 비디오 신호 중, 휘도를 표현하는 성분이다. 선형 장면 광 신호에 기초하여 획득된 신호가 선형 장면 광 휘도 신호이고, 선형 디스플레이 광 신호에 기초하여 획득된 신호가 선형 디스플레이 광 휘도 신호이다. 구체적으로, 이 방법은 다음의 단계들을 포함한다.

600. 계산을 통해 휘도 매핑 곡선 TM_Curve를 획득한다.

이 휘도 매핑 곡선은 선택된 비-선형 공간에 작용하는 임의의 휘도 매핑 곡선일 수 있다. 예를 들어, 본 출원의 이 실시예에서의 비-선형 공간은 PQ 곡선 공간일 수 있다. 도 7은 비-선형 공간에서 생성된 휘도 매핑 곡선(PQ EOTF^-1 곡선)의 예를 도시한다. 휘도 매핑 곡선의 수평 축은 휘도 매핑 전의 비균일 인코딩(non-uniform-encoding) 휘도 신호들을 표현하고, 휘도 매핑 곡선의 수직 축은 휘도 매핑 후의 비균일 인코딩 휘도 신호들을 표현한다. 예를 들어, 수평 좌표들 및 수직 좌표들 둘 다의 값 범위들은 [0, 1]이고, 휘도 범위 [0, 10000] nits 내의 선형 광 신호들에 대해 PQ 곡선 인코딩이 수행된 후에, 획득된 전기 신호들의 범위가 [0, 1](도 11의 우측 도에 도시된 바와 같이, 휘도 범위 0-10000 nits 내의 휘도 신호들에 대해 PQ 곡선 인코딩이 수행된 후에, 획득된 전기 신호들은 0-1 내에 있음)이라는 것을 의미한다. 다시 말해서, 수평 좌표들은 휘도 매핑 전의 휘도 신호들의 휘도 범위가 [0, 10000] nits라는 것을 지시하고, 수직 좌표들은 휘도 매핑 후의 휘도 신호들의 휘도 범위를 표현한다. 도 7에 도시된 곡선은 휘도 범위 [0, 10000] nits 내의 휘도 신호들이 휘도 범위 [0, 300] nits 상에 매핑되는 것을 지시한다.

옵션으로, 휘도 매핑 곡선은 휘도 매핑 곡선 공식, 예를 들어, y=1-e^-x로서 표현될 수 있고, 여기서 x는 입력 디스플레이 휘도를 표현하고, y는 출력 디스플레이 휘도를 표현한다. 옵션의 경우에, 휘도 매핑 곡선은 구분적 함수이다. 예를 들어, 휘도 매핑 곡선 공식은 다음과 같을 수 있다:

함수 hmt()는 다음과 같이 정의된다:

공식에 따르면, 원시 휘도 범위 0-1000 nits가 휘도 범위 0-100 nits 상에 매핑된다는 것을 이해해야 한다.

옵션의 경우에, 휘도 매핑 곡선을 표현하기 위해 1차원 룩업 테이블 LUT가 사용된다. 이 1차원 룩업 테이블은 특정 수량의 이산 좌표점들 TM_Curve={TM_Curve_x, TM_Curve_y}를 저장한다. 이들 이산 좌표점은 휘도 매핑 곡선 상의 샘플링 점들이다. TM_Curve_x=(x0, x1, ..., xn)은 n개의 샘플링 점의 수평 좌표들, 즉, 휘도 매핑 곡선의 입력을 표현하고, 휘도 매핑 전의 휘도 신호들을 지시하고; TM_Curve_y=(y0, y1, ..., yn)은 n개의 샘플링 점의 수직 좌표들, 즉, 휘도 매핑 곡선의 출력을 표현하고, 휘도 매핑 후의 휘도 신호들을 지시한다. 룩업 테이블 내의 매핑 관계들은 이산 점들의 그룹이기 때문에, 입력 휘도 값에 대응하는 점이 이들 이산 점 중에 없다면, 입력 휘도 값은 알려진 보간된 휘도 값들에 기초하여 획득될 수 있다는 것을 이해해야 한다. 옵션의 경우에, 범위 내의 입력 휘도 값들은 동일한 출력 휘도 값에 대응한다. 예를 들어, x0 내지 x3은 모두 y0에 대응하고, x4 내지 x6은 모두 y1에 대응한다. 이들 이산 좌표점은 이전 실험에 의해 측정될 수 있다. 예를 들어, 휘도 값이 입력되고, 입력 휘도 값에 대응하는 디스플레이 휘도 값이 디스플레이 스크린 상에서 측정된다. 옵션의 경우에, 입력 휘도 값과 디스플레이 스크린에 의해 디스플레이된 휘도 값 간의 대응관계의 피팅 함수가 획득될 수 있고, 이 피팅 함수를 사용하여 룩업 테이블 내의 이산 좌표점들이 계산될 수 있다.

휘도 매핑의 본질은 비디오 이미지의 디스플레이 휘도 범위를 조정하여, 디스플레이 휘도 범위를 다른 디스플레이 휘도 범위 상에 매핑하는 것이라는 것을 이해해야 한다. 예를 들어, 비디오 이미지의 휘도 범위는 디스플레이 스크린에 의해 디스플레이될 수 있는 휘도 범위로 조정될 수 있다. TM_Curve 곡선의 입력 신호는 휘도 매핑 전의 휘도 신호이고, 그것의 출력은 휘도 매핑 후의 휘도 신호이다. 비디오 이미지에 대한 TM_Curve의 작용의 이해의 편의를 위해, 다음은 도 8a 및 도 8b에 각각 도시된 바와 같이, 정적 메타데이터 HDR에 포함된 TM_Curve의 그룹 및 동적 메타데이터 HDR에 포함된 TM_Curve의 그룹의 tone mapping 개략도들을 제공한다. tone mapping는 휘도 매핑의 구현일 수 있다는, 또는 다시 말해서, tone mapping 프로세스는 특정 경우에 휘도 매핑 프로세스에 상당할 수 있다는 것을 이해해야 한다.

정적 메타데이터 HDR 비디오에 대해서는, 모든 비디오 이미지들을 처리하기 위해 고정 매핑 방법이 사용된다. 도 8a에 도시된 바와 같이, 정적 메타데이터 HDR 비디오는 고정 매핑 곡선에 대응하고, 여기서 매핑 곡선에 대한 입력 휘도 범위는 0-4000 니트 nits이고, 매핑 곡선에 대한 출력 휘도 범위는 0-500 nits이다. TV는 매핑 곡선을 사용하여 그 최대 휘도들이 각각 200 nits, 1500 nits, 및 4000 nits인 이미지들의 모든 3개의 프레임에 대해 tone mapping 처리를 수행하고, 처리된 이미지들을 디스플레이 상에 디스플레이한다. 매핑 관계 곡선에 대한 휘도 범위들은 이미지들의 처음 2개의 프레임의 실제 휘도 범위들과 불일치하기 때문에, 이미지들의 처음 2개의 프레임의 대부분의 이미지 디테일들이 손실되고, 전체 비디오 이미지는 상당히 어둡고, 디스플레이 효과는 비교적 바람직하지 않다. 동적 메타데이터 HDR 비디오는 복수의 매핑 곡선에 대응한다. 비디오 이미지들을 디스플레이하는 프로세스에서, 사용되는 매핑 곡선들이 이미지들의 실제 휘도들에 기초하여 조정된다. 도 8b에 도시된 바와 같이, 3개의 상이한 매핑 곡선들이 제공된다. 매핑 곡선 1에 대한 입력 휘도 범위는 0-500 니트 nits이고, 매핑 곡선 1에 대한 출력 휘도 범위는 0-500 nits이고; 매핑 곡선 2에 대한 입력 휘도 범위는 0-1500 니트 nits이고, 매핑 곡선 2에 대한 출력 휘도 범위는 0-500 nits이고; 매핑 곡선 3에 대한 입력 휘도 범위는 0-4000 니트 nits이고, 매핑 곡선 3에 대한 출력 휘도 범위는 0-500 nits이다. TV는, 상이한 휘도들에 대응하는 모든 이미지들이 최적의 방식으로 스크린 상에 제시될 수 있도록, 이미지 프레임의 실제 휘도 범위에 기초하여, tone mapping 처리를 위한 적절한 매핑 곡선을 선택한다. 예를 들어, 그 최대 휘도가 1500 nits인 이미지에 대해 휘도 매핑을 수행하기 위해 매핑 곡선 2가 선택되고, 따라서 처리된 이미지는 이미지 디테일들을 잘 유지한다. 전술한 매핑 곡선에 대한 입력 휘도는 비디오 신호 소스의 휘도이고, 전술한 매핑 곡선에 대한 출력 휘도는 TV와 같은 디스플레이 디바이스에 의해 실제로 디스플레이될 수 있는 휘도라는 것을 이해해야 한다. HDR 비디오에 대해, 전문적인 영화 및 텔레비전 제작 환경에서 생성된 비디오 신호에 대응하는 휘도 범위는 통상적으로 소비자 텔레비전에 의해 디스플레이될 수 있는 휘도 범위보다 크다. tone mapping는 입력 비디오 신호의 휘도 범위를 디스플레이 디바이스에 의해 디스플레이된 휘도 범위 상에 매핑하고 그 후 휘도 범위들을 매칭시키기 위한 기법이다.

601. 선형 디스플레이 광 신호 RdGdBd를 계산한다.

예를 들어, 본 출원의 이 실시예에서의 입력 비디오 신호는 YUV 공간에서의 HDR PQ 신호이다. 이 선형 디스플레이 광 신호에 대해 PQ 인코딩을 수행하여 PQ 신호를 획득한다는 것을 이해해야 한다. PQ 신호는 디스플레이 광 신호이고, PQ 신호는 비-선형 신호이다. 입력 비디오 신호를 색 공간 변환을 통해 YUV 공간으로부터 RGB 공간으로 변환하여, RGB 색 공간에서의 비-선형 디스플레이 광 신호 R'dG'dB'd를 획득한다. 또한, 비-선형 디스플레이 광 신호 R'dG'dB'd를 선형 디스플레이 광 신호 RdGdBd로 변환한다. 옵션의 경우에, 비-선형 디스플레이 광 신호 R'dG'dB'd를 PQ EOTF 곡선을 사용하여 선형 디스플레이 광 신호 RdGdBd로 변환한다.

이 경우, YUV로부터 RGB로의 변환은 색 공간 변환이지만, 비-선형 RGB 신호로부터 선형 RGB 신호로의 변환은 색 공간 변환을 수반하지 않는다고 생각된다는 것을 이해해야 한다. 다시 말해서, 이 경우, 비-선형 RGB 신호와 선형 RGB 신호는 동일한 RGB 색 공간에 속한다. 표준 색 공간 변환 프로세스가 색 공간 변환을 위해 사용되고, 여기서 Rd, Gd, 및 Bd는 범위 [0, 10000] 내에 있다. 옵션의 경우에, 다른 YCC 공간에서의 HDR PQ 신호가 대안적으로 처리될 수 있다.

옵션의 경우에, 대안적으로, YUV 신호로부터 비-선형 디스플레이 광 신호 R'dG'dB'd로의 입력 비디오 신호의 변환은 색 공간 변환으로서 간주될 수 있고, 비-선형 디스플레이 광 신호 R'dG'dB'd로부터 선형 디스플레이 광 신호 RdGdBd로의 변환도 색 공간 변환으로서 간주될 수 있다는 것을 이해해야 한다. 이 경우, 비-선형 RGB 디스플레이 광 신호 및 선형 RGB 디스플레이 광 신호는 상이한 색 공간에 속한다.

602. 선형 디스플레이 광 휘도 Yd를 계산한다.

디스플레이 광 휘도 Yd는 다음의 공식에 따라 계산된다:

Yd는 선형 휘도 신호이다. 휘도 신호는 디스플레이 광 신호의 휘도를 표현하는 성분이고, 휘도 신호는 비디오 신호의 휘도를 표현하는 성분으로서 간주될 수도 있다. 파라미터들 cr, cg, 및 cb의 선택은 선형 디스플레이 광 신호 RdGdBd의 색역과 관련된다. 디스플레이 신호 RdGdBd의 색역이 BT.2020일 때, 계산 파라미터들은 cr=0.2627, cg=0.6780, 및 cb=0.0593이다. 선형 디스플레이 광 신호의 상이한 색역들이 상이한 계산 파라미터들에 대응한다. 따라서, 광 신호의 색역에 기초하여, 색역에 대응하는 선형 휘도 계산 파라미터들이 휘도 계산 동안 선택될 필요가 있다.

603. 디스플레이 광 휘도 Yd를 비-선형 공간으로 변환하여 NL_Yd를 획득한다.

Yd는 선형 공간에서의 디스플레이 광 휘도이다. 예를 들어, 디스플레이 광 휘도 Yd를 PQ EOTF^-1 곡선을 사용하여 비-선형 공간으로 변환하여 비-선형 디스플레이 광 휘도, 즉, NL_Yd=PQ_EOTF^-1(Yd)을 획득한다. 이 프로세스는 휘도 범위 0-10000 nits 내의 선형 디스플레이 광 휘도 신호 Yd에 대해 PQ 곡선 인코딩을 수행하여 0-1 내의 전기 신호를 획득하는 것에 상당하고, 여기서 전기 신호는 비-선형 공간에서의 비-선형 디스플레이 광 휘도 NL_Yd이다. 대안적으로, 다른 비-선형 전달 곡선이 비-선형 공간 전달 곡선으로서 사용될 수 있다.

604. 비-선형 디스플레이 광 휘도 신호 NL_Yd에 대해 휘도 매핑을 수행한다.

미리 저장된 휘도 매핑 곡선 TM_Curve를 사용하여 비-선형 디스플레이 광 휘도 신호 NL_Yd에 대해 매핑을 수행하여, 매핑 후에 획득되는 비-선형 휘도 NL_Yt를 획득한다. 본 명세서에서의 휘도 매핑 곡선 TM_Curve는 단계 500에서의 TM_Curve일 수 있다는 것을 이해해야 한다; 비-선형 디스플레이 광 휘도 신호 NL_Yd는 휘도 매핑 전의 휘도 신호이거나, 다시 말해서, NL_Yd는 소스 이미지 신호의 비-선형 디스플레이 광 휘도 신호일 수 있다; 그리고 NL_Yt는 휘도 매핑 후의 비-선형 디스플레이 광 휘도 신호이거나, 다시 말해서, NL_Yt는 디스플레이 디바이스의 디스플레이 능력에 적응하는 휘도 신호, 즉, 목표 휘도 신호일 수 있다. 예를 들어, 휘도 매핑 곡선 TM_Curve가 계산 공식을 사용하여 표현될 때, 비-선형 디스플레이 광 휘도 신호 NL_Yd가 입력되고, 휘도 매핑 곡선에 대한 계산 공식에 따라 휘도 매핑 후의 대응하는 비-선형 휘도 NL_Yt가 획득된다. 이 실시예에서, 휘도 매핑 곡선을 구현하기 위해 1차원 룩업 테이블 LUT가 선택된다. 1차원 룩업 테이블의 구체적인 설명에 대해서는, 단계 500에서의 1차원 룩업 테이블의 설명들을 참조한다. 옵션으로, 실제 매핑에서, 룩업 테이블 선형 보간 방법이 사용될 수 있거나, 다른 보간 방법이 사용될 수 있다. 선형 보간은 1차원 룩업 테이블 LUT에 특정한 보간 방법이고, 1차원 데이터 시퀀스에서 보간될 점에 인접하는 그리고 그것의 좌측 및 우측에 있는 2개의 데이터 점에 기초한 값 추정을 수행하기 위해 사용된다.

605. 매핑 후에 획득된 비-선형 디스플레이 광 휘도 신호 NL_Yt를 선형 공간으로 변환하여, 선형 디스플레이 광 휘도 신호 Yt를 획득한다.

옵션의 경우에, 매핑 후에 획득된 비-선형 휘도 NL_Yt를 PQ EOTF 곡선을 사용하여 선형 공간으로 변환하여, 매핑 후에 획득된 선형 휘도 Yt, 즉, Yt=PQ_EOTF(NL_Yt)를 획득한다. 구체적으로, 범위 [0, 1] 내의 비-선형 전기 신호는 범위 [0, 10000] nits 내의 선형 디스플레이 광 휘도 신호로 변환된다. NL_Yt를 Yt로 변환하기 위해 PQ EOTF 곡선 이외의 곡선이 대안적으로 사용될 수 있다는 것을 이해해야 한다.

606. 선형 휘도 이득 K를 계산한다.

예를 들어, 선형 휘도 이득 K의 계산 공식은 다음과 같다:

구체적으로, K는 휘도 매핑 후에 획득된 선형 디스플레이 광 휘도 신호 Yt 대 휘도 매핑 전의 선형 디스플레이 광 휘도 신호 Yd의 비율을 표현하고, 휘도 매핑 전과 후의 디스플레이 광 휘도들 간의 변화를 측정하기 위해 사용될 수 있다.

607. 처리된 선형 디스플레이 광 신호를 다음과 같이 계산한다:

Rt, Gt, 및 Bt는 각각 휘도 매핑 처리 후에 획득된 선형 디스플레이 광 신호의 적색 성분, 녹색 성분, 및 청색 성분이고, BLoffset는 디스플레이 디바이스의 흑색 레벨 black level이다. 이론적으로, 스크린이 흑색을 디스플레이할 때, 대응하는 휘도는 0이어야 한다. 그러나, 실제 응용에서, 스크린이 흑색을 디스플레이할 때, 대응하는 휘도 값은 0은 아니지만 비교적 작은 휘도 값이다. 다시 말해서, 흑색 레벨은 디스플레이 디바이스에 의해 디스플레이될 수 있는 휘도의 최소 값이다. 이 단계에서, BLoffset는 선형 공간에서의 디스플레이 휘도이다. 디스플레이 디바이스들은 상이한 BLoffset에 대응할 수 있고, BLoffset는 디스플레이 디바이스들에 대해 측정을 수행하는 것에 의해 획득될 수 있다는 것을 이해해야 한다.

처리된 선형 디스플레이 광 신호 RtGtBt가 획득된 후에, 실제 디스플레이 디바이스의 색 공간에 기초하여 선형 디스플레이 광 신호 RtGtBt에 대해 색 공간 변환을 수행하고, 신호 RtGtBt를 디스플레이 디바이스의 색 공간으로 변환하여, 디스플레이 디바이스의 디스플레이 휘도 범위 및 색 공간 둘 다와 매칭되는 처리된 비디오 신호를 획득한다. 예를 들어, 디스플레이 디바이스의 색 공간이 sRGB 공간이면, 신호 RtGtBt는 직접 디스플레이될 수 있고, 신호 RtGtBt에 대해 색 공간 변환이 수행될 필요가 없다. 디스플레이 디바이스의 색 공간이 YUV이면, 신호 RtGtBt는 YUV 공간에서의 비디오 신호 YUV1로 변환된다.

본 출원의 이 실시예에서는, 디스플레이 광 신호의 휘도 신호를 비-선형 공간으로 변환하고, 비-선형 공간에서 디스플레이 휘도에 대해 휘도 매핑을 수행하여, HDR 비디오 신호의 디스플레이 휘도 범위가 디스플레이 디바이스에 의해 디스플레이될 수 있는 휘도 범위 상에 적절하게 매핑될 수 있도록 한다. 이는 화상의 명암비, 휘도, 및 디테일 표현을 개선한다. 비-선형 공간에서 휘도 매핑이 수행되기 때문에, 휘도 매핑에 의해 야기되는 오류들이 고르게 분포되고 비디오 신호의 최종적인 디스플레이 효과에 비교적 작은 영향을 미친다; 그리고 특히 저-휘도 디스플레이의 경우에, 매핑 후에 획득된 디스플레이 휘도 분포가 적절하고 디스플레이된 화상이 상당히 어둡지 않다. 또한, 본 출원의 이 실시예에서는, 휘도 매핑 곡선에 미치는 디스플레이 디바이스의 흑색 레벨의 영향이 고려되고, 저휘도 부분의 휘도 디테일들이 유지된다. 또한, 본 출원의 이 실시예에서 제공되는 HDR 신호 휘도 처리 방법에 따라, HDR 신호가 SDR 신호로 변환될 수 있다. 이는 SDR 디스플레이 디바이스의 HDR 신호들과의 호환성을 개선한다.

도 9는 본 출원의 실시예에 따른 계산을 통해 휘도 매핑 곡선 TM_Curve를 획득하기 위한 방법의 흐름도이다. 도 9에 도시된 방법은 계산을 통해 단계 500에서의 휘도 매핑 곡선 TM_Curve를 획득하기 위해 사용될 수 있다는 것을 이해해야 한다. 단계 500에서의 휘도 매핑 곡선 TM_Curve는 대안적으로 다른 방식으로 계산을 통해 획득될 수 있고, TM_Curve를 획득하기 위한 방법은 도 9에 도시된 방법으로 제한되지 않는다.

구체적으로, 계산을 통해 휘도 매핑 곡선 TM_Curve를 획득하기 위한 방법은 다음의 단계들을 포함할 수 있다.

900. 소스 및 디스플레이 디바이스의 휘도 범위들을 획득한다.

소스의 최대 휘도는 MaxSrcLuma이고, 소스의 최소 휘도는 MinSrcLuma이고, 디스플레이 디바이스의 최대 휘도는 MaxDispLuma이고, 디스플레이 디바이스의 최소 휘도는 MinDispLuma이고, 이들 모두는 nits 단위로 측정된다. 소스의 최대/최소 휘도는 실제 경우 및 경험에 기초하여 결정될 수 있거나, HDR 신호에서 반송되는 메타데이터 정보로부터 획득될 수 있다. 예를 들어, 마스터링 디스플레이의 최대/최소 휘도가 소스의 최대/최소 휘도로서 사용된다. 디스플레이 디바이스의 최대/최소 휘도는 실제 디스플레이 디바이스에 대해 측정을 수행하는 것에 의해 획득된다. 옵션으로, 특수 응용 시나리오에서 실제 디스플레이 디바이스의 휘도 값이 측정될 수 없을 때, 휘도 값은 경험에 의해 설정될 수 있다.

901. 소스 및 디스플레이 디바이스의 휘도 신호들을 비-선형 공간으로 변환한다.

예를 들어, 단계 503에서의 것과 동일한 비-선형 공간 PQ EOTF^-1 곡선을 선택하여 계산을 통해 비-선형 공간 PQ 공간에서 최대 비-선형 소스 휘도 maxSL, 최소 비-선형 소스 휘도 minSL, 최대 비-선형 디스플레이 휘도 maxDL, 및 최소 비-선형 디스플레이 휘도 minDL을 획득한다. 최대/최소 휘도들은 다음과 같다:

maxSL=PQ_ EOTF^-1(MaxSrcLuma), minSL=PQ_ EOTF^-1(MinSrcLuma),

maxDL=PQ_ EOTF^-1(MaxDispLuma), 및 minDL=PQ_ EOTF^-1(MinDispLuma).

단계 901은 선형 공간에서의 휘도 범위 [0, 10000] nits 내의 휘도 신호들을 범위 [0, 1] 내의 전기 신호들 상에 매핑하는 것으로 간주될 수 있다는 것을 이해해야 한다.

902. KP를 결정한다.

KP는 휘도 매핑 곡선의 변곡점 KneePoint이고, 그 휘도 값이 KneePoint에 대응하는 휘도 값보다 작은 휘도에 대해서는 압축이 수행되지 않고, 그 휘도 값이 KneePoint에 대응하는 휘도 값보다 큰 휘도에 대해서는 압축이 수행된다. 예를 들어, KP는 (minDL, maxDL)으로부터 선택되고, KP의 값은 실제 효과에 기초하여 조정될 수 있다. 옵션의 경우에, KP의 선택이 디스플레이 디바이스의 디스플레이 휘도와 소스 휘도 간의 차이와 관련된다. 소스 휘도가 디스플레이 휘도보다 낮거나 그와 동등할 때는, 소스 휘도에 대해 압축이 수행될 필요가 없고, 이 경우, KP=maxSL이다. 소스 휘도가 디스플레이 휘도보다 훨씬 높고 압축될 필요가 있는 휘도 구간이 비교적 클 때는, 비교적 작은 값이 KP의 값으로서 선택된다. 소스 휘도가 디스플레이 휘도보다 높고 이들 간의 차이가 상당히 작을 때는, 비교적 큰 값이 KP의 값으로서 선택될 수 있다.

903. TM_Curve 곡선을 세그먼트들로 분할한다.

TM_Curve 곡선은 KP 및 maxSL에 기초하여 다음 3개의 세그먼트로 분할된다: e<KP, KP≤e≤maxSL, 및 e>maxSL. e는 TM_Curve 곡선의 입력이고, e=[0, 1]은 PQ 인코딩이 수행되는 [0, 10000] nits를 표현한다. 다시 말해서, e는 휘도 범위 0-10000 nits 내의 휘도 신호들에 대해 PQ 인코딩이 수행된 후에 변환을 통해 획득되는 비-선형 공간에서의 범위 [0, 1] 내의 전기 신호들을 표현한다.

904. 계산을 통해 곡선 세그먼트 "e<KP"를 획득한다.

e<KP가 참일 때, e1은 e와 동등하다.

905. 계산을 통해 곡선 세그먼트 "KP≤e≤maxSL"을 획득한다.

KP≤e≤maxSL이 참일 때, e1은 Hermite interpolation(e) 및 hmt(e) 둘 다와 동등하다.

Hermite 보간을 수행하기 위해 3차 Hermite 다항식이 사용된다. 보간 방법으로서 다른 보간 방법이 대안적으로 사용될 수 있다는 것을 이해해야 한다. Hermite 보간 공식은 다음과 같다:

x는 독립 변수이고, 다른 파라미터 값들은: x0=KP, x1=maxSL, y0=KP, y1=maxDL, y0'=1, 및 y1'=0이다.

y0=x0은 제1 변곡점에 대응하는 휘도 값보다 작은 휘도 값에 대해서는 압축이 수행되지 않고, 선형 매핑이 수행된다는 것을 지시하고; x1=maxSL 및 y1=maxDL은 최대 소스 휘도가 최대 스크린 휘도 maxDL 상에 매핑된다는 것을 지시하고; 그리고 x0=KP 및 y0'=1일 때, 변곡점 KP에서의 곡선의 기울기가 1인 것이 보장되고, x1=maxSL 및 y1'=0일 때, 변곡점 maxSL에서의 곡선의 기울기가 0인 것이 보장된다. 이러한 방식으로, 피팅을 통해 획득된 제2 곡선 세그먼트가 2개의 변곡점에서 평활한 것이 보장될 수 있다.

906. 계산을 통해 곡선 세그먼트 "e>maxSL"을 획득한다.

e>maxSL이 참일 때, e1은 maxDL과 동등하다.

907. 휘도 매핑 곡선 e1을 획득한다.

곡선 e1은 단계 904, 단계 905, 및 단계 906에 따라 획득된다.

908. BlackLevelLift를 계산한다.

디스플레이 디바이스는 최소 휘도를 갖기 때문에, 디스플레이 디바이스에 흑색 신호가 제공되더라도, 최소 휘도 값이 여전히 디스플레이 디바이스 상에 디스플레이된다. 최소 휘도는 흑색 레벨 black level이라고 지칭된다. 이 경우, 그 휘도가 흑색 레벨보다 낮은 휘도 부분을 유지하기 위해, 디스플레이 휘도에 대해 특정 흑색 레벨 리프트 BlackLevelLift가 수행될 필요가 있고, 여기서 BlackLevelLift는 약칭하여 BLL이라고 지칭된다. 이 실시예에서, 흑색 레벨 리프트 BLL의 값은 다음과 같이 휘도 매핑 곡선 TM_Curve의 입력 e에 기초하여 계산된다:

n은 1보다 크거나 그와 동등하다. 예를 들어, 본 출원의 이 실시예에서 n=5가 선택된다.

본 명세서에서의 흑색 레벨 리프트 BLL은 비-선형 공간 휘도 값이고, 단계 507에서의 BLoffset는 선형 공간 휘도 값이라는 것을 이해해야 한다. 휘도 매핑 곡선 TM_Curve에 대해 최소 소스 휘도가 최소 스크린 휘도 상에 매핑될 수 있고 흑색 레벨 리프트 BLL이 TM_Curve에 약간 영향을 미치는 것을 보장하기 위해, BLL을 정규화하여, 정규화된 흑색 레벨 리프트 BLLnorm을 획득할 필요가 있다. 정규화된 결과는 다음과 같다:

여기서 norm_x0=minSL, norm_y0=minDLx(1-minSL)^n,

norm_x1=KP, 및 norm_y1=minDLx(1-KP)^n.

909. 계산을 통해 출력 휘도 매핑 곡선 e2를 획득한다.

출력 휘도 매핑 곡선 TM_Curve는 e2=e1+BLLnorm이고, 여기서 BLLnorm은 흑색 레벨에 의해 야기된 정규화된 휘도 값 리프트이다.

910. 변환을 통해 1차원 룩업 테이블 TM_Curve를 획득한다.

이 실시예에서, 휘도 매핑 곡선의 일반성을 보장하기 위해, 1차원 룩업을 사용하여 TM_Curve를 표현한다. 이 경우, 매핑 곡선 e2로부터 n개의 샘플링 점 {(x0, y0), (x1, y1), ..., (xn, yn)}을 선택하여 변환을 통해 1차원 룩업 테이블을 획득하는데, 즉, TM_Curve={TM_Curve_x, TM_Curve_y}이다.

TM_Curve_x=(x0, x1, ..., xn)은 n개의 샘플링 점의 수평 좌표, 즉, 곡선의 입력을 표현하고, 휘도 매핑 전의 휘도 신호들을 지시한다.

TM_Curve_y=(y0, y1, ..., yn)은 n개의 샘플링 점의 수직 좌표, 즉, 곡선의 출력을 표현하고, 휘도 매핑 후의 휘도 신호들을 지시한다.

실제 응용에서, 매핑 곡선 TM_Curve는 요구에 따라 다른 방식으로(예를 들어, 공식을 통해) 표현될 수 있다. 세부사항들에 대해서는, 단계 500에서의 TM_Curve의 설명들을 참조한다.

옵션의 방식으로, 먼저 소스 신호의 휘도 범위(minSL, maxSL)에 기초하여 입력 휘도를 정규화한다; 그 후, 정규화된 입력 휘도를 정규화된 출력 휘도 상에 매핑된다; 그리고 마지막으로, 정규화된 출력 휘도를 디스플레이 디바이스의 휘도 범위(minDL, maxDL)에 기초하여 역정규화(denormalize)하여 최종 출력 휘도를 획득한다. 이 경우의 휘도 매핑 곡선은 상대 값 매핑 곡선이고, 여기서 매핑 곡선의 입력 [0, 1]은 [minSL, maxSL]을 표현하고, 매핑 곡선의 출력 [0, 1]은 [minDL, maxDL]을 표현한다. 이에 반해서, 본 출원의 이 실시예에서는, 휘도 매핑 곡선에 대해, 입력 휘도에 기초하여 출력 휘도가 직접 계산되고, 따라서 이 경우의 휘도 매핑 곡선은 절대 값 매핑 곡선이고, 여기서 매핑 곡선의 입력 [0, 1]은 [0, 10000] nits를 표현하고, 매핑 곡선의 출력 [0, 1]은 [0, 10000] nits를 표현한다.

본 출원의 이 실시예에서는, 종래의 휘도 매핑 곡선을 3개의 부분으로 분할하기 위해 2개의 임계값이 선택된다. 저휘도 부분(즉, 그 휘도 값이 제1 임계값보다 작은 휘도 부분)은 압축되지 않고, 고휘도 부분(즉, 그 휘도 값이 제1 임계값보다 큰 휘도 부분)은 압축된다. 그 후, 고휘도 부분은 2개의 부분으로 추가로 분할된다. 그 휘도 값이 제1 임계값보다 크고 제2 임계값보다 작은 휘도 부분에 대해서는, 해당 부분의 휘도 디테일들을 가능한 한 많이 유지하기 위해, 곡선을 사용하여 유연한 압축이 수행되는데, 여기서 곡선은 제1 임계값 및 제2 임계값에 기초한 피팅을 통해 획득된다. 그 휘도 값이 제2 휘도 변곡점에 대응하는 휘도 값보다 큰 휘도 값을 갖는 부분에 대해서는 제2 압축이 수행되는데, 즉, 제2 임계값보다 높은 휘도가 제2 임계값 상에 매핑된다. 구분적 휘도 매핑 동안, 휘도들의 특성들이 충분히 고려되고, 휘도 디테일들이 가능한 한 많이 유지되고, 이로써 휘도 매핑의 적절성이 개선된다. 또한, 휘도 매핑 곡선에 대해, 휘도 매핑 곡선에 미치는 디스플레이 디바이스의 흑색 레벨의 영향이 고려되고, 저휘도 부분의 휘도 디테일들이 유지된다.

도 10은 본 출원의 실시예에 따른 다른 예시적인 HDR 비디오 신호 휘도 처리 방법의 흐름도이다.

예를 들어, 본 출원의 이 실시예에서의 입력 소스 비디오 신호는 장면 광 신호, 즉, HDR HLG 신호이다.

이 방법은 다음의 단계들을 포함할 수 있다.

1000. 계산을 통해 휘도 매핑 곡선 TM_Curve를 획득한다.

이 단계는 단계 600과 동일하다. 세부사항들에 대해서는, 단계 600의 설명들을 참조한다. 휘도 매핑 곡선은 도 9에 도시된 방법을 사용하여 계산을 통해 획득된 휘도 매핑 곡선, 또는 다른 방법을 사용하여 획득된 휘도 매핑 곡선일 수 있다. 이는 본 출원의 이 실시예에서 제한되지 않는다. 예를 들어, 도 9에 도시된 방법을 사용하여 계산을 통해 휘도 매핑 곡선을 획득하는 동안, MaxSrcLuma=L_W 및 MinSrcLuma=0인 것이 특정될 수 있고, 여기서 L_W는 HLG 장면 신호가 변환되는 디스플레이 신호에 대응하는 최대 디스플레이 휘도이다.

1001. 선형 장면 광 신호 RsGsBs를 계산한다.

예를 들어, 본 출원의 이 실시예에서의 입력 비디오 신호는 YUV 공간에서의 HDR HLG 신호 YUV0이고, YUV0에 대해 색 공간 변환을 수행하여 RGB 색 공간에서의 비-선형 장면 광 신호 R'sG'sB's를 획득한다. 또한, 비-선형 장면 광 신호 R'sG'sB's를 선형 장면 광 신호 RsGsBs로 변환한다. 옵션의 경우에, 비-선형 장면 광 신호 R'sG'sB's를 HLG OETF^-1 곡선을 사용하여 선형 장면 광 신호 RsGsBs로 변환한다. 표준 색 공간 변환 프로세스가 색 공간 변환을 위해 사용되고, 여기서 Rs, Gs, 및 Bs는 범위 [0, 1] 내에 있다. 옵션의 경우에, 다른 YCC 공간에서의 HDR HLG 신호가 대안적으로 처리될 수 있다.

이 경우, YUV로부터 RGB로의 변환은 색 공간 변환이지만, 비-선형 RGB 신호로부터 선형 RGB 신호로의 변환은 색 공간 변환을 수반하지 않는다고 생각된다는 것을 이해해야 한다. 다시 말해서, 이 경우, 비-선형 RGB 신호와 선형 RGB 신호는 동일한 RGB 색 공간에 속한다.

옵션의 경우에, 대안적으로, YUV 신호로부터 비-선형 장면 광 신호 R'sG'sB's로의 입력 비디오 신호의 변환은 색 공간 변환으로서 간주될 수 있고, 비-선형 장면 광 신호 R'dG'sB's로부터 선형 장면 광 신호 RsGsBs로의 변환도 색 공간 변환으로서 간주될 수 있다는 것을 이해해야 한다. 이 경우, 비-선형 RGB 장면 광 신호 및 선형 RGB 장면 광 신호는 상이한 색 공간에 속한다.

1002. 장면 광 휘도 Ys를 계산한다.

장면 광 휘도 Ys는 다음의 공식에 따라 계산된다:

Ys는 선형 장면 광 휘도 신호이다. 이 장면 광 휘도 신호는 장면 광 신호의 휘도를 표현하는 성분이다. 파라미터들 cr, cg, 및 cb의 선택은 선형 장면 광 신호 RsGsBs의 색역과 관련된다. 선형 장면 광 신호 RsGsBs의 색역이 BT.2020일 때, 계산 파라미터들은 cr=0.2627, cg=0.6780, 및 cb=0.0593이다. 선형 장면 광 신호의 상이한 색역들이 상이한 계산 파라미터들에 대응한다. 따라서, 광 신호의 색역에 기초하여, 색역에 대응하는 선형 휘도 계산 파라미터들이 휘도 계산 동안 선택될 필요가 있다. 계산된 장면 광 휘도 Ys의 범위는 Ys=[0, 1]이다.

옵션의 경우에, HLG 선형 장면 광 신호를 ITU BT.2100에서 정의된 HLG OOTF를 사용하여, 디스플레이를 위한 선형 디스플레이 광 신호로 변환한다. 이 방법에 따르면, 실제 디스플레이 디바이스의 최대 휘도 및 최소 휘도에 기초하여 "시스템 감마"와 관련된 파라미터들이 계산되고, 그 후 선형 장면 광 신호는 디스플레이 디바이스의 다이내믹 레인지 내의 선형 디스플레이 광 신호로 변환된다.

HLG OOTF는 다음과 같이 정의된다:

선형 장면 광 신호 RsGsBs는 전술한 공식에 따라 선형 디스플레이 광 신호 R_DG_DB_D로 변환되고, 여기서 Y_S는 선형 장면 광 휘도이고, α, β, 및 γ는 계산 파라미터들이다. 계산은 다음과 같이 수행된다:

L_W 및 L_B는 각각 디스플레이 디바이스의 최대 휘도 및 최소 휘도이다.

옵션의 경우에, 장면 광 휘도 YS는 획득된 후에 디스플레이 휘도로 변환되고, 디스플레이 휘도에 대해 휘도 매핑 처리가 수행되거나, 다시 말해서, 디스플레이 휘도에 대해 tone mapping 처리가 수행된다.

1003. 장면 광 휘도를 선형 디스플레이 휘도 Yd로 변환한다.

장면 광 신호에 기초하여 획득된 휘도 신호는 장면 광 휘도 신호이고, 장면 광 휘도 신호는 디스플레이 광 휘도 신호로 변환될 필요가 있다는 것을 이해해야 한다. 이 단계는 선형 장면 광 휘도 Ys가 시스템 감마를 사용하여 선형 디스플레이 휘도 Yd로 변환되는 휘도 신호 유형 변환의 예시적인 구현이다. 계산은 다음과 같이 수행된다:

예를 들어, 본 출원의 이 실시예에서 디스플레이 신호의 최대 휘도는 L_W=1000 nits로 설정된다. L_W는 대안적으로 다른 값으로 설정될 수 있다.

장면 광 휘도를 디스플레이 휘도로 변환하는 것은 장면 신호 및 디스플레이 신호를 처리하는 호환성을 개선한다.

1004. 디스플레이 휘도 Yd를 비-선형 공간으로 변환하여 NL_Yd를 획득한다.

이 단계는 단계 603과 동일하다. 세부사항들에 대해서는, 단계 603의 설명들을 참조한다. 세부사항들은 여기서 다시 설명되지 않는다.

1005. 비-선형 디스플레이 광 휘도 신호 NL_Yd에 대해 휘도 매핑을 수행한다.

이 단계는 단계 604와 동일하다. 세부사항들에 대해서는, 단계 604의 설명들을 참조한다. 세부사항들은 여기서 다시 설명되지 않는다.

1006. 매핑 후에 획득된 비-선형 디스플레이 광 휘도 신호 NL_Yt를 선형 공간으로 변환하여, 선형 디스플레이 광 휘도 신호 Yt를 획득한다.

이 단계는 단계 605와 동일하다. 세부사항들에 대해서는, 단계 605의 설명들을 참조한다. 세부사항들은 여기서 다시 설명되지 않는다.

1007. 선형 휘도 이득 K를 계산한다.

예를 들어, K=Yt/Ys는 참이다. 구체적으로, K는 휘도 매핑 후에 획득되는 그리고 선형 공간 내에 있는 휘도 신호 Yt 대 휘도 매핑 전의 장면 광 휘도 신호 Ys의 비율을 표현한다.

1008. 처리된 선형 디스플레이 광 신호를 다음과 같이 계산한다:

Rt, Gt, 및 Bt는 각각 휘도 매핑 처리 후에 획득된 선형 디스플레이 광 신호의 적색 성분, 녹색 성분, 및 청색 성분이고, BLoffset는 디스플레이 디바이스의 흑색 레벨 black level이다. 세부사항들에 대해서는, 단계 507의 설명들을 참조한다.

본 출원의 이 실시예에서는, 장면 광 신호의 휘도 신호를 디스플레이 광 휘도 신호로 변환하고, 선형 디스플레이 광 휘도 신호를 비-선형 공간으로 변환하고, 비-선형 공간에서 디스플레이 휘도에 대해 휘도 매핑을 수행하여, HDR 비디오 신호의 디스플레이 휘도 범위가 디스플레이 디바이스에 의해 디스플레이될 수 있는 휘도 범위 상에 적절하게 매핑될 수 있도록 한다. 이는 화상의 명암비, 휘도, 및 디테일 표현을 개선한다. HLG 장면 신호가 선형 디스플레이 광 휘도 신호로 변환된 후에, 선형 디스플레이 광 휘도 신호는 직접 디스플레이되지 않고, 선형 디스플레이 광 휘도 신호는 비-선형 공간으로 변환되고 비-선형 공간에서 휘도 매핑이 수행된다. 비-선형 공간에서 휘도 매핑이 수행되기 때문에, 휘도 매핑에 의해 야기되는 오류들이 고르게 분포되고 비디오 신호의 최종적인 디스플레이 효과에 비교적 작은 영향을 미친다; 그리고 특히 저-휘도 디스플레이의 경우에, 매핑 후에 획득된 디스플레이 휘도 분포가 적절하고 디스플레이된 화상이 상당히 어둡지 않다. 또한, 본 출원의 이 실시예에서는, 휘도 매핑 곡선에 미치는 디스플레이 디바이스의 흑색 레벨의 영향이 고려되고, 저휘도 부분의 휘도 디테일들이 유지된다. 또한, 본 출원의 이 실시예에서 제공되는 HDR 신호 휘도 처리 방법에 따라, HDR 신호가 SDR 신호로 변환될 수 있다. 이는 SDR 디스플레이 디바이스의 HDR 신호들과의 호환성을 개선한다.

이해의 편의를 위해, 도 6, 도 9, 및 도 10의 방법 실시예들은 단계들을 사용하여 방법들을 설명한다는 것을 이해해야 한다. 방법 흐름도들, 즉, 도 6, 도 9, 및 도 10은 방법들의 시퀀스들을 도시하지만, 일부 경우들에서, 설명된 단계들은 본 명세서에서의 시퀀스들과 상이한 시퀀스들로 수행될 수 있다.

도 13은 본 출원의 실시예에 따른 비디오 신호 처리 장치를 도시한다. 이 장치는 휘도 획득 유닛(1301), 제1 변환 유닛(1302), 휘도 매핑 유닛(1303), 제2 변환 유닛(1304), 이득 계산 유닛(1305), 및 디스플레이 신호 획득 유닛(1306)을 포함한다. 옵션으로, 이 장치는 보상 유닛(1307) 및 색 공간 변환 유닛(1308)을 추가로 포함할 수 있다.

휘도 획득 유닛(1301)은 제1 선형 휘도 신호를 획득하도록 구성되는데, 여기서 제1 선형 휘도 신호는 처리될 비디오 신호에 대응하는 제1 선형 적녹청 RGB 신호에 기초하여 획득된다. 세부사항들에 대해서는, 단계 501의 설명들을 참조한다. 세부사항들은 여기서 다시 설명되지 않는다.

옵션으로, 처리될 비디오 신호가 HDR PQ 신호일 때, 휘도 획득 유닛(1301)은 구체적으로: 상기 PQ 신호에 대해 색 공간 변환을 수행하여 제1 비-선형 RGB 신호를 획득하고; PQ 전기-광 전달 함수에 기초하여 상기 제1 비-선형 RGB 신호를 상기 제1 선형 RGB 신호로 변환하고; 상기 제1 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 상기 제1 선형 휘도 신호를 획득하도록 구성된다. 세부사항들에 대해서는, 단계 601 및 단계 602의 설명들을 참조한다.

처리될 비디오 신호가 하이브리드 로그-감마 HLG 신호일 때, 휘도 획득 유닛은 구체적으로: 상기 HLG 신호에 대해 색 공간 변환을 수행하여 제2 비-선형 RGB 신호를 획득하고; HLG 역 광-전기 전달 함수에 기초하여 상기 제2 비-선형 RGB 신호를 제2 선형 RGB 신호로 변환하고; 상기 제2 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 제3 선형 휘도 신호를 획득하고; 상기 제3 선형 휘도 신호에 대해 휘도 신호 유형 변환을 수행하여 상기 제1 선형 휘도 신호를 획득하도록 구성된다. 세부사항들에 대해서는, 단계 1001, 단계 1002, 및 단계 1003의 설명들을 참조한다.

제1 변환 유닛(1302)은 제1 선형 휘도 신호를 제1 비-선형 휘도 신호로 변환하도록 구성된다.

세부사항들에 대해서는, 단계 502의 설명들을 참조한다. 세부사항들은 여기서 다시 설명되지 않는다. 옵션으로, 제1 변환 유닛(1302)은 단계 603 및 단계 1004를 완성하도록 추가로 구성될 수 있다.

휘도 매핑 유닛(1303)은 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하도록 구성된다.

세부사항들에 대해서는, 단계 503의 설명들을 참조한다. 세부사항들은 여기서 다시 설명되지 않는다. 옵션으로, 휘도 매핑 유닛(1303)은 단계 604 및 단계 1005를 완성하도록 추가로 구성될 수 있다. 휘도 매핑 유닛은 메모리에 저장된 룩업 테이블, 휘도 매핑 곡선, 또는 휘도 매핑 공식을 사용하여, 처리될 비디오 신호에 대해 수행되는 휘도 매핑을 완성할 수 있다는 것을 이해해야 한다. 휘도 매핑 곡선에 대해서는, 단계 600 및 도 9에 대응하는 실시예의 설명들을 참조한다.

제2 변환 유닛(1304)은 제2 비-선형 휘도 신호를 제2 선형 휘도 신호로 변환하도록 구성된다.

세부사항들에 대해서는, 단계 504의 설명들을 참조한다. 세부사항들은 여기서 다시 설명되지 않는다. 옵션으로, 제2 변환 유닛(1304)은 단계 605 및 단계 1006을 완성하도록 추가로 구성될 수 있다.

이득 계산 유닛(1305)은 제2 선형 휘도 신호와 제1 선형 휘도 신호 간의 휘도 이득을 계산하도록 구성된다.

세부사항들에 대해서는, 단계 505의 설명들을 참조한다. 세부사항들은 여기서 다시 설명되지 않는다. 옵션으로, 이득 계산 유닛(1305)은 단계 606 및 단계 1007을 완성하도록 추가로 구성될 수 있다.

디스플레이 신호 획득 유닛(1306)은, 휘도 이득과 제1 선형 RGB 신호의 곱에 기초하여, 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득하도록 구성된다.

세부사항들에 대해서는, 단계 506의 설명들을 참조한다. 세부사항들은 여기서 다시 설명되지 않는다.

보상 유닛(1307)은 RGB 디스플레이 신호의 각각의 색 값에 흑색 레벨 리프트 BlackLevelLift를 추가하여 처리된 RGB 디스플레이 신호를 획득하도록 구성되는데, 여기서 BlackLevelLift는 디스플레이 디바이스의 디스플레이 휘도의 최소 값이다.

옵션으로, 디스플레이 신호 획득 유닛(1306) 및 보상 유닛(1307)은 공동으로 단계 607 및 단계 1008을 완성할 수 있다.

색 공간 변환 유닛(1308)은 처리된 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하여 목표 디스플레이 신호를 획득하도록 구성되는데, 여기서 목표 디스플레이 신호의 색 형식은 디스플레이 디바이스에 대응하는 색 형식과 동일하다. 디스플레이 디바이스에 대응하는 색 형식이 RGB이면, 처리된 RGB 디스플레이 신호는 직접 디스플레이될 수 있고, 처리된 RGB 디스플레이 신호에 대해 색 공간 변환이 수행될 필요가 없다는 것을 이해해야 한다.

예를 들어, 다음은 본 출원에서 제공되는 비디오 신호 처리의 구체적인 구현을 설명한다. 본 출원의 이 실시예에서는, HDR HLG 신호를 SDR 신호로 변환하여, SDR 신호가 SDR TV에 적응하게 만든다. 본 출원의 이 실시예에서는, 먼저 채도 매핑이 수행되고, 그 후 휘도 매핑 및 색역 매핑이 수행된다. 다른 가능한 구현들에서는, 채도 매핑, 휘도 매핑, 및 색역 매핑의 처리 시퀀스가 변화될 수 있다. 이는 본 출원의 이 실시예에서 제한되지 않는다.

Y`sCbsCrs는 단말이 AVS2 디코딩 재구성 및 색도 업샘플링을 수행한 후에 복원을 통해 획득되는 4:4:4 YCbCr 비-선형 비디오 신호라고 가정한다. 각각의 성분은 10-비트 디지털 코드 값이다.

(1) YiCbiCri 신호를 계산한다(채도 매핑).

a. 정규화된 원시 휘도를 계산한다:

Ynorm은 범위 [0, 1]로 클리핑되어야 한다.

b. 채도 매핑 이득 SmGain을 계산한다:

f_sm()은 채도 매핑 곡선이고, 휘도 매핑 곡선 f_tm()에 기초한 계산을 통해 획득된다. f_sm()의 계산 단계들은 다음과 같다.

i. 휘도 매핑 곡선 ftm()을 선형 공간으로 변환하여, 선형 휘도 매핑 곡선을 획득한다:

여기서 L은 입력 선형 휘도이고 nits 단위로 측정되고, f_tm(L)의 결과는 선형 휘도이고 nits 단위로 측정된다.

ii. 휘도 매핑 곡선 ftmL()를 HLG 공간으로 변환하여, HLG 공간에서의 휘도 매핑 곡선을 획득한다:

여기서 e는 정규화된 HLG 신호 휘도이고,

의 결과는 정규화된 HLG 신호 휘도이다.

iii. 채도 매핑 곡선 f_sm()을 계산한다:

여기서 채도 매핑 곡선의 입력은 e이고,

는 HLG 공간에서의 채도 매핑 이득이다.

c. 채도 매핑 후에 획득된 신호를 계산한다:

YiCbiCri 신호는 10-비트 디지털 코드 값이고, 여기서 Yi의 값은 구간 [64, 940] 내에 있어야 하고, Cbi 및 Cri의 값들은 각각 구간 [64, 960] 내에 있어야 한다.

(2) 비-선형 R'sG'sB's 신호를 계산한다:

Y`_sCb_sCr_s 신호는 10-비트 디지털 코드 값이고, 전술한 처리를 통해 획득된 R'_sG'_sB'_s는 부동 소수점 비-선형 색 값이고 그 값은 구간 [0, 1]로 클리핑되어야 한다.

(2) 선형 RsGsBs 신호를 계산하고, 입력 신호 선형 휘도 Y_s를 계산한다:

이 수학식에서, E_s는 R_sG_sB_s 신호의 임의의 성분의 선형 색 값을 표현하고, 그 값은 구간 [0, 1] 내에 있다; 그리고 E'_s는 R'sG'sB's 신호의 임의의 성분의 비-선형 색 값을 표현한다. 함수 HLG_OETF^-1()은 ITU BT.2100에 따라 다음과 같이 정의된다:

여기서 a=0.17883277, b=1-4a, 및 c=0.5-axln(4a)이다.

선형 휘도 Y_s는 다음과 같이 계산된다:

여기서 Y_s는 실수이고 그 값은 구간 [0, 1] 내에 있다.

(3) Y_t 신호를 계산한다.

a. 디스플레이 휘도 Y_d를 계산한다:

b. 시각적 선형인 휘도 Y_dPQ를 계산한다:

c. 휘도 매핑을 수행하여 Y_tPQ를 획득한다:

수학식 내의 f_tm()은 다음과 같이 정의된다:

함수 hmt()는 다음과 같이 정의된다:

d. 휘도 매핑 후에 획득된 정규화된 선형 휘도 Y_t를 계산한다:

따라서, Yt의 계산 공식은 다음과 같다:

여기서 Y_t는 실수이고 그 값은 구간 [0, 200]으로 클리핑되어야 한다.

(4) 휘도 매핑 이득 TmGain을 계산한다.

휘도 매핑 이득 TmGain은 다음의 수학식에 따라 계산된다:

(5) R_tmG_tmB_tm 신호를 계산한다:

이 수학식에서, Es는 R_sG_sB_s 신호의 임의의 성분을 표현하고, E_tm은 R_tmG_tmB_tm 신호의 임의의 성분을 표현한다.

(6) R_tG_tB_t 신호를 계산한다(색역 매핑):

전술한 처리를 통해 획득된 RtGtBt는 부동 소수점 선형 색 값이고 그 값은 구간 [0, 200]으로 클리핑되어야 한다.

(7) R'_tG'_tB'_t 신호를 계산한다:

(8) Y_tCb_tCr_t 신호를 계산한다:

예를 들어, 이 실시예에서 γ의 값은 2.2 또는 2.4일 수 있거나, 다른 값일 수 있다. γ의 값은 실제 경우에 기초하여 선택될 수 있고, 본 출원의 이 실시예에서 제한되지 않는다.

R'tG'tB't는 비-선형 색 값이고 그 값은 구간 [0, 1] 내에 있다. 전술한 처리를 통해 획득된 Y'tCbtCrt 신호는 10-비트 디지털 코드 값이고, 여기서 Y't의 값은 구간 [64, 940] 내에 있어야 하고, Cbt 및 Crt의 값들은 각각 구간 [64, 960] 내에 있어야 한다.

도 14는 본 출원의 실시예에 따른 HDR 단말 기술적 솔루션의 처리 흐름도이고, 전체 비디오 엔드-투-엔드 시스템의 기술적 프레임워크 및 관련 범위를 도시한다. 도 14에 도시된 바와 같이, 본 출원의 이 실시예에서 제공되는 엔드-투-엔드 시스템의 기술적 프레임워크는 HDR HLG 비디오 신호를 SDR 신호로 변환하여 SDR 신호가 SDR TV에 적응하게 만들기 위해 사용될 수 있고, 또한 HDR HLG 신호를 HDR PQ 신호로 변환하여 HDR PQ 신호가 디스플레이를 위해 HDR PQ TV에 적응하게 만들기 위해 사용될 수 있다. 옵션으로, HDR PQ 신호를 SDR 신호로 변환하여 SDR 신호가 재생을 위해 SDR TV에 적응하게 만들 수 있다. 옵션으로, 비디오 신호가 재생을 위해 HDR PQ TV에 적응하도록, 비디오 신호의 동적 메타데이터가 폐기될 수 있고 정적 메타데이터만이 유지된다. 이 기술적 프레임워크는 HDR 비디오 신호 및 그의 동적 메타데이터 또는 정적 메타데이터에 대해 2세대 오디오 비디오 코딩 표준(2nd Audio Video coding Standard, AVS2) 인코딩을 수행하여 AVS2 비트스트림을 획득하고, 그 후 AVS2 비트스트림을 단말에 송신하기 위해 사용된다는 것을 이해해야 한다. 옵션으로, 고효율 비디오 코딩(High Efficiency Video Coding, HEVC)과 같은 다른 기존의 코딩 표준 또는 HDR 비디오를 지원할 수 있는 다른 미래의 새로운 코딩 표준 등이 사용될 수 있다. 이는 본 출원의 이 실시예에서 제한되지 않는다.

다음은 본 출원의 실시예에서 제공되는 비디오 신호 변환 처리의 구현을 설명한다.

1101. HDR 입력 신호 소스 형식

본 출원의 이 실시예에서 지원되는 HDR 입력 신호 소스는 단말에 의해 수신된 AVS2 비트스트림이다. AVS2 비트스트림이 디코딩된 후에, 4:2:0 형식의 10-비트 정수 유형 YCbCr 색 차이 신호(아래에서는 약칭하여 YCC 신호라고 지칭되고, 본 명세서에서는 반복되지 않음) 및 관련된 HDR 정적 또는 동적 메타데이터가 획득된다.

YCC HDR 신호는 표 1에 열거된 몇 가지 형식들을 가질 수 있다.

참조로서, AVS2 비트스트림 내의 4K 초고해상도 텔레비전의 프로그램 비디오 파라미터들의 캡슐화가 표 2에 열거된다:

1102. HDR 신호들이 출력되는 TV들의 유형들 및 권장되는 적응 방식들

생산 시간 간의 차이로 인해, 단말에 연결될 수 있는 TV들은 HDR 신호 지원 능력들이 크게 상이하다. 일반적으로, 이전 TV 모델은 새로운 신호 형식을 지원하기 어렵다. 이를 고려하여, 디코딩 단말은 TV들의 HDR 신호 지원 능력들 간의 차이에 기초하여 호환성 적응을 수행할 필요가 있다.

TV들의 상이한 HDR 신호 수신 및 처리 능력들에 기초하여, 단말 디바이스가 연결될 필요가 있을 수 있는 TV들은, 표 3에 열거된 바와 같이, 다음의 몇 가지 유형들로 분류된다:

본 출원의 이 실시예에서는, 단말에 의해 수신된 HDR 신호들의 상이한 형식들 및 연결된 TV들의 상이한 HDR 신호 지원 능력들에 기초하여 대응하는 신호 변환 처리를 수행하여, 신호들과 TV들 간의 호환성 적응을 구현한다.

1103. HDR HLG 신호와 SDR TV 간의 호환성 적응

YsCbsCrs는 단말이 AVS2 디코딩 재구성 및 색도 업샘플링을 수행한 후에 복원을 통해 획득되는 4:4:4 YCbCr 비-선형 비디오 신호라고 가정한다. 각각의 성분은 10-비트 디지털 코드 값이다.

(1) 비-선형 R'sG'sB's 신호를 계산한다:

YsCbsCrs 신호는 10-비트 디지털 코드 값이고, 전술한 처리를 통해 획득된 R'sG'sB's는 부동 소수점 비-선형 색 값이고 그 값은 구간 [0, 1]로 클리핑되어야 한다.

입력 HDR HLG 비디오 신호는 YCC 공간에서의 비디오 신호이거나, 다시 말해서, HLG 신호는 장면 광 신호이다. HLG 비디오 신호를 색 공간 변환을 통해 RGB 색 공간으로 변환하여, 비-선형 장면 광 신호 R'sG'sB's를 획득한다. 본 출원의 이 실시예에서는, RGB 색 공간에서 휘도 매핑 프로세스가 완성된다. 색 공간 변환을 통해 획득된 비디오 신호는 비-선형 비디오 신호라는 것을 이해해야 한다. 입력이 HLG 신호이면, 색 공간 변환을 통해 획득된 신호는 비-선형 장면 광 신호이다.

(2) 선형 RsGsBs 신호를 계산하고, 입력 신호 휘도 Ys를 계산한다:

이 수학식에서, E_s는 R_sG_sB_s 신호의 임의의 성분을 표현하고, E'_s는 R'_sG'_sB'_s 신호의 임의의 성분을 표현한다. 함수 HLG_OETF^-1()은 ITU BT.2100에 따라 다음과 같이 정의된다:

여기서 a=0.17883277, b=1-4a, 및 c=0.5-axln(4a)5b이다.

선형 비디오 신호에 기초하여 제1 선형 디스플레이 광 휘도 신호가 획득된다. 예를 들어, 제1 선형 디스플레이 광 휘도 신호는 선형 디스플레이 광 휘도 신호이다. 본 출원의 이 실시예에서는, 입력이 HDR HLG 신호이기 때문에, 선형 비디오 신호는 선형 장면 광 신호이고, 선형 장면 광 신호에 기초하여 획득된 휘도 신호 Ys는 장면 휘도 신호이다.

선형 휘도 Ys는 다음과 같이 계산된다:

(3) Yt 신호를 계산한다.

(a) 디스플레이 휘도 Yd를 계산한다:

입력 신호는 HDR HLG 신호이고, 이는 장면 광 신호라는 것을 이해해야 한다. 전술한 단계에서 계산된 Ys는 선형 장면 휘도이고, 휘도 매핑 곡선의 입력은 디스플레이 휘도이다. 따라서, 휘도 매핑이 수행되기 전에 먼저 HDR HLG 신호가 디스플레이 광 휘도 신호 Yd로 변환될 필요가 있다.

(b) 비-선형 휘도 Y_dPQ를 계산한다:

또한, 비-선형 공간에서 휘도 매핑이 수행되고, 휘도 매핑에 대한 입력이 비-선형 디스플레이 휘도이기 때문에, 선형 디스플레이 휘도를 비-선형 공간으로 변환하여 비-선형 디스플레이 휘도 Y_dPQ를 획득할 필요가 있다.

(c) 휘도 매핑을 수행하여 Y_tPQ를 획득한다:

수학식 내의 f_tm()은 다음과 같이 정의된다:

함수 hmt()는 다음과 같이 정의된다:

(d) 휘도 매핑 후에 획득된 정규화된 선형 휘도 Yt를 계산한다:

휘도 매핑 후에 획득된 신호는 비-선형 디스플레이 광 휘도 신호이다. 예를 들어, 이 비-선형 디스플레이 광 휘도 신호는 PQ EOTF 곡선을 사용하여 선형 디스플레이 광 휘도 신호 Yt로 변환될 수 있다.

요약하면, Yt의 계산 공식은 다음과 같다:

여기서 Yt는 실수이고 그 값은 구간 [0, 100] 내에 있다.

(4) 휘도 매핑 이득 TmGain을 계산한다.

휘도 매핑 이득 TmGain은 다음의 수학식에 따라 계산된다:

(5) 채도 매핑 이득 SmGain을 계산한다. 예를 들어, 이 실시예에서 γ의 값은 2.2 또는 2.4일 수 있거나, 다른 값일 수 있다. γ의 값은 실제 경우에 기초하여 선택될 수 있고, 본 출원의 이 실시예에서 제한되지 않는다.

(a) 휘도 매핑 전에 비-선형 디스플레이 휘도 값을 계산한다:

(b) 휘도 매핑 후에 비-선형 디스플레이 휘도 값을 계산한다:

(c) 채도 매핑 이득 SmGain을 계산한다:

(6) RtmGtmBtm 신호를 계산한다:

이 수학식에서, E_s는 R_sG_sB_s 신호의 임의의 성분을 표현하고, E_tm은 R_tmG_tmB_tm 신호의 임의의 성분을 표현한다.

(7) RtGtBt 신호를 계산한다(색역 매핑):

예를 들어, 색역 매핑은 다음과 같을 수 있다:

(8) R'tG'tB't 신호를 계산한다:

상이한 응용 시나리오에 기초하여, 함수 EOTF^-1()은 BT.1886 역 EOTF 함수 또는 BT.2100 PQ 역 EOTF 함수일 수 있다. 예를 들어,

는 참이다.

(9) YtCbtCrt 신호를 계산한다:

R'tG'tB't는 부동 소수점 비-선형 색 값이고 그 값은 구간 [0, 1] 내에 있다. 전술한 처리를 통해 획득된 YtCbtCrt 신호는 10-비트 디지털 코드 값이다.

(10) YoCboCro 신호를 계산한다(채도 매핑):

YoCboCro 신호는 10-비트 디지털 코드 값이다. 이 절차는 HDR HLG 신호와 HDR PQ 신호 간의 호환성 적응 처리에 적용가능하다. 전술한 처리 절차에서의 다양한 파라미터들은 상이한 적응 유형들에 기초하여 달라진다. 본 출원의 이 실시예에서는, 비디오 신호에 대해, 먼저 휘도 처리가 수행되고, 그 후 색역 처리가 수행되고, 마지막으로 채도 처리가 수행된다는 것을 이해해야 한다. 옵션의 경우에, 색역 처리 및 휘도 처리가 먼저 수행될 수 있고, 그 후 채도 처리가 수행된다.

전술한 유형들의 TV들로의 HDR HLG 신호의 송신을 구현하기 위해, 이 실시예에서는 호환성 적응을 위해 표 4에 열거된 방식이 권장된다.

표 4에서, 유형-2 텔레비전은 통상적으로 BT.709 색역 신호를 처리하는 능력도 갖는다. 따라서, 이 실시예에서는, 유형-2 텔레비전에 대해, HDR HLG 신호는 또한 BT.709 색역으로 변환되고, 그 후 색역 변환을 통해 획득된 신호가 유형-2 텔레비전에 송신된다.

BT.2020 색역으로부터 BT.709 색역으로의 변환

그러한 처리는 HLG 신호와 SDR 신호 간의 호환성 적응 처리의 단계이다. 이 처리 방법이 BT.2407 보고에서 개념적으로 설명되었기 때문에, ITU 보고의 내용이 설명을 위한 자료로서 이 내용 부분에 도입된다.

ITU 보고 내의 BT.2407-0 섹션 2에 따르면, BT.2020 넓은 색역 신호로부터 BT.709 신호로의 변환이 선형 행렬-기반 변환 방법을 사용하여 구현될 수 있다. 이 방법은 출력 신호에 대해 수행되는 hard-clip를 제외하고 ITU 표준 BT.2087의 역 프로세스이다.

도 15는 변환 프로세스를 예시한다.

다음의 단계들이 구체적으로 포함된다.

(1) 비-선형 신호를 선형 신호로 변환한다(N에서 L로).

정규화된 BT2020 비-선형 RGB 신호는 (E'_RE'_GE'_B)이고, 그것의 성분 신호들은 전달 함수를 사용하여 선형 신호(E_RE_GE_B)로 변환된다고 가정한다. 본 출원의 이 실시예에서, 전달 함수는 HLG EOTF 함수일 수 있다.

(2) 행렬(M)

BT2020 선형 RGB 신호로부터 BT709 선형 RGB 신호로의 변환이 다음과 같이 행렬 계산을 통해 완성될 수 있다:

(3) 선형 신호를 비-선형 신호로 변환한다(L에서 N으로).

ITU-BT.2087-0 표준에 따르면, BT709 선형 RGB 신호(E_RE_GE_B)가 BT709 디스플레이 디바이스를 위해 사용될 필요가 있다면, BT709 선형 RGB 신호는 ITU BT.1886에서 정의된 OETF를 사용하여 BT709 비-선형 RGB 신호(E'_RE'_GE'_B)로 변환될 필요가 있다. 예를 들어, 이 실시예에서 γ의 값은 2.2 또는 2.4일 수 있거나, 다른 값일 수 있다. γ의 값은 실제 경우에 기초하여 선택될 수 있고, 본 출원의 이 실시예에서 제한되지 않는다.

변환 공식은 다음과 같이 제시된다:

1104. HDR HLG 신호와 HDR PQ TV 간의 호환성 적응 처리

ITU 보고 내의 BT.2390-4 섹션 7.2에 따르면, 먼저 HLG 신호로부터 PQ 신호로의 참조 피크 휘도 Lw는 1000 nits이고, 흑색 레벨 Lb는 0인 것이 특정된다.

보고에 따르면, 도 16에 도시된 프로세스를 사용하여, HLG 이미지와 동일한 PQ 이미지가 1000 nits 내의 색 볼륨에서 생성될 수 있다.

HDR HLG 신호로부터 HDR PQ 신호로의 변환의 구체적인 프로세스는 다음과 같다.

(1) HLG 역 OETF 함수를 사용하여 1000-nit HLG 소스 신호에 기초하여 선형 장면 광 신호가 생성될 수 있다.

(2) HLG OOTF 함수를 사용하여 선형 장면 광 신호에 기초하여 선형 디스플레이 광 신호가 생성될 수 있다.

(3) PQ 역 EOTF 함수를 사용하여 선형 디스플레이 광 신호에 기초하여 1000-nit PQ 디스플레이 광 신호가 생성될 수 있다.

이 처리 절차는 HDR HLG 신호를 HDR PQ 신호로 변환하고 HDR PQ 신호를 TV 상에 디스플레이하는 것이다.

이 시나리오에서의 완전한 처리 절차는 다음과 같이 제시된다.

(1) 비-선형 R'sG'sB's 신호를 계산한다:

(2) 선형 RsGsBs 신호를 계산하고, 입력 신호 선형 휘도 Ys를 계산한다.

비-선형 장면 광 신호 R'sG'sB's를 선형 장면 광 신호 RsGsBs 신호로 변환한다. 옵션의 경우에, 비-선형 장면 광 신호 R'sG'sB's를 HLG 역 광-전기 전달 함수를 사용하여 선형 장면 광 신호 RsGsBs 신호로 변환할 수 있다. 변환은 다음과 같이 수행된다:

이 수학식에서, Es는 RsGsBs 신호의 임의의 성분을 표현하고, E's는 R'sG'sB's 신호의 임의의 성분을 표현한다. 함수 HLG_OETF^-1()은 ITU BT.2100에 따라 다음과 같이 정의된다:

여기서 a=0.17883277, b=1-4a, 및 c=0.5-axln(4a)5b이다.

선형 비디오 신호에 기초하여 제1 선형 디스플레이 광 휘도 신호가 획득된다. 예를 들어, 제1 선형 디스플레이 광 휘도 신호는 선형 디스플레이 광 휘도 신호이다. 본 출원의 이 실시예에서는, 입력이 HDR HLG 신호이기 때문에, 선형 비디오 신호는 선형 장면 광 신호이고, 선형 장면 광 신호에 기초하여 획득된 휘도 신호 Ys는 장면 광 휘도 신호이다. 휘도 매핑이 수행되기 전에 먼저 HDR HLG 신호가 디스플레이 광 휘도 신호 Yd로 변환될 필요가 있다.

선형 휘도 Ys는 다음과 같이 계산된다:

(3) Yd 신호를 계산한다:

(4) 휘도 매핑 이득 TmGain을 계산한다.

휘도 매핑 이득 TmGain은 다음의 수학식에 따라 계산된다:

(5) R_tmG_tmB_tm 신호를 계산한다:

(6) R'tG'tB't 신호를 계산한다:

수학식에 있는 그리고 다음과 같이 정의되는 함수 PQ_EOTF^-1()에 대해서는, ITU BT.2100에서의 표 4를 참조한다:

(7) YtCbtCrt 신호를 계산한다:

예를 들어, 단말은 단말에 연결된 HDR PQ TV에 대해 결정되는 프레임 레이트, 비트 폭, 및 색도 다운샘플링 방식에 기초하여 프레임 레이트 조정, 비트 폭 조정, 및 4:4:4에서 4:2:2/4:2:0로의 다운샘플링과 같은 후속 처리를 완성하고, 그 후 HDR PQ TV로의 변환을 통해 생성된 HDR PQ 신호를 송신할 수 있다.

1105. HDR PQ 신호에 대해 수행되는 호환성 적응

전술한 유형들의 TV들로의 HDR PQ 신호의 송신을 구현하기 위해, 이 실시예에서는 호환성 적응을 위해 표 5에 열거된 방식이 권장된다.

HDR PQ 신호로부터 SDR 신호로의 변환

HDR PQ 신호로부터 SDR 신호로의 변환은 부분 1103에 기술된 공통 프로세스에 기초하여 구현될 수 있다. 예를 들어, 단말은 단말에 연결된 SDR TV에 대해 결정되는 프레임 레이트, 비트 폭, 및 색도 다운샘플링 방식에 기초하여 프레임 레이트 조정, 비트 폭 조정, 및 4:4:4에서 4:2:2/4:2:0로의 다운샘플링과 같은 후속 처리를 완성하고, 그 후 SDR TV로의 변환을 통해 생성된 SDR 신호를 송신할 수 있다.

HDR PQ TV에 송신된 HDR PQ 신호에 대해 수행되는 적응

HDR PQ 신호를 지원하는 각각의 기존의 HDR TV가 HDMI2.0A 및 이후 버전들의 HDMI 인터페이스의 능력을 갖고, HDR PQ 신호들을 처리하는 비교적 성숙한 능력을 갖는다는 것을 고려한다. 이 실시예에서는, HDR PQ 신호가 수신될 때, HDR PQ 신호 및 정적 메타데이터가 HDMI2.0A 및 이후 버전들의 HDMI 인터페이스를 통해 HDR TV에 직접 출력되어야 하고, TV는 HDR PQ 신호에 대해 수행되는 후속 디스플레이 처리를 완성한다는 것이 권장된다. HDMI 인터페이스에 대한 제한으로 인해 동적 메타데이터가 TV에 송신될 수 없기 때문에, 디코딩이 수행된 후에, 동적 메타데이터에 대해 폐기 처리가 수행될 필요가 있다.

다음은 본 출원의 실시예에서 제공되는 테스트 솔루션을 설명한다.

구체적인 동작은 다음과 같다: 평가될 이미지 및 참조 이미지를 다음의 테스트 솔루션들에 따라 특정 시간 기간 동안 관찰자들에게 연속적으로 재생한다; 재생 후에, 관찰자들이 점수를 부여할 특정 시간 간격을 예비한다; 그리고 모든 부여된 점수들을 평균하고 평균 점수를 시퀀스의 평가 값, 즉, 평가될 이미지의 평가 값으로서 사용한다.

복수의 시험자가 표 6의 채점 기준에 따라 그리고 참조로서 BT.500-13에서의 이미지 품질 및 손상을 채점하는 규칙을 사용하여 다양한 테스트 대상들에 대한 점수를 부여한다.

SDR TV로의 HDR HLG 신호의 적응

테스트 목적: 비교 테스트는, HDR HLG 신호가 SDR TV에 송신될 때, HLG 이미지로부터 SDR 화상으로의 적응 변환이 수행된 후에 유익한 이미지 효과가 제공될 수 있는지를 보여준다. 도 17은 테스트 네트워킹의 개략도이고, 여기서

DUT1: HLG를 SDR 709로 변환

DUT2: HLG를 SDR BT2020으로 변환

BenchMark1: SDR BT709 모드에서 HLG 이미지를 시청

BenchMark1: HLG BT2020 모드에서 HDR HLG TV 상에서 HLG 이미지를 시청

HDR PQ TV로의 HDR HLG 신호의 적응

도 18은 본 출원의 실시예에 따른 다른 테스트 솔루션에서의 네트워킹 모드의 개략 흐름도이다.

DUT1: HLG를 HDR PQ BT2020으로 변환

Benchmark1: SDR BT709 모드에서 HDR PQ TV 상에서 HLG 이미지를 시청

Benchmark2: HLG BT2020 모드에서 HDR PQ TV 상에서 HLG 이미지를 시청

PQ 곡선 HDR 비디오에 대해, HDR 엔드-투-엔드 시스템이 도 19에 도시되어 있다. 프로그램 제작을 통해, PQ 곡선 HDR 비디오 및 정적 메타데이터가 획득되고, HDR 비디오 제작 파라미터는 GY/T 315-2018 표준의 규정들에 따른다. HDR 전처리를 수행하여 동적 메타데이터를 추출하여, 인코딩 및 송신을 위해 사용되는 HDR 비디오 및 메타데이터를 획득한다. HDR 비디오 및 메타데이터에 대해 AVS2 인코딩 및 캡슐화가 수행된 후에, 처리된 HDR 비디오 및 메타데이터는 네트워크에서 송신된다. 수신단에서, AVS2 디코더가 디코딩을 수행하여 HDR 비디오 및 메타데이터를 획득한다. SDR 디스플레이 단말은, HDR 비디오 및 메타데이터를 사용하여, 디스플레이를 위해 SDR 비디오를 재구성한다. HDR 디스플레이 단말은, 단말의 디스플레이 능력이 송신을 위해 생성되는 HDR 비디오의 휘도와 매칭되면, 바로 HDR 디스플레이를 수행한다. HDR 디스플레이 단말은, 단말의 디스플레이 능력이 송신을 위해 생성되는 HDR 비디오의 휘도와 매칭되지 않으면, HDR 비디오 및 메타데이터를 사용하여 단말의 디스플레이 능력에 기초하여 적응을 수행하고 그 후 디스플레이를 수행한다.

HLG 곡선 HDR 비디오에 대해, 프로그램 제작 동안 사용되는 최대 휘도가 1000 cd/m²일 때, HDR 엔드-투-엔드 시스템이 도 20에 도시되어 있다. 프로그램 제작을 통해, HLG 곡선 HDR 비디오가 획득되고, HDR 비디오 제작 파라미터는 GY/T 315-2018 표준의 규정들에 따른다. HDR 비디오에 대해 AVS2 인코딩이 수행된 후에, 인코딩된 HDR 비디오는 네트워크에서 송신된다. 수신단에서, AVS2 디코더가 디코딩을 수행하여 HDR 비디오를 획득하고, 그 후 SDR 단말 및 HDR 단말은 바로 HDR 비디오를 디스플레이한다.

HLG 곡선 HDR 비디오에 대해, 프로그램 제작 동안 사용되는 최대 휘도가 1000 cd/m²가 아닐 때, HDR 엔드-투-엔드 시스템이 도 21에 도시되어 있다. 프로그램 제작을 통해, HLG 곡선 HDR 비디오 및 정적 메타데이터가 획득되고, HDR 비디오 제작 파라미터는 GY/T 315-2018 표준의 규정들에 따른다. HDR 비디오 및 정적 메타데이터에 대해 AVS2 인코딩 및 캡슐화가 수행된 후에, 처리된 HDR 비디오 및 정적 메타데이터는 네트워크에서 송신된다. 수신단에서, AVS2 디코더가 디코딩을 수행하여 HDR 비디오 및 정적 메타데이터를 획득한다. SDR 디스플레이 단말은 바로 디스플레이를 수행한다. HDR 디스플레이 단말은 GY/T 315-2018에서의 표 5에 특정된 방법에 따라 그리고 정적 메타데이터를 사용하여 디스플레이 감마 값을 조정하고, 그 후 디스플레이를 수행한다.

메타데이터 정보

메타데이터 정보 metadata_info()는 동적 메타데이터를 포함한다. 동적 메타데이터가 동적 메타데이터와 관련된 송신 이미지와 조합될 때, HDR 화상이 재구성될 수 있다.

HDR 화상 특성

hdr_characteristics()는 HDR 화상 신호 특성들: HDR 화상 색 공간의 식별자 및 HDR 화상에 대해 편집 및 색 그레이딩을 수행하기 위해 사용되는 마스터링 디스플레이의 원색의 식별자를 포함한다.

HDR 화상 색 공간 hdrPicColourSpace

이 변수는 CIE1931에서의 정의들에 부합하는 HDR 화상 색 공간의 원색들 및 기준 백색 점들을 표현한다.

HDR 마스터링 디스플레이 색 공간 hdrDisplayColourSpace

이 변수는 CIE1931에서의 정의들에 부합하는 HDR 화상에 대해 편집 및 색 그레이딩을 수행하기 위해 사용되는 마스터링 디스플레이의 색 공간의 원색들 및 기준 백색 점들을 표현한다.

HDR 마스터링 디스플레이의 최대 디스플레이 휘도 hdrDisplayMaxLuminance

이 변수는 HDR 화상에 대해 편집 및 색 그레이딩을 수행하기 위해 사용되는 마스터링 디스플레이의 공칭 최대 디스플레이 휘도를 정의한다. 이 공칭 최대 디스플레이 휘도는 제곱미터당 칸델라(cd/m²) 단위로 50 cd/m²의 정수배로 반올림된다.

HDR 마스터링 디스플레이의 최소 디스플레이 휘도 hdrDisplayMinLuminance

이 변수는 HDR 화상에 대해 편집 및 색 그레이딩을 수행하기 위해 사용되는 마스터링 디스플레이의 공칭 최소 디스플레이 휘도를 정의한다. 이 공칭 최소 디스플레이 휘도는 0.0001 cd/m²의 단위이다.

hdrDisplayMinLuminance는 hdrDisplayMaxLuminance보다 작아야 한다. 변수들이 알려져 있지 않다면, 변수들이 0으로 설정되어야 하는 것이 권장된다.

SDR 화상 특성

sdr_characteristics()는 SDR 화상 신호 특성들: SDR 화상 색 공간의 식별자 및 SDR 화상에 대해 편집 및 색 그레이딩을 수행하기 위해 사용되는 마스터링 디스플레이의 공칭 최대 및 최소 휘도 값들을 포함한다.

SDR 화상 색 공간 sdrPicColourSpace

이 변수는 CIE1931에서의 정의들에 부합하는 SDR 화상 색 공간의 원색들 및 기준 백색 점들을 표현한다.

SDR 마스터링 디스플레이의 최대 휘도 sdrDisplayMaxLuminance

이 변수는 SDR 화상에 대해 편집 및 색 그레이딩을 수행하기 위해 사용되는 마스터링 디스플레이의 공칭 최대 디스플레이 휘도를 정의한다. 공칭 최대 디스플레이 휘도는 1 cd/m²의 단위로 50 cd/m²의 정수배로 반올림된다.

SDR 마스터링 디스플레이의 최소 휘도 sdrDisplayMinLuminance

luminance_mapping_variables()는 휘도 매핑 변수를 포함하고, 룩업 테이블 lutMapY를 구성하기 위해 사용된다.

색조 매핑 입력 신호 흑색 레벨 오프셋 tmInputSignaLBlackLevelOffset

휘도 매핑 곡선을 재구성하는 프로세스에서, 이 변수는 신호 이득 계산의 제1 단계를 수행하기 위해 사용되고, 색 볼륨 재구성 동안 제거되는 흑색 레벨 오프셋을 표현한다. 이 변수의 값은 범위 [0, 1] 내에 있어야 하고, (1÷255)의 정수배이다.

수신 단말

상이한 응용 시나리오들에서 수신 단말이 본 출원의 실시예들에서 HDR 후처리를 어떻게 구현하는지가 특정된다. HDR 후처리는 2가지 경우로 분류된다.

(1) 셋톱 박스가 텔레비전과 조합되고, 후처리 모듈이 셋톱 박스 상에 배치된다.

사용자는 최대 디스플레이 휘도, 최소 디스플레이 휘도, 및 색역과 같은 텔레비전의 디스플레이 능력에 기초하여 그리고 셋톱 박스의 리모트 컨트롤을 사용하여 파라미터 구성을 수행하고, 여기서 셋톱 박스는 텔레비전의 디스플레이 능력을 학습한다. 셋톱 박스는 수신된 프로그램 비트스트림을 분석하여, 프로그램이 SDR 프로그램/HDR 프로그램인 것, 최대 휘도, 최소 휘도 등의 정보를 획득한다. 프로그램 비트스트림이 텔레비전의 디스플레이 능력과 매칭되면, 셋톱 박스는 오디오/비디오 디코딩을 수행한다; 그리고 HDMI를 통해, 정보를 디스플레이를 위해 텔레비전에 송신한다. 프로그램 비트스트림이 텔레비전의 디스플레이 능력과 매칭되지 않으면, 셋톱 박스는 오디오/비디오 디코딩을 수행한다; 디스플레이 적응을 통해, 텔레비전의 디스플레이 능력에 적응하는 프로그램 신호를 획득한다; 그리고 HDMI를 통해, 정보를 디스플레이를 위해 텔레비전에 송신한다.

(2) 올인원 머신이 사용되고, 후처리 모듈이 텔레비전 상에 배치된다.

올인원 머신은 수신된 프로그램 비트스트림을 디코딩하고, 텔레비전의 실제 디스플레이 능력에 기초하여 조정 및 적응을 수행하고, 그 후 디스플레이를 수행한다.

본 출원의 이 실시예에서는, HDMI 인터페이스를 통해 HDR 메타데이터를 송신하는 방식이 설명된다. HDMI2.0a 사양은 어떻게 HDMI 인터페이스를 통해 HDR 정적 메타데이터를 송신하는지를 정의하고, HDMI2.1 사양은 어떻게 HDMI 인터페이스를 통해 HDR 동적 메타데이터를 송신하는지를 정의한다.

HDMI 인터페이스를 통한 HDR 정적 메타데이터의 송신

HDMI2.0a 표준은 CEA-861.3-2014를 사용하여 HDR 정적 메타데이터를 송신하는 것을 정의한다. 업스트림 소스 처리 디바이스(예를 들어, 셋톱 박스)가 HDR 정적 메타데이터를 처리할 수 없을 때, HDR 정적 메타데이터는, CEA-861.3-2014 인터페이스를 통해, HDR 정적 메타데이터를 수신 및 처리할 수 있는 수신단(예를 들어, 텔레비전)에 송신될 수 있다. 이 부록은 HDR 정적 메타데이터 데이터 블록 "HDR Static Metadata Data Block"(C.2.2, 이는 CEA-861.3-2014 사양에서 4.2에 대응함) 및 동적 메타데이터 및 마스터링 정보 프레임 "Dynamic Metadata and Mastering InfoFrame"(C.2.3, 이는 CEA-861.3-2014 사양에서 3.2에 대응함)의 정보 송신 및 매핑을 보충 설명한다.

HDR 정적 메타데이터 데이터 블록

HDR 정적 메타데이터 데이터 블록 "HDR Static Metadata Data Block"은 수신단의 능력 정보를 지원하는 HDR 정적 메타데이터를 소스 디바이스에 송신하기 위해 사용된다. 수신단에 의해 소스 디바이스에 송신되는 데이터 블록 내의 "ET_2" 비트가 1과 동등할 때, 이는 수신단이 GY/T 315-2018에 특정된 PQ EOTF 곡선을 지원한다는 것을 지시한다. "SM_0" 비트가 1과 동등할 때, 이는 수신단이 본 명세서에서 정적 메타데이터를 지원한다는 것을 지시한다.

동적 메타데이터 및 마스터링 정보 프레임

동적 메타데이터 및 마스터링 정보 프레임 "Dynamic Metadata and Mastering InfoFrame"은 소스 디바이스에 의해 HDR 동적 메타데이터를 식별하고 HDR 동적 메타데이터를 수신 디바이스에 송신하기 위해 사용된다.

소스 디바이스는 "EOTF"의 값 2를 사용하여 전송 스트림의 EOTF 곡선이 GY/T 315-2018에 정의된 PQ 곡선인 것을 지시하고, "Static_MetaData_Descriptor_ID"의 값 0을 사용하여 이 표준에서의 정적 메타데이터가 사용자의 확장 정보에서 반송되고, 따라서 이 표준에 따르는 정적 메타데이터가 송신된다는 것을 지시한다.

HDMI 인터페이스를 통한 HDR 동적 메타데이터의 송신

HDMI2.1 표준은 CTA-861-G-2016을 사용하여 HDR 동적 메타데이터를 송신하는 것을 정의한다. CTA-861-G2016은 어떻게 HDR 메타데이터를 CE 단말 인터페이스에 추가하는지를 정의한다. 업스트림 소스 처리 디바이스(예를 들어, 셋톱 박스)가 HDR 메타데이터를 처리할 수 없을 때, HDR 정적 메타데이터는, CTA-861-G-2016 인터페이스를 통해, HDR 메타데이터를 수신 및 처리할 수 있는 수신단(예를 들어, 텔레비전)에 송신될 수 있다. 이 부록은 HDR 동적 메타데이터 데이터 블록 "HDR Dynamic Metadata Data Block"(C.3.2, 이는 CTA-861-G-2016 사양에서 7.5.14에 대응함) 및 HDR 동적 메타데이터 확장 정보 프레임 "HDR Dynamic Metadata Extended InfoFrame"(C.3.3, 이는 CTA-861-G-2016 사양에서 6.10.1에 대응함)의 정보 송신 및 매핑을 보충 설명한다.

HDR 동적 메타데이터 데이터 블록

HDR 동적 메타데이터 데이터 블록 "HDR Dynamic Metadata Data Block"은 수신단의 능력 정보를 지원하는 HDR 동적 메타데이터를 소스 디바이스에 송신하기 위해 사용된다. 수신단에 의해 소스 디바이스에 송신되는 데이터 블록 내의 지원되는 동적 메타데이터 유형 "Supported HDR Dynamic Metadata Type"의 값이 0x0002일 때, 이는 수신단이 이 표준에서 동적 메타데이터를 지원한다는 것을 지시한다.

지원되는 동적 메타데이터 유형 "Supported HDR Dynamic Metadata Type"의 값이 0x0002일 때, 데이터 블록 내의 지원 플래그 "Support Flags" 바이트들은 상이한 HDR 송신 모드들을 표현한다. 제1 비트 내지 제3 비트를 포함하는 이진 값이 1보다 크거나 그와 동등하고, 제5 비트가 1과 동등할 때, 이는 이 표준에서의 HDR 송신 모드가 지원된다는 것을 지시한다.

HDR 동적 메타데이터 확장 정보 프레임

HDR 동적 메타데이터 확장 정보 프레임 "HDR Dynamic Metadata Extended InfoFrame"은 소스 디바이스에 의해 HDR 동적 메타데이터를 식별하고 HDR 동적 메타데이터를 수신 디바이스에 송신하기 위해 사용된다.

소스 디바이스는 확장 정보 프레임 유형 "Extended InfoFrame Type"의 값 0x0002를 사용하여 이 표준에서의 동적 메타데이터가 사용자의 확장 정보에서 반송되고, 따라서 이 표준에 따르는 동적 메타데이터가 송신된다는 것을 지시한다.

본 출원의 실시예는 컴퓨터 판독가능 저장 매체를 추가로 제공한다. 이 컴퓨터 판독가능 저장 매체는 명령어를 저장한다. 명령어가 컴퓨터 상에서 실행될 때, 컴퓨터는 전술한 방법들 중 어느 하나에서의 하나 이상의 단계를 수행할 수 있게 된다. 장치 내의 신호 처리 모듈들이 소프트웨어 기능 유닛의 형식으로 구현되고 독립 제품으로서 판매되거나 사용될 때, 통합된 유닛은 컴퓨터 판독가능 저장 매체에 저장될 수 있다.

그러한 이해에 기초하여, 본질적으로 본 출원의 기술적 솔루션들, 또는 종래 기술에 기여하는 부분, 또는 기술적 솔루션들의 전부 또는 일부는 소프트웨어 제품의 형식으로 구현될 수 있다. 컴퓨터 소프트웨어 제품은 저장 매체에 저장되고 컴퓨터 디바이스(개인용 컴퓨터, 서버, 네트워크 디바이스 등일 수 있음) 또는 프로세서(processor)에게 본 출원의 실시예들에서 설명된 방법들의 단계들의 전부 또는 일부를 수행하도록 지시하기 위한 몇몇 명령어들을 포함한다. 저장 매체의 유형에 대해서는, 메모리(302)의 관련 설명들을 참조한다.

전술한 실시예들은 본 출원을 제한하기 위한 것이 아니라 본 출원의 기술적 솔루션들을 설명하기 위해 의도된 것에 불과하다. 본 출원은 전술한 실시예들을 참조하여 상세히 설명되어 있지만, 본 기술분야의 통상의 기술자들은, 본 출원의 실시예들의 기술적 솔루션들의 범위를 벗어나지 않고, 여전히 전술한 실시예들에서 설명된 기술적 솔루션들에 대한 수정들을 행할 수 있거나, 또는 그것의 일부 기술적 특징들에 대해 동등한 치환들을 행할 수 있다는 것을 이해할 것이다. 예를 들어, 장치 실시예에서의 일부 구체적인 동작들에 대해서는, 전술한 방법 실시예들을 참조한다.

Claims

비디오 신호 처리 방법으로서,
상기 방법은:
제1 선형 휘도 신호를 획득하는 단계 - 상기 제1 선형 휘도 신호는 처리될 비디오 신호에 대응하는 제1 선형 적녹청 RGB 신호에 기초하여 획득됨 -;
상기 제1 선형 휘도 신호를 제1 비-선형 휘도 신호로 변환하는 단계;
상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하는 단계;
상기 제2 비-선형 휘도 신호를 제2 선형 휘도 신호로 변환하는 단계;
상기 제2 선형 휘도 신호와 상기 제1 선형 휘도 신호 간의 휘도 이득을 계산하는 단계; 및
상기 휘도 이득과 상기 제1 선형 RGB 신호의 곱에 기초하여, 상기 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 처리될 비디오 신호는 감지 양자화기(perceptual quantizer) PQ 신호이고, 제1 선형 휘도 신호를 획득하는 단계는:
상기 PQ 신호에 대해 색 공간 변환을 수행하여 제1 비-선형 RGB 신호를 획득하는 단계;
PQ 전기-광 전달 함수(PQ electro-optic transfer function)에 기초하여 상기 제1 비-선형 RGB 신호를 상기 제1 선형 RGB 신호로 변환하는 단계; 및
상기 제1 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 상기 제1 선형 휘도 신호를 획득하는 단계를 포함하는, 방법.
제1항에 있어서,
상기 처리될 비디오 신호는 하이브리드 로그-감마 HLG 신호이고, 제1 선형 휘도 신호를 획득하는 단계는:
상기 HLG 신호에 대해 색 공간 변환을 수행하여 제2 비-선형 RGB 신호를 획득하는 단계;
HLG 역 광-전기 전달 함수(HLG inverse optical-electro transfer function)에 기초하여 상기 제2 비-선형 RGB 신호를 제2 선형 RGB 신호로 변환하는 단계;
상기 제2 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 제3 선형 휘도 신호를 획득하는 단계; 및
상기 제3 선형 휘도 신호에 대해 휘도 신호 유형 변환을 수행하여 상기 제1 선형 휘도 신호를 획득하는 단계를 포함하는, 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득한 후에, 상기 방법은:
상기 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하여 목표 디스플레이 신호를 획득하는 단계를 추가로 포함하고, 상기 목표 디스플레이 신호의 색 형식은 디스플레이 디바이스에 대응하는 색 형식과 동일한, 방법.
제4항에 있어서,
상기 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득한 후에, 상기 방법은:
상기 RGB 디스플레이 신호의 각각의 색 값에 흑색 레벨 리프트 BlackLevelLift를 추가하여 처리된 RGB 디스플레이 신호를 획득하는 단계를 추가로 포함하고, 상기 BlackLevelLift는 디스플레이 디바이스의 디스플레이 휘도의 최소 값이고;
대응하여, 상기 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하는 단계는:
상기 처리된 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하는 단계를 포함하는, 방법.
제4항 또는 제5항 중 어느 한 항에 있어서,
상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑(piecewise luminance mapping)을 수행하여 제2 비-선형 휘도 신호를 획득하는 단계는:
제1 임계값 및 제2 임계값을 결정하는 단계를 포함하고, 상기 제1 임계값은 상기 제2 임계값보다 작고;
상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다 작거나 그와 동등할 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 제1 비-선형 휘도 신호의 휘도 값과 동등하고;
상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다 크고 상기 제2 임계값보다 작거나 그와 동등할 때, 상기 제2 비-선형 휘도 신호의 휘도 값은 상기 제1 비-선형 휘도 신호의 휘도 값을 독립 변수로서 사용하는 피팅된 곡선(fitted curve)에 기초하여 획득되고;
상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제2 임계값보다 클 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 디스플레이 디바이스에 대응하는 최대 비-선형 디스플레이 휘도 값과 동등한, 방법.
제6항에 있어서,
상기 피팅된 곡선은 상기 제1 임계값 및 상기 제2 임계값에 대해 에르미트 Hermite 보간을 수행하는 것에 의해 획득되는, 방법.
제6항 또는 제7항 중 어느 한 항에 있어서,
상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하는 단계는:
다음의 구분적 함수:

를 사용하여 상기 제1 비-선형 휘도 신호에 대해 상기 휘도 매핑을 수행하는 단계를 포함하고,
여기서
는 상기 제1 비-선형 휘도 신호이고;
는 상기 제2 비-선형 휘도 신호이고; KP1은 상기 제1 임계값이고; KP2는 상기 제2 임계값이고; maxDL은 상기 디스플레이 디바이스의 최대 비-선형 디스플레이 휘도 값이고; maxSL은 최대 비-선형 소스 휘도 값이고; x₀=KP1, x₁=maxSL, y₀=KP1, y₁=maxDL, y₀'=1, 및 y₁'=0인, 방법.
제6항 내지 제8항 중 어느 한 항에 있어서,
제1 임계값 및 제2 임계값을 결정하는 단계는:
상기 제1 비-선형 휘도 신호의 디스플레이 휘도 범위와 상기 디스플레이 디바이스의 디스플레이 휘도 범위 간의 관계에 기초하여 상기 제1 임계값을 결정하는 단계; 및
상기 제1 비-선형 휘도 신호의 최대 휘도 값을 상기 제2 임계값으로서 사용하는 단계를 포함하는, 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하는 단계는:
상기 제1 비-선형 휘도 신호와 상기 제2 비-선형 휘도 신호 간의 미리 설정된 휘도 값 매핑 관계에 기초하여, 상기 제1 비-선형 휘도 신호의 휘도 값에 대응하는 상기 제2 비-선형 휘도 신호의 휘도 값을 결정하는 단계를 포함하는, 방법.
제1항 내지 제10항 중 어느 한 항에 있어서,
상기 제1 선형 휘도 신호를 제1 비-선형 휘도 신호로 변환하는 단계는:
PQ 역 전기-광 전달 함수에 기초하여 상기 제1 선형 휘도 신호를 상기 제1 비-선형 휘도 신호로 변환하는 단계를 포함하고;
대응하여, 상기 제2 비-선형 휘도 신호를 제2 선형 휘도 신호로 변환하는 단계는:
PQ 전기-광 전달 함수에 기초하여 상기 제2 비-선형 휘도 신호를 상기 제2 선형 휘도 신호로 변환하는 단계를 포함하는, 방법.
비디오 신호 처리 장치로서,
상기 장치는:
제1 선형 휘도 신호를 획득하도록 구성된 휘도 획득 유닛 - 상기 제1 선형 휘도 신호는 처리될 비디오 신호에 대응하는 제1 선형 적녹청 RGB 신호에 기초하여 획득됨 -;
상기 제1 선형 휘도 신호를 제1 비-선형 휘도 신호로 변환하도록 구성된 제1 변환 유닛;
상기 제1 비-선형 휘도 신호에 대해 구분적 휘도 매핑을 수행하여 제2 비-선형 휘도 신호를 획득하도록 구성된 휘도 매핑 유닛;
상기 제2 비-선형 휘도 신호를 제2 선형 휘도 신호로 변환하도록 구성된 제2 변환 유닛;
상기 제2 선형 휘도 신호와 상기 제1 선형 휘도 신호 간의 휘도 이득을 계산하도록 구성된 이득 계산 유닛; 및
상기 휘도 이득과 상기 제1 선형 RGB 신호의 곱에 기초하여, 상기 처리될 비디오 신호에 대응하는 RGB 디스플레이 신호를 획득하도록 구성된 디스플레이 신호 획득 유닛을 포함하는, 장치.
제12항에 있어서,
상기 처리될 비디오 신호는 감지 양자화기 PQ 신호이고, 상기 휘도 획득 유닛은 구체적으로:
상기 PQ 신호에 대해 색 공간 변환을 수행하여 제1 비-선형 RGB 신호를 획득하고;
PQ 전기-광 전달 함수에 기초하여 상기 제1 비-선형 RGB 신호를 상기 제1 선형 RGB 신호로 변환하고;
상기 제1 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 상기 제1 선형 휘도 신호를 획득하도록 구성되는, 장치.
제12항에 있어서,
상기 처리될 비디오 신호는 하이브리드 로그-감마 HLG 신호이고, 상기 휘도 획득 유닛은 구체적으로:
상기 HLG 신호에 대해 색 공간 변환을 수행하여 제2 비-선형 RGB 신호를 획득하고;
HLG 역 광-전기 전달 함수에 기초하여 상기 제2 비-선형 RGB 신호를 제2 선형 RGB 신호로 변환하고;
상기 제2 선형 RGB 신호의 원색 신호들에 기초하여 계산을 수행하여 제3 선형 휘도 신호를 획득하고;
상기 제3 선형 휘도 신호에 대해 휘도 신호 유형 변환을 수행하여 상기 제1 선형 휘도 신호를 획득하도록 구성되는, 장치.
제12항 내지 제14항 중 어느 한 항에 있어서,
상기 장치는: 색 공간 변환 유닛을 추가로 포함하고, 상기 색 공간 변환 유닛은:
상기 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하여 목표 디스플레이 신호를 획득하도록 구성되고, 상기 목표 디스플레이 신호의 색 형식은 디스플레이 디바이스에 대응하는 색 형식과 동일한, 장치.
제15항에 있어서,
상기 장치는 보상 유닛을 추가로 포함하고, 상기 보상 유닛은:
상기 RGB 디스플레이 신호의 각각의 색 값에 흑색 레벨 리프트 BlackLevelLift를 추가하여 처리된 RGB 디스플레이 신호를 획득하도록 구성되고, 상기 BlackLevelLift는 상기 디스플레이 디바이스의 디스플레이 휘도의 최소 값이고;
대응하여, 상기 색 공간 변환 유닛은 구체적으로:
상기 처리된 RGB 디스플레이 신호에 대해 색 공간 변환을 수행하도록 구성되는, 장치.
제12항 내지 제16항 중 어느 한 항에 있어서,
상기 휘도 매핑 유닛은 구체적으로:
제1 임계값 및 제2 임계값을 결정하도록 구성되고, 상기 제1 임계값은 상기 제2 임계값보다 작고;
상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다 작거나 그와 동등할 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 제1 비-선형 휘도 신호의 휘도 값과 동등하고;
상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제1 임계값보다 크고 상기 제2 임계값보다 작거나 그와 동등할 때, 상기 제2 비-선형 휘도 신호의 휘도 값은 상기 제1 비-선형 휘도 신호의 휘도 값을 독립 변수로서 사용하는 피팅된 곡선(fitted curve)에 기초하여 획득되고;
상기 제1 비-선형 휘도 신호의 휘도 값이 상기 제2 임계값보다 클 때는, 상기 제2 비-선형 휘도 신호의 휘도 값이 상기 디스플레이 디바이스에 대응하는 최대 비-선형 디스플레이 휘도 값과 동등한, 장치.
제17항에 있어서,
상기 피팅된 곡선은 상기 제1 임계값 및 상기 제2 임계값에 대해 에르미트 Hermite 보간을 수행하는 것에 의해 획득되는, 장치.
제17항 또는 제18항에 있어서,
상기 휘도 매핑 유닛은 구체적으로:
다음의 구분적 함수:

를 사용하여 상기 제1 비-선형 휘도 신호에 대해 상기 휘도 매핑을 수행하도록 구성되고,
여기서
는 상기 제1 비-선형 휘도 신호이고;
는 상기 제2 비-선형 휘도 신호이고; KP1은 상기 제1 임계값이고; KP2는 상기 제2 임계값이고; maxDL은 상기 디스플레이 디바이스의 최대 비-선형 디스플레이 휘도 값이고; maxSL은 최대 비-선형 소스 휘도 값이고; x₀=KP1, x₁=maxSL, y₀=KP1, y₁=maxDL, y₀'=1, 및 y₁'=0인, 장치.
제17항 내지 제19항 중 어느 한 항에 있어서,
상기 휘도 매핑 유닛은 구체적으로:
상기 제1 비-선형 휘도 신호의 디스플레이 휘도 범위와 상기 디스플레이 디바이스의 디스플레이 휘도 범위 간의 관계에 기초하여 상기 제1 임계값을 결정하고;
상기 제1 비-선형 휘도 신호의 최대 휘도 값을 상기 제2 임계값으로서 사용하도록 구성되는, 장치.
제12항 내지 제16항 중 어느 한 항에 있어서,
상기 휘도 매핑 유닛은 구체적으로:
상기 제1 비-선형 휘도 신호와 상기 제2 비-선형 휘도 신호 간의 미리 설정된 휘도 값 매핑 관계에 기초하여, 상기 제1 비-선형 휘도 신호의 휘도 값에 대응하는 상기 제2 비-선형 휘도 신호의 휘도 값을 결정하도록 구성되는, 장치.
제12항 내지 제21항 중 어느 한 항에 있어서,
상기 제1 변환 유닛은 구체적으로:
PQ 역 전기-광 전달 함수에 기초하여 상기 제1 선형 휘도 신호를 상기 제1 비-선형 휘도 신호로 변환하도록 구성되고;
대응하여, 상기 제2 변환 유닛은 구체적으로:
PQ 전기-광 전달 함수에 기초하여 상기 제2 비-선형 휘도 신호를 상기 제2 선형 휘도 신호로 변환하도록 구성되는, 장치.
비디오 신호 처리 장치로서,
상기 장치는: 프로세서 및 메모리를 포함하고;
상기 프로세서는 상기 메모리에 저장된 소프트웨어 명령어를 호출하여 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행하도록 구성되는, 장치.
컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 판독가능 저장 매체는 명령어를 저장하고, 상기 명령어가 컴퓨터 또는 프로세서 상에서 실행될 때, 상기 컴퓨터 또는 상기 프로세서는 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행할 수 있게 되는, 컴퓨터 판독가능 저장 매체.
명령어를 포함하는 컴퓨터 프로그램 제품으로서, 상기 컴퓨터 프로그램 제품이 컴퓨터 또는 프로세서 상에서 실행될 때, 상기 컴퓨터 또는 상기 프로세서는 제1항 내지 제11항 중 어느 한 항에 따른 방법을 수행할 수 있게 되는, 컴퓨터 프로그램 제품.