KR20240089759A

KR20240089759A - 결합된 역 톤 매핑 및 톤 매핑

Info

Publication number: KR20240089759A
Application number: KR1020247016002A
Authority: KR
Inventors: 데이비드 토우즈; 로랑 코빈; 패트릭 로페즈; 로빈 르 나우르; 장-뤽 점퍼츠
Original assignee: 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스
Priority date: 2021-10-27
Filing date: 2022-10-11
Publication date: 2024-06-20
Also published as: CN118451447A; TW202318866A; CA3235637A1; EP4423709A1; WO2023072582A1

Abstract

방법으로서, 표준 동적 범위 데이터를 획득하는 단계; 표준 동적 범위 데이터로부터 높은 동적 범위 데이터를 생성하도록 적응된 역 톤 매핑 프로세스를 표현하는 정보를 획득하고(601), 정보를 메타데이터에 삽입하는 단계; 메타데이터(602)와 함께 표준 동적 범위 데이터(600)를 표현하는 비디오 데이터를 제공하는 단계를 포함하는, 방법.

Description

결합된 역 톤 매핑 및 톤 매핑

본 실시예 중 적어도 하나는 일반적으로 높은 동적 범위(HDR) 비디오의 제작 분야에 관한 것이며, 보다 상세하게는 역 톤 매핑 및 톤 매핑 후, 원래의 SDR 데이터에 가능한 한 근접한 SDR 데이터를 재생하는 방법, 장치 및 장비에 관한 것이다.

최근 디스플레이 기술의 발전으로 표시할 이미지의 색상, 휘도 및 대비의 확장된 동적 범위가 허용되기 시작했다. 용어 "이미지"는 본 명세서에서, 예를 들어 비디오 또는 정지 사진 또는 이미지일 수 있는 이미지 콘텐츠를 지칭한다.

높은 동적 범위 비디오(HDR 비디오)는 표준 동적 범위 비디오(SDR 비디오)보다 동적 범위가 더 큰 비디오를 말한다. HDR 비디오는 캡처, 제작, 콘텐츠/인코딩, 및 디스플레이를 수반한다. HDR 캡처 및 디스플레이 장치는 더 밝은 백색 및 더 짙은 흑색이 가능하다. 이를 수용하기 위해, HDR 인코딩 표준은 이러한 확장된 범위에 걸쳐 정밀도를 유지하기 위해 (비전문가 SDR 비디오에 대한 8-비트 및 전문가 SDR 비디오에 대한 10-비트와 비교하여) 더 높은 최대 휘도를 허용하고 적어도 10-비트 동적 범위를 사용한다.

HDR 제작은 새로운 영역이며 HDR 콘텐츠 및 SDR 콘텐츠 둘 모두가 공존하는 전환 단계가 있을 것이다. 이 공존 단계 동안, 동일한 라이브 콘텐츠가 HDR 및 SDR 버전으로 동시에 제작된다. 그 다음, 사용자는 자신의 선호도나 능력에 따라 콘텐츠의 HDR 또는 SDR 버전을 표시할 수 있다.

콘텐츠 제작 산업의 현재 추세는 다음과 같다:

첫째, HDR 콘텐츠를 생성한 다음 자동 툴을 사용하여 HDR 콘텐츠에서 자동으로 SDR 콘텐츠를 도출하는 것; 및

둘째, HDR 제작에 통제되고 안전한 접근 방식을 적용하여, HDR 기술에 역효과를 낼 수 있는, 사용자에게 나쁜 HDR 콘텐츠를 전달하지 않도록 하는 것.

그런 점에서 ITU-R 문서 "보고 ITU-R BT.2408-3, HDR TV 제작의 운영 관행에 대한 지침, 07/2019"(이하에서는 BT.2408-3 보고서라고 함)에 몇 가지 권장 사항이 도입되었다. BT.2408-3 보고서에 소개된 중요한 권장 사항 중 하나는 "203" 니트와 동일한 고정 값으로 설정된 HDR 확산 백색(Diffuse White)의 제약 조건이다. 이 제약 조건을 사용하면 고정 3D-LUT(순람표)를 사용하여 SDR에서 HDR로의 변환(즉, 역 톤 매핑(ITM)) 및 HDR에서 SDR로의 변환(톤 매핑(TM))을 구현할 수 있다.

라이브 HDR 콘텐츠는 일반적으로 기본 HDR 비디오 콘텐츠와 다른 유형의 콘텐츠(예: 광고 또는 로고용 그래픽 및 점수)가 혼합된 것이다. 이들 추가된 콘텐츠는 SDR일 수 있으므로 기본 HDR 비디오 콘텐츠와 혼합되기 전에 HDR로 변환되어야 한다. 생성된 혼합 HDR 콘텐츠는 SDR로 변환될 가능성이 높기 때문에, 새로운 제약 조건이 나타난다: 이들 추가된 콘텐츠의 소위 SDR-HDR-SDR 왕복 변환(즉, ITM 변환 후 TM 변환(SDR 전달용))으로 인한 SDR 콘텐츠는 원본 SDR 콘텐츠와 동일해야 한다. 콘텐츠 제작자가 원본 SDR 콘텐츠에서 HDR 콘텐츠를 생성하지만, 어떤 이유로든, 이 HDR 콘텐츠에서 생성된 SDR 콘텐츠가 원본 SDR 콘텐츠와 동일하기를 원하는 경우에도 동일한 SDR-HDR-SDR 왕복 제약 조건이 존재한다.

BT.2408-3 보고서의 권장 사항은 SDR-HDR-SDR 왕복 제약 조건을 준수하는 솔루션을 제공한다. 그러나, HDR 콘텐츠에 적용된 제약 조건으로 인해 이러한 HDR 콘텐츠는 지루하고 매력적이지 않게 된다. 또한, 이러한 제약으로 인해, HDR 카메라는 최대 능력을 발휘하지 못하며, HDR 카메라맨/사진 감독의 선택/예술적 의도가 매우 제한된다.

상기의 단점을 극복하는 것이 바람직하다.

HDR 생성에 있어 더 많은 유연성, 더 많은 예술적 자유를 허용하여 더 매력적인 HDR 콘텐츠를 얻을 수 있는 시스템을 제안하는 것이 특히 바람직하다.

제1 양태에서, 본 실시예 중 하나 이상은 다음을 포함하는 방법을 제공한다: 표준 동적 범위 데이터를 획득하는 단계; 상기 표준 동적 범위 데이터로부터 높은 동적 범위 데이터를 생성하도록 적응된 역 톤 매핑 프로세스를 표현하는 정보를 획득하고, 상기 정보를 메타데이터에 삽입하는 단계; 상기 메타데이터와 함께 상기 표준 동적 범위 데이터를 표현하는 비디오 데이터를 제공하는 단계.

일 실시예에서, 상기 표준 동적 범위 데이터를 표현하는 상기 비디오 데이터는 상기 표준 동적 범위 데이터 또는 상기 역 톤 매핑 프로세스를 적용함으로써 상기 표준 동적 범위 데이터로부터 얻어진 높은 동적 범위 데이터를 포함한다.

일 실시예에서, 상기 정보는 역 톤 매핑 곡선 또는 톤 매핑 곡선을 표현한다.

일 실시예에서, 상기 정보가 톤 매핑 곡선을 표현하는 경우, 상기 역 톤 매핑 프로세스를 정의하는데 사용되는 역 톤 매핑 곡선의 역을 계산하는 단계를 포함한다.

일 실시예에서, 상기 방법은 상기 역 톤 매핑 곡선의 역으로부터 제1 순람표 및 제2 순람표를 계산하되, 상기 제1 순람표는 높은 동적 범위 데이터의 휘도 성분을 톤 매핑하도록 적응되고, 상기 제2 순람표는 상기 높은 동적 범위 데이터의 색상 성분을 보정하도록 적응되는 단계, 및 상기 제1 및 제2 순람표로부터 톤 매핑 함수를 표현하는 제1 변수 및 색상 보정 함수를 표현하는 제2 변수를 추정하되, 상기 제1 및 상기 제2 변수는 상기 메타데이터에 삽입된 상기 역 톤 매핑 프로세스를 표현하는 정보인 단계를 포함한다.

제2 양태에서, 본 실시예 중 하나 이상은 다음을 포함하는 방법을 제공한다: 표준 동적 범위 데이터를 표현하는 비디오 데이터를 획득하는 단계; 상기 표준 동적 범위 데이터로부터 높은 동적 범위 데이터를 생성하도록 적응된 역 톤 매핑 프로세스를 표현하는 제1 정보를 포함하는 메타데이터가 상기 비디오 데이터와 함께 획득되었는지 여부를 결정하는 단계; 및 상기 메타데이터 획득에 응답하는 상기 제1 정보에 기초하여 상기 비디오 데이터로부터 획득된 높은 동적 범위 데이터에 제1 톤 매핑 프로세스를 적용하는 단계; 그렇지 않으면, 상기 표준 동적 범위 데이터를 표현하는 상기 비디오 데이터로부터 제2 톤 매핑 프로세스를 표현하는 제2 정보를 계산하고, 상기 정보에 기초하여 상기 비디오 데이터로부터 획득된 높은 동적 범위 데이터에 상기 제2 톤 매핑 프로세스를 적용하는 단계.

일 실시예에서, 상기 비디오 데이터는 상기 표준 동적 범위 데이터 또는 상기 역 톤 매핑 프로세스를 적용함으로써 상기 표준 동적 범위 데이터로부터 얻어진 높은 동적 범위 데이터를 포함한다.

일 실시예에서, 상기 방법은, 상기 정보가 역 톤 매핑 곡선을 표현하는 경우, 상기 역 톤 매핑 곡선을 반전시키는 단계를 포함한다.

제3 양태에서, 본 실시예 중 하나 이상은 다음을 위해 구성된 전자 회로를 포함하는 장치를 제공한다: 표준 동적 범위 데이터를 획득하는 단계; 상기 표준 동적 범위 데이터로부터 높은 동적 범위 데이터를 생성하도록 적응된 역 톤 매핑 프로세스를 표현하는 정보를 획득하고, 상기 정보를 메타데이터에 삽입하는 단계; 상기 메타데이터와 함께 상기 표준 동적 범위 데이터를 표현하는 비디오 데이터를 제공하는 단계.

일 실시예에서, 상기 정보가 톤 매핑 곡선을 표현하는 경우, 상기 전자 회로는 상기 역 톤 매핑 프로세스를 정의하는데 사용되는 역 톤 매핑 곡선의 역을 계산하는 단계를 위해 추가로 구성된다.

일 실시예에서, 상기 전자 회로는 상기 역 톤 매핑 곡선의 역으로부터 제1 순람표 및 제2 순람표를 계산(6012)하되, 상기 제1 순람표는 높은 동적 범위 데이터의 휘도 성분을 톤 매핑하도록 적응되고, 상기 제2 순람표는 상기 높은 동적 범위 데이터의 색상 성분을 보정하도록 적응되는 단계, 및 상기 제1 및 제2 순람표로부터 톤 매핑 함수를 표현하는 제1 변수 및 색상 보정 함수를 표현하는 제2 변수를 추정(6013)하되, 상기 제1 및 상기 제2 변수는 상기 메타데이터에 삽입된 상기 역 톤 매핑 프로세스를 표현하는 정보인 단계를 위해 추가로 구성된다.

제4 양태에서, 본 실시예 중 하나 이상은 다음을 위해 구성된 전자 회로를 포함하는 장치를 제공한다: 상기 표준 동적 범위 데이터를 표현하는 비디오 데이터를 획득하는 단계; 상기 표준 동적 범위 데이터로부터 높은 동적 범위 데이터를 생성하도록 적응된 역 톤 매핑 프로세스를 표현하는 제1 정보를 포함하는 메타데이터가 상기 비디오 데이터와 함께 획득되었는지 여부를 결정하는 단계; 및 상기 메타데이터의 수신에 응답하는 상기 제1 정보에 기초하여 상기 비디오 데이터로부터 획득된 높은 동적 범위 데이터에 제1 톤 매핑 프로세스를 적용하는 단계; 그렇지 않으면, 상기 표준 동적 범위 데이터를 표현하는 상기 비디오 데이터로부터 제2 톤 매핑 프로세스를 표현하는 제2 정보를 계산하고, 상기 정보에 기초하여 상기 비디오 데이터로부터 획득된 높은 동적 범위 데이터에 상기 제2 톤 매핑 프로세스를 적용하는 단계.

일 실시예에서, 상기 정보가 역 톤 매핑 곡선을 표현하는 경우, 상기 전자 회로는 상기 역 톤 매핑 곡선을 반전시키는 단계를 위해 추가로 구성된다.

제5 양태에서, 본 실시예 중 하나 이상은 상기 제1 양태의 방법을 사용하거나 상기 제3 양태의 장치를 사용함으로써 생성된 신호를 제공한다.

제6 양태에서, 본 실시예 중 하나 이상은 상기 제1 또는 상기 제2 양태에 따른 방법을 구현하기 위한 프로그램 코드 명령어를 포함하는 컴퓨터 프로그램을 제공한다.

제7 양태에서, 본 실시예 중 하나 이상은 제1 또는 제2 양태에 따른 방법을 구현하기 위한 프로그램 코드 명령어를 저장하는 비일시적 정보 저장 매체를 제공한다.

도 1a는 확산 백색(diffuse white)이 나타나는 휘도 값의 스케일을 도시한다.
도 1b는 확산 백색이 "203" 니트로 고정될 때 휘도 값 스케일의 분리를 도시한다.
도 1c는 다양한 실시예의 맥락을 개략적으로 도시한다.
도 2는 현재 단일 스트림 HDR/SDR 워크플로우를 도시한다.
도 3은 일 실시예에 따른 단일 스트림 HDR/SDR 워크플로우를 도시한다.
도 4는 공지된 SL HDR 전처리기를 도시한다.
도 5는 공지된 역 톤 매핑 프로세스를 도시한다.
도 6a는 일 실시예에 따른 ITM 프로세스의 일례를 개략적으로 도시한다.
도 6b는 일 실시예에 따른 TM 프로세스의 일례를 개략적으로 도시한다.
도 6c는 SL-HDR1의 맥락에서 일 실시예에 따른 TM 프로세스의 예의 단계를 상세히 설명한다.
도 7a는 ITM 곡선의 제1 예를 도시한다.
도 7b는 ITM 고선의 제2 예를 도시한다.
도 8은 휘도 매핑 변수를 결정하기 위한 프로세스의 일례를 도시한다.
도 9는 색상 보정 조정 변수를 결정하는 프로세스의 일례를 도시한다.
도 10a는 변형 실시예에 따른 프로세스의 일례를 개략적으로 도시한다.
도 10b는 SL-HDR1의 맥락에서 변형 실시예에 따른 프로세스의 일례의 단계의 세부 사항을 도시한다.
도 11a는 다양한 양태 및 실시예를 구현할 수 있는 처리 모듈의 하드웨어 아키텍처의 일례를 개략적으로 도시한다.
도 11b는 다양한 양태 및 실시예가 구현되는 제1 시스템의 일례의 블록도를 도시한다.
도 11c는 다양한 양태 및 실시예가 구현되는 제2 시스템의 일례의 블록도를 도시한다.

앞서 언급했듯이 BT.2408-3 보고서는 몇 가지 권장 사항, 특히 확산 백색의 제약을 제안했다. 확산 백색은 BT.2408-3 보고서에서 "정반사 하이라이트를 최소화하고 스펙트럼 전력 흡수를 최소화하여, 열량계 회색이 아닌, 스펙트럼 회색이 되어 완벽한 반사 확산기에 가까운 카드가 제공하는 백색"으로 정의된다. "완벽한 반사 확산기"는 "관심 있는 각 파장에서 1과 동일한 스펙트럼 복사 계수를 갖는 이상적인 등방성, 비형광 확산기"로 정의된다.

즉, 확산 백색은 다음을 구분하는 비디오 신호의 휘도 레벨이다:

확산 백색 아래에 있는 휘도 수준에 해당하는, 모든 디테일이 포함된 장면;

정반사광: 확산 백색 수준 위의 휘도 수준에 해당하는, 일반적으로 흰색에 가깝고 디테일이 거의 없는, 매우 밝은 픽셀.

도 1a는 확산 백색이 나타나는 휘도 값의 스케일을 도시한다. 볼 수 있듯이, 확산 백색은 가능한 모든 휘도 값 세트를 두 부분으로 분리한다.

확산 백색 개념은 HDR 신호와 SDR 신호에 대해 유효하다.

BT.2408-3 보고서는 HDR 확산 백색이 203 니트와 같다고 지정한다.

그러나 "203" 니트 제약 조건은 권장 사항일 뿐이며 많은 콘텐츠 제작자가 해당 권장 사항에 동의하지 않는다.

실제로, 이 사양은 큰 단점을 가지고 있다: HDR 콘텐츠가 제한되어 있는데, 즉, 일반적인 1000 니트 HDR 콘텐츠의 경우, HDR 휘도 범위 [0~203 니트]의 소량만이 장면의 디테일에 전용되는 반면, HDR 휘도 범위 [203~1000 니트]의 가장 큰 부분은 디테일을 가져오지 않는 정반사광을 위해 예비된다.

도 1b는 확산 백색이 "203" 니트로 고정될 때 휘도 값 스케일의 분리를 도시한다.

이러한 제한의 이유 중 하나는 제어되고 "매우 안전한" 라이브 HDR 콘텐츠 제작이 필요하기 때문이다. 또한 이 제한에는 다음의 장점이 있다:

HDR에서 SDR로의 변환(즉, 톤 매핑(TM))의 구현이 더 간단한데, "203" 니트에서 정의된 HDR 확산 백색이 일반적으로 90%에서 100% SDR 사이(즉, 90 니트에서 100 니트 사이)로 정의되는 SDR 확산 백색에 매핑되어야 하기 때문이다. 따라서 톤 매핑은 매우 기본적인 정적 3D-LUT를 사용하여 구현될 수 있다.

SDR에서 HDR로의 변환(즉, 역 톤 매핑(ITM))의 구현도 같은 이유로 더 간단하며, 역 톤 매핑도 매우 기본적인 정적 3D-LUT로 구현될수 있다.

그러나 장면의 디테일에 할당된 휘도 값과 "203" 니트에서 확산 백색에 의해 유도된 정반사광에 할당된 휘도 값 사이의 이러한 비율은 결과적인 HDR 이미지를 매우 흐릿하고 매력적이지 않게 만든다.

다음의 실시예는 다음과 같은 시스템을 제안함으로써 이러한 단점을 제거할 수 있다:

HDR 생성에 더 많은 유연성과 예술적 자유를 허용하고, 따라서 HDR에서 SDR(톤 매핑)로, 및 SDR에서 HDR(역 톤 매핑)로의 동적 변환을 사용하여 보다 매력적인 HDR 콘텐츠를 얻을 수 있음

완벽한 SDR-HDR-SDR 왕복을 위해 ITM 및 TM 처리를 결합할 수 있음(TM 처리는 ITM 처리의 역을 적용함).

실제로 현재 HDR 제작 환경의 특징 중 하나는 ITM 툴과 TM 툴이 독립적으로 작동한다는 것이다. 결과적으로, ITM 툴에 적용된 알고리즘과 TM 툴에 적용된 알고리즘 사이에는 상관관계가 없으며, TM(각각 ITM) 변환 전에 적용된 ITM(각각 TM) 변환의 특성을 특정하는 이들 툴 간의 통신이 없다.

도 1c는 다양한 실시예가 구현될 수 있는 예시적인 맥락을 도시한다.

도 1c에서, 라이브 제작 시스템(20)은 마스터 중앙 제어 시스템(21)과 통신하고 있다. 라이브 제작 시스템(20)은 동일한 라이브 콘텐츠의 HDR 버전과 SDR 버전을 동시에 제공한다. 그 다음, 마스터 중앙 제어 시스템(21)은 이들 SDR 및 HDR 버전의 동일하거나 강화된 버전을 인코딩하고, 이들 인코딩된 버전을 장치(22A 및 22B)에 제공한다. 일 실시예에서, 마스터 제어 시스템(21)은 AVC((ISO/CEI 14496-10/ITU-T H.264) 인코더, HEVC(ISO/IEC 23008-2 - MPEG-H Part 2, 고효율 비디오 코딩/ITU-T H.265)) 인코더, VVC(ISO/IEC 23090-3 - MPEG-I, 다목적 비디오 코딩/ITU-T H.266) 인코더 또는 임의의 다른 인코더를 사용하여 HDR 및 SDR 버전을 인코딩한다.

장치(22a, 22b)는 PC, TV, 스마트폰, 태블릿 또는 헤드 마운트 디스플레이와 같은 디스플레이 장치이며, 셋톱 박스와 같은 디스플레이 장치에 연결되는 장치이다. HDR 능력을 가지는 장치(22A)는 인코딩된 HDR 버전을 수신한다. SDR 능력만을 갖는 장치(22B)는 인코딩된 SDR 버전을 수신한다.

도 2는 현재 단일 스트림 HDR/SDR 워크플로우를 도시한다. 도 2는 라이브 제작 시스템(20) 및 마스터 중앙 제어 시스템(21)에 대한 세부 사항을 제공한다.

라이브 제작 시스템(20)은 HDR 소스(200) 및 SDR 소스(201)의 두 소스를 포함한다. 각 소스는 카메라, 재생 시스템 또는 그래픽을 생성하는 시스템 중 적어도 하나를 포함한다. SDR 소스(201)는 다음의 복수의 ITM 툴에 연결된다:

SDR 카메라 출력을 HDR로 상향 변환하기 위한 ITM 툴(202A)(ITM1) 1개;

SDR 재생 콘텐츠를 HDR로 상향 변환하기 위한 ITM 툴(202B)(ITM2) 1개; 및

SDR 그래픽(예: 스코어 삽입) 콘텐츠를 HDR로 상향 변환 ITM 툴 202C(ITM3) 1개.

HDR 콘텐츠 라우팅 및 스위칭 시스템은 HDR 소스(200) 또는 SDR 소스(201)로부터 오는 다수의 HDR 입력을 수집한 다음, 다수의 HDR 출력을 생성한다.

이러한 HDR 출력에서 여러 TM 툴이 사용된다:

마스터 중앙 제어 시스템(21)으로 송신되는 생성된 SDR 콘텐츠의 품질을 평가하는 쉐이더 작동자에 의해 사용되는 예측 SDR 출력을 생성하기 위한 TM 툴(204B)(TM1).

마스터 중앙 제어 시스템(21)에 제공되는 SDR을 생성하기 위한 TM 툴(204A)(TM2).

마스터 제어 시스템(21)은 HDR 마스터 제어 시스템(212) 및 SDR 마스터 제어 시스템(213)을 포함한다. HDR 및 SDR 마스터 제어 시스템은 SDR/HDR 콘텐츠 배포를 담당한다. 도 2의 예에서, 마스터 제어 시스템(21)은 SDR에서 광고를 생성하는 소스(210)와, 광고를 SDR에서 HDR로 변환하는 ITM 툴을 포함한다. HDR 마스터 제어 시스템(212)은 HDR로 변환된 이들 광고를 수신하고, 이러한 광고를 수신한 HDR 콘텐츠와 혼합한다. HDR(각각 SDR) 마스터 제어 시스템(212)(각각 213)은 수신하거나 다른 데이터와 수신하는 HDR(각각의 SDR) 데이터의 혼합으로부터 발생하는 HDR(각각의 SDR 데이터)을 인코딩한다. 예를 들어, SDR 및 HDR 데이터는 AVC((ISO/CEI 14496-10/ITU-T H.264) 인코더, HEVC(ISO/IEC 23008-2 - MPEG-H Part 2, 고효율 비디오 코딩/ITU-T H.265)) 인코더, VVC(ISO/IEC 23090-3 - MPEG-I, 다목적 비디오 코딩/ITU-T H.266) 인코더 또는 임의의 다른 인코더에 의해 인코딩된다.

도 2의 HDR 제작 환경에서 ITM 및 TM 툴은 이러한 툴 간의 통신 없이 독립적으로 실행된다.

공지된 구현예에서, 도 2의 HDR 제작 환경의 각각의 TM 툴(예: TM 툴(204A)(TM2) 및 TM 툴(204B)(TM1))은 예를 들어 표준 SL-HDR1(ETSI TS 103 433 v1.4.1)을 준수하는 전처리기(이하에서는 SL-HDR 전처리기라고 지칭됨)에서 구현된다.

도 4는 공지된 SL-HDR 전처리기에 의해 적용되는 프로세스를 도시한다.

도 4의 프로세스는, 예를 들어, 도 11a와 관련하여 추가로 후술하는 처리 모듈에 의해 구현된다.

401 단계에서, 처리 모듈(30)은 HDR 입력 데이터를 획득한다. 일반적으로 HDR 입력 데이터는 YUV 포맷이다.

402 단계에서, 처리 모듈은 입력 콘텐츠 포맷 프로세스를 구현한다. 입력 콘텐츠 포맷 프로세스는 HDR 입력 데이터를 내부 표현으로 포맷하는 것으로 구성된다.

403 단계에서, 처리 모듈은 포맷된 HDR 입력 데이터를 분석하여 SL-HDR 메타데이터를 계산한다. 상기 분석은 일반적으로 포맷된 HDR 입력 데이터의 히스토그램 계산을 포함한다. SL-HDR 메타데이터는 다음을 포함한다(대표한다):

SL-HDR1 사양(ETSI TS 103 433 v1.4.1)의 섹션 6.2.5에 정의된 휘도 매핑 변수

SL-HDR1 사양(ETSI TS 103 433 v1.4.1)의 섹션 6.2.6에 정의된 색상 보정 조정 변수.

404 단계에서, 처리 모듈은 표준 SMPTE ST(2108-1)에 따라, SDI(직렬 디지털 인터페이스) 인터페이스의 수직 보조 채널에 SL-HDR 메타데이터를 삽입하며, SL-HDR 메타데이터는 해당 문서의 섹션 5.3.5에 정의된 동적 메타데이터 유형 5이다. 이는 일반적으로 SL-HDR 전처리기 및 비디오 인코더(예: AVC((ISO/CEI 14496-10/ITU-T H.264) 인코더, HEVC(ISO/IEC 23008-2 - MPEG-H Part 2, 고효율 비디오 코딩/ITU-T H.265)) 인코더, VVC(ISO/IEC 23090-3 - MPEG-I, 다목적 비디오 코딩/ITU-T H.266) 인코더 또는 임의의 다른 인코더)를 통합한 장비 간에 SL-HDR 메타데이터를 전달하는 일반적인 방법이다.

405 단계에서, 처리 모듈은 403 단계에서 계산된 휘도 매핑 변수에 의해 설명되는 톤 매핑(TM) 기능을 표현하는 L-LUT라고 불리는 순람표(LUT) 및 403 단계에서 계산된 색상 보정 조정 변수에 의해 설명되는 색상 보정 기능을 표현하는 B-LUT라고 불리는 LUT를 계산한다. L-LUT는 높은 동적 범위 데이터의 휘도 성분을 톤 매핑하기 위해 적응된 제1 순람표이고, B-LUT는 높은 동적 범위 데이터의 컬러 성분을 보정하기 위해 적응된 제2 순람표이다.

406 단계에서, 처리 모듈은 L-LUT 및 B-LUT에 기반한 TM 프로세스를 적용하여 포맷된 HDR 입력 데이터로부터 SDR 출력 데이터를 생성한다.

도 5는 공지된 역 톤 매핑(ITM) 프로세스를 도시한다. 도 5의 ITM 프로세스는 통상적으로 도 2의 HDR 제작 환경의 각 ITM 툴(ITM1(202A), ITM2(202B) 및 ITM3(202C))에 의해 적용된다. 도 5의 프로세스는, 예를 들어, 도 11a와 관련하여 후술되는 처리 모듈에 의해 구현된다.

501 단계에서, 처리 모듈(30)은 SDR 입력 데이터를 획득한다. 일반적으로 SDR 입력 데이터는 YUV 포맷이다.

502 단계에서, 처리 모듈은 SDR 입력 데이터를 분석하고, 분석 결과를 이용하여 가장 적절한 역 톤 매핑(ITM) 곡선을 계산하고, 이 ITM 곡선을 이용하여 HDR 데이터를 출력한다. ITM 곡선은 출력된 HDR 데이터를 얻기 위해 SDR 데이터에 적용되는 ITM 프로세스를 정의하는 데 사용된다.

알 수 있는 바와 같이, 502 단계에서 적용된 ITM 프로세스와 406 단계에서 적용된 TM 프로세스 사이에는 링크가 없다. 도 4 및 5의 프로세스에서 SDR-HDR-SDR 왕복 제약 조건이 준수되도록 보장하는 것은 없다.

일 실시예에서, 다음에 의해 HDR 제작 시스템에서 ITM 및 TM 툴을 결합하는 것이 제안된다:

ITM과 TM 툴 간의 통신 채널을 생성하여 ITM 툴과 TM 툴이:

o TM 툴이 ITM 툴의 SDR 입력과 일치하는 SDR 출력을 생성할 수 있도록 HDR에서 SDR로의 변환을 정의하여, 완벽한 SDR-HDR-SDR 왕복을 획득하거나;

o TM 툴이 HDR에서 SDR로의 역 변환을 계산할 수 있도록 ITM 툴에서 적용한 SDR에서 HDR로의 변환을 정의하여 완벽한 SDR-HDR-SDR 왕복을 다시 획득하도록 통신할 수 있게 한다.

도 3은 이 실시예에 준수하는 단일 스트림 HDR/SDR 워크플로우를 도시한다.

도 1c 및 도 2의 시스템, 장치 및 모듈은 도 3에 동일하게 나타난다. 도 3의 HDR 제작 환경에서, ITM 툴(ITM1(202A), ITM2(202B) 및 ITM3(202C))은 이제 다음 중 하나를 설명하는 메타데이터와 함께 HDR 콘텐츠를 생성한다:

(이러한 메타데이터를 이해하는) TM 툴이 ITM 툴의 SDR 입력과 일치하는 SDR 출력을 생성할 수 있게 하는 HDR에서 SDR로의 변환;

(이러한 메타데이터를 이해하는) TM 툴이 역 변환을 계산할 수 있도록, ITM 툴에 의해 적용되는 SDR에서 HDR로의 변환.

또한 2개의 TM 툴(TM1(204B) 및 TM2(204A))은 다음 중 하나를 수신한다:

라우팅 및 스위칭 툴(203)이 SDR 소스(201) 중 하나로부터 콘텐츠를 출력할 때 메타데이터가 있는 HDR 콘텐츠. 이 경우, TM 툴은 메타데이터를 해석하고, 메타데이터에 설명된 HDR에서 SDR로의 변환을 직접 적용하거나, ITM 툴에 의해 적용된 SDR에서 HDR로의 변환을 설명하는 메타데이터를 사용하여 ITM의 역에 해당하는 TM을 계산한다. 두 경우 모두 완벽한 SDR-HDR-SDR 왕복을 획득한다;

라우팅 및 스위칭 툴(203)이 HDR 소스(200) 중 하나로부터 콘텐츠를 출력할 때 메타데이터가 없는 HDR 콘텐츠.

도 3의 실시예는 다음에서 추가로 상세히 설명된다. 특히, ITM 및 TM 프로세스의 결합의 일례는 도 6a, 도 6b 및 도 6c와 관련하여 상세히 설명된다.

도 6a는 일 실시예에 따른 ITM 프로세스의 일례를 개략적으로 도시한다. 도 6a의 ITM 프로세스는 통상적으로 SDR 데이터로부터 HDR 데이터 생성을 담당하는 모듈에 의해 구현된다. 도 6a의 ITM 프로세스는, 예를 들어, 도 11a와 관련하여 후술하는 처리 모듈에 의해 구현된다.

도 6a의 ITM 프로세스는 도 5와 관련하여 이미 설명한 501 단계 및 502 단계에 의해 시작한다.

600 단계에서, 처리 모듈은 SDR-HDR-SDR 왕복 제약 조건을 준수하여 HDR 데이터로부터 SDR 데이터 생성을 담당하는 모듈에 계산된 HDR 데이터를 제공(즉, 출력 또는 송신)한다.

601 단계에서, 처리 모듈은 502 단계에서 적용된 SDR 데이터로부터 HDR 데이터를 생성하도록 적응된 ITM 프로세스를 표현하는 정보를 계산한다. 601 단계의 일 실시예에서, ITM 프로세스를 표현하는 정보는 502 단계에서 계산된 ITM 곡선을 표현하는 정보를 포함한다. 601 단계의 변형예에서, ITM 프로세스를 표현하는 정보는 502 단계에서 계산된 ITM 곡선으로부터 유도된 TM 곡선을 표현하는 정보를 포함한다. 601 단계에서, 처리 모듈은 메타데이터에 정보를 삽입한다.

602 단계에서, 처리 모듈은 HDR 데이터로부터 SDR 데이터 생성을 담당하는 모듈에 메타데이터를 제공(즉, 출력 또는 송신)한다.

도 6b는 일 실시예에 따른 TM 프로세스의 일례를 개략적으로 도시한다. 도 6b의 TM 프로세스는 통상적으로 SDR-HDR-SDR 왕복 제약 조건을 준수하여 HDR 데이터로부터 SDR 데이터 생성을 담당하는 모듈에 의해 적용된다. 도 6b의 프로세스는, 예를 들어, 도 11a와 관련하여 후술되는 처리 모듈에 의해 구현된다.

도 4의 401 단계 및 402 단계는 도 6b의 프로세스에서 유지된다. 403 단계 및 404 단계가 제거된다. 405 단계는 610 단계로 대체된다. 406 단계는 611단계 및 612 단계로 대체된다. 401 단계에서, 처리 모듈은 502 단계에서 생성된 HDR 데이터를 수신한다는 것을 알 수 있다.

610 단계에서, 처리 모듈은 HDR 데이터와 함께 메타데이터를 수신하였는지 여부를 결정한다.

HDR 데이터와 함께 메타데이터가 수신되지 않은 경우, 처리 모듈은 611 단계를 적용한다. 611 단계에서, 처리 모듈은 포맷된 HDR 데이터를 분석하고, 분석 결과를 이용하여 가장 적절한 톤 매핑(TM) 커브를 계산한다. 611 단계 이후에 612 단계가 이어진다.

메타데이터가 HDR 데이터와 함께 수신되면, 610 단계에 이어 612 단계가 직접 이어진다.

612 단계에서, 처리 모듈은 502 단계에서 적용된 ITM 프로세스 또는 611 단계에서 계산된 TM 곡선에 의해 정의된 TM 프로세스를 표현하는 정보를 나타내는 메타데이터 중 어느 하나에 기초하여 TM 프로세스를 적용하여 포맷된 HDR 입력 데이터로부터 SDR 출력 데이터를 생성한다. ITM 프로세스를 표현하는 정보가 ITM 곡선을 나타내는 경우, 처리 모듈은 ITM 곡선을 반전시킴으로써 ITM 곡선으로부터 TM 곡선을 계산하고, 계산된 TM 곡선을 이용하여 HDR 데이터에 톤 매핑을 적용한다. 실제로, ITM 곡선을 표현하는 정보는 ITM 곡선에서 도출될 수 있는 TM 곡선을 표현하기도 한다. ITM 프로세스를 표현하는 정보가 TM 곡선을 나타낼 때, 처리 모듈은 TM 곡선을 직접 사용하여 SDR 데이터를 계산한다.

다음에서, 도 6a 및 도 6b의 프로세스는 도 6c와 관련하여 SL-HDR1의 맥락에서 상세히 설명된다. 이러한 맥락에서, 도 6a의 ITM 프로세스는 통상적으로 도 3의 HDR 제작 환경의 각 ITM 툴(ITM1(202A), ITM2(202B) 및 ITM3(202C))의 처리 모듈에 의해 실행된다. 도 6b의 TM 프로세스는 통상적으로 도 3의 HDR 제작 환경의 각 TM 툴(TM1(204B) 및 TM2(204A))의 처리 모듈에 의해 실행되거나, 도 4와 같이 SL-HDR 전처리기의 처리 모듈에 의해 실행된다.

도 6c는 601 단계를 상세히 설명한다. 601 단계는 3개 단계(6011, 6012, 6013)로 나뉜다.

6011 단계에서, 처리 모듈은 502 단계에서 계산된 역 톤 매핑 곡선의 역을 계산한다. 역 톤 매핑 곡선의 역을 계산하는 프로세스의 일례는 하기에 설명된다.

6012 단계에서, 처리 모듈은 반전된 역 톤 매핑 곡선으로부터 L-LUT 및 B-LUT를 계산한다. L-LUT 및 B-LUT는 SL-HDR 전처리기에서 사용하는 형식에 맞게 조정된 형식으로 계산된다.

6013 단계에서, 처리 모듈은 L-LUT로부터 SL-HDR1 사양의 섹션 6.2.5에 정의된 휘도 매핑 변수를 추정하고, B-LUT로부터 SL-HDR1 사양의 섹션 6.2.6에 정의된 색상 보정 조정 변수를 추정한다.

602 단계에서, SL-HDR1의 맥락에서 적용될 때, 처리 모듈은, 404 단계에서와 같이, SDI 인터페이스의 수직 보조 채널에 휘도 매핑 변수 및 색상 보정 조정 변수를 포함하거나 표현하는 SL-HDR 메타데이터를 삽입하고, 이러한 메타데이터를 SDR-HDR-SDR 왕복 제약조건을 존중하여 HDR 데이터로부터 SDR 데이터 생성을 담당하는 모듈에 제공한다. 일 실시예에서, SL-HDR 메타데이터는 ST2108 컨테이너에 제공된다.

알 수 있는 바와 같이, 600 단계 및 602 단계에서, 처리 모듈은 SL-HDR 메타데이터와 함께 계산된 HDR 데이터를 표현하는 스트림을 제공하고, 메타데이터는 HDR 데이터에 적용될 톤 매핑 프로세스를 특정한다. (502 단계에서) HDR 데이터가 SDR 데이터로부터 획득되기 때문에, 메타데이터를 갖는 HDR 데이터가 SDR 데이터를 표현한다는 것을 알 수 있다.

SL-HDR의 맥락에서 612 단계를 적용할 때, SDR 데이터 생성을 담당하는 모듈의 처리 모듈(예: SL-HDR 전처리기)은 ST2108 컨테이너에서 수신된 SL-HDR 메타데이터에 표현된 휘도 매핑 변수 및 색상 보정 조정 변수로부터 L-LUT 및 B-LUT를 계산한다.

그 다음, 처리 모듈은 L-LUT 및 B-LUT에 기반한 TM 프로세스를 적용하여 포맷된 HDR 입력 데이터로부터 SDR 출력 데이터를 생성한다. 다시 말해, 처리 모듈은 SL-HDR 메타데이터에 의해 특정된 톤 매핑 프로세스를 HDR 데이터에 적용한다.

도 6a 및 도 6b의 결합된 ITM/TM 프로세스에서, SL-HDR1의 맥락에서 적용될 때, SL-HDR 메타데이터는 TM 프로세스를 담당하는 모듈(예: SL-HDR 전처리기)에 의해 더 이상 생성되지 않고, ITM 프로세스를 담당하는 모듈(예: ITM 툴)에 의해 생성된다는 것을 알 수 있다.

제1 동적 실시예라고 불리는 일 실시예에서, 도 6a 및 도 6b의 결합된 ITM/TM 프로세스는 501 단계에서 획득된 SDR 데이터에 포함된 각 이미지에 대해 적용된다. 따라서 TM 프로세스를 담당하는 모듈(예: SL-HDR 전처리기 또는 도 3의 TM 툴)은 HDR 데이터에 포함된 각 이미지에 대한 새로운 메타데이터를 수신한다.

제2 동적 실시예라고 불리는 다른 실시예에서, 도 6a 및 도 6b의 결합된 ITM/TM 프로세스는 501 단계에서 획득된 SDR 데이터에 포함된 복수의 이미지의 그룹에 적용된다. 따라서, TM 프로세스를 담당하는 모듈(예: 도 3의 SL-HDR 전처리기 또는 TM 툴)은 HDR 데이터에 포함된 복수의 이미지의 각 그룹에 대한 새로운 메타데이터를 수신한다.

고정 실시예라고 불리는 다른 실시예에서, 502 단계에서, ITM 곡선을 동적으로 계산하는 대신에, ITM 곡선은 SDR 데이터에 대해 고정된다. 따라서, TM 프로세스를 담당하는 모듈(예: SL-HDR 전처리기 또는 도 3의 TM 툴)은 HDR/SDR 콘텐츠 제작 시작 시 HDR 데이터에 대한 고정 메타데이터를 1회 수신한다. 그럼에도 불구하고, 이러한 고정된 ITM 곡선을 사용하더라도, SDR-HDR-SDR 왕복 제약 조건이 준수된다.

이하에서, 우리는 역 톤 매핑 곡선의 역의 계산의 601 단계에 대한 추가적인 상세를 제공한다.

문서 ITU-R BT.2446-1은 섹션 4.2에서 다음 확장 기능을 사용하여 SDR 콘텐츠를 HDR 콘텐츠로 변환하는 방법을 설명한다:

여기서,

는 [0...1] 범위에 있다.

( 의 경우)

알 수 있듯이, 확장 함수는 지수가 현재 픽셀의 휘도 값에 따라 달라지는 거듭제곱 함수를 기반으로 한다. 이를 전역 확장이라고 하며, 이는 입력(SDR 입력)에서 동일한 휘도를 갖는 모든 입력 픽셀이 출력(HDR 출력)에서 동일한 휘도를 갖는다는 것을 의미한다.

로컬 확장이라고 하는 또 다른 방법은 다음과 같은 방식으로 표현될 수 있다:

여기서 Y _F 는 Y''의 필터링된 버전이고, G()는 Y _F 의 이득 함수이고, Y _enhance 는 Y'' 및 그의 주변 픽셀 Ys _i 의 함수이다. 알 수 있듯이, 문헌 ITU-R BT.2446-1에 기술된 방법은 로컬 확장의 특별한 경우이며, 여기서 Y_f = Y'' 및 Y _enhance (Y'', Y_Si) = 1이다.

두 경우(전역 또는 로컬 확장) 모두에서, 확장된 출력은 입력 SDR 이미지와 일관성을 유지하기 위해 단조이고, 입력의 Y 가 0이면, 출력의 Y _exp 도 0이다.

ITM에 사용되는 확장 방법이 로컬인 경우, 이 방법은 전단사가 아니라는 것, 즉, SL-HDR 전처리기가 SDR 데이터를 검색할 수 없다는 것을 이해해야 한다. SDR 데이터 검색은 확장 방법이 전역적이고 (위에서 말한 것처럼 단조이고) 결과적으로 전단사일 때만 가능하다. 그럼에도 불구하고 ITM에 로컬 확장을 사용하면 로컬에서 세부 정보를 추가하여 검색된 SDR 데이터의 시각적 품질을 향상시킬 수 있다.

동일한 문서 ITU-R BT.2446-1은 채도 스케일링 계수 Sc를 사용하여 입력 SDR 데이터(즉, UV _SDR )의 채도 부분을 확장하는 방법을 설명한다:

여기서: 인 경우,, 인 경우

은 [0...L _max ] 범위에 있고 L _max = 1000cd/m²이고 Y_SDR은 [0... 255] 범위에 있다. 보다 일반적으로, 입력 SDR의 채도 부분은 다음 공식을 사용하여 확장될 수 있다:

여기서: 인 경우, , 인 경우

여기서 은 SDR 휘도, 필터링된 SDR 휘도 또는 둘의 혼합이고, sat()은 값에 따른 채도 함수일 수 있다. 그럼에도 불구하고, 위에서 설명했듯이, 완벽한 SDR-HDR-SDR 왕복을 만들려면, S_C는 SDR 휘도(필터링된 부분이 아님)의 함수여야 한다.

HDR 데이터에 대한 "1000" 니트의 피크 니트를 고려할 때, ITM 곡선은 가역적이기 위해 피크 니트 값 미만으로 유지되어야 한다는 것을 이해해야 한다. ITM 곡선의 일례는 이러한 권장 사항을 따르는 도 7a에 나와 있다. 실제로, 각 입력 값은 고유한 출력 값과 연결된다.

도 7b는 완전히 가역적이 아닌 ITM 곡선의 또 다른 예를 도시한다. 즉, "235" 초과의 모든 값은 "1000"까지 확장되며, 이는 SDR로 다시 변환될 때 "235"로 고정되는 것을 의미한다.

ITM 곡선 자체가 명백한 경우, ITM 곡선을 반전시키는 것은 매우 쉽다. 명백한 ITM 곡선의 일례는 다음 공식에 나와 있다:

여기서 [0...255] 범위에서 Y의 확장된 값은 [0...1023] 범위에 매핑된다. 반전 곡선은 하기와 같이 표현될 수 있다:

여기서

예를 들어, Y = 157이면, Y _exp = 557.92이다. 반전 공식을 사용하면:

그런 다음 "1024"개 항목이 있는 LUT는 "0"과 "1023" 사이의 각 Yexp 값에 대해 이 공식을 사용하여 채워질 수 있다.

그러나, ITM 곡선은 그다지 명확하지 않으며(예: Y에 따라 달라지는 이득 함수를 사용하여 확장이 수행되는 경우: Y_exp = Y^G(Y)), ITM이 동적인 경우, 즉, 이득 함수가 현재 이미지에서 추출된 기준에 따라 달라지는 경우, 난이도는 증가한다. 그 다음, ITM 곡선은 즉시 평가되고(하나의 이미지에 대해 하나의 곡선), 반전된 ITM 곡선은 순람표를 사용하여 동일한 동작을 따른다.

예를 들어, 다음을 고려한다:

ITM 순람표 ITMlut 에는 "1025"개 입력 및 부동 소수점 출력이 있으며, Y는 [0...255] 범위에 있다;

역 또는 반전 ITM 순람표 RITMlut에는 "1025"개 입력 및 부동 소수점 출력이 있으며, Yexp는 [0...1000] 범위에 있다.

그 다음,

ITMlut[0]는 Y = 0의 확장 값을 포함하고, ITMlut[1024]는 Y = 255의 확장 값을 포함한다. 그 다음, ITMlut의 각 항목 i는 Y = i * 255 / 1024의 확장된 값을 저장한다. 이러한 확장된 값은 [0..1000] 범위에서 [0..1024] 범위로 크기가 조정된다.

RITMlut[0]은 "0"과 같은 확장 값을 생성하는 Y 값을 포함하므로, RITMlut[0]=0이고, RITMlut[1024]는 (위에서 언급된 조정 후) "1024"와 같은 확장 값을 생성하는 Y 값을 포함하므로, RITMlut[1024]=255이다.

그 다음, 역 ITM 순람표 RITMlut을 구축하는 것은 RITMlut의 각 항목 j에 대해("0"과 "1024"사이의 j의 각 값에 대해) ITM 순람표 ITMlut의 의사 항목, 즉, 정확한 정수 값 j를 생성하는 ITM 순람표 ITMlut의 2개의 연속적인 실제 항목 사이에 위치한 항목을 찾는 것으로 구성된다. 이것은 보간을 사용하여 수행된다. j가 주어지면, ITMlut[i] 값이 j 바로 위에 있는 첫 번째 정수 값 i가 검색된다. 그 다음, 값 delta가 계산된다:

delta = ITMlut[i] - ITMlut[i-1]

그 다음:

RITMlut[j] = (i - 1) + (j - ITMlut[i-1]) / delta

수치적 예로, 다음을 고려할 수 있다:

ITMlut[500] = 200.3이고 ITMlut[501] = 202.4이면 delta = 202.4 - 200.3 = 2.1이다.

j = 201 및 j = 202에 대한 역 ITM 순람표 RITMlut의 값은 다음과 같다:

RITMlut[201] = (500 + (201 - 200.3) / 2.1) * 255/ 1024 = 124.59

RITMlut[202] = (500 + (202 - 200.3) / 2.1) * 255/ 1024 = 124.71

"500" 및 "501"은, 255로 크기 조정되면, "124.51" 및 "124.76"이 된다.

확장 함수가 피크 니트까지 올라가지 않으면, 역 ITM 순람표 RITMlut의 가장 높은 입력 값을 찾을 수 없다는 점에 유의해야 한다. 그 다음, 이러한 가장 높은 값을 "255"로 설정할 수 있다.

역 ITM 순람표 RITMlut을 정수 컨텍스트에서 사용하는 경우(예: 출력이 "16" 비트 정수인 L-LUT에 로드해야 하는 경우), 역 ITM 순람표 RITMlut의 부동 소수점 숫자는 "65535"로 크기 조정되고 정수 값으로 반올림되며, 이는 "65535"가 최대 SDR 입력 값(즉, "255")과 일치함을 의미한다.

채도 성분과 관련하여 일반적인 HDR 변환은 다음과 같이 표현될 수 있는 것으로 나타났다:

UV_HDR= sat(Y) * (Y_HDR/ Y) * UV

SL-HDR 측에서 B-LUT는 L-LUT의 출력에 의해 주소 지정되고(즉, B-LUT의 입력/항목은 L-LUT의 출력(이에 포함된 데이터)임)(그 다음 Y에 의해), B-LUT의 출력에 UV _HDR 을 곱하여 UV 값을 검색한다. 그 다음, 위의 공식은 다음과 같은 방식으로 작성할 수 있다:

UV_HDR= sat(Y) * (Y^G(Y) / Y) * UV = sat(Y) * (Y^G(Y)-1) * UV

그 다음,

UV = UV_HDR* (Y^1-G(Y)/ sat(Y))

마지막으로, B-LUT는 Y의 함수이다:

B-LUT[Y] = Y^1-G(Y)/ sat(Y)

G(Y)는 확장에 사용된 이득 함수이다: Y_HDR = Y^G(Y).

이하에서, 우리는 L-LUT 및 B-LUT로부터의 메타데이터의 추정의 601 단계에 대한 추가적인 세부사항을 제공한다.

휘도 매핑 변수 추정

SL-HDR1 사양의 §6.2.5에 설명된 대로, 휘도 매핑 변수는 2개의 파라미터 세트로 정의된다:

휘도 매핑 곡선을 정의하는 데 사용되는 6개의 파라미터(tmInputSignalBlackLevelOffset, tmInputSignalWhiteLevelOffset, shadowGain, highlightGain, midToneWidthAdjFactor, tmOutputFineTuningNumVal)를 포함하는 제1 파라미터 세트.

톤 매핑 출력 미세 조정 함수에 사용되는 제한된 수의 쌍(tmOutputFineTuningX[i], tmOutputFineTuningY[i])을 포함하는 제2 파라미터 세트. 이러한 쌍은 피벗점의 좌표를 정의하며, 제1 좌표 tmOutputFineTuningX[i]는 피벗점의 위치에 해당하고, 제2 좌표 tmOutputFineTuningY[i]는 피벗점의 값에 해당한다.

도 8은 휘도 매핑 변수를 결정하기 위한 프로세스의 일례를 도시한다. 도 8의 프로세스는 통상적으로 도 3의 HDR 제작 환경의 각 ITM 툴(ITM1(202A), ITM2(202B) 및 ITM3(202C))에 의해 적용된다. 도 8의 프로세스는, 예를 들어, 도 11a와 관련하여 후술되는 처리 모듈에 의해 구현된다.

2개 파라미터 세트는 2개의 연속 단계에서 추정된다.

801 단계에서, 처리 모듈은, L-LUT 및 B-LUT 값이 무엇이든 간에, HDR 피크 휘도 값의 함수로서, 기본값으로 제1 파라미터 세트를 결정한다. 즉, 제1 파라미터 세트의 파라미터에는 HDR 피크 휘도 값에 따라 기본값이 부여된다.

801 단계의 변형예에서, 일단 지각 균일 도메인으로 변환될 때, L-LUT 모양은 기본 파라미터 세트로부터 도출된 휘도 매핑 곡선으로부터 매우 멀리 떨어져 있으면, 추가적인 프로세스가 수행된다. 예를 들어, L-LUT 곡선 원점의 기울기와 기본 파라미터 세트에서 도출된 휘도 매핑 곡선이 크게 다른 경우, SL-HDR1 사양에 정의된 파라미터 shadowGain은 낮은 휘도 수준에서 더 잘 일치하도록 수정된다.

802 및 803 단계에서, 처리 모듈은 피벗점의 위치(tmOutputFineTuningX) 및 값(tmOutputFineTuningY)을 최적화함으로써 제2 파라미터 세트를 재귀적으로 결정한다. 802 단계의 실시예에서, (값 tmOutputFineTuningNumVal에 의해 주어진) 피벗점의 개수는 SL-HDR1 사양에 따라 가능한 최대값인 "10"으로 고정된다. 그러나, tmOutputFineTuningNumVal은 "10"보다 낮을 수도 있다.

802 단계 동안, 처리 모듈은 초기화 프로세스를 피벗점에 적용한다. 이 초기화 프로세스에서, 초기 피벗점 세트가 정의된다. 초기 세트에서 피벗점의 수는 "10"에서 L-LUT의 포인트 수까지 다른 값으로 설정될 수 있다. 일례로, 피벗점 수는 "65"로 설정된다. 초기화 프로세스 동안, 각 피벗점에는 [0.. tmOutputFineTuningNumVal-1]의 i에 대해 초기 값(tmOutputFineTuningX[i], tmOutputFineTuningY[i])이 주어진다.

tmOutputFineTuningX[i]: "0"과 HDR 피크 휘도 사이로 구성되고 니트로 표현되는 주어진 x_{HDR_nits} [i] HDR 입력 휘도는 HDR 지각 균일 도메인 x_{PU_HDR} [i]로 변환된다. 801 단계에서 결정된 제1 파라미터 세트로부터 도출된 휘도 매핑 곡선은 입력x_{PU_HDR} [i]에 대한 tmOutputFineTuningX[i]를 출력한다.

tmOutputFineTuningY[i]: 이전 x_{HDR_nits}[i]는 L-LUT의 입력에서 인덱스 k[i]에 해당한다. 유리하게는, x_{HDR_nits}[i]는 k[i]가 정수이도록 선택된다. tmOutputFineTuningY[i]는 출력 L-LUT[k[i]]를 SDR 지각 균일 영역으로 변환한 것이다.

803 단계에서, 처리 모듈은 803 단계의 끝에서 세트 내의 피벗점의 수 tmOutputFineTuningNumVal을 유지하기 위해 피벗점을 재귀적으로 삭제한다. 비용 함수에 기초한 기준을 적용하여 삭제될 수 있는 피벗점을 결정한다. 몇 가지 비용 함수를 사용할 수 있다:

추정된 파라미터에 기초하여 L-LUT와 복원된 L-LUT 사이의 오차 함수에 해당하는 비용 함수;

"65"개 초기 피벗점을 갖는 톤 매핑 출력 미세 조정 함수의 업 샘플링된 버전과 나머지 피벗점을 갖는 톤 매핑 출력 미세 조정 함수의 업 샘플링된 버전 사이의 오류 함수에 해당하는 비용 함수.

색상 보정 조정 변수의 추정

SLHDR1 사양의 §6.2.6에 설명된 바와 같이, 색상 보정 조정 변수는 채도 이득 함수에 사용되는 제한된 수의 쌍(saturationGainX[i], saturationGainY[i])으로 구성된다. 이러한 쌍은 피벗점의 좌표를 정의하며, 제1 좌표 saturationGainX[i]는 피벗점의 위치에 해당하고 제2 좌표 saturationGainY[i]는 피벗점의 값에 해당한다.

도 9는 색상 보정 조정 변수를 결정하는 프로세스의 일례를 도시한다. 도 9의 프로세스는 통상적으로 도 3의 HDR 제작 환경의 각 ITM 툴(ITM1(202A), ITM2(202B) 및 ITM3(202C))에 의해 적용된다. 도 9의 프로세스는, 예를 들어, 도 11a와 관련하여 후술되는 처리 모듈에 의해 구현된다.

901 단계에서, 처리 모듈은 초기 LUT SqrtL_over_BetaP를 다음의 함수로서 계산한다:

HDR 피크 휘도 값;

도 8의 프로세스에서 위에서 추정된 휘도 매핑 변수.

피벗점의 위치(saturationGainX[i]) 및 값(saturationGainY[i])은 902 및 903 단계에서 재귀적으로 계산된다.

902 단계에서, 처리 모듈은 초기화 프로세스를 적용한다. 재귀 프로세스는 초기화 프로세스에 의해 다시 시작된다. 이 초기화 프로세스에서, 초기 피벗점 세트가 계산된다. 초기 세트에서 피벗점의 수는 "10"에서 L-LUT의 포인트 수까지 다른 값으로 설정될 수 있다. 일례로, 피벗점 수는 "65"로 설정된다. 초기화 프로세스 동안, 각 피벗점에는 초기 LUT SqrtL_over_BetaP와 B-LUT 간의 비율로 정의된 초기 값 saturationGainY가 제공된다.

903 단계에서, 처리 모듈은 903 단계의 끝에서 세트 내의 피벗점의 수 tmOutputFineTuningNumVal을 유지하기 위해 피벗점을 재귀적으로 삭제한다. 비용 함수에 기초한 기준을 적용하여 삭제될 수 있는 피벗점을 결정한다. 예를 들어, 추정된 파라미터(즉, 휘도 매핑 변수 및 색상 보정 조정 변수 둘 모두)에 기초하여 B-LUT와 재구성된 B-LUT 사이의 오류 함수에 해당하는 비용 함수가 사용된다.

일부 경우에, 콘텐츠 제작자는 완벽한 SDR-HDR-SDR 왕복을 보장하고 제작 측에서 HDR 콘텐츠를 재사용할 필요 없이 배포된 SDR 콘텐츠를 따라 메타데이터를 추가하여 HDR 재구성을 허용하는 SDR 콘텐츠를 배포할 수 있다.

이 경우, 도 6a 및 도 6b와 관련하여 설명된 결합 프로세스는 단순화될 수 있고, 도 10a에 설명된 분배 솔루션을 위한 통일된 SDR 왕복 변형예에 의해 대체될 수 있다.

도 10a는 변형 실시예에 따른 프로세스의 일례를 개략적으로 도시한다. 도 10a의 프로세스는 통상적으로 원본 SDR 데이터 제공을 담당하는 모듈에 의해 적용되며, 이 데이터는 HDR을 생성한 다음, 원본 SDR 데이터로부터 다시 SDR을 생성하기 위해 다른 모듈에 의해 조작될 수 있다. 도 10a의 프로세스는, 예를 들어, 도 11a와 관련하여 후술되는 처리 모듈에 의해 구현된다.

도 10a의 프로세스는 도 6a와 관련하여 이미 설명한 501 단계로부터 시작한다.

1000 단계에서, 처리 모듈은 501 단계에서 획득된 SDR 데이터를 직접 출력(즉, 송신 또는 제공)한다.

1001 단계에서, 처리 모듈은 이러한 SDR 데이터로부터 HDR 데이터를 생성하기 위해 SDR 데이터에 적용될 ITM 프로세스를 표현하는 메타데이터를 생성한다. 보다 정확하게는, 1001 단계에서, 처리 모듈은 SDR 데이터(예: ITM 곡선 또는 TM 곡선)로부터 HDR 데이터를 생성하도록 적응된 ITM 프로세스를 표현하는 정보를 계산하고, 이 정보를 메타데이터에 삽입한다.

1002 단계에서, 처리 모듈은 출력된 SDR 데이터와 함께 SDR 데이터로부터 HDR 데이터 생성을 담당하는 모듈에 메타데이터를 제공(즉, 출력 또는 전송)한다.

도 10b는 SL-HDR1의 맥락에서 도 10a의 프로세스 중 1001 단계를 상세히 설명한다. SL-HDR1의 맥락에서, 도 10a 및 도 10b의 프로세스는 예를 들어 도 3의 SDR 소스(201) 뒤에 위치하는 모듈에 의해 적용된다.

10011 단계에서, 처리 모듈은 SDR 입력 데이터를 분석하고, 분석 결과를 이용하여 SDR 데이터로부터 HDR 데이터를 생성하기 위한 가장 적절한 역 톤 매핑 곡선을 계산한다.

10011 단계 다음에는 도 6b와 관련하여 이미 설명된 6011, 6012 및 6013 단계가 이어진다.

603 단계 이후에 1002 단계가 이어진다. SL-HDR1의 맥락에서, 단계(1002) 동안, 추정된 SL-HDR 메타데이터는 SDI 인터페이스의 수직 보조 채널에 삽입되고, 출력된 SDR 데이터와 함께 직접 배포된다.

알 수 있는 바와 같이, 1000 및 1002 단계에서, 처리 모듈은 SL-HDR 메타데이터와 함께 SDR 데이터를 표현하는 스트림을 제공하는데, SL-HDR 메타데이터는 HDR 데이터에 적용될 톤 매핑 프로세스를 특정하지만, 또한 간접적으로 이러한 HDR 데이터를 획득할 수 있게 하는 역 톤 매핑 프로세스를 지정한다.

도 11a는 라이브 제작 시스템(20)에 구성되는 처리 모듈(110), ITM 툴(202A, 202B 및 202C) 또는 TM 툴(204B 및 204A)과 같은 라이브 제작 시스템(20)에 구성된 시스템 또는 모듈, 마스터 중앙 제어 시스템(21) 또는 ITM 툴(211)과 같은 마스터 중앙 제어 시스템(21)의 시스템 또는 모듈, 또는 장치(22A 및 22B)에 포함되는 처리 모듈(110)의 하드웨어 아키텍처의 일례를 개략적으로 도시한다. 통신 버스(1105)에 의해 연결되는, 처리 모듈(110)은 다음을 포함한다: 비제한적인 예로서, 하나 이상의 마이크로프로세서, 범용 컴퓨터, 특수 목적 컴퓨터, 및 멀티코어 아키텍처에 기초한 프로세서를 포괄하는 프로세서 또는 CPU(중앙 처리 장치)(1100); 랜덤 액세스 메모리(RAM)(1101); 판독 전용 메모리(ROM)(1102); 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리(EEPROM), 판독 전용 메모리(ROM), 프로그래밍가능 판독 전용 메모리(PROM), 랜덤 액세스 메모리(RAM), 동적 랜덤 액세스 메모리(DRAM), 정적 랜덤 액세스 메모리(SRAM), 플래시, 자기 디스크 드라이브, 및/또는 광학 디스크 드라이브를 포함하지만 이들로 제한되지 않는 비휘발성 메모리 및/또는 휘발성 메모리, 또는 저장 매체 판독기, 예컨대 SD(secure digital) 카드 판독기 및/또는 하드 디스크 드라이브(HDD) 및/또는 네트워크 액세스가능 저장 장치를 포함할 수 있는 저장 유닛(1103); 다른 모듈, 장치, 시스템 또는 장비와 데이터를 교환하기 위한 적어도 하나의 통신 인터페이스(1104)를 포함한다. 통신 인터페이스(1104)는 통신 네트워크(111)를 통해 데이터를 송신하도록 그리고 수신하도록 구성된 송수신기를 포함할 수 있지만, 이에 제한되지 않는다. 통신 인터페이스(1104)는 모뎀 또는 네트워크 카드를 포함할 수 있지만, 이로 제한되지 않는다.

예를 들어, 통신 인터페이스(1004)는, 예를 들어, 처리 모듈(100)로 하여금 HDR 또는 SDR 데이터를 수신하고, SL-HDR 메타데이터와 함께 HDR 또는 SDR 데이터를 출력할 수 있게 한다.

프로세서(1100)는 ROM(1102)으로부터, 외부 메모리(미도시)로부터, 저장 매체로부터, 또는 통신 네트워크로부터 RAM(1101) 내에 로딩된 명령어를 실행할 수 있다. 처리 모듈(110)에 전력이 공급될 때, 프로세서(1100)는 RAM(1101)으로부터의 명령어를 판독하고 이들을 실행할 수 있다. 이러한 명령어는, 예를 들어, 도 4, 도 5, 도 6a, 도 6b, 도 8, 도 9 및 도 10과 관련하여 설명된 프로세스를 포함하는 ITM 또는 TM 프로세스의 프로세서(1100)에 의한 구현을 유발하는 컴퓨터 프로그램을 형성한다.

상기 프로세스의 알고리즘 및 단계의 전부 또는 일부는 프로그래밍가능 기계, 예컨대 DSP(digital signal processor) 또는 마이크로제어기에 의한 명령어의 세트의 실행에 의해 소프트웨어 형태로 구현될 수 있거나, 또는 기계 또는 전용 구성요소, 예컨대 FPGA(field-programmable gate array) 또는 ASIC(application-specific integrated circuit)에 의해 하드웨어 형태로 구현될 수 있다.

도 11c는 다양한 양태 및 실시예가 구현되는 장치(22A 또는 22B)에 해당하는 시스템 A의 일례의 블록도를 도시한다.

시스템 A는 다양한 구성요소 또는 모듈을 포함하는 장치로서 구현될 수 있으며, 적응된 디스플레이 장치에 표시되도록 적응된 SDR 또는 HDR 콘텐츠를 생성하도록 구성된다. 그러한 시스템의 예는, 다양한 전자 시스템, 예컨대, 개인용 컴퓨터, 랩톱 컴퓨터, 스마트폰, 태블릿, TV, 또는 셋톱 박스를 포함하지만, 이들로 제한되지 않는다. 시스템 A의 구성요소는, 단독으로 또는 조합되어, 단일 집적 회로(IC), 다수의 IC, 및/또는 별개의 구성요소에서 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템 A는 SDR 또는 HDR 콘텐츠의 디코딩을 구현하는 하나의 처리 모듈(110)을 포함한다. 다양한 실시예에서, 시스템 A는, 예를 들어 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트를 통해 하나 이상의 다른 시스템, 또는 다른 전자 장치에 통신가능하게 결합된다.

처리 모듈(110)에 대한 입력은 블록(60)에 나타낸 바와 같은 다양한 입력 모듈을 통해 제공될 수 있다. 그러한 입력 모듈은, (i) 예를 들어 브로드캐스터에 의해 무선으로 송신된 무선 주파수(RF) 신호를 수신하는 RF 모듈, (ii) 구성요소(COMP) 입력 모듈(또는 COMP 입력 모듈의 세트), (iii) 범용 직렬 버스(USB) 입력 모듈, 및/또는 (iv) 고화질 멀티미디어 인터페이스(HDMI) 입력 모듈을 포함하지만, 이들로 제한되지 않는다. 도 11c에 도시되지 않은 다른 예는 복합 비디오를 포함한다.

다양한 실시예에서, 블록(60)의 입력 모듈은 당업계에 알려진 바와 같은 연관된 각각의 입력 처리 요소를 갖는다. 예를 들어, RF 모듈은, (i) 원하는 주파수를 선택하는 것(신호를 선택하는 것, 또는 신호를 주파수의 대역으로 대역-제한하는 것으로도 지칭됨), (ii) 선택된 신호를 하향 변환하는 것, (iii) (예를 들어) 특정 실시예에서 채널로 지칭될 수 있는 신호 주파수 대역을 선택하기 위해 더 좁은 주파수 대역으로 다시 대역-제한하는 것, (iv) 하향 변환되고 대역-제한된 신호를 복조하는 것, (v) 에러 정정을 수행하는 것, 및 (vi) 데이터 패킷의 원하는 스트림을 선택하기 위해 역다중화하는 것에 적합한 요소와 연관될 수 있다. 다양한 실시예의 RF 모듈은 이러한 기능을 수행하기 위한 하나 이상의 요소, 예를 들어, 주파수 선택기, 신호 선택기, 대역-제한기, 채널 선택기, 필터, 하향변환기, 복조기, 에러 정정기, 및 역다중화기를 포함한다. RF 부분은, 예를 들어, 수신된 신호를 더 낮은 주파수(예: 중간 주파수 또는 기저대역 인근 주파수)로 또는 기저대역으로 하향-변환하는 것을 포함하여, 다양한 이들 기능을 수행하는 튜너를 포함할 수 있다. 다양한 실시예는 전술한(및 다른) 요소의 순서를 재배열하고, 이들 요소 중 일부를 제거하고 그리고/또는 유사하거나 상이한 기능을 수행하는 다른 요소를 추가한다. 요소를 추가하는 것은, 예를 들어, 증폭기 및 아날로그-디지털 변환기를 삽입하는 것과 같이, 기존 요소 사이에 요소를 삽입하는 것을 포함할 수 있다. 다양한 실시예에서, RF 모듈은 안테나를 포함한다.

추가적으로, USB 및/또는 HDMI 모듈은 시스템 A를 USB 및/또는 HDMI 접속을 통해 다른 전자 장치에 접속시키기 위한 각자의 인터페이스 프로세서를 포함할 수 있다. 입력 처리, 예를 들어, 리드 솔로몬 에러 정정의 다양한 양태가, 예를 들어, 필요에 따라, 별개의 입력 처리 IC 내에서 또는 처리 모듈(110) 내에서 구현될 수 있다는 것이 이해되어야 한다. 유사하게, USB 또는 HDMI 인터페이스 처리의 양태가, 필요에 따라, 별개의 인터페이스 IC 내에서 또는 처리 모듈(110) 내에서 구현될 수 있다. 복조된, 에러 정정된, 그리고 역다중화된 스트림이 처리 모듈(110)에 제공된다.

시스템 A의 다양한 요소가 통합된 하우징 내에 제공될 수 있다. 통합된 하우징 내에서, 다양한 요소는 적합한 접속 배열, 예를 들어, I2C(Inter-IC) 버스, 배선, 및 인쇄 회로 보드를 포함하는, 당업계에 알려진 바와 같은 내부 버스를 사용하여 상호접속되고, 그들 사이에서 데이터를 송신할 수 있다. 예를 들어, 시스템 A에서, 처리 모듈(110)은 버스(1105)에 의해 상기 시스템 A의 다른 요소에 상호접속된다.

처리 모듈(110)의 통신 인터페이스(1104)는 시스템 A가 통신 네트워크(111) 상에서 통신할 수 있게 한다. 통신 네트워크(111)는, 예를 들어, 유선 및/또는 무선 매체 내에서 구현될 수 있다.

데이터는, 다양한 실시예에서, Wi-Fi 네트워크, 예를 들어 IEEE 802.11(IEEE는 전기 전자 기술자 협회(Institute of Electrical and Electronics Engineers)를 지칭함)과 같은 무선 네트워크를 사용하여, 시스템 A에 스트리밍되거나 또는 달리 제공된다. 이들 실시예의 Wi-Fi 신호는 Wi-Fi 통신에 대해 적응된 통신 네트워크(111) 및 통신 인터페이스(1104)를 통해 수신된다. 이들 실시예의 통신 네트워크(111)는 전형적으로, 스트리밍 응용 및 다른 오버-더-탑 통신을 허용하기 위한 인터넷을 포함하는 외부 네트워크에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 접속된다. 또 다른 실시예는 입력 블록(60)의 RF 접속을 사용하여 스트리밍된 데이터를 시스템 A에 제공한다. 전술한 바와 같이, 다양한 실시예는, 예를 들어 시스템 A가 스마트폰 또는 태블릿일 때, 비-스트리밍 방식으로 데이터를 제공한다. 또한, 다양한 실시예는 Wi-Fi 이외의 무선 네트워크, 예를 들어 셀룰러 네트워크 또는 블루투스 네트워크를 사용한다.

시스템 A는 통신 네트워크(111) 또는 버스(1105)를 사용하여 다양한 출력 장치에 출력 신호를 제공할 수 있다. 예를 들어, 시스템 A는 디코딩된 SDR 또는 HDR 신호를 제공할 수 있다.

시스템 A는 디스플레이(64)(예: 시스템 A가 디스플레이 장치에 디코딩된 SDR 또는 HDR 신호를 제공하는 셋톱 박스인 경우), 스피커(65) 및 다른 주변 장치(66)를 포함하는 다양한 출력 장치에 출력 신호를 제공할 수 있다. 다양한 실시예의 디스플레이(64)는 예를 들어, 터치스크린 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 곡면(curved) 디스플레이 및/또는 접을 수 있는 디스플레이 중 하나 이상을 포함한다. 디스플레이(64)는 텔레비전, 태블릿, 랩톱, 휴대폰(모바일폰), 또는 다른 장치를 위한 것일 수 있다. 또한, 디스플레이(64)는 다른 구성요소와 통합될 수 있고(예: 스마트폰에서와 같이), 또는 분리될 수도 있다(예: 랩톱용 외부 모니터). 디스플레이 장치(64)는 SDR 또는 HDR 콘텐츠 호환가능이다. 실시예의 다양한 예에서, 다른 주변 장치(66)는 독립형 디지털 비디오 디스크(또는 디지털 다기능 디스크)(두 용어 모두 DVR), 디스크 플레이어, 스테레오 시스템 및/또는 조명 시스템 중 하나 이상을 포함한다. 다양한 실시예는 시스템 A의 출력에 기초하여 기능을 제공하는 하나 이상의 주변 장치(66)을 사용한다. 예를 들어, 디스크 플레이어는 시스템 A의 출력을 재생하는 기능을 수행한다.

다양한 실시예에서, 제어 신호는, AV.Link, 소비자 전자제품 제어(CEC)와 같은 시그널링, 또는 사용자 개입이 있거나 또는 개입 없이 장치 대 장치 제어를 가능하게 하는 다른 통신 프로토콜을 사용하여 시스템 B와 디스플레이(64), 스피커(65), 또는 다른 주변 장치(66) 사이에서 통신된다. 출력 장치는 각자의 인터페이스(61, 62, 63)를 통한 전용 접속을 통해 시스템 B에 통신가능하게 결합될 수 있다. 대안적으로, 출력 장치는 통신 인터페이스(1104)를 통해 통신 네트워크(111)를 사용하여 시스템 B에 접속될 수 있다. 디스플레이(64) 및 스피커(65)는, 예를 들어, 텔레비전과 같은 전자 장치에서 시스템(1000)의 다른 구성요소와 단일 유닛으로 통합될 수 있다. 다양한 실시예에서, 디스플레이 인터페이스(61)는 타이밍 제어기(T Con) 칩과 같은 디스플레이 드라이버를 포함한다.

디스플레이(64) 및 스피커(65)는 대안적으로, 예를 들어, 입력(60)의 RF 모듈이 별개의 셋톱 박스의 일부인 경우, 다른 구성요소 중 하나 이상과 별개일 수 있다. 디스플레이(64) 및 스피커(65)이 외부 구성요소인 다양한 실시예에서, 출력 신호는, 예를 들어, HDMI 포트, USB 포트, 또는 COMP 출력을 포함한 전용 출력 접속을 통해 제공될 수 있다.

도 11b는 다양한 양태 및 실시예가 구현되는 라이브 제작 시스템(20), 라이브 제작 시스템(20) 또는 마스터 중앙 제어 시스템(21)의 모듈 또는 장치, 또는 라이브 제어 시스템(21)의 모듈 또는 장치를 구현하도록 적응된 시스템 B의 일례의 블록도를 도시한다.

시스템 B는 전술된 다양한 구성요소 및 모듈을 포함하는 장치로서 구현될 수 있고, 본 문서에 기술된 양태 및 실시예 중 하나 이상을 수행하도록 구성된다.

그러한 장치의 예는, 다양한 전자 장치, 예컨대 개인용 컴퓨터, 랩톱 컴퓨터, 카메라, 스마트폰 및 서버를 포함하지만, 이들로 제한되지 않는다. 시스템 B의 요소 또는 모듈은, 단독으로 또는 조합되어, 단일 집적 회로(IC), 다수의 IC, 및/또는 별개의 구성요소에서 구현될 수 있다. 예를 들어, 적어도 하나의 실시예에서, 시스템 B는 ITM 툴(202A, 202B, 202C, 211) 또는 TM 툴(204A, 204B) 중 어느 하나를 구현하는 하나의 처리 모듈(110)을 포함한다. 다양한 실시예에서, 시스템 B는, 예를 들어 통신 버스를 통해 또는 전용 입력 및/또는 출력 포트를 통해 하나 이상의 다른 시스템, 또는 다른 전자 장치에 통신가능하게 결합된다.

처리 모듈(110)에 대한 입력은 도 11c와 관련하여 이미 설명된 블록(60)에 나타낸 바와 같은 다양한 입력 모듈을 통해 제공될 수 있다.

시스템 B의 다양한 요소가 통합된 하우징 내에 제공될 수 있다. 통합된 하우징 내에서, 다양한 요소는 적합한 접속 배열, 예를 들어, I2C(Inter-IC) 버스, 배선, 및 인쇄 회로 보드를 포함하는, 당업계에 알려진 바와 같은 내부 버스를 사용하여 상호접속되고, 그들 사이에서 데이터를 송신할 수 있다. 예를 들어, 시스템 B에서, 처리 모듈(110)은 버스(1105)에 의해 상기 시스템 B의 다른 요소에 상호접속된다.

처리 모듈(110)의 통신 인터페이스(1104)는 시스템 B가 통신 네트워크(111) 상에서 통신할 수 있게 한다. 통신 네트워크(111)는, 예를 들어, 유선 및/또는 무선 매체 내에서 구현될 수 있다.

데이터는, 다양한 실시예에서, Wi-Fi 네트워크, 예를 들어 IEEE 802.11(IEEE는 전기 전자 기술자 협회를 지칭함)과 같은 무선 네트워크를 사용하여, 시스템 B에 스트리밍되거나 또는 다른 방식으로 제공된다. 이들 실시예의 Wi-Fi 신호는 Wi-Fi 통신에 대해 적응된 통신 네트워크(2) 및 통신 인터페이스(1104)를 통해 수신된다. 이들 실시예의 통신 네트워크(111)는 전형적으로, 스트리밍 응용 및 다른 오버-더-탑 통신을 허용하기 위한 인터넷을 포함하는 외부 네트워크에 대한 액세스를 제공하는 액세스 포인트 또는 라우터에 접속된다. 또 다른 실시예는 입력 블록(60)의 RF 접속을 사용하여 스트리밍된 데이터를 시스템 B에 제공한다. 전술한 바와 같이, 다양한 실시예는 비-스트리밍 방식으로 데이터를 제공한다.

도면이 흐름도로서 제시될 때, 그것은 또한 대응하는 장치의 블록도를 제공한다는 것을 이해해야 한다. 유사하게, 도면이 블록도로서 제시될 때, 그것은 또한 대응하는 방법/프로세스의 흐름도를 제공한다는 것을 이해해야 한다.

본 명세서에 기술된 구현예 및 양태는, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호에서 구현될 수 있다. 구현예의 단일 형태의 맥락에서 논의된다 하더라도(예: 방법으로서만 논의됨), 논의된 특징의 구현예는 다른 형태(예: 장치 또는 프로그램)에서 구현될 수 있다. 장치는, 예를 들어, 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 방법은, 예를 들어, 프로세서에서 구현될 수 있으며, 이는, 예컨대 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍가능 로직 장치를 포함하는, 일반적으로 처리 장치를 지칭한다. 프로세서들은 또한, 예를 들어, 컴퓨터, 셀폰, 휴대용/개인 디지털 어시스턴트("PDA"), 스마트폰, 태블릿, 및 최종 사용자 사이의 정보의 통신을 용이하게 하는 다른 장치와 같은 통신 장치를 포함한다.

"하나의 실시예" 또는 "일 실시예" 또는 "하나의 구현예" 또는 "일 구현예"뿐만 아니라 그의 다른 변형에 대한 언급은, 실시예와 관련하여 기술된 특정 특징, 구조, 특성 등이 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 본 출원 전반에 걸친 다양한 곳에서 나타나는 어구 "하나의 실시예에서" 또는 "일 실시예에서" 또는 "하나의 구현예에서" 또는 "일 구현예에서"뿐만 아니라 임의의 다른 변형의 출현이 반드시 모두 동일한 실시예를 언급하는 것은 아니다.

또한, 본 출원은 여러 가지의 정보를 "결정하는 것"을 언급할 수 있다. 정보를 결정하는 것은, 예를 들어 정보를 추정하는 것, 정보를 계산하는 것, 정보를 예측하는 것, 메모리로부터 정보를 검색하는 것, 또는 예를 들어 다른 장치, 모듈, 또는 사용자로부터 정보를 얻는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원은 여러 가지의 정보에 "액세스하는 것"을 언급할 수 있다. 정보에 액세스하는 것은, 예를 들어 정보를 수신하는 것, (예: 메모리로부터) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 이동하는 것, 정보를 복사하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원은 여러 가지의 정보를 "수신하는 것"을 지칭할 수 있다. 수신하는 것은 "액세스하는 것"과 마찬가지로 광의의 용어인 것으로 의도된다. 정보를 수신하는 것은, 예를 들어, 정보에 액세스하는 것, 또는 (예: 메모리로부터) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신하는 것"은 전형적으로, 예를 들어 정보를 저장하는 동작, 정보를 처리하는 동작, 정보를 전송하는 동작, 정보를 이동하는 동작, 정보를 복사하는 동작, 정보를 소거하는 동작, 정보를 계산하는 동작, 정보를 결정하는 동작, 정보를 예측하는 동작, 또는 정보를 추정하는 동작 동안 어떤 방식으로든 포함된다.

예를 들어 "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나", "A 및 B 중 하나 이상"의 경우에 있어서, 다음의 "/", "및/또는", 및 "중 적어도 하나", "중 하나 이상" 중 임의의 것의 사용은, 첫 번째 열거된 옵션(A) 단독의 선택, 또는 두 번째 열거된 옵션(B) 단독의 선택, 또는 옵션(A, B) 둘 모두의 선택을 포괄하도록 의도된다는 것이 이해될 것이다. 추가의 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나", "A, B 및 C 중 하나 이상"의 경우에서, 그러한 어구는 첫 번째 열거된 옵션(A) 단독의 선택, 또는 두 번째 열거된 옵션(B) 단독의 선택, 또는 세 번째 열거된 옵션(C) 단독의 선택, 또는 첫 번째 및 두 번째 열거된 옵션(A 및 B) 단독의 선택, 또는 첫 번째 및 세 번째 열거된 옵션(A 및 C) 단독의 선택, 또는 두 번째 및 세 번째 열거된 옵션(B 및 C) 단독의 선택, 또는 3개의 모든 옵션(A, B 및 C)의 선택을 포괄하도록 의도된다. 이는, 본 명세서에 기술된 바와 같은 많은 항목에 대해, 본 명세서 및 관련 분야의 당업자에게 명백한 바와 같이 확장될 수 있다.

당업자에게 명백한 바와 같이, 구현예 또는 실시예는, 예를 들어 저장되거나 송신될 수 있는 정보를 전달하도록 포맷화된 다양한 신호을 제작할 수 있다. 예를 들어, 정보는 방법을 수행하기 위한 명령어, 또는 기술된 구현예 또는 실시예 중 하나에 의해 제작된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 HDR 또는 SDR 이미지 또는 비디오 시퀀스 및 SL-HDR 메타데이터를 전달하도록 포맷화될 수 있다. 이러한 신호는, 예를 들어, 전자기파로서(예: 스펙트럼의 무선 주파수 부분을 사용함) 또는 기저대역 신호로서 포맷화될 수 있다. 포맷화는, 예를 들어, 인코딩된 스트림에서 SL-HDR 메타데이터를 갖는 HDR 또는 SDR 이미지 또는 비디오 시퀀스를 인코딩하고 인코딩된 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는, 알려진 바와 같이, 다양한 상이한 유선 또는 무선 링크를 통해 전송될 수 있다. 신호는 프로세서 판독 가능 매체 상에 저장될 수 있다.

다수의 실시예가 전술되었다. 이들 실시예의 특징은 단독으로 또는 임의의 조합으로 제공될 수 있다. 또한, 실시예는 다양한 청구항 카테고리 및 유형에 걸쳐 단독으로 또는 임의의 조합으로 하기의 특징, 장치, 또는 양태 중 하나 이상을 포함할 수 있다:

기술된 SDR 또는 HDR 데이터 및/또는 SL-HDR 메타데이터, 또는 이들의 변형 중 하나 이상을 포함하는 비트스트림 또는 신호.

기술된 SDR 또는 HDR 데이터 및/또는 SL-HDR 메타데이터, 또는 이들의 변형 중 하나 이상을 포함하는 비트스트림 또는 신호를 생성하고/하거나 송신하고/하거나 수신하고/하거나 디코딩하는 것.

기술된 실시예 중 적어도 하나를 수행하는 서버, 카메라, TV, 셋톱 박스, 휴대폰, 태블릿, 개인용 컴퓨터, 또는 다른 전자 장치.

기술된 실시예 중 적어도 하나를 수행하고 생성된 이미지를 (예: 모니터, 스크린, 또는 다른 유형의 디스플레이를 사용하여) 표시하는 TV, 셋톱 박스, 휴대폰, 태블릿, 개인용 컴퓨터, 또는 다른 전자 장치.

인코딩된 SDR 또는 HDR 데이터 및/또는 SL-HDR 메타데이터를 포함하는 신호를 수신할 채널을 (예: 동조기를 사용하여) 동조시키고, 기술된 실시예 중 적어도 하나를 수행하는 TV, 셋톱 박스, 휴대폰, 태블릿, 개인용 컴퓨터, 또는 다른 전자 장치.

SDR 또는 HDR 데이터 및/또는 SL-HDR 메타데이터를 포함하는 신호를 무선으로 (예: 안테나를 사용하여) 수신하고, 기술된 실시예 중 적어도 하나를 수행하는 TV, 셋톱 박스, 휴대폰, 태블릿, 또는 다른 전자 장치.

SDR 또는 HDR 데이터 및/또는 SL-HDR 메타데이터를 포함하는 신호를 송신할 채널을 (예: 동조기를 사용하여) 동조시키고, 기술된 실시예 중 적어도 하나를 수행하는 서버, 카메라, 휴대폰, 태블릿, 개인용 컴퓨터, 또는 다른 전자 장치.

SDR 또는 HDR 데이터 및/또는 SL-HDR 메타데이터를 포함하는 신호를 공중무선통신으로 (예: 안테나를 사용하여) 송신하고, 기술된 실시예 중 적어도 하나를 수행하는 서버, 카메라, 휴대폰, 태블릿, 개인용 컴퓨터, 또는 다른 전자 장치.

Claims

방법으로서,
표준 동적 범위 데이터를 획득하는(501) 단계;
상기 표준 동적 범위 데이터로부터 높은 동적 범위 데이터를 생성하도록 적응된 역 톤 매핑 프로세스를 표현하는 정보를 획득하고(601, 1001), 상기 정보를 메타데이터에 삽입하는 단계;
상기 메타데이터(602, 1002)와 함께 상기 표준 동적 범위 데이터(600, 1000)를 표현하는 비디오 데이터를 제공하는 단계를 포함하는, 방법.
제1항에 있어서, 상기 표준 동적 범위 데이터를 표현하는 상기 비디오 데이터는 상기 표준 동적 범위 데이터 또는 상기 역 톤 매핑 프로세스를 적용함으로써 상기 표준 동적 범위 데이터로부터 얻어진 높은 동적 범위 데이터를 포함하는, 방법.
제1항 또는 제2항에 있어서, 상기 정보는 역 톤 매핑 곡선 또는 톤 매핑 곡선을 표현하는, 방법.
제3항에 있어서, 상기 정보가 톤 매핑 곡선을 표현하는 경우, 상기 역 톤 매핑 프로세스를 정의하는데 사용되는 역 톤 매핑 곡선의 역을 계산하는 단계를 포함하는, 방법.
제4항에 있어서, 상기 방법은 상기 역 톤 매핑 곡선의 역으로부터 제1 순람표 및 제2 순람표를 계산(6012)하되, 상기 제1 순람표는 높은 동적 범위 데이터의 휘도 성분을 톤 매핑하도록 적응되고, 상기 제2 순람표는 상기 높은 동적 범위 데이터의 색상 성분을 보정하도록 적응되는 단계, 및 상기 제1 및 제2 순람표로부터 톤 매핑 함수를 표현하는 제1 변수 및 색상 보정 함수를 표현하는 제2 변수를 추정하되, 상기 제1 및 상기 제2 변수는 상기 메타데이터에 삽입된 상기 역 톤 매핑 프로세스를 표현하는 정보인 단계를 포함하는, 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 방법은 상기 표준 동적 범위 데이터의 각 사진 또는 상기 표준 동적 범위 데이터의 사진 그룹에 대해 적용되는, 방법.
방법으로서,
표준 동적 범위 데이터를 표현하는 비디오 데이터를 획득하는(401) 단계;
상기 표준 동적 범위 데이터로부터 높은 동적 범위 데이터를 생성하도록 적응된 역 톤 매핑 프로세스를 표현하는 제1 정보를 포함하는 메타데이터가 상기 비디오 데이터와 함께 획득되었는지 여부를 결정하는(610) 단계; 및
상기 메타데이터 획득에 응답하는 상기 제1 정보에 기초하여 상기 비디오 데이터로부터 획득된 높은 동적 범위 데이터에 제1 톤 매핑 프로세스를 적용하는 단계;
그렇지 않으면, 상기 표준 동적 범위 데이터를 표현하는 상기 비디오 데이터로부터 제2 톤 매핑 프로세스를 표현하는 제2 정보를 계산하고, 상기 정보에 기초하여 상기 비디오 데이터로부터 획득된 높은 동적 범위 데이터에 상기 제2 톤 매핑 프로세스를 적용하는 단계를 포함하는, 방법.
제7항에 있어서, 상기 비디오 데이터는 상기 표준 동적 범위 데이터 또는 상기 역 톤 매핑 프로세스를 적용함으로써 상기 표준 동적 범위 데이터로부터 획득된 높은 동적 범위 데이터를 포함하는, 방법.
제7항 또는 제8항에 있어서, 상기 정보는 역 톤 매핑 곡선 또는 톤 매핑 곡선을 표현하는, 방법.
제9항에 있어서, 상기 정보가 역 톤 매핑 곡선을 표현하는 경우, 상기 역 톤 매핑 곡선을 반전시키는 단계를 포함하는, 방법.
제7항 내지 제10항 중 어느 한 항에 있어서, 상기 방법은 상기 표준 동적 범위 데이터의 각 사진 또는 상기 표준 동적 범위 데이터의 사진 그룹에 대해 적용되는, 방법.
전자 회로를 포함하는 장치로서, 상기 전자 회로는:
표준 동적 범위 데이터를 획득하는(501) 단계;
상기 표준 동적 범위 데이터로부터 높은 동적 범위 데이터를 생성하도록 적응된 역 톤 매핑 프로세스를 표현하는 정보를 획득하고(601, 1001), 상기 정보를 메타데이터에 삽입하는 단계;
상기 메타데이터(602, 1002)와 함께 상기 표준 동적 범위 데이터(600, 1000)를 표현하는 비디오 데이터를 제공하는 단계를 위해 구성되는, 장치.
제12항에 있어서, 상기 표준 동적 범위 데이터를 표현하는 상기 비디오 데이터는 상기 표준 동적 범위 데이터 또는 상기 역 톤 매핑 프로세스를 적용함으로써 상기 표준 동적 범위 데이터로부터 얻어진 높은 동적 범위 데이터를 포함하는, 장치.
제12항 또는 제13항에 있어서, 상기 정보는 역 톤 매핑 곡선 또는 톤 매핑 곡선을 표현하는, 장치.
제14항에 있어서, 상기 정보가 톤 매핑 곡선을 표현하는 경우, 상기 전자 회로는 상기 역 톤 매핑 프로세스를 정의하는데 사용되는 역 톤 매핑 곡선의 역을 계산하는 단계를 위해 추가로 구성되는, 장치.
제15항에 있어서, 상기 전자 회로는 상기 역 톤 매핑 곡선의 역으로부터 제1 순람표 및 제2 순람표를 계산(6012)하되, 상기 제1 순람표는 높은 동적 범위 데이터의 휘도 성분을 톤 매핑하도록 적응되고, 상기 제2 순람표는 상기 높은 동적 범위 데이터의 색상 성분을 보정하도록 적응되는 단계, 및 상기 제1 및 제2 순람표로부터 톤 매핑 함수를 표현하는 제1 변수 및 색상 보정 함수를 표현하는 제2 변수를 추정(6013)하되, 상기 제1 및 상기 제2 변수는 상기 메타데이터에 삽입된 상기 역 톤 매핑 프로세스를 표현하는 정보인 단계를 위해 추가로 구성되는, 장치.
제12항 내지 제16항 중 어느 한 항에 있어서, 상기 전자 회로는:
표준 동적 범위 데이터를 획득하는(501) 단계;
상기 표준 동적 범위 데이터로부터 높은 동적 범위 데이터를 생성하도록 적응된 역 톤 매핑 프로세스를 표현하는 정보를 획득하고(601, 1001), 상기 정보를 메타데이터에 삽입하는 단계; 및
상기 메타데이터(602, 1002)와 함께 상기 표준 동적 범위 데이터(600, 1000)를 표현하는 비디오 데이터를 제공하는 단계를 위해 구성되되;
상기 표준 동적 범위 데이터의 각 사진 또는 상기 표준 동적 범위 데이터의 사진 그룹에 대해서인, 장치.
전자 회로를 포함하는 장치로서, 상기 전자 회로는:
상기 표준 동적 범위 데이터를 표현하는 비디오 데이터를 획득하는(401) 단계;
상기 표준 동적 범위 데이터로부터 높은 동적 범위 데이터를 생성하도록 적응된 역 톤 매핑 프로세스를 표현하는 제1 정보를 포함하는 메타데이터가 상기 비디오 데이터와 함께 획득되었는지 여부를 결정하는(610) 단계; 및
상기 메타데이터의 수신에 응답하는 상기 제1 정보에 기초하여 상기 비디오 데이터로부터 획득된 높은 동적 범위 데이터에 제1 톤 매핑 프로세스를 적용하는 단계;
그렇지 않으면, 상기 표준 동적 범위 데이터를 표현하는 상기 비디오 데이터로부터 제2 톤 매핑 프로세스를 표현하는 제2 정보를 계산하고, 상기 정보에 기초하여 상기 비디오 데이터로부터 획득된 높은 동적 범위 데이터에 상기 제2 톤 매핑 프로세스를 적용하는 단계를 위해 구성되는, 장치.
제18항에 있어서, 상기 비디오 데이터는 상기 표준 동적 범위 데이터 또는 상기 역 톤 매핑 프로세스를 적용함으로써 상기 표준 동적 범위 데이터로부터 획득된 높은 동적 범위 데이터를 포함하는, 장치.
제18항 또는 제19항에 있어서, 상기 정보는 역 톤 매핑 곡선 또는 톤 매핑 곡선을 표현하는, 장치.
제20항에 있어서, 상기 정보가 역 톤 매핑 곡선을 표현하는 경우, 상기 전자 회로는 상기 역 톤 매핑 곡선을 반전시키는 단계를 위해 추가로 구성되는, 장치.
제18항 내지 제21항 중 어느 한 항에 있어서, 상기 전자 회로는:
상기 표준 동적 범위 데이터를 표현하는 비디오 데이터를 획득하는(401) 단계;
상기 표준 동적 범위 데이터로부터 높은 동적 범위 데이터를 생성하도록 적응된 역 톤 매핑 프로세스를 표현하는 제1 정보를 포함하는 메타데이터가 상기 비디오 데이터와 함께 획득되었는지 여부를 결정하는(610) 단계; 및
상기 메타데이터의 수신에 응답하는 상기 제1 정보에 기초하여 상기 비디오 데이터로부터 획득된 높은 동적 범위 데이터에 제1 톤 매핑 프로세스를 적용하는 단계; 및
그렇지 않으면, 상기 표준 동적 범위 데이터를 표현하는 상기 비디오 데이터로부터 제2 톤 매핑 프로세스를 표현하는 제2 정보를 계산하고, 상기 정보에 기초하여 상기 비디오 데이터로부터 획득된 높은 동적 범위 데이터에 상기 제2 톤 매핑 프로세스를 적용하는 단계를 위해 구성되되; 상기 표준 동적 범위 데이터의 각 사진 또는 상기 표준 동적 범위 데이터의 사진 그룹에 대해서인, 장치.
제1항 내지 제6항 중 어느 한 항의 방법을 사용하거나, 제12항 내지 제17항 중 어느 한 항의 장치를 사용하여 생성되는 신호.
제1항 내지 제11항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램 코드 명령어를 포함하는 컴퓨터 프로그램.
제1항 내지 제11항 중 어느 한 항에 따른 방법을 구현하기 위한 프로그램 코드 명령어를 저장하는 비일시적 정보 저장 매체.