KR102618928B1 - 송신 디바이스, 송신 방법, 수신 디바이스, 및 수신 방법 - Google Patents

송신 디바이스, 송신 방법, 수신 디바이스, 및 수신 방법 Download PDF

Info

Publication number
KR102618928B1
KR102618928B1 KR1020187010066A KR20187010066A KR102618928B1 KR 102618928 B1 KR102618928 B1 KR 102618928B1 KR 1020187010066 A KR1020187010066 A KR 1020187010066A KR 20187010066 A KR20187010066 A KR 20187010066A KR 102618928 B1 KR102618928 B1 KR 102618928B1
Authority
KR
South Korea
Prior art keywords
data
component
stream
information
video data
Prior art date
Application number
KR1020187010066A
Other languages
English (en)
Other versions
KR20180069805A (ko
Inventor
이쿠오 츠카고시
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20180069805A publication Critical patent/KR20180069805A/ko
Application granted granted Critical
Publication of KR102618928B1 publication Critical patent/KR102618928B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

복수 종류의 전송 비디오 데이터 간에 전환하여 획득된 전송 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터의 피스들을 갖는 미리 결정된 수의 제2 컴포넌트 스트림들을 포함하는 미리 결정된 포맷의 컨테이너를 송신하는 송신 유닛; 및 컴포넌트 스트림들 각각이 갖는 컴포넌트 데이터의 동적 범위 정보를 컴포넌트 스트림들에 삽입하는 정보 삽입 유닛을 포함하는 송신 디바이스가 제공된다.

Description

송신 디바이스, 송신 방법, 수신 디바이스, 및 수신 방법
본원은 2015년 10월 22일자 출원된 일본 우선권 특허 출원 제2015-208445호를 우선권 주장하고, 이 출원의 전체 내용들은 본원에 참조로 포함된다.
본 기술은 송신 디바이스, 송신 방법, 수신 디바이스, 및 수신 방법에 관한 것으로, 특히 비디오 스트림들뿐만 아니라 그래픽 데이터, 자막 데이터 등을 갖는 다른 스트림들을 송신하는 송신 디바이스 등에 관한 것이다.
표준 동적 범위 전송 비디오 데이터와 높은 동적 범위 전송 비디오 데이터가 혼합되어 송신되는 경우들이 있다. 이후, 적절히 표준 동적 범위를 "SDR"로 표기 하고, 높은 동적 범위를 "HDR"로 표기한다. 이 경우에, SDR 전송 비디오 데이터는 SDR 비디오 데이터에 SDR 광전 변환을 적용하여 획득된 데이터이고, HDR 전송 비디오 데이터는 HDR 비디오 데이터에 HDR 광전 변환을 적용하여 획득된 데이터이다. 비특허 문헌 1은 예를 들면, 기존의 수신 디바이스의 수신을 고려한 기존의 광전 변환 특성(감마 특성)과 호환되는 영역을 포함하는 HDR 광전 변환 특성(새로운 감마 특성)을 설명하고 있다.
SDR 전송 비디오 데이터와 HDR 전송 비디오 데이터의 전환은 예를 들어, 프로그램 전환 또는 광고 삽입의 타이밍들에서 발생할 가능성이 있다. 이러한 전환이 발생할 때, 수신 측이 전광 변환 특성들(electro-optical transfer characteristics)을 전환할 필요가 있지만; 전환으로부터 이미지 왜곡이 발생하거나, 이미지 왜곡을 숨기기 위해 디스플레이 뮤팅이 수행된다.
이미지 왜곡이 현저하게 지각될 수 있는 예로서, 방송 서비스들 중 하나로서 제공되는, 이른바 "d(데이터 방송) 버튼"의 조작을 통한 그래픽 디스플레이가 있다. 이 경우에, 프로그램 또는 광고 위에 그래픽이 중첩되어도, 비디오 데이터에 기초하여 작은 창에 디스플레이되는 이미지가 SDR로부터 HDR로 또는 HDR로부터 SDR로 전환될 때, 그래픽 디스플레이의 색 또는 밝기의 변화가 일어난다.
NPL 1: Tim Borer "Non-Linear Opto-Electrical Transfer Functions for High Dynamic Range Television ", Research & Development White Paper WHP 283, July 2014
본 기술에 의해 상이한 동적 범위들을 갖는 복수의 혼합된 종류의 전송 비디오 데이터가 송신될 때 수신 측 상에서 이미지 왜곡이 발생하는 것을 만족할만하게 방지하는 것이 바람직하다.
본 기술의 개념은 복수 종류의 전송 비디오 데이터 간에 전환하여 획득된 전송 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 갖는 미리 결정된 수의 제2 컴포넌트 스트림들을 포함하는 미리 결정된 포맷의 컨테이너를 송신하는 송신 유닛; 및
각각의 컴포넌트 스트림들이 갖는 컴포넌트 데이터의 동적 범위 정보를 컴포넌트 스트림들에 삽입하는 정보 삽입 유닛을 포함하는 송신 디바이스이다.
본 기술의 실시예에서, 송신 유닛에 의해, 복수 종류의 전송 비디오 데이터 간에 전환하여 획득된 전송 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 갖는 미리 결정된 수의 제2 컴포넌트 스트림들을 포함하는 미리 결정된 포맷의 컨테이너가 송신된다. 예를 들어, 미리 결정된 수의 제2 컴포넌트 스트림들은 데이터 방송 스트림 및/또는 자막 스트림을 포함할 수 있다. 정보 삽입 유닛에 의해, 각각의 컴포넌트 스트림들이 갖는 컴포넌트 데이터의 동적 범위 정보가 컴포넌트 스트림들에 삽입된다.
위에 설명된 본 기술의 실시예에서, 각각의 컴포넌트 스트림들이 갖는 컴포넌트 데이터의 동적 범위 정보가 컴포넌트 스트림들에 삽입된다. 그러므로, 수신 측은 컴포넌트 데이터에 대해 그것의 동적 범위 정보에 기초하여 디스플레이 성능에 맞게 휘도 매핑 프로세스를 수행하고 데이터의 합성을 수행함으로써 출력 데이터를 획득할 수 있다.
이 경우에, 출력 데이터에 대해 수행된 전광 변환의 특성이 고정될 수 있기 때문에, 전광 변환 특성을 전환함으로써 야기되는 이미지 왜곡이 발생하는 것이 방지될 수 있다. 예를 들어, 비디오 데이터에 기초한 이미지과 함께 그래픽이 디스플레이될 때, 비디오 데이터에 기초한 이미지가 SDR로부터 HDR로 또는 HDR로부터 SDR로 전환되어도, 그래픽 디스플레이의 색 또는 밝기의 변화가 일어나지 않는다. 또한, 이 경우에, 컴포넌트 데이터에 대해 디스플레이 성능에 맞게 휘도 매핑 프로세스가 수행되기 때문에, 컴포넌트 데이터에 기초한 디스플레이가 항상 적절한 휘도 상태로 수행될 수 있다.
본 기술의 실시예에서, 예를 들면, 정보 삽입 유닛은 각각의 컴포넌트 스트림들이 갖는 컴포넌트 데이터의 색역 정보를 컴포넌트 스트림들에 더 삽입할 수 있다는 점에 주목한다. 이 경우에, 수신 측은 컴포넌트 데이터에 대해 그것의 색역 정보에 기초하여 디스플레이 성능에 맞게 색역 변환을 수행하고 데이터에 대해 합성을 수행함으로써 출력 데이터를 획득할 수 있고, 컴포넌트 데이터에 기초한 디스플레이를 항상 적절한 색상 상태로 수행할 수 있다.
본 기술의 실시예에서, 예를 들면, 컨테이너에 포함된 제1 컴포넌트 스트림이 갖는 전송 비디오 데이터의 종류를 나타내는 식별 정보를, 그 식별 정보가 전환 타이밍보다 미리 결정된 시간 양 이상만큼 빠른 타이밍으로부터의 전환 후에 전송 비디오 데이터의 종류를 나타내도록, 컨테이너의 계층에 삽입하는 다른 정보 삽입 유닛이 추가로 포함될 수 있다. 이 경우에, 수신 측은 전송 비디오 데이터의 종류가 전환되었다는 사실과 추가로 전환 타이밍보다 미리 결정된 시간 양 이상만큼 빠른 타이밍으로부터의 전환 후에 전송 비디오 데이터의 종류를 인식할 수 있다.
본 기술의 다른 개념은 복수 종류의 전송 비디오 데이터 간에 전환하여 획득된 전송 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 갖는 미리 결정된 수의 제2 컴포넌트 스트림들을 포함하는 미리 결정된 포맷의 컨테이너를 수신하는 수신 유닛; 및
각각의 컴포넌트 스트림들을 디코딩하여, 복수의 컴포넌트 데이터를 획득한 다음에, 획득된 복수의 컴포넌트 데이터의 합성을 수행함으로써 출력 데이터를 획득하는 처리 유닛을 포함하고,
각각의 컴포넌트 스트림들이 갖는 컴포넌트 데이터의 동적 범위 정보가 컴포넌트 스트림들에 삽입되고;
처리 유닛은 각각의 컴포넌트 데이터에 대해 각각의 컴포넌트 데이터의 동적 범위 정보에 기초하여 디스플레이 성능에 맞게 휘도 매핑 프로세스를 수행하고, 다음에 컴포넌트 데이터의 합성을 수행함으로써 출력 데이터를 획득하는 수신 디바이스이다.
본 기술의 실시예에서, 수신 유닛에 의해, 복수 종류의 전송 비디오 데이터 간에 전환하여 획득된 전송 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 갖는 미리 결정된 수의 제2 컴포넌트 스트림들을 포함하는 미리 결정된 포맷의 컨테이너가 수신된다. 각각의 컴포넌트 스트림들이 갖는 컴포넌트 데이터의 동적 범위 정보가 컴포넌트 스트림들에 삽입된다.
처리 유닛은 각각의 컴포넌트 스트림들을 디코딩하여 복수의 컴포넌트 데이터를 획득하고, 복수의 컴포넌트 데이터에 대해 합성을 수행하여 출력 데이터를 획득한다. 처리 유닛은 각각의 컴포넌트 데이터에 대해 그것의 동적 범위 정보에 기초하여 디스플레이 성능에 맞게 휘도 매핑 프로세스를 수행하고 컴포넌트 데이터의 합성을 수행함으로써 출력 데이터를 획득한다.
위에 설명된 본 기술의 실시예에서, 각각의 컴포넌트 데이터에 대해 그것의 동적 범위 정보에 기초하여 디스플레이 성능에 맞게 휘도 매핑 프로세스가 수행되고 합성되고, 그럼으로써 출력 데이터가 획득된다. 그러므로, 출력 데이터에 대해 수행된 전광 변환의 특성이 고정될 수 있고, 전광 변환 특성의 전환에 의해 야기되는 이미지 왜곡의 발생이 방지될 수 있다. 또한, 컴포넌트 데이터에 기초한 디스플레이가 항상 적절한 휘도 상태로 수행될 수 있다.
본 기술의 실시예에서, 예를 들면, 각각의 컴포넌트 스트림들이 갖는 컴포넌트 데이터의 색역 정보가 컴포넌트 스트림들에 삽입될 수 있고, 처리 유닛은 컴포넌트 데이터에 대해 각각의 컴포넌트 데이터의 색역 정보에 기초하여 디스플레이 성능에 맞게 색역 변환 프로세스를 수행한 다음에, 컴포넌트 데이터의 합성을 수행함으로써 출력 데이터를 획득할 수 있다. 이 경우에, 컴포넌트 데이터에 기초한 디스플레이가 항상 적절한 색상 상태로 수행될 수 있다.
본 기술의 실시예에 따르면, 상이한 동적 범위들을 갖는 복수의 혼합된 종류의 전송 비디오 데이터가 송신될 때 수신 측 상에서 이미지 왜곡이 발생하는 것을 만족할만하게 방지할 수 있다. 본 명세서에 설명된 효과들은 단지 예시적이고 한정되는 것이 아니고, 부가적인 효과들이 발휘될 수 있다는 점에 주목한다.
도 1은 실시예로서 송신 및 수신 시스템의 구성 예를 도시한 블록도이다.
도 2는 서비스 송신 시스템의 구성 예를 도시한 블록도이다.
도 3은 광전 변환 특성들(opto-electrical transfer characteristics)을 설명하기 위한 그래프이다.
도 4는 전송 비디오 데이터의 전환 타이밍들과 전환 후의 전송 비디오 데이터를 식별하기 위한 식별 정보의 삽입 타이밍들 간의 관계를 설명하기 위한 도면이다.
도 5는 HDR 비디오 기술자의 구조 예를 도시한 표이다.
도 6은 HDR 비디오 기술자의 구조 예에서의 주요 정보의 내용을 도시한 도면이다.
도 7은 HDR 자막 기술자의 구조 예를 도시한 표이다.
도 8은 MPEG-2 트랜스포트 스트림의 구조 예를 도시한 도면이다.
도 9는 MMT의 트랜스포트 스트림의 구조 예를 도시한 도면이다.
도 10은 서비스 수신 디바이스의 구조 예를 도시한 블록도이다.
도 11은 디스플레이 성능이 HDR일 때의 휘도 매핑 프로세스의 개요를 도시한 도면이다.
도 12는 디스플레이 성능이 HDR이고 넓은 색역을 가질 때의 화면 합성 처리 유닛의 구조 예를 도시한 블록도이다.
도 13은 휘도 매핑 유닛의 구성을 설명하기 위한 도면이다.
도 14는 디스플레이 성능이 HDR이고 입력 전송 비디오 데이터가 SDR 전송 비디오 데이터일 때의 휘도 매핑 유닛을 설명하기 위한 도면이다.
도 15는 디스플레이 성능이 HDR이고 입력 전송 비디오 데이터가 HDR 전송 비디오 데이터일 때의 휘도 매핑 유닛을 설명하기 위한 도면이다.
도 16은 디스플레이 성능이 SDR이고 입력 전송 비디오 데이터가 HDR 전송 비디오 데이터일 때의 휘도 매핑 유닛을 설명하기 위한 도면이다.
도 17은 방송 서비스들 중 하나로서 제공되는 "d 버튼"의 조작을 통한 그래픽 디스플레이의 예를 도시한 도면이다.
이하, 본 기술을 구현하는 실시예들(이하 "실시예들"이라고 함)에 대해 설명한다. 설명은 다음 순서로 제공된다는 점에 주목한다.
1. 실시예
2. 변형예
1. 실시예
(송신 및 수신 시스템의 구성 예)
도 1은 실시예로서 송신 및 수신 시스템(10)의 구성 예를 도시한다. 송신 및 수신 시스템(10)은 서비스 송신 시스템(100)과 서비스 수신 디바이스(200)로 구성된다. 서비스 송신 시스템(100)은 컨테이너로서 MPEG-2 트랜스포트 스트림(TS) 또는 MPEG 미디어 트랜스포트(MMT)의 트랜스포트 스트림(다중화된 스트림)을 생성하고, 트랜스포트 스트림을 방송 파 또는 네트워크의 패킷들에 실어 트랜스포트 스트림을 송신한다.
트랜스포트 스트림은 복수 종류의 전송 비디오 데이터 간에 전환하여 획득된 전송 비디오 데이터를 컴포넌트 데이터로서 갖는 제1 컴포넌트 스트림(비디오 스트림) 및 다른 컴포넌트 데이터를 갖는 미리 결정된 수의 제2 컴포넌트 스트림들을 포함한다. 미리 결정된 수의 제2 컴포넌트 스트림들은 예를 들어, 데이터 서비스 스트림(데이터 방송 스트림) 및/또는 자막 스트림을 포함하고, 특히 실시예에서 데이터 방송 스트림 및 자막 스트림을 포함한다. 데이터 서비스 스트림은 컴포넌트 데이터로서, 예를 들어, 그래픽 데이터, 이미지 데이터 등을 갖는다. 자막 스트림은 컴포넌트 데이터로서 자막 데이터를 갖는다.
컴포넌트 스트림에 각각의 컴포넌트 스트림이 갖는 컴포넌트 데이터의 동적 범위 정보가 삽입된다. 또한, 컴포넌트 스트림에 각각의 컴포넌트 스트림이 갖는 컴포넌트 데이터의 색역 정보가 삽입된다. 또한, 트랜스포트 스트림에 포함되는 제1 컴포넌트 스트림이 갖는 전송 비디오 데이터의 종류를 나타내는 식별 정보는, 전환 타이밍보다 미리 결정된 시간 양 이상만큼 빠른 타이밍으로부터의 전환 후에 전송 비디오 데이터의 종류를 나타내도록 트랜스포트 스트림에 삽입된다.
서비스 수신 디바이스(200)는 서비스 송신 시스템(100)으로부터 송신된 위에 설명된 트랜스포트 스트림(MPEG-2 트랜스포트 스트림 또는 MMT의 트랜스포트 스트림)을 수신한다. 서비스 수신 디바이스(200)는 각각의 컴포넌트 스트림들을 디코딩하여 복수의 컴포넌트 데이터를 획득하고, 획득된 복수의 컴포넌트 데이터에 대해 합성을 수행하여 출력 데이터를 획득한다.
이 경우에, 각각의 컴포넌트 데이터에 대해 컴포넌트 데이터의 동적 범위 정보에 기초하여 디스플레이 성능에 맞게 휘도 매핑 프로세스 및 합성이 수행되고, 그럼으로써, 출력 데이터가 획득된다. 또한, 이 실시예에서, 각각의 컴포넌트 데이터에 대해 컴포넌트 데이터의 색역 정보에 기초하여 디스플레이 성능에 맞게 색역 변환 프로세스 및 합성이 수행되고, 그럼으로서 출력 데이터가 획득된다.
서비스 수신 디바이스(200)는 출력 데이터에 대해 전광 변환(전광 변환 특성은 고정)를 수행함으로써 디스플레이 이미지 데이터를 획득한 다음에, 이 디스플레이 이미지 데이터에 기초하여 이미지 디스플레이를 수행한다.
(서비스 송신 시스템의 구성 예)
도 2는 서비스 송신 시스템(100)의 구성 예를 도시한다. 이 서비스 송신 시스템(100)은 제어 유닛(101), 비디오 인코더(102), 데이터 서비스 인코더(103), 정지 이미지 인코더(104), 자막 인코더(105), 컨테이너 인코더(106), 및 송신 유닛(107)을 갖는다.
제어 유닛(101)은 중앙 처리 유닛(CPU)을 포함하도록 구성되어 제어 프로그램에 기초하여 서비스 송신 시스템(100)의 부분들의 동작들을 제어한다. 비디오 인코더(102)는 입력 전송 비디오 데이터에 대해 인코딩, 예를 들어, MPEG4-AVC 또는 HEVC를 수행하여 인코딩된 비디오 데이터를 획득한 다음에, 인코딩된 비디오 데이터를 포함하는 컴포넌트 스트림으로서 비디오 스트림 VS를 생성한다. 비디오 스트림 VS는 컴포넌트 데이터로서 전송 비디오 데이터를 포함한다.
입력 전송 비디오 데이터는 복수 종류의 전송 비디오 데이터 간에 전환하여 획득된다. 복수 종류의 전송 비디오 데이터는 예를 들어, 표준 동적 범위(SDR) 전송 비디오 데이터와 높은 동적 범위(HDR) 전송 비디오 데이터를 포함한다. 여기서, SDR 전송 비디오 데이터는 SDR 비디오 데이터에 SDR 광전 변환을 적용하여 획득된다. 또한, HDR 전송 비디오 데이터는 HDR 비디오 데이터에 HDR 광전 변환을 적용하여 획득된다.
도 3은 물리적 공간의 광의 선형 휘도를 유한 대역의 전송 공간으로 변환하기 위해 사용되는 비선형 휘도 코드 값들의 특성들을 나타내는 소위 광전 변환 특성들의 예를 도시한다. 이 도면에서, 수평 축은 입력 휘도 레벨을 나타내고, 수직 축은 전송 코드 값을 나타낸다. 곡선 a는 0 내지 100%의 입력 휘도 레벨들을 갖는 SDR 비디오 데이터에 적용되는 SDR 광전 변환 특성의 예를 나타낸다. 또한 곡선 b1은 0 내지 N*100%의 입력 휘도 레벨들을 갖는 HDR 비디오 데이터에 적용되는 HDR 광전 변환 특성의 예(SDR 광전 변환 특성과 호환성을 갖는 예)를 나타낸다. 이 예의 특성은 입력 휘도 레벨의 호환성 한계 값까지는 SDR 광전 변환 특성과 일치한다. 입력 휘도 레벨이 호환성 한계 값에 이를 때, 전송 코드 값은 호환 레벨이 된다.
또한, 곡선 b2는 0 내지 N*100%의 입력 휘도 레벨들을 갖는 HDR 비디오 데이터에 적용되는 HDR 광전 변환 특성의 예(SDR 광전 변환 특성과 호환성이 없는 예)를 나타낸다. 또한, 곡선 b3는 0 내지 M*100%의 입력 휘도 레벨들을 갖는 HDR 광전 변환 특성의 예(SDR 광전 변환 특성과 호환성이 없는 예)를 나타낸다. 여기서, N 및 M은 1보다 큰 수이고, M<N이다. 이 예시된 예에서는 M<N이 설정되지만, 일반적인 경우들에서 b2와 b3 간의 최대 휘도의 관계는 M>=N일 수 있다는 점에 주목한다.
도 2를 다시 참조하면, 비디오 인코더(102)는 입력 전송 비디오 데이터의 동적 범위 정보 및 색역 정보의 입력을 수신한다. 비디오 인코더(102)는 동적 범위 정보 및 색역 정보를 비디오 스트림 VS에 삽입한다. 여기서, 동적 범위 정보는 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function)이다.
이때, 비디오 인코더(102)는 액세스 유닛(AU)의 SPS NAL 유닛의 비디오 사용성 정보(VUI) 영역에 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function), 전송 비디오 데이터의 색역 정보, 기준 레벨을 나타내는 정보 등과 같은 메타 정보를 삽입한다. 또한, 비디오 인코더(102)는 액세스 유닛(AU)의 "SEI" 부분에 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function), 기준 레벨의 정보 등과 같은 메타 정보를 갖는 SEI 메시지를 삽입한다.
여기서, SEI 메시지가 전광 변환 특성을 나타내는 정보를 갖게 하는 이유는 전송 비디오 데이터가 HDR 전송 비디오 데이터이어도 HDR 광전 변환 특성이 SDR 광전 변환 특성과 호환성을 가질 때, SPS NAL 유닛의 VUI에 기존의 SDR-대응 수신 디바이스가 식별하는 것을 도울 수 있도록 SDR 광전 변환 특성에 대응하는 전광 변환 특성(감마 특성)을 나타내는 정보가 삽입되므로, HDR-대응 수신 디바이스가 자신이 수신한 비디오가 HDR이라는 것을 식별하기 위해서, VUI 이외의 장소에 HDR 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보가 필요하다는 것이다.
또한, SEI 메시지가 기준 레벨 정보를 갖게 하는 이유는 전송 비디오 데이터 V1이 SDR 전송 비디오 데이터일 때, SPS NAL 유닛의 VUI에 SDR 광전 변환 특성에 대응하는 전광 변환 특성(감마 특성)을 나타내는 정보가 삽입되지만, 기준 레벨의 삽입을 위한 규격에 관한 설명이 없다는 것이다.
이 경우에, 전광 변환 특성을 나타내는 정보(transfer function)는 예를 들면, "BT.709-5 transfer function(SDR)", "10-bit BT.2020 transfer function(SDR)", "SMPTE 2084 transfer function(HDR1)", "HDR(HDR2)" 등의 전광 변환 특성을 나타낸다. "HDR(HDR2)"는 "human visual system"을 지원하는 특성이 아니라, 기존의 감마 특성과 부분적으로 동일한 종류의 특성을 갖는 변환 특성이라는 점에 주목한다. 또한, 색역 정보는 "BT.709-5", "BT.2020", 또는 "SMPTE 428 or XYZ"의 색역을 나타낸다.
정지 이미지 인코더(104)는 입력 이미지 데이터에 대해 예를 들어, JPEG 인코딩을 수행하여 인코딩된 비디오 데이터를 획득한다. 정지 이미지 인코더(104)는 이미지 데이터의 동적 범위 정보 및 색역 정보의 입력을 수신한다. 정지 이미지 인코더(104)는 동적 범위 정보 및 색역 정보를 인코딩된 데이터에 삽입한다. 여기서, 동적 범위 정보는 이미지 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function)이다.
전광 변환 특성을 나타내는 정보(transfer function)에 대해서는, 정지 이미지 인코더(104)는 예를 들어, JPEG 규격에 정의되어 있는 교환 이미지 파일 형식(Exif) 규격에서 정하는 감마 태그의 값을 사용한다. 현재는, "16(gamma=BT.709-5 transfer function(SDR))"가 정의되어 있지만; 다른 값들에 대해, "10-bit BT.2020 transfer function(SDR)", "SMPTE 2084 transfer function(HDR1)", "HDR(HDR2)" 등이 정의되어 사용된다.
또한, 색역 정보에 대해, 정지 이미지 인코더(104)는 예를 들어, JPEG 규격에 정의되어 있는 Exif 규격에서 정하는 컬러 스페이스 태그의 값을 사용한다. 현재는, "1 (sRGB=BT.709-5)"가 정의되어 있지만; 다른 값들에 대해, "BT.2020", "SMPTE 428 or XYZ" 등이 정의되어 사용된다.
데이터 서비스 인코더(103)는 입력 그래픽 데이터 및 나아가 정지 이미지 인코더(104)로부터 입력되는 인코딩된 데이터에 대해 인코딩 프로세스를 수행하고, 그럼으로써 컴포넌트 스트림으로서 데이터 서비스 스트림 DS를 생성한다. 데이터 서비스 스트림 DS는 컴포넌트 데이터로서 이미지 데이터 및 그래픽 데이터를 포함한다.
데이터 서비스 인코더(103)는 그래픽 데이터의 동적 범위 정보 및 색역 정보의 입력을 수신한다. 데이터 서비스 인코더(103)는 동적 범위 정보 및 색역 정보를 데이터 서비스 스트림 DS에 삽입한다. 여기서, 동적 범위 정보는 그래픽 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function)이다.
전광 변환 특성을 나타내는 정보(transfer function)에 대해, 데이터 서비스 인코더(103)는 "BT.709-5 transfer function(SDR)", "10-bit BT.2020 transfer function(SDR)", "SMPTE 2084 transfer function(HDR1)", "HDR(HDR2)" 등을 나타내는 것으로서 예를 들어, 확장된 동적 범위 정보 "D_range"를 정의한다. 또한, 색역 정보에 대해, 데이터 서비스 인코더(103)는 예를 들어, "gfx.color_management.mode"의 항목을 사용하여 "BT.709-5", "BT.2020", "SMPTE 428 or XYZ" 등의 색역을 나타낸다.
자막 인코더(105)는 입력 자막 데이터에 대해 인코딩 프로세스를 수행하고, 그럼으로써 컴포넌트 스트림으로서 자막 스트림 SS를 생성한다. 자막 스트림 SS는 컴포넌트 데이터로서 자막 데이터를 포함한다. 그것의 상세한 설명은 생략되지만, 자막 스트림 SS는 자막 정보를 표현하는 언어(Timed Text Markup Language)(TTML)와 같은 자막들의 텍스트 정보, 또는 자막들의 비트맵 데이터를 포함한다.
자막 인코더(105)는 자막 데이터의 동적 범위 정보 및 색역 정보의 입력을 수신한다. 자막 인코더(105)는 동적 범위 정보 및 색역 정보를 자막 스트림 SS에 삽입한다.
자막 스트림 SS가 자막들의 텍스트 정보로서 TTML을 포함할 때, 예를 들면, 자막 인코더(105)는 TTML 구조의 헤더에 존재하는 메타 데이터의 요소를 사용하여 자막 데이터의 색역 정보 및 동적 범위 정보를 삽입하고, TTML 구조의 헤더에 존재하는 스타일링 확장의 요소를 사용하여 자막 데이터의 색역 정보 및 동적 범위 정보를 삽입하고, 또는 자막 스트림 SS에 자막 데이터의 색역 정보 및 동적 범위 정보를 포함하는 세그먼트를 삽입한다.
한편, 자막 스트림 SS가 자막들의 비트맵 데이터를 포함할 때, 자막 인코더(105)는 자막 스트림 SS에 자막 데이터의 색역 정보 및 동적 범위 정보를 포함하는 세그먼트를 삽입한다.
이 경우에, 전광 변환 특성을 나타내는 정보(transfer function)는 예를 들면, "BT.709-5 transfer function(HDR1)", "10-bit BT.2020 transfer function(SDR)", "SMPTE 2084 transfer function(HDR1)", 또는 "HDR(HDR2)"의 전광 변환 특성을 나타낸다. "HDR(HDR2)"는 PQ 곡선이 아니라, 이른바 하이브리드 감마라고 불린다는 점에 주목한다. 또한, 색역 정보는 "BT.709-5", "BT.2020", "SMPTE 428 or XYZ"의 색역을 나타낸다.
컨테이너 인코더(106)는 비디오 인코더(102)에 의해 생성된 비디오 스트림 VS, 데이터 서비스 인코더(103)에 의해 생성된 데이터 서비스 스트림 DS, 및 자막 인코더(105)에 의해 생성된 자막 스트림 SS를 포함하는 트랜스포트 스트림(MPEG-2 트랜스포트 스트림 또는 MMT의 트랜스포트 스트림)을 생성한다. 송신 유닛(107)은 트랜스포트 스트림을 방송 파 또는 네트워크의 패킷에 실어 서비스 수신 디바이스(200)로 송신한다.
이때, 컨테이너 인코더(106)는 트랜스포트 스트림에 포함된 비디오 스트림 VS가 갖는 전송 비디오 데이터의 종류를 나타내는 식별 정보를, 그 식별 정보가 전송 비디오 데이터의 종류의 전환 타이밍보다 미리 결정된 시간 양 이상만큼 빠른 타이밍으로부터의 전환 후에 전송 비디오 데이터의 종류를 나타내도록, 삽입한다. 이러한 식으로 식별 정보의 삽입을 관리함으로써, 수신 측에게 전송 비디오 데이터의 동적 전환이 통지된다.
도 4는 SDR 전송 비디오 데이터(SDR 서비스)와 HDR 전송 비디오 데이터(HDR 서비스)가 전환되는 타이밍들 Sn(S0, S1, S2, ...)과 전환 후에 전송 비디오 데이터를 식별하기 위한 식별 정보의 삽입 타이밍들 Tn(T0, T1, T2, ..) 간의 관계를 도시한다. 다음의 식(1)을 만족시키기 위해서, 타이밍 Tn은 타이밍 Sn보다 t(미리 결정된 시간 양) 이상만큼 빠르게 타이밍된다. 예시된 예는 Sn-Tn=t(여기서, t는 양의 값)인 경우를 보인다는 점에 주목한다.
Sn-Tn >=t …(1)
컨테이너 인코더(106)는 비디오 스트림 VS에 대응하는, 예를 들어 새롭게 정의되는 HDR 비디오 기술자(HDR_video_descriptor)를 삽입한다. 예를 들어, 트랜스포트 스트림이 MPEG-2 트랜스포트 스트림일 때, 기술자는 프로그램 맵 테이블(PMT) 또는 이벤트 정보 테이블(EIT)에 종속되도록 삽입된다. 또한, 트랜스포트 스트림이 MMT의 트랜스포트 스트림일 때, 기술자는 MMT 패키지 테이블(MP 테이블 또는 MPT), 또는 이벤트 정보 테이블(EIT)에 종속되도록 삽입된다.
도 5는 HDR 비디오 기술자의 구조 예(신택스(syntax))를 도시하고, 도 6은 구조 예에서의 주요 정보의 내용(시맨틱(semantics))을 도시한다. 8-비트 필드 "descriptor_tag"는 기술자의 종류를 나타내고 여기서 HDR 비디오 기술자를 나타낸다. 8-비트 필드"descriptor_length"는 기술자의 길이(크기)를 나타내고 기술자의 길이로서 이후의 바이트들의 수를 나타낸다.
1-비트 플래그 정보 "HDR_SDR_flag"는 타겟 스트림이 HDR 스트림인지 SDR 스트림인지를 나타낸다. "1"은 HDR 스트림을 나타내고, "0"은 SDR 스트림을 나타낸다. "video_characteristics_info_flag"의 1-비트 플래그 정보는 특성 정보가 존재하는지의 여부를 나타낸다. "1"은 특성 정보가 존재한다는 것을 나타내고, "0"은 특성 정보가 존재하지 않는다는 것을 나타낸다.
"video_characteristics_info_flag"가 "1"일 때, 8-비트 필드들 " transferfunction", "color_space", 및 "referencelevel"이 존재한다. 8-비트 필드 "transferfunction"는 전광 변환 특성(EOTF 특성)을 나타낸다. 즉, 이 필드는 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타낸다. 예를 들어, "1"은 "BT.709-5 transfer function(SDR)"을 나타내고, "14"는 "10-bit BT.2020 transfer function(SDR)"을 나타내고, "16"은 "SMPTE 2084 transfer function(HDR1)"을 나타내며, "25"는 "HDR(HDR2)"를 나타낸다. "HDR(HDR2)"는 HDR 전광 변환 특성을 나타내지만, PQ 곡선이 아닌, 기존 감마 특성 및 휘도 전송 특성들에서 부분적인 호환성을 갖고, 또는 그것에 가까운 특성들을 갖는 것으로 생각된다는 점에 주목한다.
8-비트 필드 "color_space"는 색 공간을 나타낸다. 예를 들어, "1"은 "BT.709-5"을 나타내고, "9"는 "BT.2020"을 나타내며, "10"은 "SMPTE 428 or XYZ"를 나타낸다.
8-비트 필드 "referencelevel"는 기준 레벨을 나타낸다. 이 경우에, 최대 "1"로 정규화된 상대 범위의 값이 0 내지 100의 값으로 지정된 값이 기준 레벨로서 설명된다. 수신 측은 이 값을 100으로 나눈 결과를 정규화된 상대 기준 레벨로서 인식한다. 8-비트 필드 "content_peak_luminance"는 이미지에 포함된 전송 코드들의 피크 값에 대응하는 상대적 휘도 값(%로 표현)을 나타낸다. 이 상대적 값은 예를 들면, 후술하는 니(knee) 곡선을 제어하는 데 도움이 된다.
또한, 컨테이너 인코더(106)는 트랜스포트 스트림에 포함된 자막 스트림 SS가 갖는 자막 데이터의 종류, 즉 데이터가 SDR 데이터인지 HDR 데이터인지를 나타내는 식별 정보를, 그, 식별 정보가 자막 데이터의 종류의 전환 타이밍보다 미리 결정된 시간 양 이상만큼 빠른 타이밍으로부터의 전환 후에 자막 데이터의 종류를 나타내도록, 삽입한다. 이러한 식으로 식별 정보의 삽입을 관리함으로써, 수신 측에게 자막 데이터의 동적 전환이 통지된다.
컨테이너 인코더(106)는 자막 스트림 SS에 대응하는, 예를 들어 새롭게 정의되는 HDR 자막 기술자(HDR_subtitle_descriptor)를 삽입한다. 예를 들어, 트랜스포트 스트림이 MPEG-2 트랜스포트 스트림일 때, 이 기술자는 프로그램 맵 테이블(PMT)에 종속되도록 삽입된다. 또한, 트랜스포트 스트림이 MMT의 트랜스포트 스트림일 때, 이 기술자는 MMT 패키지 테이블(MP 테이블 또는 MPT)에 종속되도록 삽입된다.
도 7은 HDR 자막 기술자의 구조 예(신택스)를 도시한다. 8-비트 필드 "descriptor_tag"는 기술자의 종류를 나타내고 여기서 HDR 자막 기술자를 나타낸다. 8-비트 필드 "descriptor_length"는 기술자의 길이(크기)를 나타내고 기술자의 길이로서 이후의 바이트들의 수를 나타낸다.
1-비트 플래그 정보 "HDR_SDR_flag"는 타겟 스트림이 HDR 스트림인지 SDR 스트림인지를 나타낸다. "1"은 HDR 스트림을 나타내고, "0"은 SDR 스트림을 나타낸다. 1-비트 플래그 필드 "subtitle_display_characteristics_info_flag"는 특성 정보가 존재하는지의 여부를 나타낸다. "1"은 특성 정보가 존재한다는 것을 나타내고, "0"은 특성 정보가 존재하지 않는다는 것을 나타낸다. "subtitle_display_characteristics_info_flag"가 "1"일 때, 8-비트 필드들 "transferfunction", "color_space", 및 "referencelevel"이 존재한다.
8-비트 필드 "transferfunction"는 전광 변환 특성(EOTF 특성)을 나타낸다. 즉, 이 필드는 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타낸다. 예를 들어, "1"은 "BT.709-5 transfer function(SDR)"을 나타내고, "14"는 "10-bit BT.2020 transfer function(SDR)"을 나타내고, "16"은 "SMPTE 2084 transfer function(HDR1)"을 나타내며, "25"는 "HDR(HDR2)"를 나타낸다. "HDR(HDR2)"는 HDR 전광 변환 특성을 나타내지만, PQ 곡선이 아닌, 기존 감마 특성과 휘도 전송 특성들에서 부분적인 호환성을 갖고, 또는 그것에 가까운 특성들을 갖는 것으로 생각된다는 점에 주목한다.
8-비트 필드 "color_space"는 색 공간을 나타낸다. 예를 들어, "1"은 "BT.709-5"을 나타내고, "9"는 "BT.2020"을 나타내며, "10"은" SMPTE 428 or XYZ"를 나타낸다. 8-비트 필드 "referencelevel"는 기준 레벨을 나타낸다. 이 경우에, 최대 "1"로 정규화된 상대 범위의 값이 0 내지 100의 값으로 지정된 값이 기준 레벨로서 설명된다. 수신 측은 이 값을 100으로 나눈 결과를 정규화된 상대 기준 레벨로서 인식한다.
도 8은 MPEG-2 트랜스포트 스트림의 구조 예를 도시한다. 이 구조 예에서는, PID1로서 식별되는 비디오 스트림 VS의 PES 패킷 "비디오 PES" 및 PID2로서 식별되는 자막 스트림 SS의 PES 패킷 "자막 PES"가 존재할 뿐만 아니라, 캐러셀(carousel)방식으로 전송되는 데이터 서비스 스트림 DS가 존재한다. 자막 스트림 SS는 위에 설명된 것과 같이 PES로서 그리고 데이터 서비스 스트림과 같은 캐러셀 방식으로 전송되지만, 그에 따라 자막 스트림 SS의 내용은 변화하지 않는다는 점에 주목한다.
또한, 트랜스포트 스트림 TS는 프로그램 특정 정보(PSI)로서 프로그램 맵 테이블(PMT)을 포함한다. PSI는 트랜스포트 스트림에 포함된 각각의 엘리멘터리 스트림이 속하는 프로그램을 설명하는 정보이다. PMT는 전체 프로그램에 대한 정보를 기술하는 프로그램 루프를 포함한다.
PMT는 각각의 엘리멘터리 스트림에 관련한 정보를 갖는 엘리멘터리 스트림 루프들을 갖는다. 이 구조 예에서, 비디오 스트림 VS에 대응하는 비디오 엘리멘터리 스트림 루프(비디오 ES 루프)와 자막 스트림 SS에 대응하는 자막 엘리멘터리 스트림 루프(자막 ES 루프)가 존재한다.
비디오 엘리멘터리 스트림 루프 내에는 비디오 스트림 VS의 스트림 타입 및 패킷 식별자(PID)와 같은 정보뿐만 아니라 비디오 스트림 VS에 관련한 정보를 기술하는 기술자가 배치된다. 기술자의 한 종류로서, 위에 설명된 HDR 비디오 기술자(도 5 참조)가 배치된다. HDR 비디오 기술자가 점선으로 도시된 바와 같이 이벤트 정보 테이블(EIT)에 종속되도록 배치되는 구조도 생각될 수 있다는 점에 주목한다.
또한, 자막 엘리멘터리 스트림 루프 내에는 자막 스트림 SS의 스트림 타입 및 패킷 식별자(PID)와 같은 정보뿐만 아니라 자막 스트림 SS에 관련한 정보를 기술하는 기술자가 배치된다. 기술자의 한 종류로서, 위에 설명된 HDR 자막 기술자(도 7 참조)가 배치된다.
도 9는 MMT의 트랜스포트 스트림의 구조 예를 도시한다. 패킷 종류가 "MPU"일 때, ID1로서 식별되는 비디오 스트림 VS의 MPU 패킷 "MPU 비디오"와 ID2로서 식별되는 자막 스트림 SS의 MPU 패킷 "MPU 자막"이 MMT의 트랜스포트 스트림 내에 배치된다. 또한, 패킷 종류가 "non-timed packet"일 때, 데이터 서비스 스트림 DS가 MMT의 트랜스포트 스트림 내에 배치된다.
또한, 패킷 종류가 "message"일 때, 다양한 메시지 패킷들이 MMT의 트랜스포트 스트림 내에 배치된다. 이러한 메시지 패킷들 중 하나로서 패킷 액세스(PA) 메시지 패킷이 있다. PA 메시지 패킷은 MPT와 같은 테이블을 포함한다.
MPT 내에는 자산으로서 비디오 스트림 VS의 자산 종류(Asset_type) 및 패킷 ID(Packet_id)와 같은 정보뿐만 아니라 비디오 스트림 VS에 관련한 정보를 기술하는 기술자가 배치된다. 기술자의 한 종류로서, 위에 설명된 HDR 비디오 기술자(도 5 참조)가 배치된다. HDR 비디오 기술자가 점선으로 도시된 바와 같이 이벤트 정보 테이블(EIT)에 종속되도록 배치되는 구조도 생각될 수 있다는 점에 주목한다.
또한, MPT 내에는 자산으로서 자막 스트림 SS의 자산 종류(Asset_type) 및 패킷 ID(Packet_id)와 같은 정보뿐만 아니라 자막 스트림 SS에 관련한 정보를 기술하는 기술자가 배치된다. 기술자의 한 종류로서, 위에 설명된 HDR 자막 기술자(도 7 참조)가 배치된다.
도 2에 도시한 서비스 송신 시스템(100)의 동작을 간단하게 설명한다. 비디오 인코더(102)에 전송 비디오 데이터뿐만 아니라 전송 비디오 데이터의 동적 범위 정보 및 색역 정보가 입력된다. 여기서, 동적 범위 정보는 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function)이다.
위에 설명된 것과 같이 입력되는 전송 비디오 데이터는 복수 종류의 전송 비디오 데이터 간에 전환하여 획득된다. 복수 종류의 전송 비디오 데이터는 예를 들어, SDR 비디오 데이터에 SDR 광전 변환을 적용하여 획득된 SDR 전송 비디오 데이터와 HDR 비디오 데이터에 HDR 광전 변환을 적용하여 획득된 HDR 전송 비디오 데이터를 포함한다.
비디오 인코더(102)는 전송 비디오 데이터에 대해 인코딩, 예를 들어, MPEG4-AVC 또는 HEVC를 수행하여 인코딩된 비디오 데이터를 획득하고, 인코딩된 비디오 데이터를 포함하는 컴포넌트 스트림으로서 비디오 스트림 VS를 생성한다. 비디오 스트림 VS는 컴포넌트 데이터로서 전송 비디오 데이터를 포함한다.
또한, 위에 설명된 것과 같은 비디오 스트림 VS를 생성할 때, 비디오 인코더(102)는 비디오 스트림 VS에 동적 범위 정보 및 색역 정보를 삽입한다. 이 경우에, 액세스 유닛(AU)의 SPS NAL 유닛의 비디오 사용성 정보(VUI) 영역에 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function), 전송 비디오 데이터의 색역 정보, 및 기준 레벨을 나타내는 정보와 같은 메타 정보가 삽입된다. 또한, 액세스 유닛(AU)의 "SEI" 부분에 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function), 및 기준 레벨의 정보와 같은 메타 정보를 갖는 SEI 메시지가 삽입된다.
또한, 정지 이미지 인코더(104)에 이미지 데이터뿐만 아니라 이미지 데이터의 동적 범위 정보 및 색역 정보가 입력된다. 여기서, 동적 범위 정보는 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function)이다.
정지 이미지 인코더(104)는 이미지 데이터에 대해, 예를 들어, JPEG 인코딩을 수행하여 인코딩된 비디오 데이터를 획득한다. 이때, 인코딩된 데이터에 동적 범위 정보 및 색역 정보가 삽입된다. 이 경우에, 전광 변환 특성을 나타내는 정보(transfer function)에 대해서는, 예를 들어, JPEG 규격에 정의되어 있는 교환 이미지 파일 형식(Exif) 규격에서 정하는 감마 태그의 값이 사용되어 삽입된다. 또한, 색역 정보에 대해서는, 예를 들어, JPEG 규격에 정의되어 있는 Exif 규격에서 정하는 컬러 스페이스 태그의 값이 사용되어 삽입된다.
또한, 데이터 서비스 인코더(103)에는 그래픽 데이터뿐만 아니라 그래픽 데이터의 동적 범위 정보 및 색역 정보가 입력된다. 여기서, 동적 범위 정보는 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function)이다. 데이터 서비스 인코더(103)에는 또한 정지 이미지 인코더(104)에 의해 획득된 인코딩된 데이터가 입력된다.
데이터 서비스 인코더(103)는 그래픽 데이터 및 나아가 정지 이미지 인코더(104)로부터 입력되는 인코딩된 데이터에 대해 인코딩을 수행하고, 그럼으로써 컴포넌트 스트림으로서 데이터 서비스 스트림 DS를 생성한다. 데이터 서비스 스트림 DS는 컴포넌트 데이터로서 이미지 데이터 및 그래픽 데이터를 포함한다.
또한, 위에 설명된 것과 같이 데이터 서비스 스트림 DS를 생성할 때, 데이터 서비스 인코더(103)는 데이터 서비스 스트림 DS에 동적 범위 정보 및 색역 정보를 삽입한다. 이 경우에, 전광 변환 특성을 나타내는 정보(transfer function)에 관해서는, 예를 들어, 동적 범위 정보 "D_range"가 그에 확장, 정의, 및 삽입된다. 또한, 색역 정보에 대해서는, 예를 들어, "gfx.color_management.mode" 항목이 사용되어 그에 삽입된다.
또한, 자막 인코더(105)는 자막 데이터뿐만 아니라 자막 데이터의 동적 범위 정보 및 색역 정보를 수신한다. 여기서, 동적 범위 정보는 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function)이다.
자막 인코더(105)는 자막 데이터에 대해 인코딩을 수행하고, 그럼으로써 컴포넌트 스트림으로서 자막 스트림 SS를 생성한다. 자막 스트림 SS는 컴포넌트 데이터로서 자막 데이터(TTML과 같은 자막 텍스트 정보 또는 자막 비트맵 데이터)를 포함한다.
또한, 위에 설명된 것과 같이 자막 스트림 SS를 생성할 때, 자막 인코더(105)는 자막 스트림 SS에 동적 범위 정보 및 색역 정보를 삽입한다.
여기서, 자막 스트림 SS가 자막 텍스트 정보로서 TTML을 포함할 때, 예를 들면, TTML 구조의 헤더에 존재하는 메타 데이터의 요소를 사용하여 자막 데이터의 색역 정보 및 동적 범위 정보가 삽입된다. 또한, 자막 스트림 SS가 자막 비트맵 데이터를 포함할 때, 예를 들어, 자막 스트림 SS에 자막 데이터의 색역 정보 및 동적 범위 정보를 포함하는 세그먼트가 삽입된다.
비디오 인코더(102)에 의해 생성된 비디오 스트림 VS, 데이터 서비스 인코더(103)에 의해 생성된 데이터 서비스 스트림 DS, 및 자막 인코더(105)에 의해 생성된 자막 스트림 SS는 컨테이너 인코더(106)에 공급된다. 컨테이너 인코더(106)는 이들 스트림을 포함하는 트랜스포트 스트림(MPEG-2 트랜스포트 스트림 또는 MMT의 트랜스포트 스트림)을 생성한다.
또한, 위에 설명된 것과 같이 트랜스포트 스트림을 생성할 때, 컨테이너 인코더(106)는 이 트랜스포트 스트림에 포함된 비디오 스트림 VS가 갖는 전송 비디오 데이터의 종류를 나타내는 식별 정보를, 그 식별 정보가 비디오 스트림 VS의 전환 타이밍보다 미리 결정된 시간 양 이상만큼 빠른 타이밍으로부터의 전환 후에 전송 비디오 데이터의 종류를 나타내도록, 삽입한다. 구체적으로, 비디오 스트림 VS에 대응하여 HDR 비디오 기술자(도 5 참조)가 삽입된다. 또한, 컨테이너 인코더(106)는 트랜스포트 스트림에 자막 스트림 SS에 대응하여 HDR 자막 기술자(도 7 참조)를 더 삽입한다.
컨테이너 인코더(106)에 의해 생성된 트랜스포트 스트림은 송신 유닛(107)에 공급된다. 송신 유닛(107)은 트랜스포트 스트림을 방송 파 또는 네트워크의 패킷들에 실어 트랜스포트 스트림을 서비스 수신 디바이스(200)로 송신한다.
(서비스 수신 디바이스의 구성 예)
도 10은 서비스 수신 디바이스(200)의 구조 예를 도시한다. 이 서비스 수신 디바이스(200)는 제어 유닛(201), 수신 유닛(202), 컨테이너 디코더(203), 비디오 디코더(204), 데이터 서비스 디코더(205), 정지 이미지 디코더(206), 자막 디코더(207), OSD(On-screen display) 유닛(208), 화면 합성 처리 유닛(209), 및 모니터(210)를 갖는다.
제어 유닛(201)은 중앙 처리 유닛(CPU)을 포함하도록 구성되어 제어 프로그램을 사용하여 서비스 수신 디바이스(200)의 부분들의 동작을 제어한다. 수신 유닛(202)은 방송 파 또는 네트워크의 패킷들에 실려 서비스 송신 시스템(100)(도 2 참조)에 의해 송신되는 컨테이너로서 기능하는 트랜스포트 스트림(MPEG-2 트랜스포트 스트림 또는 MMT의 트랜스포트 스트림)을 수신한다. 컨테이너 디코더(203)는 트랜스포트 스트림으로부터 비디오 스트림 VS, 데이터 서비스 스트림 DS, 및 자막 스트림 SS를 추출한다.
또한, 컨테이너 디코더(203)는 트랜스포트 스트림에 삽입되는 다양한 종류들의 정보를 추출하고 그 정보를 제어 유닛(201)에 송신한다. 이 정보는 전송 비디오 데이터의 식별 정보를 기술하는 위에 설명된 HDR 비디오 기술자(도 5 참조) 및 HDR 자막 기술자(도 7 참조)를 포함한다.
제어 유닛(201)은 HDR 비디오 기술자의 기술에 기초하여 비디오 스트림 VS에 포함된 전송 비디오 데이터가 SDR 전송 비디오 데이터인지 HDR 전송 비디오 데이터인지를 인식한다. 위에 설명된 바와 같이, 전송 비디오 데이터의 종류를 식별하기 위한 식별 정보는, 그 식별 정보가 전송 비디오 데이터의 종류의 전환 타이밍보다 미리 결정된 시간 양 이상만큼 빠른 타이밍으로부터의 전환 후에 전송 비디오 데이터의 종류를 나타내도록, 트랜스포트 스트림에 삽입된다.
또한, 제어 유닛(201)은 HDR 자막 기술자의 기술에 기초하여, 자막 스트림 SS가갖는 자막 데이터의 종류, 즉 SDR 데이터인지 HDR 데이터인지를 인식한다. 위에 설명된 바와 같이, 자막 데이터의 종류를 나타내는 식별 정보는 위에 설명된 바와 같이, 그 식별 정보가 자막 데이터의 종류의 전환 타이밍보다 미리 결정된 시간 양 이상만큼 빠른 타이밍으로부터의 전환 후에 전송 비디오 데이터의 종류를 나타내도록, 트랜스포트 스트림에 삽입된다.
비디오 디코더(204)는 컨테이너 디코더(203)에 의해 추출된 비디오 스트림 VS에 대해 디코딩 프로세스를 수행하여 전송 비디오 데이터뿐만 아니라 전송 비디오 데이터의 동적 범위 정보 및 색역 정보를 획득한다. 여기서, 동적 범위 정보는 전송 비디오 데이터가 갖는 광전 변환 특성에 대응하는 전광 변환 특성을 나타내는 정보(transfer function)이다.
데이터 서비스 디코더(205)는 컨테이너 디코더(203)에 의해 추출된 데이터 서비스 스트림 DS에 대해 디코딩 프로세스를 수행하여 그래픽 데이터(비트맵 데이터), 그래픽 데이터의 동적 범위 정보 및 색역 정보 및 이미지 데이터의 인코딩된 데이터를 획득한다. 정지 이미지 디코더(206)는 데이터 서비스 디코더(205)에 의해 획득된 인코딩된 데이터에 대해 디코딩 프로세스를 수행하여 이미지 데이터뿐만 아니라 이미지 데이터의 동적 범위 정보 및 색역 정보를 획득한다.
자막 디코더(207)는 컨테이너 디코더(203)에 의해 추출된 자막 스트림 SS에 대해 디코딩 프로세스를 수행하고 자막 데이터(비트맵 데이터)뿐만 아니라 자막 데이터의 동적 범위 정보 및 색역 정보를 획득한다. OSD 유닛(208)은 OSD(On-screen display)용 그래픽 데이터(비트맵 데이터)뿐만 아니라 그래픽 데이터의 동적 범위 정보 및 색역 정보를 출력한다.
화면 합성 처리 유닛(209)은 비디오 디코더(204)에 의해 획득된 전송 비디오 데이터, 데이터 서비스 디코더(205)에 의해 획득된 그래픽 데이터, 정지 이미지 디코더(206)에 의해 획득된 이미지 데이터, 자막 디코더(207)에 의해 획득된 자막 데이터, 및 OSD 유닛(208)에 의해 획득된 그래픽 데이터에 대해 합성을 수행하고, 그럼으로써 모니터(210)의 디스플레이 성능에 대응하는 디스플레이 이미지 데이터를 생성한다. 모니터(210)는 HDR과 넓은 색역 또는 SDR과 표준 색역과 같은 디스플레이 성능을 갖는, 디스플레이 이미지 데이터에 기초하여 이미지를 디스플레이한다.
화면 합성 처리 유닛(209)은 각각의 데이터에 대해 그 데이터의 동적 범위 정보에 기초하여 디스플레이 성능에 맞게 휘도 매핑 프로세스를 수행하고 그에 대해 합성을 수행한다. 또한, 화면 합성 처리 유닛(209)은 각각의 데이터에 대해 그 데이터의 색역 정보에 기초하여 디스플레이 성능에 맞게 색역 변환 프로세스를 수행하고 그에 대해 합성을 수행한다.
도 11은 디스플레이 성능이 HDR일 때의 휘도 매핑 프로세스의 개요를 도시한다. 전송 비디오 데이터와 이미지 데이터에 대해서는, 동적 범위 정보가 HDR를 나타내는 경우에, 데이터 비트 표현 범위의 최대 값이 최대 밝기 레벨에 대응하고, 동적 범위 정보가 SDR을 나타내는 경우에, 데이터 비트 표현 범위의 최대 값이 기준 밝기 레벨에 대응하도록 휘도 매핑 프로세스가 수행된다.
또한, 그래픽 데이터 및 자막 데이터에 대해서는, 동적 범위 정보가 HDR를 나타내는 경우에, 즉, 데이터가 밝은 성분들을 갖는 경우에, 데이터 비트 표현 범위의 최대 값이 최대 밝기 레벨에 대응하고, 동적 범위 정보가 SDR을 나타내는 경우에, 즉, 데이터가 밝은 성분들을 갖지 않는 경우에, 데이터 비트 표현 범위의 최대 값이 기준 밝기 레벨에 대응하도록 휘도 매핑 프로세스가 수행된다.
이 경우의 기준 밝기 레벨로서, 예를 들어 전송 비디오 데이터 및 이미지 데이터에 대응하여 설정된 기준 밝기 레벨(referencelevel; 도 5 참조)이 사용될 수 있고, 예를 들어, 그래픽 데이터 및 자막 데이터에 대응하여 설정된 기준 밝기 레벨(referencelevel; 도 7 참조)이 사용될 수 있다. 또한, 이 경우에, 전송 비디오 데이터 및 이미지 데이터에 대해서는, 전송 비디오 데이터 및 이미지 데이터에 대응하여 설정된 기준 밝기 레벨(referencelevel)이 사용될 수 있고, 그래픽 데이터 및 자막 데이터에 대해서는, 그래픽 데이터 및 자막 데이터에 대응하여 설정된 기준 밝기 레벨(referencelevel)이 사용될 수 있다. 또한, 기준 밝기 레벨은 100nits(100% 휘도)일 수 있지만, 그 밝기로 한정되지 않는다. 예를 들어, 기준 밝기 레벨은 200nits(200% 휘도) 또는 300nits(300% 휘도) 등으로 미리 설정될 수 있다.
도 12는 디스플레이 성능이 HDR이고 넓은 색역을 가질 때의 화면 합성 처리 유닛(209)의 구조 예를 도시한다. 이 화면 합성 처리 유닛(209)은 색역 변환 유닛들(211a, 211b, 211c, 및 211d), 휘도 매핑 유닛들(212a, 212b, 212c, 및 212d), 합성 유닛(213), 및 HDR 전광 변환 유닛(214)을 갖는다.
비디오 디코더(204)로부터 공급되는 전송 비디오 데이터는 색역 변환 유닛(211a)과 휘도 매핑 유닛(212a)의 직렬 회로에 공급된다. 색역 변환 유닛(211a)은 색역 정보에 기초하여 전송 비디오 데이터의 색역을 디스플레이 성능에 맞게 넓은 색역으로 변환한다. 예를 들어, 전송 비디오 데이터의 색역이 "BT.709-5 = sRGB"이고, 디스플레이 성능에 맞는 색역이 "BT.2020 = ITUR2020"일 때, 전송 비디오 데이터의 색역은 "BT.709-5"로부터 "BT.2020"로 변환된다. 전송 비디오 데이터의 색역이 디스플레이 성능에 맞는 넓은 색역과 동일할 때, 색역 변환 유닛(211a)은 실질적으로 아무것도 하지 않고, 입력 데이터를 그대로 출력한다는 점에 주목한다.
휘도 매핑 유닛(212a)은 전송 비디오 데이터에 대해 그것의 동적 범위 정보에 기초하여 HDR 디스플레이 성능에 맞게 휘도 매핑을 수행한다. 휘도 매핑 유닛(212a)은 도 13에 도시한 바와 같이 전광 변환 유닛(EOTF 유닛)(221)과 광전 변환 유닛(OETF 유닛)(222)의 직렬 회로로 구성된다.
전광 변환 유닛(EOFT 유닛)(221)은 입력 전송 비디오 데이터에 대해 이 전송 비디오 데이터에 적용되는 광전 변환 특성(OETF 특성)을 선형 광 공간 특성으로 변화하게 변환을 수행한다. 광전 변환 유닛(OETF 유닛)(222)은 전광 변환 유닛(221)의 출력 데이터에 대해 HDR 전광 변환 유닛(214)의 전광 변환 특성(EOTF 특성)과는 반대의 광전 변환 특성(OETF 특성)에 기초하여 광전 변환을 수행한다.
여기서, 입력 전송 비디오 데이터가 SDR 전송 비디오 데이터인 경우에 대해 설명한다. 이 경우에, 휘도 매핑 유닛(212a)은 휘도 매핑 프로세스를 수행하여 SDR 전송 비디오 데이터를 HDR 전송 비디오 데이터로 변환한다. 이 경우에, 도 14의 (a)에 도시한 바와 같이 SDR 전광 변환 유닛(231)과 HDR 광전 변환 유닛(232)의 직렬 회로로 구성된 휘도 매핑 유닛(212a)은 기준 밝기 레벨에 기초하여 SDR 비트 공간으로부터 HDR 비트 공간으로의 변환을 수행한다.
SDR 전광 변환 유닛(231)은 SDR 전송 비디오 데이터에 대해 도 14의 (b)에 화살표 a로 표시된 SDR 전광 변환 특성에 기초하여 전광 변환을 수행한다. 이 경우에, 입력 SDR 전송 비디오 데이터의 휘도 레벨들 0 내지 100%는 선형 광학 공간에서 최대 100nits(=100cd/㎡)이다. 여기서, "100nits"는 기준 레벨의 밝기를 나타낸다. 기준 레벨의 밝기는 100nits로 한정되는 것이 아니라, 예를 들면, 200nits 또는 300nits일 수 있다는 점에 주목한다. 이것은 또한 다음의 다른 예에도 적용된다.
또한, HDR 광전 변환 유닛(232)은 도 14의 (c)에 화살표 b로 표시된 HDR 광전 변환 특성에 기초하여 광전 변환을 수행한다. 이 경우에, SDR 전광 변환 유닛(231)의 출력 데이터는 0 내지 N*100%의 전송 범위에서 0 내지 100%에 재할당된다. 따라서, 완전히 인코딩된 비트로 표현된 SDR 전송 비디오 데이터는 HDR 전송 비디오 데이터로 재할당된 후에는 전송 범위의 부분 상에 집약된다.
다음에, 입력 전송 비디오 데이터가 HDR 전송 비디오 데이터이고 HDR 전송 비디오 데이터가 갖는 광전 변환 특성(OETF 특성)이 HDR 전광 변환 유닛(214)의 전광 변환 특성(EOTF 특성)의 역 특성과 일치하지 않는 경우에 대해 설명한다. HDR 전송 비디오 데이터가 갖는 광전 변환 특성이 HDR 전광 변환 유닛(214)의 전광 변환 특성의 역 특성과 일치할 때, 휘도 매핑 유닛(212a)은 실질적으로 아무것도 하지 않고, 입력 데이터를 그대로 출력한다는 점에 주목한다.
이 경우에, 휘도 매핑 유닛(212a)은 휘도 매핑 프로세스를 수행하여 데이터를 HDR1 전송 비디오 데이터로부터 HDR2 전송 비디오 데이터로 변환한다. 이 경우에, 휘도 매핑 유닛(212a)은 도 15의 (a)에 도시한 바와 같이 HDR1 전광 변환 유닛(241)과 HDR2 광전 변환 유닛(242)의 직렬 회로로 구성된다.
HDR1 전광 변환 유닛(241)은 HDR1 전송 비디오 데이터에 대해 도 15의 (b)에 화살표 a로 표시된 HDR1 전광 변환 특성에 기초하여 전광 변환을 수행한다. 이 경우에, 입력 HDR1 전송 비디오 데이터의 0 내지 N*100%의 전송 범위의 휘도 레벨들은 선형 광학 공간에서 최대 N*100nits(= K1)에 대응한다.
또한, 이 경우에 도시된 바와 같이 HDR1의 N*100%가 HDR2의 M*100%보다 클 때, HDR1 전광 변환 유닛(241)은 전광 변환 입력 신호들에 대해 100 내지 N*100% 범위의 휘도 레벨들의 신호가 니 곡선(도 15의 (b)의 화살표 b로 표시)으로 표시된 바와 같이 100 내지 M*100% 범위의 휘도 레벨들을 갖도록 휘도 변환을 수행한다. 도 15의 (b)에서, "K1"는 N*100%에 해당하는 휘도 값 [nits]을 나타내고, "K2"는 M*100%에 해당하는 휘도 값 [nits]을 나타낸다는 점에 주목한다. 도시되지 않지만, HDR1의 N*100%가 HDR2의 M*100% 이하일 때 이러한 휘도 변환은 수행되지 않는다는 점에 주목한다.
또한, HDR2 광전 변환 유닛(242)은 도 15의 (c)에 화살표 c로 표시된 HDR2 광전 변환 특성에 기초하여 광전 변환을 수행한다. 이 경우에, HDR1 전광 변환 유닛(241)의 출력 데이터가 0 내지 M*100%의 전체 전송 범위에 재할당된다.
도 12로 돌아오면, 정지 이미지 디코더(206)로부터 공급되는 이미지 데이터는 색역 변환 유닛(211b)과 휘도 매핑 유닛(212b)의 직렬 회로에 공급된다. 색역 변환 유닛(211b)은 그것의 색역 정보에 기초하여 이미지 데이터의 색역을 디스플레이 성능에 맞게 넓은 색역으로 변환한다. 휘도 매핑 유닛(212b)은 그것의 동적 범위 정보에 기초하여 이 이미지 데이터에 대해 HDR 디스플레이 성능에 맞게 휘도 매핑을 수행한다. 색역 변환 유닛(211b) 및 휘도 매핑 유닛(212b)의 상세들은 위에 설명된 전송 비디오 데이터에 대응하는 색역 변환 유닛(211a) 및 휘도 매핑 유닛(212a)의 것들과 유사하므로, 그들은 생략된다는 점에 주목한다.
또한, 자막 디코더(207)로부터 공급되는 자막 데이터는 색역 변환 유닛(211c)과 휘도 매핑 유닛(212c)의 직렬 회로에 공급된다. 색역 변환 유닛(211c)은 그것의 색역 정보에 기초하여 자막 데이터의 색역을 디스플레이 성능에 맞게 넓은 색역으로 변환한다. 휘도 매핑 유닛(212c)은 그것의 동적 범위 정보에 기초하여 자막 데이터에 대해 HDR 디스플레이 성능에 맞게 휘도 매핑을 수행한다. 색역 변환 유닛(211c) 및 휘도 매핑 유닛(212c)에 대한 상세들은 위에 설명된 전송 비디오 데이터에 대응하는 색역 변환 유닛(211a) 및 휘도 매핑 유닛(212a)의 것들과 유사하므로, 그들은 생략된다는 점에 주목한다.
또한, 데이터 서비스 디코더(205) 또는 OSD 유닛(208)으로부터 공급되는 그래픽 데이터는 색역 변환 유닛(211d)과 휘도 매핑 유닛(212d)의 직렬 회로에 공급된다. 색역 변환 유닛(211d)은 그것의 색역 정보에 기초하여 그래픽 데이터의 색역을 디스플레이 성능에 맞게 넓은 색역으로 변환한다. 휘도 매핑 유닛(212d)은 그것의 동적 범위 정보에 기초하여 그래픽 데이터에 대해 HDR 디스플레이 성능에 맞게 휘도 매핑을 수행한다. 색역 변환 유닛(211d) 및 휘도 매핑 유닛(212d)에 대한 상세들은 위에 설명된 전송 비디오 데이터에 대응하는 색역 변환 유닛(211a) 및 휘도 매핑 유닛(212a)의 것들과 유사하므로, 그들은 생략된다는 점에 주목한다.
색역 변환 및 휘도 매핑의 프로세스들이 수행된 전송 비디오 데이터, 이미지 데이터, 자막 데이터, 및 그래픽 데이터는 합성 유닛(213)에 공급된다. 합성 유닛(213)의 상세한 설명은 생략되지만, 합성 유닛은 화면 구성 정보에 기초하여 데이터에 대해 합성을 수행한다. 합성 유닛(213)의 출력 데이터는 HDR 전광 변환 유닛(214)에 공급된다. HDR 전광 변환 유닛(214)은 합성 유닛(213)의 출력 데이터에 대해 HDR 전광 변환 특성에 기초하여 전광 변환을 수행하고, 그럼으로써 넓은 색역을 갖는 HDR 디스플레이 성능에 적절한 디스플레이 이미지 데이터를 획득한다.
모니터(210)가 넓은 색역을 갖는 HDR 디스플레이 성능을 가지며 화면 합성 처리 유닛(209)이 넓은 색역을 갖는 HDR 디스플레이 성능에 적절한 디스플레이 이미지 데이터를 획득하는 예가 설명되었다는 점에 주목한다. 모니터(210)가 sRGB와 같은 일반 색역을 갖는 SDR 디스플레이 성능을 가질 때, 화면 합성 처리 유닛(209)은 일반 색역을 갖는 SDR 디스플레이 성능에 적절한 디스플레이 이미지 데이터를 획득하도록 구성된다.
이 경우에, 도 12에 도시한 화면 합성 처리 유닛(209)의 각각의 색역 변환 유닛들은 색역 정보에 기초하여 각각의 데이터의 색역을 디스플레이 성능에 맞는 일반 색역으로 변환한다. 또한, 도 12에 도시한 화면 합성 처리 유닛(209)의 각각의 휘도 매핑 유닛들은 동적 범위 정보에 기초하여 각각의 데이터에 대해 SDR 디스플레이 성능에 맞게 휘도 매핑을 수행한다. 도 12에 도시한 화면 합성 처리 유닛(209)에서 HDR 전광 변환 유닛(214)은 SDR 전광 변환 유닛로서 기능한다는 점에 주목한다.
여기서, 입력 전송 비디오 데이터가 HDR 전송 비디오 데이터인 경우에 대해 설명한다. 이 경우에, 휘도 매핑 유닛들은 휘도 매핑 프로세스를 수행하고, 그럼으로써 HDR 전송 비디오 데이터를 SDR 전송 비디오 데이터로 변환한다. 이 경우에, 각각의 휘도 매핑 유닛들은 도 16의 (a)에 도시한 바와 같이 HDR 전광 변환 유닛(251)과 SDR 광전 변환 유닛(252)의 직렬 회로로 구성된다.
HDR 전광 변환 유닛(251)은 HDR 전송 비디오 데이터에 대해 도 16의 (b)에 화살표 a로 표시된 HDR 전광 변환 특성에 기초하여 전광 변환을 수행한다. 이 경우에, 입력 HDR 전송 비디오 데이터의 0 내지 N*100%의 전송 범위의 휘도 레벨들은 선형 광학 공간에서 최대 N*100nits(=100cd/㎡)이다.
또한, 이 경우에, HDR 전광 변환 유닛(251)은 또한 전광 변환 입력 신호에 대해 100%보다 낮은 P%의 휘도 레벨로부터 N*100%의 휘도 레벨까지의 범위의 신호가 니 곡선(도 16의 (b)에 화살표 b로 표시)으로 표시된 것과 같이 SDR OETF에서 100% 이하의 전송 범위의 휘도 레벨들을 갖도록 휘도 변환을 수행한다.
또한, SDR 광전 변환 유닛(252)은 도 16의 (c)에 화살표 c로 표시된 SDR 광전 변환 특성에 기초하여 광전 변환을 수행한다. 이 경우에, HDR 전광 변환 유닛(251)의 출력 데이터가 0 내지 100%의 전체 전송 범위에 재할당된다.
도 10에 도시한 서비스 수신 디바이스(200)의 동작을 간단하게 설명한다. 수신 유닛(202)은 방송 파 또는 네트워크의 패킷들에 실려 서비스 송신 시스템(100)으로부터 송신되는 트랜스포트 스트림(MPEG-2 트랜스포트 스트림 또는 MMT의 트랜스포트 스트림)을 수신한다. 트랜스포트 스트림은 컨테이너 디코더(203)에 공급된다. 컨테이너 디코더(203)는 트랜스포트 스트림으로부터 비디오 스트림 VS, 데이터 서비스 스트림 DS, 및 자막 스트림 SS를 추출한다.
또한, 컨테이너 디코더(203)는 컨테이너로서 기능하는 트랜스포트 스트림에 삽입되는 다양한 종류들의 정보를 추출하고, 그 정보를 제어 유닛(201)에 송신한다. 이 정보는 또한 위에 설명된 HDR 비디오 기술자(도 5 참조) 및 HDR 자막 기술자(도 7 참조)를 포함한다.
제어 유닛(201)은 HDR 비디오 기술자의 기술에 기초하여 비디오 스트림 VS에 포함된 전송 비디오 데이터가 SDR 전송 비디오 데이터인지 HDR 전송 비디오 데이터인지를 인식한다. 또한, 제어 유닛(201)은 HDR 자막 기술자의 기술에 기초하여, 자막 스트림 SS가 갖는 자막 데이터의 종류, 즉, 그것의 종류가 SDR 데이터인지 HDR 데이터인지를 인식한다.
컨테이너 디코더(203)에 의해 추출된 비디오 스트림 VS는 비디오 디코더(204)에 공급된다. 비디오 디코더(204)는 비디오 스트림 VS 대해 디코딩 프로세스를 수행하고, 그럼으로써 전송 비디오 데이터뿐만 아니라 전송 비디오 데이터의 동적 범위 정보 및 색역 정보를 획득한다.
또한, 컨테이너 디코더(203)에 의해 추출된 데이터 서비스 스트림 DS는 데이터 서비스 디코더(205)에 공급된다. 데이터 서비스 디코더(205)는 데이터 서비스 스트림 DS에 대해 디코딩 프로세스를 수행하고, 그럼으로써 그래픽 데이터(비트맵 데이터)뿐만 아니라 그래픽 데이터의 동적 범위 정보 및 색역 정보를 획득하고, 또한 이미지 데이터의 인코딩된 데이터를 획득한다.
데이터 서비스 디코더(205)에 의해 획득된 이미지 데이터의 인코딩된 데이터는 정지 이미지 디코더(206)에 공급된다. 정지 이미지 디코더(206)는 인코딩된 데이터에 대해 디코딩 프로세스를 수행하고, 그럼으로써 이미지 데이터뿐만 아니라 이미지 데이터의 동적 범위 정보 및 색역 정보를 획득한다.
또한, 컨테이너 디코더(203)에 의해 추출된 자막 스트림 SS는 자막 디코더(207)에 공급된다. 자막 디코더(207)는 자막 스트림 SS에 대해 디코딩 프로세스를 수행하고, 그럼으로써 자막 데이터(비트맵 데이터)뿐만 아니라 자막 데이터의 동적 범위 정보 및 색역 정보를 획득한다.
비디오 디코더(204)에 의해 획득된 전송 비디오 데이터, 데이터 서비스 디코더(205)에 의해 획득된 그래픽 데이터, 정지 이미지 디코더(206)에 의해 획득된 이미지 데이터 자막 디코더(207)에 의해 획득된 자막 데이터, 및 OSD 유닛(208)에 의해 획득된 그래픽 데이터는 그들의 동적 범위 정보 및 색역 정보와 함께 화면 합성 처리 유닛(209)에 공급된다.
화면 합성 처리 유닛(209)은 데이터에 대해 합성을 수행하고, 그럼으로써 모니터(210)의 디스플레이 성능에 적절한 디스플레이 이미지 데이터를 생성한다. 이 경우에, 각각의 데이터에 대해 데이터의 색역 정보에 기초하여 디스플레이 성능에 맞게 색역 변환 프로세스가 수행되고, 또한 데이터의 동적 범위 정보에 기초하여 디스플레이 성능에 맞게 휘도 매핑 프로세스가 수행된 후에, 합성이 수행된다. 화면 합성 처리 유닛(209)에 의해 생성된 디스플레이 이미지 데이터는 모니터(210)에 공급되고, 모니터(210)는 디스플레이 이미지 데이터에 기초하여 이미지를 디스플레이한다.
위에 설명된 바와 같이, 도 1에 도시한 송신 및 수신 시스템(10)에서, 서비스 송신 시스템(100)은 각각의 컴포넌트 스트림들(비디오 스트림 VS, 데이터 서비스 스트림 DS, 및 자막 스트림 SS)에 각각의 컴포넌트 스트림이 갖는 컴포넌트 데이터(전송 비디오 데이터, 이미지 데이터, 그래픽 데이터, 및 자막 데이터)의 동적 범위 정보를 삽입한다. 그러므로, 수신 측은 각각의 컴포넌트 데이터에 대해 그것의 동적 범위 정보에 기초하여 디스플레이 성능에 맞게 휘도 매핑 프로세스를 수행하고그에 대해 합성을 수행하여 출력 데이터를 획득한다.
이 경우에, 이 출력 데이터에 대해 수행된 전광 변환의 특성이 고정될 수 있기 때문에(도 12의 HDR 전광 변환 유닛(214) 참조), 전광 변환 특성의 전환에 의해 야기되는 이미지 왜곡의 발생이 방지될 수 있다. 예를 들어, 비디오 데이터에 기초한 이미지가 그래픽 디스플레이과 함께 디스플레이될 때, 비디오 데이터에 기초한 이미지가 SDR로부터 HDR로 또는 HDR로부터 SDR로 전환되어도, 그래픽 디스플레이는 색과 밝기의 변화를 보이지 않는다. 또한, 그 경우에, 각각의 컴포넌트 데이터에 대해 디스플레이 성능에 맞게 휘도 매핑 프로세스가 수행되므로, 컴포넌트 데이터에 기초한 디스플레이가 항상 적절한 휘도 상태로 수행될 수 있다.
예를 들어, 도 17의 (a) 및 (b)는 방송 서비스들 중 하나로서 제공되는 이른바 "d 버튼" 조작을 통한 그래픽 디스플레이의 예들을 도시한다. 오른쪽의 작은 창에 전송 비디오 데이터에 기초한 동적 이미지가 디스플레이되고 왼쪽 아래에 이미지 데이터에 기초한 정지 이미지가 디스플레이된다.
도 17의 (a)는 전송 비디오 데이터가 SDR 전송 비디오 데이터인지 HDR 전송 비디오 데이터인지에 따라 전송 비디오 데이터에 대해 수행되는 전광 변환의 특성이 전환되는 경우의 예이다. 이 경우에, SDR 이미지 디스플레이와 HDR 이미지 디스플레이 간의 전환 시 그래픽 디스플레이의 색상과 휘도가 영향을 받는다.
도 17의 (b)는 본 기술의 실시예에서와 같이, 전송 비디오 데이터가 SDR 전송 비디오 데이터인지 HDR 전송 비디오 데이터인지에 관계없이 전송 비디오 데이터에 대해 수행되는 전광 변환의 특성이 고정되는 경우의 예이다. 이 경우에, SDR 이미지 디스플레이와 HDR 이미지 디스플레이 간의 전환시 그래픽 디스플레이의 색상과 휘도가 영향을 받지 않는다.
또한, 도 1에 도시한 송신 및 수신 시스템(10)에서, 서비스 송신 시스템(100)은 컴포넌트 스트림들에 각각의 컴포넌트 스트림이 갖는 컴포넌트 데이터의 색역 정보를 삽입한다. 그러므로, 수신 측은 컴포넌트 데이터에 대해 그것의 색역 정보에 기초하여 디스플레이 성능에 맞게 색역 변환 및 그에 대한 합성을 수행함으로써 출력 데이터를 획득할 수 있으므로, 컴포넌트 데이터에 기초한 디스플레이가 항상 적절한 색상 상태로 수행될 수 있다.
2. 변형예
위에 설명된 실시예에서 서비스 송신 시스템(100) 및 서비스 수신 디바이스(200)로 구성된 송신 및 수신 시스템(10)이 소개되었지만, 본 기술이 적용될 수 있는 송신 및 수신 시스템의 구성은 이것으로 한정되는 것은 아니라는 점에 주목한다. 예를 들어, 서비스 수신 디바이스(200)는 예를 들어, 고화질 멀티미디어 인터페이스(HDMI)와 같은 디지털 인터페이스로 연결된 셋톱 박스(STB) 및 모니터로 구성될 수 있다. "HDMI"는 등록 상표라는 점에 주목한다.
또한, 위에 설명된 실시예에서 컨테이너가 MPEG-2 TS(MPEG-2 트랜스포트 스트림) 또는 MPEG 미디어 트랜스포트(MMT)의 트랜스포트 스트림인 예가 소개되었다. 그러나, 본 기술이 적용될 수 있는 컨테이너는 이로 한정되는 것이 아니라, MP4와 같은 다른 포맷의 컨테이너가 사용될 수 있다.
본 기술 분야의 통상의 기술자들은 다양한 변형들, 조합들, 부조합들 및 변화들이 그들이 첨부된 청구범위 또는 그것의 등가물의 범위 내에 있는 한 설계 요건들 및 다른 인자들에 따라 이루어질 수 있다는 것을 이해하여야 한다.
부가적으로, 본 기술은 또한 다음과 같이 구성될 수 있다.
(1)
송신 디바이스로서,
복수 종류의 전송 비디오 데이터 간에 전환하여 획득된 전송 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 갖는 미리 결정된 수의 제2 컴포넌트 스트림들을 포함하는 미리 결정된 포맷의 컨테이너를 송신하는 송신 유닛; 및
상기 컴포넌트 스트림들에 각각의 컴포넌트 스트림들이 갖는 컴포넌트 데이터의 동적 범위 정보를 삽입하는 정보 삽입 유닛
을 포함하는 송신 디바이스.
(2)
제(1)항에 있어서,
상기 정보 삽입 유닛은 상기 컴포넌트 스트림들에 각각의 상기 컴포넌트 스트림들이 갖는 상기 컴포넌트 데이터의 색역 정보를 추가로 삽입하는 송신 디바이스.
(3)
제(1)항 또는 제(2)항에 있어서,
상기 컨테이너에 포함된 상기 제1 컴포넌트 스트림이 갖는 전송 비디오 데이터의 종류를 나타내는 식별 정보를, 그 식별 정보가 전환 타이밍보다 미리 결정된 시간 양 이상만큼 빠른 타이밍으로부터의 상기 전환 후에 상기 전송 비디오 데이터의 종류를 나타내도록, 상기 컨테이너의 계층에 삽입하는 다른 정보 삽입 유닛을 추가로 포함하는 송신 디바이스.
(4)
제(1)항 내지 제(3)항 중 어느 한 항에 있어서,
상기 미리 결정된 수의 제2 컴포넌트 스트림들은 데이터 방송 스트림 및/또는 자막 스트림을 포함하는 송신 디바이스.
(5)
송신 방법으로서,
송신 유닛에 의해, 복수 종류의 전송 비디오 데이터 간에 전환하여 획득된 전송 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 갖는 미리 결정된 수의 제2 컴포넌트 스트림들을 포함하는 미리 결정된 포맷의 컨테이너를 송신하는 단계; 및
상기 컴포넌트 스트림들에 각각의 상기 컴포넌트 스트림들이 갖는 컴포넌트 데이터의 동적 범위 정보를 삽입하는 단계
를 포함하는 송신 방법.
(6)
수신 디바이스로서,
복수 종류의 전송 비디오 데이터 간에 전환하여 획득된 전송 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 갖는 미리 결정된 수의 제2 컴포넌트 스트림들을 포함하는 미리 결정된 포맷의 컨테이너를 수신하는 수신 유닛; 및
각각의 상기 컴포넌트 스트림들을 디코딩하여, 복수의 컴포넌트 데이터를 획득한 다음에, 상기 획득된 복수의 컴포넌트 데이터의 합성을 수행함으로써 출력 데이터를 획득하는 처리 유닛을 포함하고,
상기 컴포넌트 스트림들에 각각의 상기 컴포넌트 스트림들이 갖는 상기 컴포넌트 데이터의 동적 범위 정보가 삽입되고,
상기 처리 유닛은 각각의 상기 컴포넌트 데이터에 대해 각각의 상기 컴포넌트 데이터의 상기 동적 범위 정보에 기초하여 디스플레이 성능에 맞게 휘도 매핑 프로세스를 수행한 다음에, 상기 컴포넌트 데이터의 합성을 수행함으로써 상기 출력 데이터를 획득하는 수신 디바이스.
(7)
제(6)항에 있어서,
상기 컴포넌트 스트림들에 각각의 상기 컴포넌트 스트림들이 갖는 상기 컴포넌트 데이터의 색역 정보가 삽입되고,
상기 처리 유닛은 각각의 상기 컴포넌트 데이터에 대해 각각의 상기 컴포넌트 데이터의 상기 색역 정보에 기초하여 디스플레이 성능에 맞게 색역 변환 프로세스를 수행한 다음에, 상기 컴포넌트 데이터의 합성을 수행함으로써 상기 출력 데이터를 획득하는 수신 디바이스.
(8)
수신 방법으로서,
수신 유닛에 의해, 복수 종류의 전송 비디오 데이터 간에 전환하여 획득된 전송 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 갖는 미리 결정된 수의 제2 컴포넌트 스트림들을 포함하는 미리 결정된 포맷의 컨테이너를 수신하는 단계; 및
각각의 상기 컴포넌트 스트림들을 디코딩하여, 복수의 컴포넌트 데이터를 획득한 다음에, 상기 획득된 복수의 컴포넌트 데이터의 합성을 수행함으로써 출력 데이터를 획득하는 단계를 포함하고,
상기 컴포넌트 스트림들에 각각의 상기 컴포넌트 스트림들이 갖는 상기 컴포넌트 데이터의 동적 범위 정보가 삽입되고,
상기 출력 데이터는 각각의 상기 컴포넌트 데이터에 대해 각각의 상기 컴포넌트 데이터의 상기 동적 범위 정보에 기초하여 디스플레이 성능에 맞게 휘도 매핑 프로세스를 수행한 다음에, 상기 컴포넌트 데이터의 합성을 수행함으로써 획득되는 수신 방법.
(9)
송신 디바이스로서,
복수 종류의 비디오 데이터 간에 전환하여 획득된 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 포함하는 적어도 하나의 제2 컴포넌트 스트림을 포함하는 미리 결정된 포맷의 정보를 송신하고;
상기 제1 컴포넌트 스트림에 상기 컴포넌트 데이터의 동적 범위 정보를 삽입하고 상기 적어도 하나의 제2 컴포넌트 스트림 각각에 상기 다른 컴포넌트 스트림의 동적 범위 정보를 삽입하도록
구성된 회로
를 포함하는 송신 디바이스.
(10)
제(9)항에 있어서,
상기 정보는 상기 미리 결정된 포맷의 컨테이너인 송신 디바이스.
(11)
제(10)항에 있어서,
상기 미리 결정된 포맷의 상기 컨테이너는 MPEG-2 트랜스포트 스트림(TS) 또는 MPEG 미디어 트랜스포트(MMT)의 트랜스포트 스트림인 송신 디바이스.
(12)
제(11)항에 있어서,
상기 회로는 상기 제1 컴포넌트 스트림에 상기 컴포넌트 데이터의 색역 정보를 삽입하고 상기 적어도 하나의 제2 컴포넌트 스트림 각각에 상기 다른 컴포넌트 데이터의 색역 정보를 삽입하도록 추가로 구성되는 송신 디바이스.
(13)
제(11)항에 있어서,
상기 회로는 상기 제1 컴포넌트 스트림에 식별 정보를 삽입하도록 추가로 구성되고, 상기 식별 정보는 전환 이벤트 전에 미리 결정된 시간 양에서 발생하는 상기 제1 컴포넌트 스트림 내의 위치에 포함되고, 상기 식별 정보는 상기 전환 이벤트 후에 상기 제1 컴포넌트 스트림 내에 포함된 비디오 데이터의 종류를 식별하고, 상기 전환 이벤트는 한 종류의 비디오 데이터를 다른 종류의 비디오 데이터로 전환하는 송신 디바이스.
(14)
제(11)항에 있어서
상기 적어도 하나의 제2 컴포넌트 스트림은 데이터 방송 스트림 및/또는 자막 스트림을 포함하는 송신 디바이스.
(15)
송신 방법으로서,
송신기에 의해, 복수 종류의 비디오 데이터 간에 전환하여 획득된 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 포함하는 적어도 하나의 제2 컴포넌트 스트림을 포함하는 미리 결정된 포맷의 정보를 송신하는 단계; 및
회로에 의해, 상기 제1 컴포넌트 스트림에 상기 컴포넌트 데이터의 동적 범위 정보를 삽입하고 상기 적어도 하나의 제2 컴포넌트 스트림 각각에 상기 다른 컴포넌트 스트림의 동적 범위 정보를 삽입하는 단계
를 포함하는 송신 방법.
(16)
수신 디바이스로서,
복수 종류의 비디오 데이터 간에 전환하여 획득된 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 포함하는 적어도 하나의 제2 컴포넌트 스트림을 포함하는 미리 결정된 포맷의 정보를 수신하도록 구성된 수신기; 및
출력 데이터를 획득하도록 상기 제1 컴포넌트 스트림 및 상기 적어도 하나의 제2 컴포넌트 스트림을 디코딩하도록 구성된 회로를 포함하고, 상기 회로는
상기 제1 컴포넌트 스트림으로부터 상기 컴포넌트 데이터의 동적 범위 정보를 획득하고 상기 다른 컴포넌트 데이터로부터 상기 적어도 하나의 제2 컴포넌트 스트림의 다른 동적 범위 정보를 획득하고,
상기 컴포넌트 데이터의 상기 동적 범위 정보 및 상기 다른 컴포넌트 데이터의 상기 다른 동적 범위 정보에 기초하여 상기 컴포넌트 데이터에 대해 디스플레이 성능에 맞게 휘도 매핑 프로세스를 수행하고, 상기 휘도 매핑 프로세스의 각각의 출력들을 조합함으로써 상기 출력 데이터를 획득하도록
구성되는 수신 디바이스.
(17)
제(16)항에 있어서,
상기 출력 데이터와 연관된 이미지를 디스플레이하도록 구성된 디스플레이를 추가로 포함하는 수신 디바이스.
(18)
제(16)항에 있어서,
상기 컴포넌트 데이터의 색역 정보는 상기 제1 컴포넌트 스트림에 포함되고 다른 색역 정보는 상기 적어도 하나의 제2 컴포넌트 스트림에 포함되고,
상기 회로는 상기 색역 정보 및 상기 다른 색역 정보에 기초하여 색역 변환 프로세스를 디스플레이 성능에 맞게 수행하고, 다음에 상기 컴포넌트 데이터와 상기 다른 컴포넌트 데이터를 조합함으로써 상기 출력 데이터를 획득하도록 구성되는 수신 디바이스.
(19)
수신 방법으로서,
수신기로, 복수 종류의 비디오 데이터 간에 전환하여 획득된 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 포함하는 적어도 하나의 제2 컴포넌트 스트림을 포함하는 미리 결정된 포맷의 정보를 수신하는 단계; 및
출력 데이터를 획득하도록 상기 제1 컴포넌트 스트림 및 상기 적어도 하나의 제2 컴포넌트 스트림을 디코딩하는 단계를 포함하고,
상기 디코딩 단계는 상기 제1 컴포넌트 스트림으로부터 상기 컴포넌트 데이터의 동적 범위 정보를 획득하고 상기 다른 컴포넌트 데이터로부터 상기 적어도 하나의 제2 컴포넌트 스트림의 다른 동적 범위 정보를 획득하는 단계, 및
상기 컴포넌트 데이터의 상기 동적 범위 정보 및 상기 다른 동적 범위 정보의 상기 다른 컴포넌트 데이터에 기초하여 상기 컴포넌트 데이터에 대해 디스플레이 성능에 맞게 휘도 매핑 프로세스를 수행하고, 상기 휘도 매핑 프로세스의 각각의 출력들을 조합함으로써 상기 출력 데이터를 획득하는 단계를 포함하는 수신 방법.
본 기술의 주요 특징은 컴포넌트 스트림들에 각각의 컴포넌트 스트림들이 갖는 컴포넌트 데이터의 동적 범위 정보가 삽입되어 송신됨으로써, 수신 측이 전광 변환의 특성을 고정할 수 있으므로, 전광 변환 특성의 전환에 의해 야기되는 이미지 왜곡의 발생이 방지될 수 있다(도 2 참조).
10 송신 및 수신 시스템
100 서비스 송신 시스템
101 제어 유닛
102 비디오 인코더
103 데이터 서비스 인코더
104 정지 이미지 인코더
105 자막 인코더
106 컨테이너 인코더
107 송신 유닛
200 서비스 수신 디바이스
201 제어 유닛
202 수신 유닛
203 컨테이너 디코더
204 비디오 디코더
205 데이터 서비스 디코더
206 정지 이미지 디코더
207 자막 디코더
208 OSD 유닛
209 화면 합성 처리 유닛
210 모니터
211a, 211b, 211c, 211d 색역 변환 유닛
212a, 212b, 212c, 212d 휘도 매핑 유닛
213 합성 유닛
214 HDR 전광 변환 유닛
221 전광 변환 유닛(EOTF 유닛)
222 광전 변환 유닛(OETF 유닛)
231 SDR 전광 변환 유닛
232 HDR 광전 변환 유닛
241 HDR1 전광 변환 유닛
242 HDR2 광전 변환 유닛
251 HDR 전광 변환 유닛
252 SDR 광전 변환 유닛

Claims (11)

  1. 송신 디바이스로서,
    복수 종류의 비디오 데이터 간에 전환하여 획득된 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 포함하는 적어도 하나의 제2 컴포넌트 스트림을 포함하는 미리 결정된 포맷의 정보를 송신하고;
    상기 제1 컴포넌트 스트림에 상기 컴포넌트 데이터의 동적 범위 정보를 삽입하고 상기 적어도 하나의 제2 컴포넌트 스트림 각각에 상기 다른 컴포넌트 데이터의 동적 범위 정보를 삽입하고;
    상기 제1 컴포넌트 스트림에 식별 정보를 삽입하도록
    구성된 회로
    를 포함하고,
    상기 식별 정보는 전환 이벤트 전에 미리 결정된 시간 양에서 발생하는 상기 제1 컴포넌트 스트림 내의 위치에 포함되며, 상기 식별 정보는 상기 전환 이벤트 후에 상기 제1 컴포넌트 스트림 내에 포함된 비디오 데이터의 종류를 식별하고, 상기 전환 이벤트는 한 종류의 비디오 데이터를 다른 종류의 비디오 데이터로 전환하는 송신 디바이스.
  2. 제1항에 있어서,
    상기 정보는 상기 미리 결정된 포맷의 컨테이너인 송신 디바이스.
  3. 제2항에 있어서,
    상기 미리 결정된 포맷의 상기 컨테이너는 MPEG-2 트랜스포트 스트림(transport stream)(TS) 또는 MPEG 미디어 트랜스포트(Media Transport)(MMT)의 트랜스포트 스트림인 송신 디바이스.
  4. 제1항에 있어서,
    상기 회로는 상기 제1 컴포넌트 스트림에 상기 컴포넌트 데이터의 색역 정보를 삽입하고 상기 적어도 하나의 제2 컴포넌트 스트림 각각에 상기 다른 컴포넌트 데이터의 색역 정보를 삽입하도록 추가로 구성되는 송신 디바이스.
  5. 삭제
  6. 제1항에 있어서
    상기 적어도 하나의 제2 컴포넌트 스트림은 데이터 방송 스트림 및/또는 자막 스트림을 포함하는 송신 디바이스.
  7. 송신 방법으로서,
    송신기에 의해, 복수 종류의 비디오 데이터 간에 전환하여 획득된 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 및 다른 컴포넌트 데이터를 포함하는 적어도 하나의 제2 컴포넌트 스트림을 포함하는 미리 결정된 포맷의 정보를 송신하는 단계;
    회로에 의해, 상기 제1 컴포넌트 스트림에 상기 컴포넌트 데이터의 동적 범위 정보를 삽입하고 상기 적어도 하나의 제2 컴포넌트 스트림 각각에 상기 다른 컴포넌트 데이터의 동적 범위 정보를 삽입하는 단계; 및
    상기 회로에 의해, 상기 제1 컴포넌트 스트림에 식별 정보를 삽입하는 단계
    를 포함하고,
    상기 식별 정보는 전환 이벤트 전에 미리 결정된 시간 양에서 발생하는 상기 제1 컴포넌트 스트림 내의 위치에 포함되며, 상기 식별 정보는 상기 전환 이벤트 후에 상기 제1 컴포넌트 스트림 내에 포함된 비디오 데이터의 종류를 식별하고, 상기 전환 이벤트는 한 종류의 비디오 데이터를 다른 종류의 비디오 데이터로 전환하는 송신 방법.
  8. 수신 디바이스로서,
    복수 종류의 비디오 데이터 간에 전환하여 획득된 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 다른 컴포넌트 데이터를 포함하는 적어도 하나의 제2 컴포넌트 스트림, 및 식별 정보를 포함하는 미리 결정된 포맷의 정보를 수신하도록 구성된 수신기 - 상기 식별 정보는 전환 이벤트 전에 미리 결정된 시간 양에서 발생하는 상기 제1 컴포넌트 스트림 내의 위치에 포함되며, 상기 식별 정보는 상기 전환 이벤트 후에 상기 제1 컴포넌트 스트림 내에 포함된 비디오 데이터의 종류를 식별하고, 상기 전환 이벤트는 한 종류의 비디오 데이터를 다른 종류의 비디오 데이터로 전환함 -; 및
    출력 데이터를 획득하기 위해 상기 제1 컴포넌트 스트림 및 상기 적어도 하나의 제2 컴포넌트 스트림을 디코딩하도록 구성된 회로
    를 포함하고, 상기 회로는
    상기 제1 컴포넌트 스트림으로부터 상기 컴포넌트 데이터의 동적 범위 정보를 획득하고 상기 다른 컴포넌트 데이터로부터 상기 적어도 하나의 제2 컴포넌트 스트림의 다른 동적 범위 정보를 획득하고,
    상기 컴포넌트 데이터의 상기 동적 범위 정보 및 상기 다른 컴포넌트 데이터의 상기 다른 동적 범위 정보에 기초하여 상기 컴포넌트 데이터에 대해 디스플레이 성능에 맞게 휘도 매핑 프로세스를 수행하고, 상기 휘도 매핑 프로세스의 각각의 출력들을 조합함으로써 상기 출력 데이터를 획득하도록
    구성되는 수신 디바이스.
  9. 제8항에 있어서,
    상기 출력 데이터와 연관된 이미지를 디스플레이하도록 구성된 디스플레이를 추가로 포함하는 수신 디바이스.
  10. 제8항에 있어서,
    상기 컴포넌트 데이터의 색역 정보는 상기 제1 컴포넌트 스트림에 포함되고 다른 색역 정보는 상기 적어도 하나의 제2 컴포넌트 스트림에 포함되며,
    상기 회로는 상기 색역 정보 및 상기 다른 색역 정보에 기초하여 색역 변환 프로세스를 디스플레이 성능에 맞게 수행하고, 그 후 상기 컴포넌트 데이터와 상기 다른 컴포넌트 데이터를 조합함으로써 상기 출력 데이터를 획득하도록 구성되는 수신 디바이스.
  11. 수신 방법으로서,
    수신기에 의해, 복수 종류의 비디오 데이터 간에 전환하여 획득된 비디오 데이터를, 컴포넌트 데이터로서, 갖는 제1 컴포넌트 스트림, 다른 컴포넌트 데이터를 포함하는 적어도 하나의 제2 컴포넌트 스트림, 및 식별 정보를 포함하는 미리 결정된 포맷의 정보를 수신하는 단계 - 상기 식별 정보는 전환 이벤트 전에 미리 결정된 시간 양에서 발생하는 상기 제1 컴포넌트 스트림 내의 위치에 포함되며, 상기 식별 정보는 상기 전환 이벤트 후에 상기 제1 컴포넌트 스트림 내에 포함된 비디오 데이터의 종류를 식별하고, 상기 전환 이벤트는 한 종류의 비디오 데이터를 다른 종류의 비디오 데이터로 전환함 -; 및
    출력 데이터를 획득하기 위해 상기 제1 컴포넌트 스트림 및 상기 적어도 하나의 제2 컴포넌트 스트림을 디코딩하는 단계
    를 포함하고, 상기 디코딩하는 단계는,
    상기 제1 컴포넌트 스트림으로부터 상기 컴포넌트 데이터의 동적 범위 정보를 획득하고 상기 다른 컴포넌트 데이터로부터 상기 적어도 하나의 제2 컴포넌트 스트림의 다른 동적 범위 정보를 획득하는 단계, 및
    상기 컴포넌트 데이터의 상기 동적 범위 정보 및 상기 다른 동적 범위 정보의 상기 다른 컴포넌트 데이터에 기초하여 상기 컴포넌트 데이터에 대해 디스플레이 성능에 맞게 휘도 매핑 프로세스를 수행하고, 상기 휘도 매핑 프로세스의 각각의 출력들을 조합함으로써 상기 출력 데이터를 획득하는 단계
    를 포함하는 수신 방법.
KR1020187010066A 2015-10-22 2016-10-17 송신 디바이스, 송신 방법, 수신 디바이스, 및 수신 방법 KR102618928B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2015-208445 2015-10-22
JP2015208445A JP6519441B2 (ja) 2015-10-22 2015-10-22 送信装置、送信方法、受信装置および受信方法
PCT/JP2016/080748 WO2017069097A1 (en) 2015-10-22 2016-10-17 Transmission device, transmission method, reception device, and reception method

Publications (2)

Publication Number Publication Date
KR20180069805A KR20180069805A (ko) 2018-06-25
KR102618928B1 true KR102618928B1 (ko) 2023-12-29

Family

ID=57227033

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187010066A KR102618928B1 (ko) 2015-10-22 2016-10-17 송신 디바이스, 송신 방법, 수신 디바이스, 및 수신 방법

Country Status (7)

Country Link
US (2) US10708671B2 (ko)
EP (1) EP3366042B1 (ko)
JP (1) JP6519441B2 (ko)
KR (1) KR102618928B1 (ko)
CN (1) CN108353196B (ko)
BR (1) BR112018007515A2 (ko)
WO (1) WO2017069097A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112017019754A2 (pt) * 2015-03-24 2018-05-29 Sony Corp dispositivos de transmissão e recepçao, e, métodos de transmissão e recepção
EP3451677A1 (en) * 2017-09-05 2019-03-06 Koninklijke Philips N.V. Graphics-safe hdr image luminance re-grading
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
US20220191381A1 (en) * 2020-12-11 2022-06-16 Contrast, Inc. Dynamic transfer function for reversible encoding
WO2023140952A1 (en) * 2022-01-20 2023-07-27 Dolby Laboratories Licensing Corporation Data structure for multimedia applications

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015034306A1 (ko) * 2013-09-09 2015-03-12 엘지전자 주식회사 디지털 방송 시스템에서 고화질 uhd 방송 컨텐츠 송수신 방법 및 장치
WO2015125719A1 (ja) * 2014-02-21 2015-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2013152741A (ru) * 2011-04-28 2015-06-10 Конинклейке Филипс Н.В. Способ и устройство для генерирования сигнала кодирования изображения
WO2012172460A1 (en) * 2011-06-14 2012-12-20 Koninklijke Philips Electronics N.V. Graphics processing for high dynamic range video
EP3151566B1 (en) * 2012-06-29 2021-03-31 GE Video Compression, LLC Video data stream concept
EP3926963A3 (en) 2013-04-30 2022-01-26 Saturn Licensing LLC Transmitting device, transmitting method, receiving device, and receiving method
JP2015008361A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
EP3022935A1 (en) * 2013-07-19 2016-05-25 Koninklijke Philips N.V. Hdr metadata transport
JP6482546B2 (ja) * 2013-07-19 2019-03-13 ラリクス・バイオサイエンス・リミテッド・ライアビリティ・カンパニーＬａｒｉｘ Ｂｉｏｓｃｉｅｎｃｅ， Ｌｌｃ 二重対立遺伝子ノックアウトを生成するための方法および組成物
EP3748975A1 (en) 2014-02-07 2020-12-09 Sony Corporation Transmission device, transmission method, reception device, reception method, display device, and display method
US9973723B2 (en) * 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video
JP6601729B2 (ja) 2014-12-03 2019-11-06 パナソニックＩｐマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
BR112017019754A2 (pt) * 2015-03-24 2018-05-29 Sony Corp dispositivos de transmissão e recepçao, e, métodos de transmissão e recepção
US10244249B2 (en) * 2015-09-21 2019-03-26 Qualcomm Incorporated Fixed point implementation of range adjustment of components in video coding
CN113365069A (zh) 2015-09-23 2021-09-07 艾锐势有限责任公司 存储视频比特流的计算机可读存储装置和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015034306A1 (ko) * 2013-09-09 2015-03-12 엘지전자 주식회사 디지털 방송 시스템에서 고화질 uhd 방송 컨텐츠 송수신 방법 및 장치
WO2015125719A1 (ja) * 2014-02-21 2015-08-27 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
CN108353196B (zh) 2021-09-10
EP3366042A1 (en) 2018-08-29
KR20180069805A (ko) 2018-06-25
US11317170B2 (en) 2022-04-26
WO2017069097A1 (en) 2017-04-27
JP2017085203A (ja) 2017-05-18
US20200374601A1 (en) 2020-11-26
BR112018007515A2 (pt) 2018-12-18
EP3366042B1 (en) 2021-04-28
CN108353196A (zh) 2018-07-31
JP6519441B2 (ja) 2019-05-29
US20180262819A1 (en) 2018-09-13
US10708671B2 (en) 2020-07-07

Similar Documents

Publication Publication Date Title
US11563490B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US11057547B2 (en) Transmitting device, transmitting method, receiving device, and receiving method
JP7384234B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11317170B2 (en) Transmission device, transmission method, reception device, and reception method
KR102477041B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
KR102637361B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6958645B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6658944B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right