KR102547789B1 - 수신 장치, 수신 방법, 송신 장치, 및 송신 방법 - Google Patents
수신 장치, 수신 방법, 송신 장치, 및 송신 방법 Download PDFInfo
- Publication number
- KR102547789B1 KR102547789B1 KR1020177033933A KR20177033933A KR102547789B1 KR 102547789 B1 KR102547789 B1 KR 102547789B1 KR 1020177033933 A KR1020177033933 A KR 1020177033933A KR 20177033933 A KR20177033933 A KR 20177033933A KR 102547789 B1 KR102547789 B1 KR 102547789B1
- Authority
- KR
- South Korea
- Prior art keywords
- subtitle
- video
- data
- color gamut
- stream
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims description 61
- 238000002156 mixing Methods 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 description 174
- 230000005540 biological transmission Effects 0.000 description 69
- 238000010586 diagram Methods 0.000 description 51
- 208000031509 superficial epidermolytic ichthyosis Diseases 0.000 description 21
- 101001073193 Homo sapiens Pescadillo homolog Proteins 0.000 description 20
- 102100035816 Pescadillo homolog Human genes 0.000 description 20
- 230000006870 function Effects 0.000 description 8
- 239000000470 constituent Substances 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 101100243456 Arabidopsis thaliana PES2 gene Proteins 0.000 description 2
- 101000609957 Homo sapiens PTB-containing, cubilin and LRP1-interacting protein Proteins 0.000 description 2
- 101150109471 PID2 gene Proteins 0.000 description 2
- 102100039157 PTB-containing, cubilin and LRP1-interacting protein Human genes 0.000 description 2
- 230000002730 additional effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
- H04N21/4884—Data services, e.g. news ticker for displaying subtitles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/278—Subtitling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
이 기술은 비디오상에 서브타이틀이 중첩될 때 고화질을 유지하는 데 관한 것이다. 수신 장치는 비디오 스트림 및 서브타이틀 스트림을 수신하도록 구성된 회로를 포함한다. 회로는 비디오 스트림을 처리하여 비디오의 비디오 데이터를 취득한다. 회로는 서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 취득한다. 회로는 서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정한다. 서브타이틀 비트맵 데이터의 색역은, 서브타이틀 비트맵 데이터의 색역 식별 정보 및 비디오 데이터의 색역 식별 정보에 기초하여 조정된다. 회로는 또한 비디오상에 색역 조정 서브타이틀 비트맵 이미지를 중첩한다.
Description
본 출원은 2015년 6월 9일자로 출원된 일본 우선권 특허 출원 JP 2015-116893의 이익을 주장하며, 그 전체 내용은 본원에 참조에 의해 통합된다.
본 기술은, 수신 장치, 수신 방법, 송신 장치 및 송신 방법에 관계된 것으로, 특히, 비디오 데이터에 서브타이틀 데이터(subtitle data)를 중첩하는 처리를 행하는 수신 장치 등에 관계된 것이다.
관련 기술 분야에서, 예를 들어, 자막 정보는 DVB(digital video broadcasting)와 같은 방송에서 비트맵 데이터로서 송신된다. 최근, 서브타이틀 정보를 텍스트의 문자 코드, 즉 텍스트 기반으로 송신하는 기술이 제안되어 있다(특허 문헌 1 참조).
관련 기술 분야에 있어서, 비디오 데이터와 서브타이틀 데이터가 각각 별도의 스트림으로 송신되는 경우, 두 데이터 사이의 색역(color gamut) 및 휘도(luminance)에는 명확한 차이가 없다. 따라서, 두 데이터는 중첩시 특별한 고려 없이 결합된다.
예를 들면, 비디오 데이터의 색역이 넓은 색역(예를 들면, ITU-R Rec Bt.2020에 준거)이고, 서브타이틀 데이터의 색역이 좁은 색역(예를 들면, sRGB)인 경우, 높은 비디오 이미지 품질을 유지하기 위해, 서브타이틀 데이터의 색역을 비디오 데이터의 색역으로 조정한 후에 중첩이 수행될 필요가 있을 수 있다.
또한, 비디오 데이터가 HDR(High Dynamic Range)로 생성되고, 서브타이틀 데이터가 SDR(Standard-Level Dynamic Range)로 생성되는 경우에는, 높은 비디오 이미지 품질을 유지하기 위해서, 서브타이틀 데이터를 비디오 데이터의 동적 범위 영역으로 조정한 후에 중첩이 수행될 필요가 있을 수 있다.
본 기술은 서브타이틀 데이터가 비디오 데이터에 중첩될 때 고화질을 유지하는 것에 관계된 것이다.
본 기술의 개념은 비디오 스트림 및 서브타이틀 스트림을 수신하도록 구성된 회로를 포함하는 수신 장치이다. 회로는 비디오 스트림을 처리하여 비디오의 비디오 데이터를 얻도록 구성된다. 회로는 서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 얻도록 구성된다. 회로는 서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정하도록 구성된다. 서브타이틀 비트맵 데이터의 색역은, 서브타이틀 비트맵 데이터의 색역 식별 정보 및 비디오 데이터의 색역 식별 정보에 기초하여 조정된다. 또한, 회로는 비디오 상에 색역 조정 서브타이틀 비트맵 이미지를 중첩하도록 구성된다.
본 기술의 실시예에 따르면, 비디오 스트림 및 서브타이틀 스트림이 포함된 미리 결정된 포맷의 컨테이너가 회로에 의해 구현되는 수신부에 의해 수신된다. 비디오 데이터는 비디오 스트림을 처리하는 회로에 의해 구현되는 비디오 디코딩부에 의해 획득될 수 있다. 서브타이틀 비트맵 데이터는 서브타이틀 스트림을 처리하는 회로에 의해 구현되는 서브타이틀 디코딩부에 의해 획득될 수 있다.
서브타이틀 비트맵 데이터의 색역 식별 정보 및 비디오 데이터의 색역 식별 정보에 기초하여, 회로에 의해 구현되는 색역 처리부에 의해, 서브타이틀 비트맵 데이터의 색역이 비디오 데이터의 색역으로 조정된다. 또한, 색역 조정 서브타이틀 비트맵 이미지는 회로에 의해 구현되는 비디오 중첩부에 의해 비디오 상에 중첩된다.
예를 들어, 서브타이틀 비트맵 데이터의 색역 식별 정보는 서브타이틀 스트림의 계층 또는 비디오 스트림 및 서브타이틀 스트림을 포함하는 컨테이너의 계층으로부터 얻어진다. 이 경우, 예를 들어, 서브타이틀 비트맵 데이터의 색역 식별 정보가 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 얻어지지 않을 때, 서브타이틀 비트맵 데이터의 색역 식별 정보는 디폴트 범위에 설정된다.
따라서, 본 기술의 실시예에 따르면, 서브타이틀 비트맵 데이터의 색역 식별 정보는, 서브타이틀 비트맵 데이터의 색역 식별 정보 및 비디오 데이터의 색역 식별 정보에 기초하여 비디오 데이터의 색역으로 조정된다. 따라서, 서브타이틀이 비디오 상에 중첩될 때 고화질을 유지할 수 있다.
또한, 본 기술의 실시예에 따르면, 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 비디오 데이터의 휘도의 기준 레벨 이하로 조정하는, 예를 들면, 회로에 의해 구현되는 휘도 처리부를 더 제공하는 것이 가능할 수 있는데, 최대 휘도 레벨은 서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여 조정된다. 이와 같이 서브타이틀 비트맵 데이터의 휘도를 조정함으로써, 서브타이틀이 비디오 상에 중첩될 때 고화질을 유지할 수 있다.
예를 들어, 서브타이틀 비트맵 데이터의 동적 범위 정보는 서브타이틀 스트림의 계층 또는 비디오 스트림 및 서브타이틀 스트림을 포함하는 컨테이너의 계층으로부터 얻어진다. 이 경우, 예를 들면 서브타이틀 비트맵 데이터의 동적 범위는, 서브타이틀 비트맵 데이터의 동적 범위 정보가 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 얻어지지 않을 때 디폴트 범위에 설정된다.
또한, 본 기술의 실시예에 따르면, 예를 들어, 회로에 의해 구현되고, 비디오 디코딩부와 비디오 중첩부 사이에 삽입되고, 휘도 레벨을 색역 조정 서브타이틀 비트맵 이미지가 중첩되는 비디오의 영역에 조정하도록 구성된 비디오 레벨 조정부를 추가로 제공하는 것이 가능할 수 있다. 이와 같이, 비디오의 휘도 레벨을 조정함으로써, 배경 비디오(배경 이미지)의 고휘도 부분에 의해 서브타이틀이 가려지는 것을 방지할 수 있고, 서브타이틀의 가독성을 향상시킬 수 있다.
예를 들어, 비디오 레벨 조정부는, 색역 조정 서브타이틀 비트맵 이미지가 중첩된 비디오 영역에 존재하는 고휘도 화소에 대응하는 비디오의 휘도 레벨을 감소시킬 수 있다. 또한, 예를 들면, 비디오 레벨 조정부는, 비디오 중첩부에서의 비디오 데이터의 혼합 비율이 임계값을 넘었을 때, 비디오 데이터의 휘도 레벨을 조정할 수 있다. 이에 의해, 비디오 데이터의 휘도 레벨을 효율적으로 조정할 수 있다.
본 기술의 실시예에 따라 수신 방법이 제공된다. 방법은 회로에 의해 비디오 스트림 및 서브타이틀 스트림을 수신하는 단계를 포함한다. 방법은 비디오 스트림을 처리하여 비디오의 비디오 데이터를 얻는 단계를 포함한다. 방법은 서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 얻는 단계를 포함한다. 방법은 서브타이틀 비트맵 데이터의 색역을 상기 비디오 데이터의 색역으로 조정하는 단계를 포함한다. 서브타이틀 비트맵 데이터의 색역은, 서브타이틀 비트맵 데이터의 색역 식별 정보 및 비디오 데이터의 색역 식별 정보에 기초하여 조정된다. 방법은 비디오 상에 색역 조정 서브타이틀 비트맵 이미지를 중첩하는 단계를 추가로 포함한다.
또한, 본 기술의 다른 개념은, 비디오 스트림 및 서브타이틀 스트림을 수신하도록 구성된 회로를 포함하는 수신 장치이다. 회로는 비디오 스트림을 처리하여 비디오의 비디오 데이터를 얻도록 구성된다. 회로는 서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 얻도록 구성된다. 회로는 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 비디오 데이터의 휘도의 기준 레벨 이하로 조정하도록 구성된다. 서브타이틀 비트맵 데이터의 최대 휘도 레벨은, 서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여 조정된다. 회로는, 비디오 상에, 휘도 조정된 서브타이틀 비트맵 이미지를 중첩하도록 추가로 구성된다.
본 기술의 실시예에 따르면, 비디오 스트림 및 서브타이틀 스트림이 포함된 미리 결정된 포맷의 컨테이너가 회로에 의해 구현되는 수신부에 의해 수신된다. 비디오 데이터는 비디오 스트림을 처리하는 회로에 의해 구현되는 비디오 디코딩부에 의해 얻어질 수 있다. 서브타이틀 비트맵 데이터는 서브타이틀 스트림을 처리하는 회로에 의해 구현되는 서브타이틀 디코딩부에 의해 획득될 수 있다.
서브타이틀 비트맵 데이터의 최대 휘도 레벨은, 회로에 의해 구현되는 휘도 처리부에 의해, 비디오 데이터의 휘도의 기준 레벨 이하로 조정되고, 서브타이틀 비트맵 데이터의 최대 휘도 레벨은 서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여 조정된다. 휘도 조정된 서브타이틀 비트맵 이미지는 회로에 의해 구현되는 비디오 중첩부에 의해 비디오 상에 중첩된다.
예를 들면, 서브타이틀 비트맵 데이터의 동적 범위 정보는 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 얻어진다. 이 경우, 예를 들면 서브타이틀 비트맵 데이터의 동적 범위는, 서브타이틀 비트맵 데이터의 동적 범위 정보가 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 얻어지지 않을 때 디폴트 범위에 설정된다.
따라서, 본 기술의 실시예에 따르면, 서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여, 서브타이틀 비트맵 데이터의 최대 휘도 레벨은 비디오 데이터의 휘도의 기준 레벨 이하로 조정된다. 따라서, 서브타이틀이 비디오 상에 중첩될 때 고화질을 유지할 수 있다.
한편, 본 기술의 실시예에 따르면, 예를 들면, 회로에 의해 실현되고, 비디오 디코딩부와 비디오 중첩부의 사이에 개재되고, 휘도 조정된 서브타이틀 비트맵 이미지가 중첩되는 비디오 영역에서 휘도 레벨을 조정하도록 구성된 비디오 레벨 조정부를 추가로 제공하는 것이 가능할 수 있다. 이와 같이, 비디오 데이터의 휘도 레벨을 조정함으로써, 비디오의 고휘도 부분에 의해 서브타이틀이 가려지는 것을 방지할 수 있고, 서브타이틀의 가독성을 향상시킬 수 있다.
예를 들면, 비디오 레벨 조정부는 휘도 조정된 서브타이틀 비트맵 이미지가 중첩되는 영역에 존재하는 고휘도 화소에 대응하는 비디오의 휘도 레벨을 감소시킬 수 있다. 또한, 예를 들면, 비디오 레벨 조정부는, 비디오 중첩부에서의 비디오 데이터의 혼합 비율이 임계값을 넘었을 때, 비디오 데이터의 휘도 레벨을 조정할 수 있다. 이에 의해, 비디오 데이터의 휘도 레벨을 효율적으로 조정할 수 있다.
본 기술의 실시예에 따르면, 수신 방법이 제공된다. 방법은 회로에 의해 비디오 스트림 및 서브타이틀 스트림을 수신하는 단계를 포함한다. 방법은 비디오 스트림을 처리하여 비디오의 비디오 데이터를 얻는 단계를 포함한다. 방법은 서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 얻는 단계를 포함한다. 방법은 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 비디오 데이터의 휘도의 기준 레벨 이하로 조정하는 단계를 포함한다. 서브타이틀 비트맵 데이터의 최대 휘도 레벨은, 서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여 조정된다. 방법은 비디오 상에 휘도 조정된 서브타이틀 비트맵 이미지를 중첩하는 단계를 추가로 포함한다.
또한, 본 기술의 다른 개념은 비디오 스트림 및 서브타이틀 스트림을 송신하도록 구성된 회로를 포함하는 송신 장치이다. 회로는 서브타이틀 스트림에 포함된 서브타이틀 데이터에 관계된 색역 식별 정보 및/또는 동적 범위 정보를 서브타이틀 스트림의 계층 및/또는 비디오 스트림 및 서브타이틀 스트림을 포함하는 컨테이너의 계층에 삽입하도록 구성된다.
본 기술의 실시예에 따르면, 비디오 스트림 및 서브타이틀 스트림이 포함되는 미리 결정된 포맷의 컨테이너가 송신된다. 예를 들어, 서브타이틀 데이터는 미리 결정된 포맷의 서브타이틀 텍스트 정보일 수 있다. 서브타이틀 데이터에 관계된 색역 식별 정보 및/또는 동적 범위 정보는 회로에 의해 구현된 정보 삽입부에 의해 서브타이틀 스트림의 계층 및/또는 컨테이너의 계층에 삽입된다.
따라서, 본 기술의 실시예에 따르면, 서브타이틀 스트림의 계층 및/또는 컨테이너의 계층에, 서브타이틀 데이터에 관계된 색역 식별 정보 및/또는 동적 범위 정보가 삽입된다. 따라서, 수신 측은, 이 정보에 기초하여, 비디오 데이터의 색역과 맞추어지는 서브타이틀 비트맵 데이터의 색역의 조정이나, 또는 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 서브타이틀 비트맵 데이터의 최대 휘도 레벨의 조정을 쉽고 적절하게 수행할 수 있다.
본 기술의 실시예에 따르면, 송신 방법이 제공된다. 방법은 회로에 의해 비디오 스트림 및 서브타이틀 스트림을 송신하는 단계를 포함한다. 방법은 서브타이틀 스트림에 포함된 서브타이틀 데이터에 관계된 색역 식별 정보 및/또는 동적 범위 정보를, 서브타이틀 스트림의 계층 및/또는 비디오 스트림 및 서브타이틀 스트림을 포함하는 컨테이너의 계층에 삽입하는 단계를 추가로 포함한다.
본 기술의 실시예에 따르면, 서브타이틀 데이터가 비디오 데이터 상에 중첩될 때 고화질이 유지될 수 있다. 본 명세서에 기술된 상기 효과는 일례에 지나지 않으며, 이것에만 한하지 않고, 추가적 효과들이 마찬가지로 제공될 수 있다.
[도 1] 도 1은 실시예에 따른 송/수신 시스템의 예시적 구성을 도시하는 블록도이다.
[도 2] 도 2는 송신 장치의 예시적 구성을 도시하는 블록도이다.
[도 3] 도 3은 예시적 광전 변환 특성을 도시하는 도면이다.
[도 4] 도 4는 코딩 시스템이 HEVC인 경우의 GOP의 선두 액세스 유닛을 도시하는 도면이다.
[도 5] 도 5는 코딩 시스템이 HEVC인 경우의 선두 액세스 유닛 이외의 GOP의 액세스 유닛을 도시하는 도면이다.
[도 6] 도 6a는 동적 범위/SEI 메시지의 예시적 구조를 도시한 도면이고, 도 6b는 예시적 구조에서 주 정보의 내용을 도시한 도면이다.
[도 7] 도 7은 TTML 구조를 도시한 도면이다.
[도 8] 도 8a 내지 도 8c는 TTML 구조의 선두에 존재하는 메타데이터, 스타일링 및 레이아웃의 제각기 요소의 예시적 구조를 도시한 도면이다.
[도 9] 도 9는 TTML 구조의 보디의 예시적 구조를 도시한 도면이다.
[도 10] 도 10a 및 도 10b는 TTML 구조의 선두에 존재하는 메타데이터의 요소를 이용하여 색역 식별 정보 및 동적 범위 정보를 삽입하는 경우의 메타데이터(TTM: TTML 메타데이터)의 예시적 구조를 도시한 도면이다.
[도 11] 도 11은 TTML 구조의 선두에 존재하는 스타일링 확장의 요소를 이용하여 색역 식별 정보 및 동적 범위 정보를 삽입하는 경우의 스타일링 확장(TTM: Styling Extension)의 예시적 구조를 도시하는 도면이다.
[도 12] 도 12는 색역 식별 정보 및 동적 범위 정보를 포함하는 렌더링 세그먼트의 예시적 구조를 도시하는 도면이다.
[도 13] 도 13a는 색역 식별 정보 및 동적 범위 정보가 기술된 subtitle_WCGHDR 디스크립터의 예시적 구조이고, 도 13b는 예시적 구조의 주 정보의 내용을 도시하는 도면이다.
[도 14] 도 14는 전송 스트림(TS)의 예시적 구조를 도시하는 도면이다.
[도 15] 도 15는 수신 장치의 예시적 구성을 도시하는 블록도이다.
[도 16] 도 16은 색역/휘도 변환부의 예시적 구성을 도시하는 블록도이다.
[도 17] 도 17은 휘도 변환부에 포함되는 휘도 신호 Y에 관계된 구성 유닛의 예시적 구성을 도시하는 블록도이다.
[도 18] 도 18은 휘도 변환부의 동작을 개략적으로 도시하는 도면이다.
[도 19] 도 19는 색역/휘도 변환부의 예시적 처리 절차를 도시하는 흐름도이다.
[도 20] 도 20a 내지 도 20c는 비디오 데이터의 휘도 레벨 조정을 설명하기 위한 설명도이다.
[도 21] 도 21은 비디오 레벨 조정부에 포함되고 또한 휘도 신호 Yv에 관계된 구성 유닛의 예시적 구조를 도시하는 블록도이다.
[도 22] 도 22는 휘도 신호 Yv에 관계된 구성 유닛에서의 각각의 화소에 대한 예시적 처리 절차를 도시하는 흐름도이다.
[도 2] 도 2는 송신 장치의 예시적 구성을 도시하는 블록도이다.
[도 3] 도 3은 예시적 광전 변환 특성을 도시하는 도면이다.
[도 4] 도 4는 코딩 시스템이 HEVC인 경우의 GOP의 선두 액세스 유닛을 도시하는 도면이다.
[도 5] 도 5는 코딩 시스템이 HEVC인 경우의 선두 액세스 유닛 이외의 GOP의 액세스 유닛을 도시하는 도면이다.
[도 6] 도 6a는 동적 범위/SEI 메시지의 예시적 구조를 도시한 도면이고, 도 6b는 예시적 구조에서 주 정보의 내용을 도시한 도면이다.
[도 7] 도 7은 TTML 구조를 도시한 도면이다.
[도 8] 도 8a 내지 도 8c는 TTML 구조의 선두에 존재하는 메타데이터, 스타일링 및 레이아웃의 제각기 요소의 예시적 구조를 도시한 도면이다.
[도 9] 도 9는 TTML 구조의 보디의 예시적 구조를 도시한 도면이다.
[도 10] 도 10a 및 도 10b는 TTML 구조의 선두에 존재하는 메타데이터의 요소를 이용하여 색역 식별 정보 및 동적 범위 정보를 삽입하는 경우의 메타데이터(TTM: TTML 메타데이터)의 예시적 구조를 도시한 도면이다.
[도 11] 도 11은 TTML 구조의 선두에 존재하는 스타일링 확장의 요소를 이용하여 색역 식별 정보 및 동적 범위 정보를 삽입하는 경우의 스타일링 확장(TTM: Styling Extension)의 예시적 구조를 도시하는 도면이다.
[도 12] 도 12는 색역 식별 정보 및 동적 범위 정보를 포함하는 렌더링 세그먼트의 예시적 구조를 도시하는 도면이다.
[도 13] 도 13a는 색역 식별 정보 및 동적 범위 정보가 기술된 subtitle_WCGHDR 디스크립터의 예시적 구조이고, 도 13b는 예시적 구조의 주 정보의 내용을 도시하는 도면이다.
[도 14] 도 14는 전송 스트림(TS)의 예시적 구조를 도시하는 도면이다.
[도 15] 도 15는 수신 장치의 예시적 구성을 도시하는 블록도이다.
[도 16] 도 16은 색역/휘도 변환부의 예시적 구성을 도시하는 블록도이다.
[도 17] 도 17은 휘도 변환부에 포함되는 휘도 신호 Y에 관계된 구성 유닛의 예시적 구성을 도시하는 블록도이다.
[도 18] 도 18은 휘도 변환부의 동작을 개략적으로 도시하는 도면이다.
[도 19] 도 19는 색역/휘도 변환부의 예시적 처리 절차를 도시하는 흐름도이다.
[도 20] 도 20a 내지 도 20c는 비디오 데이터의 휘도 레벨 조정을 설명하기 위한 설명도이다.
[도 21] 도 21은 비디오 레벨 조정부에 포함되고 또한 휘도 신호 Yv에 관계된 구성 유닛의 예시적 구조를 도시하는 블록도이다.
[도 22] 도 22는 휘도 신호 Yv에 관계된 구성 유닛에서의 각각의 화소에 대한 예시적 처리 절차를 도시하는 흐름도이다.
이하, 이 기술을 실현하기 위한 모드(이하, "실시예"라고 함)에 관해서 설명한다. 기술은 다음과 같은 순서로 제공됨을 유의한다.
1. 실시예
2. 수정된 예
<1. 실시예>
(송/수신 시스템의 예시적 구조)
도 1은 실시예에 따른 송/수신 시스템(10)의 예시적 구성을 도시하는 도면이다. 송/수신 시스템(10)은 송신 장치(100)와 수신 장치(200)를 포함한다.
송신 장치(100)는 MPEG2의 전송 스트림 TS를 컨테이너로서 생성하고, 전송 스트림 TS를 공중파상에서 또는 네트워크상의 패킷으로 송신한다. 전송 스트림(TS)에는, 비디오 데이터(이미지 데이터)를 갖는 비디오 스트림이 포함된다.
또한, 전송 스트림 TS에는, 서브타이틀 데이터(자막 데이터)를 갖는 서브타이틀 스트림이 포함된다. 여기서, 서브타이틀 데이터는 미리 결정된 포맷의 서브타이틀 텍스트 정보 또는 서브타이틀 비트맵 데이터이다. 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보는 서브타이틀 스트림의 계층 및/또는 컨테이너의 계층에 삽입된다.
수신 장치(200)는 송신 장치(100)로부터 송신된 전송 스트림 TS를 수신한다. 수신 장치(200)는 비디오 스트림에 대하여 디코딩 처리를 적용하여 비디오 데이터를 취득하고, 또한 서브타이틀 스트림에 대하여 디코딩 처리를 적용하여 서브타이틀 비트맵 데이터를 추가로 취득한다. 또한, 수신 장치(200)는, 서브타이틀 비트맵 데이터 및 비디오 데이터의 색역 식별 정보 및 동적 범위 정보에 기초하여 조정된 색역 및 휘도 레벨을 갖는 서브타이틀 비트맵 데이터를 비디오 데이터상에 중첩시킴으로써 디스플레이용 비디오 데이터를 취득한다.
이 경우, 서브타이틀 비트맵 데이터의 색역은, 서브타이틀 비트맵 데이터와 비디오 데이터의 색역 식별 정보에 기초하여, 비디오 데이터의 색역으로 조정된다. 또한, 서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여, 서브타이틀 비트맵 데이터의 최대 휘도 레벨이 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 조정된다.
여기서, 기본적으로, 서브타이틀 스트림의 계층 및/또는 컨테이너의 계층으로부터 취득된 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보가 이용된다. 한편, 서브타이틀 스트림의 계층 및/또는 컨테이너의 계층으로부터 서브타이틀 데이터에 관계된 색역 식별 정보와 동적 범위 정보를 얻지 못한 경우, 디폴트로 설정된 정보가 이용된다.
(송신 장치의 구성)
도 2는 송신 장치(100)의 예시적 구성을 도시하는 도면이다. 송신 장치(100)는 제어부(101), 카메라(102), 비디오 광전 변환부(103), RGB/YCbCr 변환부(104), 비디오 인코더(105), 서브타이틀 생성부(106), 텍스트 포맷 변환부(107), 서브타이틀 인코더(108), 시스템 인코더(109), 및 송신부(110)를 포함한다.
한편, 서브타이틀 텍스트 정보를 서브타이틀 데이터로서 송신하는 대신에, 서브타이틀 비트맵 데이터를 서브타이틀 데이터로서 송신하는 경우, 송신 장치(100)는, 텍스트 포맷 변환부(107) 및 서브타이틀 인코더(108) 대신에, 비트맵 데이터 생성부(111), 서브타이틀 광전 변환부(112) 및 서브타이틀 인코더(113)를 포함한다.
제어부(101)는 중앙 처리 장치(CPU)를 포함하고, 제어 프로그램에 기초하여 송신 장치(100) 내의 제각기 유닛들의 동작을 제어한다. 카메라(102)는 피사체의 이미지를 촬상하여 HDR(High Dynamic Range) 또는 SDR(Standard Dynamic Range)의 비디오 데이터(이미지 데이터)를 출력한다. HDR 이미지는 SDR 이미지의 흰색 피크에서의 휘도를 초과하는 0 내지 1000%와 같은 0 내지 100%*N(N은 1보다 큼)의 명암비를 갖는다. 여기서, 100% 레벨은 예를 들어 백색 휘도 값 100cd/m2에 대응한다.
비디오 광전 변환부(103)은 카메라(102)에 의해 촬상된 비디오 데이터에 광전 변환을 적용하여, 송신 비디오 데이터 V1를 얻는다. 이 경우, 비디오 데이터가 SDR 비디오 데이터인 경우, SDR 광전 변환 특성을 이용하여 광전 변환이 행해지고, SDR 송신 비디오 데이터(SDR 광전 변환 특성을 갖도록 된 송신 비디오 데이터)가 얻어진다. 한편, 비디오 데이터가 HDR 비디오 데이터인 경우, HDR 광전 변환 특성을 이용하여 광전 변환을 행하여, HDR 송신 비디오 데이터(HDR 광전 변환 특성을 갖도록 된 송신 비디오 데이터)가 얻어진다.
RGB/YCbCr 변환부(104)는 송신 비디오 데이터를 RGB 도메인으로부터 YCbCr(휘도/색차) 도메인으로 변환한다. 비디오 인코더(105)는 YCbCr 도메인으로 변환된 송신 비디오 데이터 V1에 MPEG4-AVC 또는 HEVC와 같은 인코딩을 적용하고, 인코딩된 비디오 데이터를 포함하는 비디오 스트림(PES 스트림) VS을 생성한다.
이 시점에서, 비디오 인코더(105)는 액세스 유닛(AU)에서의 SPS NAL 유닛의 VUI(Video Usability Information) 영역에, 송신 비디오 데이터 V1이 보유하는 광전 변환 특성에 대응하는 전기-광 변환 특성(전달 함수)를 나타내는 정보, 송신 비디오 데이터 V1의 색역을 나타내는 정보, 및 기준 레벨을 나타내는 메타 정보, 및 기타의 것을 삽입한다.
또한, 비디오 인코더(105)는, 액세스 유닛(AU)의 "SEI들" 부분에, 새로운 정의를 제공하고 또한 송신 비디오 데이터 V1에 의해 보유되는 광전 변환 특성에 대응하는 전기-광 변환 특성(전달 함수)를 표시하는 정보를 포함하는 동적 범위/SEI 메시지(Dynamic_Range SEI 메시지), 기준 레벨을 표시하는 메타 정보, 및 기타의 것을 삽입한다.
여기서, 동적 범위/SEI 메시지가 전기-광 변환 특성을 나타내는 정보를 갖는 이유는 다음과 같다: 송신 비디오 데이터 V1이 HDR 송신 비디오 데이터인 경우에도, HDR 광전 변환 특성에 대응하는 전기-광 변환 특성을 나타내는 정보가 VUI 이외의 곳에서 필요할 수 있는데, 그 이유는 SDR 광전 변환 특성에 대응하는 전기-광 변환 특성(감마 특성)을 나타내는 정보가 HDR 광전 변환 특성이 SDR 광전 변환 특성과 호환되는 경우에 SPS NAL 유닛의 VUI에 삽입되기 때문이다.
도 3은 예시적 광전 변환 특성을 도시하는 도면이다. 이 도면에서, 수평축은 수신된 휘도 레벨을 나타내고, 수직축은 전송 코드값을 나타낸다. 곡선 a는 예시적 SDR 광전 변환 특성을 나타낸다. 또한, 곡선 b1은 예시적 HDR 광전 변환 특성을 나타낸다(SDR 광전 변환 특성과 호환되지 않음). 또한, 곡선 b2는, 예시적 HDR 광전 변환 특성을 나타낸다(SDR 광전 변환 특성과 호환됨). 이들 예의 경우, 수신된 휘도 레벨은 호환성 한계치에 도달할 때까지 SDR 광전 변환 특성과 일치한다. 수신된 휘도 레벨이 호환성 한계치일 때, 전송 코드값은 호환 레벨이 된다.
또한, 동적 범위/SEI 메시지가 기준 레벨을 포함하도록 된 이유는 다음과 같다: 송신 비디오 데이터 V1가 SDR 송신 비디오 데이터인 경우에는, SDR 광전 변환 특성에 대응하는 전기-광 변환 특성(감마 특성)을 나타내는 정보가 SPS NAL 유닛의 VUI에 삽입되기는 하지만, 기준 레벨의 삽입에 관계되어 설명된 어떤 표준도 없다.
도 4는 코딩 시스템이 HEVC인 경우의 픽처 군(GOP: group of pictures)의 선두 액세스 유닛을 도시하는 도면이다. 또한, 도 5는 코딩 시스템이 HEVC인 경우의 선두 액세스 유닛 이외의 GOP의 액세스 유닛을 도시하는 도면이다. 코딩 시스템이 HEVC인 경우, 인코딩된 이미지 데이터를 갖는 슬라이스 이전에 디코딩을 위한 SEI 메시지 그룹 "Prefix_SEI들"이 배치되고, 슬라이스 다음에 디스플레이를 위한 SEI 메시지 그룹 "Suffix_SEI들"이 배치된다. 도 4 및 도 5에 도시된 바와 같이, 동적 범위/SEI 메시지는 SEI 메시지 그룹 "Suffix_SEI들"로서 배치될 수 있다.
도 6a는 동적 범위/ SEI 메시지의 예시적 구조(신택스)를 도시하는 도면이다. 도 6b는 예시적 구조의 주 정보의 내용(시맨틱)을 도시하는 도면이다. 1 비트 플래그 정보 "Dynamic_range_cancel_flag"는 "Dynamic_range"의 메시지를 리프레시할지를 나타낸다. "0"은 메시지를 리프레시하는 것을 나타내며 "1"은 메시지를 리프레시하지 않는 것, 즉 메시지를 그대로 유지함을 나타낸다.
"Dynamic_range_cancel_flag"가 "0"인 경우, 다음과 같은 필드가 있다. "coded_data_bit_depth" 내의 8 비트 필드는 인코딩된 화소 비트 수를 나타낸다. "reference_level" 내의 8 비트 필드는 기준 레벨로서 기준 휘도 레벨 값을 나타낸다. "transfer_function" 내의 8 비트 필드는 송신 비디오 데이터 V1에 의해 보유되는 광전 변환 특성에 대응하는 전기-광 변환 특성을 나타낸다.
다시 도 2를 참조하면, 서브타이틀 생성부(106)는 서브타이틀 정보로서 텍스트 데이터(문자 코드) DT를 생성한다. 텍스트 포맷 변환부(107)는 텍스트 데이터 DT를 수신하여 미리 결정된 포맷의 서브타이틀 텍스트 정보를 취득하고, 본 실시예에서는 TTML(Timed Text Markup Language)을 취득한다.
도 7은 TTML 구조를 도시한 도면이다. TTML은 XML을 기반으로 설명된다. 선두에는 메타데이터, 스타일링, 및 레이아웃과 같은 제각기 요소들이 있다. 도 8a는 메타데이터(TTM: TTML Metadata)의 예시적 구조를 도시하는 도면이다. 메타데이터는 메타데이터의 타이틀 정보 및 저작권 정보를 포함한다.
도 8b는 스타일링(TTS: TTML Styling)의 예시적 구조를 도시하는 도면이다. 스타일링은 식별자(id) 이외에 색상(색), 폰트(fontFamily), 크기(fontSize) 및 정렬(textAlign)과 같은 정보를 포함한다. "tts : opacity"는 배경 비디오와의 혼합 비율을 나타냄을 유의한다. 예를 들어, "1.0"은 서브타이틀(자막)이 100%이고 배경 비디오가 0%임을 나타내며, "0.1"은 서브타이틀(자막)이 0 %이고 배경 비디오가 100%임을 나타낸다. 이 다이어그램의 예에서 "1.0"이 설명된다.
도 8c는 레이아웃(영역 : TTML 레이아웃)의 예시적 구조를 도시하는 도면이다. 레이아웃은, 서브타이틀을 배치하기 위해 식별자(id) 이외에 범위(extent), 오프셋(padding), 배경색(backgroundColor), 및 정렬(displayAlign)과 같은 정보를 포함한다.
도 9는 보디의 예시적 구조를 도시하는 도면이다. 이 도면의 예에서는, 서브타이틀 1(서브타이틀 1), 서브타이틀 2(서브타이틀 2) 및 서브타이틀 3(서브타이틀 3)의 3 개의 서브타이틀 정보가 포함된다. 각각의 서브타이틀에는, 디스플레이 개시 타이밍 및 디스플레이 종료 타이밍의 기술과 함께 텍스트 데이터가 기술된다. 예를 들면, 서브타이틀 1(서브타이틀 1)에 대해서는, 디스플레이 개시 타이밍이 "0.76s"이고, 디스플레이 종료 타이밍이 "3.45s"이고, "It seems a paradox, dose it not"의 텍스트 데이터가 기술되어 있다.
다시 도 2를 참조하면, 서브타이틀 인코더(108)는 텍스트 포맷 변환부(107)에서 얻어진 TTML을 각종 세그먼트로 변환하고, 페이로드에 배치된 세그먼트들을 갖는 PES 패킷으로 이루어지는 서브타이틀 스트림 SS를 생성한다.
또한, 비트맵 데이터 생성부(111)는 서브타이틀 생성부(106)에서 생성된 텍스트 데이터 DT를 수신하여 서브타이틀 비트맵 데이터를 생성한다. 서브타이틀 광전 변환부(112)는 비트맵 데이터 생성부(111)에서 생성된 서브타이틀 비트맵 데이터에 광전 변환을 실시하여 송신 비트맵 데이터 M1을 얻는다.
이 경우, SDR 광전 변환 특성을 이용하여 광전 변환이 수행되거나, HDR 광전 변환 특성을 이용하여 광전 변환이 수행된다. 또한, HDR 광전 변환 특성을 이용하여 광전 변환을 수행하는 경우, HDR 비디오상의 중첩의 전제 하에서 휘도 범위가 HDR의 기준 레벨까지로 제한된다. 서브타이틀 광전 변환부(112)를 포함하지 않는 구조가 있을 수 있다는 것을 유의한다. 이 경우, 비트맵 데이터 생성부(111)에서 생성된 서브타이틀 비트맵 데이터는 선형 상태로 유지되어, 송신 비트맵 데이터 M1로서 얻어진다.
서브타이틀 인코더(113)는 송신 비트맵 데이터(M1)와 디스플레이 제어 정보를 각종 세그먼트로 변환하고, 페이로드에 배치된 세그먼트를 갖는 PES 패킷을 포함하는 서브타이틀 스트림 SS를 생성한다.
시스템 인코더(109)는 비디오 인코더(105)에서 생성된 비디오 스트림 VS 및 서브타이틀 인코더(108) 또는 서브타이틀 인코더(113)에서 생성된 서브타이틀 스트림 SS를 포함하는 전송 스트림 TS를 생성한다. 송신부(110)는, 전송 스트림 TS를 공중파상에서 또는 네트워크 내의 패킷으로 수신 장치(200)에 송신한다.
여기서, 송신 장치(100)는 상술한 바와 같은 컨테이너로서 서브타이틀 스트림 SS의 계층 및/또는 전송 스트림 TS의 계층에 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보를 삽입한다.
먼저, 서브타이틀 스트림(SS)의 계층에 정보를 삽입하는 경우를 설명한다. 서브타이틀 스트림 SS가 서브타이틀 텍스트 정보로서 TTML을 포함하는 경우, 송신 장치(100)는 다음의 제1, 제2 및 제3 방법 중 하나에 의해 정보를 삽입한다.
첫 번째 방법
TTML 구조의 선두에 존재하는 메타데이터의 요소를 이용하여 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보가 삽입된다. 이 경우, 텍스트 포맷 변환부(107)에 삽입이 수행된다.
도 10a는 메타데이터(TTM : TTML Metadata)의 예시적 구조를 도시하는 도면이다. 도 10b는 예시적 구조에서 주 정보의 내용의 예시적 구조를 도시하는 도면이다. "ttm-ext:colorspace"는 색역 식별 정보를 표시하고, 이어서 광 색역을 나타내는 "ITUR2020", 표준 색역을 나타내는 "sRGB", 또는 기타의 것이 기술된다. 다이어그램의 예에서 "ITUR2020"이 설명된다.
"ttm-ext:dynamicrange"는 동적 범위 정보를 나타내고, 이어서 "hdrmapped", "sdr", "Linear", 또는 기타의 것이 설명된다. "hdrmapped"는 HDR 광전 변환 특성을 이용하여 광전 변환이 수행됨을 나타내고, 추가로 HDR 비디오상의 중첩의 전제 하에서 휘도 범위는 HDR의 기준 레벨까지 제한된다. "sdr"은 SDR 광전 변환 특성을 이용하여 광전 변환이 수행됨을 나타낸다. "선형"은 광전 변환을 수행하지 않는 선형 상태를 나타낸다. 다이어그램의 예에서, "sdr"이 설명된다.
두 번째 방법
TTML 구조의 선두에 존재하는 스타일링 확장 요소를 이용하여, 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보가 삽입된다. 이 경우, 텍스트 포맷 변환부(107)에 삽입이 수행된다.
도 11은 이 경우의 스타일링 확장(TTML Styling Extension)의 예시적 구조를 도시하는 도면이다. "ttse:colorspace"는 색역 식별 정보를 나타내고, "ITUR2020", "sRGB", 또는 기타의 것이 설명된다. 다이어그램의 예에서 "ITUR2020"이 설명된다. "ttse:dynamicrange"는 동적 범위 정보를 나타내고, 이어서 "hdrmapped", "sdr", "Linear", 또는 기타의 것이 설명된다. 다이어그램의 예에서, "sdr"이 설명된다.
세 번째 방법
서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보를 포함하는 세그먼트를 서브타이틀 스트림 SS에 삽입함으로써, 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보가 삽입된다.
도 12는 렌더링 세그먼트(Rendaring_Segment())의 예시적 구조(신택스)를 도시하는 도면이다. 이 구조에서는, "sync_byte", "segment_type", "page_id", "segment_length", "version_number" 및 "number_of_resion"의 제각기 정보가 포함된다. "segment_type"의 8비트 필드는 세그먼트 유형을 나타내며, 여기서는 렌더링 세그먼트를 나타낸다. "segment_length"의 8 비트 필드는 세그먼트의 길이(크기)를 나타낸다. "number_of_regions"의 8 비트 필드는 영역의 수를 나타낸다.
또한, 이 구조에서는, 영역마다 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보가 포함된다. "resion_id" 내의 8비트 필드는 영역을 식별하기 위한 식별자를 나타낸다. "colorspace_type" 내의 8 비트 필드는 색역 식별 정보를 나타내고, "ITUR2020", "sRGB", 또는 기타의 것이 설명된다. "dynamicrange_type"의 8 비트 필드는 동적 범위 정보를 나타내고, "hdrmapped", "sdr", "Linear", 및 기타의 것이 설명된다.
한편, 서브타이틀 스트림 SS가 서브타이틀 비트맵 데이터를 포함하는 경우, 송신 장치(100)는 세번째 방법에 의해 서브타이틀 스트림 SS의 계층에 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보를 삽입한다.
다음에, 컨테이너로서 전송 스트림(TS)의 계층에 정보를 삽입하는 경우에 대하여 설명한다. 이 경우, 송신 장치(100)는, 프로그램 맵 테이블(PMT) 하에서, 새로운 정의를 제공하도록 구성된 서브타이틀 WCGHDR 디스크립터(subtitle_WCGHDR_descriptor)를 삽입한다.
도 13a는 서브타이틀 WCGHDR 디스크립터의 예시적 구조(신택스)를 도시한 도면이다. 도 13b는 예시적 구조 내의 주 정보(시맨틱)의 내용을 도시하는 도면이다. "descriptor_tag" 내의 8비트 필드는 디스크립터 타입을 나타내고, 여기에서는 서브타이틀 WCGHDR 디스크립터를 나타낸다. "descriptor_length"의 8 비트 필드는 디스크립터의 길이(사이즈)를 나타내고, 그 다음 바이트의 수를 디스크립터의 길이로서 나타낸다.
"color_gamut_type"의 3 비트 필드는 색역 식별 정보를 나타낸다. 예를 들어, "001"은 "ITUR2020"을 나타내며 "010"은 "sRGB"를 나타낸다. "dynamicrange_type"의 3 비트 필드는 동적 범위 정보를 나타낸다. 예를 들어, "000"은 "Linear"를 나타내고, "001"은 "hdrmapped"를 나타내며, "010"은 "sdr"을 나타낸다.
전송 스트림 TS의 예시적 구조
도 14는 전송 스트림(TS)의 예시적 구조를 도시하는 도면이다. 이 예시적 구조에서, PID1에 의해 식별되는 비디오 스트림의 PES 패킷 "Video PES1"이 있다. 또한, 이 예시적 구조에서, PID2에 의해 식별되는 서브타이틀 스트림에는 PES 패킷 "서브타이틀 PES2"가 있다.
PES 패킷은 PES 헤더 및 PES 페이로드를 포함한다. 비디오 스트림의 PES 패킷에는 비디오 인코딩된 스트림이 PES 페이로드에 삽입된다. 액세스 유닛 내의 SPS NAL 유닛의 VUI 영역에는, 송신 비디오 데이터의 색역 식별 정보와 동적 범위 정보가 삽입된다. 또한, 액세스 유닛에는, 송신 비디오 데이터의 색역 식별 정보 및 동적 범위 정보를 기술한 동적 범위/SEI 메시지가 삽입된다.
또한, 서브타이틀 스트림의 PES 패킷에는, 서브타이틀 데이터에 관계된 색역 식별 정보와 동적 범위 정보가 TTML 구조의 선두에 존재하는 메타데이터의 요소에, TTML 구조의 선두에 존재하는 스타일링 확장의 요소, 또는 렌더링 세그먼트에 삽입된다.
또한, 전송 스트림 TS에는, 프로그램 특정 정보(PSI)로서 프로그램 맵 테이블(PMT)이 포함된다. PSI는 전송 스트림 TS에 포함되는 각각의 기본 스트림이 어느 프로그램에 속하는지를 나타내는 정보이다. PMT에는, 전체 프로그램과 관계된 정보를 설명하는 프로그램 루프가 있다.
또한, PMT 내의 각각의 기본 스트림에 관계된 정보를 갖는 기본 스트림 루프가 있다. 이러한 예시적 구조에서, 비디오 스트림에 대응하는 비디오 기본 스트림 루프(video ES loop) 및; 서브타이틀 스트림에 대응하는 서브타이틀 기본 스트림 루프(Subtitle ES loop)가 있다.
비디오 기본 스트림 루프(video ES loop)에는, 비디오 스트림에 대응하여 스트림 타입 및 패킷 식별자(PID)와 같은 정보가 배치되고, 또한 비디오 스트림과 관계된 정보를 기술하는 디스크립터가 마찬가지로 배치된다. 이 비디오 스트림의 "Stream_type"의 값은, 예를 들면 HEVC 비디오 스트림을 나타내는 값으로 설정되고, PID 정보는 비디오 스트림의 PES 패킷 "비디오 PES1"에 할당된 PID1을 나타낸다.
서브타이틀 기본 스트림 루프(Subtitle ES loop)에는, 서브타이틀 스트림에 대응하여 스트림 타입 및 패킷 식별자(PID)와 같은 정보가 배치되고, 또한 서브타이틀 스트림에 관계된 정보를 설명하는 디스크립터가 마찬가지로 배치된다. 서브타이틀 스트림의 "Stream_type"의 값은 예를 들면 프라이비트 스트림(private stream)을 나타내는 값으로 설정되고, PID 정보는 서브타이틀 스트림의 PES 패킷 "Subtitle PES2"에 할당된 PID2를 나타낸다. 디스크립터로서, 새로운 정의를 제공하기 위해 구성된 서브타이틀 WCGHDR 디스크립터가 삽입된다.
도 2에 도시된 송신 장치(100)의 동작을 간략하게 설명한다. 카메라(102)에 의해 촬영되어 캡처된 비디오 데이터(이미지 데이터)는 비디오 광전 변환부(103)에 공급된다. 비디오 광전 변환부(103)에서는, 카메라(102)에 의해 캡처된 비디오 데이터에 광전 변환이 적용되고, 송신 비디오 데이터 V1가 얻어진다.
이 경우, 비디오 데이터가 SDR 비디오 데이터인 경우, SDR 광전 변환 특성을 이용하여 광전 변환이 행해지고, SDR 송신 비디오 데이터(SDR 광전 변환 특성을 갖도록 된 송신 비디오 데이터)가 얻어진다. 한편, 비디오 데이터가 HDR 비디오 데이터인 경우, HDR 광전 변환 특성을 이용하여 광전 변환을 행하고, HDR 송신 비디오 데이터(HDR 광전 변환 특성을 갖도록 된 송신 비디오 데이터)가 얻어진다.
비디오 광전 변환부(103)에서 얻어진 송신 비디오 데이터 V1은 RGB/YCbCr 변환부(104)에서 RGB 도메인으로부터 YCbCr(휘도/색차) 도메인으로 변환된 후에 비디오 인코더(105)에 공급된다. 비디오 인코더(105)는 MPEG4-AVC 또는 HEVC와 같은 인코딩을 송신 비디오 데이터 V1에 적용하고, 인코딩된 비디오 데이터를 포함하는 비디오 스트림(PES 스트림) VS를 생성한다.
또한, 비디오 인코더(105)에서, 송신 비디오 데이터 V1에 의해 보유되는 광전 변환 특성에 대응하는 전기-광 변환 특성(전달 함수)을 나타내는 정보, 송신 비디오 데이터 V1의 색역을 나타내는 정보, 및 기준 레벨을 나타내는 정보, 및 기타의 것이 액세스 유닛(AU)에서의 SPS NAL 유닛의 VUI 영역에 삽입된다.
또한, 비디오 인코더(105)에서, 송신 비디오 데이터 V1에 의해 보유되는 광전 변환 특성에 대응하는 전기-광 변환 특성을 나타내는 정보(전달 함수)를 포함하여 새로운 정의를 제공하도록 구성된 동적 범위/SEI 메시지, 기준 레벨과 같은 메타 정보, 및 기타의 것이 액세스 유닛(AU)의 부분 "SEI들"에 삽입된다(도 6 참조).
서브타이틀 생성부(106)에서, 서브타이틀 정보로서 텍스트 데이터(문자 코드) DT가 생성된다. 서브타이틀 텍스트 정보를 서브타이틀 데이터로서 송신하는 경우, 텍스트 데이터 DT는 텍스트 포맷 변환부(107)에 공급된다.
텍스트 포맷 변환부(107)에서, 텍스트 데이터 DT에 기초하여 디스플레이 타이밍 정보를 갖는 서브타이틀 텍스트 정보, 즉 TTML로의 변환이 수행된다(도 7 참조). TTML은 서브타이틀 인코더(108)에 공급된다.
서브타이틀 인코더(108)에서, 텍스트 포맷 변환부(107)에서 얻어진 TTML이 각종 세그먼트로 변환되고, 페이로드에 배치된 세그먼트를 갖는 PES 패킷으로 이루어지는 서브타이틀 스트림 SS가 생성된다.
또한, 서브타이틀 비트맵 데이터를 서브타이틀 데이터로서 송신하는 경우, 서브타이틀 생성부(106)에서 생성된 텍스트 데이터 DT는 비트맵 데이터 생성부(111)에 공급된다.
비트맵 데이터 생성부(111)에서, 텍스트 데이터 DT에 기초하여 서브타이틀 비트맵 데이터가 생성된다. 서브타이틀 비트맵 데이터는 서브타이틀 광전 변환부(112)에 공급된다. 서브타이틀 광전 변환부(112)에서, 서브타이틀 비트맵 데이터에 광전 변환이 적용되어, 송신 비트맵 데이터 M1이 얻어진다.
이 경우, 광전 변환은 SDR 광전 변환 특성 또는 HDR 광전 변환 특성을 이용하여 수행된다. HDR 광전 변환 특성을 이용하여 광전 변환을 수행하는 경우, HDR 비디오상의 중첩의 전제 하에서 휘도 범위는 HDR의 기준 레벨로 제한된다. 비트맵 데이터 생성부(111)에서 생성된 서브타이틀 비트맵 데이터는 선형 상태로 유지되어 송신 비트맵 데이터(M1)로서 얻어질 수 있다.
상기 설명한 대로 얻어진 송신 비트맵 데이터 M1은 서브타이틀 인코더(113)에 공급된다. 서브타이틀 인코더(113)에서, 송신 비트맵 데이터 M1 및 디스플레이 제어 정보가 각종 세그먼트로 변환되고, 페이로드에 배치된 세그먼트를 갖는 PES 패킷으로 이루어지는 서브타이틀 스트림 SS가 생성된다.
비디오 인코더(105)에서 생성된 비디오 스트림 VS는 시스템 인코더(109)에 공급된다. 서브타이틀 인코더(108) 또는 서브타이틀 인코더(113)에서 생성된 서브타이틀 스트림 SS는 시스템 인코더(109)에 공급된다. 시스템 인코더(109)에서, 비디오 스트림 VS와 서브타이틀 스트림 SS을 포함하는 전송 스트림 TS가 생성된다. 전송 스트림 TS는 송신부(110)에 의해 수신 장치(200)에 공중파상에서 또는 네트워크 내의 패킷으로 송신된다.
또한, 송신 장치(100)에서, 컨테이너로서 서브타이틀 스트림 SS의 계층 및/또는 전송 스트림 TS의 계층에, 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보가 삽입된다.
서브타이틀 스트림 SS의 계층에 삽입되는 경우, TTML 구조의 선두에 존재하는 메타데이터의 요소, TTML 구조의 선두에 존재하는 스타일링 확장의 요소, 또는 렌더링 세그먼트에 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보가 삽입된다(도 10a, 도 10b, 도 11 및 도 12 참조).
또한, 전송 스트림 TS의 계층에 컨테이너로서 삽입되는 경우, 색역 식별 정보의 기술을 갖는 서브타이틀 WCGHDR 디스크립터 및 새로운 정의를 제공하도록 구성되고 서브타이틀 데이터에 관계된 동적 범위 정보는 프로그램 맵 테이블(PMT) 하에 삽입된다(도 13a 및 도 13b 참조).
(수신 장치의 구성)
도 15는 수신 장치(200)의 예시적 구성을 도시하는 도면이다. 수신 장치(200)는 제어부(201), 수신부(202), 시스템 디코더(203), 비디오 디코더(204), 비디오 레벨 조정부(205), 서브타이틀 디코더(206), 폰트 전개부(207), 서브타이틀 디코더(208), YCbCr/RGB 변환부(209), 및 색역/휘도 변환부(210)를 포함한다. 또한, 수신 장치(200)는 비디오 중첩부(211), YCbCr/RGB 변환부(212), 전기-광 변환부(213), 디스플레이 매핑부(214), 및 CE 모니터(215)를 포함한다.
제어부(201)는 중앙 처리 장치(CPU)를 포함하고, 제어 프로그램에 기초하여 수신 장치(200) 내의 제각기 부의 동작을 제어한다. 수신부(202)는, 송신 장치(100)로부터 송신된 전송 스트림(TS)을 공중파를 통해 또는 네트워크 내의 패킷으로 수신한다. 시스템 디코더(203)는 전송 스트림(TS)으로부터 비디오 스트림(VS)과 서브타이틀 스트림(SS)을 추출한다.
또한, 시스템 디코더(203)는 전송 스트림 TS(컨테이너)에 삽입된 각종 정보를 추출하여 이것들을 제어부(201)에 송신한다. 추출된 정보에는, 색역 식별 정보의 기술을 갖는 서브타이틀 WCGHDR 디스크립터 및 서브타이틀 데이터에 관계된 동적 범위 정보가 또한 포함된다(도 13a 및 도 13b 참조).
비디오 디코더(204)는 시스템 디코더(203)에서 추출된 비디오 스트림 VS에 대하여 디코딩 처리를 적용하여 송신 비디오 데이터 V1을 출력한다. 또한, 비디오 디코더(204)는 비디오 스트림(VS)을 구성하는 제각기 액세스 유닛에 삽입된 파라미터 세트 및 SEI 메시지를 추출하여 이것들을 제어부(201)에 송신한다.
SPS NAL 유닛의 VUI 영역에는, 송신 비디오 데이터 V1에 의해 보유되는 광전 변환 특성에 대응하는 전기-광 변환 특성을 나타내는 정보(전달 함수), 송신 비디오 데이터 V1의 색역을 나타내는 정보, 기준 레벨을 나타내는 정보, 및 기타의 것이 삽입된다. 또한, SEI 메시지에는, 송신 비디오 데이터 V1에 의해 보유되는 광전 변환 특성에 대응하는 전기-광 변환 특성을 나타내는 정보(전달 함수)를 갖는 동적 범위 SEI 메시지, 기준 레벨 정보, 및 기타의 것이 또한 포함된다(도 6a 및 도 6b 참조).
서브타이틀 디코더(206)는 서브타이틀 텍스트 정보가 서브타이틀 데이터로서 송신되는 경우에 동작한다. 서브타이틀 디코더(206)는 서브타이틀 스트림 SS에 포함되는 각각의 영역의 세그먼트 데이터에 대하여 디코딩 처리를 실시하여, 각각의 영역에 대해 텍스트 데이터 및 제어 코드를 취득한다. 또한, 서브타이틀 디코더(206)는 서브타이틀 스트림 SS에 삽입된 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보를 추출하여 이것들을 제어부(201)에 송신한다.
폰트 전개부(207)는 서브타이틀 디코더(206)에서 얻어진 각각의 영역의 텍스트 데이터 및 제어 코드에 기초하여 폰트를 전개하고, 각각의 영역의 비트맵 데이터를 얻는다. RGB 도메인을 갖는 서브타이틀 비트맵 데이터가 얻어진다.
서브타이틀 비트맵 데이터의 색역은 서브타이틀 데이터에 관계된 상술한 색역 식별 정보에 의해 표시되는 색역에 맞추어지도록 된다. 또한, 서브타이틀 비트맵 데이터는 "Linear", "sdr", "hdrmapped"와 같은 상태에 있고, 상술한 서브타이틀 데이터에 관계된 동적 범위 정보에 의해 표시되는 상태로 조정된다.
여기서, "Linear"는 광전 변환을 수행하지 않은 선형 상태를 나타낸다. "sdr"은 SDR 광전 변환 특성을 이용하여 광전 변환이 수행됨을 나타낸다. "hdrmapped"는 HDR 광전 변환 특성을 이용하여 광전 변환이 수행됨을 나타내고, 추가로 HDR 비디오상의 중첩의 전제 하에서 휘도 범위는 HDR의 기준 레벨까지 제한된다.
서브타이틀 디코더(208)는 서브타이틀 비트맵 데이터가 서브타이틀 데이터로서 송신되는 경우에 동작한다. 서브타이틀 디코더(208)는 서브타이틀 스트림 SS에 디코딩 처리를 적용하고, 서브타이틀 비트맵 데이터를 취득한다. 이 경우, 서브타이틀 스트림 SS에 포함되는 데이터는 컬러 룩업 테이블(CLUT)로 송신되고, CLUT 출력은 YCbCr 도메인에 기초하는 경우가 있을 수 있다.
서브타이틀 디코더(208)에서 얻어진 서브타이틀 비트맵 데이터의 도메인이 YCbCr인 경우, YCbCr/RGB 변환부(209)는 RGB 도메인으로의 변환을 수행한다. 한편, 서브타이틀 디코더(208)에서 얻어진 서브타이틀 비트맵 데이터의 도메인이 RGB인 경우, YCbCr/RGB 변환부(209)는 서브타이틀 비트맵 데이터를 그대로 출력한다.
서브타이틀 비트맵 데이터의 색역은 서브타이틀 데이터에 관계된 상술한 색역 식별 정보에 의해 표시되는 색역에 맞추어지도록 된다. 또한, 서브타이틀 비트맵 데이터는 "Linear", "sdr", "hdrmapped"와 같은 상태에 있고, 상술한 서브타이틀 데이터에 관계된 동적 범위 정보에 의해 표시되는 상태로 조정된다.
색역/휘도 변환부(210)는, 제어부(201)의 제어 하에, 서브타이틀 비트맵 데이터의 색역 정보와 비디오 데이터의 색역 정보에 기초하여, 서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정한다. 또한, 색역/휘도 변환부(210)는, 제어부(201)의 제어하에, 서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 조정하여 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 한다.
도 16은 색역/휘도 변환부(210)의 예시적 구성을 도시하는 도면이다. 색역/휘도 변환부(210)는 전기-광 변환부(221), 색역 변환부(222), HDR 광전 변환부(223), RGB/YCbCr 변환부(224), 및 휘도 변환부(225)를 포함한다.
전기-광 변환부(221)는 수신된 서브타이틀 비트맵 데이터에 대해 전기-광 변환을 적용한다. 여기서, 서브타이틀 비트맵 데이터가 "sdr" 상태인 경우, 전기-광 변환부(221)는 SDR 전기-광 변환 특성을 이용하여 전기-광 변환을 수행하여 그 상태를 선형 상태로 만든다. 또한, 서브타이틀 비트맵 데이터가 "hdrmapped" 상태인 경우, 전기-광 변환부(221)는 HDR 전기-광 변환 특성을 이용하여 전기-광 변환을 수행하여 상태를 선형 상태로 만든다.
한편, 서브타이틀 비트맵 데이터가 "선형" 상태인 경우, 서브타이틀 비트맵 데이터는 이미 선형 상태에 있다. 따라서, 전기-광 변환부(221)는 실질적으로 아무것도 수행하지 않고, 수신된 서브타이틀 비트맵 데이터를 그대로 출력한다.
색역 변환부(222)는 전기-광 변환부(221)로부터 출력된 서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정한다. 예를 들면, 서브타이틀 비트맵 데이터의 색역이 "sRGB"이고, 비디오 데이터의 색역이 "ITUR2020"인 경우, 서브타이틀 비트맵 데이터의 색역은 "sRGB"에서 "ITUR2020"으로 변환된다. 한편, 서브타이틀 비트맵 데이터의 색역과 비디오 데이터의 색역이 동일할 때, 색역 변환부(222)는 실질적으로 아무것도 수행하지 않고 수신된 서브타이틀 비트맵 데이터를 그대로 출력한다.
광전 변환부(223)는 비디오 데이터에 이용된 광전 변환 특성과 동일한 광전 변환 특성을 이용하여 색역 변환부(222)로부터 출력된 서브타이틀 비트맵 데이터에 광전 변환을 적용한다. RGB/YCbCr 변환부(224)는 광전 변환부(223)로부터 출력된 서브타이틀 비트맵 데이터를 RGB 도메인에서 YCbCr(휘도/색차) 도메인으로 변환한다.
휘도 변환부(225)는, RGB/YCbCr 변환부(224)로부터 출력된 서브타이틀 비트맵 데이터에 대하여 조정을 수행하여 서브타이틀 비트맵 데이터의 최대 휘도 레벨이 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 하고, 출력 비트맵 데이터를 취득한다. 이 경우, 서브타이틀 비트맵 데이터가 "hdrmapped"의 상태이고, 비디오 데이터가 HDR인 경우, 실질적으로 어떠한 처리도 수행하지 않고, 수신된 서브타이틀 비트맵 데이터가 그대로 출력된다.
도 17은 휘도 변환부(225)에 포함되는 휘도 신호 Y에 관계된 구성 유닛(225Y)의 예시적 구성을 도시하는 도면이다. 구성 유닛(225Y)은 인코딩된 화소 비트 수 조정부(231) 및 레벨 조정부(232)를 포함한다.
인코딩된 화소 비트 수 조정부(231)는 서브타이틀 비트맵 데이터의 휘도 신호 Ys의 인코딩된 화소 비트 수를 비디오 데이터의 인코딩된 화소 비트 수로 조정한다. 예를 들면, 휘도 신호 Ys의 인코딩된 화소 비트 수가 "8 비트"이고, 비디오 데이터의 인코딩된 화소 비트 수가 "10 비트"인 경우, 휘도 신호 Ys의 인코딩된 화소 비트 수는 "8 비트"로부터 "10 비트"로 변환된다. 레벨 조정부(232)는 조정을 수행하여 조정된 인코딩된 화소 비트 수를 갖는 휘도 신호 Ys의 최대 레벨이 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 하고, 출력 휘도 신호 Ys'를 얻는다.
도 18은 도 17에 도시된 구성 유닛(225Y)의 동작을 개략적으로 도시하는 도면이다. 도면의 예는 비디오 데이터가 HDR인 경우를 도시한다. 기준 레벨은 비 조명부와 조명부 사이의 경계에 대응한다.
기준 레벨은 인코딩된 화소 비트 수를 조정한 후에 휘도 신호 Ys의 최대 레벨(sc_high)과 최소 레벨(sc_low) 사이에 존재한다. 이 경우, 최대 레벨(sc_high)은 기준 레벨 이하가 되도록 조정된다. 한편, 이 경우, 예를 들면 클립 방법(clip method)에 의해 백색 레벨 왜곡과 같은 상태가 야기될 수 있기 때문에, 선형 상태로의 스케일 다운을 행하는 방법이 채택된다.
이와 같이 휘도 신호 Ys의 레벨을 조정함으로써, 서브타이틀 비트맵 데이터가 비디오 데이터상에 중첩될 때, 배경 비디오상에 서브타이틀이 디스플레이되어 조명하는 것이 방지되므로, 고화질이 유지될 수 있다.
휘도 변환부(225)에 포함되는 휘도 신호 Ys에 관계된 구성 유닛(225Y)은 상술한 바 있음을 유의한다(도 17 참조). 색차 신호 Cb 및 Cr에 관해서는, 인코딩된 화소 비트 수를 비디오 데이터의 인코딩된 화소 비트 수로 조정하는 처리만이 휘도 변환부(225)에서 수행된다. 예를 들면, 비트 폭이 나타내는 전체 범위를 100%로서 정의하고, 그 중심 값을 기준 값으로서 정의하고, 8 비트 스페이스에서 10 비트 스페이스로의 변환을 수행하여 진폭이 기준 값으로부터 플러스 방향으로 50%가 되고 마이너스 방향으로 50%가 되도록 한다.
도 19는 색역/휘도 변환부(210)의 예시적 처리 절차를 도시하는 흐름도이다. 처리 절차는 제어부(201)에 관계된 제어 처리를 포함하고 있지만, 색역/휘도 변환부(210)의 처리로서 설명이 편리하게 제공될 것임을 유의한다.
색역/휘도 변환부(210)는 단계 ST1에서 처리를 개시한다. 그 후, 단계 ST2에서, 색역/휘도 변환부(210)는 서브타이틀 데이터의 색역과 비선형 변환 정보가 존재하는지를 결정한다.
색역/휘도 변환부(210)는, 시스템 디코더(203) 및 서브타이틀 디코더(206)로부터 서브타이틀 데이터에 관계된 색역 식별 정보 및 동적 범위 정보가 송신되면, 상기 언급한 정보가 존재한다고 결정한다. 비선형 변환 정보는 동적 범위 정보를 구성하며, 서브타이틀 비트맵 데이터가 "Linear", "sdr"또는 "hdrmapped"상태 중 어느 상태에 있는지를 나타낸다. 상기 언급한 정보가 있다고 결정한 경우, 색역/휘도 변환부(210)는 단계 ST4의 처리로 진행한다.
상기 언급한 정보가 존재하지 않는다고 결정한 경우에는, 색역/휘도 변환부(210)는, 단계 ST3에서, 디폴트로 색역 식별 정보 및 비선형 변환 정보로서 설정된 색역 식별 정보 및 비선형 변환 정보를 이용한다. 예를 들어, 디폴트로 설정된 색역 식별 정보는 "sRGB"이고, 디폴트로 설정된 비선형 변환 정보는 "sdr"이다. 색역/휘도 변환부(210)는 단계 ST3의 처리 후에 단계 ST4의 처리로 진행한다.
단계 ST4에서, 색역/휘도 변환부(210)는 선형 상태가 되도록 비선형 변환 정보에 따라 서브타이틀 비트맵 데이터에 전기-광 변환을 적용한다. 다음에, 단계 ST5에서, 색역/휘도 변환부(210)는, 서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정한다. 그 후, 단계 ST6에서, 색역/휘도 변환부(210)는 비디오 데이터에 적용된 동일한 광전 변환을 서브타이틀 비트맵 데이터에 적용하고, 서브타이틀 비트맵 데이터의 광전 변환 특성을 비디오 데이터에 적용된 광전 변환 특성으로 조정한다.
다음에, 단계 ST7에서, 색역/휘도 변환부(210)는 서브타이틀 비트맵 데이터의 인코딩된 화소 비트 수를 비디오 데이터의 인코딩된 화소 비트 수로 조정한다. 다음에, 단계 ST8에서, 색역/휘도 변환부(210)는, 서브타이틀 비트맵 데이터의 휘도 레벨에 대하여 HDR에 대한 대책이 취해졌는지를 결정한다. 비선형 변환 정보가 "hdrmapped"를 나타내는 경우, 색역/휘도 변환부(210)는 HDR에 대한 대책이 취해졌다고 결정한다.
HDR에 대한 대책이 없는 경우, 색역/휘도 변환부(210)는 단계 ST9에서 비디오 데이터가 HDR인지를 결정한다. 비디오 데이터가 HDR인 경우, 색역/휘도 변환부(210)는 단계 ST10에서 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 조정하고, 서브타이틀 비트맵 데이터를 출력 비트맵 데이터로서 출력한다. 그 후, 색역/휘도 변환부(210)는 단계 ST11에서 처리를 종료한다.
단계 ST9에서, 비디오 데이터가 HDR이 아닌 경우, 단계 ST12에서 색역/휘도 변환부(210)는 서브타이틀 비트맵 데이터를 출력 비트맵 데이터로서 그대로 출력한다. 그 후, 색역/휘도 변환부(210)는 단계 ST11에서 처리를 종료한다.
또한, 단계 ST8에서 HDR에 대한 대책이 취해졌을 때, 색역/휘도 변환부(210)는 단계 ST13에서 비디오 데이터가 HDR인지를 결정한다. 비디오 데이터가 HDR이 아닌 경우, 색역/휘도 변환부(210)는 단계 ST10에서 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 조정하고, 이 서브타이틀 비트맵 데이터를 출력 비트맵 데이터로서 출력한다. 그 후, 색역/휘도 변환부(210)는 단계 ST11에서 처리를 종료한다.
단계 ST13에서, 비디오 데이터가 HDR인 경우, 색역/휘도 변환부(210)는 단계 ST12에서 서브타이틀 비트맵 데이터를 출력 비트맵 데이터로서 그대로 출력한다. 그 후, 색역/휘도 변환부(210)는 단계 ST11에서 처리를 종료한다.
다시 도 15를 참조하면, 비디오 레벨 조정부(205)는 비디오 디코더(204)로부터 출력된 송신 비디오 데이터 V1의 서브타이틀 중첩 영역(영역)에서의 휘도 레벨을 조정한다. 이 조정에 의해, 배경 비디오(배경 이미지)의 고휘도 부분에 의해 서브타이틀(자막)이 가려지는 것이 방지되어, 서브타이틀의 가독성을 향상시킬 수 있다.
도 20a는 휘도 레벨을 조정하기 전의 비디오 데이터에 기초한 예시적 이미지 디스플레이를 나타내는 도면이다. 이 배경 이미지에는 고휘도 영역이 있다. 도 20b는 휘도 레벨을 조정하기 전의 비디오 데이터상에 상기와 같이 조정된 휘도 레벨을 갖는 서브타이틀 비트맵 데이터를 중첩하는 경우의 예시적 이미지 디스플레이를 도시하는 도면이다. 이 경우, 배경 이미지의 고휘도 부분이 서브타이틀을 방해하기 때문에 서브타이틀(자막)을 거의 판독할 수 없다.
도 20c는, 비디오 데이터의 서브타이틀 중첩 영역(영역)의 휘도 레벨을 조정하여 위에서 설명한 대로 조정된 휘도 레벨을 갖는 서브타이틀 비트맵 데이터의 최대 휘도 레벨보다 낮아지도록 한 경우의 예시적 이미지 디스플레이를 도시하는 도면이다. 이 경우, 배경 이미지의 고휘도 부분에 의해 서브타이틀(자막)이 가려지지 않고, 서브타이틀은 용이하게 판독될 수 있다.
도 21은, 비디오 레벨 조정부(205)에 포함되고 휘도 신호 Yv에 관계된 구성 유닛(205Y)의 예시적 구조를 도시하는 도면이다. 한편, 비디오 레벨 조정부(205)는, 색차 신호 Cb, Cr에 관해서, 이에 대한 상세한 기술은 생략하지만, 수신된 데이터를 그대로 출력한다.
구성 유닛(205Y)은 레벨 조정 제어부(241), 고휘도 부분 검출부(242), 및 레벨 조정부(243)를 포함한다. 고휘도 부분 검출부(242)는 수신된 휘도 신호 Yv로부터 기준 레벨을 초과하는 고휘도 부분을 화소 단위로 검출하고, 레벨 조정 제어부(241)에 검출 신호를 송신한다.
레벨 조정부(243)는, 수신된 휘도 신호 Yv에 대하여, 클리핑 회로 또는 선형 매핑 회로를 이용하여, 수신한 휘도 신호 Yv의 휘도 레벨을 조정하여 휘도 조정된 상술한 서브타이틀 비트맵 데이터의 최대 휘도 레벨보다 낮게 되도록 함으로써, 출력 휘도 신호 Yv'를 얻는다.
레벨 조정 제어부(241)는 고휘도 부분 검출부(242)의 검출 출력, 영역 범위 정보, 및 비디오 데이터의 혼합 비율 정보에 기초하여 레벨 조정부(243)의 동작을 제어한다. 다시 말하면, 레벨 조정 제어부(241)는 휘도 신호 Yv의 레벨이 고휘도 부분의 화소에 대해서만 레벨 조정부(243)에 의해 조정되도록 제어를 수행한다.
또한, 레벨 조정 제어부(241)는 레벨 조정부(243)에 의해 서브타이틀 중첩 영역(영역)에 위치하는 화소에 대해서만 휘도 신호 Yv의 레벨이 조정되도록 제어를 수행한다. 또한, 레벨 조정 제어부(241)는 비디오 데이터의 혼합 비율이 임계값을 초과한 경우에만 레벨 조정부(243)에 의해 휘도 신호 Yv의 레벨이 조정되도록 제어를 수행한다.
도 22는 도 21에 도시된 구성 유닛(205Y)에서 각각의 화소에 대해 수행되는 예시적 처리 절차를 도시하는 흐름도이다. 구성 유닛(205Y)은 단계 ST21에서 처리를 개시한다. 그 후, 단계 ST22에서, 구성 유닛(205Y)은 화소가 영역 범위 내에 위치하는지를 결정한다. 화소가 영역 범위 내에 위치하는 경우, 구성 유닛(205Y)은 단계 ST23에서 화소가 고휘도 부분에 있는지를 결정한다.
화소가 고휘도 부분에 있을 때, 구성 유닛(205Y)은 단계 ST24에서 혼합 비율이 임계값을 초과하는지를 결정한다. 혼합 비율이 임계값을 초과하는 경우, 구성 유닛(205Y)은, 단계 ST25에서, 수신된 휘도 신호 Yv의 휘도 레벨을 조정하여 상기 설명한 대로 조정된 휘도를 갖는 서브타이틀 비트맵 데이터의 최대 휘도 레벨보다 낮아지도록 하고, 출력 휘도 신호 Yv'를 얻는다. 그 후, 구성 유닛(205Y)은 단계 ST26에서 처리를 종료한다.
단계 ST22에서 화소가 영역 범위 내에 위치하지 않는 경우, 단계 ST23에서 화소가 고휘도 부분에 있지 않은 경우, 또는 단계 ST24에서 혼합 비율이 임계값을 초과하지 않는 경우, 구성 유닛(205Y)은, 단계 ST27에서 수신된 휘도 신호 Yv에 대한 레벨 조정을 수행하지 않고, 출력 휘도 신호 Yv'를 그대로 취득한다. 그 후, 구성 유닛(205Y)은 단계 ST26에서 처리를 종료한다.
다시 도 15를 참조하면, 비디오 중첩부(211)는 비디오 레벨 조정부(205)로부터 출력된 송신 비디오 데이터 V1에 색역/휘도 변환부(210)로부터 출력된 서브타이틀 비트맵 데이터를 중첩한다. 이 경우, 비디오 중첩부(211)는 서브타이틀 비트맵 데이터와 송신 비디오 데이터 V1을 미리 결정된 비율로 혼합한다.
YCbCr/RGB 변환부(212)는 YCbCr(휘도/색차) 도메인으로부터 RGB 도메인으로 서브타이틀 비트맵 데이터와 중첩된 송신 비디오 데이터 V1'을 변환한다. 이 경우, YCbCr/RGB 변환부(212)는 색역 식별 정보에 기초하여 색역에 대응하는 변환 시스템을 이용하여 변환을 수행한다.
전기-광 변환부(213)는 거기에 적용된 광전 변환 특성에 대응하는 전기-광 변환 특성을 이용하여 RGB 도메인으로 변환된 송신 비디오 데이터 V1'에 전기-광 변환을 적용하고, 이미지를 디스플레이하기 위한 디스플레이 비디오 데이터를 얻는다. 디스플레이 매핑부(214)은 CE 모니터(215)의 최대 휘도 디스플레이 능력 등에 따라 디스플레이 비디오 데이터에 대한 디스플레이 휘도 조정을 수행한다. CE 모니터(215)는 상술한 디스플레이 휘도 조정을 받은 디스플레이 비디오 데이터에 기초하여 비디오를 디스플레이한다. CE 모니터(215)는, 예를 들면 액정 디스플레이(LCD), 유기 일렉트로루미네선스 디스플레이(organic electroluminescence display)(유기 EL 디스플레이) 또는 기타의 것으로 이루어진다.
도 15에 도시된 수신 장치(200)의 동작을 간략하게 설명한다. 수신부(202)에서, 송신 장치(100)로부터 공중파를 통해 또는 네트워크 내의 패킷으로 송신된 전송 스트림 TS가 수신된다. 전송 스트림 TS는 시스템 디코더(203)에 공급된다. 시스템 디코더(203)에서, 전송 스트림 TS로부터 비디오 스트림 VS 및 서브타이틀 스트림 SS가 추출된다.
또한, 시스템 디코더(203)에서, 전송 스트림 TS(컨테이너)에 삽입된 각종 정보가 추출되어 제어부(201)에 송신된다. 추출된 정보에는, 색역 식별 정보의 기술을 갖는 서브타이틀 WCGHDR 디스크립터 및 서브타이틀 데이터에 관계된 동적 범위 정보가 또한 포함된다(도 13a 및 도 13b 참조).
시스템 디코더(203)에서 추출된 비디오 스트림(VS)은 비디오 디코더(204)에 공급된다. 비디오 디코더(204)에서, 비디오 스트림 VS에 대하여 디코딩 처리가 적용되고, 송신 비디오 데이터 V1이 얻어진다.
또한, 비디오 디코더(204)에서, 비디오 스트림(VS)을 구성하는 제각기 액세스 유닛에 삽입된 파라미터 세트 및 SEI 메시지가 추출되어 제어부(201)에 송신된다. SPS NAL 유닛의 VUI 영역에는, 송신 비디오 데이터 V1에 의해 보유되는 광전 변환 특성에 대응하는 전기-광 변환 특성을 나타내는 정보(전달 함수), 송신 비디오 데이터 V1의 색역을 나타내는 정보, 기준 레벨을 나타내는 정보, 및 기타의 것이 삽입된다. 또한, SEI 메시지에는, 송신 비디오 데이터 V1에 의해 보유되는 광전 변환 특성에 대응하는 전기-광 변환 특성을 나타내는 정보(전달 함수)를 갖는 동적 범위 SEI 메시지, 기준 레벨 정보, 및 기타의 것이 또한 포함된다(도 6a 및 도 6b 참조).
시스템 디코더(203)에서 추출된 서브타이틀 스트림 SS는 서브타이틀 텍스트 정보가 서브타이틀 데이터로서 송신되는 경우 서브타이틀 디코더(206)에 공급된다. 서브타이틀 디코더(206)에서는, 서브타이틀 스트림 SS에 포함되는 각각의 영역의 세그먼트 데이터에 대하여 디코딩 처리를 적용하고, 각각의 영역의 텍스트 데이터 및 제어 코드가 취득된다.
각각의 영역의 텍스트 데이터 및 제어 코드는 폰트 전개부(207)에 공급된다. 폰트 전개부(207)에서는, 각각의 영역의 텍스트 데이터 및 제어 코드에 기초하여 폰트가 전개되고, 각각의 영역의 비트맵 데이터가 취득된다. 서브타이틀 비트맵 데이터는 색역/휘도 변환부(210)에 공급된다.
또한, 서브타이틀 비트맵 데이터가 서브타이틀 데이터로서 송신되는 경우, 시스템 디코더(203)에서 추출된 서브타이틀 스트림 SS가 서브타이틀 디코더(208)에 공급된다. 서브타이틀 디코더(208)에서는, 서브타이틀 스트림 SS에 대하여 디코딩 처리가 적용되고, 서브타이틀 비트맵 데이터가 취득된다. 서브타이틀 비트맵 데이터는 YCbCr/RGB 변환부(209)에서 YCbCr 도메인으로부터 RGB 도메인으로 변환되고, 색역/휘도 변환부(210)에 공급된다.
색역/휘도 변환부(210)에서는, 서브타이틀 비트맵 데이터의 색역 정보와 비디오 데이터의 색역 정보에 기초하여, 서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정한다. 또한, 색역/휘도 변환부(210)에서는, 서브타이틀 비트맵 데이터의 최대 휘도 레벨이 서브타이틀 비트맵 데이터의 동적 범위 정보(비선형 변환 정보) 및 비디오 데이터의 동적 범위 정보(기준 레벨 정보 및 HDR 여부를 나타내는 정보)에 기초하여 조정되어 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 한다.
비디오 디코더(204)에서 얻어진 송신 비디오 데이터 V1은 비디오 레벨 조정부(205)에 공급된다. 비디오 레벨 조정부(205)에서는, 송신 비디오 데이터 V1의 서브타이틀 중첩 영역(영역)의 휘도 레벨이 조정된다. 이 경우, 비디오 데이터의 혼합 비율이 임계값을 초과하면, 비디오 데이터의 서브타이틀 중첩 영역(영역)의 휘도 레벨은, 조정 휘도 레벨을 갖는 서브타이틀 비트맵 데이터의 최대 휘도 레벨보다 낮아지도록 조정된다.
비디오 레벨 조정부(205)에서는, 조정 휘도 레벨을 갖는 송신 비디오 데이터 V1가 비디오 중첩부(211)에 공급된다. 또한, 색역/휘도 변환부(210)에서 조정된 색역 및 휘도를 갖는 서브타이틀 비트맵 데이터가 비디오 중첩부(211)에 공급된다. 비디오 중첩부(211)에서는, 서브타이틀 비트맵 데이터가 송신 비디오 데이터 V1상에 중첩된다. 이 경우, 서브타이틀 비트맵 데이터는 미리 결정된 비율로 송신 비디오 데이터 V1와 혼합된다.
비디오 중첩부(211)에서 얻어지고 비트맵 데이터와 중첩 된 송신 비디오 데이터 V1'은 YCbCr/RGB 변환부(212)에서 YCbCr(휘도/색차) 도메인으로부터 RGB 도메인으로 변환된 후, 전기-광 변환부(213)에 공급된다. 전기-광 변환부(213)에서는, 그에 적용된 광전 변환 특성에 대응하는 전기-광 변환 특성을 이용하여 송신 비디오 데이터 V1'에 전기-광 변환이 적용되고, 이미지를 디스플레이하기 위한 디스플레이 비디오 데이터가 얻어진다.
디스플레이 비디오 데이터는 디스플레이 매핑부(214)에 공급된다. 디스플레이 매핑부(214)에서, CE 모니터(215)의 최대 휘도 디스플레이 용량 등에 따라 디스플레이 비디오 데이터에 대한 디스플레이 휘도 조정이 수행된다. 이렇게 하여 디스플레이 휘도 조정을 받은 디스플레이 비디오 데이터는 CE 모니터(215)에 공급된다. CE 모니터(215)에서, 디스플레이 비디오 데이터에 기초하여 이미지가 디스플레이된다.
이상과 같이, 도 1에 도시하는 송/수신 시스템(10)에 있어서, 수신 장치(200)는 서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정하고, 또한 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 조정한다. 따라서, 서브타이틀 데이터가 비디오 데이터상에 중첩될 때 고화질이 유지될 수 있다.
또한, 도 1에 도시된 송/수신 시스템(10)에서, 비디오 데이터의 혼합 비율이 임계값을 초과하는 경우, 수신 장치(200)는 비디오 데이터의 서브타이틀 중첩 영역(영역)에서의 휘도 레벨을 조정된 휘도 레벨을 갖는 서브타이틀 비트맵 데이터의 최대 휘도 레벨보다 낮아지도록 조정한다. 따라서, 배경 비디오(배경 이미지)의 고휘도 부분에 의해 서브타이틀이 가려지는 것을 방지할 수 있고, 서브타이틀의 가독성을 향상시킬 수 있다.
<2. 수정된 예>
또한, 상술한 실시예에서는, 컨테이너가 전송 스트림(MPEG-2TS)인 예에 대해서 설명했다는 것을 유의한다. 그러나, 전송은 본 기술의 TS에 한정되지 않고, ISO 기반 미디어 파일 포맷(ISOBMFF) 및 MPEG 미디어 전송(MMT)과 같은 다른 패킷들을 채택하는 경우에도, 비디오 계층은 같은 방법으로 달성된다. 또한, 서브타이틀 스트림의 구성요소는 전술한 바와 같이 TTML을 세그먼트들로 변환한 후에 다중화된 페이로드 상에 배치되는 PES 패킷에 반드시 제한되는 것은 아니다. 또한, 본 기술에 개시된 사항은, 상술한 다중화된 페이로드상에 배치된 섹션부 또는 PES 패킷상에 TTML을 직접 배치함으로써 달성될 수 있다.
또한, 본 기술은 다음과 같은 구성을 가질 수 있다.
(1) 수신 장치는,
비디오 스트림 및 서브타이틀 스트림을 수신하고;
비디오 스트림을 처리하여 비디오의 비디오 데이터를 취득하고;
서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 취득하고;
서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정하고 -서브타이틀 비트맵 데이터의 색역은 서브타이틀 비트맵 데이터의 색역 식별 정보 및 비디오 데이터의 색역 식별 정보에 기초하여 조정됨 -; 및
비디오상에 색역 조정 서브타이틀 비트맵 이미지를 중첩하도록 구성된 회로를 포함한다.
(2) 상기 (1)에 따른 수신 장치에서, 회로는 서브타이틀 스트림의 계층 또는 비디오 스트림 및 서브타이틀 스트림을 포함하는 컨테이너의 계층으로부터 서브타이틀 비트맵 데이터의 색역 식별 정보를 취득하도록 구성된다.
(3) 상기 (2)에 따른 수신 장치에서, 서브타이틀 비트맵 데이터의 색역 식별 정보가 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 얻어지지 않을 때, 서브타이틀 비트맵 데이터의 색역 식별 정보가 디폴트 범위에 설정되는 수신 장치.
(4) 상기 (1) 내지 (3) 중 어느 하나에 따른 수신 장치에서, 회로는 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 비디오 데이터의 휘도의 기준 레벨 이하로 조정하도록 구성되고, 최대 휘도 레벨은 서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여 조정된다.
(5) 상기 (4)에 따른 수신 장치에서, 회로는 서브타이틀 스트림의 계층 또는 비디오 스트림 및 서브타이틀 스트림을 포함하는 컨테이너의 계층으로부터 서브타이틀 비트맵 데이터의 동적 범위 정보를 취득하도록 구성된다.
(6) 상기(5)에 따른 수신 장치에서, 서브타이틀 비트맵 데이터의 동적 범위 정보가 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 얻어지지 않을 때, 서브타이틀 비트맵 데이터의 동적 범위가 디폴트 범위에 설정된다.
(7) 상기 (4) 내지 (6) 중 어느 하나에 따른 수신 장치에서, 회로는 색역 조정 서브타이틀 비트맵 이미지가 중첩되는 비디오 영역 내의 휘도 레벨을 조정하도록 구성되는, 수신 장치.
(8) 상기 (7)에 따른 수신 장치에서, 회로는 색역 조정 서브타이틀 비트맵 이미지가 중첩되는 비디오 영역에 존재하는 고휘도 화소에 대응하는 비디오 데이터의 휘도 레벨을 감소시키도록 구성된다.
(9) 상기 (7) 또는 (8)에 따른 수신 장치에서, 회로는 비디오 데이터의 혼합 비율이 임계값을 초과하면, 비디오 데이터의 휘도 레벨을 조정하도록 구성된다.
(10) 수신 방법으로서, 다음을 포함한다:
회로에 의해, 비디오 스트림 및 서브타이틀 스트림을 수신하는 단계;
비디오 스트림을 처리하여 비디오의 비디오 데이터를 취득하는 단계;
서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 취득하는 단계;
서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정하는 단계 -서브타이틀 비트맵 데이터의 색역은 서브타이틀 비트맵 데이터의 색역 식별 정보 및 비디오 데이터의 색역 식별 정보에 기초하여 조정됨 -; 및
비디오상에, 색역 조정 서브타이틀 비트맵 이미지를 중첩하는 단계.
(11) 수신 장치로서:
비디오 스트림 및 서브타이틀 스트림을 수신하고;
비디오 스트림을 처리하여 비디오의 비디오 데이터를 취득하고;
서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 취득하고;
서브타이틀 비트맵 데이터의 최대 휘도 레벨을 비디오 데이터의 휘도의 기준 레벨 이하로 조정하고 - 서브타이틀 비트맵 데이터의 최대 휘도 레벨은 서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여 조정됨 -; 및
비디오상에, 휘도 조정된 서브타이틀 비트맵 이미지를 중첩하도록 구성된 회로를 포함한다.
(12) 상기 (11)에 따른 수신 장치에서, 회로는 서브타이틀 스트림의 계층 또는 비디오 스트림과 서브타이틀 스트림을 포함하는 컨테이너의 계층으로부터 서브타이틀 비트맵 데이터의 동적 범위 정보를 취득하도록 구성된다.
(13) 상기 (12)에 따른 수신 장치에서, 서브타이틀 비트맵 데이터의 동적 범위 정보가 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 취득되지 않을 때, 서브타이틀 비트맵 데이터의 동적 범위가 디폴트 범위에 설정된다.
(14) 상기 (11) 내지 (13) 중 어느 하나에 따른 수신 장치에서, 회로는 휘도 조정된 서브타이틀 비트맵 이미지가 중첩되는 비디오의 영역에서 휘도 레벨을 조정하도록 구성된다. (15) 상기 (14)에 따른 수신 장치에서, 회로는 휘도 조정된 서브타이틀 비트맵 이미지가 중첩된 영역에 존재하는 고휘도 화소에 대응하는 비디오의 휘도 레벨을 감소시키도록 구성된다.
(16) 상기 (14) 또는 (15)에 따른 수신 장치에서, 회로는 비디오 데이터의 혼합 비율이 임계값을 초과한 경우 비디오 데이터의 휘도 레벨을 조정하도록 구성된다.
(17) 수신 방법으로서 다음을 포함한다:
회로에 의해, 비디오 스트림 및 서브타이틀 스트림을 수신하는 단계;
비디오 스트림을 처리하여 비디오의 비디오 데이터를 취득하는 단계;
서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 취득하는 단계;
서브타이틀 비트맵 데이터의 최대 휘도 레벨을 비디오 데이터의 휘도의 기준 레벨 이하로 조정하는 단계 - 서브타이틀 비트맵 데이터의 최대 휘도 레벨은 서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여 조정됨 -; 및
비디오상에 휘도 조정된 서브타이틀 비트맵 이미지를 중첩하는 단계.
(18) 송신 장치로서:
비디오 스트림 및 서브타이틀 스트림을 송신하고; 및
서브타이틀 스트림에 포함된 서브타이틀 데이터에 관계된 색역 식별 정보 및/또는 동적 범위 정보를 서브타이틀 스트림의 계층 및/또는 비디오 스트림과 서브타이틀 스트림을 포함하는 컨테이너의 계층에 삽입하도록 구성되는 회로를 포함한다.
(19) 상기 (18)에 따른 송신 장치로서, 서브타이틀 데이터는 미리 결정된 포맷의 서브타이틀 텍스트 정보이다.
(20) 송신 방법으로서 다음을 포함한다:
회로에 의해 비디오 스트림 및 서브타이틀 스트림을 송신하는 단계; 및
서브타이틀 스트림에 포함된 서브타이틀 데이터에 관계된 색역 식별 정보 및/또는 동적 범위 정보를 서브타이틀 스트림의 계층 및/또는 비디오 스트림 및 서브타이틀 스트림을 포함하는 컨테이너의 계층에 삽입하는 단계.
(21) 수신 장치는 다음을 포함한다:
비디오 데이터를 갖는 비디오 스트림 및 서브타이틀 데이터를 갖는 서브타이틀 스트림이 포함되는 미리 결정된 포맷의 컨테이너를 수신하도록 구성된 수신부;
비디오 스트림에 디코딩 처리를 적용하여 비디오 데이터를 취득하도록 구성된 비디오 디코딩부;
서브타이틀 스트림에 디코딩 처리를 적용하여 서브타이틀 비트맵 데이터를 취득하도록 구성된 서브타이틀 디코딩부;
서브타이틀 비트맵 데이터의 색역 식별 정보 및 비디오 데이터의 색역 식별 정보에 기초하여, 서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정하도록 구성된 색역 처리부; 및
비디오 데이터상에, 조정된 색역을 갖는 서브타이틀 비트맵 데이터를 중첩하도록 구성된 비디오 중첩부.
(22) 상기 (21)에 따른 수신 장치로서, 색역 처리부는, 서브타이틀 비트맵 데이터의 색역 식별 정보로서, 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 취득되는 색역 식별 정보를 이용한다.
(23) 상기 (22)에 따른 수신 장치로서, 색역 처리부는, 서브타이틀 비트맵 데이터의 색역 식별 정보가 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 취득되지 않을 때 서브타이틀 비트맵 데이터의 색역 식별 정보로서, 디폴트에 설정된 색역 식별 정보를 이용한다.
(24) 상기 (21) 내지 (23) 중 하나에 따른 수신 장치로서, 서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여, 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 조정하게 구성된 휘도 처리부를 추가로 포함한다.
(25) 상기 (24)에 기재된 수신 장치로서, 휘도 처리부는, 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 취득되는 동적 범위 정보를, 서브타이틀 비트맵 데이터의 동적 범위 정보로서 이용한다.
(26) 상기 (25)에 따른 수신 장치로서, 휘도 처리부는, 서브타이틀 비트맵 데이터의 동적 범위 정보가 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 취득되지 않은 경우 서브타이틀 비트맵 데이터의 동적 범위로서, 디폴트에 설정된 동적 범위 정보를 이용한다.
(27) 상기 (24) 내지 (26) 중 어느 하나에 따른 수신 장치로서, 비디오 디코딩부와 비디오 중첩부 사이에 개재되어, 비디오 데이터의 서브타이틀 데이터 중첩된 영역에서의 휘도 레벨을 조정하도록 구성된 비디오 레벨 조정부를 추가로 포함한다.
(28) 상기 (27)에 따른 수신 장치로서, 비디오 레벨 조정부는, 서브타이틀 데이터 중첩된 영역에 존재하는 고휘도 화소에 대응하는 비디오 데이터의 휘도 레벨을 감소시키도록 조정하는 것을 수행한다.
(29) 상기 (27) 또는 (28)에 따른 수신 장치로서, 비디오 레벨 조정부는, 비디오 중첩부에서의 비디오 데이터의 혼합 비율이 임계값을 초과하면, 비디오 데이터의 휘도 레벨을 조정한다.
(30) 수신 방법으로서:
수신부에 의해, 비디오 데이터를 갖는 비디오 스트림 및 서브타이틀 데이터를 갖는 서브타이틀 스트림이 포함되는 미리 결정된 포맷의 컨테이너를 수신하는 단계;
비디오 스트림에 디코딩 처리를 적용하여 비디오 데이터를 취득하는 단계;
서브타이틀 스트림에 디코딩 처리를 적용하여 서브타이틀 비트맵 데이터를 취득하는 단계;
서브타이틀 비트맵 데이터의 색역 식별 정보 및 비디오 데이터의 색역 식별 정보에 기초하여, 서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정하는 단계; 및
조정된 색역을 갖는 서브타이틀 비트맵 데이터를 비디오 데이터상에 중첩하는 단계를 포함한다.
(31) 수신 장치로서:
비디오 데이터를 갖는 비디오 스트림 및 서브타이틀 데이터를 갖는 서브타이틀 스트림이 포함되는 미리 결정된 포맷의 컨테이너를 수신하도록 구성된 수신부;
비디오 스트림에 디코딩 처리를 적용하여 비디오 데이터를 취득하도록 구성된 비디오 디코딩부;
서브타이틀 스트림에 디코딩 처리를 적용하여 서브타이틀 비트맵 데이터를 취득하도록 구성된 서브타이틀 디코딩부;
서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여, 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 조정하게 구성되는 휘도 처리부; 및
비디오 데이터상에 조정된 휘도를 갖는 서브타이틀 비트맵 데이터를 중첩하도록 구성된 비디오 중첩부를 포함한다.
(32) 상기 (31)에 따른 수신 장치로서, 휘도 처리부는, 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 취득된 동적 범위 정보를, 서브타이틀 비트맵 데이터의 동적 범위 정보로서 이용한다.
(33) 상기 (32)에 따른 수신 장치로서, 휘도 처리부는, 서브타이틀 비트맵 데이터의 동적 범위 정보가 서브타이틀 스트림의 계층 또는 컨테이너의 계층으로부터 취득되지 않은 경우 서브타이틀 비트맵 데이터의 동적 범위로서, 디폴트에 설정된 동적 범위 정보를 이용한다.
(34) 상기 (31) 내지 (33) 중 어느 하나에 따른 수신 장치로서, 비디오 디코딩부와 비디오 중첩부 사이에 개재되어, 비디오 데이터의 서브타이틀 데이터 중첩된 영역에서의 휘도 레벨을 조정하도록 구성된 비디오 레벨 조정부를 추가로 포함한다.
(35) 상기 (34)에 따른 수신 장치로서, 비디오 레벨 조정부는, 서브타이틀 데이터 중첩된 영역에 존재하는 고휘도 화소에 대응하는 비디오 데이터의 휘도 레벨을 감소시키도록 조정하는 것을 수행한다.
(36) 상기 (34) 또는 (35)에 따른 수신 장치로서, 상기 비디오 중첩부에서의 비디오 데이터의 혼합 비율이 임계값을 초과하면, 비디오 레벨 조정부는 비디오 데이터의 휘도 레벨을 조정한다.
(37) 수신 방법으로서 다음을 포함한다:
수신부에 의해, 비디오 데이터를 갖는 비디오 스트림 및 서브타이틀 데이터를 갖는 서브타이틀 스트림이 포함되는 미리 결정된 포맷의 컨테이너를 수신하는 단계;
비디오 스트림에 디코딩 처리를 적용하여 비디오 데이터를 취득하는 단계;
서브타이틀 스트림에 디코딩 처리를 적용하여 서브타이틀 비트맵 데이터를 취득하는 단계;
서브타이틀 비트맵 데이터의 동적 범위 정보 및 비디오 데이터의 동적 범위 정보에 기초하여, 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 조정하는 단계; 및
조정된 휘도를 갖는 서브타이틀 비트맵 데이터를 비디오 데이터상에 중첩하는 단계.
(38) 송신 장치로서 다음을 포함한다:
비디오 데이터를 갖는 비디오 스트림 및 서브타이틀 데이터를 갖는 서브타이틀 스트림이 포함되는 미리 결정된 포맷의 컨테이너를 송신하도록 구성된 송신부; 및
서브타이틀 스트림의 계층 및/또는 컨테이너의 계층에 서브타이틀 데이터에 관계된 색역 식별 정보 및/또는 동적 범위 정보를 삽입하도록 구성된 정보 삽입부.
(39) 상기 (38)에 따른 송신 장치로서, 서브타이틀 데이터는 미리 결정된 포맷의 서브타이틀 텍스트 정보이다.
(40) 송신 방법으로서 다음을 포함한다:
송신부에 의해, 비디오 데이터를 갖는 비디오 스트림 및 서브타이틀 데이터를 갖는 서브타이틀 스트림이 포함되는 미리 결정된 포맷의 컨테이너를 송신하는 단계; 및
서브타이틀 스트림의 계층 및/또는 컨테이너의 계층에 서브타이틀 데이터에 관계된 색역 식별 정보 및/또는 동적 범위 정보를 삽입하는 단계.
본 기술의 주된 특징은, 서브타이틀 데이터가 비디오 데이터상에 중첩될 때 서브타이틀 비트맵 데이터의 색역을 비디오 데이터의 색역으로 조정하고 또한 비디오 데이터의 휘도의 기준 레벨 이하가 되도록 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 조정함으로써 고화질이 유지될 수 있다는 것이다(도 15 내지 도 19 참조).
또한, 본 기술의 또 다른 주된 특징은, 비디오 데이터의 혼합 비율이 임계값을 초과할 때 비디오 데이터의 휘도 레벨을 서브타이틀 비트맵 데이터의 최대 휘도 레벨보다 낮게 되도록 조정함으로써 배경 비디오의 고휘도 부분에 의해 서브타이틀이 가려지는 것을 방지할 수 있고 서브타이틀의 가독성을 향상시킬 수 있다는 것이다(도 15 및 도 20a 내지 도 22 참조).
참조 번호 리스트
10 이미지 송/수신 시스템
100 송신 장치
101 제어부
102 카메라
103 비디오 광전 변환부
104 RGB/YCbCr 변환부
105 비디오 인코더
106 서브타이틀 생성부
107 텍스트 포맷 변환부
108 서브타이틀 인코더
109 시스템 인코더
110 송신부
111 비트맵 데이터 생성부
112 서브타이틀 광전 변환부
113 서브타이틀 인코더
200 수신 장치
201 제어부
202 수신부
203 시스템 디코더
204 비디오 디코더
205 비디오 레벨 조정부
205Y 구성 유닛
206 서브타이틀 인코더
207 폰트 전개부
208 서브타이틀 인코더
209 YCbCr/RGB 변환부
210 색역/휘도 변환부
211 비디오 중첩부
212 YCbCr/RGB 변환부
213 전기-광 변환부
214 디스플레이 매핑부
215 CE 모니터
221 전기-광 변환부
222 색역 변환부
223 광전 변환부
224 RGB/YCbCr 변환부
225 휘도 변환부
225Y 구성 유닛
231 인코딩된 화소 비트 수 조정부
232 레벨 조정부
241 레벨 조정 제어부
242 고휘도 검출부
243 레벨 조정부
Claims (20)
- 수신 장치로서:
회로를 포함하고, 상기 회로는,
비디오 스트림 및 서브타이틀 스트림을 수신하고;
상기 비디오 스트림을 처리하여 비디오의 비디오 데이터를 취득하고;
상기 서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 취득하고;
상기 서브타이틀 비트맵 데이터의 색역(color gamut)을 상기 비디오 데이터의 색역으로 조정함으로써 색역 조정 서브타이틀 비트맵 이미지를 생성하고 - 상기 서브타이틀 비트맵 데이터의 색역은 상기 서브타이틀 비트맵 데이터의 색역 식별 정보 및 상기 비디오 데이터의 색역 식별 정보에 기초하여 조정됨 -;
상기 색역 조정 서브타이틀 비트맵 이미지가 중첩된 비디오 영역의 화소가 고휘도 부분에 대응하고 상기 비디오 데이터의 혼합 비율이 임계값을 초과할 때,
감소된 휘도 레벨이 되도록 상기 화소의 오리지널 휘도 레벨을 감소시키고,
상기 감소된 휘도 레벨을 가진 화소를 구비한 상기 비디오상에 상기 색역 조정 서브타이틀 비트맵 이미지를 중첩하도록 구성되는 수신 장치. - 제1항에 있어서, 상기 회로는 상기 서브타이틀 스트림의 계층 또는 상기 비디오 스트림 및 상기 서브타이틀 스트림을 포함하는 컨테이너의 계층으로부터 상기 서브타이틀 비트맵 데이터의 색역 식별 정보를 취득하도록 구성되는 수신 장치.
- 제2항에 있어서, 상기 서브타이틀 비트맵 데이터의 색역 식별 정보가 상기 서브타이틀 스트림의 계층 또는 상기 컨테이너의 계층으로부터 취득되지 않을 때, 상기 서브타이틀 비트맵 데이터의 색역 식별 정보가 디폴트 범위에 설정되는 수신 장치.
- 제1항에 있어서, 상기 회로는 상기 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 상기 비디오 데이터의 휘도의 기준 레벨 이하로 조정하도록 구성되고, 상기 최대 휘도 레벨은 상기 서브타이틀 비트맵 데이터의 동적 범위 정보 및 상기 비디오 데이터의 동적 범위 정보에 기초하여 조정되는 수신 장치.
- 제4항에 있어서, 상기 회로는 상기 서브타이틀 스트림의 계층 또는 상기 비디오 스트림 및 상기 서브타이틀 스트림을 포함하는 컨테이너의 계층으로부터 상기 서브타이틀 비트맵 데이터의 동적 범위 정보를 취득하도록 구성되는 수신 장치.
- 제5항에 있어서, 상기 서브타이틀 비트맵 데이터의 동적 범위 정보가 상기 서브타이틀 스트림의 계층 또는 상기 컨테이너의 계층으로부터 취득되지 않을 때, 상기 서브타이틀 비트맵 데이터의 동적 범위가 디폴트 범위에 설정되는 수신 장치.
- 삭제
- 삭제
- 삭제
- 수신 방법으로서:
회로에 의해, 비디오 스트림 및 서브타이틀 스트림을 수신하는 단계;
상기 비디오 스트림을 처리하여 비디오의 비디오 데이터를 취득하는 단계;
상기 서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 취득하는 단계;
상기 서브타이틀 비트맵 데이터의 색역(color gamut)을 상기 비디오 데이터의 색역으로 조정함으로써 색역 조정 서브타이틀 비트맵 이미지를 생성하는 단계 - 상기 서브타이틀 비트맵 데이터의 색역은 상기 서브타이틀 비트맵 데이터의 색역 식별 정보 및 상기 비디오 데이터의 색역 식별 정보에 기초하여 조정됨 -;
상기 색역 조정 서브타이틀 비트맵 이미지가 중첩된 비디오 영역의 화소가 고휘도 부분에 대응하고 상기 비디오 데이터의 혼합 비율이 임계값을 초과할 때,
감소된 휘도 레벨이 되도록 상기 화소의 오리지널 휘도 레벨을 감소시키는 단계; 및
상기 감소된 휘도 레벨을 가진 화소를 구비한 상기 비디오상에 상기 색역 조정 서브타이틀 비트맵 이미지를 중첩하는 단계를 포함하는 수신 방법. - 수신 장치로서:
회로를 포함하고, 상기 회로는,
비디오 스트림 및 서브타이틀 스트림을 수신하고;
상기 비디오 스트림을 처리하여 비디오의 비디오 데이터를 취득하고;
상기 서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 취득하고;
상기 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 상기 비디오 데이터의 휘도의 기준 레벨 이하로 조정함으로써 색역 조정 서브타이틀 비트맵 이미지를 생성하고 - 상기 서브타이틀 비트맵 데이터의 최대 휘도 레벨은 상기 서브타이틀 비트맵 데이터의 동적 범위 정보 및 상기 비디오 데이터의 동적 범위 정보에 기초하여 조정됨 -;
상기 색역 조정 서브타이틀 비트맵 이미지가 중첩된 비디오 영역의 화소가 고휘도 부분에 대응하고 상기 비디오 데이터의 혼합 비율이 임계값을 초과할 때,
감소된 휘도 레벨이 되도록 상기 화소의 오리지널 휘도 레벨을 감소시키고;
상기 감소된 휘도 레벨을 가진 화소를 구비한 상기 비디오상에 상기 휘도 조정된 서브타이틀 비트맵 이미지를 중첩하도록 구성되는 수신 장치. - 제11항에 있어서, 상기 회로는 상기 서브타이틀 스트림의 계층 또는 상기 비디오 스트림 및 상기 서브타이틀 스트림을 포함하는 컨테이너의 계층으로부터, 상기 서브타이틀 비트맵 데이터의 동적 범위 정보를 취득하도록 구성되는 수신 장치.
- 제12항에 있어서, 상기 서브타이틀 비트맵 데이터의 동적 범위 정보가 상기 서브타이틀 스트림의 계층 또는 상기 컨테이너의 계층으로부터 취득되지 않을 때 상기 서브타이틀 비트맵 데이터의 동적 범위가 디폴트 범위에 설정되는 수신 장치.
- 삭제
- 삭제
- 삭제
- 수신 방법으로서:
회로에 의해, 비디오 스트림 및 서브타이틀 스트림을 수신하는 단계;
상기 비디오 스트림을 처리하여 비디오의 비디오 데이터를 취득하는 단계;
상기 서브타이틀 스트림을 처리하여 서브타이틀 비트맵 이미지의 서브타이틀 비트맵 데이터를 취득하는 단계;
상기 서브타이틀 비트맵 데이터의 최대 휘도 레벨을 상기 비디오 데이터의 휘도의 기준 레벨 이하로 조정함으로써 색역 조정 서브타이틀 비트맵 이미지를 생성하는 단계 - 상기 서브타이틀 비트맵 데이터의 최대 휘도 레벨은 상기 서브타이틀 비트맵 데이터의 동적 범위 정보 및 상기 비디오 데이터의 동적 범위 정보에 기초하여 조정됨 -;
상기 색역 조정 서브타이틀 비트맵 이미지가 중첩된 비디오 영역의 화소가 고휘도 부분에 대응하고 상기 비디오 데이터의 혼합 비율이 임계값을 초과할 때,
감소된 휘도 레벨이 되도록 상기 화소의 오리지널 휘도 레벨을 감소시키는 단계; 및
상기 감소된 휘도 레벨을 가진 화소를 구비한 상기 비디오 상에 상기 휘도 조정된 서브타이틀 비트맵 이미지를 중첩하는 단계를 포함하는 수신 방법. - 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPJP-P-2015-116893 | 2015-06-09 | ||
| JP2015116893A JP6519329B2 (ja) | 2015-06-09 | 2015-06-09 | 受信装置、受信方法、送信装置および送信方法 |
| PCT/JP2016/002109 WO2016199337A1 (en) | 2015-06-09 | 2016-04-20 | Reception device, receiving method, transmission device, and transmitting method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180016998A KR20180016998A (ko) | 2018-02-20 |
| KR102547789B1 true KR102547789B1 (ko) | 2023-06-26 |
Family
ID=56024349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177033933A KR102547789B1 (ko) | 2015-06-09 | 2016-04-20 | 수신 장치, 수신 방법, 송신 장치, 및 송신 방법 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10349144B2 (ko) |
| EP (1) | EP3308538A1 (ko) |
| JP (1) | JP6519329B2 (ko) |
| KR (1) | KR102547789B1 (ko) |
| CN (1) | CN107667536B (ko) |
| WO (1) | WO2016199337A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6624889B2 (ja) * | 2015-10-30 | 2019-12-25 | キヤノン株式会社 | 映像処理装置、映像処理方法、及び映像処理プログラム |
| EP3706412B1 (en) * | 2017-10-31 | 2023-03-15 | Sony Group Corporation | Reproduction device, reproduction method, program, and recording medium |
| KR101999592B1 (ko) * | 2017-12-07 | 2019-07-12 | 경희대학교 산학협력단 | 컨테이너 이주 방법, 상기 방법을 수행하기 위한 컴퓨팅 장치 및 컴퓨팅 시스템 |
| JP7187158B2 (ja) * | 2018-03-12 | 2022-12-12 | キヤノン株式会社 | 画像処理装置、表示装置、画像処理装置の制御方法、プログラム |
| US10832389B2 (en) | 2018-12-13 | 2020-11-10 | Ati Technologies Ulc | Method and system for improved visibility in blended layers for high dynamic range displays |
| JP7418233B2 (ja) * | 2020-02-13 | 2024-01-19 | キヤノン株式会社 | 表示装置、制御方法およびプログラム |
| JP2021173901A (ja) * | 2020-04-27 | 2021-11-01 | キヤノン株式会社 | 表示制御装置、表示制御方法およびプログラム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014130213A1 (en) * | 2013-02-21 | 2014-08-28 | Dolby Laboratories Licensing Corporation | Systems and methods for appearance mapping for compositing overlay graphics |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08265661A (ja) * | 1995-03-23 | 1996-10-11 | Sony Corp | 字幕データ符号化／復号化方法および装置、および符号化字幕データ記録媒体 |
| US7054539B2 (en) * | 2000-02-09 | 2006-05-30 | Canon Kabushiki Kaisha | Image processing method and apparatus |
| US7145633B2 (en) * | 2003-01-09 | 2006-12-05 | Yamatake Corporation | Apparatus and method of exposing light to a semiconductor device having a curved surface |
| US20080010083A1 (en) * | 2005-07-01 | 2008-01-10 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Approval technique for media content alteration |
| KR100849845B1 (ko) * | 2006-09-05 | 2008-08-01 | 삼성전자주식회사 | 영상 보정 방법 및 장치 |
| JP5264193B2 (ja) * | 2008-01-18 | 2013-08-14 | キヤノン株式会社 | 表示装置及びその制御方法 |
| US8270809B2 (en) * | 2008-08-01 | 2012-09-18 | Apple Inc. | Previewing effects applicable to digital media content |
| CN101853381B (zh) * | 2009-03-31 | 2013-04-24 | 华为技术有限公司 | 视频字幕信息获取方法及装置 |
| KR101482542B1 (ko) * | 2010-07-22 | 2015-01-14 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 이미지 데이터와 디스플레이의 비디오 범위들 사이의 맵핑을 위한 시스템, 장치 및 방법들 |
| JP5685969B2 (ja) | 2011-02-15 | 2015-03-18 | ソニー株式会社 | 表示制御方法、表示制御装置 |
| MX2016000645A (es) * | 2013-07-19 | 2016-05-26 | Koninkl Philips Nv | Transporte de metadatos de intervalo dinamico alto. |
| JP6261741B2 (ja) * | 2013-09-09 | 2018-01-17 | エルジー エレクトロニクス インコーポレイティド | デジタル放送システムにおける高画質ｕｈｄ放送コンテンツの送受信方法及び装置 |
| US9973723B2 (en) * | 2014-02-24 | 2018-05-15 | Apple Inc. | User interface and graphics composition with high dynamic range video |
| US9455281B2 (en) * | 2014-06-19 | 2016-09-27 | Semiconductor Energy Laboratory Co., Ltd. | Touch sensor, touch panel, touch panel module, and display device |
| KR20170007333A (ko) * | 2014-07-11 | 2017-01-18 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
| WO2016017961A1 (ko) * | 2014-07-29 | 2016-02-04 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
| JP2016048891A (ja) * | 2014-08-28 | 2016-04-07 | 株式会社東芝 | 画像処理システム及び装置ならびに画像処理方法 |
| JP6134076B2 (ja) * | 2014-09-08 | 2017-05-24 | ソニー株式会社 | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム |
| JP6741975B2 (ja) * | 2014-12-09 | 2020-08-19 | パナソニックＩｐマネジメント株式会社 | 送信方法および送信装置 |
| WO2016163603A1 (ko) * | 2015-04-05 | 2016-10-13 | 엘지전자 주식회사 | Xml 자막에 기반한 방송 서비스를 위한 방송 신호 송수신 방법 및 장치 |
| WO2017043836A1 (ko) * | 2015-09-09 | 2017-03-16 | 엘지전자 주식회사 | 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법 |
-
2015
- 2015-06-09 JP JP2015116893A patent/JP6519329B2/ja active Active
-
2016
- 2016-04-20 EP EP16723840.1A patent/EP3308538A1/en active Pending
- 2016-04-20 US US15/572,313 patent/US10349144B2/en active Active
- 2016-04-20 KR KR1020177033933A patent/KR102547789B1/ko active IP Right Grant
- 2016-04-20 WO PCT/JP2016/002109 patent/WO2016199337A1/en active Application Filing
- 2016-04-20 CN CN201680032017.2A patent/CN107667536B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014130213A1 (en) * | 2013-02-21 | 2014-08-28 | Dolby Laboratories Licensing Corporation | Systems and methods for appearance mapping for compositing overlay graphics |
Also Published As
| Publication number | Publication date |
|---|---|
| US10349144B2 (en) | 2019-07-09 |
| WO2016199337A1 (en) | 2016-12-15 |
| US20180109850A1 (en) | 2018-04-19 |
| EP3308538A1 (en) | 2018-04-18 |
| CN107667536A (zh) | 2018-02-06 |
| CN107667536B (zh) | 2020-06-30 |
| JP2017005472A (ja) | 2017-01-05 |
| KR20180016998A (ko) | 2018-02-20 |
| JP6519329B2 (ja) | 2019-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102547789B1 (ko) | 수신 장치, 수신 방법, 송신 장치, 및 송신 방법 | |
| US10542304B2 (en) | Transmission device, transmission method, reception device, and reception method | |
| CN111343460B (zh) | 接收装置、显示设备及接收方法 | |
| JP7548359B2 (ja) | 送信方法および送信装置 | |
| US11838564B2 (en) | Transmission apparatus, transmission method, reception apparatus, and reception method | |
| CN107113457B (zh) | 发送装置、发送方法、接收装置和接收方法 | |
| EP3267685B1 (en) | Transmission device, transmission method, receiving device, and receiving method | |
| US10595099B2 (en) | Method and device for transmitting and receiving broadcast signal for broadcast service on basis of XML subtitle | |
| CN108353196B (zh) | 发送设备、发送方法、接收设备、以及接收方法 | |
| JP7195925B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| KR102637361B1 (ko) | 송신 장치, 송신 방법, 수신 장치 및 수신 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |