RU2712433C2 - Передающее устройство, способ передачи, приемное устройство и способ приема - Google Patents

Передающее устройство, способ передачи, приемное устройство и способ приема Download PDF

Info

Publication number
RU2712433C2
RU2712433C2 RU2017126901A RU2017126901A RU2712433C2 RU 2712433 C2 RU2712433 C2 RU 2712433C2 RU 2017126901 A RU2017126901 A RU 2017126901A RU 2017126901 A RU2017126901 A RU 2017126901A RU 2712433 C2 RU2712433 C2 RU 2712433C2
Authority
RU
Russia
Prior art keywords
subtitle
information
brightness
brightness level
adjusting
Prior art date
Application number
RU2017126901A
Other languages
English (en)
Other versions
RU2017126901A (ru
RU2017126901A3 (ru
Inventor
Икуо ЦУКАГОСИ
Original Assignee
Сони Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Корпорейшн filed Critical Сони Корпорейшн
Publication of RU2017126901A publication Critical patent/RU2017126901A/ru
Publication of RU2017126901A3 publication Critical patent/RU2017126901A3/ru
Application granted granted Critical
Publication of RU2712433C2 publication Critical patent/RU2712433C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Studio Circuits (AREA)

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении возможности регулирования уровня яркости субтитров. Устройство передачи видеопотока и потока субтитров содержит видеокодер, выполненный с возможностью формирования видеопотока, содержащего данные изображения; кодер субтитров, выполненный с возможностью формирования потока субтитров, содержащего информацию субтитров; блок вставки информации для регулирования, выполненный с возможностью вставки информации для регулирования уровня яркости по меньшей мере в видеопоток или в поток субтитров, причем информация для регулирования уровня яркости предназначена для регулирования уровня яркости субтитра; и передающий блок, выполненный с возможностью передачи контейнера в заданном формате, причем контейнер содержит видеопоток и поток субтитров, в котором кодер субтитров формирует поток субтитров в соответствии с текстовой информацией субтитров в TTML, и блок вставки информации для регулирования вставляет в заголовок структуры TTML информацию для регулирования уровня яркости, используя элемент метаданных. 4 н. и 12 з.п. ф-лы, 33 ил.

Description

Область техники, к которой относится изобретение
Настоящая технология относится к передающему устройству, способам передачи, приемным устройствам и способам приема и, более конкретно, к передающему устройству и т.п., которые передают информацию субтитров, а также данные изображения.
Уровень техники
В традиционном цифровом видеовещании (DVB) и т.п. информация субтитров передается в форме растровых данных. В последнее время была предложена передача информации субтитров в форме кода текстовых символов или информация субтитров на текстовой основе (смотрите патентный документ 1).
Перечень литературы
Патентный документ
Патентный документ 1: Японская выложенная патентная заявка № 2012-169885.
Сущность изобретения
Проблемы, решаемые изобретением
В случае, когда изображение (фоновое изображение), на которое должен накладываться субтитр, является изображением с высоким динамическим диапазоном (high dynamic range, HDR), имеющим, например, очень высокую степень контрастности, уровень яркости субтитров необходимо регулировать должным образом в соответствии с контентом изображения, с тем, чтобы снижать зрительное утомление и т.д.
Настоящая технология помогает позволить приемной стороне предпочтительным образом выполнять регулировку уровня яркости субтитров.
Решения проблем
Концепция настоящей технологии заключается в передающем устройстве, содержащем:
видеокодер, формирующий видеопоток, содержащий данные изображения;
кодер субтитров, формирующий поток субтитров, содержащий информацию субтитров;
блок вставки информации для регулирования, вставляющий информацию для регулирования уровня яркости в видеопоток и/или поток субтитров, причем информация для регулирования уровня яркости предназначена для регулирования уровня яркости субтитров; и
передающий блок, передающий контейнер в заданном формате, причем контейнер содержит видеопоток и поток сибтитров.
В настоящей технологии видеопоток, содержащий данные изображения, формируется видеокодером. Например, формируется видеопоток, содержащий видеоданные передачи, полученные посредством фотоэлектрического преобразования с высоким динамическим диапазоном, выполняемого для данных изображения с высоким динамическим диапазоном. Поток субтитров, содержащий информацию субтитров, формируется кодером субтитров. Например, формируется поток субтитров, имеющий сегменты в качестве компонентов, содержащих текстовую информацию субтитров.
Информация для регулирования уровня яркости, чтобы регулировать уровень яркости субтитра вставляется в видеопоток и/или поток субтитров, используя блок вставки информации для регулирования. Например, информация для регулирования уровня яркости может быть информацией для регулирования уровня яркости, соответствующей всему экрану, и/или информацией для регулирования уровня яркости, соответствующей отдельным участкам деления, полученным делением экрана на заданное количество участков.
Например, информация для регулирования уровня яркости, которая должна быть вставлена в видеопоток, может содержать максимальное значение яркости, минимальное значение яркости и среднее значение яркости, которые формируются в соответствии с данными изображения. В этом случае, информация для регулирования уровня яркости, которая должна вставляться в видеопоток, может дополнительно содержать верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости, которые устанавливаются, например, в соответствии с характеристиками функции электрооптического преобразования.
Например, информация для регулирования уровня яркости, которая должна вставляться в поток субтитров, может содержать информацию об ограничении диапазона яркости субтитров. В этом случае, информация для регулирования уровня яркости, которая должна вставляться в видеопоток, может дополнительно содержать верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости, которые устанавливаются, например, в соответствии с характеристиками функции электрооптического преобразования. Кроме того, в этом случае информация для регулирования уровня яркости, которая должна вставляться в поток субтитров, может дополнительно содержать, например, информацию о цветовом пространстве.
Например, кодер субтитров может формировать поток субтитров в соответствии с текстовой информацией субтитров в структуре TTML или в структуре, подобной структуре TTML, и блок вставки информации для регулирования может вставлять в заголовок соответствующей структуры информацию для регулирования уровня яркости, используя элементы метаданных или элементы расширения стиля. Кроме того, кодер субтитров может формировать поток субтитров, имеющий в качестве компонентов сегменты, и блок вставки информации для регулирования может, например, вставлять в поток субтитров сегмент, содержащий информацию для регулирования уровня яркости.
Контейнер в заданном формате, содержащий видеопоток и поток субтитров, передается передающим блоком. Например, контейнер может быть транспортным потоком (MPEG-2 TS), который используется в стандартах цифрового вещания. Кроме того, например, контейнер может быть контейнером в формате МР4, используемом для передачи по Интернету, или контейнер может быть каком-либо другом формате.
В настоящей технологии информация для регулирования уровня яркости, чтобы регулировать уровень яркости субтитра, вставляется в видеопоток и/или в поток субтитров. Таким образом, приемная сторона может выполнять регулирование уровня яркости субтитра предпочтительным способом.
Следует заметить, что в настоящей технологии, например, передающее устройство может дополнительно содержать блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что существует информация для регулирования уровня яркости, вставленная в видеопоток. В этом случае, приемная сторона, исходя из идентификационной информации, может легко распознать, существует ли вставленная в видеопоток информация для регулирования уровня яркости.
Кроме того, в настоящей технологии, например, передающее устройство может дополнительно содержать блок вставки информации, который вставляет информацию в контейнер, причем идентификационная информация указывает, что существует вставленная в видеопоток информация для регулирования уровня яркости. В этом случае, например, информация, указывающая положение вставки информации для регулирования уровня яркости в поток субтитров, может быть добавлена в идентификационную информацию. В этом случае, приемная сторона, исходя из идентификационной информации, может легко распознать, существует ли вставленная в поток субтитров информация для регулирования уровня яркости.
Кроме того, другая концепция настоящей технологии заключается в приемном устройстве, содержащем:
приемный блок, который принимает контейнер в заданном формате, причем контейнер содержит видеопоток, содержащий данные изображения, и поток субтитров, содержащий информацию субтитров;
блок видеодекодирования, получающий данные изображения, выполняя процесс декодирования видеопотока;
блок декодирования субтитров, получающий растровые данные субтитров, выполняя процесс декодирования потока субтитров;
блок регулирования уровня яркости, выполняющий процесс регулирования уровня яркости растровых данных в соответствии с информацией для регулирования уровня яркости; и
блок видеоналожения, который накладывает растровые данные, полученные после регулирования уровня яркости блоком регулирования уровня яркости , на данные изображения, полученные блоком видеодекодирования.
В настоящей технологии контейнер в заданном формате, содержащий видеопоток, в котором присутствуют данные изображения, и поток субтитров, содержащий информацию субтитров, принимается приемным блоком. Например, видеопоток содержит видеоданные передачи, полученные посредством фотоэлектрического преобразования с высоким динамическим диапазоном, выполняемого для данных изображения с высоким динамическим диапазоном. Поток субтитров содержит в качестве информации о субтитрах , например, растровые данные или текстовую информацию субтитров.
Процесс декодирования выполняется для видеопотока и с помощью блока видеодекодирования получают данные изображения. Процесс декодирования выполняется для потока субтитров и с помощью блока декодирования субтитров получают растровые данные субтитров. Процесс регулирования уровня яркости растровых данных выполняется для растровых данных блоком регулирования уровня яркости в соответствии с информацией для регулирования уровня яркости. Затем растровые данные после регулирования уровня яркости накладываются блоком видеоналожения на данные изображения.
Например, блок регулирования уровня яркости может выполнять регулирование уровня яркости, используя информацию для регулирования уровня яркости, вставленную в видеопоток и/или поток субтитров. Кроме того, приемное устройство может дополнительно содержать блок формирования информации для регулирования уровня яркости, например, формирующий информацию для регулирования уровня яркости, и блок регулирования уровня яркости может выполнять регулирование уровня яркости, используя информацию для регулирования уровня яркости, формируемую блоком формирования информации для регулирования уровня яркости
Как описано выше, в настоящей технологии процесс регулирования уровня яркости выполняется для растровых данных субтитров, которые должны накладываться на данные изображения в соответствии с информацией для регулирования уровня яркости. Соответственно, яркость субтитров становится подходящей для фонового изображения. Таким образом, зрительное утомление за счет разницы в яркости между фоновым изображением и субтитрами может быть уменьшено и можно предотвратить ухудшение атмосферы фонового изображения.
Еще одна, другая концепция настоящей технологии заключается в передающем устройстве, содержащем:
передающий блок, который передает видеопоток в контейнере в заданном формате, причем видеопоток содержит передаваемые видеоданные, полученные посредством фотоэлектрического преобразования с высоким динамическим диапазоном для данных изображения с высоким динамическим диапазоном; и
блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что видеопоток совместим с высоким динамическим диапазоном.
В настоящей технологии видеопоток, содержащий передаваемые видеоданные, полученные посредством фотоэлектрического преобразования с высоким динамическим диапазоном, выполненного для данных изображения с высоким динамическим диапазоном, передается передающим блоком в контейнере в заданном формате. Идентификационная информация, указывающая, что видеопоток совместим с высоким динамическим диапазоном, вставляется в контейнер блоком вставки идентификационной информации.
Как описано выше, в настоящей технологии идентификационная иинформация, указывающая, что видеопоток совместим с высоким динамическим диапазоном, вставляется в контейнер. Таким образом, приемная сторона, исходя из идентификационной информации, может легко распознать, совместим ли видеопоток с высоким динамическим диапазоном.
Еще одна, другая концепция настоящей технологии заключается в передающем устройстве, содержащем:
передающий блок, который передает видеопоток и поток субтитров в контейнере в заданном формате, причем видеопоток содержит данные изображения, а поток субтитров содержит текстовую информацию субтитров; и
блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что субтитры передаются в форме текстового кода.
В настоящей технологии видеопоток, содержащий данные изображения, и поток субтитров, содержащий текстовую информацию субтитров, передаются передающим блоком в контейнере в заданном формате. Идентификационная информация, указывающая, что субтитры передаются в форме текстового кода, вставляется в контейнер блоком вставки идентификационной информации.
Как описано выше, в настоящей технологии идентификационная информация, указывающая, что субтитры передаются в форме текстового кода, вставляется в контейнер. Таким образом, приемная сторона, исходя из идентификационной информации, может легко распознать, что субтитры передаются в форме текстового кода.
Предпочтительные результаты изобретения
В соответствии с настоящей технологией, приемная сторона может предпочтительным способом выполнять регулирование уровня яркости субтитров. Следует заметить, что предпочтительные результаты, представленные в настоящем описании, являются просто примерами и предпочтительные результаты настоящей технологии ими не ограничиваются и могут содержать дополнительные результаты.
Краткое описание чертежей
Фиг. 1 - блок-схема примера конфигурации передающей/приемной системы в качестве варианта осуществления.
Фиг. 2(a) и 2(b) - общее представление регулирования уровня яркости субтитров.
Фиг. 3(а) и 3(b) - информация о регулировании уровня яркости, которая должна передаваться передающей стороной (информация о регулировании уровня яркости, соответствующая всему экрану и информация о регулировании уровня яркости, соответствующая отдельным участкам деления, полученным делением экрана на заданное количество участков).
Фиг. 4 - график, поясняющий установку пороговых значений (верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости) для объединения.
Фиг. 5(a) и 5(b) - временные положения для вставки информации для регулирования уровня яркости в видеопоток и в поток субтитров.
Фиг. 6(a-1)-6(b-2) - регулирование уровня яркости субтитров (в светлой сцене и в темной сцене) на приемной стороне.
Фиг. 7(a-1)-7(d-2) - регулирование уровня яркости субтитров (в темной сцене с участком высокой яркости и в светлой сцене с участком низкой яркости) на стороне приема.
Фиг. 8 - регулирование уровня яркости субтитров с использованием глобальных параметров для экрана.
Фиг. 9(a) и 9(b) - назначение цветов посредством способа передачи информации субтитров в форме текста.
Фиг. 10(a-1)-10(b-2) - регулирование уровня яркости субтитров в светлой сцене и в темной сцене.
Фиг. 11(с-1)-11(d-2) - регулирование уровня яркости субтитров в темной сцене с участком высокой яркости и в светлой сцене с участком низкой яркости.
Фиг. 12 - регулирование уровня яркости субтитров с использованием параметров для соответствующих участков.
Фиг. 13 - регулирование уровня яркости субтитров с использованием параметров для соответствующих участков.
Фиг. 14 - блок-схема примера конфигурации передающего устройства передающей/приемной системы.
Фиг 15 – блок-схема примерной конфигурации блока вычисления уровня яркости.
Фиг. 16 - блок верхнего доступа для GOP в случае, когда способом кодирования является HEVC.
Фиг. 17 - блок доступа, отличный от блока верхнего доступа для GOP в случае, когда способом кодирования является HEVC.
Фиг. 18 – таблица примерной структуры сообщения SEI динамического диапазона яркости (1/2).
Фиг. 19 – таблица примерной структуры сообщения SEI динамического диапазона яркости (2/2).
Фиг. 20 – карта контента основной информации в примерной структуре сообщения SEI динамического диапазона яркости.
Фиг. 21 – карта структуры TTML.
Фиг. 22(a)-22(c) – карты примерных структур соответствующих элементов метаданных "metadata", стиля "styling" и планировки "layout" в заголовке "head" структуры TTML.
Фиг. 23 - карта примерной конфигурации основы "body" структуры TTML.
Фиг. 24 – карта примерной структуры метаданных (TTM: TTML Metadata) в случае, когда информация для регулирования уровня яркости вставляется в заголовок структуры TTML с использованием элементов метаданных "metadata".
Фиг. 25 – карта примерной структуры расширения стиля (TTM: Styling Extension) в случае, когда информация для регулирования уровня яркости вставляется в заголовок структуры TTML с использованием элементов расширения стиля "styling extension".
Фиг. 26 - таблица примерной структуры сегмента управления визуализацией субтитров, содержащего информацию для регулирования уровня яркости.
Фиг. 27(a) - таблица примерной структуры дескриптора поддержки визуализации HDR, и фиг. 27(b) - карта контента основной информации в примерной структуре.
Фиг. 28(a) - таблица примерной структуры дескриптора метаданных визуализации субтитров, и фиг. 28(b) - карта контента основной информации в примерной структуре.
Фиг 29 – карта примерной структуры транспортного потока TS.
Фиг. 30 - блок-схема примерной конфигурации приемного устройства передающей/приемной системы.
Фиг. 31 - блок-схема последовательности выполнения операций примера процедур управления в процессе наложения субтитров в приемном устройстве (1/2).
Фиг. 32 - блок-схема последовательности выполнения операций примера процедур управления в процессе наложения субтитров в приемном устройстве (2/2).
Фиг. 33 - блок-схема последовательности выполнения примера глобального процесса регулирования процедур управления уровнем яркости в приемном устройстве.
Способ осуществления изобретения
Ниже приводится описание способа осуществления настоящей технологии (здесь далее способ упоминается как "вариант осуществления"). Объяснения будут даны в следующем порядке.
1. Вариант осуществления
2. Модификации
1. Вариант осуществления
Примерная конфигурация передающей/приемной системы
На фиг. 1 в качестве варианта осуществления представлена блок-схема примера передающей/приемной системы 10. Эта передающая/приемная система 10 содержит передающее устройство 100 и приемное устройство 200.
Передающее устройство 100 формирует транспортный поток (transport stream, TS) MPEG2 в качестве контейнера и передает этот транспортный поток TS в форме вещательного радиосигнала или сетевого пакета. Этот транспортный поток TS несет видеопоток, содержащий данные изображения. Этот транспортный поток TS также несет поток субтитров, содержащий информацию субтитров. Информация для регулирования уровня яркости, чтобы регулировать уровень яркости субтитров, вставляется в видеопоток и/или в поток субтитров.
Приемное устройство 200 принимает транспортный поток TS, передаваемый передающим устройством 100. Приемное устройство 200, выполняя процесс декодирования видеопотока, получает данные изображения и, выполняя процесс декодирования потока субтитров, получает растровые данные субтитров. Дополнительно, в соответствии с информацией для регулирования уровня яркости, вставленной в видеопоток и/или в поток субтитров, приемное устройство 200 выполняет процесс регулирования уровня яркости для растровых данных субтитров и накладывает отрегулированные растровые данные на данные изображения. Следует заметить, что если видеопоток и/или поток субтитров не имеют вставленной в них информации для регулирования уровня яркости, приемное устройство 200 формирует информацию для регулирования уровня яркости и использует эту информацию для регулирования уровня яркости.
На фиг. 2(a) и 2(b) приведено общее представление регулирования уровня яркости субтитров. На фиг. 2(a) и 2(b) по оси абсцисс указывается время, а по оси ординат указывается уровень яркости фонового изображения (изображения, основанного на данных изображения). Максимальная яркость и минимальная яркость в фоновом изображении со временем меняются. В случае изображения с HDR, диапазон яркости D от минимальной яркости до максимальной яркости является очень широким.
При регулировании уровня яркости субтитров уровень яркости всего субтитра регулируется в соответствии с яркостью (максимальной яркостью, минимальной яркостью, средней яркостью) фонового изображения и диапазон яркости субтитров ограничивается диапазоном R. Окаймляющие субтитры обычно используются как субтитры. Окаймляющий субтитр имеет прямоугольный граничный участок, окружающий текстовый участок. Диапазон яркости субтитров в этом случае означает диапазон яркости всей области, в которую входят как текстовый участок, так и окаймляющий участок.
Следует заметить, что края субтитра также могут использоваться в качестве субтитра и подчиняются регулированию уровня яркости аналогично окаймляющему субтитру. В этом случае, участок края эквивалентен окаймляющему участку. В этом варианте осуществления в качестве примера рассматривается окаймленный субтитр и он будет описан ниже.
В случае, когда все изображение является светлым, как показано на фиг. 2(а), уровень яркости всего субтитра (имеющего текстовый участок "АВС") регулируется на высокий уровень. На этом этапе диапазон яркости субтитра ограничивается до диапазона R1, который заранее связывается с этим субтитром. С другой стороны, в случае, когда все изображение является темным, как показано на фиг. 2(b), уровень яркости всего субтитра (имеющего текстовый участок "DEF") регулируется на низкий уровень. На этом этапе диапазон яркости субтитра ограничивается до диапазона R2, который заранее связывается с этим субтитром.
Информация для регулирования уровня яркости
Далее описывается информация для регулирования уровня яркости, которая должна передаваться с передающей стороны. Информация для регулирования уровня яркости содержит информацию для регулирования уровня яркости, соответствующую всему экрану, как показано на фиг. 3(а), или информацию для регулирования уровня яркости, соответствующую отдельным участкам деления (здесь далее упоминаемым, соответственно, как "участки"), полученным делением экрана на заданное количество участков, как показано на фиг. 3(b). Следует заметить, что на фиг. 3(b) показан примерный случай, где экран делится на 24, чтобы сформировать 24 участка Р0-Р23.
Максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", которые соответствуют всему экрану, вставляются в видеопоток, и максимальные значения яркости "partition_content_level_max", минимальные значение яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", соответствующие определенным участкам, также вставляются в видеопоток. Эти значения получаются в соответствии с данными изображения. Следует заметить, что значения, соответствующие полному экрану и соответствующим участкам, вместе вставляются не обязательно, а могут вставляться значения, соответствующие полному экрану или соответствующим участкам.
Дополнительно, для определения того, как должна регулироваться яркость субтитров на приемной стороне, в видеопоток вставляются верхнее пороговое значение "Th_max" яркости, нижнее пороговое значение "Th_min" яркости и среднее пороговое значение "Th_ave" яркости. Эти значения получают в соответствии с характеристиками функции электрооптического преобразования (характеристиками EOTF).
Приведенная на фиг. 4 кривая представляет характеристики EOTF. Пороговые значения, рекомендуемые при услугах вещания/распространения, или подходящие значения яркости, соответствующие пороговому значению темного, среднему пороговому значению и пороговому значению светлого, устанавливаются равными "Th_min", "Th_ave" и "Th_max". Следует заметить, что эти значения могут не вставляться в видеопоток, если они вставляются в поток субтитров.
Верхнее пороговое значение "Th_max" яркости, пороговое нижнее пороговое значение "Th_min" яркости и среднее пороговое значение "Th_ave" яркости, которые были описаны выше, вставляются в поток субтитров. Следует заметить, что эти значения могут не вставляться в поток субтитров, если они вставляются в видеопоток. Информация "renderingdrange" об ограничении диапазона яркости субтитров также вставляется в поток субтитров. Информация "colorspace" о цветовом пространстве дополнительно вставляется в поток субтитров.
Информация для регулирования уровня яркости, описанная выше, вставляется в качестве сообщения SEI, например, в видеопоток. Поэтому информация для регулирования уровня яркости вставляется в видеопоток, например, на покадровой основе, как показано на фиг. 5(а). Следует заметить, что информация для регулирования уровня яркости может вставляться на основе GOP-GOP или на какой-то другой основе. Информация для регулирования уровня яркости, описанная выше, также вставляется в поток субтитров, например, на основе отображения субтитров.
Регулирование уровня яркости субтитров
Теперь будет описано регулирование уровня яркости субтитров на приемной стороне. В случае, когда субтитры накладываются на изображение с HDR, играющее роль фонового изображения, контраст яркости между фоновым изображением и субтитрами на дисплее большой и объекты с большой разностью яркости совместно существуют на экране, приводя к утомлению зрения. Для предотвращения этого, уровень яркости субтитров регулируется, в то время, как эффект фонового изображения с HDR сохраняется. В этом случае, область переднего плана на текстовом участке субтитров и область фона на обрамляющем участке управляются отдельно друг от друга в соответствии с яркостью фонового изображения.
Как показано на фиг. 6(a-1) и 6(a-2) регулирование уровня яркости субтитров в случае "светлой сцены" описывается как тип "а". В этом случае, в фоновом изображении существует область с высокой яркостью. Если субтитр накладывается непосредственно на такое фоновое изображение, как показано на фиг. 6(а-1), результирующее изображение трудно рассматривать и это вызывает зрительное утомление, поскольку разница яркостей между фоновой областью с низкой яркостью и соседней областью с высокой яркостью в фоновом изображении является большой. Кроме того, фоновая область с низкой яркостью выделяется и засвечивает собой светлую атмосферу. Следовательно, в этом случае регулирование уровня яркости выполняется так, чтобы увеличить уровень яркости фоновой области от низкой яркости до промежуточной яркости, и субтитры затем накладываются на фоновое изображение, как показано на фиг. 6(а-2).
Как показано на фиг. 6(b-1) и 6(b-2) регулирование уровня яркости субтитров в случае "темной сцены" описывается как тип "b". В этом случае, в фоновом изображении существует область с низкой яркостью. Если субтитры накладываются непосредственно на такое фоновое изображение, область переднего плана выделяется и засвечивает собой темную атмосферу, как показано на фиг. 6(b-1). Следовательно, в этом случае регулирование уровня яркости выполняется так, чтобы уменьшать уровень яркости области переднего плана от высокой яркости до промежуточной яркости, и субтитры затем накладываются на фоновое изображение, как показано на фиг. 6(b-2).
Как показано на фиг. 7(с-1) и 7(с-2) регулирование уровня яркости субтитров в случае "темной сцены с участком высокой яркости" описывается как тип "с". В этом случае, в фоновом изображении существует область высокой яркости, которая создает общее темное впечатление, и фоновое изображение имеет высокую степень контрастности. Если субтитры накладываются непосредственно на такое фоновое изображение, область переднего плана с высокой яркостью выделяется и засвечивает собой темную атмосферу, как показано на фиг. 7(с-1). Следовательно, в этом случае регулирование уровня яркости выполняется так, чтобы уменьшать уровень яркости области переднего плана от высокой яркости до промежуточной яркости, и субтитры затем накладываются на фоновое изображение, как показано на фиг. 7(с-2).
Как показано на фиг. 7(d-1) и 7(d-2) регулирование уровня яркости субтитров в случае "светлой сцены с участком низкой яркости" описывается как тип "d". В этом случае, в фоновом изображении существует область низкой яркости, которая создает общее светлое впечатление, и фоновое изображение имеет высокую степень контрастности. Если субтитр накладывается непосредственно на такое фоновое изображение, как показано на фиг. 7(d-1), результирующее изображение трудно рассматривать и это вызывает зрительное утомление, поскольку разница яркостей между фоновой областью с низкой яркостью и соседней областью с высокой яркостью в фоновом изображении является большой. Кроме того, фоновая область с низкой яркостью выделяется и засвечивает собой светлую атмосферу. Следовательно, в этом случае регулирование уровня яркости выполняется так, чтобы увеличивать уровень яркости фоновой области от низкой яркости до промежуточной яркости, и субтитры затем накладываются на фоновое изображение, как показано на фиг. 7(d-2).
Регулирование уровня яркости субтитров в некоторых случаях выполняется с использованием глобальных параметров для экрана, а в некоторых других случаях выполняется с использованием параметров для соответствующих участков. Сначала описывается регулирование уровня яркости с использованием глобальных параметров для всего экрана. Как показано на фиг. 8, в этом случае используются значение максимальной яркости "global_content_level_max", значение минимальной яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", которые соответствуют всему экрану. Кроме того, в этом случае для управления регулированием используются верхнее пороговое значение яркости "Th_max", нижнее пороговое значение яркости "Th_min" и среднее пороговое значение яркости "Th_ave". Дополнительно, в этом случае используются яркость "Lf" в области переднего фона субтитра и яркость "Lb" в фоновой области субтитра.
Здесь описывается, как определяются яркости Lf и Lb. При традиционном способе передачи информации субтитров в форме текста назначение цветов осуществляется с помощью шестизначных цветовых кодов или названий цветов, таких как "Красный", "Зеленый", "Синий" и "Белый". На фиг. 9(а) показан пример языка временной разметки текстов (Timed Text Markup Language, TTML). Шестизначные цветовые коды основываются на таблице, приведенной на фиг. 9(а).
В примере TTML "color" указывает цвет области переднего плана, которая является текстовым участком субтитров, а "backgroundColor" указывает цвет фоновой области, которая является окаймляющим участком субтитров. Пример, показанный на фиг. 9(a), указывает, что цветом области переднего плана субтитра является "#ffff00", который соответствует "Желтому", а цветом фоновой области является "#000000", который соответствует "Черному". Пример, показанный на фиг. 9(a), также указывает, что цветом области переднего плана другого субтитра является "#ffffff", который соответствует "Белому", а цветом фоновой области является "#000000", который соответствует "Черному".
Как описано выше, передача цветовой информации субтитров проводится для области переднего плана и фоновой области раздельно друг от друга, но часто выполняется в домене RGB для любой из областей. В домене RGB соотношение между видимостью и яркостью не является линейным соотношением. Поэтому регулирование уровня яркости выполняется посредством перевода из домена RGB в домен YCbCr (домен яркости/цветности) посредством преобразования, описанного ниже.
Преобразование цветов зависит от цветовых пространств и выражения для преобразования значений хроматичности R, G и B в яркость Y в соответствующих цветовых пространствах "Bt.709" и "Bt.2020", например, как показано ниже.
Y = 0,212R + 0,715G + 0Ю072B (в случае Bt.709)
Y = 0,262R + 0,678G + 0,059B (в случае Bt.2020)
На приемной стороне преобразование цветов выполняется для цветовой информации (R, G, B) вокруг области переднего плана и фоновой области субтитров, с тем, чтобы определить яркости Lf и Lb. Как описано выше, преобразование цветов зависит от цветового пространства. По этой причине, в этом варианте осуществления информация о цветовом пространстве "colorspace" вставляется в поток субтитров.
Следует заметить, что информация субтитров вместо текста может быть передана в растровой форме. В этом случае, яркости Lf и Lb могут быть получены из выходных сигналов CLUT на приемной стороне.
Далее описывается регулирование уровня яркости субтитров в случае "светлой сцены" типа "а", показанной на фиг. 6(a-1) и 6(a-2). Схема на фиг. 10(a-1) соответствует фиг. 6(a-1). В приведенном ниже описании максимальное значение яркости представляется как "max”, минимальное значение яркости представляется как "min" и среднее значение яркости представляется как "ave". Поскольку Th_max<max, принимается решение, что в фоновой области существует область с очень высокой яркостью. Кроме того, поскольку Th_ave < ave, фоновое изображение определяется как полностью светлое. Дополнительно, поскольку Th_min < min, принимается решение, что в фоновой области не существует никакой области с очень низкой яркостью. Яркость Lf в области переднего фона субтитра и яркость Lb в фоновой области субтитра находятся на уровнях, показанных на чертеже.
В этом случае, как показано на фиг. 10(a-2), яркость Lb в фоновой области субтитров регулируется и увеличивается до яркости Lb’ и диапазон яркости регулируется, чтобы удовлетворить информации "renderingdrange" об ограничении диапазона яркости субтитров. "Renderingdrange" указывает отношение между яркостью на переднем плане и яркостью в фоновой области и уровень яркости Lb’ регулируется так, чтобы Lf/Lb’ стало равным или ниже упомянутого отношения.
Далее описывается регулировка уровня яркости субтитров в "темной сцене" типа "b", показанной на фиг. 6(b-1) и 6(b-2). Схема на фиг. 10(b-1) соответствует фиг. 6(b-1). Поскольку Th_max>max, принимается решение, что в фоновой области не существует никакой области с очень высокой яркостью. Кроме того, поскольку Th_ave>ave, фоновое изображение определяется как полностью темное. Дополнительно, поскольку Th_min > min, принимается решение, что в фоновой области существует область с очень низкой яркостью. Яркость Lf в области переднего фона субтитра и яркость Lb в фоновой области субтитра находятся на уровнях, показанных на чертеже.
В этом случае, как показано на фиг. 10(b-2), яркость Lf в области переднего плана субтитров регулируется и снижается до яркости Lf’ и диапазон яркости регулируется, чтобы удовлетворить информации "renderingdrange" об ограничении диапазона яркости субтитров. То есть, уровень яркости Lf’ регулируется так, что Lf’/Lb становится равным или меньше отношения, указанного в "renderingdrange".
Далее описывается регулировка уровня яркости субтитров в "темной сцене с участком высокой яркости" типа "с", показанной на фиг. 7(с-1) и 7(с-2). Схема на фиг. 11(с-1) соответствует фиг. 11(с-1). Поскольку Th_max<max, принимается решение, что в фоновой области существует область с очень высокой яркостью. Кроме того, поскольку Th_ave>ave, фоновое изображение определяется как полностью темное. Дополнительно, поскольку Th_min > min, принимается решение, что в фоновой области существует область с очень низкой яркостью. Яркость Lf в области переднего фона субтитра и яркость Lb в фоновой области субтитра находятся на уровнях, показанных на чертеже.
В этом случае, как показано на фиг. 11(с-2), яркость Lf в области переднего плана субтитров регулируется и снижается до яркости Lf’ и диапазон яркости регулируется, чтобы удовлетворить информации "renderingdrange" об ограничении диапазона яркости субтитров. То есть, уровень яркости Lf’ регулируется так, что Lf’/Lb становится равным или меньше отношения, указанного в "renderingdrange".
Далее описывается регулировка уровня яркости субтитров в "светлой сцене с участком низкой яркости" типа "d", показанной на фиг. 7(d-1) и 7(d-2). Схема на фиг. 11(d-1) соответствует фиг. 11(d-1). Поскольку Th_max<max, принимается решение, что в фоновой области существует область с очень высокой яркостью. Кроме того, поскольку Th_ave < ave, фоновое изображение определяется как полностью светлое. Дополнительно, поскольку Th_min > min, принимается решение, что в фоновой области существует область с очень низкой яркостью. Яркость Lf в области переднего фона субтитра и яркость Lb в фоновой области субтитра находятся на уровнях, показанных на чертеже.
В этом случае, как показано на фиг. 11(d-2), яркость Lb в фоновой области субтитров регулируется и увеличивается до яркости Lb’ и диапазон яркости регулируется, чтобы удовлетворить информации "renderingdrange" об ограничении диапазона яркости субтитров. То есть, уровень яркости Lb’ регулируется так, что Lf’/Lb становится равным или меньше отношения, указанного в "renderingdrange".
Далее описывается регулирование уровня яркости с использованием параметров для соответствующих участков. Максимальное значение яркости, минимальное значение яркости и среднее значение яркости на экране не могут представлять локальное распределение яркости. Здесь используются максимальные значения яркости, минимальные значения яркости и средние значения яркости соответствующих участков, с тем, чтобы могло выполняться более точное регулирование уровня яркости субтитров.
В этом случае, экран делится на 24 участка P0-P23 и субтитры накладываются на восемь участков A, B, C, D, E, F, G и H, как показано на фиг. 12. Пунктирный прямоугольник указывает положение и размер субтитра (окаймленный субтитр), который должен накладываться.
Как показано на фиг. 13, в этом случае используются максимальные значения яркости "partition_content_level_max", минимальные значения яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", соответствующие восьми участкам A, B, C, D, E, F, G и H. Следует заметить, что сюда могут включаться участки с большей площадью, чем восемь участков. Кроме того, в этом случае используются верхнее пороговое значение яркости "Th_max", нижнее пороговое значение яркости "Th_min" и среднее пороговое значение яркости "Th_ave". Дополнительно, в этом случае используются яркость "Lf" в области переднего фона субтитра и яркость "Lb" в фоновой области субтитра.
В этом случае, выполняются определения, подобные тем, которые используются при регулировании уровня яркости субтитров с описанными выше параметрами, и окончательные определения принимаются, например, с помощью правила большинства или степеней приоритета. В примере, показанном на чертеже, используются, например, определения, сделанные в отношении участка С (смотрите фиг. 11(d-1) и 11(d-2)). В этом случае, как показано на фиг. 11(d-2), яркость Lb в фоновой области субтитров регулируется и увеличивается до яркости Lb’ и диапазон яркости регулируется, чтобы удовлетворить информации "renderingdrange" об ограничении диапазона яркости субтитров. То есть, уровень яркости Lb’ регулируется так, что Lf’/Lb становится равным или меньше отношения, указанного в "renderingdrange".
Пример конфигурации передающего устройства
На фиг. 14 представлен пример конфигурации передающего устройства 100. Это передающее устройство 100 содержит блок 101 управления, камеру 102 с HDR, блок 103 фотоэлектрического преобразования с HDR, блок 104 преобразования RGB/YCbCr, видеокодер 105, блок 106 вычисления уровня яркости, блок 107 установки порогового значения, блок 108 формирования субтитров, блок 109 преобразования текстового формата, кодер 110 субтитров, системный кодер 111 и передающий блок 112.
Блок 101 управления предназначен для работы в качестве центрального процессора (central processing unit, CPU) и управляет операциями соответствующих компонент передающего устройства 100 в соответствии с управляющей программой. Камера 102 с HDR получает изображение объекта и выводит видеоданные (данные изображения) с высоким динамическим диапазоном (high dynamic range, HDR). Эти видеоданные с HDR имеют степень контрастности от 0 до 100%*N (где N - число больше 1), превышающую яркость пика белого для традиционного SDR-изображения, такую как степень контрастности от 0 до 1000%. Здесь, 100-процентный уровень эквивалентен значению яркости белого, которая составляет 100 кд/м2.
Основной монитор 103 является монитором для градации видеоданных с HDR, полученных камерой 102 с HDR. Этот основной монитор 103a имеет уровень яркости отображения, соответствующий видеоданным с HDR, или пригодный для градации видеоданных с HDR.
Блок 103 фотоэлектрического преобразования с HDR применяет характеристики функции оптоэлектрической передачи в видеоданные с HDR, полученные камерой 102 с HDR, чтобы получить передаваемые видеоданные V1. Блок 104 преобразования RGB/YCbCr преобразует передаваемые видеоданные V1 из домена RGB в домен YCbCr (яркость/цветность).
В соответствии с передаваемыми видеоданными V1, преобразованными в домен YCbCr, блок 106 вычисления уровня яркости для каждой картинки вычисляет максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", соответствующие всему экрану, и максимальные значения яркости "partition_content_level_max", минимальные значения яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", соответствующие определенным участкам деления (участкам), например, полученным делением экрана на заданное число.
На фиг. 15 представлен пример конфигурации блока 106 вычисления уровня яркости. Этот блок 106 вычисления уровня яркости формируется блоками 106а и 106b сравнения значений изображения. Блок 106a сравнения пиксельных значений принимает вводимые передаваемые видеоданные V1 и имеет размер участка экрана, назначенный блоком 101 управления. Следует заметить, что вместо размера участка экрана может назначаться количество участков экрана. Блок 106а сравнения пиксельных значений сравнивает пиксельные значения, чтобы вычислять максимальные значения яркости "partition_content_level_max", минимальные значения яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave" для соответствующих участков (областей участков).
Блок 106b сравнения пиксельных значений принимает вводимые соответствующие значения каждого участка, вычисленные блоком 106а сравнения пиксельных значений. Блок 106b сравнения пиксельных значений сравнивает значения соответствующих участков деления, чтобы вычислить максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", соответствующие всему экрану.
Возвращаясь обратно к фиг. 14, в соответствии с характеристиками функции электрооптического преобразования (electro-optical transfer function, EOTF), блок 107 установки порогового значения устанавливает верхнее пороговое значение яркости "Th_max", нижнее пороговое значение яркости "Th_min" и среднее пороговое значение яркости "h_ave" для определения, как должна регулироваться яркость субтитров на приемной стороне (смотрите фиг. 4).
Видеокодер 105 выполняет такое кодирование, как MPEG4-AVC или HEVC, для передаваемых видеоданных V1, чтобы сформировать видеопоток (поток PES stream) VS, содержащий кодированные данные изображения. Видеокодер 105 также вставляет в видеопоток информацию для регулирования уровня яркости для регулирования уровня яркости субтитров.
Конкретно, максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", которые были вычислены блоком 106 вычисления уровня яркости и соответствуют всему экрану, вставляются в видеопоток, и максимальные значения яркости "partition_content_level_max", минимальные значение яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", которые были вычислены блоком 106 вычисления уровня яркости и соответствуют определенным участкам деления, также вставляются в видеопоток. Верхнее пороговое значение "Th_max" яркости, нижнее пороговое значение "Th_min" яркости и среднее пороговое значение "Th_ave" яркости, которые были установлены блоком установки пороговых значений, вставляются в видеопоток.
В этом варианте осуществления видеокодер 105 вставляет сообщение SEI о динамическом диапазоне яркости "Luma_dynamic_range SEI message", определенное вновь, в участок "SEIs" каждого блока доступа (AU).
На фиг. 16 представлен блок верхнего доступа для группы картинок (group of pictures, GOP) в случае , когда способом кодирования является HEVC. На фиг. 17 представлен блок доступа, отличный от блока верхнего доступа для GOP в случае, когда способом кодирования является HEVC. В случае, когда способом кодирования является HEVC, сообщения SEI "Prefix_SEIs" для декодирования располагаются перед слоями "slices", в которых кодируются пиксельные данные, и сообщения SEI "Suffix_SEIs" для отображения располагаются после слоев "slices". Как показано на фиг. 16 и 17, сообщение SEI о динамическом диапазоне яркости могут располагаться как сообщения SEI "Suffix_SEIs".
На фиг. 18 и 19 представлена примерная структура (синтаксис) сообщения SEI о динамическом диапазоне яркости. На фиг. 20 представлен контент (семантики) основной информации в примерной структуре. Флаговая информация, представленная одним битом флага "Luma_dynamic_range_cancel_flag", указывает, обновлять ли сообщение в "Luma_dynamic_range". Конкретно, "0" указывает, что сообщение в "Luma_dynamic_range" должно быть обновлено. С другой стороны, "1" указывает, что сообщение в "Luma_dynamic_range" не должно обновляться или предыдущее сообщение должно сохраняться таким, как есть.
Когда флаг "Luma_dynamic_range_cancel_flag" равен "0", существуют поля, описанные ниже. 8-мибитовое поле "coded_data_bit_depth" указывает количество битов кодированных пикселей. 8-битовое поле "number_of_partitions" указывает количество областей участков деления (участков) на экране. Если это значение меньше "2", экран не делится. 8-битовое поле "block_size" указывает размер блока или размер областией, полученных делением всего экрана на количество областей деления.
16-битовое поле "global_content_level_max" указывает максимальное значение яркости всего экрана. 16-битовое поле "global_content_level_min" указывает минимальное значение яркости всего экрана. 16-битовое поле "global_content_level_ave" указывает среднее значение яркости всего экрана. 16-битовое поле "content_threshold_max" указывает верхнее пороговое значение яркости. 16-битовое поле "content_threshold_min" указывает нижнее пороговое значение яркости. 16-битовое поле "content_threshold_ave" указывает среднее пороговое значение яркости.
Дополнительно, когда количество делений, указанное полем "number_of_partitions" равно 2 или больше, каждый участок деления содержит описанные выше поля. 16-битовое поле "partition_content_level_max" указывает максимальное значение яркости на участке деления. 16-битовое поле "partition_content_level_min" указывает минимальное значение яркости на участке деления. 16-битовое поле "partition_content_level_ave" указывает среднее значение яркости на участке деления.
Возвращаясь обратно к фиг. 14, блок 108 формирования субтитров формирует текстовые данные (код символов) DT в качестве информации субтитров. Блок 109 преобразования текстового формата принимает вводимые текстовые данные DT и получает текстовую информацию субтитров в заданном формате, имеющем информацию синхронизации отображения. В этом варианте осуществления текстовая информация DT преобразуется в TTML.
На фиг. 21 показана структура TTML. TTML записывается в соответствии с XML. Заголовок "head" содержит соответствующие элементы, такие как метаданные "metadata", стиль "styling" и планировка "layout". На фиг. 22 представлена примерная структура метаданных (TTM: TTML Metadata). Эти метаданные содержат информацию о заголовке метаданных и информацию об авторском праве.
На фиг. 22(b) представлена примерная структура стиля (TTS: TTML Styling). Этот стиль содержит не только идентификатор "id", но также информацию о цвете "color", шрифте "fontFamily", размере "fontSize", выравнивании "textAlign" и т.п. На фиг. . 22(c) показана примерная структура планировки (область: TTML layout). Эта планировка содержит не только идентификатор "id" области, в которой располагается субтитр, но также информацию о размере "extent", заполнении "padding", фоновом цвете "backgroundColor", выравнивании "displayAlign" и т.п.
На фиг. 23 показан пример структуры основы "body". Пример, показанный на чертеже, содержит информацию о трех субтитрах: субтитр 1 "subtitle 1", субтитр 2 "subtitle 2" и субтитр 3 "subtitle 3". Для каждого субтитра записываются текстовые данные, а также момент начала отображения и момент окончания отображения. Для субтитра 1, например, момент начала отображения равен "0,76s", момент окончания отображения равен "3,45s" и текстовыми данными являются "It seems a paradox, dose it not" (это кажется парадоксом, не так ли). Возвращаясь обратно к фиг. 14, кодер 110 субтитров преобразует TTML, полученный посредством блока 109 преобразования текстового формата в различные сегменты, и формирует поток SS субтитров, образуемый PES-пакетом, в котором эти сегменты располагаются в полезной нагрузке.
В настоящем варианте осуществления информация для регулирования уровня яркости, используемая для регулирования уровня яркости субтитров, вставляется в поток SS субтитров. Конкретно, верхнее пороговое значение "Th_max" яркости, нижнее пороговое значение "Th_min" яркости, среднее пороговое значение "Th_ave" яркости, информация об ограничении диапазона яркости субтитров "renderingdrange" и информация о цветовом пространстве субтитров "colorspace" вставляются в поток SS субтитров.
Вставка информации для регулирования уровня яркости выполняется блоком 109 преобразования текстового формата или кодером 110 субтитров. В случае, когда блок 109 преобразования текстового формата выполняет вставку информации для регулирования яркости, используются, например, элементы в метаданных "metadata" в заголовке структуры TTML.
На фиг. 24 представлена примерная структура метаданных (TTM: TTML Metadata) для этого случая. Информация о цветовом пространстве указывается посредством "ttm-ext:colorspace" и "ITUR2020", "ITIUR709" и т.п. и затем записывается. В примере, показанном на чертеже, записано "ITUR2020". Информация о динамическом диапазоне или тип характеристик EOTF с HDR указывается посредством "ttm-ext:dynamicrange" и затем записывается "ITUR202x", "ITIUR709" и т.п. В примере, показанном на чертеже, записано "ITUR202x".
Информация управления визуализацией в качестве информации для регулирования уровня яркости указывается посредством "ttm-ext:renderingcontrol". Верхнее пороговое значение яркости указывается посредством "ttm-ext:lumathmax" и затем в качестве его фактического значения записывается "Th_max". Нижнее пороговое значение яркости указывается посредством "ttm-ext:lumathmin" и затем в качестве его фактического значения записывается "Th_min". Среднее пороговое значение яркости указывается посредством "ttm-ext:lumathave" и затем в качестве его фактического значения записывается "Th_ave".
Информация об ограничении диапазона яркости субтитров указывается посредством "ttm-ext:renderingdrange” и затем записывается "Maxminratio". "Maxminratio" указывает отношение, полученное делением максимальное значения яркости субтитра на минимальное значение яркости субтитра. Когда значение равно, например, "4", максимальное значение яркости субтитра после регулирования яркости равно или меньше четырехкратного минимального значения яркости.
Дополнительно, в случае, когда блок 109 преобразования текстового формата выполняет вставку информации для регулирования уровня яркости, в заголовке структуры TTML используются, например, элементы расширения стиля "styling extension". В этом случае, независимое управление визуализацией (регулирование уровня яркости) может выполняться для каждого "xml:id".
На фиг. 25 показана примерная структура расширения стиля "TTML Styling Extension" для этого случая. Информация о цветовом пространстве указывается посредством "ttse:colorspace" и "ITUR2020", "ITIUR709" и т.п. и затем записывается. В примере, показанном на чертеже, записано "ITUR2020". Информация о динамическом диапазоне или типе характеристик EOTF с HDR указывается посредством "ttse:dynamicrange" и затем записывается "ITUR202x", "ITIUR709" и т.п. В примере, показанном на чертеже, записано "ITUR202x".
Верхнее пороговое значение яркости указывается посредством "ttse:renderingcontrol:lumathmax" и затем в качестве его фактического значения записывается "Th_max". Нижнее пороговое значение яркости указывается посредством "ttse:renderingcontrol:lumathmin" и затем в качестве его фактического значения записывается "Th_min". Среднее пороговое значение яркости указывается посредством "ttse-ext:renderingcontrol:lumathave" и затем в качестве его фактического значения записывается "Th_ave". Информация об ограничении диапазона яркости субтитров указывается как "ttse: renderingcontrol:renderingdrange” и затем записывается "Maxminratio".
В случае, когда кодер 110 субтитров выполняет вставку информации для регулирования уровня яркости, в поток субтитров вставляется сегмент, содержащий информацию для регулирования уровня яркости. В этом варианте осуществления вновь определенный сегмент управления визуализацией субтитров (SRCS: Subtitle_rendering_control_segment) вставляется в поток субтитров.
На фиг. 26 показана примерная структура (синтаксис) сегмента управления визуализацией субтитров. Эта структура содержит следующие фрагменты информации: "sync_byte", "segment_type", "page_id", "segment_length", "version_number" и "number_of _resion". 8-мибитовое поле "segment_type" указывает тип сегмента и, в данном примере, показывает, что сегмент является сегментом управления визуализацией субтитров. 8-мибитовое поле "segment_length" указывает длину (размер) сегмента. 8-битовое поле "number_of_resion" указывает количество областей.
Кроме того, такая структура содержит информацию для регулирования уровня яркости для каждой области. 8-битовое поле "resion_id" указывает идентификатор для идентификации области. 8-битовое поле "colorspace_type" указывает информацию о цветовом пространстве. 8-битовое поле "dynamicrange_type" указывает информацию о динамическом диапазоне или указывает тип характеристик EOTF с HDR. 16-битовое поле "luma_th_max" указывает верхнее пороговое значение яркости. 16-битовое поле "luma_th_min" указывает нижнее пороговое значение яркости. 16-битовое поле "luma_th_ave" указывает среднее пороговое значение яркости.
8-битовое поле "renderingdrange" указывает информацию об ограничении диапазона яркости субтитров. Эта информация об ограничении указывает, например, отношение, полученное делением максимальное значения яркости субтитра на минимальное значение яркости субтитра. Когда значение равно, например, "4", максимальное значение яркости субтитра после регулирования яркости равно или меньше четырехкратного минимального значения яркости.
Возвращаясь к фиг. 14, системный кодер 111 формирует транспортный поток TS, содержащий видеопоток VS, сформированный видеокодером 105, и поток SS субтитров, сформированный декодером 110 субтитров. Передающий блок 112 вводит этот транспортный поток TS в вещательный радиосигнал или в сетевой пакет и передает вещательный радиосигнал или сетевой пакет приемному устройству 200.
Системный кодер 111 вставляет идентификационную информацию в транспортный поток TS, служащий в качестве контейнера. Идентификационная информация указывает, что информация для регулирования уровня яркости была вставлена в видеопоток. В этом варианте осуществления системный кодер 111 вставляет дескриптор поддержки визуализации с HDR "HDR_rendering_support_descriptor" в таблицу карты программы (PMT: Program Map Table).
На фиг. 27(a) представлена примерная структура (синтаксис) дескриптора поддержки визуализации HDR. На фиг. 27(b) представлен контент (семантики) основной информации в примерной структуре. 8-мибитовое поле "descriptor_tag" указывает тип дескриптора и, в данном примере, показывает, что дескриптор является дескриптором поддержки визуализации с HDR. 8-битовое поле "descriptor_length" указывает длину (размер) дескриптора и показывает количество байтов, соответствующее длине дескриптора.
Флаг "HDR_flag" указывает, совместим ли сервисный поток (видеопоток) с HDR. Когда флаг равен "1", сервисный поток совместим с HDR. Когда флаг равен "0", сервисный поток не совместим с HDR. Флаг "composition_control_flag" указывает, было ли закодировано в видеопотоке сообщение SEI о динамическом диапазоне яркости (сообщение Luma_dynamic_Range SEI), или были ли информация для регулирования уровня яркости вставлена в видеопоток. Когда флаг равен "1", сообщение SEI о динамическом диапазоне яркости было закодировано. Когда флаг равен "0", сообщение SEI о динамическом диапазоне яркости не было закодировано. 8-битовое поле "EOTF_type" указывает тип характеристик EOTF видео (значение VUI видеопотока).
Системный кодер 111 вставляет дополнительную идентификационную информацию в транспортный поток TS, служащий в качестве контейнера. Идентификационная информация указывает, что информация для регулирования уровня яркости была вставлена в поток субтитров. В этом варианте осуществления системный кодер 111 вставляет дескриптор метаданных визуализации субтитров "Subtitle_rendering_metadata_descriptor" в таблицу карты программы (PMT: Program Map Table).
На фиг. 28(a) представлена примерная структура (синтаксис) дескриптора метаданных визуализации субтитра. На фиг. 28(b) представлен контент (семантики) основной информации в примерной структуре. 8-мибитовое поле "descriptor_tag" указывает тип дескриптора и в данном примере показывает, что дескриптор является дескриптором метаданных визуализации субтитра. 8-битовое поле "descriptor_length" указывает длину (размер) дескриптора и показывает количество байтов, соответствующее длине дескриптора.
Флаг "subtitle_text_flag" указывает, передается ли субтитр в форме текстового кода. Когда флаг равен "1", субтитр является субтитром с кодированным текстом. Когда флаг равен "0", субтитр не является субтитром с кодированным текстом. Флаг "subtitle_rendering_control_flag" указывает, была ли закодирована метаинформация о субтитре для регулирования яркости или имеет ли субтитр вставленную в него информацию для регулирования уровня яркости. Когда флаг равен "1", метаинформация для регулирования яркости была закодирована. Когда флаг равен "0", метаинформация для регулирования яркости не была закодирована.
3-хбитовое поле "meta_container_type" указывает место хранения или положение вставки метаинформации для регулирования яркости (информации для регулирования уровня яркости). В 3-хбитовом поле "meta_container_type" "0" указывает сегмент управления визуализацией субтитра, "1" указывает элемент метаданных "metadata" в заголовке структуры TTML и "2" указывает элемент расширения стиля "styling extension" в заголовке структуры TTML.
Далее кратко описываются операции в передающем устройстве 100, показанном на фиг. 14. Видеоданные с HDR, полученные посредством получения изображения, выполняемого камерой 102 с HDR, подаются на блок 103 фотоэлектрического преобразования с HDR. Видеоданные с HDR, полученные камерой 102 с HDR, подвергаются градации с помощью основного монитора 103a. Блок 103 фотоэлектрического преобразования с HDR выполняет фотоэлектрическое преобразование, применяя характеристики функции оптоэлектрической передачи с HDR (кривая HDR OETF) к видеоданным с HDR, и, таким образом, получает передаваемые видеоданные V1. Эти передаваемые видеоданные V1 преобразуются из домена RGB в домен YCbCr (яркость/цветность) блоком 104 преобразования RGB/YCbCr.
Передаваемые видеоданные V1, преобразованные в домен YCbCr, подаются на видеокодер 105 и блок 106 вычисления уровня яркости. Блок 106 вычисления уровня яркости для каждой картинки вычисляет максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", соответствующие всему экрану, и максимальные значения яркости "partition_content_level_max", минимальные значения яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", соответствующие определенным участкам деления (участкам), полученным делением экрана на заданное число (смотрите фиг. 15). Данные DV изображения подаются на видеокодер 105.
Информация о характеристиках функции электрооптического преобразования (характеристиках EOTF) подается на блок 107 установки порогового значения. В соответствии с характеристиками EOTF, блок 107 установки порогового значения устанавливает верхнее пороговое значение яркости "Th_max", нижнее пороговое значение яркости "Th_min" и среднее пороговое значение яркости "h_ave" для определения, как должна регулироваться яркость субтитров на приемной стороне (смотрите фиг. 4). Соответствующие установленные значения подаются на видеокодер 105. Соответствующие установленные значения также подаются на блок 109 преобразования текстового формата или на кодер 110 субтитров.
На видеокодере 105 выполняет такое кодирование, как MPEG4-AVC или HEVC, для передаваемых видеоданных V1 и формируется видеопоток (поток PES) VS, содержащий кодированные данные изображения. На видеокодере 105 в видеопоток также вставляется информация для регулирования уровня яркости, предназначенная для регулирования уровня яркости субтитров. То есть, на видеокодере 105 вновь определенное сообщение SEI о динамическом диапазоне яркости вставляется в участок "SEIs" в блоке доступа (AU) (смотрите фиг. 16).
В блоке 108 формирования субтитров в качестве информации субтитров формируются текстовые данные (коды символов) DT. Эти текстовые данные DT подаются на блок 109 преобразования текстового формата. На блоке 109 преобразования текстового формата текстовые данные DT преобразуются в текстовую информацию субтитров, имеющую информацию синхронизации отображения, или в TTML (смотрите фиг. 21). Этот TTML подается на кодер 110 субтитров.
В кодере 109 субтитров TTML, полученный посредством блока 109 преобразования текстового формата, преобразуется в различные сегменты, и формируется поток SS субтитров, полученный с помощью PES-пакета, в котором эти сегменты располагаются в полезных нагрузках.
Информация для регулирования уровня яркости для выполнения регулирования уровня яркости субтитра вставляется в поток SS субтитров. Вставка информации для регулирования уровня яркости выполняется блоком 109 преобразования текстового формата или кодером 110 субтитров. В случае, когда вставка выполняется блоком 109 преобразования текстового формата, используются, например, элементы в метаданных "metadata" в заголовке структуры TTML или элементы в расширении стиля "styling extension" в заголовке структуры TTML (смотрите фиг. 24 и 25). С другой стороны, в случае, когда вставка выполняется кодером 110 субтитров, вновь определенный сегмент управления визуализацией субтитров вставляется, например, в поток субтитров (смотрите фиг. 26).
Видеопоток VS, сформированный видеокодером 105, подается на системный кодер 111. Поток SS субтитров, сформированный кодером 110 субтитров, подается на системный кодер 111. В системном кодере 111 формируется транспортный поток TS, содержащий видеопоток VS и поток SS субтитров. Этот транспортный поток TS вводится в вещательный радиосигнал или в сетевой пакет и передается передающим устройством 112 приемному устройству 200.
В системном кодере 111 на этом этапе в транспортный поток TS вставляется идентификационная информация, указывающая, что в видеопоток вставлена информация для регулирования уровня яркости. То есть, в системном кодере 111 дескриптор поддержки визуализации с HDR вставляется в таблицу карты программы (смотрите фиг. 27(а)). В системном кодере 111 на этом этапе в транспортный поток TS также вставляется идентификационная информация, указывающая, что поток SS субтитров имеет вставленную в него информацию для регулирования уровня яркости. То есть, в системном кодере 111 дескриптор метаданных визуализации субтитров вставляется в таблицу карты программы (РМТ) (смотрите фиг. 28(а)).
Структура транспортного потока TS
На фиг. 29 представлена примерная структура транспортного потока TS. Эта примерная структура содержит пакет PES видеопотока "video PES1", идентифицируемый с помощью PID1. Каждый блок доступа имеет вставленное в него сообщение SEI о динамическом диапазоне яркости. Информация для регулирования уровня яркости (значения яркости фонового изображения, пороговые значения для объединения и т.п.) записывается в сообщение SEI о динамическом диапазоне яркости.
Эта примерная структура также содержит пакет PES потока субтитров "Subtitle PES2", который идентифицируется с помощью PID2. Информация для регулирования уровня яркости (информация о цветовом пространстве, пороговые значения для объединения, информация об ограничении диапазона яркости субтитров и т.п.) вставляется в элемент метаданных "metadata" в заголовке структуры TTML, в элемент расширения стиля "styling extension" в заголовке структуры TTML или в сегмент управления визуализацией субтитров.
Транспортный поток TS также содержит таблицу карты программ (PMT) в качестве специальной программной информации (PSI). PSI является информацией, указывающей, к каким программам принадлежат соответствующие элементарные потоки, содержащиеся в транспортном потоке. PMT содержит программный цикл "Program loop", в который записывается информация, относящаяся ко всей программе.
РМТ также содержит циклы элементарного потока, имеющие информацию, связанную с соответствующими элементарными потоками. Эта примерная структура содержит видеоцикл элементарного потока "video ES loop", соответствующий видеопотоку, и цикл элементарного потока субтитров "Subtitle ES loop", соответствующий потоку субтитров.
В видеоцикле элементарного потока "video ES loop" располагается такая информация, как тип потока и идентификатор потока (packet identifier, PID), соответствующие видеопотоку, а также располагается дескриптор, описывающий информацию, относящуюся к видеопотоку. Значение "Stream_type" этого видеопотока устанавливается равным значению, указывающему, например, видеопоток HEVC, и информация PID указывает PID1, выделенный пакету PES видеопотока "video PES1". Дескриптор HEVC, вновь определенный дескриптор поддержки визуализации с HDR и т.п. вставляются в качестве дескриптора.
В цикле элементарного потока субтитров "Subtitle ES loop" также располагается такая информация, как тип потока и идентификатор потока (PID), соответствующие потоку субтитров, а также располагается дескриптор, описывающий информацию, относящуюся к потоку субтитров. Значение "Stream_type" этого потока субтитров устанавливается равным значению, указывающему, например, частный поток HEVC, и информация PID указывает PID2, предоставленный пакету PES потока субтитров "Subtitle PES2". Вновь определенный дескриптор метаданных визуализации и т.п. вставляются в качестве дескриптора.
Пример конфигурации приемного устройства
На фиг. 30 представлен пример конфигурации приемного устройства 200. Это приемное устройство 200 содержит блок 201 управления, приемный блок 202, системный декодер 203, видеодекодер 204, текстовый декодер 205 субтитров, блок 206 распаковки шрифта, блок 208 преобразования RGB/YCbCr и блок 209 регулирования уровня яркости. Этот приемный блок 200 также содержит блок 210 видеоналожения, блок 211 преобразования YCbCr/RGB, блок 212 электрооптического преобразования с HDR, блок 213 отображения для отображения с HDR и монитор 214 CE.
Блок 201 управления предназначен для работы в качестве центрального процессора (central processing unit, CPU) и управляет операциями соответствующих компонент приемного устройства 200 в соответствии с управляющей программой. Приемный блок 202 принимает транспортный поток TS, передаваемый передающим устройством 100 с помощью вещательного радиосигнала или сетевого пакета. Системный декодер 203 извлекает видеопоток VS и поток SS субтитров из транспортного потока TS. Системный декодер также извлекает различные виды информации, вставленной в транспортный поток TS (контейнер), и посылает извлеченную информацию на блок 201 управления.
В этом варианте осуществления эта извлеченная информация содержит дескриптор поддержки визуализации с HDR (смотрите фиг. 27(а) и дескриптор метаданных визуализации субтитров (смотрите фиг. 28(а)).
Когда флаг "HDR_flag" в дескрипторе поддержки визуализации с HDR равен "1", блок 201 управления распознает, что видеопоток (сервисный поток) совместим с HDR. Когда флаг "composition_control_flag" в дескрипторе поддержки визуализации с HDR равен "1", блок 201 также распознает, что в видеопотоке содержится кодированное сообщение SEI о динамическом диапазоне яркости или в видеопоток вставлена информация для регулирования уровня яркости.
Когда флаг "subtitle_text_flag" в дескрипторе метаданных визуализации субтитров равен "1", блок 201 управления также распознает, что субтитр передается в форме текстового кода. Когда флаг "subtitle_rendering_control_flag" в дескрипторе метаданных визуализации субтитров равен "1", блок 201 управления также распознает, что метаинформация для регулирования яркости о субтитре была кодирована или в субтитр вставлена информация для регулирования уровня яркости.
Видеодекодер 204 выполняет процесс декодирования видеопотока VS, извлеченного системным кодером 203 и выводит передаваемые видеоданные V1. Видеодекодер 124 также извлекает наборы параметров и сообщения SEI, вставленные в соответствующие блоки доступа, составляющие видеопоток VS, и посылает необходимую информацию на блок 201 управления.
В этом варианте осуществления блок 201 управления распознает, что видеопоток содержит сообщение SEI о кодированном динамическом диапазоне яркости, как описано выше. Таким образом, под управлением блока 201 управления видеодекодер 204 также обязательно извлекает сообщение SEI и получает информацию для регулирования уровня яркости, такую как значения яркости фонового изображения и пороговые значения для объединения.
Текстовый декодер 205 субтитров выполняет процесс декодирования данных сегмента соответствующих областей в потоке SS субтитров и, таким образом, получает текстовые данные и коды управления соответствующих областей. Текстовый декодер 205 субтитров также получает из потока SS субтитров информацию для регулирования уровня яркости, такую как информация о цветовом пространстве, пороговые значения для объединения и информацию об ограничении диапазона яркости субтитров. В настоящем варианте осуществления блок 201 управления распознает, что метаинформация для регулирования яркости субтитров была закодирована, как описано выше. Таким образом, под управлением блока 201 управления текстовый декодер 205 субтитров обязательно получает информацию для регулирования уровня яркости.
Блок 206 распаковки шрифтов выполняет распаковку шрифтов в соответствии с текстовыми данными и кодами управления соответствующих областей, полученных декодером 302 сегментов субтитров, и, таким образом, получает растровые данные соответствующих областей. Блок 208 преобразования RGB/YCbCr преобразует растровые данные из домена RGB в домен YCbCr (яркость/цветность). В этом случае, блок 208 преобразования RGB/YCbCr выполняет преобразование, используя уравнение преобразования, пригодное для цветового пространства, в соответствии с информацией о цветовом пространстве.
Блок 209 регулирования уровня яркости выполняет регулирование уровня яркости для растровых данных субтитров, преобразованных в домен YCbCr, используя значения яркости фонового изображения, пороговые значения для объединения и информацию об ограничении диапазона яркости субтитров. В этом случае выполняется регулирование уровня яркости субтитров с помощью глобальных параметров для экрана (смотрите фиг. 8) или регулирование уровня яркости субтитров с помощью параметров для каждого участка деления (смотрите фиг. 12).
Блок 210 видеоналожения накладывает растровые данные соответствующих областей, имеющих уровни яркости, отрегулированные блоком 209 регулирования уровня яркости, на передаваемые видеоданные V1, полученные видеодекодером 204. Блок 211 преобразования RGB/YCbCr преобразует передаваемые видеоданные V1’, имеющие наложенные на них растровые данные, из домена RGB в домен YCbCr. В этом случае, блок 211 преобразования YCbCr/RGB/выполняет преобразование, используя уравнение преобразования, пригодное для цветового пространства, в соответствии с информацией о цветовом пространстве.
Блок 212 электрооптического преобразования с HDR применяет характеристики функции электрооптического преобразования с HDR к передаваемым видеоданным V1’, преобразованным в домен RGB, и, таким образом, получает видеоданные отображения для отображения изображения с HDR. Блок 213 отображения для отображения с HDR выполняет регулирование яркости отображения для отображаемых видеоданных в соответствии с возможностями отображения максимальной яркости и т.п. монитора 214 СЕ. Монитор 214 CE отображает изображение с HDR в соответствии с отображаемыми видеоданными, для которых было выполнено регулирование яркости отображения. Этот монитор 214 CE является, например, жидкокристаллическим дисплеем (LCD) или органическим электролюминесцентным (EL) дисплеем.
Далее кратко описываются операции приемного устройства 200, показанного на фиг. 30. Приемный блок 202 принимает транспортный поток TS, передаваемый передающим устройством 100 с помощью вещательного радиосигнала или сетевого пакета. Этот транспортный поток TS подается на системный декодер 203. На системном декодере 203 из транспортного потока TS извлекаются видеопоток VS и поток SS субтитров.
Системный декодер 203 также извлекает различные виды информации, вставленной в транспортный поток TS (контейнер) и посылает их на блок 201 управления. Эта извлеченная информация содержит дескриптор поддержки визуализации с HDR (смотрите фиг. 27(а) и дескриптор метаданных визуализации субтитров (смотрите фиг. 28(а)).
Когда флаг "HDR_flag" в дескрипторе поддержки визуализации с HDR равен "1", блок 201 управления распознает, что видеопоток (сервисный поток) совместим с HDR. Когда флаг "composition_control_flag" в дескрипторе поддержки визуализации с HDR равен "1", блок 201 управления также распознает, что сообщение SEI о динамическом диапазоне яркости в видеопотоке было закодировано.
Когда флаг "subtitle_text_flag" в дескрипторе метаданных визуализации субтитров равен "1", блок 201 управления также распознает, что субтитр передается в форме текстового кода. Когда флаг "subtitle_rendering_control_flag" в дескрипторе метаданных визуализации субтитров равен "1", блок 201 управления также распознает, что метаинформация для регулирования яркости для субтитра была закодирована.
Видеопоток VS, сформированный системным декодером 203, подается на видеодекодер 204. Видеодекодер 204 выполняет процесс декодирования видеопотока VS и получает передаваемые видеоданные V1. Видеодекодер 204 также извлекает из видеопотока VS сообщение SEI о динамическом диапазоне яркости и получает информацию для регулирования уровня яркости, такую как значения яркости фонового изображения и пороговые значения, для объединения.
Поток SS субтитров, извлеченный системным декодером 203, подается на текстовый декодер 205 субтитров. Текстовый декодер 205 субтитров выполняет процесс декодирования данных сегмента соответствующих областей, содержащихся в потоке SS субтитров, и получает текстовые данные и коды управления соответствующих областей. Текстовый декодер 205 субтитров также получает из потока SS субтитров информацию для регулирования уровня яркости, такую как информация о цветовом пространстве, пороговые значения для объединения и информацию ограничения диапазона яркости субтитров.
Текстовые данные и коды управления соответствующих областей подаются на блок 206 распаковки шрифтов. Блок 206 распаковки шрифтов выполняет распаковку шрифтов в соответствии с текстовыми данными и кодами управления соответствующих областей и получает растровые данные соответствующих областей. В блоке 208 преобразования RGB/YCbCr эти растровые данные преобразуются из домена RGB в домен YCbCr в соответствии с информацией S о цветовом пространстве и подаются на блок 209 регулирования уровня яркости.
Блок 209 регулирования уровня яркости выполняет регулирование уровня яркости для растровых данных соответствующих областей, преобразованных в домен YCbCr, в соответствии со значениями яркости фонового изображения, пороговыми значениями для объединения и информацией об ограничении диапазона яркости субтитров. В этом случае выполняется регулирование уровня яркости субтитров с помощью глобальных параметров для всего экрана (смотрите фиг. 8) или регулирование уровня яркости субтитров с помощью параметров для каждого участка деления экрана (смотрите фиг. 12).
Передаваемые видеоданные V1, полученные видеодекодером 204, подаются на блок 210 видеоналожения. Растровые данные соответствующих областей, которые были подвергнуты регулированию уровня яркости и получены блоком 209 регулирования уровня яркости, подаются на блок 209 видеоналожения. В блоке 210 видеоналожения растровые данные соответствующих областей накладываются на передаваемые видеоданные V1.
Передаваемые видеоданные V1’, которые были получены блоком 210 видеоналожения и имеют наложенные на них растровые данные, преобразуются из домена YCbCr (яркость/цветность) в домен RGB в блоке 211 преобразования YCbCr/RGB в соответствии с информацией V о цветовом пространстве и затем подаются на блок 212 электрооптического преобразования с HDR. В блоке 212 электрооптического преобразования с HDR характеристики функции электрооптического преобразования с HDR применяются к передаваемым видеоданным V1’, с тем, чтобы получить видеоданные отображения для отображения изображения с HDR. Видеоданные отображения подаются на блок 213 отображения изображения с HDR.
Блок 213 отображения изображения с HDR выполняет регулирование яркости отображения для отображаемых видеоданных в соответствии с возможностями отображения максимальной яркости и т.п. монитора 214 СЕ. Отображаемые видеоданные, подвергнутые такому регулированию яркости отображения, подаются на монитор 214 СЕ. В соответствии с отображаемыми видеоданными, изображение с HDR отображается на мониторе 214 СЕ.
Следует заметить, что приемное устройство 200 дополнительно содержит декодер 215 растровых данных субтитров для разрешений ситуации, в которой информация субтитров, содержащаяся в потоке SS субтитров является растровыми данными. Этот декодер 215 растровых данных выполняет процесс декодирования потока SS субтитров, чтобы получить растровые данные субтитров. Эти растровые данные субтитров подаются на блок 209 регулирования уровня яркости.
В этом случае, информация субтитров (передаваемые данные), содержащаяся в потоке SS субтитров, передается к CLUT и выходной сигнал CLUT может иметь домен YCbCr. Поэтому растровые данные субтитров, полученные декодером 215 растровых данных субтитров подаются непосредственно на блок 209 регулирования уровня яркости. Следует заметить, что в этом случае яркость Lf в области переднего фона субтитра и яркость Lb в фоновой области субтитра могут быть получены на приемной стороне из выходного сигнала CLUT.
Приемное устройство 200 дополнительно содержит блок 216 вычисления уровня яркости, для разрешения ситуации, в которой сообщение SEI о динамическом диапазоне яркости не было закодировано в видеопотоке VS и из сообщения SEI никакое значение яркости фонового изображения не может быть получено. Блок 216 вычисления уровня яркости имеет конфигурацию, схожую с блоком 106 вычисления уровня яркости (смотрите фиг. 15) в передающем устройстве 100, показанном на фиг. 14.
В соответствии с передаваемыми видеоданными V1, полученными видеодекодером204, блок 216 вычисления уровня яркости для каждой картинки вычисляет максимальное значение яркости "global_content_level_max", минимальное значение яркости "global_content_level_min" и среднее значение яркости "global_content_level_ave", соответствующие всему экрану, и максимальные значения яркости "partition_content_level_max", минимальные значения яркости "partition_content_level_min" и средние значения яркости "partition_content_level_ave", соответствующие определенным областям участков деления (участкам), полученным делением экрана на заданное число (смотрите фиг. 15).
Приемное устройство 200 также содержит блок 217 установки пороговых значений для разрешения ситуации, в которой сообщение SEI о динамическом диапазоне яркости не было закодировано в видеопотоке VS или когда видеопоток VS содержит кодированное сообщение SEI о динамическом диапазоне яркости, но не содержит никакого порогового значения для объединения. Этот блок 217 установки порогового значения имеет конфигурацию, схожую с блоком 107 установки порогового значения в передающем устройстве 100, показанном на фиг. 14.
В соответствии с характеристиками функции электрооптического преобразования (характеристиками EOTF), блок 217 установки порогового значения устанавливает верхнее пороговое значение яркости "Th_max", нижнее пороговое значение яркости "Th_min" и среднее пороговое значение яркости "Th_ave" для определения, как должна регулироваться яркость субтитров на приемной стороне (смотрите фиг. 4).
Блок-схема последовательности выполнения операций, показанная на фиг. 31 и 32, демонстрирует пример процедур управления в процессе наложения субтитров в приемном устройстве 200. На этапе ST1 приемное устройство 200 считывает дескриптор метаданных визуализации субтитров в потоке SS субтитров, определяет, являются ли кодированные данные информации субтитров данными на текстовой основе, и проводит поиск метаинформации для регулирования яркости.
Далее, на этапе ST2 приемное устройство 200 определяет, существует ли метаинформация для регулирования яркости. Если метаинформация для регулирования яркости существует, приемное устройство 200 обнаруживает место хранения метаинформации и получает из места хранения метаинформацию (информацию о цветовом пространстве, пороговые значения для объединения и информацию об ограничении диапазона яркости субтитров). После этого этапа ST3 приемное устройство 200 переходит к процессу на этапе ST5. С другой стороны, если метаинформация для регулирования яркости не существует, приемное устройство 200 на этапе ST4 устанавливает цветовое пространство традиционного типа, пороговые значения для объединения и информацию об ограничении диапазона яркости субтитров. После этого этапа ST4 приемное устройство 200 переходит к процессу на этапе ST5.
На этапе ST5 приемное устройство 200 определяет являются ли кодированные данные информации субтитров данными на текстовой основе. Если кодированные данные информации субтитров являются данными на текстовой основе, приемное устройство 200 на этапе ST6 декодирует субтитры на текстовой основе и выполняет распаковку шрифтов из места объединения субтитров и кода символа, чтобы получить растровые данные. В этом случае, растровые данные находятся в размере распаковки и цветах переднего плана и фона. На этапе ST7 приемное устройство 200 вычисляет яркость Lf переднего фона субтитров и яркость Lb фона субтитров в соответствии с информацией о цветовом пространстве. После этого этапа ST4 приемное устройство 200 переходит к процессу на этапе ST16.
С другой стороны, если кодированные данные информации субтитров не являются данными на текстовой основе, приемное устройство 200 на этапе ST8 декодирует поток субтитров, чтобы получить растровые данные субтитров и положение объединения субтитров. На этапе ST9, посредством CLUT, назначенного потоком, приемное устройство 200 вычисляет яркость Lf переднего фона субтитров и яркость Lb фона субтитров. После этого этапа ST9 приемное устройство 200 переходит к процессу на этапе ST16.
На этапе ST11 приемное устройство 200 также считывает дескриптор поддержки визуализации с HDR и проводит в видеопотоке VS поиск сообщения SEI о динамическом диапазоне яркости.
Далее, на этапе ST12 приемное устройство 200 определяет, существует ли сообщение SEI о динамическом диапазоне яркости. Если сообщение SEI о динамическом диапазоне яркости существует, приемное устройство 200 на этапе ST13 считывает соответствующие элементы в сообщении SEI и обнаруживает значения яркости фонового изображения и пороговые значения для объединения. После этого этапа ST13 приемное устройство 200 переходит к процессу на этапе ST15. С другой стороны, если сообщение SEI о динамическом диапазоне яркости не существует, приемное устройство 200 на этапе ST14 определяет значения яркости фонового изображения, вычисляя уровень яркости декодированного изображения, и устанавливает пороговые значения для объединения. После этого этапа ST14 приемное устройство 200 переходит к процессу на этапе ST15.
На этапе ST15 приемное устройство 200 определяет, существует ли информация об участках деления. Если информация об участках деления существует, приемное устройство 200 на этапе ST16 определяет, находятся ли объекты с низкой яркостью и с высокой яркостью на расстоянии от положения объединения (наложения) субтитров. Если такие объекты не находятся на расстоянии от положения объединения субтитров, приемное устройство 200 переходит к процессу на этапе ST18. С другой стороны, если такие объекты находятся на расстоянии от положения объединения субтитров, приемное устройство 200 на этапе ST17 выполняет процесс регулирования уровня яркости, используя информацию о разделении на части. После этого этапа ST17 приемное устройство 200 переходит к процессу на этапе ST19.
На этапе ST18 приемное устройство 200 выполняет глобальный процесс регулирования уровня яркости. После этого этапа ST8 приемное устройство 200 переходит к процессу на этапе ST19. На этапе ST19 приемное устройство 200 объединяет субтитры (или накладывает субтитры на) с фоновым изображением, имеющим отрегулированную яркость. После этого этапа ST19 приемное устройство 200 на этапе ST20 завершает процесс.
На фиг. 33 показана блок-схема последовательности выполнения примера глобального процесса регулирования уровня яркости в приемном устройстве 200. На этапе ST21 приемное устройство 200 начинает процесс. На этапе ST22 приемное устройство 200 определяет является ли максимальное значение яркости более высоким, чем верхнее пороговое значение яркости. Если максимальное значение яркости выше верхнего порогового значения яркости, приемное устройство 200 на этапе ST23 определяет, является ли минимальное значение яркости меньшим, чем нижнее пороговое значение яркости. Если минимальное значение яркости не меньше нижнего порогового значения яркости, приемное устройство 200 на этапе ST24 корректирует уровень яркости фона субтитров, чтобы попасть в диапазон между максимальной яркостью и минимальной яркостью субтитров в случае, когда назначено отношение между максимальной яркостью и минимальной яркостью субтитров (смотрите фиг. 10(а-2)). Кроме того, если минимальное значение яркости меньше нижнего предельного значения яркости на этапе ST23, приемное устройство 200 на этапе ST25 определяет, является ли среднее значение яркости более высоким, чем среднее пороговое значение яркости. Если среднее значение яркости выше, чем среднее пороговое значение яркости, приемное устройство 200 на этапе ST26 корректирует уровень яркости фона субтитров так, чтобы он попадал в диапазон между максимальной яркостью и минимальной яркостью субтитра в случае, когда назначено отношение между максимальной яркостью и минимальной яркостью субтитра (смотрите фиг. 11(d-2)). С другой стороны, если среднее значение яркости не выше среднего порогового значения яркости, приемное устройство 200 на этапе ST27 корректирует уровень яркости переднего фона субтитра так, чтобы он попадал в диапазон между максимальной яркостью и минимальной яркостью субтитра в случае, когда назначено отношение между максимальной яркостью и минимальной яркостью субтитра (смотрите фиг. 11(c-2)).
Дополнительно, с другой стороны, если максимальное значение яркости на этапе ST22 не выше верхнего порогового значения яркости, приемное устройство 200 на этапе ST28 определяет, является ли минимальное значение яркости меньшим, чем нижнее пороговое значение яркости. Если минимальное значение яркости ниже нижнего порогового значения яркости, приемное устройство 200 на этапе ST29 корректирует уровень яркости переднего плана субтитра, чтобы попасть в диапазон между максимальной яркостью и минимальной яркостью субтитров в случае, когда назначено отношение между максимальной яркостью и минимальной яркостью субтитра (смотрите фиг. 10(b-2)). С другой стороны, если минимальное значение яркости не меньше, чем нижнее пороговое значение яркости, приемное устройство 200 на этапе ST30 не выполняет никакого регулирования яркости субтитра.
Следует заметить, что в отношении процесса регулирования уровня яркости, использующего информацию о разделении на части, приемное устройство 200 выполняет процесс, показанный на блок-схеме последовательности выполнения операций на фиг. 33 для каждого участка деления. По результатам соответствующих разделений на части, в соответствии с правилом большинства выполняется окончательное определение или уровни приоритета (начиная с "1") устанавливаются таким образом, что процессы выполняются в порядке уровней приоритета. Что касается уровней приоритета, то, например, уровень 1 приоритета присваивается результату этапа ST24 на фиг. 33 (или результату D деления на части D в примере, показанном на фиг. 13), уровень 2 приоритета присваивается результату этапа ST26 на фиг. 33 (или результату C деления на части в примере, показанном на фиг. 13, уровень 3 приоритета присваивается результату этапа ST29 на фиг. 33 (или результату F деления на части в примере, показанном на фиг. 13) и уровень 4 приоритета присваивается результату этапа ST27 на фиг. 33 (или результату E деления на части в примере, показанном на фиг. 13).
Как описано выше, в передающей/приемной системе 10, показанной на фиг. 1, информация для регулирования уровня яркости для регулирования уровня яркости субтитра вставляется в видеопоток VS и/или в поток субтитров SS. Соответственно, приемная сторона может выполнять регулирование уровня яркости субтитров предпочтительным способом. Таким образом, зрительное утомление может быть уменьшено и атмосфера фонового изображения и т.п. могут быть защищены от засветки.
Кроме того, в передающей/приемной системе 10, показанной на фиг. 1, в транспортный поток TS (контейнер) вставляется идентификационная информация, указывающая, что существует информация для регулирования уровня яркости, вставленная в видеопоток VS. Таким образом, приемная сторона, исходя из идентификационной информации, может легко распознать, существует ли информация для регулирования уровня яркости, вставленная в видеопоток VS.
Кроме того, в передающей/приемной системе 10, показанной на фиг. 1, в транспортный поток TS (контейнер) вставляется идентификационная информация, указывающая, что существует информация для регулирования уровня яркости, вставленная в поток SS субтитров. Таким образом, приемная сторона, исходя из идентификационной информации, может легко распознать, что существует информация для регулирования уровня яркости, вставленная в поток SS субтитров.
2. Модификации
В описанном выше примере варианта осуществления контейнером является транспортный поток (MPEG-2 TS). Однако, транспортирование, соответствующее настоящей технологии, не обязательно выполняется с помощью транспортного потока TS, а, например, в случае ISOBMFF, MMT и т.п. тем же самым способом могут быть получены видеослои с некоторым другим пакетом. Кроме того, поток субтитров не обязательно образуется с помощью PES-пакета, имеющего TTML в сегментах, расположенных в многочисленных полезных нагрузках, как описано выше. Вместо этого, настоящая технология может быть реализована, устанавливая TTML непосредственно в PES-пакет, имеющий многочисленные полезные нагрузки, или в секцию.
Настоящая технология может также быть осуществлена в описанных ниже структурах.
(1) Передающее устройство, содержащее:
видеокодер, формирующий видеопоток, содержащий данные изображения;
кодер субтитров, формирующий поток субтитров, содержащий информацию субтитров;
блок вставки информации для регулирования, вставляющий информацию для регулирования уровня яркости в видеопоток и/или поток субтитров, причем информация для регулирования уровня яркости предназначена для регулирования уровня яркости субтитров; и
передающий блок, который передает контейнер в заданном формате, причем контейнер содержит видеопоток и поток сибтитров.
(2) Передающее устройство по п. (1), в котором
информация для регулирования уровня яркости является информацией для регулирования уровня яркости, соответствующей всему экрану и/или информацией для регулирования уровня яркости, соответствующей отдельным областям участков деления, полученным делением экрана на заданное число.
(3) Передающее устройство по п. (2), в котором
информация для регулирования уровня яркости, которая должна вставляться в видеопоток, содержит максимальное значение яркости, минимальное значение яркости и среднее значение яркости, формируемые в соответствии с данными изображения.
(4) Передающее устройство по п. (3), в котором
информация для регулирования уровня яркости, которая должна вставляться в видеопоток, дополнительно содержит верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости, которые устанавливаются в соответствии с характеристиками функции электрооптического преобразования.
(5) Передающее устройство по п. (2), в котором
информация для регулирования уровня яркости, которая должна вставляться в поток субтитров, содержит информацию об ограничении диапазона яркости субтитров.
(6) Передающее устройство по п. (5), в котором
информация для регулирования уровня яркости, которая должна вставляться в видеопоток, дополнительно содержит верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости, которые устанавливаются в соответствии с характеристиками функции электрооптического преобразования.
(7) Передающее устройство по п. (5) или (6), в котором
информация для регулирования уровня яркости, которая должна вставляться в поток субтитров, дополнительно содержит информацию о цветовом пространстве.
(8) Передающее устройство по любому из пп. (1)-(7), в котором
кодер субтитров формирует поток субтитров в соответствии с текстовой информацией субтитров в TTML, и
блок вставки информации для регулирования вставляет в заголовок структуры TTML информацию для регулирования уровня яркости, используя элемент метаданных.
(9) Передающее устройство по любому из пп. (1)-(7), в котором
кодер субтитров формирует поток субтитров в соответствии с текстовой информацией субтитров в TTML, и
блок вставки информации для регулирования вставляет в заголовок структуры TTML информацию для регулирования уровня яркости, используя элемент расширения стиля.
(10) Передающее устройство по любому из пп. (1)-(7), в котором
кодер субтитров формирует поток субтитров, имеющий сегменты в качестве компонент, и
блок вставки информации для регулирования вставляет в поток субтитров сегмент, содержащий информацию для регулирования уровня яркости.
(11) Передающее устройство по любому из пп. (1)-(10), дополнительно содержащее
блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что существует информация для регулирования уровня яркости, вставленная в видеопоток.
(12) Передающее устройство по любому из пп. (1)-(11), дополнительно содержащее
блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что существует информация для регулирования уровня яркости, вставленная в поток субтитров.
(13) Передающее устройство по п. (12), в котором
информация, указывающая положение вставки информации для регулирования уровня яркости в поток субтитров, добавляется в идентификационную информацию.
(14) Способ передачи, содержащий:
этап видеокодирования, на котором формируют видеопоток, содержащий данные изображения;
этап кодирования субтитров, на котором формируют поток субтитров, содержащий информацию субтитров;
этап вставки информации для регулирования, на котором вставляют информацию для регулирования уровня яркости в видеопоток и/или поток субтитров, причем информация для регулирования уровня яркости предназначена для регулирования уровня яркости субтитра; и
этап передачи, на котором передают контейнер в заданном формате, причем контейнер содержит видеопоток и поток субтитров и контейнер передается передающим блоком.
(15) Приемное устройство, содержащее:
приемный блок, принимающий контейнер в заданном формате, причем контейнер содержит видеопоток, содержащий данные изображения, и поток субтитров, содержащий информацию субтитров;
блок видеодекодирования, получающий данные изображения, выполняя процесс декодирования видеопотока;
блок декодирования субтитров, получающий растровые данные субтитров, выполняя процесс декодирования потока субтитров;
блок регулирования уровня яркости, который выполняет процесс регулирования уровня яркости растровых данных в соответствии с информацией для регулирования уровня яркости; и
блок видеоналожения, который накладывает растровые данные, полученные после регулирования уровня яркости блоком регулирования уровня яркости, на данные изображения, полученные блоком видеодекодирования.
(16) Приемное устройство по п. (15), в котором
блок регулирования уровня яркости выполняет регулирование уровня яркости, используя информацию для регулирования уровня яркости, вставленную в видеопоток и/или поток субтитров.
(17) Приемное устройство по п. (15), дополнительно содержащее
блок формирования информации для регулирования уровня яркости, который формирует информацию для регулирования уровня яркости,
в котором блок регулирования уровня яркости выполняет регулирование уровня яркости, используя информацию для регулирования уровня яркости, сформированную блоком формирования информации для регулирования уровня яркости.
(18) Способ приема, содержащий:
этап приема, на котором принимают контейнер в заданном формате, причем контейнер содержит видеопоток, содержащий данные изображения, и поток субтитров, содержащий информацию субтитров, и контейнер принимается приемным блоком;
этап видеодекодирования, на котором получают данные изображения, выполняя процесс декодирования видеопотока;
этап декодирования субтитров, на котором получают растровые данные субтитров, выполняя процесс декодирования потока субтитров;
этап регулирования уровня яркости, на котором выполняют процесс регулирования уровня яркости растровых данных в соответствии с информацией для регулирования уровня яркости; и
этап видеоналожения, на котором накладывают растровые данные, полученные после регулирования уровня яркости на этапе регулирования уровня яркости , на данные изображения, полученные на этапе видеодекодирования.
(19) Передающее устройство, содержащее:
передающий блок, который передает видеопоток в контейнере в заданном формате, причем видеопоток содержит передаваемые видеоданные, полученные посредством фотоэлектрического преобразования, выполняемого для данных изображения с высоким динамическим диапазоном; и
блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что видеопоток совместим с высоким динамическим диапазоном.
(20) Передающее устройство, содержащее:
передающий блок, который передает видеопоток и поток субтитров в контейнере в заданном формате, причем видеопоток содержит данные изображения и поток субтитров содержит текстовую информацию субтитров; и
блок вставки идентификационной информации, который вставляет идентификационную информацию в контейнер, причем идентификационная информация указывает, что субтитры передаются в форме текстового кода.
Основной признак настоящей технологии заключается в том, что информация для регулирования уровня яркости, предназначенная для регулирования уровня яркости субтитра, вставляется в видеопоток VS и в поток SS субтитров, с тем, чтобы на приемной стороне можно было выполнить предпочтительное регулирование уровня яркости (смотрите фиг. 27(a) и 27(b)). Таким образом, зрительное утомление может быть уменьшено и атмосфера фонового изображения и т.п. могут быть защищены, например, от засветки.
Перечень ссылочных позиций
10 Передающая/приемная система
100 Передающее устройство
101 Блок управления
102 Камера с HDR
103 Блок фотоэлектрического преобразования с HDR
103a Основной монитор
104 Блок преобразования RGB/YCbCr
105 Видеокодер
106 Блок вычисления уровня яркости
106a, 106b Блок сравнения пиксельных значений
107 Блок установки пороговых значений
108 Блок формирования субтитров
109 Блок преобразования текстового формата
110 Кодер субтитров
111 Системный кодер
112 Передающий блок
200 Приемное устройство
201 Блок управления
202 Приемный блок
203 Системный декодер
204 Видеодекодер
205 Текстовый декодер субтитров
206 Блок распаковки шрифтов
208 Блок преобразования RGB/YCbCr
209 Блок регулирования уровня яркости
210 Блок видеоналожения
211 Блок преобразования YCbCr/RGB
212 Блок электрооптического преобразования с HDR
214 Монитор CE

Claims (57)

1. Устройство передачи видеопотока и потока субтитров, содержащее:
видеокодер, выполненный с возможностью формирования видеопотока, содержащего данные изображения;
кодер субтитров, выполненный с возможностью формирования потока субтитров, содержащего информацию субтитров;
блок вставки информации для регулирования, выполненный с возможностью вставки информации для регулирования уровня яркости по меньшей мере в видеопоток или в поток субтитров, причем информация для регулирования уровня яркости предназначена для регулирования уровня яркости субтитра; и
передающий блок, выполненный с возможностью передачи контейнера в заданном формате, причем контейнер содержит видеопоток и поток субтитров, в котором
кодер субтитров формирует поток субтитров в соответствии с текстовой информацией субтитров в TTML, и
блок вставки информации для регулирования вставляет в заголовок структуры TTML информацию для регулирования уровня яркости, используя элемент метаданных.
2. Устройство по п. 1, в котором
информация для регулирования уровня яркости является информацией для регулирования уровня яркости, соответствующей всему экрану, и/или информацией для регулирования уровня яркости, соответствующей отдельным областям участков деления, полученным делением экрана на заданное число.
3. Устройство по п. 2, в котором
информация для регулирования уровня яркости, которая должна вставляться в видеопоток, содержит максимальное значение яркости, минимальное значение яркости и среднее значение яркости,
максимальное значение яркости, минимальное значение яркости и среднее значение яркости на экране формируются в соответствии с данными изображения.
4. Устройство по п. 3, в котором
информация для регулирования уровня яркости, которая должна вставляться в видеопоток, дополнительно содержит верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости,
верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости устанавливаются в соответствии с характеристиками функции электрооптического преобразования.
5. Устройство по п. 2, в котором
информация для регулирования уровня яркости, которая должна вставляться в поток субтитров, содержит информацию об ограничении диапазона яркости субтитров.
6. Устройство по п. 5, в котором
информация для регулирования уровня яркости, которая должна вставляться в поток субтитров, дополнительно содержит верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости,
верхнее пороговое значение яркости, нижнее пороговое значение яркости и среднее пороговое значение яркости устанавливаются в соответствии с характеристиками функции электрооптического преобразования.
7. Устройство по п. 5, в котором
информация для регулирования уровня яркости, которая должна вставляться в поток субтитров, дополнительно содержит информацию о цветовом пространстве.
8. Устройство по п. 1, в котором
блок вставки информации для регулирования вставляет в заголовок структуры TTML информацию для регулирования уровня яркости, используя элемент расширения стиля.
9. Устройство по п. 1, в котором
кодер субтитров формирует поток субтитров, имеющий сегменты в качестве компонент, и
блок вставки информации для регулирования вставляет в поток субтитров сегмент, содержащий информацию для регулирования уровня яркости.
10. Устройство по п. 1, дополнительно содержащее:
блок вставки идентификационной информации, выполненный с возможностью вставки идентификационной информации в контейнер, причем идентификационная информация указывает, что существует информация для регулирования уровня яркости, вставленная в видеопоток.
11. Устройство по п. 1, дополнительно содержащее:
блок вставки идентификационной информации, выполненный с возможностью вставки идентификационной информации в контейнер, причем идентификационная информация указывает, что существует информация для регулирования уровня яркости, вставленная в видеопоток.
12. Устройство по п. 11, в котором
информация, указывающая положение вставки информации для регулирования уровня яркости в поток субтитров, добавляется к идентификационной информации.
13. Способ передачи видеопотока и потока субтитров, содержащий:
этап видеокодирования, на котором формируют видеопоток, содержащий данные изображения;
этап кодирования субтитров, на котором формируют поток субтитров, содержащий информацию субтитров;
этап вставки информации для регулирования, на котором вставляют информацию для регулирования уровня яркости по меньшей мере в видеопоток или в поток субтитров, причем информация для регулирования уровня яркости предназначена для регулирования уровня яркости субтитра; и
этап передачи, на котором передают контейнер в заданном формате, причем контейнер содержит видеопоток и поток субтитров и контейнер передается передающим блоком, в котором:
на этапе кодирования субтитров формируют поток субтитров в соответствии с текстовой информацией субтитров в TTML, и
на этапе вставки информации для регулирования вставляют в заголовок структуры TTML информацию для регулирования уровня яркости, используя элемент метаданных.
14. Устройство приема видеопотока и потока субтитров, содержащее:
приемный блок, выполненный с возможностью приема контейнера в заданном формате, причем контейнер содержит видеопоток, содержащий данные изображения, и поток субтитров, содержащий информацию субтитров;
блок видеодекодирования, выполненный с возможностью проведения процесса декодирования видеопотока;
блок декодирования субтитров, выполненный с возможностью получения растровых данных субтитров, проводя процесс декодирования потока субтитров;
блок регулирования уровня яркости, выполненный с возможностью проведения процесса регулирования уровня яркости растровых данных в соответствии с информацией для регулирования уровня яркости; и
блок видеоналожения, выполненный с возможностью наложения растровых данных, полученных после регулирования уровня яркости блоком регулирования уровня яркости, на данные изображения, полученные блоком видеодекодирования, в котором
блок регулирования уровня яркости выполняет регулирование уровня яркости, используя информацию для регулирования уровня яркости, вставленную по меньшей мере в видеопоток или в поток субтитров, при этом поток субтитров сформирован в соответствии с текстовой информацией субтитров в TTML, а информацию для регулирования вставляют в заголовок структуры TTML, используя элемент метаданных.
15. Устройство по п. 14, дополнительно содержащее:
блок формирования информации для регулирования уровня яркости, выполненный с возможностью формирования информации для регулирования уровня яркости,
в котором блок регулирования уровня яркости выполняет регулирование уровня яркости, используя информацию для регулирования уровня яркости, сформированную блоком формирования информации для регулирования уровня яркости.
16. Способ приема видеопотока и потока субтитров, содержащий:
этап приема, на котором принимают контейнер в заданном формате, причем контейнер содержит видеопоток, содержащий данные изображения, и поток субтитров, содержащий информацию субтитров, и контейнер принимается приемным блоком;
этап видеодекодирования, на котором получают данные изображения, выполняя процесс декодирования видеопотока;
этап декодирования субтитров, на котором получают растровые данные субтитров, выполняя процесс декодирования потока субтитров;
этап регулирования уровня яркости, на котором выполняют процесс регулирования уровня яркости растровых данных в соответствии с информацией для регулирования уровня яркости; и
этап видеоналожения, на котором накладывают растровые данные, полученные после регулирования уровня яркости на этапе регулирования уровня яркости, на данные изображения, полученные на этапе видеодекодирования, в котором
на этапе регулирования уровня яркости процесс регулирования уровня яркости выполняют используя информацию для регулирования уровня яркости, вставленную по меньшей мере в видеопоток или в поток субтитров, при этом поток субтитров сформирован в соответствии с текстовой информацией субтитров в TTML, а информацию для регулирования вставляют в заголовок структуры TTML, используя элемент метаданных.
RU2017126901A 2015-02-03 2016-01-29 Передающее устройство, способ передачи, приемное устройство и способ приема RU2712433C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015019761 2015-02-03
JP2015-019761 2015-02-03
PCT/JP2016/052594 WO2016125691A1 (ja) 2015-02-03 2016-01-29 送信装置、送信方法、受信装置および受信方法

Publications (3)

Publication Number Publication Date
RU2017126901A RU2017126901A (ru) 2019-01-28
RU2017126901A3 RU2017126901A3 (ru) 2019-07-25
RU2712433C2 true RU2712433C2 (ru) 2020-01-28

Family

ID=56564038

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017126901A RU2712433C2 (ru) 2015-02-03 2016-01-29 Передающее устройство, способ передачи, приемное устройство и способ приема

Country Status (6)

Country Link
US (1) US10542304B2 (ru)
EP (1) EP3255892B1 (ru)
JP (1) JP6891492B2 (ru)
CN (1) CN107211169B (ru)
RU (1) RU2712433C2 (ru)
WO (1) WO2016125691A1 (ru)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102477041B1 (ko) * 2015-03-24 2022-12-14 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP6831389B2 (ja) * 2015-11-24 2021-02-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 複数のｈｄｒ画像ソースの処理
WO2017135673A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP6942695B2 (ja) 2016-09-14 2021-09-29 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
CN108370451B (zh) * 2016-10-11 2021-10-01 索尼公司 发送装置、发送方法、接收装置以及接收方法
WO2018147196A1 (ja) * 2017-02-09 2018-08-16 シャープ株式会社 表示装置、テレビジョン受像機、映像処理方法、バックライト制御方法、受信装置、映像信号生成装置、送信装置、映像信号伝送システム、受信方法、プログラム、制御プログラム、及び記録媒体
JP6381701B2 (ja) * 2017-02-09 2018-08-29 シャープ株式会社 受信装置、テレビジョン受像機、映像信号生成装置、送信装置、映像信号伝送システム、受信方法、プログラム、及び記録媒体
JP6436595B1 (ja) * 2017-06-13 2018-12-12 エヌ・ティ・ティ・コムウェア株式会社 情報提供システム、及び情報提供方法
CN107450814B (zh) * 2017-07-07 2021-09-28 深圳Tcl数字技术有限公司 菜单亮度自动调节方法、用户设备及存储介质
CN110999280B (zh) * 2017-08-23 2022-02-25 三菱电机株式会社 影像内容介质和影像再现装置
CN111345034B (zh) * 2017-10-31 2022-08-26 索尼公司 再现设备、再现方法、程序及记录介质
JP7002948B2 (ja) * 2018-01-18 2022-01-20 日本放送協会 表示制御装置及びプログラム
JP7012562B2 (ja) * 2018-03-02 2022-01-28 日本放送協会 文字スーパー合成装置及びプログラム
WO2020000135A1 (zh) * 2018-06-25 2020-01-02 华为技术有限公司 一种包含字幕的高动态范围视频处理的方法及装置
JP2019040659A (ja) * 2018-08-07 2019-03-14 三菱電機株式会社 映像コンテンツ媒体
WO2020133372A1 (zh) * 2018-12-29 2020-07-02 深圳市大疆创新科技有限公司 视频的字幕处理方法和导播系统
JP6861873B2 (ja) * 2020-06-18 2021-04-21 三菱電機株式会社 映像再生方法
JPWO2023095718A1 (ru) * 2021-11-29 2023-06-01

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117813A1 (en) * 2002-11-29 2005-06-02 Matsushita Electric Industrial Co., Ltd. Image reproducing apparatus and image reproducing method
US20050123283A1 (en) * 2003-12-08 2005-06-09 Li Adam H. File format for multiple track digital data
RU2358337C2 (ru) * 2003-07-24 2009-06-10 Эл Джи Электроникс Инк. Носитель записи, имеющий структуру данных для управления воспроизведением данных текстовых субтитров, записанных на нем, и устройства и способы записи и воспроизведения
US20140125696A1 (en) * 2011-06-14 2014-05-08 Koninklijke Philips N.V. Graphics processing for high dynamic range video
WO2015007910A1 (en) * 2013-07-19 2015-01-22 Koninklijke Philips N.V. Hdr metadata transport

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0144427B1 (ko) * 1994-11-30 1998-10-01 이형도 광 주사장치
JPH08265661A (ja) * 1995-03-23 1996-10-11 Sony Corp 字幕データ符号化／復号化方法および装置、および符号化字幕データ記録媒体
US5721792A (en) * 1996-08-29 1998-02-24 Sensormatic Electronics Corporation Control of brightness of text/graphics overlay
JP2001333350A (ja) * 2000-03-15 2001-11-30 Sony Corp 画質調整方法および画質調整装置
US6741323B2 (en) * 2002-08-12 2004-05-25 Digital Theater Systems, Inc. Motion picture subtitle system and method
JP2004194311A (ja) 2002-11-29 2004-07-08 Matsushita Electric Ind Co Ltd 映像再生装置及び映像再生方法
KR20050035678A (ko) 2003-10-14 2005-04-19 엘지전자 주식회사 광디스크 장치의 부가 데이터 재생방법 및 장치와, 이를위한 광디스크
KR100599118B1 (ko) * 2004-07-20 2006-07-12 삼성전자주식회사 자막신호표시상태를 변경하는 데이터재생장치 및 그 방법
JP4518194B2 (ja) * 2008-06-10 2010-08-04 ソニー株式会社 生成装置、生成方法、及び、プログラム
JP5685969B2 (ja) 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
CN102843603A (zh) * 2012-08-17 2012-12-26 Tcl集团股份有限公司 一种智能电视及其字幕控制的方法
EP2959676B1 (en) * 2013-02-21 2020-09-23 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
TWI595777B (zh) * 2013-10-02 2017-08-11 杜比實驗室特許公司 透過ｈｄｍｉ發送顯示管理元數據
CN103905744B (zh) * 2014-04-10 2017-07-11 中央电视台 一种渲染合成方法及系统
US10419718B2 (en) * 2014-07-11 2019-09-17 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117813A1 (en) * 2002-11-29 2005-06-02 Matsushita Electric Industrial Co., Ltd. Image reproducing apparatus and image reproducing method
RU2358337C2 (ru) * 2003-07-24 2009-06-10 Эл Джи Электроникс Инк. Носитель записи, имеющий структуру данных для управления воспроизведением данных текстовых субтитров, записанных на нем, и устройства и способы записи и воспроизведения
US20050123283A1 (en) * 2003-12-08 2005-06-09 Li Adam H. File format for multiple track digital data
US20140125696A1 (en) * 2011-06-14 2014-05-08 Koninklijke Philips N.V. Graphics processing for high dynamic range video
WO2015007910A1 (en) * 2013-07-19 2015-01-22 Koninklijke Philips N.V. Hdr metadata transport

Also Published As

Publication number Publication date
CN107211169A (zh) 2017-09-26
EP3255892B1 (en) 2021-12-29
JP6891492B2 (ja) 2021-06-18
RU2017126901A (ru) 2019-01-28
EP3255892A4 (en) 2018-12-26
WO2016125691A1 (ja) 2016-08-11
EP3255892A1 (en) 2017-12-13
RU2017126901A3 (ru) 2019-07-25
US10542304B2 (en) 2020-01-21
US20180270512A1 (en) 2018-09-20
CN107211169B (zh) 2020-11-20
JPWO2016125691A1 (ja) 2017-11-09

Similar Documents

Publication Publication Date Title
RU2712433C2 (ru) Передающее устройство, способ передачи, приемное устройство и способ приема
US20200145632A1 (en) Transmitting device, transmitting method, receiving device, and receiving method
US20200296322A1 (en) Transmission device, transmission method, reception device, and reception method
CN107667536B (zh) 接收装置、接收方法、传输装置和传输方法
US11330303B2 (en) Transmission device, transmission method, reception device, and reception method
JP2024012367A (ja) 送信方法および送信装置
JP2022093463A (ja) トランスポートストリームにおける高ダイナミックレンジおよび広色域コンテンツの伝達
EP3324637B1 (en) Transmission device, transmission method, receiving device and receiving method
CN108353196B (zh) 发送设备、发送方法、接收设备、以及接收方法
CN108370451B (zh) 发送装置、发送方法、接收装置以及接收方法
JP7195925B2 (ja) 送信装置、送信方法、受信装置および受信方法