RU2776101C1 - Способ и устройство для восстановления адаптированного к дисплею изображения hdr - Google Patents

Abstract

Изобретение относится к восстановлению данных изображения. Технический результат заключается в повышении точности восстановленного сигнала HDR и обеспечении совместимости сигнала SDR с дисплеем с поддержкой SDR. Способ восстановления данных изображения (I₃), представляющих данные исходного изображения (I₁), из декодированных данных изображения (I₂) и параметров, полученных из битового потока (101), упомянутые параметры получены обработкой из упомянутых данных исходного изображения (I₁), при этом восстановленное изображение адаптировано к характеристике дисплея представления и содержит: коррекцию (122) двух компонентов цветности для получения двух восстановленных компонентов цветности при этом коррекция (120) цветности осуществляется в ответ на значение одного коэффициента модуляции mod. 3 н. и 12 з.п. ф-лы. 8 ил.

Description

ОБЛАСТЬ ТЕХНИКИ

Представленные принципы относятся, в общем, к восстановлению изображения/видео из декодированных данных изображения/видео. В частности, но не исключительно, область техники представленных принципов относится к восстановлению изображения из другого изображения с учетом характеристик изображения, метаданных восстановления и функциональных возможностей устройства отображения для представления (дисплея презентации).

УРОВЕНЬ ТЕХНИКИ

Настоящий раздел предусмотрен, чтобы представить читателю различные аспекты техники, которые могут относиться к различным аспектам представленных принципов, которые описаны и/или заявлены ниже. Настоящее обсуждение будет полезным для обеспечения читателя информацией предшествующего уровня техники, чтобы способствовать лучшему пониманию различных аспектов представленных принципов. Соответственно, должно быть понятно, что эти положения следует читать в этом свете, а не как допущения предшествующего уровня техники.

В последующем описании, данные изображения относятся к одному или нескольким массивам выборок (пиксельных значений) в конкретном формате изображения/видео, который задает всю информацию относительно пиксельных значений изображения (или видео) и всю информацию, которая может использоваться, например, устройством отображения и/или другим устройством для визуализации и/или декодирования изображения (или видео). Изображение содержит первый компонент, в форме первого массива выборок, обычно представляющего светимость (или яркость) изображения, и второго и третьего компонента, в форме других массивов выборок, обычно представляющих цвет (или цветность) изображения. Или, эквивалентно, та же самая информация может также быть представлена набором массивов цветовых выборок, таким как традиционное трехцветное RGB-представление.

Пиксельное значение представлено вектором C значений, где C является количеством компонентов. Каждое значение вектора представлено некоторым количеством битов, которое определяет максимальный динамический диапазон пиксельных значений.

Изображения стандартного динамического диапазона (изображения SDR) являются изображения, значения яркости которых представлены ограниченным количеством битов (обычно 8). Это ограниченное представление не позволяет осуществить корректное воспроизведение малых вариаций сигнала, в частности, в темных и ярких диапазонах яркости. В изображениях высокого динамического диапазона (изображениях HDR), представление сигнала расширяется, чтобы поддерживать высокую точность сигнала во всем его диапазоне. В изображениях HDR, пиксельные значения, представляющие уровни яркости, обычно представляются в формате с плавающей точкой (обычно по меньшей мере 10 битов на компонент, а именно, плавающем или полу-плавающем), причем наиболее популярным форматом является openEXR полу-плавающий формат (16 битов на RGB-компонент, т.е. 48 битов на пиксел), или в целых числах с длинным представлением, обычно по меньшей мере 16 битов.

Появление стандарта Высокоэффективного кодирования видео (HEVC) (ITU-T H.265 Telecommunication standardization sector of ITU (10/2014), series H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, Recommendation ITU-T H.265) обеспечивает возможность разработки новых видео сервисов с расширенным восприятием просмотра, таких как службы вещания ультра высокой четкости (Ultra HD). В дополнение к высокому пространственному разрешению, Ultra HD может обеспечить более широкую цветовую гамму (WCG) и более высокий динамический диапазон (HDR), чем в используемом в настоящее время телевидении высокой четкости (HD-TV) стандартного динамического диапазона (SDR). Были предложены различные решения для представления и кодирования видео HDR/WCG (SMPTE 2014, ʺHigh Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays, или SMPTE ST 2084, 2014, или Diaz, R., Blinstein, S. and Qu, S. ʺIntegrating HEVC Video Compression with a High Dynamic Range Video Pipelineʺ, SMPTE Motion Imaging Journal, Vol. 125, Issue 1. Feb, 2016, pp 14-21).

Обратная совместимость с SDR в устройствах декодирования и воспроизведения (визуализации) является важным признаком в некоторых системах распространения видео, таких как системы широковещания или группового вещания.

Решение, основанное на процессе одноуровневого кодирования/декодирования, могут быть обратно совместимыми, например, совместимыми с SDR, и могут с выгодой для себя использовать унаследованные сети распространения и сервисы, уже находящиеся в эксплуатации.

Такое решение, основанное на одном уровне распространения, обеспечивает как высококачественное воспроизведение HDR на потребительских электронных (CE) устройствах с поддержкой HDR, одновременно обеспечивая высококачественное воспроизведение SDR на СЕ-устройствах с поддержкой SDR.

Такое решение распространения, основанное на одном уровне, генерирует кодированный сигнал, например, сигнал SDR, и ассоциированные метаданные (несколько байтов на видео кадр или сцену), которые могут быть использованы для восстановления другого сигнала, например, сигнала HDR, из декодированного сигнала, например, сигнала SDR.

Метаданные хранят значения параметров, используемые для восстановления сигнала, и могут быть статическими или динамическими. Статические метаданные означают метаданные, которые остаются одними и теми же для видео (набора изображений) и/или программы.

Статические метаданные действительны для всего видео контента (сцены, фильма, клипа…) и могут не зависеть от контента изображения. Они могут определять, например, формат изображения или цветовое пространство, цветовую гамму. Например, SMPTE ST 2086:2014, "Mastering Display Color Volume Metadata Supporting High Luminance and Wide Color Gamut Images" представляет такой тип статических метаданных для использования в среде производства. Сообщение SEI (дополнительной расширенной информации) формата MDCV (Mastering Display Colour Volume - Цветовой объем эталонного дисплея) является разновидностью распространения ST 2086 как для H.264/AVC (ʺAdvanced video coding for generic audiovisual Servicesʺ, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.264, Telecommunication Standardization Sector of ITU, January 2012), так и видео кодеков HEVC.

Динамические метаданные являются контекстно-зависимыми, то есть метаданные могут изменяться для контента изображения/видео, например, для каждого изображения или каждой группы изображений. В качестве примера, семейство стандартов SMPTE ST 2094:2016 ʺDynamic Metadata for Color Volume Transformʺ являются динамическими метаданными для использования в среде производства. SMPTE ST 2094-30 могут распространяться в HEVC-потоке кодированного видео с помощью SEI-сообщения информации повторного отображения цвета (CRI).

Другие решения распространения на основе одного уровня существуют в сетях распространения, для которых динамические метаданные адаптации дисплея доставляются вместе с унаследованным видеосигналом. Эти решения распространения на основе одного уровня могут формировать 10-битовые данные изображения HDR (например, данные изображения, сигнал которых представлен как сигнал HLG10 или PQ10, как определено в Rec. ITU-R BT.2100-0 "Recommendation ITU-R BT.2100-0, Image parameter values for high dynamic range television for use in production and international program exchange") и ассоциированные метаданные из входного сигнала (типично 12 или 16 битов), кодируют упомянутые 10-битовые данные изображения HDR c использованием, например, схемы кодирования профиля Main 10 HEVC и восстанавливают видеосигнал из декодированного видеосигнала и упомянутых ассоциированных метаданных. Динамический диапазон восстановленного сигнала адаптируется в соответствии с ассоциированными метаданными, которые могут зависеть от характеристик целевого дисплея.

Документ ETSI TS 103 433 V1.1.1, опубликованный в августе 2016, предлагает решение распространения одного уровня, которое направлено на непосредственную обратную совместимость, т.е. с выгодой для себя использует сети распространения SDR и сервисы, уже находящиеся в эксплуатации, и которое обеспечивает высококачественное воспроизведение HDR на CE-устройствах с поддержкой HDR, включая высококачественное воспроизведение SDR на CE-устройствах SDR. Некоторые элементы этой спецификации детализированы ниже в описании фиг. 2.

Способ адаптации к дисплею предложен в этом стандарте. Этот способ нацелен на адаптацию восстановленного сигнала HDR до уровня яркости, который соответствует возможностям по яркости дисплея. Например, восстановленный HDR может быть 1000 кд/м² (нит), в то время как дисплей, используемый для воспроизведения изображения, может воспроизводить только до 500 нит. Другая цель этой адаптации к дисплею состоит в поддержании креативного замысла, записанного в отображении между SDR и HDR, по мере возможности наилучшим образом. Она использует повторно вычисляемые значения метаданных, используемые в операциях отображения тонов, на основе отношений между исходной пиковой яркостью HDR, целевой пиковой яркостью SDR (фиксирована на 100 нит) и максимальной яркостью дисплея. Адаптация к дисплею может снижаться до 100 нит, таким образом, обеспечивая совместимость сигнала SDR с дисплеями SDR. Однако этот известный из уровня техники способ адаптации к дисплею показал неудовлетворительные результаты при использовании на дисплеях, имеющих низкую пиковую яркость: во-первых, некоторый сдвиг цвета появляется на дисплеях с низкой пиковой яркостью, и во-вторых, для дисплеев, имеющих пиковую яркость 100 нит, сгенерированные изображения SDR на выходе пост-процессора отличаются от изображений SDR на входе пост-процессора, что не приемлемо, поскольку пост-процессор должен действовать как проходной (транзитный) компонент.

Поэтому выявлена потребность в решении для восстановления видео HDR таким образом, что изображение адаптируется к дисплею, на котором оно будет воспроизводиться, которое направлено на преодоление по меньшей мере некоторых проблем предшествующего уровня техники, в частности, на дисплеях с низкой пиковой яркостью. Настоящее раскрытие предоставляет такое решение.

КРАТКОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Ниже изложено упрощенное краткое описание заявленных принципов, чтобы обеспечить базовое понимание некоторых аспектов этих принципов. Это краткое описание не является исчерпывающим обзором заявленных принципов. Оно не предназначается для идентификации ключевых или важных элементов заявленных принципов. Приведенное ниже краткое описание просто представляет некоторые аспекты этих принципов в упрощенной форме в качестве вступления к более детальному описанию, предоставленному ниже.

Настоящие принципы предложены, чтобы уменьшить по меньшей мере некоторые из недостатков предшествующего уровня техники с помощью способа и устройства для восстановления данных изображения, представляющих данные исходного изображения, из декодированных данных изображения и параметров, полученных из битового потока, причем упомянутые параметры получены обработкой из упомянутых данных исходного изображения, содержащей уменьшение насыщенности компонента яркости, обратное отображение компонента яркости с уменьшенной насыщенностью и коррекцию компонентов цветности, причем эти операции модулируются в соответствии со значением одного коэффициента модуляции mod, характерного для пиковой яркости дисплея представления (презентации), на котором предполагается отображать восстановленное изображение, пиковой яркости типового изображения стандартного динамического диапазона и пиковой яркости данных исходного изображения или эталонного дисплея, используемого, чтобы классифицировать данные исходного изображения.

Хотя описание использует характеристику пиковой яркости, заявленные принципы не ограничены пиковой яркостью, но применимы к любому другому значению, характеризующему дисплей, такому как, например, средняя или медианная яркость.

В первом аспекте, раскрытие направлено на способ восстановления данных изображения (I₃), представляющих данные исходного изображения (I₁), из декодированных данных изображения (I₂) и параметров, полученных из битового потока, упомянутые параметры получены обработкой из упомянутых данных исходного изображения (I₁), при этом восстановленное изображение адаптировано к характеристике дисплея представления, при этом способ, содержащий: коррекцию двух компонентов цветности для получения двух восстановленных компонентов цветности в соответствии с упомянутым компонентом яркости с уменьшенной насыщенностью и упомянутым восстановленным компонентом яркости; отличается тем, что коррекция цветности осуществляется в ответ на значение одного коэффициента модуляции mod, характерного для: данных информации о яркости (D_PL) дисплея представления; данных информации о яркости (SDR_PL) типового изображения стандартного динамического диапазона и данных информации о яркости (C_PL) данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения.

В варианте первого аспекта, значение коэффициента модуляции вычисляется в соответствии со следующей формулой:

где D_PL обозначает данные информации о яркости дисплея представления, SDR_PL - данные информации о яркости типового изображения стандартного динамического диапазона, C_PL - данные информации о яркости данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения, и invPQ обозначает обратную передаточную функцию.

Во втором варианте первого аспекта, способ дополнительно содержит: уменьшение насыщенности компонента яркости в соответствии с параметрами для коррекции уменьшения насыщенности; обратное отображение упомянутого компонента яркости с уменьшенной насыщенностью, чтобы получить восстановленный компонент яркости; и выполнение коррекции сжатия;

отличается тем, что уменьшение насыщенности, обратное отображение, коррекция сжатия и коррекция цветности выполняются в ответ на значение одного коэффициента модуляции mod. В одном варианте, значение коэффициента модуляции вычисляется в соответствии со следующей формулой:

где D_PL обозначает данные информации о яркости дисплея представления, SDR_PL - данные информации о яркости типового изображения стандартного динамического диапазона; и C_PL - данные информации о яркости данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения.

В различных вариантах осуществления первого аспекта:

- значение SDR_PL равно 100 нит;

- операция уменьшения насыщенности (120) дополнительно содержит получение (31) компонента

яркости с уменьшенной насыщенностью следующим образом:

где a и b - два параметра управления для коррекции уменьшения насыщенности, y' - компонент яркости и u', v' - компоненты цветности;

- обратное отображение (121) использует таблицу поиска, построенную с использованием функции гаммы, модулированной коэффициентом модуляции в соответствии со следующей формулой:

γ=2,0+0,4×(1-mod)

- операция коррекции цвета (122) использует таблицу поиска lutCC, определяющую коррекцию для применения к компонентам цветности для данного компонента яркости, причем таблица поиска lutCC получена на основе функции усиления насыщенности sgf(), вклад которой модулирован коэффициентом модуляции следующим образом:

lutCC(Y)=f(Y).(1/Y) при f(Y)=1/(R.(sgf(1/Y).mod+(1-mod)/R)

где R является постоянным значением, равным 2;

- адаптация формата содержит функцию гаммы, модулированную коэффициентом модуляции в соответствии со следующей формулой:

γ=2,0+0,4×(1-mod)

- комбинированная коррекция сжатия содержит: вычисление параметра T на основе параметров k0, k1, k2, полученных из набора параметров SP, причем параметр T устанавливается в ответ на значение одного коэффициента модуляции mod, следующим образом: T=k0×U'×V'+k1×U'×U'+k2×V'×V', и когда параметр T меньше, чем 1, вычисление комбинированной коррекции сжатия следующим образом: S=√(1-T), U=U' и V=V', а когда параметр T больше или равен 1, вычисление комбинированной коррекции сжатия следующим образом: S=0, U=U'/√T, V=V'/√T.

Во втором аспекте, раскрытие направлено на устройство для восстановления данных изображения (I₃), представляющих данные исходного изображения (I₁), из декодированных данных изображения (I₂) и параметров, полученных из битового потока, причем упомянутые параметры получены обработкой из упомянутых данных исходного изображения (I₁), при этом восстановленное изображение адаптировано к характеристикам дисплея представления, причем устройство содержит процессор, сконфигурированный, чтобы: корректировать два компонента цветности, чтобы получать два восстановленных компонента цветности в соответствии с упомянутым компонентом яркости с уменьшенной насыщенностью и упомянутым восстановленным компонентом яркости; отличающееся тем, что коррекция цветности осуществляется в ответ на значение одного коэффициента модуляции mod, характерного для: данных информации о яркости дисплея представления; данных информации о яркости типового изображения стандартного динамического диапазона и данных информации о яркости данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения.

В варианте второго аспекта, значение коэффициента модуляции вычисляется в соответствии со следующей формулой:

где D_PL обозначает данные информации о яркости дисплея представления, SDR_PL - данные информации о яркости типового изображения стандартного динамического диапазона, C_PL - данные информации о яркости данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения, и invPQ обозначает обратную передаточную функцию.

Во втором варианте второго аспекта, процессор дополнительно сконфигурирован, чтобы: уменьшать насыщенность компонента яркости в соответствии с параметрами для коррекции уменьшения насыщенности; выполнять обратное отображение упомянутого компонента яркости с уменьшенной насыщенностью для получения восстановленного компонента яркости и выполнять коррекцию сжатия;

отличается тем, что уменьшение насыщенности, обратное отображение, коррекция сжатия и коррекция цветности устанавливаются в ответ на значение одного коэффициента модуляции mod.

В другом варианте осуществления второго аспекта, значение коэффициента модуляции вычисляется в соответствии со следующей формулой:

где D_PL обозначает данные информации о яркости дисплея представления, SDR_PL - данные информации о яркости типового изображения стандартного динамического диапазона; и C_PL - данные информации о яркости данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения

В третьем аспекте, раскрытие направлено на компьютерный программный продукт, содержащий инструкции программного кода, чтобы выполнять этапы способа согласно любому из пунктов 1-8 формулы изобретения, когда эта программа исполняется на компьютере.

В четвертом аспекте, раскрытие направлено на не-временный (непереходный) считываемый процессором носитель, инструкции программного кода которого предназначены для выполнения этапов способа согласно любому из пунктов 1-8 формулы изобретения, когда эта программа исполняется на компьютере.

КРОТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ.

На чертежах, которые иллюстрируют примеры представленных принципов, показано следующее:

Фиг. 1 - высокоуровневое представление сквозного рабочего потока, поддерживающего доставку контента на дисплеи с улучшенной характеристикой адаптации к дисплею в соответствии с примером заявленных принципов;

Фиг. 2 - сквозной рабочий поток, поддерживающий производство и доставку контента на дисплеи HDR и SDR CE в соответствии с решением согласно предшествующему уровню техники;

Фиг. 3 - примерный вариант осуществления сквозного рабочего потока согласно фиг. 2, содержащий улучшенную функцию адаптации к дисплею в соответствии с вариантом осуществления заявленных принципов;

Фиг. 4 - примерный вариант осуществления сквозного рабочего потока согласно фиг. 2, содержащий улучшенную функцию адаптации к дисплею в соответствии с другим вариантом осуществления заявленных принципов;

Фиг. 5a - иллюстрация перцепционной передаточной функции;

Фиг. 5b - пример кусочной кривой, используемой для отображения;

Фиг. 5c - пример кривой, используемой для преобразования сигнала обратно в линейную световую область;

Фиг. 6 - пример архитектуры устройства в соответствии с примером заявленных принципов.

Подобные или идентичные элементы обозначены одинаковыми ссылочными позициями.

Описание примера ЗАЯВЛЕННЫХ принципов

Заявленные принципы будут описаны ниже более полно со ссылкой на приложенные чертежи, на которых показаны примеры настоящих принципов. Настоящие принципы могут, однако, быть реализованы во многих альтернативных формах и не должны толковаться как ограниченные примерами, изложенными здесь. Соответственно, в то время как настоящие принципы допускают различные модификации и альтернативные формы, конкретные примеры показаны в качестве иллюстрации на чертежах и детально описаны ниже. Однако следует понимать, что не предполагается ограничивать заявленные принципы конкретными раскрытыми формами, а напротив, раскрытие должно охватывать все модификации, эквиваленты и альтернативы, попадающие в пределы объема и сущности настоящих принципов, как определено формулой изобретения.

Терминология, используемая здесь, предназначена только для описания конкретных примеров и не предполагается для ограничения заявленных принципов. Как используется в настоящем документе, формы единственного числа предполагаются включающими также формы множественного числа, если только из контекста явно не следует иное. Также должно быть понятно, что термины ʺсодержитʺ, ʺсодержащийʺ, ʺвключаетʺ и/или ʺвключающийʺ, при использовании в настоящей спецификации, указывают на присутствие перечисленных признаков, целых чисел, этапов, операций, элементов и/или компонентов, но не препятствуют присутствию или добавлению одного или нескольких других признаков, целых чисел, этапов, операций, элементов, компонентов и/или их групп. Кроме того, когда элемент упоминается как ʺреагирующий наʺ или ʺсоединенныйʺ с другим элементом, он может непосредственно реагировать на или соединяться с другим элементом, либо могут присутствовать промежуточные элементы. Напротив, если элемент упоминается как ʺнепосредственно реагирующий наʺ или ʺнепосредственно соединенныйʺ с другим элементом, то никакой промежуточный элемент не присутствует. Как используется в настоящем документе, термин ʺи/илиʺ включает в себя любые и все комбинации из одного или нескольких ассоциированных перечисленных элементов и может быть сокращенно записан как ʺ/ʺ.

Должно быть понятно, что хотя термины ʺпервыйʺ, ʺвторойʺ и т.д. могут быть использованы при описании различных элементов, эти элементы не должны быть ограничены таким терминами. Эти термины используются только для того, чтобы отличать один элемент от другого. Например, первый элемент может быть назван вторым элементом, и, аналогично, второй элемент может быть назван первым элементом без отклонения от идей настоящих принципов.

Хотя некоторые диаграммы включают в себя стрелки на путях передач, чтобы показать основное направление передачи, следует понимать, что передача может происходить в противоположном направлении относительно изображенных стрелок.

Некоторые примеры описаны по отношению к блок-схемам и операционным блок-схемам последовательности действий, на которых каждый блок представляет схемный элемент, модуль или часть кода, который содержит одну или несколько инструкций для реализации определенной(ых) логической(их) функции(й). Также следует отметить, что в других реализациях, функция(и), показанная(ые) в блоках, может (могут) осуществляться не в показанном порядке. Например, два блока, показанные последовательно, могут в действительности исполняться по существу одновременно, или блоки могут иногда исполняться в обратном порядке, в зависимости от связанной функциональности.

Указание ʺв соответствии с примеромʺ или ʺв примереʺ в настоящем документе означает, что конкретный признак, структура или характеристика, описанные в связи с примером, могут быть включены в по меньшей мере одну реализацию представленных принципов. Появление фразы ʺв соответствии с примеромʺ или ʺв примереʺ в различных местах спецификации не обязательно ссылается всегда на один и тот же пример, и отдельные или альтернативные примеры не являются обязательно взаимно исключающими в других примерах.

Ссылочные позиции, встречающиеся в пунктах формулы изобретения, приведены только для иллюстрации и не должны иметь ограничительного воздействия на объем пунктов формулы изобретения.

Хотя явно не описано, представленные примеры и варианты могут использоваться в любой комбинации или подкомбинации.

В последующем, символы прописных букв, например (C1, C2, C3), обозначают компоненты первого изображения, а символы строчных букв, например (c1, c2, c3), обозначают компоненты другого изображения, динамический диапазон которого меньше, чем динамический диапазон яркости первого изображения.

Динамический диапазон яркости изображения является отношением максимума к минимуму значений яркости упомянутого изображения. Обычно, динамический диапазон яркости изображения SDR равен 500 (100 кд/м² по отношению к 0,2 кд/м²) и 10000 (1000 кд/м² по отношению к 0,1 кд/м²) для изображения HDR.

Символы со штрихом, в последующем описании, например

, обозначают гамма-сжатые компоненты первого изображения, когда эти символы являются символами прописных букв, и символы со штрихом, например (y',u',v'), обозначают гамма-сжатые компоненты второго изображения, когда эти символы со штрихом являются символами строчных букв.

Представленные принципы описаны для кодирования/декодирования/восстановления изображения, но распространяются на кодирование/декодирование/восстановление последовательности изображений (видео), поскольку каждое изображение последовательности является последовательно кодируемым/декодируемым/восстанавливаемым, как описано ниже.

Фиг. 1 показывает высокоуровневое представление сквозного рабочего потока, поддерживающего доставку контента на дисплеи с улучшенной характеристикой адаптации к дисплею в соответствии с примером представленных принципов. Устройство A сконфигурировано, чтобы реализовывать способ кодирования изображения или потока видео, устройство B сконфигурировано, чтобы реализовывать способ декодирования изображения или потока видео, как описано ниже, и устройство C сконфигурировано, чтобы отображать декодированное изображение или поток видео. Два удаленных устройства A и B осуществляют связь по сети распространения NET, которая сконфигурирована, чтобы по меньшей мере предоставлять кодированное изображение или поток видео от устройства А к устройству В.

Устройство A, сконфигурированное для реализации способа кодирования, относится к группе, содержащей мобильное устройство, устройство связи, игровое устройство, планшет (или планшетный компьютер), компьютерное устройство, такое как ноутбук, камеру статических изображений (фотокамеру), видеокамеру, кодирующую микросхему, сервер статических изображений и сервер видео (например, сервер вещания, сервер видео по требованию или веб-сервер).

Устройство B, сконфигурированное для реализации способа декодирования, как описано здесь, относится к группе, содержащей мобильное устройство, устройство связи, игровое устройство компьютерное устройство или телевизионную приставку.

Устройство C, сконфигурированное для реализации способа отображения, как описано здесь, относится к группе, содержащей TV приемник (или телевизор), планшет (или планшетный компьютер), компьютерное устройство, такое как ноутбук, дисплей, головной дисплей и декодирующую микросхему.

В соответствии с примером, сеть представляет собой сеть вещания для трансляции статических изображений или видео изображений от устройства А к множеству декодирующих устройств, включая устройство B. Сети на основе DVB и ATSC являются примерами таких сетей вещания. В соответствии с другим примером, сеть является широкополосной сетью, приспособленной для доставки статических изображений или видео изображений от устройства A к множеству декодирующих устройству, включая устройство B. Сети на основе Интернета, сети GSM или сети передачи TV по IP-сетям являются примерами таких широкополосных сетей.

В предпочтительном варианте осуществления, устройство B получает характеристику пиковой яркости устройства C и характеристики пиковой яркости статических изображений или видео изображений, подлежащих отображению. Устройство B затем комбинирует эту информацию о пиковой яркости в одно значение, называемое далее коэффициентом модуляции, сокращенно mod. Это одно значение используется для модуляции множества параметров, используемых при восстановлении статических изображений или видео изображений, чтобы скорректировать сдвиг цвета или рассогласование цвета, имеющих место при адаптации к дисплею согласно предшествующему уровню техники. Таким образом, сквозной рабочий поток гарантирует, что статические изображения или видео изображения отображаются оптимальным образом в соответствии с функциональными характеристиками дисплеев и характеристиками контента.

В предпочтительном варианте осуществления, сквозной рабочий поток использует сервер вещания для устройства A, телевизионную приставку для устройства B, телевизор для устройства C и сеть наземного вещания DVB. В альтернативном варианте осуществления, устройства B и C объединены в единое устройство, например, телевизор, включающий в себя функциональные возможности декодирования телевизионной приставки.

В альтернативном варианте осуществления, сеть распространения NET заменена физическими скомпонованными носителями, на которых сохраняется закодированное изображение или поток видео. Физические скомпонованные носители содержат оптические скомпонованные носители, такие как Blu-ray диск и UHD Blu-ray, а также основанные на памяти скомпонованные носители.

Фиг. 2 показывает сквозной рабочий поток, поддерживающий производство и доставку контента на дисплеи HDR и SDR CE в соответствии с решением согласно предшествующему уровню техники, определенным в рекомендации ETSI TS 103 433 V1.1.1.

Этот рабочий поток предусматривает основанное на одном уровне решение распространения с ассоциированными метаданными и иллюстрирует пример использования способа для восстановления изображения I₃, представляющего данные исходного изображения I₁, из декодированных данных изображения I₂ и набора параметров SP.

В основном, это основанное на одном уровне решение распространения содержит часть кодирования и декодирования.

В пред-процессорной части, пред-процессорная стадия 20 разлагает исходное изображение I₁ на выходное изображение

и набор параметров SP, и этап 24 переключения определяет, кодируется ли исходное изображение I₁ или выходное изображение I₁₂ в битовом потоке B (этап 23).

На этапе 23, изображение I₂ может быть закодировано унаследованным видео кодеком, и битовый поток B переносится через существующую унаследованную сеть распространения с приложенными ассоциированными метаданными (набором параметров SP), переносимыми по специальному каналу или встроенными в битовый поток В.

В одном варианте, битовый поток B с приложенными метаданными сохраняются на носителе хранения данных, таком как, например, Blu-ray диск или диск телевизионной приставки.

В одном варианте, приложенные ассоциированные метаданные переносятся другим специальным каналом или сохраняются на другом специальном носителе хранения данных.

Предпочтительно, видеокодек является кодеком HEVC, таким как кодек H.265/HEVC (ITU-T H.265 Telecommunication standardization sector of ITU (10/2014), series H: audiovisual and multimedia systems, infrastructure of audiovisual services - coding of moving video, High efficiency video coding, Recommendation ITU-T H.265) или H.264/AVC (ʺAdvanced video coding for generic audiovisual Servicesʺ, SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Recommendation ITU-T H.264, Telecommunication Standardization Sector of ITU, January 2012).

В случае, когда ID информационных данных определяет, что исходное изображение I₁ (возможно, представленное компонентами (C1, U', V') или Y'CbCr 4:2:0 PQ10 или HLG10 видеосигнал) кодируется на этапе 23, упомянутое исходное изображение I₁ может быть закодировано с профилем Main 10 HEVC.

В случае, когда ID информационных данных определяет, что выходное изображение I₁₂ кодируется на этапе 23, выходное изображение I₁₂, которое может быть представлено как Y'CbCr с передаточной характеристикой гаммы 4:2:0 (стандартный динамический диапазон), сигнал может кодироваться с любым профилем HEVC, включая профили Main 10 или Main.

ID информационных данных может также переноситься как ассоциированные метаданные (этап 23). В пост-процессорной части, декодированное изображение

получается из битового потока B (этап 11), набор параметров SP получается, как поясняется на фиг. 1 (этап 10), и пост-процессорная стадия 12, которая является функционально обратной пред-процессорной стадии 20, восстанавливает изображение I₃ из декодированного изображения

и набора параметров SP.

Это основанное на одном уровне решение распространения может также содержать опциональные этапы 21, 22, 25, 26 адаптации формата.

Например, на этапе 21 (опционально), формат исходного изображения I₁ может быть адаптирован к конкретному формату (C1,U',V') входа пред-процессорной стадии 20, и на этапе 22 (опционально), формат (c, u', v') выходного изображения I₁₂ может также быть адаптирован к конкретному выходному формату перед кодированием. На этапе 25, формат декодированного изображения

может быть адаптирован к конкретному формату входа пост-процессорной стадии 12, и на этапе 26, изображение I₃ может быть адаптировано к по меньшей мере одной характеристике целевого устройства (например телевизионной приставки, подключенного телевизора, СЕ-устройства с HDR/SDR-поддержкой, проигрывателя Blu-ray диска), и/или обратное отображение гаммы может быть использовано, когда декодированное изображение

и изображение I₃ или исходное изображение I₁ представлены в различных цветовых пространствах и/или гамме.

Упомянутые этапы (21, 22, 25, 26) адаптации формата могут включать в себя преобразование цветового пространства и/или отображение цветовой гаммы. Могут быть использованы обычные процессы адаптации формата, такие как преобразование из RGB в YUV или из YUV в RGB, из BT.709 в BT.2020 или из BT.2020 в BT.709, понижающая дискретизация или повышающая дискретизация компонентов цветности и т.д. Отметим, что хорошо известное цветовое пространство YUV ссылается также на хорошо известное YCbCr в предшествующем уровне техники. Рекомендация ETSI TS 103 433 V1.1.1, выпуск 2016-8, представляет пример процесса адаптации формата и обратного отображения гаммы (Приложение D).

Упомянутый этап 21 адаптации входного формата может также включать в себя адаптацию битовой глубины исходного изображения I₁ к конкретной битовой глубине, такой как 10 битов, например, путем применения передаточной функции к исходному изображению I₁. Например, может быть использована PQ или HLG передаточная функция (Rec. ITU-R BT.2100-0).

Более конкретно, пред-процессорная стадия 20 содержит этапы 200-202.

На этапе 200, первый компонент c1 выходного изображения I₁₂ получают путем отображения первого компонента C1 исходного изображения I₁:

c₁=TM(C1)

где TM является функцией отображения. Функция отображения TM может уменьшить или увеличить динамический диапазон яркости исходного изображения I₁, а его инверсия может увеличить или уменьшить динамический диапазон яркости изображения.

На этапе 201, второй и третий компонент component u', v' выходного изображения I₁₂ выводятся путем коррекции второго и третьего компонентов U', V' исходного изображения I₁ в соответствии с первым компонентом c₁.

Коррекция компонентов цветности может поддерживаться под контролем посредством настройки параметров отображения. Таким образом, насыщенность цвета и оттенок находятся под контролем.

В соответствии с одним вариантом осуществления этапа 201, второй и третий компоненты U' и V' делятся на масштабирующую функцию β₀(c₁), значение которой зависит от первого компонента c₁.

В математическом выражении, второй и третий компоненты u', v' заданы следующим образом:

Опционально, на этапе 202, первый компонент c₁ может быть скорректирован, чтобы дополнительно контролировать воспринимаемую насыщенность, следующим образом:

c=c₁-max(0,a.u'+b.v')

где a и b - два параметра из набора параметров SP.

Этот этап 202 позволяет контролировать яркость выходного изображения I₁₂, чтобы гарантировать согласование по воспринимаемому цвету между цветами выходного изображения I₁₂ и цветами исходного изображения I₁.

Набор параметров SP может содержать параметры относительно функции отображения TM или ее обратной функции ITM, масштабирующей функции β₀(c₁). Эти параметры ассоциированы с динамическими метаданными и переносятся в битовом потоке, например битовом потоке B. Параметры a и b могут также переноситься в битовом потоке.

Более конкретно, в пост-процессорной части, на этапе 10, получают набор параметров SP.

В соответствии с вариантом осуществления этапа 10, набор параметров SP переносится статическими/динамическими метаданными, полученными из конкретного канала или из битового потока, включая битовый поток B, возможно, сохраненными на носителе хранения данных.

На этапе 11, декодированное изображение I₂ получают путем декодирования битового потока B, и декодированное изображение I₂ затем доступно для CЕ-дисплея с возможностями как SDR, так и HDR.

Более конкретно, пост-процессорная стадия 12 содержит этапы 120-122.

На опциональном этапе 120, первый компонент c декодированного изображения I₂ может быть скорректирован следующим образом:

c₁=c+max(0,a.u'+b.v')

где a и b являются двумя параметрами из набора параметров SP.

На этапе 121, первый компонент C1 изображения I₃ получают путем обратного отображения первого компонента c₁:

C₁=ITM(c₁)

На этапе 122, второй и третий компонент U', V' изображения I₃ выводят путем обратной коррекции второго и третьего компонента u', v' декодированного изображения I₂ в соответствии с компонентом c₁.

В соответствии с вариантом осуществления этапа 122, второй и третий компоненты u' и v' умножаются на масштабирующую функцию β₀(c₁), значение которой зависит от первого компонента c₁.

В математическом выражении, первый и второй компоненты U', V' задаются следующим образом:

Сквозной рабочий поток на фиг. 2 дополнительно обеспечивает функцию адаптации к дисплею, определенную в приложении Е рекомендации ETSI TS 103 433 V1.1.1. Она использует повторно вычисленные значения метаданных на основе отношений между исходной пиковой яркостью HDR, целевой пиковой яркостью SDR, зафиксированной на 100 кд/м², и максимальной яркостью дисплея представления. Эта адаптация к дисплею работает только на этапе 121. Эта адаптация к дисплею демонстрировала неудовлетворительные результаты, как упомянуто в разделе ʺПредшествующий уровень техникиʺ.

В соответствии с первым примерным вариантом осуществления способа согласно фиг. 2, дополнительно содержащего улучшенную функцию адаптации к дисплею, как показано на фиг. 3 в пред-процессорной части, первый компонент C1 исходного изображения I₁ является линейным световым компонентом яркости L, полученным из компонента RGB исходного изображения I₁ посредством:

и второй и третий компонент U', V' выводятся путем применения псевдо-гаммирования с использованием квадратного корня (близко к BT.709 OETF) для компонентов RGB исходного изображения I₁:

На этапе 200, первый компонент y₁ выходного изображения I₁₂ получают путем отображения упомянутого линейного светового компонента яркости L:

y₁=TM(L)

На этапе 201, второй и третий компонент u', v' выходного изображения I₁₂ выводят путем коррекции первого и второго компонентов U', V' в соответствии с первым компонентом y₁.

В пост-процессорной части, на этапе 13, параметр пиковой яркости (D_PL) дисплея представления получают из устройства отображения, на котором будет отображаться выходное изображение. Параметры пиковой яркости (C_PL) контента или эталона получают из декодированного изображения или из набора параметров SP. Эти параметры объединяются с пиковой яркостью дисплея представления SDR (SDR_PL), которая обычно соответствует 100 нит, чтобы получить коэффициент модуляции mod, используемый в процессе восстановления.

На этапе 120, чтобы обеспечить улучшенную адаптацию к дисплею, первый компонент декодированного изображения I₂ может быть скорректирован в соответствии с коэффициентом модуляции mod. Линейная модуляция может быть использована следующим образом:

y₁=y+max(0,a.mod.u'+b.mod.v')

Другой тип модуляции также может быть использован, такой как, например, гаммированная модуляция.

На этапе 121, линейный световой компонент яркости L изображения I₃ получают путем обратного отображения первого компонента c₁:

L=ITM(y₁)

На этапе 122, второй и третий компонент U', V' изображения I₃ выводят путем обратной коррекции второго и третьего компонентов u', v' выходного изображения I₂ в соответствии с первым компонентом y₁.

В соответствии с вариантом осуществления этапа 122, второй и третий компоненты u' и v' умножаются на масштабирующую функцию β₀(y₁), значение которой зависит от первого компонента y₁.

В математическом выражении, первый и второй компоненты U', V' задаются следующим образом:

На этапе 12, масштабирующая функция β₀(.) (так называемая lutCC) восстанавливается (выводится) из полученных параметров цветовой коррекции (более детально см. в рекомендации ETSI TS 103 433 V1.1.1 раздел 7.2.3.2).

Как определено в разделе 6.2.6 в TS 103 433 v1.1.1, вывод lutCC использует функцию усиления насыщенности sgf(1/L) соответственно цветовой коррекции, закодированной в процессе декомпозиции HDR и содержащейся в наборе параметров SP. Вывод выполняется следующим образом:

lutCC(Y)=f(Y).(1/Y) при f(Y)=1/(R.sgf(1/Y))

где R является постоянным значением, равным 2.

Чтобы обеспечить улучшенную адаптацию дисплея, вывод lutCC может быть скорректирован в соответствии с коэффициентом модуляции mod с использованием обновленной функции f:

f(Y)=1/(R.(sgf(1/Y).mod+(1-mod)/R)

так что результирующее модулированное значение равно 1, когда D_PL=SDR_PL (дисплей является дисплеем SDR), не изменяется, когда D_PL=C_PL (дисплей адаптирован к контенту), и находится между 1 и неизмененным значением, когда SDR_PL<D_PL<C_PL и, таким образом, требует адаптации.

На этапе 12, обратная функция отображения ITM (так называемое lutMapY) восстанавливается (выводится) из полученных параметров отображения (дополнительные детали см. в рекомендации ETSI TS 103 433 V1.1.1, раздел 7.2.3.1).

Вывод lutMapY содержит ʺприменение функции гаммыʺ. Чтобы обеспечить улучшенную адаптацию дисплея, эта функция гаммы модулируется коэффициентом модуляции следующим образом:

γ=2,0+0,4.(1-mod)

Это гарантирует, что результирующее модулированное значение гаммы равно:

- 2,4, когда пиковая яркость дисплея представления (D_PL)=100 нит (SDR_PL)

- 2,0, когда пиковая яркость дисплея презентации (D_PL)=пиковой яркости контента или эталона (C_PL)

- модулируется между 2,4 и 2,0, когда SDR_PL<D_PL<C_PL.

На этапе 122, выполняется комбинированная коррекция сжатия. Сначала вычисляется параметр T следующим образом:

T=k0×U'×V'+k1×U'×U'+k2×V'×V'

Затем параметры S, U и V вычисляются следующим образом в зависимости от значения T.

Если (T<1) S=√(1-T), U=U', V=V'

иначе S=0, U=U'/√T, V=V'/√T

Первый случай соответствует нормальному случаю. Второй в принципе не возможен, но может произойти вследствие квантования и сжатия.

Чтобы обеспечить улучшенную адаптацию дисплея, параметры k0, k1 и k2 модулируются коэффициентом модуляции, так что значение T принимает вид

T=k0×mod×U'×V'+k1×mod×U'×U'+k2×mod×V'×V'

Наконец, этап 26 содержит коррекцию гаммы. Чтобы обеспечить улучшенную адаптацию дисплея, функция гаммы модифицируется следующим образом:

γ=2,0+0,4.(1-mod)

В результате этой модуляции, результирующая гамма равна 2,4 для дисплеев SDR, 2,0, если пиковая яркость дисплея презентации та же самая, что и пиковая яркость контента, и адаптируется до значения между 2,0 и 2,4 в противном случае.

В соответствии с вторым примерным вариантом осуществления способа согласно фиг. 2, как иллюстрируется на фиг. 4 в пред-процессорной части, дополнительно содержащего улучшенную функцию адаптации к дисплею, первый компонент C1 исходного изображения I₁ является компонентом Y', полученным из гамма-сжатых компонентов RGB исходного изображения I₁, посредством:

и второй и третий компонент U', V' выводятся путем применения гаммирования к компонентам RGB исходного изображения I₁:

где γ может быть коэффициентом гаммы, предпочтительно равным 2,4.

Отметим, что компонент Y', который является нелинейным сигналом, отличается от линейного светового компонента яркости L.

На этапе 200 первый компонент y'₁ выходного изображения I₁₂ получают путем отображения упомянутого компонента Y':

y'₁=TM(Y')

На этапе 121, восстановленный компонент

получают путем обратного отображения первого компонента y'₁:

=ITM(y'₁)

где ITM является обратной функцией отображения TM.

Таким образом, значения восстановленного компонента

принадлежат к динамическому диапазону значений компонента Y'.

На этапе 201, второй и третий компонент u', v' выходного изображения I₁₂ выводят путем коррекции первого и второго компонентов U', V' в соответствии с первым компонентом y'₁ и восстановленным компонентом

.

Данный этап 201 позволяет контролировать цвета выходного изображения I₁₂ и гарантирует их совпадение с цветами исходного изображения I₁.

Коррекция компонентов цветности может поддерживаться под контролем путем настройки параметров отображения (обратного отображения). Таким образом, контролируются насыщенность цвета и оттенок. Такого рода контроль обычно невозможен, когда используется непараметрическая перцепционная передаточная функция.

В соответствии с вариантом осуществления этапа 201, второй и третий компоненты u' и v' делятся на масштабирующую функцию β₀(y'₁), значение которой зависит от отношения восстановленного компонента

к компоненту y'₁:

где Ω - постоянное значение, зависящее от основных цветов исходного изображения I₁ (равно 1,3 для BT.2020, например).

При декодировании, на этапе 13, параметр пиковой яркости (D_PL) дисплея представления получают из устройства отображения, на котором отображается выходное изображение. Параметры контента или эталонной пиковой яркости (C_PL) получают из декодированного изображения или из набора параметров SP. Эти параметры комбинируются с пиковой яркостью дисплея представления SDR (SDR_PL), которая обычно соответствуют 100 нит, для получения коэффициента модуляции mod, используемого в процессе восстановления, определенного следующим образом:

На этапе 120 для предоставления улучшенной адаптации к дисплею, первый компонент декодированного изображения I₂ может быть скорректирован в соответствии с коэффициентом модуляции mod. Линейная модуляция может быть использована следующим образом:

Могут быть использованы другие типы модуляции, например, такие как гаммированная модуляция.

В пост-процессорной части, на этапе 121, компонент Y' изображения I₃ получают путем обратного отображения первого компонента y'₁:

=ITM(y'₁)

На этапе 122, второй и третий компонент U', V' изображения I₃ получают путем обратной коррекции второго и третьего компонентов u', v' декодированного изображения I₂ в соответствии с первым компонентом y'₁ и компонентом Y'.

В соответствии с вариантом осуществления этапа 122, второй и третий компоненты u' и v' умножаются на масштабирующую функцию β₀(y'₁).

В математическом выражении, первый и второй компоненты U', V' могут быть представлены в виде:

Функция отображения TM, изображенная на фиг. 2, 3 и 4, основана на перцепционной передаточной функции, целью которой является преобразование компонента исходного изображения I₁ в компонент выходного изображения I₁₂, таким образом уменьшая (или увеличивая) динамический диапазон значений их яркости. Таким образом, значения компонента выходного изображение I₁₂ принадлежат к более низкому (или высокому) динамическому диапазону, нежели значения компонентов исходного изображения I₁.

Упомянутая перцепционная передаточная функция использует ограниченный набор параметров контроля.

На фиг. 5a показана иллюстрация перцепционной передаточной функции, которая может быть использована для отображения компонентов яркости (luminance), но аналогичная перцепционная передаточная функция может быть использована для отображения компонентов яркости (luma).

Процесс отображения контролируется параметром пиковой яркости эталонного дисплея (равен 5000 кд/м² на фиг. 5a). Чтобы лучше контролировать уровни белого и черного, применяется растяжение сигнала между уровнями белого и черного, зависящими от контента. Затем преобразованный сигнал отображается с использованием кусочной кривой, построенной из трех частей, как показано на фиг. 5b. Нижняя и верхняя секции являются линейными, крутизна определяется параметрами shadowGain (усиление затенения) и highlightGain (усиление высвечивания) соответственно. Средняя секция является параболой, предоставляющей плавный переход между двумя линейными секциями. Ширина перехода определяется параметром midToneWidthAdjFactor (коэффициент коррекции ширины среднего тона).

Все параметры, контролирующие отображение, могут переноситься в виде метаданных, например, с использованием сообщения SEI, как определено в JCTVC-W0133 для переноса метаданных SMPTE ST 2094-20.

На фиг. 5с показан пример обратной перцепционной передаточной функции (фиг. 5a) для иллюстрации того, как перцепционно оптимизированный видеосигнал может быть преобразован обратно в линейную световую область на основе целевой максимальной яркости унаследованного дисплея, например, равной 100 кд/м².

На этапе 10 (фиг. 1), получают набор параметров SP для восстановления изображения I₃ из декодированного изображения

.

Эти параметры могут быть получены из метаданных, полученных из битового потока, например, из битового потока B.

Рекомендация ETSI TS 103 433 V1.1.1 раздел 6, 2016-08 предоставляет пример синтаксиса упомянутых метаданных.

Синтаксис рекомендации ETSI TS 103 433 v1.1.1 описан для восстановления видео HDR из видео SDR, но данный синтаксис может быть распространен на восстановление любого изображения I₃ из любого декодированного изображения

.

Пост-обработка (этап 12) работает на обратной функции отображения ITM и масштабирующей функции β₀(.), которые выводятся из динамических метаданных, поскольку они зависят от первого компонента c₁.

В соответствии с рекомендацией ETSI TS 103 433 V1.1.1, упомянутые динамические метаданные могут переноситься в соответствии с так называемым режимом на основе параметров или режимом на основе таблицы.

Режим на основе параметров может представлять интерес для распространения рабочих потоков, основной целью которого является предоставление прямых обратно совместимых с SDR сервисов с очень низким использованием дополнительной полезной нагрузки или ширины полосы для переноса динамических метаданных. Режим на основе таблицы может представлять интерес для рабочих потоков с терминалами низкого уровня, или когда высокий уровень адаптации необходим для представления надлежащим образом потоков как HDR, так и SDR.

В режиме на основе параметров, динамическими метаданными, которые должны переноситься, являются параметры отображения яркости, характерные для обратной функции ITM, то есть, параметры:

tmInputSignalBlackLevelOffset;

tmInputSignalWhiteLevelOffset;

shadowGain;

highlightGain;

midToneWidthAdjFactor;

tmOutputFineTuning.

Кроме того, другими динамическими метаданными, которые должны переноситься, являются параметры коррекции цвета (saturationGainNumVal, saturationGainX(i) и saturationGainY(i)), используемые для определения функции β₀(.) (рекомендация ETSI TS 103 433 V1.1.1 разделы 6.3.5 и 6.3.6).

Отметим, что параметры a и b могут быть соответственно переносимыми/скрытыми в параметрах функции saturationGain, как объяснено выше.

Эти динамические метаданные могут переноситься с использованием записанного SEI-сообщения пользовательских данных Информации восстановления цветового объема (CVRI) HEVC, синтаксис которого основан на спецификации SMPTE ST 2094-20 (рекомендация ETSI TS 103 433 V1.1.1 Приложение A.3).

Типовая полезная нагрузка динамических метаданных составляет около 25 байт на сцену.

На этапе 101, CVRI SEI-сообщение анализируется для получения параметров отображения и параметров цветовой коррекции.

На этапе 12, обратная функция отображения ITM (так называемая lutMapY) восстанавливается (выводится) из полученных параметров отображения (дополнительные детали см. в рекомендации ETSI TS 103 433 V1.1.1 раздел 7.2.3.1).

На этапе 12, масштабирующая функция β₀(.) (так называемая lutCC) также восстанавливается (выводится) из полученных параметров цветовой коррекции (дополнительные детали см. в рекомендации ETSI TS 103 433 V1.1.1 раздел 7.2.3.2).

Вывод lutCC использует функцию sgf(1/L), соответствующую цветовой коррекции, закодированной в процессе декомпозиции HDR и содержащейся в наборе параметров SP. Вывод выполняется следующим образом:

lutCC(Y)=f(Y).(1/Y) при f(Y)=1/(R.sgf(1/Y))

Для того чтобы обеспечить улучшенную адаптацию к дисплею, вывод lutCC может быть скорректирован в соответствии с коэффициентом модуляции mod с использованием обновленной f-функции:

f(Y)=1/(R.(sgf(1/Y).mod+(1-mod)/R)

так что результирующее модулированное значение равно 1, когда D_PL=SDR_PL (дисплей является дисплеем SDR); не изменяется, когда D_PL=C_PL (дисплей адаптирован к контенту); и находится между 1 и неизменным значением в иных случаях.

В режиме на основе таблицы, переносимыми динамическими данными являются точки поворота кусочно-линейной кривой, представляющей обратную функцию отображения ITM. Например, динамическими метаданными является luminanceMappingNumVal, которое указывает количество точек поворота; luminanceMappingX, которое указывает х-значения точек поворота; и luminanceMappingY, которое указывает y-значения точек поворота (дополнительные детали см. в рекомендации ETSI TS 103 433 V1.1.1 разделы 6.2.7 и 6.3.7).

Кроме того, другими переносимыми метаданными могут быть точки поворота кусочно-линейной кривой, представляющей масштабирующую функция β₀(.). Например, динамическими метаданными являются colorCorrectionNumVal, которое указывает количество точек поворота; colorCorrectionX, которое указывает х-значения точек поворота; и colorCorrectionY, которое указывает y-значения точек поворота (дополнительные детали см. в рекомендации ETSI TS 103 433 V1.1.1 разделы 6.2.8 и 6.3.8).

Эти динамические метаданные могут переноситься с использованием SEI-сообщения Информации повторного отображения цвета (CRI) HEVC, синтаксис которого основан на спецификации SMPTE ST 2094-30 (рекомендация ETSI TS 103 433 V1.1.1 Приложение A.4).

Типовая полезная нагрузка составляет около 160 байт на сцену.

На этапе 102, SEI-сообщение Информации повторного отображения цвета (CRI) HEVC (как специфицировано в версии HEVC/H.265, опубликованной в декабре 2016) анализируется для получения точек поворота кусочно-линейной кривой, представляющей обратную функцию отображения ITM, и точек поворота кусочно-линейной кривой, представляющей масштабирующую функцию β₀(.), и параметров a и b ввода цветности в яркость.

На этапе 12, обратная функция отображения ITM выводится из точек поворота относительно кусочно-линейной кривой, представляющей обратную функцию отображения ITM (дополнительные детали см. в рекомендации ETSI TS 103 433 V1.1.1 раздел 7.2.3.3).

На этапе 12, масштабирующая функция β₀(.) также выводится из точек поворота относительно кусочно-линейной кривой, представляющей масштабирующую функцию β₀(.), (дополнительные детали см. в рекомендации ETSI TS 103 433 V1.1.1 раздел 7.2.3.4).

Отметим, что статические метаданные, также используемые пост-процессорной стадией, могут переноситься SEI-сообщением. Например, выбор между режимом на основе параметров или режимом на основе таблицы может переноситься записанным SEI-сообщением пользовательских данных информации (TSI) (payloadMode), как определено рекомендацией ETSI TS 103 433 V1.1.1 (раздел A.2.2). Статические метаданные такие как, например, основные цвета или максимальная яркость эталонного дисплея, переносятся посредством SEI-сообщения Цветового объема эталонного дисплея (MDCV), как определено в AVC, HEVC.

В соответствии с вариантом осуществления этапа 103, ID информационных данных явно сигнализируется синтаксическим элементом в битовом потоке и, таким образом, получается путем анализа битового потока.

Например, упомянутый синтаксический элемент является частью SEI-сообщения.

В соответствии с вариантом осуществления, упомянутый ID информационных данных идентифицирует, какая обработка применяется к исходному изображению I₁ для обработки набора параметров SP.

В соответствии с данным вариантом осуществления, ID информационных данных может использоваться для вывода того, как использовать параметры для восстановления изображения I₃ (этап 12).

Например, если ID информационных данных равен 1, это указывает, что набор параметров SP был получен применением пред-процессорной стадии (этап 20) к исходному HDR изображению I₁, и что декодированное изображение I₂ является SDR изображением.

Если ID информационных данных равен 2, это указывает, что параметры были получены применением пред-процессорной стадии (этап 20) к HDR10бит изображению (вход этапа 20), что декодированное изображение

является HDR10 изображением, и функция отображения TM является PQ передаточной функцией.

Если ID информационных данных равен 3, это указывает, что параметры были получены применением пред-процессорной стадии (этап 20) к HDR10 изображению (вход этапа 20), что декодированное изображение

является HLG10 изображением, и функция отображения TM является HLG передаточной функцией к исходному изображению I₁.

В соответствии с другим вариантом осуществления, когда ID информационных данных равен 2, значение коэффициента модуляции равно:

где invPQ(C) является обратной функцией PQ EOTF, как определено уравнениями 5.1 и 5.2 ST-2084. В данном варианте осуществления, коррекция сжатия использует модифицированные параметры k0=k1=k2=0, уменьшение насыщенности модифицировано, использует модифицированные параметры a=b=0.

Согласно другому варианту осуществления, когда ID информационных данных равен 3, значение коэффициента модуляции равно:

где invHLG(C) является обратной функцией HLG EOTF, определенной в E.3.1, Таблица E-4, p. 378 - Rec. ITU-T H.265 v4 (03/2017 или эквивалентно ARIB STD-B67). В данном варианте осуществления, коррекция сжатия использует модифицированные параметры k0=k1=k2=0, уменьшение насыщенности модифицировано, использует модифицированные параметры a=b=0.

В соответствии с вариантом осуществления этапа 103, ID информационных данных сигнализируется неявно.

Например, синтаксический элемент transfer-characteristics (передаточные характеристики), представленный в VUI HEVC (приложение E) или AVC (приложение E), обычно идентифицирует подлежащую использованию передаточную функцию (функцию отображения TM). Поскольку разные решения распространения одного уровня используют отличающуюся передаточную функцию (PQ, HLG,…), синтаксический элемент transfer-characteristics может быть использован, чтобы явно идентифицировать используемый режим восстановления.

ID информационных данных может также сигнализироваться неявно сервисом, определенным на более высоком транспортном или системном уровне.

В соответствии с другим примером, значение пиковой яркости и цветовое пространство изображения I₃ могут быть получены путем анализа MDCV SEI-сообщения, переносимого битовым потоком, и ID информационных данных может быть выведен из конкретных комбинаций значений пиковой яркости и цветовых пространств (основных цветов).

На фиг. 1-4, модули являются функциональными блоками, которые могут быть или не быть связаны с отдельными физическими блоками. Например, эти модули или некоторые из них могут быть собраны в единый компонент или схему или содействовать функциональным возможностям программного обеспечения. Напротив, некоторые модули могут потенциально состоять из отдельных физических объектов. Устройства, которые совместимы с заявленными принципами, реализуются с использованием либо только аппаратных средств, например, с использованием специализированных аппаратных средств, таких, как ASIC или FPGA или VLSI, соответственно определяемых как ʺспециализированная интегральная схемаʺ, ʺпрограммируемая вентильная матрицаʺ, ʺсверхбольшая интегральная схемаʺ, или с использованием различных интегральных электронных компонентов, встроенных в устройство, или образуют комбинацию компонентов аппаратных средств и программного обеспечения.

На фиг.6 представлена примерная архитектура устройства 60, которое сконфигурировано для реализации способа, описанного со ссылками на фиг. 1-4.

Устройство 60 содержит следующие элементы, которые связаны между собой информационной и адресной шиной 61:

- микропроцессор 62 (или CPU), который, например, представляет собой DSP (процессор цифровых сигналов);

- ROM (или постоянная память) 63;

- RAM (или память с произвольным доступом) 64;

- I/O-интерфейс 65 для приема данных для передачи из приложения и

- батарея 66.

В соответствии с примером, батарея 66 является внешней относительно устройства. В каждой из указанных видов памяти, слово ʺрегистрʺ, использованное в описании, может соответствовать области малой емкости (несколько бит) или очень большой области (например, целой программе или большому объему принятых или декодированных данных). ROM 63 содержит по меньшей мере программу и параметры. ROM 63 может хранить алгоритмы и инструкции для выполнения методов в соответствии с представленными принципами. При включении, CPU 62 загружает программу в RAM 64 и выполняет соответствующие инструкции.

RAM 64 содержит, в регистре, программу, исполняемую посредством CPU 62, и загружает после включения устройства 60, входные данные в регистр, промежуточные данные на различных этапах способа в регистр, и другие переменные, используемые для выполнения способа, в регистр.

Реализации, описанные здесь, могут быть осуществлены, например, в способе или процессе, устройстве, программном обеспечении, потоке данных или сигнале. Даже если они обсуждаются в контексте одной формы реализации (например, обсуждаются только как способ или устройство), обсуждаемая реализация признаков может быть также осуществлена в других формах (например, как программа). Устройство может быть реализовано в виде, например, подходящих аппаратных средств, программного обеспечения и встроенного программного обеспечения. Способы могут быть реализованы, например, в устройстве, таком как, например, процессор, который относится к устройствам обработки в целом, включая, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, компьютеры, сотовые телефоны, портативные/персональные цифровые помощники (ʺPDAʺ) и другие устройства, которые содействуют обмену информацией между конечными пользователями.

В соответствии с одним примером, входное видео или исходное изображение входного видео получают из источника. Например, источник относится к группе, содержащей:

- локальную память (63 или 64), например, видео память или RAM (или память с произвольным доступом), флэш-память, ROM (или постоянную память), жесткий диск;

- интерфейс (65) хранения, например, интерфейс с хранилищем большой емкости, RAM, флэш-память, ROM, оптический диск или магнитную поддержку;

- коммуникационный интерфейс (65), например, проводной интерфейс (например, интерфейс шины, интерфейс сети широкого охвата, интерфейс локальной сети) или беспроводной интерфейс (такой как IEEE 802.11 интерфейс или Bluetooth® интерфейс); и

- схему захвата изображения (например, датчик, такой как CCD (прибор с зарядовой связью) или CMOS (комплементарная структура металл-оксид-полупроводник)).

В соответствии с примерами, битовые потоки, переносящие метаданные, отправляются в место назначения. В качестве примера, один из этих битовых потоков или оба хранятся в локальной или удаленной памяти, например, видеопамяти или RAM (64), на жестком диске. В одном варианте, по меньшей мере один из битовых потоков отправляется на интерфейс (65) хранения, например, интерфейс с хранилищем большой емкости, флэш-памятью, ROM, оптическим диском или магнитной поддержкой и/или передаются по коммуникационному интерфейсу (65), например, интерфейсу к соединению от точки к точке, коммуникационной шине, соединению от точки к множеству точек или широковещательной сети.

В соответствии с другими примерами, битовый поток, переносящий метаданные, получают из источника. В качестве примера, битовый поток считывается с локальной памяти, например, видеопамяти (64), RAM (64), ROM (63), флэш-памяти (63) или жесткого диска (63). В одном варианте, битовый поток принимается из интерфейса (65) хранения, например, из интерфейса с хранилищем большой емкости, RAM, ROM, флэш-памятью, оптическим диском или магнитной поддержкой и/или принимается из коммуникационного интерфейса (65), например, интерфейса к соединению от точки к точке, коммуникационной шине, соединению от точки к множеству точек или широковещательной сети.

В соответствии с примерами, устройство 60, сконфигурированное для реализации способа, описанного выше, относится к группе, содержащей:

- мобильное устройство;

- устройство связи;

- игровое устройство;

- планшет (или планшетный компьютер);

- ноутбук;

- фотоаппарат;

- видеокамеру;

- чип кодирования/декодирования;

- телевизор;

- телевизионную приставку;

- дисплей;

- сервер фотографий и

- видеосервер (например, сервер широковещания, сервер видео по запросу или веб-сервер).

Реализации разных процессов и функциональных средств, описанных здесь, могут быть воплощены во множестве различных форм оборудования и приложений. Примеры подобного оборудования включают в себя кодер, декодер, пост-процессор, обрабатывающий выходные данные декодера, пред-процессор, предоставляющий входные данные кодеру, видеокодер, видеодекодер, видеокодек, веб-сервер, телевизионную приставку, ноутбук, персональный компьютер, сотовый телефон, PDA и любое другое устройство для обработки изображения или видео или другие устройства связи. Как должно быть ясно, оборудование может быть мобильным или даже установленным в мобильное транспортное средство.

Дополнительно, способы могут быть реализованы посредством инструкций, выполняемых процессором, и такие инструкции (и/или значения данных, полученные некоторой реализацией) могут храниться на считываемом компьютером носителе данных. Считываемый компьютером носитель данных может принимать форму считываемого компьютером программного продукта, воплощенного в одном или нескольких считываемых компьютером носителях данных и имеющего воплощенный на нем считываемый компьютером программный код, который исполняется компьютером. Считываемый компьютером носитель данных, как используется здесь, рассматривается в качестве не-временного носителя хранения данных, учитывая присущую ему способность хранить в нем информацию, а также присущую ему способность обеспечивать извлечение из него информации. Считываемый компьютером носитель хранения данных может представлять собой, без ограничения указанным, например, электронную, магнитную, оптическую, электромагнитную, инфракрасную или полупроводниковую систему, устройство или прибор или любую подходящую комбинацию вышеуказанного. Следует принимать во внимание, что нижеследующее, обеспечивая более конкретные примеры считываемых компьютером носителей хранения данных, к которым могут применяться настоящие принципы, является просто иллюстративным и не исчерпывающим перечнем, как легко должно быть понятно специалисту в данной области техники: портативная компьютерная дискета, жесткий диск, постоянная память (ROM), стираемая программируемая постоянная память (EPROM или флэш-память), портативная постоянная память на компакт-диске (CD-ROM); оптическое запоминающее устройство, магнитное запоминающее устройство или любая подходящая комбинация вышеизложенного.

Инструкции могут формировать прикладную программу, материально воплощенную на считываемом процессором носителе.

Инструкции могут находиться, например, в аппаратных средствах, встроенном программном обеспечении, программном обеспечении или их комбинации. Инструкции могут находиться, например, в операционной системе, отдельном приложении или в их комбинации. Таким образом, процессор может быть охарактеризован, например, как устройство, сконфигурированное для выполнения процесса, и как устройство, которое включает в себя считываемый процессором носитель (например, запоминающее устройство), имеющий инструкции для выполнения процесса. Кроме того, считываемый процессором носитель может хранить дополнительно (или вместо инструкций) значения данных, создаваемые реализацией.

Как будет очевидно для специалиста в данной области техники, реализации могут создавать различные сигналы, сформатированные для переноса информации, которая может быть, например, сохранена или передана. Информация может включать в себя, например, инструкции для выполнения способа или данные, созданные одной из описанных реализаций. Например, сигнал может быть сформатирован так, чтобы переносить в качестве данных правила для записи или считывания синтаксиса описанного примера представленных принципов или переносить в качестве данных фактические значения синтаксиса, записанные описанным примером представленных принципов. Такой сигнал может быть сформатирован, например, как электромагнитная волна (например, с использованием радиочастотной части спектра) или как сигнал основной полосы. Форматирование может включать в себя, например, кодирование потока данных и модуляцию несущей кодированным потоком данных. Информация, которую переносит сигнал, может быть, например, аналоговой или цифровой информацией. Как известно, сигнал может передаваться по множеству различных проводных или беспроводных каналов. Сигнал может храниться на считываемом процессором носителе.

Был описан ряд реализаций. Тем не менее, должно быть понятно, что могут выполняться различные модификации. Например, элементы различных реализаций могут объединяться, дополняться, модифицироваться или исключаться для создания других реализаций. Кроме того, специалисту в данной области техники должно быть понятно, что другие структуры и процессы могут быть заменять те, которые были раскрыты, и результирующие реализации будут выполнять по меньшей мере по существу ту (те) же функцию(и), по меньшей мере по существу таким(и) же путем(ями), чтобы достичь по меньшей мере по существу тот (те) же результат(ы), что и раскрытые реализации. Соответственно, эти и другие реализации предполагаются настоящей заявкой.

Claims (53)

1. Способ восстановления данных изображения (I₃), представляющих данные исходного изображения (I₁), из декодированных данных изображения (I₂) и параметров, полученных из битового потока (101), упомянутые параметры получены обработкой из упомянутых данных исходного изображения (I₁), при этом восстановленное изображение адаптировано к характеристике дисплея представления, причем способ содержит:

коррекцию (122) двух компонентов цветности для получения двух восстановленных компонентов цветности;

отличающийся тем, что коррекция (120) цветности осуществляется в ответ на значение одного коэффициента модуляции mod, характерного для:

данных информации о яркости (D_PL) дисплея представления;

данных информации о яркости (SDR_PL) типового изображения стандартного динамического диапазона и

данных информации о яркости (C_PL) данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения.

2. Способ по п. 1, в котором значение коэффициента модуляции вычисляется в соответствии со следующей формулой:

где D_PL обозначает данные информации о яркости дисплея представления, SDR_PL - данные информации о яркости типового изображения стандартного динамического диапазона, C_PL - данные информации о яркости данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения, и invPQ обозначает обратную передаточную функцию.

3. Способ по п. 1, дополнительно содержащий:

- уменьшение насыщенности (120) компонента яркости в соответствии с параметрами для коррекции уменьшения насыщенности;

- обратное отображение (121) упомянутого компонента яркости с уменьшенной насыщенностью, чтобы получить восстановленный компонент яркости; и

- выполнение коррекции сжатия;

отличающийся тем, что уменьшение насыщенности (120), обратное отображение (22), коррекция сжатия и коррекция цветности (120) выполняются в ответ на значение одного коэффициента модуляции mod.

4. Способ по п. 3, в котором значение коэффициента модуляции вычисляется в соответствии со следующей формулой:

где D_PL обозначает данные информации о яркости дисплея представления, SDR_PL - данные информации о яркости типового изображения стандартного динамического диапазона; и C_PL - данные информации о яркости данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения.

5. Способ по любому из пп. 1-4, в котором значение SDR_L составляет 100 нит.

6. Способ по любому из пп. 1-5, в котором операция уменьшения насыщенности (120) дополнительно содержит получение (31) компонента

яркости с уменьшенной насыщенностью следующим образом:

где a и b - два параметра управления для коррекции уменьшения насыщенности, y' - компонент яркости и u', ν' - компоненты цветности.

7. Способ по любому из пп. 1-6, в котором обратное отображение (121) использует таблицу поиска, построенную с использованием функции гаммы, модулированной коэффициентом модуляции в соответствии со следующей формулой:

γ=2,0+0,4×(1-mod).

8. Способ по любому из пп. 1-7, в котором операция коррекции цвета (122) использует таблицу поиска lutCC, определяющую коррекцию для применения к компонентам цветности для данного компонента яркости, причем таблица поиска lutCC выведена на основе функции усиления насыщенности sgf(), вклад которой модулирован коэффициентом модуляции следующим образом:

lutCC(Y)=f(Y).(1/Y) при f(Y)=1/(R.(sgf(1/Y).mod+(1-mod)/R)

где R является постоянным значением, равным 2.

9. Способ по любому из пп. 1-8, в котором адаптация формата содержит функцию гаммы, модулированную коэффициентом модуляции в соответствии со следующей формулой:

γ=2,0+0,4×(1-mod).

10. Способ по любому из пп. 1-9, в котором комбинированная коррекция сжатия содержит:

- вычисление параметра T на основе параметров k0, k1, k2, полученных из набора параметров SP, причем параметр T устанавливается в ответ на значение одного коэффициента модуляции mod следующим образом:

T=k0×U'×V'+k1×U'×U'+k2×V'×V',

- когда параметр T меньше чем 1, вычисление комбинированной коррекции сжатия следующим образом:

S=√(1-T), U=U' и V=V',

- когда параметр T больше или равен 1, вычисление комбинированной коррекции сжатия следующим образом:

S=0, U=U'/√T, V=V'/√T.

11. Устройство для восстановления данных изображения (I₃), представляющих данные исходного изображения (I₁), из декодированных данных изображения (I₂) и параметров, полученных из битового потока (101), причем упомянутые параметры получены обработкой из упомянутых данных исходного изображения (I₁), при этом восстановленное изображение адаптировано к характеристикам дисплея представления, причем устройство содержит процессор, сконфигурированный, чтобы:

- корректировать (122) два компонента цветности, чтобы получать два восстановленных компонента цветности;

отличающееся тем, что коррекция цветности (120) осуществляется в ответ на значение одного коэффициента модуляции mod, характерного для:

данных информации о яркости (D_PL) дисплея представления;

данных информации о яркости (SDR_PL) типового изображения стандартного динамического диапазона и

данных информации о яркости (C_PL) данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения.

12. Устройство по п. 11, в котором значение коэффициента модуляции вычисляется в соответствии со следующей формулой:

где D_PL обозначает данные информации о яркости дисплея представления, SDR_PL - данные информации о яркости типового изображения стандартного динамического диапазона, C_PL - данные информации о яркости данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения, и invPQ обозначает обратную передаточную функцию.

13. Устройство по п. 12, в котором процессор дополнительно сконфигурирован, чтобы:

- уменьшать насыщенность (120) компонента яркости в соответствии с параметрами для коррекции уменьшения насыщенности;

- выполнять обратное отображение (121) упомянутого компонента яркости с уменьшенной насыщенностью для получения восстановленного компонента яркости и

- выполнять коррекцию сжатия;

отличающееся тем, что уменьшение насыщенности (120), обратное отображение (22), коррекция сжатия и коррекция цветности (120) устанавливаются в ответ на значение одного коэффициента модуляции mod.

14. Устройство по п. 13, в котором значение коэффициента модуляции вычисляется в соответствии со следующей формулой:

где D_PL обозначает данные информации о яркости дисплея представления, SDR_PL - данные информации о яркости типового изображения стандартного динамического диапазона и C_PL - данные информации о яркости данных исходного изображения (I₁) или эталонного дисплея, используемого для классификации данных исходного изображения.

15. Не-временный считываемый процессором носитель, инструкции программного кода которого предназначены для выполнения этапов способа согласно любому из пп. 1-10, когда эта программа исполняется на компьютере.

Images