RU2737507C2 - Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования - Google Patents

Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования Download PDF

Info

Publication number
RU2737507C2
RU2737507C2 RU2018136432A RU2018136432A RU2737507C2 RU 2737507 C2 RU2737507 C2 RU 2737507C2 RU 2018136432 A RU2018136432 A RU 2018136432A RU 2018136432 A RU2018136432 A RU 2018136432A RU 2737507 C2 RU2737507 C2 RU 2737507C2
Authority
RU
Russia
Prior art keywords
dynamic range
color
image
range image
display
Prior art date
Application number
RU2018136432A
Other languages
English (en)
Other versions
RU2018136432A3 (ru
RU2018136432A (ru
Inventor
Пьер АНДРИВОН
Себастьен ЛАССЕРР
Давид ТУЗЕ
Эдуар ФРАНСУА
Original Assignee
ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК filed Critical ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК
Publication of RU2018136432A publication Critical patent/RU2018136432A/ru
Publication of RU2018136432A3 publication Critical patent/RU2018136432A3/ru
Application granted granted Critical
Publication of RU2737507C2 publication Critical patent/RU2737507C2/ru

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T5/90
    • G06T5/92
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Abstract

Изобретение относится к средствам для кодирования изображения. Технический результат заключается в повышении качества кодируемого изображения. Декодируют поток, в котором закодировано изображение стандартного динамического диапазона, чтобы получить декодированное изображение стандартного динамического диапазона и метаданные цвета, связанные в данном потоке с кодированным изображением стандартного динамического диапазона. При этом метаданные цвета содержат, по меньшей мере, максимальную светимость дисплея для дисплея мастеринга, использованного при мастеринге изображения высокого динамического диапазона, из которого было получено упомянутое изображение стандартного динамического диапазона, закодированное в упомянутом потоке. Воссоздают упомянутое изображение высокого динамического диапазона из декодированного изображения стандартного динамического диапазона и из метаданных цвета посредством обратного преобразования сигнала яркости декодированного изображения стандартного динамического диапазона в ответ на упомянутую максимальную светимость дисплея упомянутого дисплея мастеринга для того, чтобы получить сигнал светимости высокого динамического диапазона. 4 н. и 16 з.п. ф-лы, 12 ил.

Description

1. ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
В нижеследующем, раскрываются способ и устройство для кодирования изображения высокого динамического диапазона. Дополнительно раскрываются соответствующий способ декодирования и устройство декодирования.
2. ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИ
В нижеследующем, цветное изображение содержит несколько массивов выборок (значений пикселя) в особом формате изображения/видео, который указывает всю информацию касательно значений пикселя изображения (или видео) и всю информацию, которая может быть использована дисплеем и/или любым другим устройством, чтобы визуализировать и/или декодировать изображение (или видео), например. Цветное изображение содержит, по меньшей мере, одну составляющую, в форме первого массива выборок, обычно составляющую яркости (или светимости), и по меньшей мере, одну другую составляющую, в форме, по меньшей мере, одного другого массива выборок. Или, эквивалентно, та же самая информация также может быть представлена посредством набора массивов выборок цвета (цветные составляющие), такого как традиционное трехцветное RGB представление.
Значение пикселя представляется посредством вектора из n значений, где n является числом составляющих. Каждое значение вектора представляется с помощью числа битов, которое определяет максимальный динамический диапазон значений пикселя.
Изображения Стандартного-Динамического-Диапазона (изображения SDR) являются цветными изображениями, чьи значения светимости представляются с помощью ограниченной динамики, обычно измеряемой в степени двух или ступенях экспозиции. Изображения SDR имеют динамику около 10 ступеней экспозиции, т.е. отношение 1000 между самыми яркими пикселями и самыми темными пикселями в линейной области, и кодируются с помощью ограниченного числа битов (наиболее часто 8 или 10 в HDTV (системы Телевидения Высокой Четкости) и UHDTV (системы Телевидения Сверх Высокой Четкости) в нелинейной области, например, посредством использования ITU-R BT.709 OEFT (Оптико-Электрическая-Функция Переноса) (Rec. ITU-R BT.709-5, апрель 2002г.) или ITU-R BT.2020 OETF (Rec. ITU-R BT.2020-1, июнь 2014 г.), чтобы уменьшать динамику. Данное ограниченное нелинейное представление не обеспечивает корректного рендеринга небольших вариаций сигнала, в частности в темных и светлых диапазонах светимости. В изображениях Высокого Динамического Диапазона (изображениях HDR), динамика сигнала много выше (вплоть до 20 ступеней экспозиции, отношение один миллион между самыми яркими пикселями и самыми темными пикселями) и новое нелинейное представление требуется для того, чтобы обеспечивать высокую точность сигнала по всему его диапазону. В изображениях HDR, необработанные данные обычно представляются в формате с плавающей точкой (либо 32-битном или 16-битном для каждой составляющей, а именно float (число с плавающей точкой) или half-float (число половинной точности)), наиболее популярным форматом является формат числа половинной точности openEXR (16-бит на составляющую RGB, т.е. 48 битов на пиксель) или в целых числах с длинным представлением, как правило, по меньшей мере, 16 битов.
Цветовая палитра является определенным полным набором цветов. Наиболее распространенное использование относится к набору цветов, которые могут быть точно представлены в заданном условии, таком как в заданном цветовом пространстве или посредством определенного устройства вывода. Цветовая палитра иногда определяется посредством основных цветов RGB, определенных в диаграмме цветности цветового пространства CIE1931, и точкой белого.
Например, цветовая палитра определяется посредством цветового пространства RGB ITU-R Рекомендация BT.2020 для UHDTV. Более старый стандарт, ITU-R Рекомендация BT.709, определяет меньшую цветовую палитру для HDTV. В SDR, динамический диапазон определяется официально вплоть до 100 нитов (кандела на квадратный метр) для объема цвета, в котором кодированы данные, несмотря на то, что некоторые технологии дисплея могут показывать более яркие пиксели.
Изображения Высокого Динамического Диапазона (изображения HDR) являются цветными изображениями, чьи значения светимости представлены с помощью динамики HDR, которая выше динамики изображения SDR.
Динамика HDR еще не определена стандартом, но можно ожидать динамического диапазона вплоть до нескольких тысяч нитов. Например, объем цвета HDR определяется посредством цветового пространства RGB BT.2020 и значения, представленные в упомянутом цветовом пространстве RGB, принадлежат к динамическому диапазону от 0 до 4000 нитов. Другой пример объема цвета HDR определяется посредством цветового пространства RGB BT.2020 и значения, представленные в упомянутом цветовом пространстве RGB, принадлежат к динамическому диапазону от 0 до 1000 нитов.
Приведение к шкале цветов изображения (или видео) является процессом изменения/улучшения цветов изображения (или видео). Обычно, приведение к шкале цветов изображения включает изменение объема цвета (цветового пространства и/или динамического диапазона) или изменение цветовой палитры касательно данного изображения. Таким образом, две разные версии приведенной к шкале цветов одного и того же изображения являются версиями данного изображения, значения которого представлены в разных объемах цвета (или цветовой палитре) или версиями изображения, у которых, по меньшей мере, один из их цветов был изменен/улучшен в соответствии с разными шкалами цветов. Это может включать взаимодействие с пользователем.
Например, в кинематографическом производстве, изображение и видео захватываются используя трехцветные камеры в RGB значения цвета, составленные из 3 составляющих (Красный, Зеленый и Синий). RGB значение цвета зависит от трехцветных характеристик (основных цветов) датчика. Первая приведенной к шкале цветов версия захваченного изображения тогда получается для того, чтобы получить театральные визуализации (обычно особая театральная шкала). Как правило, значения первой приведенной к шкале версии захваченного изображения представляются в соответствии со стандартизованным YUV форматом, таким как BT.2020, который определяет значения параметра для UHDTV.
Затем, Колорист, обычно в связке с Главным Оператором, выполняет управление значениями цвета первой приведенной к шкале цветов версии захваченного изображения посредством тонкой настройки/подстройки некоторых значений цвета для того, чтобы привить художественный замысел.
Задачей, которая требует решения, является распространение сжатого изображения HDR (или видео) при этом, также, распространяя связанное изображение SDR (или видео), представляющее собой приведенную к шкале цветов версию упомянутого изображения HDR (или видео).
Очевидным ращением является одновременное вещание изображения (или видео) как SDR, так и HDR по инфраструктуре распространения, но недостатком является виртуальное удвоение требуемой полосы пропускания в сравнении с унаследованной инфраструктурой распространения, адаптированной для вещания изображения SDR (или видео), такой как основной 10 профиль HEVC («High Efficiency Video Coding», SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Рекомендация ITU-T H.265, Сектор Стандартизации Телекоммуникаций ITU, апрель 2013г.).
Использование унаследованной инфраструктуры распространения соответствует требованию ускорить появление распространения картинок HDR (или видео). Также, скорость передачи битов должна быть минимизирована, гарантируя при этом хорошее качество как SDR, так и HDR версии изображения (или видео).
Более того, может быть гарантирована обратная совместимость, т.е., должно быть доступно для просмотра изображение SDR (или видео) для пользователей оснащенных унаследованным декодером и дисплеем, т.е., в частности, должны быть сохранены общая воспринимаемая светлота (т.е. темные против ярких сцены) и воспринимаемые цвета (например, сохранение оттенков и т.д.).
Другим очевидным решением является сокращении динамического диапазона изображения HDR (или видео) посредством подходящей нелинейной функции, как правило, до ограниченного числа битов (скажем 10 битов), и непосредственное сжатие с помощью основного 10 профиля HEVC. Такая нелинейная функция (кривая) уже существует, подобно так называемой PQ EOTF, предложенной Dolby в SMPTE (SMPTE standard: High Dynamic Range Electro-Optical Transfer Function of Mastering Reference Displays, SMPTE ST 2084:2014).
Недостаток данного решения состоит в отсутствии обратной совместимости, т.е. полученная сокращенная версия изображения (видео) не обладает достаточным визуальным качеством, чтобы рассматриваться как возможной для просмотра в качестве SDR изображения (или видео), и эффективность сжатия несколько недостаточна.
3. СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Раскрывается способ декодирования, который содержит этапы, на которых:
- декодируют поток, чтобы получить декодированное изображение стандартного динамического диапазона и метаданные цвета, связанные с изображением стандартного динамического диапазона, при этом метаданные цвета представляют собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона;
- воссоздают изображение высокого динамического диапазона из декодированного изображения стандартного динамического диапазона и из метаданных цвета.
Раскрывается способ кодирования, который содержит этапы, на которых:
- определяют изображение стандартного динамического диапазона из изображения высокого динамического диапазона;
- получают метаданные цвета, представляющие собой характеристики изображения высокого динамического диапазона;
- кодируют в потоке изображение стандартного динамического диапазона и метаданные цвета.
Раскрывается поток, который содержит кодированные данные, представляющие собой изображение стандартного динамического диапазона, и кодированные данные, представляющие собой метаданные цвета, связанные с изображением стандартного динамического диапазона, при этом метаданные цвета представляют собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона.
Также раскрывается устройство декодирования, которое содержит:
- средство для декодирования потока, чтобы получить декодированное изображение стандартного динамического диапазона и метаданные цвета, связанные с изображением стандартного динамического диапазона, при этом метаданные цвета представляют собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона;
- средство для воссоздания изображения высокого динамического диапазона из декодированного изображения стандартного динамического диапазона и из метаданных цвета.
Также раскрывается устройство кодирования, которое содержит:
- средство для определения изображения стандартного динамического диапазона из изображения высокого динамического диапазона;
- средство для получения метаданных цвета, представляющих собой характеристики изображения высокого динамического диапазона;
- средство для кодирования в потоке изображения стандартного динамического диапазона и метаданных цвета.
Раскрывается устройство декодирования, которое содержит интерфейс связи, выполненный с возможностью доступа к, по меньшей мере, потоку, и, по меньшей мере, один процессор, выполненный с возможностью:
- декодирования потока, к которому осуществлен доступ, чтобы получить декодированное изображение стандартного динамического диапазона и метаданные цвета, связанные с изображением стандартного динамического диапазона, при этом метаданные цвета представляют собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона;
- воссоздания изображения высокого динамического диапазона из декодированного изображения стандартного динамического диапазона и из метаданных цвета.
Раскрывается устройство кодирования, которое содержит интерфейс связи, выполненный с возможностью доступа к, по меньшей мере, изображению высокого динамического диапазона, и, по меньшей мере, один процессор, выполненный с возможностью:
- определения изображения стандартного динамического диапазона из изображения высокого динамического диапазона, к которому осуществлен доступ;
- получения метаданных цвета, представляющих собой характеристики изображения высокого динамического диапазона;
- кодирования в потоке изображения стандартного динамического диапазона и метаданных цвета.
В соответствии с характерной особенностью, метаданные цвета представляют собой, по меньшей мере, характеристики дисплея мастеринга, использованного при мастеринге изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона.
Преимущественно, метаданные цвета инкапсулируются в сообщение SEI Объема Цвета Дисплея Мастеринга, связанное с изображением стандартного динамического диапазона.
В соответствии с характерной особенностью, характеристики дисплея мастеринга идентифицируют объем цвета дисплея мастеринга.
Преимущественно, характеристики дисплея мастеринга содержат, по меньшей мере, основные цвета, точку белого, и диапазон светимости.
В варианте, метаданные цвета представляют собой, по меньшей мере, характеристики уровня света контента у изображения высокого динамического диапазона.
Преимущественно, метаданные цвета инкапсулируются в сообщение SEI информации об Уровне Света Контента, связанное с изображением стандартного динамического диапазона.
4. КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
- Фигура 1 представляет собой примерную архитектуру приемника, выполненного с возможностью декодирования потока для того, чтобы получать изображение HDR в соответствии с неограничивающим вариантом осуществления;
- Фигура 2 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с особым и неограничивающим вариантом осуществления;
- Фигура 3 представляет собой примерную архитектуру передатчика 100, выполненного с возможностью кодирования изображения HDR в потоке в соответствии с неограничивающим вариантом осуществления;
- Фигура 4 представляет собой блок-схему способа кодирования изображения HDR в потоке в соответствии с особым и неограничивающим вариантом осуществления;
- Фигура 5 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с другим особым и неограничивающим вариантом осуществления;
- Фигуры 6 и 7 представляют подробно этапы фигуры 5;
- Фигура 8 представляет блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с другим особым и неограничивающим вариантом осуществления;
- Фигура 9 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с другим особым и неограничивающим вариантом осуществления;
- Фигуры 10 и 11 представляют подробно этапы фигуры 9; и
- Фигура 12 представляет собой блок-схему способа кодирования изображения HDR в потоке в соответствии с другим особым и неограничивающим вариантом осуществления.
5. ПОДРОБНОЕ ОПИСАНИЕ
Следует понимать, что фигуры и описания были упрощены, чтобы иллюстрировать элементы, которые являются подходящими для четкого понимания настоящих принципов, при этом исключая, в целях ясности, многие другие элементы, которые можно обнаружить в типичных устройствах кодирования и/или декодирования. Будет понятно, что несмотря на то, что понятия первый и второй могут быть использованы в данном документе, чтобы описывать разнообразные элементы, эти элементы не должны быть ограничены этими понятиями. Эти понятия используются только чтобы отличать один элемент от другого. В нижеследующих разделах, блок изображения составлен из выборок, ассоциированных со значениями выборки, например, выборок яркости или выборок насыщенности цвета, и т.д.
В нижеследующем, слово «воссозданный» и «декодированный» могут быть использованы взаимозаменяемым образом.
Фигура 1 представляет собой примерную архитектуру приемника 100, выполненного с возможностью декодирования потока для того, чтобы получать изображение HDR в соответствии с неограничивающим вариантом осуществления.
Приемник 100 содержит один или более процессор(ы) 1000, которые могут содержать, например, CPU, GPU и/или DSP (английская аббревиатура Цифрового Сигнального Процессора), наряду с внутренней памятью 1030 (например, RAM, ROM и/или EPROM). Приемник 100 содержит один или более интерфейс(ы) 1010 связи (например, клавиатуру, мышь, сенсорную панель, web-камеру), причем каждый выполнен с возможностью демонстрации выходной информации и/или предоставления пользователю возможности ввода команд и/или данных (например, изображения HDR); и источник 1020 питания, который может быть внешним по отношению к приемнику 100. Приемник 100 также может содержать один или более сетевой интерфейс(ы) (не показано). Модуль 1040 декодера представляет собой модуль, который может быть включен в устройство, чтобы выполнять функции декодирования. Дополнительно, модуль 1040 декодера может быть реализован в качестве отдельного элемента приемника 100 или может быть включен в процессор(ы) 1000 в качестве сочетания аппаратного и программного обеспечения, как известно специалистам в соответствующей области техники.
Поток может быть получен от источника. В соответствии с разными вариантами осуществления, источником может быть, но не ограничивается:
- локальная память, например, видеопамять, RAM, флэш-память, и жесткий диск;
- интерфейс хранения, например, интерфейс с запоминающим устройством большой емкости, ROM, оптическим диском или магнитным средством обеспечения;
- интерфейс связи, например, интерфейс проводной линии (например, интерфейс шины, интерфейс глобальной сети, интерфейс локальной сети) или беспроводной интерфейс (такой как интерфейс IEEE 802.11 или интерфейс Bluetooth); и
- цепь захвата изображения (например, датчик, такой как, например, CCD (или Прибор с Зарядной Связью) или CMOS (или Комплементарная Структура Металл-Оксид-Полупроводник)).
В соответствии с разными вариантами осуществления, изображение HDR может быть отправлено получателю, например, дисплейному устройству. В качестве примера, изображение HDR хранится в удаленной или в локальной памяти, например, видеопамяти или RAM, жестком диске. В варианте, изображение HDR отправляется интерфейсу хранения, например, интерфейсу с запоминающим устройством большой емкости, ROM, флэш-памятью, оптическим диском или магнитным средством обеспечения и/или передается через интерфейс связи, например, интерфейс линии связи точка-точка, шину связи, линию связи точка-многоточка или сеть вещания.
В соответствии с особым и неограничивающим вариантом осуществления, приемник 100 дополнительно содержит компьютерную программу, хранящуюся в памяти 1030. Компьютерная программа содержит инструкции, которые, когда исполняются приемником 100, в частности процессором 1000, позволяют приемнику исполнять способ декодирования, описанный со ссылкой на фигуру 2 или фигуру 6. В соответствии с вариантом, компьютерная программа хранится внешним образом по отношению к приемнику 100 на долговременном цифровом средстве обеспечения данных, например, на внешнем запоминающем носителе информации, таком как HDD, CD-ROM, DVD, только для чтения и/или DVD накопителе и DVD накопители Чтения/Записи, причем все известно в области техники. Приемник 100, таким образом содержит механизм, чтобы считывать компьютерную программу. Кроме того, приемник 100 может осуществлять доступ к одному или более запоминающим устройствам типа Универсальной Последовательной Шины (USB) (например, «накопителям памяти») через соответствующие порты USB (не показано).
В соответствии с примерными и неограничивающими вариантами осуществления, приемник 100 может быть, но не ограничивается:
- мобильным устройством;
- устройством связи;
- игровым устройством;
- телевизионной абонентской приставкой;
- телевизором;
- планшетом (или планшетным компьютером);
- лэптопом;
- проигрывателем видео, например, проигрывателем Blu-ray, проигрывателем DVD;
- дисплеем и
- чипом декодирования или устройством декодирования.
Фигура 2 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR, в соответствии с особым и неограничивающим вариантом осуществления.
Способ начинается на этапе S100. На этапе S100, приемник осуществляет доступ к потоку, например, совместимому с HEVC потоку. На этапе S120, приемник декодирует изображение SDR и метаданные цвета из потока. Метаданные цвета представляют собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона.
В первом особом варианте осуществления, метаданные цвета представляют собой характеристики дисплея мастеринга, использованного при мастеринге изображения HDR, связанного с изображением SDR. В качестве примера, метаданные цвета инкапсулируются в сообщение SEI Объема Цвета Дисплея Мастеринга, связанное с изображением SDR. Такое сообщение SEI, например, раскрывается в разделах D2.28 и D3.28 документа JCTVC-V1005-v1, озаглавленного «High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 5»
mastering_display_colour_volume(payloadSize) { Дескриптор
for(c=0; c < 3; с++ ) {
display_primaries_x[c] u(16)
display_primaries_y[c] u(16)
}
white_point_x u(16)
white_point_y u(16)
max_display_mastering_luminance u(32)
min_display_mastering_luminance u(32)
]
display_primaries_x[c] и display_primaries_y[c] указывают нормализованные координаты цветности x и y, соответственно, у основной составляющей c цвета дисплея мастеринга.
white_point_x и white_point_y указывают нормализованные координаты цветности x и y, соответственно, у точки белого дисплея мастеринга.
max_display_mastering_luminance и min_display_mastering_luminance указывают номинальную максимальную и минимальную светимость дисплея, соответственно, дисплея мастеринга.
max_display_mastering_luminance и min_display_mastering_luminance таким образом указывают диапазон светимости.
Данное сообщение SEI идентифицирует объем цвета (основные цвета, точку белого и диапазон светимости - т.е. максимальное и минимальное значения светимости) у дисплея, рассматриваемого в качестве дисплея мастеринга применительно к ассоциированному видеоконтенту - например, объем цвета у дисплея, который был использован для просмотра при авторинге видеоконтента. Описываемый дисплей мастеринга является трехцветной аддитивной системой демонстрации, которая была выполнена с возможностью использования указанного объема цвета мастеринга. В таком случае изображение SDR является связанным с видеоконтентом. Действительно, изображение SDR считается находящимся в послойно кодированной видеопоследовательности (CLVS). CLVS является последовательностью картинок и связанных не-VCL NAL единиц базового слоя кодированной видеопоследовательности (CVS). Тем не менее, в соответствии с настоящими принципами сообщение SEI используется другим образом, чтобы передавать объем цвета (основные цвета, точку белого и диапазон светимости) у дисплея, рассматриваемого в качестве дисплея мастеринга применительно к изображению HDR, которое не является тем, что закодировано в потоке и, следовательно, не находится в CLVS. Это позволяет использовать существующие элементы синтаксиса, чтобы передавать данные, подходящие для воссоздания HDR.
В варианте, метаданные цвета инкапсулируются в данные пользователя, такие как сообщение SEI данных пользователя или в существующую SEI зарегистрированных данных пользователя.
Во втором особом варианте осуществления, метаданные цвета представляют собой уровень света контента изображения высокого динамического диапазона.
В качестве примера, метаданные цвета инкапсулируются в сообщение SEI информации об Уровне Света Контента, связанное с изображением SDR. Такое сообщение, например, раскрывается в разделе D2.35 и D3.35 документа JCTVC-V1005-v1, озаглавленном «High Efficiency Video Coding (HEVC) Screen Content Coding: Draft 5».
content_light_level_info(payloadSize) { Дескриптор
max_content_light_level u(16)
max_pic_average_light_level u(16)
}
max_content_light_level, когда не равен 0, указывает верхнюю границу по максимальному уровню света из всех индивидуальных выборок в 4:4:4 представлении интенсивностей основного цвета из красного, зеленого и синего (в линейной области света) для картинок CLVS.
max_pic_average_light_level, когда не равен 0, указывает верхнюю границу по максимальному среднему уровню света среди выборок в 4:4:4 представлении интенсивностей основного цвета из красного, зеленого и синего (в линейной области света) для любого индивидуального изображения CLVS.
Данное сообщение SEI идентифицирует верхние границы для номинального целевого уровня света светлоты у изображения CLVS.
Первый и второй варианты осуществления могут быть объединены, т.е., метаданные цвета могут содержать две части: первая часть представляет собой характеристики дисплея мастеринга, использованного при мастеринге изображения HDR, связанного с изображением SDR (возможно инкапсулирован в сообщение SEI MDCV), а вторая часть представляет собой уровень света контента изображения высокого динамического диапазона, связанного с изображением SDR (возможно инкапсулированная в сообщение SEI CLL).
На этапе S130, приемник воссоздает изображение HDR из декодированного изображения SDR и из метаданных цвета. Разные варианты осуществления этапа воссоздания изображения HDR раскрываются со ссылкой на фигуры с 5 по 8. В примерном варианте осуществления, воссоздание изображения HDR из декодированного изображения SDR и метаданных цвета содержит:
- обратное преобразование (этап 222 фигуры 6, этап 220 фигуры 7, этапы 1231 и 1210 фигуры 8) сигнала яркости декодированного изображения SDR, чтобы получить сигнал светимости HDR, в ответ на, по меньшей мере, максимальную светимость дисплея мастеринга, использованного при мастеринге изображения HDR и/или максимальный уровень света контента изображения HDR;
- коррекцию цвета (этап 221 фигуры 6, этап 1221 фигуры 8) сигнала цветности декодированного изображения SDR, в ответ на, по меньшей мере, максимальную светимость дисплея мастеринга, использованного при мастеринге изображения HDR и/или максимальный уровень света контента изображения HDR и/или основные цвета и точку белого у дисплея мастеринга, использованного при мастеринге изображения HDR;
- воссоздание (этап 230 фигуры 7, этапы 1222, 1223, 1224 Фигуры 8) изображения HDR из полученного сигнала светимости HDR и скорректированного сигнала цветности.
В другом примерном варианте осуществления, воссоздание изображения HDR из декодированного изображения SDR и метаданных цвета содержит обратное преобразование (23 на фигуре 6) сигнала яркости у декодированной версии изображения стандартного динамического диапазона в ответ на, по меньшей мере, максимальную светимость дисплея у упомянутого дисплея мастеринга, чтобы получить сигнал светимости высокого динамического диапазона, и дополнительное обратное преобразование цвета (22 на фигуре 6) декодированной версии изображения стандартного динамического диапазона в ответ на, по меньшей мере, одно из упомянутой максимальной светимости дисплея у упомянутого дисплея мастеринга, и основных цветов и точки белого у упомянутого дисплея мастеринга. Способ заканчивается на этапе S180.
Фигура 3 представляет собой примерную архитектуру передатчика 100, выполненного с возможностью кодирования изображения HDR в поток в соответствии с неограничивающим вариантом осуществления.
Передатчик 200 содержит один или более процессор(ы) 2000, которые могут содержать, например, CPU, GPU и/или DSP (английская аббревиатура Цифрового Сигнального Процессора), наряду с внутренней памятью 2030 (например, RAM, ROM, и/или EPROM). Передатчик 200 содержит один или более интерфейс(ы) 2010 связи (например, клавиатуру, мышь, сенсорную панель, web-камеру), причем каждый выполнен с возможностью демонстрации выходной информации и/или предоставления пользователю возможности ввода команд и/или данных (например, потока); и источник 2020 питания, который может быть внешним по отношению к передатчику 200. Передатчик 200 также может содержать один или более сетевой интерфейс(ы) (не показано). Модуль 2040 кодера представляет собой модуль, который может быть включен в устройство, чтобы выполнять функции кодирования. Дополнительно, модуль 2040 кодера может быть реализован в качестве отдельного элемента передатчика 200 или может быть включен в процессор(ы) 2000 в качестве сочетания аппаратного и программного обеспечения, как известно специалистам в соответствующей области техники.
Изображение HDR может быть получено от источника. В соответствии с разными вариантами осуществления, источником может быть, но не ограничивается:
- локальная память, например, видеопамять, RAM, флэш-память, жесткий диск;
- интерфейс хранения, например, интерфейс с запоминающим устройством большой емкости, ROM, оптическим диском или магнитным средством обеспечения;
- интерфейс связи, например, интерфейс проводной линии (например, интерфейс шины, интерфейс глобальной сети, интерфейс локальной сети) или беспроводной интерфейс (такой как интерфейс IEEE 802.11 или интерфейс Bluetooth); и
- цепь захвата изображения (например, датчик, такой как, например, CCD (или Прибор с Зарядной Связью) или CMOS (или Комплементарная Структура Металл-Оксид-Полупроводник)).
В соответствии с разными вариантами осуществления, поток может быть отправлен получателю. В качестве примера, поток сохраняется в удаленной или в локальной памяти, например, видеопамяти или RAM, жестком диске. В варианте, поток отправляется интерфейсу хранения, например, интерфейсу с запоминающим устройством большой емкости, ROM, флэш-памятью, оптическим диском или магнитным средством обеспечения и/или передается через интерфейс связи, например, интерфейс линии связи точка-точка, шину связи, линию связи точка-многоточка или сеть вещания.
В соответствии с примерным и неограничивающим вариантом осуществления, передатчик 200 дополнительно содержит компьютерную программу, хранящуюся в памяти 2030. Компьютерная программа содержит инструкции, которые, когда исполняются передатчиком 200, в частности посредством процессора 2000, позволяют передатчику 200 исполнять способ кодирования, описанный со ссылкой на фигуру 8 или 9. В соответствии с вариантом, компьютерная программа хранится внешним образом по отношению к передатчику 200 на долговременном цифровом средстве обеспечения данных, например, на внешнем запоминающем носителе информации, таком как HDD, CD-ROM, DVD, только для чтения и/или DVD накопителе и DVD накопители Чтения/Записи, причем все известно в области техники. Передатчик 200, таким образом содержит механизм, чтобы считывать компьютерную программу. Кроме того, передатчик 200 может осуществлять доступ к одному или более запоминающим устройствам типа Универсальной Последовательной Шины (USB) (например, «накопителям памяти») через соответствующие порты USB (не показано).
В соответствии с примерными и неограничивающими вариантами осуществления, передатчик 200 может быть, но не ограничивается:
- мобильным устройством;
- устройством связи;
- игровым устройством;
- планшетом (или планшетным компьютером);
- лэптопом;
- камерой для неподвижных изображений;
- видеокамерой;
- чипом кодирования или устройством кодирования;
- сервером неподвижных изображения; и
- видеосервером (например, сервером вещания, сервером видео по запросу или web-сервером).
Фигура 4 представляет собой блок-схему способа кодирования изображения HDR в поток в соответствии с особым и неограничивающим вариантом осуществления. Данный способ является обратным способу декодирования. Все варианты осуществления, раскрываемые в отношении способа декодирования, применяются к способу кодирования.
Способ начинается на этапе S200. На этапе S210, передатчик осуществляет доступ к изображению HDR. На этапе S220, передатчик осуществляет доступ к изображению HDR. На этапе S220, передатчик определяет изображение SDR из изображения HDR. Разнообразные варианты осуществления раскрываются со ссылкой на фигуры с 9 по 12. В примерном варианте осуществления, определение изображения SDR или изображения HDR, к которому осуществлен доступ, содержит:
- преобразование сигнала светимости изображения HDR, к которому осуществлен доступ, в сигнал яркости изображения SDR (этапы 1111 и 1113 фигуры 12) в ответ на, по меньшей мере, максимальную светимость дисплея мастеринга, использованного при мастеринге изображения HDR и/или максимальный уровень света контента изображения HDR;
- извлечение показателя βʺ коррекции цвета из сигнала яркости изображения SDR (этап 1131 фигуры 12), в ответ на, по меньшей мере, максимальную светимость дисплея мастеринга, использованного при мастеринге изображения HDR, и/или максимальный уровень света контента изображения HDR и основные цвета и точку белого дисплея мастеринга, использованного при мастеринге изображения HDR;
- преобразование сигнала цвета изображения HDR в сигнал насыщенности цвета изображения SDR (этапы 1121, 1122, 1123 фигуры 12) в ответ на, по меньшей мере, основные цвета и точку белого дисплея мастеринга, использованного при мастеринге изображения HDR; и
- регулировку сигнала яркости изображения SDR с сигналом насыщенности цвета изображения SDR (этап 1133 фигуры 12) в ответ на, по меньшей мере, основные цвета и точку белого дисплея мастеринга, использованного при мастеринге изображения HDR.
В другом примерном варианте осуществления, определение изображения SDR или изображения HDR, к которому осуществлен доступ, содержит преобразование (23 на фигуре 6) сигнала яркости изображения HDR, к которому осуществлен доступ, в сигнал яркости изображения SDR (11 на фигуре 9) в ответ, по меньшей мере, на максимальную светимость дисплея мастеринга, использованного при мастеринге изображению HDR, и дополнительное преобразование цвета (12 на фигуре 9) сигнала цвета изображения HDR в сигнал насыщенности цвета изображения SDR в ответ на, по меньшей мере, одно из максимальной светимости дисплея у дисплея мастеринга и основные цвета и точку белого дисплея мастеринга.
На этапе S220, передатчик получает метаданные цвета, представляющие собой, по меньшей мере, характеристики изображения высокого динамического диапазона, связанного с изображением стандартного динамического диапазона. Как в декодере, метаданные цвета могут представлять собой дисплей мастеринга, использованный при мастеринге изображения HDR, связанного с изображением SDR и/или уровень света контента изображения высокого динамического диапазона, связанного с изображением SDR.
На этапе S230, передатчик кодирует определенное изображение SDR и полученные метаданные цвета в потоке, например, в потоке совместимом с HEVC. Метаданные цвета могут быть инкапсулированы в сообщения SEI, упомянутые в отношении фигуры 2 для способа декодирования.
Фигура 5 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с другим особым и неограничивающим вариантом осуществления.
На этапе 21, декодер DEC получает составляющую светимости Lʺ и две составляющие цветности Cʺ1, Cʺ2 либо из локальной или удаленной памяти, либо посредством декодирования, по меньшей мере, частично потока F. Поток F представляет собой изображение SDR и метаданные цвета (например, сообщение SEI MDVC и/или CLL).
На этапе 22, модуль IGM получает итоговую составляющую светимости L и две итоговые составляющие цветности C1, C2 из составляющих светимости Lʺ и цветности Cʺ1, Cʺ2 посредством применения обратного преобразования по цветам, полученным из составляющих светимости Lʺ и цветности Cʺ1, Cʺ2. Фигура 6 подробно представляет этап 22. Модуль ILCC получает (этап 222) итоговую составляющую светимости L посредством линейного сложения вместе составляющей светимости Lʺ и двух составляющих цветности Cʺ1, Cʺ2, а две итоговые составляющие цветности C1, C2 получаются посредством масштабирования (этап 221) каждой из двух составляющих цветности Cʺ1, Cʺ2 посредством показателя β (L(i)), который зависит от значения каждого пикселя 1 у итоговой составляющей светимости L.
Figure 00000001
где m и n являются коэффициентом (действительные значения). Коэффициенты m и n могут быть теми, что получены посредством факторизации матрицы ΦBa(L) в уравнении (G), т.е., m и n являются теми, что получены в Φ0. Следовательно, они зависят от палитры изображения I HDR (например, палитры BT.709 или BT.2020). Типичными значениями для m и n являются m≈n в интервале [0.1,0.5].
В соответствии с вариантом, показатель дополнительно зависит от значения модуляции Ba.
Уравнение (J) рассматривается в качестве обратного преобразования, которое применяется к цветам, полученным из составляющих светимости Lʺ и цветности Cʺ1, Cʺ2. Уравнение (J) непосредственно получается из уравнения (A), примененного на стороне кодера, которое рассматривается в качестве преобразования цвета.
В соответствии с вариантом модуля ILCC, значения итоговой составляющей светимости L всегда выше значений составляющей светимости Lʺ:
Figure 00000002
Данный вариант осуществления является преимущественным, так как он гарантирует то, что итоговая составляющая L светимости не превышает потенциальное значение обрезки, которое обычно используется декодером, чтобы определять пик светимости. Когда пик светимости требуется декодеру (например, заданный элементом синтаксиса max_display_mastering_luminance сообщения SEI MDCV) и когда итоговая составляющая светимости L задается уравнением (J), итоговая составляющая светимости L обрезается, вводя некоторые артефакты.
В соответствии с вариантом осуществления, значение модуляции Ba и/или коэффициенты m и n получаются из удаленной или локальной памяти, такой как Поисковая Таблица, или из потока BF.
В соответствии с вариантом осуществления, показатель
Figure 00000003
получается из Поисковой Таблицы (LUT) для особого значения L(i) итоговой составляющей светимости L и, опционально, из особого значения Ba модуляции и. Таким образом, применительно к нескольким значениям пика светимости (например максимальная светимость дисплея мастеринга), таким как, например, 1000, 1500 и 4000 нитов, особый показатель
Figure 00000003
сохраняется в LUT для каждого особого значения модуляции Ba.
В соответствии с вариантом, показатель
Figure 00000003
для особого значения модуляции Ba получается для значения пикселя у пикселя итоговой составляющей светимости L посредством интерполяции пиков светимости между несколькими пиками светимости для которых сохранены LUT.
На этапе 23, модуль INVC получает, по меньшей мере, одну составляющую света Ec у цветного изображения, которое должно быть декодировано, из итоговой составляющей светимости L и двух итоговых составляющей цветности C1, C2. Изображение HDR формируется из, по меньшей мере, одной составляющей цвета Ec. Фигура 7 подробно представляет этап 23.
На этапе 220, модуль IFM получает первую составляющую Y посредством применения нелинейной функции f-1 к итоговой составляющей светимости L в порядке, в котором динамика первой составляющей Y увеличивается в сравнении с динамикой итоговой составляющей светимости L:
Figure 00000004
Нелинейная функция f-1 является обратной к линейной функции f, которая применяется на стороне передатчика.
Таким образом, варианты осуществления функции f-1 определяются в соответствии с вариантами осуществления функции f.
В соответствии с вариантом осуществления, параметры нелинейной функции f-1 (такие как a, b, c или γ) и/или информационные данные Inf являются полученными из локальной или удаленной памяти (например, нелинейная функция строится из Поисковой Таблицы, проиндексированной посредством максимальной светимости дисплея мастеринга, и/или из максимальной светимости изображения HDR, и/или из основных цветов и точки белого дисплея мастеринга, использованного при мастеринге изображения HDR) и/или из потока BF.
В соответствии с вариантом осуществления, составляющая светимости L умножается на значение модуляции Ba после применения нелинейной функции f-1:
Figure 00000005
В соответствии с вариантом осуществления, нелинейная функция f-1 является обратной гамма-функцией.
Составляющая Y тогда задается посредством:
Figure 00000006
где Y1 равно Y или Y/Ba в соответствии с вариантами осуществления уравнения (A3) или (A4), B является постоянным значением, γ является параметром (действительное число строго ниже 1).
В соответствии с вариантом осуществления, нелинейная функция f-1 является обратной функции S-Log. Составляющая Y1 тогда задается посредством:
Figure 00000007
В соответствии с вариантом осуществления, нелинейная функция f является обратной либо гамма-коррекции, либо коррекции SLog в соответствии со значениями пикселя компонента Y. Это указывается посредством информационных данных Inf.
На этапе 230, модуль ILC получает, по меньшей мере, одну составляющую цвета Ec из первой составляющей Y, двух итоговых составляющих цветности C1, C2, и из показателя r(L), который зависит от итоговой составляющей светимости L. Декодированное цветное изображение затем получается посредством сложения вместе, по меньшей мере, одной составляющей цвета Ec. Показатель r(L) определяется посредством модуля RM на этапе 240.
Фигура 8 представляет собой блок-схему способа декодирования потока, чтобы воссоздавать изображение HDR в соответствии с другим особым и неограничивающим вариантом осуществления. Данный способ декодирования зависит от набора функций от двух переменных β'(Ba,L) и g-1(Ba,L) и двух постоянных параметров a и b, которые используются для преобразования из SDR в HDR светимости и цветности так, что цвета, как прочем и текстура, сохраняются в изображении/видео SDR в сравнении с исходным изображением/видео HDR. В то время как g(Ba,L) является предпочтительно функцией Slog в переменной L, тройка (a, b, β') оптимизируется, чтобы привести к наилучшему возможному совпадению цвета SDR/HDR (оттенок и воспринимаемая чистота тона) в зависимости от пиковой светимости, входных/выходных палитр, и значения подсветки Ba.
Кодирование включает функцию βʺ(Ba,L), а декодирование включает функцию β'(Ba,L). Функция βʺ обычно оптимизируется на стороне кодера. На стороне декодера функции β' обычно хранятся в Поисковых Таблицах, проиндексированных посредством пиковой светимости, входных/выходных палитр, и возможно значения подсветки Ba.
На этапе 1230, скорректированные составляющие светимости и цветности L', U', V' получаются из потока F. На подэтапе, составляющая светимости L получается посредством инвертирования коррекции, т.е., посредством следующих уравнений
Figure 00000008
(a и b являются параметрами 3 и n соответственно показанными на Фигуре 6)
В соответствии с вариантом обратной коррекции, значения составляющей светимости L всегда выше значений скорректированной составляющей светимости L':
Figure 00000009
Данный вариант осуществления является преимущественным, так как он гарантирует то, что составляющая светимости L не превышает потенциального значения обрезки, которое обычно используется декодером, чтобы определять пик светимости.
На этапе 1210, нелинейная функция расширения динамики применяется к светимости L для того, чтобы сгенерировать первую составляющую, которая является расширенным диапазоном светимости, которая является обратной функции сокращения динамики, которая была применена к исходной составляющей светимости, полученной при кодировании цветного изображения, например YHDR=f-1(LSDR), более точно g-1(Ba, L).
На этапе 1220, по меньшей мере, одни составляющие цвета Ec (в показанном примере RGBHDR) изображения HDR, которое должно быть декодировано, восстанавливаются из скорректированных составляющих цветности U', V' и первой составляющей Y (или sqrt(Y)). На подэтапе 1221 умножение скорректированных составляющих цветности U', V' на общий умножающий показатель β' выполняется, чтобы получить промежуточные составляющие цветности, которые используются в дополнительном подэтапе 1222 для получения второй составляющей S:=
Figure 00000010
. В дополнительном подэтапе 223, R#G#B# восстанавливаются из SUrVr: [R#;G#;B#]=Mat3×3 [S;Ur;Vr]. Составляющие цвета у декодированного цветного изображения RGBHDR определяются на следующем подэтапе 1224, в качестве квадратов R#G#B#.
Другими словами, способ обеспечивает, например, SDR в HDR обратное преобразование, которое восстанавливает R#G#B# представление RGB HDR составляющих, из составляющей яркости L SDR и двух составляющих насыщенности цвета UV SDR, при этом составляющая светимости Y HDR выводится из L, значение T вычисляется как линейная комбинация U2, V2 и U×V, S вычисляется в качестве квадратного корня Y-T и R#G#B# затем определяется в качестве произведения 3×3 матрицы и SUV, применяемой к каждому пикселю входного изображения SDR. 3×3 матрица является, например, обратной матрицы RGB->YUV, определенной в ITU-R BT709/2020, т.е. C=A-1.
Описанная схема декодирования обеспечивает распространение сжатого изображения HDR, при этом в то же самое время распространение связанного изображения SDR, представляющего собой приведенное к шкале цветов версию изображения HDR. По построению, для того чтобы получать декодер, который является точно обратным кодеру β'=1/βʺ. Как следствие, для заданной пары (a,b), определения βʺ является достаточным, чтобы определять как кодер, так и декодер.
Задачей, требующей решения, является нахождение βʺ так, чтобы цвета L'UʺVʺ SDR соответствовали в лучшем случае входным цветам HDR (оттенок и воспринимаемая чистота тона) и процесс являлся декодируемым, т.е. масштабирование посредством βʺ избегает обрезки в UʺVʺ как можно лучше. В особой реализации, βʺ определяется в кодере для разных значений номинальной максимальной светимости дисплей у дисплея мастеринга или верхней границы по максимальному уровню света среди всех индивидуальных выборок изображения HDR и для разных палитр цвета изображения HDR (основные цвета и точка белого). Вследствие этого, на стороне декодера, LUT из значений β' предпочтительно хранятся в декодере для того, чтобы избежать их вычисления. Соответствующее значение β', таким образом, извлекается из декодированных метаданных цвета (например, MDCV, CLL).
Фигура 9 представляет блок-схему способа кодирования изображения I HDR в потоке F в соответствии с другим особым и неограничивающим вариантом осуществления.
На этапе 11, модуль C получает составляющую светимости L и две составляющие цветности C1 и C2 из изображения I HDR, которое должно быть закодировано, например, составляющие (L, C1, C2) могут принадлежать к цветовому пространству YUV, полученному после применения OETF к изображению I HDR, и составляющие цвета Ec могут принадлежать к цветовому пространству либо линейного RGB, либо XYZ. Этап 11 подробно описывается на Фигуре 10.
На этапе 110, модуль IC получает составляющую Y, которая представляет собой светимость изображения I HDR, посредством линейного сложения вместе трех составляющих Ec:
Figure 00000011
где A1 является первой строкой 3×3 матрицы A, которая определяет преобразования цветового пространства из цветового пространства (E1,E2,E3) в цветовое пространство (Y,C1,C2).
На этапе 130, модуль FM получает составляющую светимости L посредством применения нелинейной функции f к компоненту Y:
Figure 00000012
где Ba является значением модуляции, полученным из составляющей Y посредством модуля BaM (этап 120).
Применение нелинейной функции f к составляющей Y сокращает ее динамический диапазон. Другими словами, динамика составляющей светимости L сокращается в сравнении с динамикой составляющей Y.
Главным образом, динамический диапазон составляющей Y сокращается для того, чтобы значения светимости составляющей L представлялись посредством использования 10 битов.
В соответствии с вариантом осуществления, составляющая Y делится на значение модуляции Ba до применения нелинейной функции f:
Figure 00000013
В соответствии с вариантом осуществления, нелинейная функция f является гамма-функцией:
Figure 00000014
где Y1 равно либо Y, либо Y/Ba в соответствии с вариантами осуществления уравнений (1) или (2). B является постоянным значением, γ является параметром (действительное значение строго ниже 1).
В соответствии с вариантом осуществления, нелинейная функция f является функцией S-Log:
Figure 00000015
где a, b, и c являются параметрами (действительные значения) кривой Slog, определенной так, что f(0) и f(1) являются инвариантом, и производная кривой SLog является непрерывной в 1, когда продлевается посредством кривой гамма-распределения ниже 1. Таким образом, a, b и c являются функциями параметра γ.
Типичные значения показаны в Таблице 1.
Y a B c
1/2.0 0.6275 0.2550 0.8575
1/2.4 0.4742 0.1382 0.9386
1/2.8 0.3861 0.0811 0.9699
Таблица 1
В преимущественном варианте осуществления, значение γ, близкое к 1/2.5, является эффективным исходя из производительности сжатия HDR, как впрочем и хорошей видимости полученной яркости SDR. Таким образом, 3 параметра могут преимущественно принимать следующие значения: a=0.44955114, b=0.12123691, c=0.94855684.
В соответствии с вариантом осуществления, нелинейная функция f является либо гамма-коррекцией, либо коррекцией SLog в соответствии со значениями пикселя составляющей Y.
Применение гамма-коррекции к составляющей Y, подтягивает темные области, но недостаточно понижает сильные источники света, чтобы избежать уменьшения контрастности ярких пикселей.
Тогда, в соответствии с вариантом осуществления, модуль FM применяет либо гамма-коррекцию, либо коррекцию SLog в соответствии со значениями пикселя составляющей Y. Информационные данные Inf могут указывать, применяется ли либо гамма-коррекция, либо коррекция Slog.
Например, когда значение пикселя составляющей Y ниже пороговой величины (равной 1), тогда применяется гамма-коррекция, а в противном случае применяется коррекция Slog.
В соответствии с вариантом осуществления этапа 120, значение модуляции Ba является средним, медианным, минимальным или максимальным значением у значений пикселя составляющей Y. Эти операции могут быть выполнены в линейной области светимости HDR Ylin или в нелинейной области, подобной In(Y) или Yy с y<1.
В соответствии с вариантом осуществления, когда способ используется чтобы кодировать несколько цветных картинок, принадлежащих к последовательности картинок, значение модуляции Ba определяется для каждого цветного изображения, Группы Картинок (GOP) или для части цветного изображения, такого как, но не ограничиваясь, слайс или Единица Переноса, как определено в HEVC.
В соответствии с вариантом осуществления, значение Ba и/или параметры нелинейной функции f (такие как a, b, c или γ) и/или информационные данные Inf сохраняются в локальной или удаленной памяти и/или добавляются в поток BF, как иллюстрируется на Фигурах 9 и 10.
На этапе 140, модуль CC получает, по меньшей мере, одну составляющую цвета EC (c=1, 2, 3) из изображения I HDR. Составляющая цвета Ec может быть получена непосредственно из локальной или удаленной памяти или посредством применения преобразования цвета к изображению I HDR.
На этапе 150, промежуточная составляющая цвета E'c (c=1, 2 или 3) получается посредством масштабирования каждой составляющей цвета Ec на показатель r(L), который зависит от составляющей светимости L:
Figure 00000016
где r(L(i)) является показателем (действительное значение), определенным модулем RM (этап 160), который зависит от значения пиксела i составляющей L,
Figure 00000017
является значением пиксела i промежуточной составляющей цвета E'c, и
Figure 00000018
является значением пикселя i составляющей цвета Ec.
Масштабирование на показатель означает умножение на показатель или деление на обратный показатель.
Масштабирование каждой составляющей цвета Ec на показатель r(L), который зависит от составляющей светимости L, сохраняет оттенок цветов изображения I HDR.
В соответствии с вариантом осуществления этапа 160, показатель r(L) является отношением составляющей светимости L к составляющей Y:
Figure 00000019
с Y(i) являющимся значением пикселя i у составляющей Y. Фактически, значение Y(i) пикселя составляющей Y зависит однозначно от значения L(i) пикселя составляющей светимости L, так что отношение может быть записано только как функция L(i).
Данный вариант осуществления является преимущественным, так как масштабирование каждой составляющей цвета Ec на показатель r(L), который дополнительно зависит от составляющей Y, сохраняет оттенок цветов изображения I HDR и, таким образом, улучшает визуальное качество декодированной цветного изображения.
Более точно, в колориметрии и теории цвета, ощущение цветности, насыщенность цвета и чистота тона относятся к воспринимаемой интенсивности конкретного цвета. Ощущение цветности является степенью отличия между цветом и серым. Насыщенность цвета является ощущением цветности по отношению к светлоте другого цвета, который кажется белым при сходных условиях просмотра. Чистота тона является ощущением цветности у цвета по отношению к его собственной светлоте.
Раздражитель с очень высоким ощущением цветности является ярким и интенсивным, тогда как раздражитель с более низким ощущением цветности кажется более приглушенным, ближе к серому. При полном отсутствии ощущения цветности, цвет является «нейтральным» серым (изображение с отсутствующим ощущением цветности в любом из ее цветов именуется в оттенках серого). Любой цвет может быть описан из его ощущения цветности (или насыщенности цвета или чистоты тона), степени интенсивности (или светлоты), и оттенка.
Определение оттенка и чистоты тона цвета зависит от цветового пространства, используемого для представления цвета.
Например, когда используется цветовое пространство CIELUV, чистота тона
Figure 00000020
определяется как отношение между насыщенностью цвета
Figure 00000021
по светимости
Figure 00000022
.
Figure 00000023
Тогда оттенок задается посредством
Figure 00000024
В соответствии с другим примером, когда используется цветовое пространство CIELAB, чистота тона определяется как отношение насыщенности цвета по светимости:
Figure 00000025
Тогда оттенок задается посредством
Figure 00000026
Эти уравнения являются разумным предсказателем чистоты тона и оттенка, которые согласуются с человеческим восприятием чистоты тона, и демонстрируют, что регулировка светлоты в цветовом пространстве CIELAB (или CIELUV) при удержании фиксированным угла a*/b* (или u*/v*) не оказывает влияния на оттенок и, следовательно, восприятие того же самого цвета. На этапе 150, масштабирование составляющих цвета Ec на один и тот же показатель сохраняет данный угол, следовательно, оттенок.
Теперь рассмотрим то, что изображение I HDR представляется в цветовом пространстве CIELUV и изображение I2, которое формируется посредством сложения составляющей светимости L, чей динамический диапазон сокращен в сравнении с динамическим диапазоном светимости изображения I HDR (этап 130), и двух составляющих цветности U (=C1) и V (=С2) цветового пространства CIELUV. Цвета изображения I2, следовательно, по-другому воспринимаются человеком, так как чистота тона и оттенок цветов меняются. Способ (этап 150) определяет составляющие цветности C1 и C2 у изображения I2 для того, чтобы оттенок цветов изображения I2 наилучшим образом совпадал с оттенком цветов изображения I HDR.
В соответствии с вариантом осуществления этапа 160, показатель r(L) задается посредством:
Figure 00000027
Данный последний вариант осуществления является преимущественным, так как он удерживает показатель от перехода в ноль для очень темных пикселей, т.е. обеспечивает обратимость отношения независимо от значения пикселя.
На этапе 170, две составляющие цветности C1, C2 получаются из, по меньшей мере, одних промежуточных составляющих цвета E'c.
В особом варианте осуществления, промежуточные составляющие получаются из E'c следующим образом
Figure 00000028
Две составляющие цветности C1 и C2 затем получаются посредством линейного сложения трех промежуточных составляющих Dc, c∈{1,2,3}:
Figure 00000029
где A2 и A3 являются второй и третьей строками 3×3 матрицы A, которая определяет преобразования цветового пространства из цветового пространства (E1, E2, E3) в цветовое пространство (Y, C1, C2).
На этапе 12, модуль GM преобразовывает составляющие светимости L и цветности C1, C2 в итоговой составляющей светимости Lʺ и двух итоговых составляющих цветности Cʺ1, Cʺ2 так, что палитра G2 у цветов, полученных из итоговых составляющих светимости (Lʺ) и цветности (Cʺ1, Cʺ2), преобразуется в палитру G1 цветов изображения I HDR, которая должна быть закодирована. Этап 12 подробно описывается на Фигуре 11. Две итоговые составляющие цветности Cʺ1, Cʺ2 получаются посредством масштабирования (этап 121) каждой из двух составляющих цветности C1, C2 на показатель
Figure 00000003
, который зависит от значения каждого пикселя i составляющей светимости L, и модуль LCC (этап 122) получает итоговую составляющую светимости Lʺ посредством линейного сложения составляющей светимости L и двух итоговых составляющих цветности Cʺ1, Cʺ2:
Figure 00000030
где m и n являются коэффициентами (действительные значения), которые не допускают насыщения цвета посредством коррекции наивысших пиков яркости.
В соответствии с вариантом, показатель
Figure 00000003
дополнительно зависит от значения модуляции Ba.
В соответствии с вариантом осуществления, коэффициенты m и n сохраняются в либо локальной, либо удаленной памяти и/или добавляются в поток BF, как иллюстрируется на фигуре 11.
В соответствии с вариантом модуля LCC (уравнение A), значения итоговой составляющей светимости Lʺ всегда ниже значения составляющей светимости L:
Figure 00000031
Это гарантирует то, что значения итоговой составляющей светимости Lʺ не превышают значений составляющей светимости L и, следовательно, гарантирует то, что не возникает насыщения цвета.
В соответствии с вариантом осуществления, показатель
Figure 00000003
получается из Поисковой Таблицы (LUT) для особого значения светимости L(i), и опционально дополнительно для особого значения модуляции Ba и. Таким образом, применительно к нескольким значениям пика светимости (например, максимальной светимости дисплея мастеринга), таких как, например, 1000, 1500 и 4000 нитов, особый показатель
Figure 00000003
сохраняется в LUT для каждого особого значения модуляции Ba.
В соответствии с вариантом, показатель
Figure 00000003
получается для значения пикселя составляющей светимости L посредством интерполяции пиков светимости между несколькими пиками светимости для которых сохранены LUT.
В соответствии с вариантом, показатель
Figure 00000003
для особого значения модуляции Ba получается для значения пикселя составляющей светимости L посредством интерполяции пиков светимости между несколькими пиками светимости, для которой сохранены LUT.
В соответствии с вариантом осуществления, показатель
Figure 00000003
и коэффициенты m и n в уравнении (A) получаются следующим образом.
Преобразование палитры G2 цветов, полученных и итоговых составляющих светимости (Lʺ) и цветности (Сʺ1, Сʺ2), в палитру G1 цветов изображения I HDR (полученной из составляющих L, C1 и C2) задается посредством:
Figure 00000032
где ΦBa(Y) является функцией преобразования в зависимости от линейной светимости Y изображения I HDR. Как правило, линейная светимость Y получается как линейное сложение составляющих Ec изображения I HDR. Составляющая светимости L является однозначно связанной с линейной светимостью Y и значением подсветки Ba так, что можно записать
Figure 00000033
и функция преобразования рассматривается как функция составляющей светимости L.
Теперь, зафиксируем значение модуляции Ba и особый уровень линейной светимости Y0. Предположим, что составляющие цвета Ec выражаются в линейном цветовом пространстве RGB. Связанные три основных цвета
Figure 00000034
палитры G2 задаются посредством
Figure 00000035
где A1 является однострочной матрицей, которая определяет линейную светимость Y из линейного RGB, т.е.
Figure 00000036
Обозначим S 3×3 матрицу, составленную из изображений μ(.), соответствующих приложению модуля C (этап 11), этих трех основных цветов:
Figure 00000037
Назначением функции преобразования ΦBa(L) является преобразовать обратно
Figure 00000038
в три основных цвета палитры G2. Другими словами, матрица
Figure 00000038
должна быть по форме:
Figure 00000039
где r, g, b являются неизвестными параметрами, а A является 3×3 матрицей, которая преобразует нелинейное цветовое пространство R'G'B' в цветовое пространство LC1C2. Объединяя все вместе, получаем:
Figure 00000040
Также сохранение точки белого, координатами которой являются [1 0 0] в цветовом пространстве LC1C2, приводит к другому условию:
Figure 00000041
где η является другим неизвестным параметром. Как следствие, матрица D уникально определяется посредством:
Figure 00000042
где деление понимается как деление коэффициентов первого столбца A-1 на первый столбец
Figure 00000043
. Как следствие, матрица преобразования определяется вплоть до показателя масштабирования η.
Инверсией функции преобразования ΦBa(L), которая требуется на стороне декодирования, не является легко получаемой, так как она требует решения неявной нелинейной задачи в L, так как можно легко получить обратную матрицу ΦBa -1(L) как функцию составляющей светимости L, но не ее аналога ΦBa -1(Lʺ) как функции итоговой составляющей светимости Lʺ.
Покажем, что формулировка ΦBa(L) может быть дополнительно упрощена для того, чтобы получить простую инверсию ΦBa -1(Lʺ).
Фактически, функция преобразования может быть выражена посредством:
Figure 00000044
где m и n являются коэффициентами (действительными значениями) которые зависят от уровня светимости Y0. Инверсия
Figure 00000045
функции преобразования ΦBa(L) задается посредством:
Figure 00000046
при этом ее первый столбец задается посредством
Figure 00000047
После некоторых алгебраических манипуляций, показывают, что уравнение (F) становится
Figure 00000048
приводя к функции преобразования
Figure 00000049
где m и n являются действительными значениями (коэффициентами), которые не зависят от значения модуляции Ba и составляющей светимости L, β=β(Ba,L(i)) и имеет определенную фиксированную матрицу
Figure 00000050
Уравнения (B) и (G) показывают, что функция преобразования имеет два результата: во-первых, динамика составляющей светимости L масштабируется на показатель масштабирования η и, во-вторых, составляющие цветности C1 и C2 также масштабируются на показатель масштабирования ηβ-1.
Для того, чтобы сохранить глобальное преобразование светимости между L и Lʺ, параметр η устанавливается в 1. Уравнение (G) становится:
Figure 00000051
где β не зависит от значения модуляции Ba и составляющей светимости. Данная формула инвертируется, чтобы получить обратную функцию преобразования
Figure 00000052
Здесь, составляющая светимости L получается обратно из Lʺ, Cʺ1, Cʺ2 посредством применения матрицы
Figure 00000053
и затем, поскольку L известно, находят показатель β(Ba, L(i)), чтобы применять итоговые составляющие цветности Cʺ1, Cʺ2, чтобы получать обратно составляющие цветности C1, C2.
Функция преобразования ΦBa(L) затем предоставляется посредством уравнения (H), где постоянная матрица Φ0 используется для уровня светимости вплоть до пика светимости P цветного изображения I, и β определяется в полном диапазоне светимости вплоть для пика светимости P.
Включение уравнения (H) в уравнение (B) приводит к уравнению (A).
В соответствии с другим вариантом осуществления, показатель β-1(Ba,L(i),m,n) рассматривается как зависящий также от коэффициентов m и n, которые задаются, как объяснено в предыдущем варианте осуществления.
Показатель β-1 таким образом является единственным неизвестным значением на этапе 12.
Показатель β-1 получается так, что минимизируется искажение палитры, вычисленное между палитрами G1 и G2. Другими словами, показатель β-1 является оптимальным показателем при условии сохранения палитры.
Говоря математическим языком, показатель β-1 получается посредством:
Figure 00000054
где Y0 является заданным значением светимости, из которого выводится значение светимости L0, Ba0 является заданным значением модуляции заданным и искажение палитры GD(βtest -1) задается посредством:
Figure 00000055
в которой искажение палитры задается посредством суммы квадратичной ошибки между элементом (xj,yj) палитры G1 и связанного элемента (x'j,y'j) палитры G2.
Зафиксируем значение светимости Y0. Получаем соответствующие значения XYZ каждого элемента набора посредством
Xj=Y0xj/yj, Yj=Y0 и Zj=Y0(1 - xj - yj)/yj.
и тогда соответствующие значения цвета Ec (c=1,2, или 3). Зафиксируем и назначим значение модуляции Ba0 и тестовый показатель βtest -1, используемый для β-1(Ba0,L0,m,n) на этапе 121.
Получаем итоговые значения Lʺj, Cʺ1j и Cʺ2j посредством применения цепочки кодирования, состоящей из этапов 11 и 12 к составляющим цвета. Из этих итоговых значений, выводим связанный набор палитры связанного элементе (x'j,y'j) в схеме CEI 1931.
На этапе 13, кодер ENC кодирует итоговую составляющую светимости Lʺ и две итоговые составляющие цветности Cʺ1, Cʺ2 в поток F, например, поток совместимый с HEVC.
В соответствии с вариантом осуществления, закодированная составляющая Lʺ и составляющие цветности Cʺ1, Cʺ2 сохраняются в локальной или удаленной памяти и/или добавляются в поток F.
Фигура 12 представляет собой блок-схему способа кодирования изображения HDR в поток в соответствии с другим особым и неограничивающим вариантом осуществления. Данный способ кодирования зависит от набора функций от двух переменных βʺ(Ba,L) и g(Ba,L) и двух постоянных параметров a и b, которые используются для преобразования из SDR в HDR светимости и цветности так, что цвета, как прочем и текстура, сохраняются в изображении/видео SDR в сравнении с исходным изображением/видео HDR. В то время как g(Ba,L) является предпочтительно функцией Slog в переменной L, тройка (a, b, βʺ) оптимизируется, чтобы привести к наилучшему возможному совпадению цвета SDR/HDR (оттенок и воспринимаемая чистота тона) в зависимости от пиковой светимости, входных/выходных палитр, и значения подсветки Ba.
Кодирование включает функцию βʺ(Ba,L), а декодирование включает функцию β'(Ba,L). Функция βʺ обычно оптимизируется на стороне кодера. На стороне декодера функции β' обычно хранятся в Поисковых Таблицах, проиндексированных посредством пиковой светимости, входных/выходных палитр, и возможно значения подсветки Ba.
Способ кодирования содержит этап 1110 сокращения динамики светимости. Этап 1110 содержит подэтап 1111 получения исходной светимости Y из, по меньшей мере, одной из составляющих цвета Ec (c=1,2,3) изображения HDR и подэтап 1112 анализа гистограммы для того, чтобы определить значение модуляции (также именуемое значением подсветки) Ba для изображения, которое должно быть закодировано. Разные способы могут быть использованы, чтобы вычислять значение модуляции, например, но не ограничиваясь, использование среднего, медианного, минимального или максимального значения светимости HDR. Эти операции могут быть выполнены в линейной области светимости HDR YHDR,lin или в нелинейной области подобной ln(YHDR,lin ) или YHDR,lin y c y<1.
Цветное изображение рассматривается как с тремя составляющими цвета, в которых представляются значения пикселя цветного изображения. Настоящее раскрытие несмотря на то, что, по меньшей мере, частично объясняется посредством конкретного примера, не ограничивается каким-либо цветовым пространством, в котором присутствуют три составляющие, а расширяется на любое цветовое пространство, такое как RGB, CIELUV, XYZ, CIELab, и т.д. В качестве примера Ec относится к RGBHDR на Фигурах. На подэтапе 1113, динамика исходной светимости Y сокращается, чтобы получить составляющую светимости L из исходной светимости Y и значения модуляции Ba посредством применения нелинейной функции, которая зависит от исходной светимости Y и значения модуляции Ba. Составляющая светимости L является составляющей светимости изображения SDR, вследствие чего она также может именоваться составляющей Y, более точно составляющей YSDR у стандартного цветового пространства YUV BT709 или YUV BT2020.
На этапе 1120, две составляющие цветности C1 и C2 определяются из составляющих цвета RGBHDR цветного изображения. На подэтапе 1121, промежуточные составляющие R#G#B# получаются взяв квадратный корень компонентов цвета RGBHDR. На следующем подэтапе 1122, сокращенные составляющие
Figure 00000056
получаются посредством умножения промежуточных составляющих R#G#B# на общий умножающий показатель βʺ. Показатель βʺ(Ba,L) зависит от составляющей светимости L и значения модуляции Ba. На следующем подэтапе 1123, составляющие цветности U' и V' получаются посредством умножения трех сокращенных составляющих Fc на матрицу, т.е.
Figure 00000057
где M является 2×3 матрицей, которая зависит от палитры цветного изображения.
На этапе 1130, коррекция составляющей светимости L и составляющих цветности C1, C2 выполняется, чтобы получить скорректированную составляющую светимости L' и скорректированные составляющие цветности U' и V'. Данная коррекция, полученная посредством преобразования палитры так, что воспринимаемые цвета палитры g1 у скорректированных составляющих L', U', V' соответствуют воспринимаемому цвету палитры G2 составляющих изображения HDR.
Более точно, в колориметрии и теории цвета, ощущение цветности, насыщенность цвета и чистота тона относятся к воспринимаемой интенсивности конкретного цвета. Ощущение цветности является степенью отличия между цветом и серым. Насыщенность цвета является ощущением цветности по отношению к светлоте другого цвета, который кажется белым при сходных условиях просмотра. Чистота тона является ощущением цветности у цвета по отношению к его собственной светлоте.
Раздражитель с очень высоким ощущением цветности является ярким и интенсивным, тогда как раздражитель с более низким ощущением цветности кажется более приглушенным, ближе к серому. При полном отсутствии ощущения цветности, цвет является «нейтральным» серым (изображение с отсутствующим ощущением цветности в любом из ее цветов именуется в оттенках серого). Любой цвет может быть описан из его ощущения цветности (или насыщенности цвета или чистоты тона), степени интенсивности (или светлоты), и оттенка.
Определение оттенка и чистоты тона цвета зависит от цветового пространства, используемого для представления цвета.
Например, когда используется цветовое пространство CIELUV, чистота тона
Figure 00000020
определяется как отношение между насыщенностью цвета
Figure 00000058
по светимости
Figure 00000059
.
Figure 00000060
Тогда оттенок задается посредством
Figure 00000061
В соответствии с другим примером, когда используется цветовое пространство CIELAB, чистота тона определяется как отношение насыщенности цвета по светимости:
Figure 00000062
Тогда оттенок задается посредством
Figure 00000063
Эти уравнения являются разумным предсказателем чистоты тона и оттенка, которые согласуются с человеческим восприятием чистоты тона, и демонстрируют, что регулировка светлоты в цветовом пространстве CIELAB (или CIELUV) при удержании фиксированным угла a*/b* (или u*/v*) не оказывает влияния на оттенок и, следовательно, восприятие того же самого цвета.
Теперь рассмотрим то, что цветное изображение HDR представляется в цветовом пространстве CIELUV и изображение I2, которое формируется посредством сложения составляющей светимости L, чей динамический диапазон сокращен в сравнении с динамическим диапазоном светимости изображения I HDR, и двух составляющих цветности U (=C1) и V (=С2) цветового пространства CIELUV. Цвета изображения I2, следовательно по-другому воспринимаются человеком, так как чистота тона и оттенок цветов меняются. Способ (этап 1130) определяет составляющие цветности C'1 и C'2 у скорректированного изображения I3 для того, чтобы оттенок цветов скорректированного изображения I3 наилучшим образом совпадал с оттенком цветов у цветного изображения HDR.
На подэтапе 1131, 1132, определяется общий умножающий показатель βʺ, используемый во втором этапе 1120. На следующем подэтапе 1133, L' генерируется из L.
Скорректированные составляющие L', C'1, C'2 получаются из составляющей светимости L и составляющих цветности C1, C2 посредством следующих уравнений
- C'1=C1,
- C'2=C2,
- L'=L - mC'1 - nC'2
где m и n являются двумя действительными коэффициентами и относятся к a и b на Фигуре. Действительные коэффициенты зависят от палитры HDR Rec BT.709 и Bt.2020). Типичными значениями m и n являются m≈n в интервале [0.1,0.5].
В соответствии с вариантом коррекции, значения скорректированной составляющей светимости L' всегда ниже значений составляющей светимости L:
Figure 00000064
Это гарантирует то, что значения скорректированной составляющей светимости L' не превышают значений составляющей светимости L и, следовательно, гарантирует то, что не возникает насыщения цвета. Значение модуляции Ba кодируется в битовом потоке F как впрочем изображение SDR L'C'1C'2, т.е., L'U'V' на фигуре 1.
Реализации, описанные в данном документе, могут быть реализованы в, например, способе или процессе, устройстве, программе программного обеспечения, потоке данных, или сигнале. Даже если обсуждается только в контексте единственной формы реализации (например, обсуждается только как способ или устройство), реализация обсуждаемых признаков также может быть реализована в других формах (например, программе). Устройство может быть реализовано в, например, соответствующем аппаратном обеспечении, программном обеспечении, и встроенном программном обеспечении. Способы могут быть реализованы в, например, устройстве, таком как, например, процессор, который относится к устройствам обработки в целом, включая, например, компьютер, микропроцессор, интегральную микросхему, или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, компьютеры, сотовые телефоны, портативные/персональные цифровые помощники («PDA»), и другие устройства, которые способствуют осуществлению связи для передачи информации между конечными пользователями.
Реализации разнообразных процессов и признаков, описанных в данном документе, могут быть воплощены в многообразии разного оборудования или приложений, в частности, например, оборудовании или приложениях. Примеры такого оборудования включают в себя кодер, декодер, пост-процессор, обрабатывающий выход из декодера, кодек видео, web-сервер, телевизионную абонентскую приставку, лэптоп, персональный компьютер, сотовый телефон, PDA, и другие устройства связи. Как должно быть очевидно, оборудование может быть мобильным или даже инсталлированным на мобильном транспортном средстве.
Дополнительно, способы могут быть реализованы посредством инструкций, выполняемых процессором, и такие инструкции (и/или значения данных, созданные посредством реализации) могут быть сохранены на читаемом процессором носителе информации, таком как, например, интегральная микросхема, носитель программного обеспечения или другое запоминающее устройство, такое как, например, жесткий диск, компакт-дискета («CD»), оптический диск (такой как, например, DVD, часто именуемый цифровым универсальным диском или цифровым видео диском), память с произвольным доступом («RAM») или постоянная память («ROM»). Инструкции могут формировать прикладную программу, вещественным образом воплощенную на читаемом процессором носителе информации. Инструкции могут быть, например, в аппаратном обеспечении, встроенном программном обеспечении, программном обеспечении, или сочетании. Инструкции могут быть найдены в, например, операционной системе, отдельном приложении, или сочетании двух видов. Процессор может быть охарактеризован, вследствие этого, как, например, как устройство, выполненное с возможностью выполнения процесса, так и устройства, которое включает в себя читаемый процессором носитель информации (такой как запоминающее устройство) с инструкциями, для выполнения процесса. Кроме того, читаемый процессором носитель информации может хранить, в дополнение к или вместо инструкций, значения данных, созданные посредством реализации.
Как будет очевидно специалисту в соответствующей области техники, реализации могут создавать разнообразные сигналы, отформатированные чтобы переносить информацию, которая может быть, например, сохранена или передана. Информация может включать в себя, например, инструкции для выполнения способа, или данные, созданные посредством одной из описанных реализаций. Например, сигнал может быть отформатирован, чтобы нести в качестве данных правила для написания и чтения синтаксиса описанного варианта осуществления, или нести в качестве данных фактические значения синтаксиса, написанные посредством описанного варианта осуществления. Такой сигнал может быть отформатирован, например, в качестве электромагнитной волны (например, используя радиочастотный участок спектра) или в качестве сигнала основной полосы частот. Форматирование может включать в себя, например, кодирование потока данных и модуляцию несущей с помощью закодированного потока данных. Информация, которую несет сигнал, может быть, например, аналоговой или цифровой информацией. Сигнал может быть передан через многообразие разных проводных или беспроводных линий связи, как известно. Сигнал может быть сохранен на читаемом процессором носителе информации.
Было описано некоторое число реализаций. Тем не менее, следует понимать, что разнообразные модификации могут быть выполнены. Например, элементы разных реализаций могут быть объединены, дополнены, модифицированы, или удалены, чтобы создавать другие реализации. Дополнительно, специалисту в соответствующей области техники будет понятно, что другие структуры и процессы могут быть замещены применительно к тем, что раскрываются, и результирующие реализации будут выполнять, по меньшей мере, по сути, ту же самую функцию(и), по меньше мере, по сути, точно таким же образом(ами), чтобы достигать, по меньшей мере, по сути, точно такого же результата(ов) как раскрытые реализации. Соответственно, эти и прочие реализации предполагаются данной заявкой.

Claims (30)

1. Способ декодирования потока, в котором закодировано изображение стандартного динамического диапазона, содержащий этапы, на которых:
декодируют упомянутый поток, чтобы получить декодированное изображение стандартного динамического диапазона и метаданные цвета, связанные в данном потоке с кодированным изображением стандартного динамического диапазона, при этом метаданные цвета содержат, по меньшей мере, максимальную светимость дисплея для дисплея мастеринга, использованного при мастеринге изображения высокого динамического диапазона, из которого было получено упомянутое изображение стандартного динамического диапазона, закодированное в упомянутом потоке;
воссоздают упомянутое изображение высокого динамического диапазона из декодированного изображения стандартного динамического диапазона и из метаданных цвета посредством обратного преобразования сигнала яркости декодированного изображения стандартного динамического диапазона в ответ на упомянутую максимальную светимость дисплея упомянутого дисплея мастеринга для того, чтобы получить сигнал светимости высокого динамического диапазона.
2. Способ по п.1, в котором метаданные цвета дополнительно содержат основные цвета и точку белого у дисплея мастеринга.
3. Способ по п.1 или 2, в котором этап, на котором воссоздают изображение высокого динамического диапазона, дополнительно содержит этап, на котором осуществляют обратное преобразование цвета в отношении декодированного изображения стандартного динамического диапазона в ответ на по меньшей мере одно из максимальной светимости дисплея у дисплея мастеринга и основных цветов и точки белого у дисплея мастеринга.
4. Способ по любому из пп.1-3, в котором метаданные цвета инкапсулируются в сообщение SEI Объема Цвета Дисплея Мастеринга, связанное с изображением стандартного динамического диапазона.
5. Способ по п.4, в котором сообщение SEI Объема Цвета Дисплея Мастеринга идентифицирует объем цвета дисплея мастеринга.
6. Способ кодирования для кодирования изображения высокого динамического диапазона, содержащий этапы, на которых:
получают метаданные цвета, содержащие, по меньшей мере, максимальную светимость дисплея для дисплея мастеринга, использованного при мастеринге изображения высокого динамического диапазона;
определяют изображение стандартного динамического диапазона из изображения высокого динамического диапазона посредством преобразования сигнала светимости изображения высокого динамического диапазона в сигнал яркости изображения стандартного динамического диапазона в ответ на упомянутую максимальную светимость дисплея;
кодируют в потоке изображение стандартного динамического диапазона и метаданные цвета.
7. Способ по п.6, в котором метаданные цвета дополнительно содержат основные цвета и точку белого у дисплея мастеринга.
8. Способ по п.6 или 7, в котором этап, на котором определяют изображение стандартного динамического диапазона из изображения высокого динамического диапазона, дополнительно содержит этап, на котором осуществляют преобразование цвета в отношении сигнала цвета изображения высокого динамического диапазона в сигнал насыщенности цвета изображения стандартного динамического диапазона в ответ на по меньшей мере одно из максимальной светимости дисплея у дисплея мастеринга и основные цвета и точку белого у дисплея мастеринга.
9. Способ по любому из пп.6-8, в котором метаданные цвета инкапсулируются в сообщение SEI Объема Цвета Дисплея Мастеринга, связанное с изображением стандартного динамического диапазона.
10. Способ по п.9, в котором сообщение SEI Объема Цвета Дисплея Мастеринга идентифицирует объем цвета дисплея мастеринга.
11. Устройство декодирования для декодирования потока, в котором закодировано изображение стандартного динамического диапазона, при этом упомянутое устройство содержит:
средство для декодирования упомянутого потока, чтобы получить декодированное изображение стандартного динамического диапазона и метаданные цвета, связанные в данном потоке с кодированным изображением стандартного динамического диапазона, при этом метаданные цвета содержат, по меньшей мере, максимальную светимость дисплея для дисплея мастеринга, использованного при мастеринге изображения высокого динамического диапазона, из которого получено упомянутое изображение стандартного динамического диапазона, закодированное в упомянутом потоке;
средство для воссоздания упомянутого изображения высокого динамического диапазона из декодированного изображения стандартного динамического диапазона и из метаданных цвета посредством обратного преобразования сигнала яркости декодированного изображения стандартного динамического диапазона в ответ на упомянутую максимальную светимость дисплея упомянутого дисплея мастеринга для того, чтобы получать сигнал светимости высокого динамического диапазона.
12. Устройство декодирования по п.11, при этом метаданные цвета дополнительно содержат основные цвета и точку белого у дисплея мастеринга.
13. Устройство декодирования по п.11 или 12, в котором воссоздание упомянутого изображения высокого динамического диапазона дополнительно содержит обратное преобразование цвета в отношении декодированного изображения стандартного динамического диапазона в ответ на по меньшей мере одно из максимальной светимости дисплея у дисплея мастеринга и основные цвета и точку белого у дисплея мастеринга.
14. Устройство декодирования по любому из пп.11-13, при этом метаданные цвета инкапсулируются в сообщение SEI Объема Цвета Дисплея Мастеринга, связанное с изображением стандартного динамического диапазона.
15. Устройство декодирования по п.14, при этом сообщение SEI Объема Цвета Дисплея Мастеринга идентифицирует объем цвета дисплея мастеринга.
16. Устройство кодирования для кодирования изображения высокого динамического диапазона, содержащее:
средство для получения метаданных цвета, содержащих, по меньшей мере, максимальную светимость дисплея для дисплея мастеринга, использованного при мастеринге изображения высокого динамического диапазона;
средство для определения изображения стандартного динамического диапазона из изображения высокого динамического диапазона посредством преобразования сигнала светимости изображения высокого динамического диапазона в сигнал яркости изображения стандартного динамического диапазона в ответ на упомянутую максимальную светимость дисплея;
средство для кодирования в потоке изображения стандартного динамического диапазона и метаданных цвета.
17. Устройство кодирования по п.16, при этом метаданные цвета дополнительно содержат основные цвета и точку белого у дисплея мастеринга.
18. Устройство кодирования по п.16 или 17, в котором определение изображения стандартного динамического диапазона из изображения высокого динамического диапазона дополнительно содержит преобразование цвета в отношении сигнала цвета изображения высокого динамического диапазона в сигнал насыщенности цвета изображения стандартного динамического диапазона в ответ на по меньшей мере одно из максимальной светимости дисплея у дисплея мастеринга и основные цвета и точку белого у дисплея мастеринга.
19. Устройство кодирования по любому из пп.16-18, при этом метаданные цвета инкапсулируются в сообщение SEI Объема Цвета Дисплея Мастеринга, связанное с изображением стандартного динамического диапазона.
20. Устройство кодирования по п.19, при этом сообщение SEI Объема Цвета Дисплея Мастеринга идентифицирует объем цвета дисплея мастеринга.
RU2018136432A 2016-03-18 2017-03-13 Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования RU2737507C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16305303.6A EP3220645A1 (en) 2016-03-18 2016-03-18 A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device
EP16305303.6 2016-03-18
PCT/EP2017/055829 WO2017157845A1 (en) 2016-03-18 2017-03-13 A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device

Publications (3)

Publication Number Publication Date
RU2018136432A RU2018136432A (ru) 2020-04-20
RU2018136432A3 RU2018136432A3 (ru) 2020-05-25
RU2737507C2 true RU2737507C2 (ru) 2020-12-01

Family

ID=55589786

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018136432A RU2737507C2 (ru) 2016-03-18 2017-03-13 Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования

Country Status (10)

Country Link
US (1) US11032579B2 (ru)
EP (2) EP3220645A1 (ru)
JP (1) JP6946325B2 (ru)
KR (1) KR102358368B1 (ru)
CN (1) CN109076231B (ru)
BR (1) BR112018068873A2 (ru)
CA (1) CA3017994A1 (ru)
MX (1) MX2018011255A (ru)
RU (1) RU2737507C2 (ru)
WO (1) WO2017157845A1 (ru)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
US10554901B2 (en) 2016-08-09 2020-02-04 Contrast Inc. Real-time HDR video for vehicle control
EP3367658A1 (en) * 2017-02-24 2018-08-29 Thomson Licensing Method and device for reconstructing an hdr image
WO2019014057A1 (en) 2017-07-10 2019-01-17 Contrast, Inc. STEREOSCOPIC CAMERA
JP7074461B2 (ja) * 2017-11-22 2022-05-24 インターデジタル ヴイシー ホールディングス, インコーポレイテッド ディスプレイ適合hdr画像を再構成する方法およびデバイス
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
EP3824633A1 (en) * 2018-07-20 2021-05-26 InterDigital VC Holdings, Inc. Method and apparatus for processing a medium dynamic range video signal in sl-hdr2 format
KR20200095651A (ko) * 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
US11330196B2 (en) * 2020-10-12 2022-05-10 Microsoft Technology Licensing, Llc Estimating illumination in an environment based on an image of a reference object
CN115797152A (zh) * 2021-09-10 2023-03-14 北京字跳网络技术有限公司 一种颜色映射色卡生成方法及装置
WO2024023008A1 (en) * 2022-07-27 2024-02-01 Interdigital Ce Patent Holdings, Sas Method for preventing clipping in sl-hdrx systems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
WO2015189350A1 (en) * 2014-06-12 2015-12-17 Thomson Licensing Method of mapping source colors of a source content
RU2571612C2 (ru) * 2010-01-19 2015-12-20 Фраунхоффер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Кодер изображения и декодер изображения

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
TWI559779B (zh) * 2010-08-25 2016-11-21 杜比實驗室特許公司 擴展影像動態範圍
CN103535038B (zh) * 2011-05-16 2017-10-13 杜比实验室特许公司 用于分层vdr编码的有效架构
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
US9338389B2 (en) * 2011-10-20 2016-05-10 Dolby Laboratories Licensing Corporation Method and system for video equalization
EP3926963A3 (en) * 2013-04-30 2022-01-26 Saturn Licensing LLC Transmitting device, transmitting method, receiving device, and receiving method
JP6202330B2 (ja) * 2013-10-15 2017-09-27 ソニー株式会社 復号装置および復号方法、並びに符号化装置および符号化方法
JP2016541140A (ja) * 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Hdr放送サービスの提供のための放送信号送受信方法及び装置
EP2958328A1 (en) 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
US9652870B2 (en) * 2015-01-09 2017-05-16 Vixs Systems, Inc. Tone mapper with filtering for dynamic range conversion and methods for use therewith
US20170347113A1 (en) * 2015-01-29 2017-11-30 Koninklijke Philips N.V. Local dynamic range adjustment color processing
WO2016129891A1 (ko) * 2015-02-11 2016-08-18 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
WO2016171508A1 (ko) * 2015-04-23 2016-10-27 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
KR102531489B1 (ko) * 2015-08-28 2023-05-11 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
US10043251B2 (en) * 2015-10-09 2018-08-07 Stmicroelectronics Asia Pacific Pte Ltd Enhanced tone mapper for high dynamic range images and video
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
AU2017235369B2 (en) * 2016-03-18 2022-02-03 Koninklijke Philips N.V. Encoding and decoding HDR videos
BR112018068603A2 (pt) 2016-03-18 2019-02-05 Koninklijke Philips Nv decodificador e codificador de vídeo e método de decodificação e de codificação vídeo

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2571612C2 (ru) * 2010-01-19 2015-12-20 Фраунхоффер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Кодер изображения и декодер изображения
WO2013046095A1 (en) * 2011-09-27 2013-04-04 Koninklijke Philips Electronics N.V. Apparatus and method for dynamic range transforming of images
WO2015189350A1 (en) * 2014-06-12 2015-12-17 Thomson Licensing Method of mapping source colors of a source content

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOSHI R et al., "HEVC Screen Content Coding Draft Text 4", JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16, 05.09.2015, с. 341-342 и 360-361. *

Also Published As

Publication number Publication date
BR112018068873A2 (pt) 2019-01-22
JP6946325B2 (ja) 2021-10-06
KR20180123046A (ko) 2018-11-14
KR102358368B1 (ko) 2022-02-03
CN109076231A (zh) 2018-12-21
EP3220645A1 (en) 2017-09-20
CA3017994A1 (en) 2017-09-21
US20200296428A1 (en) 2020-09-17
CN109076231B (zh) 2021-06-08
MX2018011255A (es) 2019-08-16
EP3430807B1 (en) 2021-09-29
RU2018136432A3 (ru) 2020-05-25
US11032579B2 (en) 2021-06-08
JP2019513323A (ja) 2019-05-23
RU2018136432A (ru) 2020-04-20
WO2017157845A1 (en) 2017-09-21
EP3430807A1 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
RU2737507C2 (ru) Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования
US11178412B2 (en) Method and apparatus of encoding and decoding a color picture
RU2710291C2 (ru) Способы и устройства для кодирования и декодирования цветного изображения hdr
US11006151B2 (en) Method and device for encoding both a HDR picture and a SDR picture obtained from said HDR picture using color mapping functions
EP3453175B1 (en) Method and apparatus for encoding/decoding a high dynamic range picture into a coded bistream
EP3051489A1 (en) A method and apparatus of encoding and decoding a color picture