RU2670782C9

RU2670782C9 - Способы и устройства для создания функций отображения кода для кодирования изображения hdr и способы и устройства для использования таких кодированных изображений

Info

Publication number: RU2670782C9
Application number: RU2016105156A
Authority: RU
Inventors: ДЕР ВЛЕТЕН Ренатус Йозефус ВАН; Ерун Хуберт Христоффел Якобус СТЕССЕН; МОРИК Йоханнес Герардус Рийк ВАН
Original assignee: Конинклейке Филипс Н.В.
Priority date: 2013-07-18
Filing date: 2014-06-30
Publication date: 2018-11-23
Also published as: US10194162B2; WO2015007505A1; RU2016105156A3; JP2016533071A; JP6596125B2; JP6368365B2; US20160165256A1; PL3022895T3; CN105393525A; RU2670782C2; JP2018186545A; CN105393525B; RU2016105156A; EP3022895B1; EP3022895A1

Abstract

Изобретение относится к области кодирования изображений. Технический результат заключается в усовершенствовании кодирования изображений HDR за счет выбора подходящих функций на оси яркости. Для обеспечения лучшего кодирования изображений с высоким динамическим диапазоном с целью использования в технических системах с высоким динамическим диапазоном, предложен способ кодирования изображения с высоким динамическим диапазоном, содержащий этапы, на которых: вводят цвета пикселей входного изображения с высоким динамическим диапазоном, причем цвета пикселей имеют информацию светимости и хроматичности; применяют функцию, обратную функции отображения, для выведения кода (v) яркости светимости цвета пикселя, причем функция отображения заранее определена как содержащая первую частичную функцию, которая задается как, где ρ - настроечная постоянная, и v - код яркости, соответствующие светимости, подлежащей кодированию, и второе частичное отображение, заданное как, где L- пиковая светимость заранее заданного эталонного дисплея, и гамма - постоянная, которая, предпочтительно, равна 2,4, выводят матрицу пикселей, имеющую кодирование цветов, содержащее коды яркости. 5 н. и 13 з.п. ф-лы, 11 ил., 1 табл.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к кодированию одного (т.е. неподвижного), но, предпочтительно, более (т.е. видео) изображения(й) высокого динамического диапазона (HDR), либо натурально, в том смысле, что нужно кодировать только изображение визуального представления яркости HDR (обычно изображение, оптимальное для отображения на дисплеях с высокой пиковой яркостью, например 5000 нит, и со значимыми объектами по многим яркостям, т.е. до глубокого черного), либо в двойном кодировании: в котором помимо визуального представления HDR изображения кодируется соответствующее визуальное представление LDR изображения. Кроме того, предпочтительно, чтобы кодирование встраивалось в современные системы кодирования изображения или видео существующей технологии, например хранении на диске Blu-ray, или соединения по кабелю HDMI, или другими системами передачи или хранения изображения. Кодирование видео (или даже неподвижного изображения) с HDR до сих пор было сложной задачей, и обычно предполагается, что для этого требуется либо значительно увеличить количество битов, для кодирования яркостей выше диапазона LDR объектов сцены (например, операций кодирования, которые кодируют непосредственно светимости сцены), либо применять некоторый двухслойный подход, в котором, например, помимо изображения отражательной способности объекта существует изображение усиления освещения или аналогичные стратегии разложения. Philips недавно предложил значительно упрощенный подход с одним изображением, что является совершенно новым направлением, и не только априори таким, которое трудно представить, но также при реализации приводящим к множеству технических вопросов, требующих разрешения, однако, которое на практике работает, и в специфической структуре которого текст настоящей патентной заявки предлагает некоторые части построения такой технологии кодирования и структуры в целом вокруг нее, например, художественного ранжирования (разделения на уровни) для разных сценариев воспроизведения (по меньшей мере, реалистически/оптимально выглядящего изображения для дисплея HDR и дисплея LDR).

Под “высоким динамическим диапазоном” (HDR) подразумевается, что либо изображение(я), захваченное(ые) со стороны захвата имеют высокое отношение светимости к контрастности по сравнению с традиционным кодированием LDR (т.е. коэффициенты контрастности 10,000:1 или более могут быть достижимы посредством кодирования и все компоненты цепочки манипулирования изображением до визуализации; либо светимостей захваченного объекта могут быть выше 1000 нит, или, в более частном случае, обычно могут воспроизводиться выше 1000 нит, чтобы данное окружение воспроизведения генерировало некоторый желаемый внешний вид, например, лампы освещения или освещенной солнцем внешней среды), и/или визуализация такого(их) изображения(ий) в HDR (т.е. изображения должны быть пригодны в том смысле, что они содержат информацию, достаточную для высококачественной визуализации HDR, и предпочтительно технически просты в использовании), в том смысле, что изображения визуализируются или предназначены для визуализации на дисплеях с пиковой яркостью, по меньшей мере, 2000 нит (что не означает, что их нельзя визуализировать на дисплеях LDR, например, с пиковой яркостью 100 нит, обычно после подходящего отображения цветов).

УРОВЕНЬ ТЕХНИКИ

Недавно было предложено несколько технологий кодирования HDR, например двухслойный способ, предложенный Dolby (WO2005/1040035). Однако промышленность в настоящее время все еще ищет прагматичную технологию кодирования видео (/изображения) HDR, которая отвечает всем требованиям (в балансе), например, таким очень важным факторам, как объем данных и вычислительная сложность (цена ИС), простота внедрения, универсальность, позволяющая художникам создавать то, что они хотят, и т.д. В особенности, двухслойный подход выглядит сложным. В идеале, желательно иметь возможность разрабатывать кодирование, которое отвечает традиционному кодированию, такому как, например, кодирование HEVC MPEG на основе DCT. Проблема состоит в его некоторой контр-интуитивности (как иначе можно кодировать изображение HDR, которое, по определению, должно несколько отличаться от изображения LDR, обычно имеющего большее количество интересующих диапазонов яркости/светимости, по технологии, оптимизированной для содержания конкретных изображений LDR, т.е. просматриваемых на дисплеях с пиковой яркостью около 100 нит и тусклым окружением). Эти традиционные системы обработки/кодирования изображений LDR сконструированы и оптимизированы для работы с типичными сценариями формирования изображения LDR, которые обычно хорошо освещены, например, с отношением 4:1 освещения в студии (или, например 10:1), давая для большинства объектов (отражательная способность которых может изменяться, например, от 85% для белого и 5% для черного) в виде полного коэффициента контрастности около 68:1 (вместо 170:1). Если рассматривать относительную визуализацию светимостей, начиная с пика белого, типичный ранний LCD монитор без локального гашения будет иметь около 100 нит белого и 1 нит черного, которые будут согласовываться с коэффициентом контрастности изображения, и обычно считается, что, в среднем, системы ЭЛТ, которые можно смотреть также в течение дня, будут иметь способность около 40:1. Наличие стандартной функции гамма распределения кода светимости 2,2 в этих системах кажется удовлетворительной для большинства сценариев еще более высокой контрастности сцены. Хотя иногда возникают так называемые допустимые ошибки, такие ошибки визуализации плохо кодированных областей сцены высокой светимости (например, жесткая отсечка) также были допустимы, поскольку дисплеи LDR не могут визуализировать их сколько-нибудь физически точно.

Однако существуют сценарии, для которых желательно улучшить визуализацию, например сцена в помещении, в которой можно одновременно видеть освещенное солнцем внешнее пространство, и в этом случае может существовать отношение освещенности 100:1 или даже больше. В LDR эти области будут выглядеть как (мягко) отсеченные (обычно уже в кодированном изображении трудно различать коды вокруг максимума 255 для этих пикселей), тогда как на дисплее HDR хотелось было показывать их и яркими и красочными. Это обеспечит гораздо более натуралистическую и зрелищную визуализацию таких сцен (как будто вы действительно находитесь на отдыхе в Италии), но даже сцены, где контент более высокой яркости состоит только из некоторых зеркальных отражений, уже демонстрируют основное улучшение визуального качества. Если нет, уже такие артефакты, как ошибки отсечки или квантования визуального представления, вызывают раздражение, например, на дисплее 5000 или 10000 нит, по меньшей мере, желательно иметь возможность возбуждать такие дисплеи с изображениями нужного рода, чтобы визуализация была настолько красивой, насколько позволяет дисплей.

Однако классический подход состоит в том, что для кодирования дополнительных диапазонов избыточной яркости, необходимо иметь (гораздо) больше битов. Этого можно добиться либо путем натурального кодирования в единичных более крупных кодовых словах (например, OpenEXR с 16 битами, из которых 1 бит задает знак, 5 битов - на показатель, и 10 битов - мантиссу, или кодирования LogLuv Варда, которое математически строго пытается захватить весь мир возможных светимостей объектов с высокой точностью), или путем использования первого слоя со стандартными кодами диапазона LDR (например классического приближения JPEG изображения HDR), и второго слоя для повышения таких светимостей пикселей до более высокой яркости (например, усиливающего изображения для усиления каждого пикселя, при необходимости, до более высокой светимости, т.е. умножения двух таких 8-битовых изображений, эквивалентных единичному линейному 16-битовому коду).

Основная практическая проблема, подлежащая решению при разработке практической технологии кодирования HDR, помимо того, что, конечно, она должна быть способна работать с разнообразными изображениями HDR, состоит в том, что, однако, производители оборудования желают сократить количество битов на кодовое слово (канал), и хотя наша предложенная ниже технология также может работать с более крупными битовыми словами, мы пришли к решению, которое хорошо работает при ограничении 10 битов для, по меньшей мере, канала светимости (или, точнее, яркости). Кроме того, мы разработали подход, который предусматривает как кодирование цветных пикселей, так и преобразование внешнего вида цвета для нескольких сценариев визуализации функциональным образом, в том смысле, что совместно кодировать необходимо только функции, а не по меньшей мере второе изображение для каждого изображения. Благодаря исследованию и развитию этого пути, авторы обнаружили то, что на первый взгляд не является тривиальным и раскрыто в этой патентной заявке, благодаря чему, система действительно может работать с хорошим качеством путем выбора подходящей(их) функции(ий) на оси яркости, и даже кодирования двух других компонентов в независимой от светимости плоскости хроматичности, которые после развития обеспечивает дополнительные преимущества этого кодирования, например, свободный выбор цветовой плоскости (например, для широкой гаммы), простота вычислений внутри самого пространства кодека и т.д.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Требуется усовершенствованное кодирование изображений HDR и, в частности, исходя из того, что, в особенности, в настоящее время, когда все еще эксплуатируется много традиционных систем LDR, требуются некоторые уровни совместимости. Это означает, с одной стороны, что желательно продолжать использовать существующие ИС (де)кодера, которые реализуют функциональные возможности типа (I)DCT [совместимость первого уровня], а также требуется совместимость второго уровня с дисплеями, которым нужны изображения LDR, поскольку они могут визуализировать только LDR (т.е. корректное визуальное представление LDR при такой характеристики динамического диапазона дисплея, например когда темные области все еще достаточно видимы), поскольку помимо используемых в настоящее время традиционных телевизоров в будущем появятся разнообразные дисплеи, начиная с малых портативных дисплеев низкой яркостной характеристики, например, портативных или планшетных компьютеров или даже мобильных телефонов, на которых потребитель также желает видеть некоторую визуализацию фильма HDR, и до наиболее передовых дисплеев HDR, которые в будущем могут иметь пиковую яркость, например 10000 нит, и все дисплеи промежуточного или аналогичного качества. Затем, хотя дисплей по-прежнему может быть традиционным и простым, он может обслуживаться новой ИС декодирования и отображения цветов высокой сложности, например, в телевизионной приставке или компьютере, подающем контент HDR, например через HDMI или другое соединение, при этом телевизионная приставка обеспечивает любую комбинацию изобретенных и описанных нами возможностей. Мы преобразовали это в подход, в котором в идеальном сценарии потребуется (по меньшей мере) два ранжирования для одного и того же фильма или изображений от поставщика контента, который просто вызовет изображение LDR (подлежащее использованию для сценариев дисплея LDR, например, для дисплеев с пиковой яркостью около 100 нит) и изображение HDR (для более ярких дисплеев), но нижеприведенные варианты осуществления также полезны, даже в случае кодирования только одного изображения HDR (например, на диске Blu-ray, и затем либо обслуживает только конкретный предусмотренный диапазон дисплеев HDR, либо извлекает отображение для дисплеев вне диапазона независимым образом), и мы представляем принципы, согласующиеся с любой предусмотренной стратегией.

Таким образом, для нескольких практических иллюстративных сценариев начальной точкой для нового кодирования HDR является ввод первичного ранжированного изображения HDR (например, ранжированного на усмотрение создателя с помощью какого-либо программного обеспечения цветовой обработки и, например кодированного в начальном кодировании цветов наподобие OpenEXR), и затем его необходимое кодирование способом, практически пригодным для современных технологий обработки видео или изображений (т.е. только немного модифицированным по сравнению с обычным способом для использования таких технологий кодирования, но не предусматривающим, например, что все шины необходимо изменять до 12 битов, т.е предложенные способы должны работать с 12-битовым оборудованием, но также, если доступно только 10 битов для каждой компоненты, или если приемлемо несколько более низкое качество даже на 8-битовых системах), например, для нового проигрывателя BD-дисков, или телевизионной ИС, принимающей передаваемое в потоке интернет-видео, или любого приемника, подключенного к какому-либо источнику изображения, по большей части, согласующемуся с вариантом современных технологий кодирования изображений/видео.

Мы пришли к пониманию того, что изображение HDR и некоторое изображение “LDR” (подлежит ли ранжирование использованию непосредственно для визуализации LDR, или только некоторое “псевдоизображение”, предназначенное не для просмотра, но только для кодирования изображения, которое будет визуализироваться только в режиме HDR согласно технологии HDR после дополнительной цветовой обработки) могут быть связаны с изображением HDR посредством функционального преобразования на цветовой компоненте, которая кодирует светимости цветов пикселей (единичная функция, или одна из обычно ограниченного набора полезных и заранее согласованных функций, при этом предварительное соглашение должно происходить не позднее, чем когда сторона создания контента функционально связана со стороной приема контента, например, в начале фильма и возможно, пару раз в течение времени воспроизведения, например, для телевизора, принимающего фильм: т.е. когда они не фиксированы и согласованы для кодирования многих полнометражных фильмов, если переменные, эти функции могут передаваться по сетевому каналу связи, хранящемуся на подключенном запоминающем устройстве и т.д.).

Данное изобретение можно реализовать, например, по меньшей мере, следующим образом:

Способ кодирования изображения с высоким динамическим диапазоном, содержащий этапы, на которых:

- вводят цвета пикселей входного изображения с высоким динамическим диапазоном, причем цвета пикселей имеют информацию светимости и хроматичности;

- применяют функцию, обратную функции отображения для извлечения кода (v) яркости светимости цвета пикселя, причем функция отображения заранее определена как содержащая первую частичную функцию, которая задается как

, где ро (ρ)- настроечная постоянная (константа) формы, и v - код яркости, соответствующий светимости (L), подлежащей кодированию, и вторую частичную функцию, заданную как

, которая является гамма-преобразованием, где Lm - пиковая светимость заранее заданного эталонного дисплея, и гамма (γ)- постоянная, которая, предпочтительно, равна 2,4,

- выводят матрицу пикселей, имеющую кодирование цветов, содержащее коды (v) яркости.

Затем эту функцию можно использовать для кодирования, по меньшей мере, первичного изображения HDR, c цветами которые имеют нормализованные версии N-битовой яркости Y’, например коды [0-1023], в интервале [0,1] с учетом символа v, и это позволяет гарантировать, что все интересующие диапазоны светимости различных объектов в изображении(ях) (которых может быть много, например восточный базар, где один человек находится в тени, а второй освещен сильным солнечным светом, проходящим через дыры в крыше, но видео также может содержать графику, например карту погоды, или лазеры в отчетности внутри диско, или искусственно имитированные лазеры и т.д.) кодируются с достаточной точностью. Таким образом, эта функция может быть умело заранее определена или определяться оперативно, что позволяет ей перераспределять светимости яркостям до однородного квантования. При построении этой функции отображения светимости (или, точнее, в качестве начальной точки соответствующей электрооптической передаточной функции EOTF, которая отображает коды яркости в [0,1] в визуализируемые светимости на эталонном дисплее) нужно учитывать несколько критериев технического поведения. Во-первых, хотя (частичное) логарифмическое поведение является выгодной особенностью, позволяющей кодировать многие декады светимости, оно определенно не является только логарифмическим представлением некоторого линейного диапазона светимостей (определенно, не просто для получения только желаемого изображения, обработанного визуального представления, принимая во внимание только соображения обработки изображений, и также не просто обрезанную адаптивную логарифмическую функцию для оптимального кодирования). Напротив, эта функция построена, исходя из ряда соображений, обусловленных длительным экспериментированием, и с учетом этих соображений, была определена как оптимальная функция поведения для всех критериев (по меньшей мере, хорошей точности квантования HDR) после появления возможности задания универсального линейного эталонного диапазона светимости, заданного (например, 0,0001-5000 нит) для достаточно реалистического представления необходимых внешних видов всех возникающих на практике сцен HDR. Заметим, что формально предложенная(ые) эталонная(ые) EOTF имеет(ют) экспоненциальные части, но их поведение также можно рассматривать и описывать как “логарифмическое”. Теперь, на основании этого эталонного диапазона наиболее полезно иметь некоторое “логарифмическое” поведение для ярких светимостей (или яркостей) и некоторое поведение гамма для более темных. Действительно, математически аппроксимируя exp(x) как 1+x, можно утверждать, что в темных участках, в основном, имеет место поведение гамма, в смысле наличия легко управляемой функции, поскольку можно настраивать необходимую точность в темных участках с параметром ро (причем гамма дополнительно является регулятором формы с учетом взаимно-однозначного отображения на максимуме, поскольку максимальный код, управляющий дисплеем, соответствует максимальной отображаемой светимости). Полезно не только иметь единичную первичную EOTF только для кодирования изображения HDR, но гамма также очень полезна при наличии разных классов изображений HDR. Фактически, если не принимается решение применять единственную оптимальную функцию, приемлемую для всех сценариев, можно настраивать EOTF (и соответствующую функцию, обратную OETF). Например, квалифицированный читатель может представить, что изображение темного подвала, с одной стороны, будет адаптировать глаза зрителя, чтобы видеть значения более темного серого, в частности, в темном окружении, и с другой стороны, вероятно, иметь более подходящие значения темно-серого (поскольку все объекты с различными отражательными способностями, будучи плохо освещены, тонут в темноте), и яркие участки, особенно, если они являются просто лампами, могут не требовать абсолютной точности. Напротив, если смотреть на освещенную солнцем сцену с, по большей части, очень высокими светимостями (например, от 1000 до 3000 нит), абсолютная точность может не требоваться для темных участков, которые зрительная система обычно, по большей части, будет игнорировать. Все это легко настроить с помощью предложенных параметров формы гамма и ро, которые управляют поведением формы в темных участках относительно ярких участков, и также величиной дифференциального порога, который соответствует каждому шагу яркости в конкретной подобласти диапазона кодов яркости (также именуемого разрешением или точностью кодирования). Параметры фиксированной заранее согласованной параметрической функции не обязательно передавать принимающей стороне, поскольку она будет использовать заранее согласованную функцию для декодирования, которую фактически означают коды, отвечающие изобретению, но в более общем случае адаптивности, необходимые параметры (по меньшей мере, один из пиковой яркости Lm, ро и гамма), выбранные на стороне приемника - например специалистом по ранжированию или программой автоматического анализа изображения - будут передаваться стороне приемника любым из нескольких возможных механизмов, например, посредством совместного кодирования в память, например, диском BD, совместной передачи в качестве метаданных в сигнале изображения, извлечения во время воспроизведения через другой канал передачи сигнала и т.д.

Однако эта технология имеет еще одну интересную особенность: эта функция при создании кодирования входного сигнала HDR также создает изображение более низкого динамического диапазона (которое, можно сказать, лучше кодируется меньшим количеством битов, но, если точнее выражаться с технической точки зрения, по меньшей мере, некоторая более важная подчасть сцены, или поддиапазон гистограммы изображения, кодируются со светимостями ближе к среднему серому по сравнению с первоначально вводимым первичным изображением HDR), хотя, с другой стороны, предпочтительно, по меньшей мере, с высокой степенью приближения, что кодированное изображение LDR также по-прежнему имеет всю информацию для восстановления этого первоначального первичного визуального представления HDR, поэтому оно содержит все значимые данные изображения HDR. Таким образом, при правильном выборе параметров EOTF полученное кодированное изображение можно использовать даже напрямую, без дополнительной оптимизации цветовой обработки для визуализации на дисплее LDR, вырабатывая визуальное представление LDR довольно хорошего качества, или, по меньшей мере, после некоторых дополнительных преобразований оптимизации второго порядка (например, отображения в другой набор основных цветов дисплея LDR и т.д.).

При кодировании единичной первичной функцией EOTF (если используется единственная, а не выбранная из нескольких доступных), можно задать эту функцию, в целом, без учета особенностей стороны визуализации, т.е. несмотря на задание посредством эталонного дисплея, все же, по большей части, только на основании сцены имея в виду достаточное кодирование текстур изображения, по меньшей мере, визуального представления HDR. Однако предпочтительно также кодировать еще и визуальное представление LDR, предпочтительно, заранее размещая различные захваченные объекты сцены вдоль оси яркости в надлежащих поддиапазонах яркости, чтобы визуальное представление LDR, при непосредственном отображении выглядело, как предпочитает создатель контента. Однако также можно заранее кодировать для конкретного приложения просмотра, вырабатывая с помощью дополнительно оптимизированной функции распределения яркости как первичной функции, коды яркости, дающие наилучшее качество для просмотра, например, в темном или тусклом окружении, характеризуемом эталонной освещенностью, например 15 люкс, или эталонной светимостью окружающей среды, например, среднего серого окружения (с коэффициентом отражения 18%), например 10 нит. Это можно сделать путем включения дополнительной функции гамма, например 1,25 в некоторых вариантах осуществления. В конце концов, это соответствует, при моделировании всех желаемых частичных гамма как оптимальной окончательной гамма для изменения гамма в наших основных вариантах осуществления EOTF. Все варианты реализуют наилучшее качество текстуры объекта изображения для конкретного количества доступных битов, или иным образом гарантируют возможность получения хорошего качества для относительно небольшого количества битов, например, только 12 битов, одновременно предлагая возможности широкой цветовой гаммы в случае использования большой цветовой плоскости в хроматическом направлении, как, например UCS 1976 CIE (u, v), выпущенной в качестве нашего предпочтительного выбора.

Изобретение также предусматривает, как обратная EOTF отображает светимости в коды яркости (также именуемую оптоэлектронной передаточной функцией OETF, отображающей оптические измерения светимостей, например от камеры или программного обеспечения цветовой обработки в результирующие электрические коды, обычно цифровые, которые можно рассматривать как единичный интервал [0,1], умноженный на 2^N, где N- количество битов), и соответствующая ей EOTF может наилучшим образом работать с соответствующим оптимизированным (теоретическим) эталонным дисплеем HDR (где фактический дисплей имеет такие же характеристики, как теоретический, будучи способным непосредственно визуализировать теоретические коды). Независимо от окончательного дисплея, на котором требуется визуализировать видео, видео с его кодами яркости нужно задавать в однозначной не ведущей к путанице манере (в принципе, сторона создания кода затем может использовать любой принцип для распределения кодов, но в дополнительном объяснении для простоты предполагается, что она просто кодирует линейный захваченный диапазон светимостей прямо из камеры с помощью функции, обратной EOTF). В принципе, можно использовать предложенную функцию логарифма гамма с любой желаемой пиковой яркостью Lm или так называемым пиком белого или, точнее, пиковой светимостью эталонного дисплея (для полноты, то, что специалист в данной области техники называет пиковой яркостью дисплея, является наиболее ярким цветом, который может создавать дисплей, который является белым, который возникает при возбуждении трех каналов R,G,B до их максимума, например 1023, и он также формирует начальный полюс для задания цветовой гаммы дисплея вокруг него), но после многих анализов было обнаружено, что 5000 нит является очень хорошим практическим значением, если следует использовать только одно значение (то не требуется передавать с видеоизображениями (кодирование цветов пикселей) на любой приемник конкретное эталонное значение пика белого, используемое для кодирования, и, например не может возникнуть никакой путаницы). В таком сценарии можно выполнять ранжирование необработанных входных светимостей свыше 5000 нит, чтобы верно визуализировать эквивалентные светимости внешнего вида для окончательного отображения, например, в эталонном диапазоне светимости 0,0001-5000 нит, и желательно, если такие данные подлежат отображению, например, на фактическом дисплее 20000 нит, функции повышающего ранжирования можно добавлять как метаданные для оптимизации этого визуального представления, с учетом всей этой информации даже на более ярких фактических дисплеях, чем эталонный дисплей. Не следует путать эту первую стратегию для художественного переопределения цветов сцены, например 25000 нит, которые находятся вне нашего первичного цветового пространства на основе эталонной светимости в цвет в первичном пространстве, с настоящими принципами переопределения цветов, которые уже находятся в конкретном пространстве RGB (т.е. два цветовые гаммы с одними и теми же основными цветами, но разными пиками белого все же можно совместить после повторной нормализации к [0,1], и одна из них обычно будет нашим первичным пространством RGB, заданным нашей первичной осью светимости, и другая - любым пространством R’G’B’, кодированным любой из настоящих функций логарифм гамма). Также изображения, ранжированные для дисплеев более низкого динамического диапазона (например 1200 или 100 нит) или темных туманных сцен, достигающих только 50 нит, можно кодировать в этом первичном диапазоне светимости [0-5000], и затем, что не следует путать, преобразовывать в предложенное универсальное кодирование яркости (т.е. распределение кодов яркости все еще должно происходить либо с фиксированным, либо переменным распределением кода EOTF). Предполагается, что пространство хроматичности luma-(u,v) отделяет аспекты динамического диапазона от хроматических аспектов и допускает высокую универсальность в обоих направлениях и, в частности, вдоль оси яркости, например, в отношении того, какая функция распределения яркости подлежит использованию, а также функции повторного распределения, например при отображении для дисплеев другой пиковой яркости в этом цветовом пространстве кодирования.

На основании нескольких соображений и экспериментов были установлены оптимальные значения гамма 2,4 и ро 25 в случае, когда желательно использовать одну-единственную функцию распределения яркости для всех сценариев (например, изображения с одновременно некоторыми яркими областями, областями средней яркости и темными областями), в частности, если желательно только кодирование HDR (т.е. хотя можно совместно кодировать как метаданные, дополнительно отображающие функции для извлечения желаемого визуального представления LDR из кодирования пиксельного изображения HDR, не обязательно во всех вариантах осуществления получать хорошее визуальное представление LDR посредством отображения непосредственно изображения, полученного в результате применения этой оптимальной единственной функции логарифма гамма).

Несколько представлений хроматичности можно использовать согласно предложенным подходам определения яркости, но обнаружено, что особенно хорошо работает пространство (u,v). Также можно задать (u’,v’), которые являются заданными ссылками на выбранный белый, например как: (u’,v’)=(u,v)-(u_D65,v_D65), и т.д.

Когда утверждается, что входной цвет содержит информацию светимости и хроматичности, не подразумевается, что такой цвет сам по себе представлен в таком представлении цветов, но что эту информацию можно математически вывести, что справедливо, например, если входное изображение представлено в XYZ или некотором однозначно заданном RGB и т.д. Хотя предложен принципиально новый способ задания яркости, полезный для перспективной технологии кодирования HDR, квалифицированный читатель, на основании предложенных принципов, понимает, как задавать светимости, например, из координат RGB, сначала взвешивая координаты RGB данной желаемой балансировки точки белого, заданной как Y=a1*R+a2*G+a3*B, постоянными a1, a2, a3, которые все же можно выбирать на основании конкретных основных цветов R,G,B и выбора точки белого. Затем эти светимости Y обрабатываются с помощью предложенной EOTF.

Квалифицированному читателю также понятно, как можно вывести информацию изображения для окончательного вывода, которую можно называть Rec_HDR (близкую реконструкцию желаемого первичного входного сигнала HDR), и это преимущественно осуществлять, например, как XYZ_output (обратите внимание, используется символ Y или также L для светимости и Y’ для яркости или также v, если яркость нормализована [0,0,1,0]). Но также можно преобразовывать Rec_HDR в другое представление цветов, например конкретное R’G’B’ или другое зависящее от устройства кодирование для возбуждения конкретного дисплея. Кроме того, Rec_HDR также может быть дополнительным изображением HDR, например можно либо непосредственно отображать в необходимое возбуждающее изображение RGB для визуализации желаемого визуального представления на дисплее 1200 нит, либо альтернативно отображать первый Rec_HDR1 (например, для предложенного эталонного дисплея 5000 нит) в Rec_HDR2 через промежуточный этап, для возбуждения, например, фактического дисплея 1200 нит.

Эти метаданные (ро, гамма и, при желании, Lm), будучи новыми, означают, что можно, конечно, также задать новый, не относящийся ни к какой предыдущей технологии, сигнал изображения, содержащий эти метаданные (хотя допускают использование с какой-либо традиционной стратегией, используемой для кодирования цветовых компонентов пиксельной матрицы, благодаря чему, координаты Yuv приходится использовать, например, в структуре MPEG-HEVC, которая ожидает YCrCb, но остаток (де)кодера, осуществляющий, например DCT или кодирование длины серий и т.д. не важен, при условии наличия части ИС или программного обеспечения, которая осуществляет преобразования согласно вариантам осуществления настоящего изобретения). Поэтому, хотя эта “форматирующая” часть действительно может быть любой традиционной технологией формирования изображения, аналогичной MPEG или JPEG или другого кодирования изображения или видео, фактические текстуры изображения при наполнении пиксельных кодов согласно предложенной новой стратегии уже будут (изменчиво) принципиально другими (без правильного понимания случившегося, это изображение выглядит технически настолько иначе, что традиционное кодирование будет визуализировать совершенно неправильное визуальное представление изображения, хотя технически она может выполнять все этапы декодирования). Фактически это понимание нескольких изобретателей Philips, работающих над этим проектом перспективного кодирования изображения, было тем, что необходимо для некоторой будущей системы, которая несколько аналогична модели связи OSI. С развитием технологии, во многих областях она становится настолько сложной, что ее приходится задавать более структурированным образом, но вопрос состоит в том, как это сделать. В технологии обработки изображения уже известны решения для помещения изображения во внешний контейнер (например описывая, какие содержатся аудио- и видео-компоненты, использующие какую стратегию кодирования, или разбивая их на фрагменты данных, например, для IP-передачи или карусельного широковещания), который является простым коррелятом классической OSI, но один слой все же был абсолютно жестким, используя это конкретное прямое кодирование, например Rec. 709 (полностью заданное для предусмотренной единой полностью заданной системы, конкретных основных цветов RGB, предусмотренного типичного окружения просмотра и т.д.). Под сигналом, “содержащим” метаданные параметров (или метаданные определения и/или функции цветового преобразования, связанные с цветным пиксельным изображением) подразумевается, что каким бы образом метаданные ни передавались принимающей стороне, например, одновременно ли в одном и том же сигнале, или имеют матрицу цветов пикселя, поступающую сначала по первому каналу связи, и метаданные позже по другому, окончательно на декодере все эти необходимые данные поступают совместно. Это позволяет помещать сигнал (цвета пикселей + метаданные функции) на один и тот же диск Blu-ray или передавать его по сети, например, широковещательной или интернету посредством некоторой существующей или перспективной технологии передачи изображения или видео, и т.д.

Оптимальную функцию можно определить для изображений HDR только в сигнале изображения (например, только визуальное представление HDR на диске, и без пиксельной матрицы LDR, только потенциально некоторые функции отображения цветов для извлечения изображения визуального представления LDR) с
Lm=5000, ро=25 и гамма=2,4. Вместо Lm=5000 способ также можно использовать, когда создателю контента нужно более высокое значение Lm (например, 10000 нит) или более низкое (например, 2000 или 1500).

Также можно предусмотреть дополнительные значения гамма, и, например можно определять гамма частично с учетом желаемой визуализации окружающей среды, например, задавая окончательное гамма, состоящее из гамма, эквивалентного гамма кодирования по Rec. 709 и гамма 2,4. Эквивалентное гамма позволяет специалисту в данной области техники понять, что это не значение гамма в формуле, которая также имеет линейную часть, но гамма, обеспечивающее наилучшее приближение OETF кодирования по Rec. 709, если она начинается в черных участках как гамма, а не линейная часть.

Способ кодирования изображения с высоким динамическим диапазоном, в котором параметры ро и гамма дополнительно оптимизируются для вырабатывания кодированного изображения, которое выглядит хорошо, по мнению специалиста по цветовому ранжированию, на дисплее 100 нит, на основании чего, специалист по ранжированию, предпочтительно, оптимизирует, по меньшей мере, один из параметров ро и гамма. Хотя будет существовать некоторая изменчивость, очевидно, существует диапазон параметров, который, в зависимости от сцены, будет обеспечивать надлежащим образом выглядящий LDR-эквивалент для изображения HDR, поэтому существует способ, который можно положительно задать и идентифицировать. Вследствие изменчивости и сложности изображений, обычно в процессе, специалист по цветовому ранжированию будет определять наилучшим образом выглядящее изображение LDR и, таким образом, соответствующие параметры ро и гамма. Однако алгоритмы, по меньшей мере, частично автоматического анализа изображения могут обеспечивать значения, которые выглядят хорошо, и затем, например обычно специалист по ранжированию должен только удостовериться в том, что создаваемое визуальное представление LDR действительно предназначено для его связывания, например только нажимая кнопку "принять" прежде, чем все данные (пиксели изображения + функциональные метаданные, описывающие одно или более преобразований цветов в одно или более визуальных представлений) будут записаны в кодирование сигнала изображения. Для кривых, которые больше способствуют темным изображениям/сценам, которые можно снимать (например, ночным сценам, без или, возможно, небольшим количеством малых источников света, например, луны на заднем плане), большая часть кодов обычно становятся доступными для более темных цветов в сцене, что может происходить при выборе, например большего значения гамма, например, около 2,55 (и для этого оптимальное ро можно выбирать). Для изображений, которые имеют пропорционально большее количество более ярких объектов (например, при наличии только пары меньших участков со светимостями значительно более темными, чем максимальная светимость объекта в изображении или Lm), можно использовать меньшие значения гамма, например 2-2,2 (хорошим примером является 2,15), или даже меньше 2 и больше 1, например 1,2.

Согласно способу, может существовать несколько вариантов устройства кодирования изображения для кодирования изображения с высоким динамическим диапазоном, содержащего:

вход для получения цвета пикселей входного изображения с высоким динамическим диапазоном, причем цвета пикселей имеют информацию светимости и хроматичности;

- блок (202) управления ранжированием, выполненный с возможностью применения функции, обратной функции отображения, для извлечения кода (v) яркости светимости цвета пикселя, причем функция отображения заранее определена как содержащая первую частичную функцию, которая задается как

, где ро - настроечная постоянная, и v - код яркости, соответствующие светимости, подлежащей кодированию, и второе частичное отображение, заданное как

, которая является гамма-преобразованием, где Lm - пиковая светимость заранее заданного эталонного дисплея, и гамма - постоянная, которая, предпочтительно, равна 2,4,

- кодер (210), подключенный к соединению (221) для передачи видео, способному подключаться к видеопамяти или сети, выполненный с возможностью кодирования и передачи сигнала S_im изображения, содержащего изображение пиксельной матрицы с цветами пикселей, кодированными одной цветовой компонентой, являющейся кодом яркости, и связанных с ним метаданных, содержащих, по меньшей мере, один из параметров ро и гамма. Одним типичным вариантом может быть комплект ранжирования (программное обеспечение, которое специалист по ранжированию применяет для определения, по меньшей мере, изображения HDR, но теперь на основании конкретных предложенных технологий, объединенных для извлечения кодирований и/или ранжированных визуальных представлений), но устройство также может находиться, например внутри камеры, и в этом случае, например ро и гамма могут изменяться либо совместно, либо одновременно с одним или двумя поворотными ручками. Специалисту в данной области техники понятно, как обычно можно реализовать соединение 211 для передачи видео, поскольку оно может представлять собой, например стандартизованный выход видеокабеля, протокол для инкапсуляции видео, например, в интернет-пакеты, протоколизированное оборудование для записи на диск Blu-ray, и т.д.

В соответствии с кодером могут существовать различные декодеры, которые действуют по большей части аналогично, т.е., хотя все же могут существовать некоторые дополнительные вариации, как на стороне кодера, так и на стороне декодера, описанное здесь ядро распределения кода должно однозначно пониматься любым приемником после кодирования.

Устройство (301) декодирования изображения для декодирования кодирования (S_im) изображений с высоким динамическим диапазоном, содержащее:

- блок (388) приема и форматирования, выполненный с возможностью приема кодирования (S_im) изображений с высоким динамическим диапазоном и извлечения из него кодирования (Im_1) изображения, содержащего коды яркости, полученные согласно способу кодирования по п. 1, для обработки;

- блок (305) отображения цветов, выполненный с возможностью применения стратегии отображения цветов для извлечения из кодирования Im_1 изображения для изображения (REC_HDR) с высоким динамическим диапазоном, причем блок отображения цветов выполнен с возможностью применения к яркостям v пикселей в кодировании (Im_1) изображения заранее определенной функции отображения, заданной как содержащую первую частичную функцию, которая равна

, где Lm - пиковая светимость заранее заданного эталонного дисплея, и гамма - постоянная, которая, предпочтительно, равна 2,4 для получения светимостей L пикселей изображения (REC_HDR) с высоким динамическим диапазоном.

Конечно, в качестве вариации, вместо или помимо декодирования в эталонный [0-5000] диапазон светимости и цветовое пространство, построенное из него (например XYZ), различные декодеры также можно декодировать в другое изображение в качестве выхода. Например, помимо выхода для вывода реконструкции Rec_HDR визуального представления HDR, устройство декодирования может иметь второй выход (или тот же выход в зависимости от того, что подключенная система, например дисплей, запрашивает в качестве выходного изображения) для изображения LDR.

Дополнительно предложены некоторые интересные варианты осуществления, например:

- определяют функцию отображения для извлечения изображения (LDR_CONT) более низкого динамического диапазона из входного изображения (HDR_ORIG) с высоким динамическим диапазоном, причем коррелят светимости (L) пикселя изображения (HDR_ORIG) с высоким динамическим диапазоном преобразуется в яркость (Y) пикселя изображения (LDR_CONT) более низкого динамического диапазона путем применения функции, определенной как

, где коэффициенты заданы таким образом, что функция нормализуется таким образом, что для значений L и Y в интервале [0,1] значение L=0 отображается в Y=0, и L=1 отображается в Y=1, и указано дополнительное ограничение, реализующее вблизи значения Y в середине диапазона Y некоторое поведение функции, таким образом, что форма функции регулируется единственным параметром a, и,

- передают соединению (221) для передачи видео, подключенный к видеопамяти или сети, одно из изображения (LDR_CONT) более низкого динамического диапазона и изображения (HDR_ORIG) с высоким динамическим диапазоном, и, по меньшей мере, параметр a.

Эта правильно выбранная логарифмическая функция позволяет генерировать оптимальное отображение, которое затем можно однородно квантовать с минимальной видимой ошибкой, в частности, при наличии только 10 битов для яркостной компоненты (и, например 8 битов для хроматичностей u и v).

Результирующее изображение LDR_CONT может именоваться изображением LDR, поскольку оно является разновидностью сглаженной по контрастности версией изображения HDR с яркостным эффектом в различных подобластях светимости. При выборе правильной функции распределения кода можно даже использовать это LDR_CONT для прямой визуализации программы на дисплее LDR, но это не требуется для всех вариантов осуществления данного изобретения, поскольку иногда можно использовать только LDR_CONT в качестве макетного посредника для кодирования только HDR.

Способ кодирования изображения с высоким динамическим диапазоном, в котором дополнительное ограничение задает для значения Y в середине диапазона Y или вблизи нее, функциональное соотношение между результирующим значением L, полученным путем применения степенной функции

, являющейся обратной функции по п. 1 и параметра a, например L^1/γ(Y=1/2)=K/a, где K- постоянная. Преимущественно задавать конкретную гладкость кривой в тех областях, где происходит наиболее интересное действие.

Способ кодирования изображения с высоким динамическим диапазоном, в котором параметр a имеет значение, принятое по умолчанию, причем это значение может зависеть от пиковой яркости типичного эталонного дисплея для дисплея, который будет использовать сигнал. Обычно специалист по ранжированию может рассматривать это ранжирование для 1 или, возможно, пары диапазонов дисплеев, например реконструированное изображение HDR является оптимальным (т.е. с наименьшими артефактами наподобие полосатости), например, для дисплеев пиковой яркости 5000 нит или близкой к этому. В некоторых вариантах осуществления функциональное отображение FH2L затем также интересно, поскольку изображение LDR_CONT обеспечивает пригодное изображение, например, для дисплеев около 200 нит, и даже может существовать дополнительная функция, например, для каждой сцены (или для всей программы), совместно кодированной для получения оптимального изображения для визуализации, например на дисплее 15000 нит или 50 нит.

Способ кодирования изображения с высоким динамическим диапазоном, в котором специалист по цветовому ранжированию определяет оптимальное значение, подлежащее передаче на соединение (221) для передачи видео.

Предпочтительно, предложенная технология на стороне создания позволяет выбирать оптимальные значения a, например, для наименьших артефактов в критических областях, или хорошее общее визуальное представление цвета и т.д. Принимающей стороне не обязательно знать конкретный алгоритм для связывания значения a с какой(ими)-либо физической(ими) характеристикой(ами) кодированного(ых) изображения(ий) и/или назначенного(ых) дисплея(ев), но только нужно знать, какую (обратную) функцию применять, т.е. какой функциональной форме соответствует значение a.

Способ кодирования изображения с высоким динамическим диапазоном, в котором блок (227) автоматического анализа изображения определяет значение, в зависимости от, по меньшей мере, одного суммарного значения, характеризующего светимости пикселей в изображении (HDR_ORIG) с высоким динамическим диапазоном, например, медиану этих светимостей, или разделительную светимость диапазона возникающих светимостей. Также специалист по ранжированию может указывать, где находятся интересные значения в изображении, например, он может делать надписи на изображении, затем блок 227 может установить, что они являются, по большей части, яркими цветами, например 95%, лежащими выше кода 0,7.

Может существовать несколько алгоритмов принятия решения заранее заданных в блоке кодирования.

Способ кодирования изображения с высоким динамическим диапазоном, в котором хроматические координаты (u,v) кодирования цветов извлекаются из CIE XYZ-координат цветов пикселей в изображении (HDR_ORIG) с высоким динамическим диапазоном согласно дробным уравнениям типа:

и

, где a…l - постоянные, и, предпочтительно, имеют значения: a=4, b=c=0, d=1, e=15, f=3, h=9, g=i=0, j=1, k=15, l=3.

Устройство кодирования изображения для кодирования изображения с высоким динамическим диапазоном, содержащее:

- блок (202) управления ранжированием, выполненный с возможностью определения функции отображения для извлечения изображения (LDR_CONT) более низкого динамического диапазона из входного изображения (HDR_ORIG) с высоким динамическим диапазоном, причем коррелят (L) светимости пикселя изображения (HDR_ORIG) с высоким динамическим диапазоном преобразуется в яркость (Y) пикселя изображения (LDR_CONT) более низкого динамического диапазона путем применения функции, определенной как

, где коэффициенты заданы таким образом, что функция нормализуется таким образом, что для значений L и Y в интервале [0,1] значение L=0 отображается в Y=1, и L=1 отображается в Y=1, и указано дополнительное ограничение, реализующее вблизи значения Y в середине диапазона Y некоторое поведение функции, таким образом, что форма функции регулируется единственным параметром a, и,

- кодер (210), подключенный к соединению (221) для передачи видео, способному подключаться к видеопамяти или сети, выполненный с возможностью кодирования и передачи сигнала S_im изображения, содержащего одно из изображения (LDR_CONT) более низкого динамического диапазона и изображения (HDR_ORIG) с высоким динамическим диапазоном, и, по меньшей мере, параметр a.

Устройство кодирования изображения, содержащее блок (203) пользовательского интерфейса, позволяющий специалисту по ранжированию выбирать конкретное значение a.

Устройство кодирования изображения, содержащее блок (227) автоматического анализа изображения выполненный с возможностью определения конкретного значения a, например, на основании таких параметров, как пиковая яркость дисплея, для которого осуществляется кодирование, и/или статистики светимости изображения (HDR_ORIG) с высоким динамическим диапазоном.

Устройство кодирования изображения, в котором блок (202) управления ранжированием выполнен с возможностью определения хроматических компонент пикселей изображения (HDR_ORIG) с высоким динамическим диапазоном, которые, вследствие независимости от яркости также будут хроматичностями кодирования (LDR_CONT) более низкого динамического диапазона первоначального входного сигнала HDR в виде:

и

Сигнал кодирования изображения HDR, содержащий кодирование изображения пиксельных значений и, по меньшей мере, значение параметра a функции по п. 1.

Хотя некоторые варианты осуществления могут передавать все определения функции (например, для приемника, которому может быть не известна заранее согласованная функция, или если стандартная одна-единственная кривая согласована, но сторона создания хочет использовать другую кривую, которую затем нужно сигнализировать любой принимающей стороне), если функции просты, как в некоторых из предложенных вариантов осуществления, передачи одного-единственного или нескольких коэффициентов может быть достаточно для воссоздания их функциональной формы.

Продукт с функциями памяти, например, диск Blu-ray или карта памяти и т.д., содержащий сигнал кодирования изображения HDR.

- блок (388) приема и форматирования, выполненный с возможностью приема кодирования (S_im) изображений с высоким динамическим диапазоном и выведения из него кодирования (Im_1) изображения для обработки;

- блок (305) отображения цветов, выполненный с возможностью применения стратегии отображения цветов для выведения из входного изображения Im_1 изображения (REC_HDR) с высоким динамическим диапазоном, причем блок отображения цветов выполнен с возможностью применения к яркостям пикселей Y в кодировании изображения (Im_1) обратной функции отображения

для получения светимостей L пикселей изображения (REC_HDR) с высоким динамическим диапазоном, и a, b, c, d и γ - постоянные, известные устройству декодирования изображения.

Как минимум, устройство декодирования (которое фактически может быть малой частью ИС, и может быть включено в любое более крупное бытовое или профессиональное устройство, например, телевизор, телефон, кинопроектор, систему загрузки просмотра в ходе создания программы и т.д.) может быть устроено так, что оно может следовать предложенному принципу кодирования, чтобы иметь изображение с высоким динамическим диапазоном с потенциально многими диапазонами светимости вплоть до очень высокой светимости, все из которых имеют свою информацию в изображении, аккуратно упакованном, как если бы оно было обычным изображением, т.е. оно должно быть способно применять обратную любой из предложенных стандартных функций распределения кода для ахроматической компоненты, т.е. светимости или яркости цветов объектов HDR как кодированных в том, что является сигналом изображения HDR, но выглядит как сигнал изображения LDR, и затем осуществлять некоторое цветовое преобразование, совместимое с этим определением яркости, для обеспечения помещения возможно высоких светимостей в стандартную гамму кодирования цветов. Поэтому может оказаться, что фактически ничего не нужно передавать, например, если некоторые системы, например будущего стандарта X типа MPEG, используют только 1 стандартную кривую распределения яркости, то любой приемник уже будет знать параметры, и сохранять их в памяти, например, в алгоритмах обработки, хранящихся в этой памяти, или, эквивалентно, в схеме ИС. Однако в вариантах осуществления, где некоторые из кривых могут изменяться (например, для темной сцены в фильме, использующей другую кривую, чем остальная часть фильма), может быть так, что сторона приема может, согласно некоторому алгоритму, однозначно определять, какая кривая распределения кода использовалась в ходе кодирования, но, предпочтительно, некоторая информация передается любым способом, благодаря чему, сторона приема также точно знает, какое определение кодов яркости Y использовалось в этом изображении Im_1. В дальнейшем минимальный основной блок или устройство декодирования просто

Устройство (301) декодирования изображения для декодирования кодирования (S_im) изображений с высоким динамическим диапазоном, по п. 13, в котором:

- блок (388) приема и форматирования выполнен с возможностью выведения из кодирования (S_im) изображений с высоким динамическим диапазоном, по меньшей мере, одного параметра, задающего форму функции отображения, например, значения параметра a, и, возможно, также значения γ гамма для выведения функции, обратной функции отображения.

Сторона создания может передавать параметры, и, поскольку некоторые из предложенных вариантов осуществления могут определять другие параметры, если передается только 1 параметр, очень полезно передавать 1 из семейства кривых, отличающихся поведением в отношении распределения некоторых подобластей диапазона светимости изображения HDR гамме кодового пространства. Например гамма может быть фиксированным и заранее согласованным, и передается только значение a, например где-либо в или совместно с данными изображения(й), или по отдельному каналу связи (например, телевизионная станция может указывать, что в дальнейшем она будет использовать некоторое значение a и регулярно передавать его), и т.д.

Устройство (301) декодирования изображения для декодирования кодирования (S_im) изображений с высоким динамическим диапазоном, по п. 13 или 14, в котором блок (305) отображения цветов выполнен с возможностью применения преобразования для отображения u и v компоненты цветов пикселей входного изображения Im_1 в универсальное представление цветов, например пространство XYZ CIE.

Как описано в тексте, предпочтительно применять распределение направления светимости с интеллектуальным распределением цветов в хроматическом направлении, чтобы полная погрешность (например, deltaE2000) квантованных цветов не была слишком большой для любого окончательного использования изображения, т.е., по меньшей мере, реконструированного REC_HDR, и, возможно, даже его дополнительно обработанной версии, которое, например, продвигается от эталонного уровня 5000 нит эталонного дисплея, для которого кодировался сигнал HDR, к фактическому дисплею 10000 нит. Затем декодер должен осуществлять обратное этому отображению цветового пространства, которое обычно реализуется путем отображения цветов Yuv в некоторое универсальное цветовое пространство, например, линейное XYZ.

Устройство (301) декодирования изображения для декодирования кодирования (S_im) изображений с высоким динамическим диапазоном, по любому из вышеупомянутых пунктов декодера, в котором блок (305) отображения цветов дополнительно выполнен с возможностью применения второй стратегии отображения цветов для выведения изображения (REC_HDR) с высоким динамическим диапазоном для изображения с более низким или более высоким динамическим диапазоном светимости, чем эталонный динамический диапазон. Декодирование кодированного изображения в эталонный [0-5000 нит] диапазон полезно, поскольку позволяет получить реальное физически реализуемое изображение. Конечно, обычно подключенный фактический дисплей может представлять собой, например дисплей 1200 нит. Поэтому, в идеале, вместо того, чтобы просто масштабировать дисплей [0-5000 нит] к пику белого 1200 нит путем непосредственного возбуждения дисплея, желательна некоторая дополнительная оптимизация визуального представления (это можно осуществлять как второй этап из эталонного изображения Rec_HDR, или уже сразу как одноэтапное алгоритмическое цветовое преобразование из кодирования цветов Yuv). Обычно извлекается, по меньшей мере, одно изображение, динамический диапазон которого в зависимости от того, какой типичный динамический диапазон наилучшим образом ассоциируется с конкретным визуальным представлением, кодированным в пикселированном изображении. Если, например LDR записан в сигнале S_im, обычно осуществляется некоторое повышающее ранжирование, для выведения из (типичного пика белого 100 нит) визуального представления LDR окончательного возбуждающего изображения HDR, например, для дисплея 1500 нит. Конечно, если визуальное представление было HDR, можно предусмотреть понижающее ранжирование для дисплеев LDR, и, в общем случае, можно предусмотреть несколько ранжирований. Для получения этих новых изображений, фактически все данные (функциональные постоянные для параметрических функций наподобие цветных преобразований, поисковые таблицы и т.д.) для этих различных функций отображения светимости/цветов (например, из HDR в LDR и в визуальном представлении среднего динамического диапазона MDR) могут фактически совместно кодироваться как различные наборы метаданных, но, конечно, приемник также может извлекать некоторые из самих отображений (например, если в отношении отображения из HDR в LDR осуществлялось совместное кодирование в качестве метаданных, приемник можем извлекать свою собственную оценку хорошего промежуточного отображения для выведения MDR).

В некоторых более простых системах нашу технологию можно использовать для одного вида “замкнутой” системы, и назначенный оптимальный (эталонный) дисплей HDR может иметь, например 5000 нит. Однако могут существовать дополнительные функциональные инструкции, как отображать в возбуждающее изображение, например, для дисплея 2000 нит, что обычно осуществляется, начиная с REC_HDR, но может осуществляться иначе, например, также с учетом значений в изображении LDR_CONT/Im_1.

Устройство (301) декодирования изображения для декодирования кодирования (S_im) изображений с высоким динамическим диапазоном, по любому из вышеупомянутых пунктов декодера, в котором блок (388) приема и форматирования выполнен с возможностью приема, по меньшей мере, пиковой яркости эталонного дисплея, для которого кодировалось входное изображение Im_1, и, возможно, также значения гамма, и выведения из него функции, обратной функции отображения.

Существуют косвенные способы однозначного задания функции распределения кода, например, можно заранее согласовать несколько функций, подлежащих использованию для диапазонов пиковой яркости назначенного (эталонного) дисплея. Затем фактический дисплей с другой пиковой яркостью может дополнительно отображать REC_HDR, чтобы оно выглядело оптимально для его характеристик, но, по меньшей мере, ему необходимо знать, какое определение кода использовалось.

Устройство (301) декодирования изображения для декодирования кодирования (S_im) изображений с высоким динамическим диапазоном, по любому из вышеупомянутых пунктов декодера с 13 по 16 включительно, в котором блок (388) приема и форматирования выполнен с возможностью приема кода, например, порядкового номера, указывающего, какую из нескольких заранее согласованных функций обратного отображения должен использовать блок (305) отображения цветов для выведения из входного изображения Im_1 изображения (REC_HDR) с высоким динамическим диапазоном.

Фактические кодирование и передачу можно осуществлять по-разному, например стандарт, который допускает только 3 разные кривые, может передавать, что для этой программы или части программы используется функция “2”.

Дисплей, содержащий устройство декодирования изображения по любому из вышеупомянутых пунктов декодера.

Способ декодирования изображения принятого изображения (LDR_CONT) более низкого динамического диапазона, содержащий этапы, на которых:

- принимают кодирование (S_im) изображений с высоким динамическим диапазоном и извлекают из них кодирование изображения (Im_1) для обработки, и

- отображают цвета путем применения стратегии отображения цветов для выведения из входного изображения Im_1 изображения (REC_HDR) с высоким динамическим диапазоном, причем блок отображения цветов выполнен с возможностью применения к яркостям Y пикселей в кодировании изображения (Im_1) функции, обратной функции отображения

для получения светимостей L пикселей изображения (REC_HDR) с высоким динамическим диапазоном, и a, b, c, d и γ - постоянные, известные способу декодирования изображений.

Способ декодирования изображения принятого изображения (LDR_CONT) более низкого динамического диапазона по п. 20, в котором прием содержит прием любой информации, однозначно задающей функцию, обратную функции отображения

.

Изобретение можно реализовать многими другими (частичными) способами, например, с помощью посредников, содержащих основные технические требования различных вариантов осуществления, например, задающих параметры, воплощенные в сигналах, и многие его применения позволяют различными способами передавать, использовать, обрабатывать цвета и т.д. различные возможные сигналы, и различными способами включать различные аппаратные компоненты или использовать различные способы, в бытовых или профессиональных системах.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Эти и другие аспекты способа и устройства согласно изобретению будут понятны из и пояснены со ссылкой на реализации и варианты осуществления, описанные ниже, и со ссылкой на прилагаемые чертежи, которые служат лишь неограничительными специфическими иллюстрациями, демонстрирующими более общий принцип.

Фиг. 1 схематически демонстрирует пример семейства таких пригодных кривых распределения кода яркости для связывания, так называемого, кода яркости со светимостью объекта, подлежащего представлению, который подлежит использованию держателем мандата создателя контента, для создания ранжирования LDR, соответствующего первичному ранжированию HDR (причем ранжирование HDR обычно означает тонкую настройку визуального восприятия цвета человеком после захвата камерой, либо пленочной кинокамерой, либо HDR или обычным образом улучшенной камерой LDR высокого качества, например, камерой RED, однако можно также генерировать псевдо-HDR повышенной светимости в ранжировании или обработку спецэффектов из захвата камерой LDR, где человек-колорист улучшает цвета, для устранения физических ограничений камеры, например сниженной насыщенности, а также для улучшения художественного визуального представления цветов для его связывания, например с надлежащим образом темными коридорами, и это первичное ранжирование может быть весьма сложным и требовать тщательности);

фиг. 2 схематически демонстрирует вариант осуществления возможных устройств для ранжирования и кодирования изображения(й) HDR согласно настоящему изобретению;

фиг. 3 схематически демонстрирует некоторые возможные устройства для использования изображения(й), кодированного(ых) согласно этому изобретению;

фиг. 4 схематически демонстрирует, как можно выбирать несколько (часто бывает достаточно 3) разных функций распределения кода из набора зависящих от светимости характеристик изображения;

фиг. 5 схематически демонстрирует, как можно задавать кодирование хроматических компонент, принадлежащее любому из возможных предложенных кодирований яркости;

фиг. 6 схематически демонстрирует некоторые дополнительные иллюстративные варианты осуществления, как предложенная функция может уже включать конкретные требования конкретных систем визуализации, например, типичную среднюю освещенность окружения комнаты;

фиг. 7 схематически демонстрирует некоторые иллюстративные математические определения для таких функций;

фиг. 8 схематически демонстрирует некоторые эквиваленты для выбранных кривых на фиг. 6 шаги DY/Y визуализируемых светимостей, которые происходят на протяжении диапазона кодов, когда совершается шаг кода, который относится к дифференциальному порогу (JND) ошибок квантования цвета, в этом примере, когда используется типичное значение 10 битов для кодов яркости;

фиг. 9 схематически демонстрирует возможную систему кодирования с кодером и декодером в случае, когда предложенные варианты осуществления используются таким образом, что пикселированное изображение в S_im является изображением HDR, или, точнее, когда непосредственно используемое имеет, по большей части, визуальное представление наподобие HDR;

фиг 10 схематически демонстрирует возможную систему кодирования в случае, когда предложенные варианты осуществления используются таким образом, что пикселированное изображение в S_im имеет визуальное представление, более похожее LDR, или, точнее, по большей части, визуальное представление наподобие LDR, пригодное для, по существу, прямой визуализации на дисплеях LDR пиковой яркости около 100 нит, например пиковой яркости 500 нит, и

фиг. 11 схематически демонстрирует только одно возможное кодирование в сигнале изображения для изображения HDR, и соответствующее изображение LDR, параметрически извлекаемое из изображения HDR.

ПОДРОБНОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Изображения/видео с высоким динамическим диапазоном (HDR) обычно имеют другое распределение светимости, чем используемые в настоящее время изображения/видео. В частности, отношение пиковой к средней светимости данных изображения с высоким динамическим диапазоном часто бывает значительно выше, например, ввиду наличия относительно более темных цветов отражающих объектов в комнате, и при этом имеется пара очень ярких объектов наподобие ламп или световых эффектов. В то время как изображения LDR обычно строятся с более или менее единым (по меньшей мере, в важных частях сцены) освещением, освещенность которого не очень сильно изменяется от объекта к объекту (например, 4:1), технология формирования изображения HDR имеет дело с реальным миром, в котором также присутствуют сцены с сильно изменяющимся освещением, в которых некоторые объекты освещены ярким направленным светом, а другие находятся в тенях темных коридоров. Однако на стороне визуализации это также означает необходимость переопределения, путем отображения цветов, визуального представления изображения HDR таким образом, чтобы оно было наиболее пригодно для систем LDR, в смысле указания так называемого ранжирования или цветокоррекции LDR. Кроме того, лишь кодирование только изображения HDR, статистика светимостей уже не вполне согласуется с распределениями кода яркости типа гамма-2,2, известно из различных технологий кодирования LDR.

В неограничительном варианте осуществления, показанном на фиг. 2, предполагается, что специалист по ранжированию уже подготовил первичное ранжирование HDR_ORIG, которое предполагается, например 3x16-битовым линейным изображением XYZ, но ниже сначала будет рассмотрен коррелят светимости кодирования цветов пикселей (например, код яркости или значение светимости), который предполагается значением с плавающей запятой [0,1] (специалисту в данной области техники очевидны альтернативные реализации, например кодирование 0…1024 и т.д.). Предполагается, что функциональные возможности ранжирования и кодирования реализованы в одном устройстве 201 ранжирования, но они, конечно, также могут быть отдельными устройствами (в сущности, предусмотрен просто блок кодирования, например, часть ИС). Блок 203 пользовательского интерфейса осуществляет управление ранжированием (пользовательский ввод USRINP) по команде специалиста по ранжированию (как и все описанные здесь блоки, это может быть, например специализированная ИС или программное обеспечение, выполняющееся на процессоре общего назначения и т.д.), и может быть подключен, например, к клавиатуре с лимбами или шарами для изменения значений, в частности, значения a наших кривых или значения ро и гамма, и даже значения Lm могут быть выбираемыми. Блок 202 управления ранжированием выполнен с возможностью определения кривой отображения, как объяснено ниже, а также ее применения к входному изображению HDR или изображениям HDR_ORIG, для достижения, например, с точки зрения специалиста по ранжированию, оптимально выглядящего выходного LDR_CONT LDR, которое можно кодировать традиционным образом, например посредством кодирования типа MPEG, например AVC, или аналогичного, например VC1, и т.д. Специалист по ранжированию обычно может наблюдать свои результаты на подключенных калиброванных мониторах, например, если он определяет кодирование HDR как визуальное представление LDR в S_im, он может наблюдать изображение LDR (декодированное из кодирования, или еще до кодирования DCT визуального представления с только что скорректированными цветами) непосредственно на мониторе LDR, и одновременно изображение Rec_HDR, которое может быть восстановлено из изображения LDR LDR_CONT на эталонном мониторе HDR с точкой белого обычно 5000 нит. Специалист по ранжированию определяет функцию отображения коррелята светимости (в принципе, это также может быть отображение между R_HDR и R_LDR и т.д.) FH2L согласно которой светимости (или яркости) изображения HDR преобразуются в значения яркости изображения LDR (или наоборот, поскольку эта функция обычно является обратимой, причем обратная функция FL2H может использоваться для реконструкции Rec_HDR из LDR_CONT, и обычно такая функция FL2H повышающего ранжирования сохраняется в S_im). В других вариантах осуществления предложенного кодера, это может осуществляться автоматически, например, согласно единственной фиксированной кривой распределения кода (например, занимающей среднее положение в этом семействе кривых, подлежащих использованию для настоящего фильма или видеопрограммы), или путем анализа изображения или нескольких последовательных изображений (например, снимка, сцены или даже всей программы), и использования, например, медианы или средневзвешенной светимости или отсчета экземпляров яркости в, по меньшей мере, одном поддиапазоне диапазона яркости для выбора кривой согласно набору правил: когда X<=медиана<=Y, использовать кривую № Z. Эта функция отображения позволяет извлекать оптимально выглядящее изображение LDR согласно предпочтениям создателя контента, как только оно станет доступно, например, на стороне, принимающей кодирование изображения HDR, или наоборот, оптимальное изображение HDR из кодированного изображения LDR. Обратное отображение также легко определить (поскольку предложенные отображения светимости обычно обратимы), либо на стороне создания, например, в устройстве 201 ранжирования, либо на принимающей стороне, и эта функция позволяет воссоздавать хорошее приближение (после квантования и DCT эффектов приближения) первоначального первичного ранжирования HDR_ORIG на основании доступного кодирования LDR LDR_CONT. Для сохранения или передачи на сторону приема нужно кодировать любую комбинацию функции FL2H отображения HDR в LDR, обратной ей FH2L, изображения LDR LDR_cont и соответствующего изображения HDR HDR_ORIG (и любое хорошее приближение этих изображений, например, после математического преобразования, экономичного в отношении битов). Однако из соображений битового бюджета имеет смысл сохранять/передавать только одно из изображений. Предположим, кодер 210 кодирует и форматирует (т.е. осуществляет, например классическое DCT наподобие кодирования MPEG и кодирование длины серий и т.д.) первое (набор) изображение(й) Im_1DR, которое (ые) задает(ют_ текстуры неподвижных или движущихся объектов, причем Im_1 является LDR_CONT. Он также осуществляет заранее определенное форматирование выбранной(ых) конкретной(ых) функции(й) FR2R отображения [например по одной функции для каждой сцены фильма, или одну-единственную для всего фильма, например FR2R=FL2H в полный сигнал S_im изображения (специалисту в данной области техники очевидно, что возможны различные способы для кодирования метаданных в изображении(ях) или связанных с ним(и), например посредством сообщений SEI, в заголовке какого-либо изображения, в виде отдельной дорожки данных на диске, как отдельно получаемый передаваемый по сети сигнал, и могут существовать данные синхронизации, например момент времени в фильме, начиная с которого нужно применять функцию, и т.д.). Затем кодер 210, например, сохраняет это Im_1 и метаданные в памяти 299, например, в продукте с функциями памяти, например, на диске Blu-ray или твердотельном запоминающем устройстве и т.д., или передает сигнал по некоторому сетевому соединению 211, например, если ранжирование осуществляется на телевизионной студии для потоковой передачи (почти) в реальном времени телевизионного сигнала DVB-T и т.д. В качестве примера показано одно соединение (221) для передачи видео, которым может быть шина или кабель, ведущий к первичному диску BD или к памяти временного хранения на сервере поставщика контента и т.д., но может существовать несколько таких соединений для вывода сигнала(ов) изображения через различные технические системы, например антенна также может иметь второе такое соединение вывода S_im (не показано), и т.д.

Предложена пара вариантов предпочтительного применения, обычно в нескольких стандартизованных сценариях (по меньшей мере, если не как единое отображение, то первый этап в последовательности светимости, и обычно также отображения цвета, например отображение насыщенности) функция(и) OETF распределения кода (или наоборот EOTF) для перехода от коррелятов светимости HDR (которые для простоты предполагаются просто светимостями, но они, конечно, также могут быть любым кодированием таких светимостей) в яркости “LDR”. Преимущественно, эти функции могут, например, реализовать, не обязательно, следующее:

1. Эффект применения кривых может восприниматься как изменение яркости (яркость является психовизуальным эффектом физической визуализируемой светимости).

2. Изменение яркости должно быть возможно в двух направлениях (снижения и повышения яркости), и предпочтительно не терять или почти не терять информации/деталей (т.е. кривые должны быть обратимы, по меньшей мере, в непрерывном цветовом пространстве).

3. Изображения, полученные в результате применения кривых, должны быть приятными для восприятия, т.е. специалист по цветовому ранжированию должен иметь возможность создавать приятные или относительно приятные изображения с их помощью (в частности, коэффициенты контрастности в подходящих для восприятия диапазонах яркости должны быть достаточно постоянными для восприятия).

Однако, по меньшей мере, в некоторых вариантах осуществления желательно создавать функции, позволяющие оптимально кодировать эту информацию в важном(ых) изображении(ях) (речь идет об изображениях, обычно захватываемых из сцен HDR), в частности они не создают слишком большую ошибку квантования в большинстве или всех поддиапазонах диапазона светимости, подлежащего кодированию. Это означает, что при отображении в кодирование LDR и последующем обратном отображении для получения приближения первоначального первичного ранжирования HDR Rec_HDR, не следует использовать такую функцию отображения, при которой, например яркие области слишком грубо квантуются после растяжения по яркости, в результате чего, например, в ярких облаках, наблюдается (чрезмерная) полосатость. Обычно это можно определить путем вычисления меры погрешности, например deltaE2000, для нескольких критических пробных изображений, которая указывает, насколько человек может видеть различие в цвете при наблюдении дисплея с первоначальным некодированным первичным ранжированием рядом с предложенной декодированной визуализацией HDR Rec_HDR (что обычно более критично, чем только просмотр декодированного фильма HDR).

Для хорошего варианта осуществления семейства функций распределения кода яркости, было установлено, что, поскольку оператор или главный оператор стремится поддерживать подходящие части изображения/видео в середине шкалы экспозиции или оси яркости для минимизации опасности передержки соответствующих текстур (приводящей к потере деталей за счет отсечки в ярких частях) или недодержки (приводящей к потере деталей вследствие чрезмерного шума, т.е. низкого отношения сигнал/шум), это можно с пользой применять при разработке технологии кодирования HDR/LDR. Поэтому желаемый эффект изменения яркости (/светимости) должен действовать/происходить вблизи середины шкалы (т.е. при “логарифмическом” значении 0,5 в нормализованном диапазоне) для наилучшего обеспечения желаемого результата на наиболее значимых данных изображения. Кроме того, для формирования изображения HDR может быть полезно иметь визуальное представление, критическое для качества, по меньшей мере, более темных областей, а также, возможно, некоторых более ярких областей. Установлено, что вышеупомянутым требованиям может удовлетворять семейство кривых “логарифмического” характера, которые ведут себя линейно в середине шкалы.

Часть логарифмической кривой, которую можно применять для связывания коррелята светимости LDR и коррелята светимости HDR для уменьшения динамического диапазона при отображении тонов может начинаться с общей первой формы

, где x - “линейное” входное значение, нормализованное к диапазону 0..1, и v - “логарифмический” выходное значение, также нормализованное к диапазону 0..1. Для увеличения динамического диапазона используются обратные кривые, заданные в виде

Ясно, что, если по оси x отложены светимости HDR, нужно делать более яркими темные области, или сжимать, т.е. использовать логарифмическую форму для получения значений яркости LDR_CONT на оси y.

Для дополнительного задания кривых накладываются ограничения. Первые два ограничения задаются нормализованным диапазоном 0..1, где входные значения 0 и 1 отображаются в идентичные выходные значения, т.е. когда v равно 0, x также должно быть равно нулю, и когда v равно 1, также x должно быть равно 1:

, откуда следует, что

, и

, что можно преобразовать к виду

Наконец, налагается ограничение, состоящее в том, что в середине логарифмической шкалы, при v=1/2, функция должна быть линейной, откуда (при условии линейного изменения светимости в этой позиции при изменении a) следует, что

, где K - постоянная, что можно преобразовать к виду

.

Объединяя последние два ограничения, исключаем член

и получаем уравнение

, которое решается подстановкой

, что дает

с решением

Решение пригодно для

. При выбранном значении K, кривые задаются единственным параметром a, который действует аналогично светочувствительности или параметру скорости пленки, и, таким образом, называется параметром индекса экспозиции для рассматриваемых кривых. Выбранное значение K равно

поскольку это значение K дает значения a, которые приблизительно соответствуют практически используемым значениям индекса экспозиции.

В таблице 1 приведена реализация в виде C-кода логарифмических кривых и обратных им кривых, где имена переменных соответствуют именам, используемым в вышеприведенных уравнениях.

Таблица 1. реализация кодом ANSI C предложенных логарифмических функций и обратных им.

На фиг. 1, построено несколько иллюстративных кривых предложенного семейства логарифмических кривых, начиная с a=32 и заканчивая a=2048 с шагами 1/3 стоп (2^1/3), где этот размер шага легко наблюдать в средней позиции (значение 0,5) логарифмической шкалы.

Таким образом, получается набор функций, управляемый одним параметром a. Специалист по ранжированию легко может извлечь оптимальное значение a, например, для снимка/последовательности изображений, например посредством настройки ручки, и алгоритм автоматического анализа изображения аналогично может выбирать оптимальное значение a. Это соотношение также легко кодировать в кодировании S_im изображения или видео, задавая тип данных, например, как с плавающей запятой или целочисленный (поскольку большое количество значений не требуется, можно кодировать упомянутые значения a, например как A*a+B, благодаря чему, разные значения a распределяются, например 8-битовым значениям кодового слова) для сохранения значения a, выбранного специалистом по ранжированию. Поэтому, в качестве альтернативы кодированию полной кривой в сигнале, например LUT, варианты осуществления предложенной технологии могут (один раз или пару раз, с одним и тем же значением для защиты от повреждения данных или разными значениями a для адаптивности) просто кодировать значение a, и затем, если используемые функции заранее не согласованы в ходе выполнения, но являются стандартными, сторона приема сразу же узнает, какая фактическая функция связана со значением a. На стороне приема это значение затем можно использовать для отображения принятого изображения Im_1DR в окончательное изображение, подлежащее визуализации на конкретном телевизоре.

Семейство кривых логарифма гамма еще лучше выразить в виде:

где

- яркость в кд/м²,

- электрическое значение, нормализованное к диапазону 0..1, и

- значение пиковой светимости дисплея в кд/м². Предложенные значения оптимальных постоянных ρ и γ в случае, когда можно задавать одну-единственную кривую распределения первичного кода HDR, равны

и

.

С этими функциями OETF, обратными EOTF, которые, по меньшей мере, в диапазоне аппроксимируют это поведение с высокой степенью точности (но с небольшим отклонением для их дополнительного согласования с классическим определением OETF, например, делая часть более низкой светимости линейной), можно сопоставить уравнение:

где E - напряжение, нормализованное эталонным уровнем белого и пропорциональное неявной интенсивности света, которая регистрируется цветовым каналом эталонной камеры R, G, B, т.е. можно предположить, что это линейные напряжения, полученные в результате наполнения ячеек R, G и B пикселя фотоэлектронами, и E' - результирующий нелинейный сигнал, т.е. код яркости. И:

ρ=25, α=1,099 и β=0,018 для 10-битовой системы

ρ=25, α=1,0993 и β=0,0181 для 12-битовой системы

По сравнению с первым вариантом, можно идентифицировать ро с a как:

Некоторое дополнительное обоснование для выведения вышеупомянутых конкретных функций OETF оптимального распределения яркости:

Современные телевизионные системы имеют сквозную (оптически-оптическую) нелинейную передаточную характеристику. Эта передаточная характеристика обеспечивает правильную визуализацию, предназначенную для типичных условий просмотра телевизора в тусклом окружении; см. например разделы 11,9, 19,13, и 23,14 “The Reproduction of Colour” by R.W.G. Hunt (Sixth ed., Wiley, 2006).

На Philips исследовали сквозную передаточную характеристику телевизионной системы для перспективных телевизионных систем с высоким динамическим диапазоном с дисплеями высокой пиковой светимостью (в частности, в экспериментах Philips применялись дисплеи с пиковой светимостью 5000 кд/м²), и было обнаружено, что современная сквозная передаточная характеристика также применима к этим перспективным системам. Это наблюдение объясняется тем, что передаточная характеристика определяется условиями просмотра телевизора, которые, для телевизора с высоким динамическим диапазоном, будут такими же, как для современного телевизора.

Сквозная передаточная характеристика для современных телевизионных систем определяется конкатенацией рекомендованной OETF (Rec. ITU-R BT.709 и Rec. ITU-R BT.2020) и EOTF (Rec.ITU-R BT.1886).

Например, OETF Rec. ITU-R BT.709 задается посредством:

V=1,099 L0,45-0,099 для 1≥L≥0,018

V=4,500 L для 0,018>L≥0

Объединение этой OETF с EOTF гамма 2,4 Rec. ITU-R BT.1886 дает сквозную передаточную характеристику:

(1,099 L0,45-0,099)^2,4 для 1≥L≥0,018

(4,500 L) ² ^, ⁴ для 0,018>L≥0

Philips предлагает полностью сохранять сквозную передаточную характеристику для телевизионных систем с высоким динамическим диапазоном, использующих предложенную EOTF. Эта EOTF имеет нормализованную форму

Можно видеть, что это конкатенация функции

и EOTF гамма 2,4 согласно Rec. ITU-R BT.1886. Поэтому, для сохранения сквозной характеристики, OETF, используемая с предложенной EOTF, должна быть конкатенацией рекомендованной в настоящее время OETF

(Rec. ITU-R BT.709 и Rec. ITU-R BT.2020) и обратная функция

, которая является:

Эта конкатенация дает следующую OETF (используя в качестве примера OETF Rec. ITU-R BT.709):

V =

для 1≥L≥0,018

V =

для 0,018>L≥0

Наполнение предложенного значения 25 для ρ, OETF можно дополнительно упростить до:

V =

для 1≥L≥0,018

V =

для 0,018>L≥0

Эквивалентно, для Rec. ITU-R 2020 предложенная OETF имеет вид:

где E - напряжение, нормализованное эталонным уровнем белого и пропорциональное неявной интенсивности света, которая регистрируется цветовым каналом эталонной камеры R, G, B; E'-результирующий нелинейный сигнал. Здесь:

ρ=25, α=1,099 и β=0,018 для 10-битовой системы

ρ=25, α=1,0993 и β=0,0181 для 12-битовой системы

Простейший способ состоит в том, чтобы просто применять отображение для выведения дополнительного изображения (например, если HDR_ORIG кодировалось N-битовыми цветовыми координатами на диске, изображение LDR_CONT для возбуждения любого телевизора с существенно более низкой пиковой яркостью можно использовать, применяя только выбранную функцию логарифма гамма с совместным кодированием значения a), но также можно извлекать промежуточные ранжирования для окончательной визуализации, например, согласно WO2012/127401.

Данное изобретение можно использовать несколькими способами в нескольких вариантах осуществления. Например, если специалисту по ранжированию не важен выбор оптимальной кривой для конкретного имеющего изображения/видео, принятая по умолчанию кривая выбирается, например с a=1100 (и если тип данных значения a в сигнале не имеет наполненного значения, сторона приема будет по умолчанию использовать это значение. Но иначе специалист по ранжированию может установить, что, например кривая a=550 будет давать лучшие результаты, и затем записывать это значение в, по меньшей мере, одну копию типа данных значения a на диске. При наличии большего количества копий обычно существуют также дополнительные данные указания, например, эталонные данные, указывающие, какой части набора изображений принадлежит эта кривая, например соответствующую метку времени представления и т.д.

Предложенные способы могут использоваться независимо от формата кодирования текстуры изображения (Im_1DR), но, например, могут хорошо работать с 10-битовыми кодированиями яркости и даже 8-битовыми кодированиями яркости, которые классически используются (для некоторых применений кодирования изображения требуется более низкое качество).

Обычно выбранное значение a, задающее форму кривой, зависит от характеристик предусмотренного визуализирующего дисплея и, обычно, его пиковой яркости. Например, специалист по ранжированию может прийти к выводу, что в ходе наилучшей части срока эксплуатации его фильма, он обычно наблюдается на дисплеях HDR с пиковой яркостью около 2000 нит. Затем он может использовать кривую, которая может давать оптимальное визуальное представление на таких дисплеях (т.е. при реконструкции HDR), и, возможно, также приемлемое визуальное представление на дисплеях более низкой пиковой яркости, например телевизоре 600 нит. Конечно, если через 20 лет большинство зрителей будет смотреть этот кодированный в HDR фильм, например на дисплеях 15000 нит, несмотря на то, что визуализация все еще может быть приемлемой, она может не быть оптимальной с этой кривой. Тогда создатель контента может произвести новое кодирование с другой кривой с другим значением a для этих дисплеев. Для этого также можно не создавать новое изображение LDR LDR_CONT, а только задавать новую кривую FL2H для реконструкции изображения HDR, наиболее подходящего для дисплеев категории около 15000 нит.

Специалист по ранжированию или автоматический алгоритм также может решить взять конкретную кривую распределения кода яркости из семейства на основании характеристик изображения HDR, подлежащего кодированию на основании характеристик изображения, подлежащего кодированию (т.е. разновидности захваченной сцены). Если она, например, содержит только темные области (или, возможно, только лампу малой яркости), можно принять решение использовать кривую, которая несколько снижает точность квантования на яркой стороне для повышения точности для более темных цветов. Это можно делать посредством различных алгоритмов анализа изображения, начиная с простейших, например, определения медианы светимостей в изображении и, на этом основании, определения соответствующего значения a, и заканчивая проверкой диапазонов доступных (и, сверх того, без или с несколькими пикселями) светимостей, и определением кривых в зависимости от размера и/или положения диапазона светимостей имеющихся объектов (и, например, на основании меры градиента кривой в этом диапазоне, который может использоваться в случае, когда распределение осуществляется согласно алгоритму, но обычно такое знание распределяется путем задания знаний человека в наборе правил: например, разработчик создал три категории: одну для изображений, все светимости которых ниже 50 нит, одну для изображений “внешнего пространства”, где все светимости выше 500 нит, и промежуточную категорию, и когда алгоритм принятия решения находит доступный диапазон, например, 30-200 нит в первичном ранжировании, он может, на основании критерия перекрытия, выбрать среднюю кривую распределения кода диапазона).

На фиг. 4 приведен пример такого варианта осуществления. В данном случае кривая распределения яркости является комбинацией логарифмической и степенной функции, где гамма, предпочтительно, отличается от 1,0:

Заметим, что коды яркости (горизонтальная ось E) масштабированы до [0,1], и соответствующие светимости на соответствующем эталонном дисплее отложены в логарифмической шкале в стопах (ось Y). Например, если требуется единичная кривая для пиковой светимости 5000 кд/м², можно использовать

и извлекать из него, например значения a=67,8823, b=2,8284, c=0,7153, d=-0,3230 и коэффициент гамма γ=2,35 (для разных значений гамма коэффициенты a…d обычно отличаются).

В этом примере предполагается, что изображения HDR можно кодировать с помощью эталонной кривой 401 распределения яркости, которая будет хорошо работать на всех возможных изображениях HDR, например, когда в одном и том же изображении одновременно присутствует более темное внутреннее пространство и освещенное солнцем внешнее пространство. Однако, при наличии программы или сцены, которая разыгрывается в темном подвале, освещенном лишь парой ярких ламп (которые должны только визуализироваться яркими, а сами по себе не обязаны быть точно такими), можно отдать предпочтение немного другой кривой, которая ведет себя точнее для таких темных областей, т.е. имеет больше доступных кодов в темном поддиапазоне светимостей HDR /оси x. В таком случае пригодится кривая 403. Также возможен другой сценарий, где имеется много ярких пикселей освещенного солнцем внешнего пространства, и, возможно, пара более темных пикселей, которые, поскольку человеческое зрение адаптировалось к большому яркому изображению, могут не нуждаться в квантовании с абсолютной точностью. Такой сценарий может иметь место, например, при осуществлении киносъемки внешнего пространства в Тайланде, где через маленькую дверь что-то видно внутри храма (заметим, что визуализирующий телевизор может принять решение немного повысить яркость этих темных внутренних пространств, поэтому их, тем не менее, желательно разумно кодировать). В этом случае специалист по ранжированию или устройство/алгоритм кодирования может решить, что кривую 402 лучшее использовать для кодирования согласно LDR_CONT этих изображений HDR.

Фиг. 6 демонстрирует то же самое полное обоснование логарифм гамма EOTF, но на этот раз при наличии назначенного окружения просмотра, и фиг. 7 демонстрирует два примера вычисления этих функций. Часть, обозначенная “LDR”, представляет квантованные значения [0,1] кода (v) яркости, т.е. для реконструкции только HDR обычно просто применяется предложенная двухчастная экспоненциальная функция по п. 1 (т.е. часть ро и затем часть гамма). Теперь “часть гамма 2,4” преобразуется в цепочку предварительного отображения гамма, но также включает в себя коэффициент, позволяющий учитывать светимость тусклого окружения, и нижняя часть фиг. 7 является эквивалентным резюмированием верхних частичных отображений гамма, в 2,4 и OETF rec. 709:

(понижающее отображение или определение яркости из светимостей). LC(a) представляет первую часть отображения, т.е. деление ро без гамма 2,4. Стрелки демонстрируют преобразование типа повышающего ранжирования со стрелкой вверх, т.е. преобразование, которое, например, обычно оттягивает яркие объекты от более темных и средне-серых, и наоборот. Q представляет обычное 10-битовое квантованное изображение LDR согласно rec. 709. Второе понижающее ранжирование Rec. 709 переформатирует (правильно перераспределяет вдоль оси яркости) правильно определенный входной сигнал, согласно тому, что первичная EOTF по п. 1 ожидает в качестве входа. Затем результат верхней или нижней цепочек, показанных на фиг. 7, обычно поступает на эталонный монитор, т.е. фактический дисплей заданный согласно гамма 2,4.

Фиг. 8 демонстрирует приближение на темных цветах объектов, когда функции на фиг. 6 преобразуются в DY’/Y’.

Фиг. 3 демонстрирует пример возможной системы принимающей стороны в месте жительства или работы потребителя, например цифровом кинотеатре. Существует много применений и типов устройств, которые могут использовать предложенную технологию декодирования, и могут содержать блок декодирования, например фрагмент ИС, тем не менее, будет рассмотрено только одно из них, поскольку специалист в данной области техники может понять, на основании изложенных принципов, как применять их в других сценариях. Блок 388 снятия форматирования распаковывает и декодирует сигнал S_im из любого формата, в котором он записывается/передается и принимается. В этом неограничительном примере предполагается, что прием и начальная обработка осуществляется некоторым устройством 301 обработки изображения (это может быть телевизионная приставка, проигрыватель blu-ray, персональный компьютер и т.д.), которое передает правильно созданное, в соответствии с особенностями дисплея и, возможно, окружения, окончательное изображение, подлежащее визуализации, на дисплей 302 (в этом примере дисплей не имеет дополнительных возможностей оптимизации цветов, но лишь некоторые аппаратно определяемые колориметрические характеристики). Но, конечно, если этот дисплей интеллектуальнее, например телевизора, он может сам осуществлять большинство или все из описанных действий в устройстве 301 обработки изображения. Предположим, для простоты объяснения, что дисплей является дисплеем HDR (например, с пиковой яркостью 5000 нит), и получает изображение, подлежащее визуализации, согласно технологии 398 передачи изображений, например кабеля HDMI и т.д. Чем менее интеллектуальны дисплеи, тем больше изображение, передаваемое по кабелю, будет похоже на стандартное изображение наподобие полностью оптимизированного в XYZ, или даже изображение RGB прямого возбуждения, но чем более интеллектуален дисплей, тем более параметрическим он может получать изображение, например, любое кодированное изображение LDR_CONT, и параметры для выведения желаемого оптимального возбуждающего изображения самим дисплеем. Дисплей (и метаданные S_im) могут быть воплощены для применения разных стратегий отображение цветов для разных кадров в фильме. Сигнал S_im изображения может поступать посредством различных технологий передачи, например на физическом носителе данных, например диске BD, или посредством подписки на хранилище видео с проводным или беспроводным подключением к сети, и т.д.

В некоторых вариантах осуществления, устройство 301 обработки изображения также или даже исключительно будет генерировать изображение LDR для второго дисплея LDR 330 (и это изображение, например, может быть непосредственно изображением LDR_CONT или только его колориметрическим преобразованием в RGB без регулировок динамического диапазона или окружения просмотра, но также может быть вторым оптимально ранжированным изображением, извлеченным из кодированным изображением LDR_CONT), которое передается в потоке, например по беспроводному соединению изображения/видео/данных через антенну 399, но ядро данного изобретения также можно использовать для создания только изображения HDR.

Блок 305 отображения цветов берет, например кодированное изображение LDR_CONT из S_im и преобразует его в Rec_HDR, путем считывания функции FL2H отображения из сигнала, или считывания функции FH2L отображения, и ее внутреннего преобразования в обратную ей функцию FL2H отображения.

Следует понимать, что многие такие устройства или системы можно построить из данного изобретения, и могут располагаться в профессиональных или бытовых камерах, любого рода дисплее (например, могут располагаться в портативном устройстве, например, мобильном телефоне), программном обеспечении цветового ранжирования, транскодерах, например, устройствах улучшения видео, системах управления видео, рекламных дисплеях, например, в супермаркетах, и т.д.

До сих пор было рассмотрено только, что делать на оси светимости цветового пространства, но цвета нуждаются в 3-мерном определении. В направлении яркости Y производилось растяжение и сжатие цветовых координат посредством функции распределения цветов, поэтому везде равные шаги визуально приблизительно одинаково важны. Это означает, что при последующем квантовании, получается приблизительно равное количество кодов для каждой области светимости, которая выглядит аналогично контрастной, т.е. полосатость везде снижается приблизительно в одинаковой степени. Однако цветовое пространство обладает высокой нелинейностью, и типичные цветовые пространства наподобие XYZ или xyY не отображаются хорошо в естественную метрику человеческого зрения. Поэтому необходимо осуществлять аналогичное действие в направлении цвета.

Автор изобретения еще раньше установил (см. еще не опубликованную заявку EP12187572), что можно разлагать пространство кодирования на направление Y и хроматическое направление цветовых плоскостей (в любом случае это пространство не обязательно использовать для осуществления, например цветовой обработки изображений, но можно использовать только как промежуточный “держатель значений” и в любых цветовых координатах, этого может быть достаточно, если только можно извлекать первоначальное, например, XYZ_16bit первичного HDR посредством обратного отображения). Это схематически показано на фиг. 5. Гамма 502 всех кодируемых цветов RGB (и, может быть, предпочтительно использовать пространство наподобие xyY, чтобы кодировать все возможные физически возникающие цвета вплоть до максимальной светимости, заданной определением точки белого верхней части гаммы, например 5000 нит) определяется цветным треугольником xy и осью Y 501 яркости. В частности, какие яркости Y или соответствующие светимости L задает эта ось Y посредством ее используемой функции распределения кода. Можно принципиально предусмотреть использование другой функции распределения кода в качестве гармонического растяжения всех цветов в гамме согласно функции распределения кода. Например, если точность в окрестности середины (Y=0,5) считается недостаточной, можно выбрать другую логарифмическую функцию, которая растягивает там значения, и сжимает в других поддиапазонах оси Y. Если затем квантовать, например каждое сотое значение, эту растянутую область светимостей, например, между 500 и 800 нит можно растягивать по 6 кодам яркости вместо, например, 4. То же самое будет происходить для других хроматичностей, например, в EP12187572 представлен вариант осуществления, как делать это согласно выбранной форме логарифмической функции, но теперь не в диапазоне Y [0,1], но в диапазоне возможных Y в гамме для этой конкретной хроматичности (x,y). Теперь желательно производить то же действие в хроматическом направлении. Однако известно, что желательно, чтобы универсальная хроматичность xy имела достаточно малые эллипсы Мак-Адама в области синего (B), и большие в области зеленого (G). Это означает возникновение большой ошибки кодирования (изменение (x,y)_1 в (x,y)_2 в области зеленого не будет оказывать сколько-либо заметного влияния), но квантование в области синего более заметно. Для обеспечения возможности кодирования везде с малыми ошибками желательно гарантировать, что окончательно квантованное кодирование распределяет ошибки квантования более равномерно. Это можно определять посредством функции ошибки по треугольнику (схематически показанному в одном измерении по цветовому пути в графике 503), и это можно изменять путем изменения предложенной функции распределения хроматичности (схематически показанной в 504, что путь H, заданный как функция новых координат uv, можно задавать также как функцию G от x и y), т.е. если эллипс является слишком вытянутым для области цветового пространства, в этой области можно аналогично растягивать цветовое пространство, что является обратным эквивалентом сжатию эллипса. Это переопределение может быть сильно нелинейной функцией, но предпочтительно задавать кодирование простой функцией. А именно, можно деформировать эллипсы с помощью перспективного преобразования:

В этих уравнениях x,y и u,v - цветовые треугольники, и a…l - постоянные.

Можно математически доказать, что это соответствует преобразованию базиса в 3D из цветового пространства, заданного векторами XYZ, в цветовое пространство, заданное векторами UVW, которое можно задавать матрицей линейного преобразования.

Установлено, что полезно задавать хроматичности посредством известного из уровня техники отображения (но никогда не исследованного в целях использования для кодирования HDR), которое имеет приемлемую однородность:

Здесь координаты плоскости хроматичности непосредственно определяются из координат линейного цветового пространства XYZ, что позволяет осуществлять ранжирование в этом пространстве и затем непосредственно переходит к кодированию цветов.

Поэтому далее используется любая из вышеописанных логарифмических функций распределения кода яркости, и в качестве определения Y (нелинейной яркости) определения цвета Yuv, и вышеописанное определение используется для хроматической компоненты цветов. Так теперь можно задавать цвета HDR в отличие от классических схем кодирования LDR цветов.

Но поскольку все эти цвета имеют значения в математическом диапазоне, обычно предполагаемом для (например, 10 бит для Y’, а также u и v) изображений LDR (в частности, не путать с YUV или YCrCb типа Y’uv PAL, используемым, например, в MPEG2), можно дополнительно осуществлять цепочку кодирования изображения (квантование, DCT и т.д.) согласно обычной технологии кодирования LDR. После обратного отображения на принимающей стороне повторно формируется реальное изображение HDR, которое иначе не удалось бы кодировать посредством традиционной технологии.

Конечно, согласно аналогичным техническим принципам, можно построить аналогичные цветовые пространства, в которых треугольная функция гаммы задается посредством нового определения оси яркости, при условии, что они заданы стандартно, что позволяет стороне приема изображения(ий) восстанавливать первоначальный первичный HDR.

Фиг. 9 схематически демонстрирует первую возможную полезную систему кодирования, в которой преобладает визуальное представление HDR, т.е. осуществляется передача изображения LDR_CONT, которое все же имеет относительно большой динамический диапазон (т.е. при непосредственной демонстрации на дисплее LDR, оно может иметь, например темные области, которые слишком темны, чтобы быть достаточно распознаваемыми, но все же на стороне приемника можно получить хорошее изображение HDR для дисплея HDR, например, на монитор 958 HDR 5000 нит, если подключен). Предложенная EOTF особенно пригодна для этого сценария, и тогда, например параметры ро=25 и гамма=2,4 могут быть внедрены в сигнал S_im изображения блоком 908 внедрения параметров.

Мы начинаем с первичного ранжирования HDR HDR_ORIG (здесь поз. 901 обозначает не аппаратный блок, а изображение). Блок 902 преобразования цветов может осуществлять цветовое преобразование, например, если оригинал располагается с насыщенными хроматичностями в относительно широкой цветовой гамме (что может происходить, например, с некоторыми красителями в материале фильма), и, например, предусмотрено обслуживание только бытовых дисплеев с типичными основными цветами Rec. 709, этот блок 902 преобразования цветов может уже осуществлять отображение предварительной цветовой гаммы в гамму Rec. 709. Преобразователь 904 динамического диапазона применяет некоторые функции, обычно под художественным руководством специалиста по ранжированию через блок 903 интерфейса, для получения изображения 905 визуального представления LDR. Это изображение LDR можно получить посредством относительно простого обратимого отображения цветов, но также можно получить посредством более сложных и необходимых отображений (разрушающих данные, т.е. только из этого изображения не удается хорошо реконструировать первичный HDR). Теперь HDR отображается согласно вариантам осуществления настоящего изобретения, т.е. с использованием функции, обратной EOTF по п. 1, в предложенное кодирование Y’u’v’ цветным кодером 906. Затем регулярное кодирование видео осуществляется видеокодером 907, которым может быть, например кодер HEVC или аналогичное устройство. Наконец, в этих иллюстративных вариантах осуществления параметры предложенных функций колориметрического кодирования (по меньшей мере, одного из ро, гамма и Lm) внедряются как метаданные в S_im, подлежащий передаче, например как телевизионный сигнал HDR в формате DVB или ATSC. На стороне приемника, приемник осуществляет регулярное декодирование видео с помощью декодера 951, однако декодер также дополнен предложенной технологией, для получения изображения Rec_HDR 952, например, в XYZ. После адаптации второй гаммы вторым блоком 959 отображения цветов, можно учесть, что подключенный монитор имеет, например возможности широкой гаммы. Блок 957 настройки дисплея может осуществлять дополнительную настройку дисплея, например, применять предложенные вторые функции отображения цветов для выведения оптимального по светимости визуального представления, когда подключенный дисплей является, например дисплеем 2400 нит, и также можно регулировать детали окружения просмотра, или даже желания зрителя (предпочтительную для зрителя яркость). Различные параметры в S_im выделяются блоком 950 выделения параметров, и некоторые из них будут пригодны для выведения хорошего визуального представления LDR. Поэтому в этом варианте осуществления системы, LDR извлекается из HDR (не в точности первоначального HDR, но очень хорошего приближения на стороне приемника Rec_HDR), сначала, например, путем осуществления дополнительного отображения цветов блоком 953 отображения цветов, и затем осуществления преобразования динамического диапазона блоком 954 отображения светимости, вырабатывая видео LDR для любого подключаемого монитора 956 LDR. Конечно, эта реконструкция визуального представления LDR из восстановленного Rec_HDR имитирует генерирование LDR на стороне передатчика, посредством параметров. Фактически, некоторые варианты осуществления можно использовать, предполагая, что отображение посредством предложенной OETF является обратным EOTF согласно главному пункту настоящего изобретения, конечно, уже достаточно оптимизированных параметров ро и гамма для конкретного снимка или сцены, но, в общем случае можно предусмотреть дополнительные функции, хранящиеся в S_im, например растяжение по контрастности основного диапазона LDR в изображении HDR, и жесткую отсечку вне этого диапазона, и т.д.

Фиг. 10 демонстрирует конкретный пример системы, построенной согласно другому принципу, предписывающему, какого рода изображение LDR_CONT/Im_1 фактически следует кодировать, но все же согласно предложенной технологии EOTF.

Компоненты на стороне передатчика, например, преобразователь 1001 динамического диапазона и преобразователь 1002 цветов Y’u’v’, аналогичны показанным на фиг. 9. Однако в этом случае используется Im_1 с визуальным представлением LDR на диске. Поэтому функция логарифма гамма, применяемая в 1001 для получения видео LDR, может иметь более высокий эквивалентный гамма (гамма, эквивалентный предложенным стандартным параметрам ро, гамма, т.е. просто с использованием функции гамма плоскости, L=v^gamma составляет около 7), чем в визуальном представлении HDR в сценарии S_im, показанном на фиг. 9, за счет использования других параметров ро и гамма, но для других сцен они также могут быть более низкими. В любом случае теперь обычно используются только функции обратимого отображения светимости, и предложенная EOTF и обратная ей OETF удовлетворяют этому критерию. Изображение LDR (хотя обычно кодируемое в Y’u’v’ вместо YCrCb) снова поступает на регулярный видеокодер. Однако теперь на принимающей стороне внедренные параметры используются не для создания визуального представления LDR, а для создания визуального представления HDR, и изображение LDR может непосредственно поступать на монитор LDR. Поэтому для получения HDR, LDR из S_im последовательно обрабатывается повышающим преобразователем 1050 динамического диапазона, преобразователем 1051 цветов для получения желаемого хроматического визуального представления, и блоком 1052 настройки дисплея для получения правильного визуального представления для конкретного дисплея, начиная с реконструированного HDR в эталонном диапазоне, например [0-5000]. Квалифицированному читателю понятно, что дополнительные практические варианты осуществления, исходя из представленных принципов, могут, например, использовать OETF и EOTF, которая, по большей части, имеет форму логарифма гамма (т.е. например, обычно ее выходные значения задаются функцией из предложенного семейства кривых ро, гамма для большинства входных значений в диапазоне возможных входных значений [0,1]), и все же для некоторых входных значений отображение может несколько отличаться, например, локально реализовать другой наклон и постепенно сглаживать его, пока не будут достигнуты стандартные части логарифма гамма EOTF. Такое отклонение может осуществляться на устройстве кодера посредством алгоритма автоматического анализа изображения, или специалистом по ранжированию в явном виде указывающим локальное изменение кривой, или в любом полуавтоматическом режиме, который предусматривает получение некоторого руководства специалиста по ранжированию и затем осуществляет некоторые вычисления для достижения частичного изменения. Затем эти кривые можно, например, передавать как LUT, хотя они также могут передаваться параметрически, например, с формой локального изменения, функционально кодированного одним или более дополнительными параметрами (например, изменением буферной гауссовой функции и т.д.).

Фиг. 11 демонстрирует пример кодирования сигнала 1100 изображения HDR на основании принципов настоящей заявки. Предполагается, что кодируется набор визуальных представлений динамического диапазона на сцене HDR, для которого требуется возможность на стороне приемника, по меньшей мере, первичное изображение с высоким динамическим диапазоном, возможно, с объектами, светимости которых подлежат визуализации, все в эталонном диапазоне светимости, например, 0,005-5000 нит. Одновременно желательно обеспечивать возможности переопределения на стороне декодирования, по меньшей мере, изображения низкого динамического диапазона той же сцены, которое подлежит определению на основании кодированного изображения 1101 HDR и функций отображения. Как упомянуто, блоки кодирования/декодирования являются стандартными, наподобие функциональных возможностей, например, в HEVC, поэтому мы сосредоточимся на новых принципах колориметрии для обеспечения возможности кодирования HDR в этой структуре.

Таким образом, матрица яркости пикселей изображения для изображения 1101 будет определяться согласно функции “логарифм гамма” основного принципа изобретения, которая задает взаимосвязь кодов яркости со светимостями, например, в эталонном диапазоне светимости 0,005-5000 нит. Т.е. изображение 1101 кодирует изображение HDR. Какими бы именно ни были коды яркости (однако они заданы), они могут преобразовываться в ходе декодирования в светимости пикселей (или фактически совместно с хроматическими компонентами, которые обычно являются цветами пикселей (uv), например, в линейной или гамма-области RGB), визуализируемые на эталонном дисплее пиковой яркости 5000 нит. Тогда дисплей с другими характеристики также сможет осуществлять оптимизирующее цветовое преобразование, зависящее от дисплея, обычно на основании функции отображения цветов изображения и метаданных в сигнале 1100. В случае использования заранее согласованной EOTF для задания кодов яркости (с фиксированными Lm, ро и гамма), не обязательно самостоятельно кодировать информацию о ней в сигнале 1100 изображения, поскольку декодеру известно, какую функцию использовать. В случае выбора одной из нескольких фиксированных функций, можно кодировать соответствующий номер 1108 кривой (например, заранее согласованной кривой 3). Заполнитель этих данных в сигнале является дополнительным для более точного указания EOTF, и в последнем сценарии нет необходимости в заполнении. В таком случае можно (обычно, например, для каждой сцены после изменения сцены, т.е. пригодной между двумя номерами изображения или моментами времени) частично или полностью задавать яркости в изображении 1101 путем наполнение значения 1102 ро, множителя Lm 1109 и/или значения 1103 гамма. В некоторых сценариях можно использовать другой коэффициент 1104 усиления. Хотя иногда его можно кодировать посредством Lm, возможны сценарии, в которых желательно наполнять Lm стандартным значением 5000 для всего фильма, но, например, кодировать относительно более темную сцену коэффициентом 1104 усиления. В этом случае, если, например типичные (подлежащие визуализации на эталонном дисплее) светимости в сцене падают, например, ниже 100 нит, с парой выбросов, достигающих 1000, можно принять решение вообразить, что это был другой сигнал вплоть до 5000 нит. Это мультипликативное растяжение будет осуществляться кодером до применения квантования и DCT. Коэффициент усиления 5 или 1/5, помещенный в заполнитель 1104 для метаданных в сигнале, тем не менее, указывает, как декодер должен делить и, соответственно, умножать декодированный сигнал для достижения желаемого визуального представления.

Для некоторых более развитых функций кодирования, отклонение функции логарифма гамма также может кодироваться в наборе 1107 номеров отклонения. Он может содержать, например спецификацию аддитивной или мультипликативной деформации вдоль части функции логарифма гамма, создание в некоторых подобластях этой части большего, соответственно, меньшего градиента, что приводит к распределению большего или меньшего количества кодов различным областям объектов изображения. Эти номера также могут кодировать функциональное преобразование предложенной функции логарифма гамма, например два параметра L1 и L2, разграничивающие поддиапазон EOTF по светимости или яркости, который регулируется, и некоторые параметры, задающие преобразование, например ax^2+bx+c, где x - текущая координата в поддиапазоне, и постоянные a,b,c кодируются в различных заполнителях номеров D3, D4, …. Кодеру известно, что означает функция, поскольку существуют некоторые заранее согласованные механизмы кодирования для функциональных деформаций.

Затем другие метаданные будут задавать, как извлекать изображения визуального представления LDR на основании изображения 1100 HDR, кодированного в сигнале изображения. Это изображение LDR может, например, быть изображением меньшей контрастности, демонстрирующим все коды, доступные в изображении HDR (отображаемом в LDR согласно, например дополнительной функцией гамма), или контрастным визуальным представлением LDR, которое резервирует многие из доступных кодов яркости LDR для важного поддиапазона LDR сцены HDR, и осуществляет отсечку или мягкую отсечку вне этой области.

Обычно для осуществления произвольного отображения на яркостях (до сих пор компоненты (u,v) оставались постоянными), предусмотрен заполнитель 1105 метаданных, например, для вмещения достаточно точной LUT, кодирующей форму функции 1110 отображения яркости между яркостями изображения 1101 HDR и яркостями, желательными для параметрически совместно кодированного изображения LDR. Эта функция может иметь любую форму и даже не обязана быть монотонной (и, конечно, также может быть задана как отображение светимости, отображение RGB_max или любое отображение коррелята светимости). Дополнительно может существовать цветовая обработка, например отображение насыщенности, которое может осуществляться с помощью 1D LUT 1106, задающее для каждой яркости мультипликативный коэффициент насыщенности (реализующее, зависящий от яркости изменение 1120 насыщенности для изображения LDR после отображения тонов из изображения HDR), или более сложные стратегии, которые могут, например, позволять специалисту по ранжированию делать некоторые объекты, менее яркими в LDR, по меньшей мере, более красочными, или согласно другому принципу изменения насыщенности. Простые версии сигнала могут иметь только одну позицию числа насыщенности, или другие сигналы могут иметь дополнительную позицию в метаданных для наполнения в единичном числе насыщенности, благодаря чему, этот единичный множитель можно применять ко всем цветам пикселей независимо от их светимостей. Это всего лишь пример того, что обычно может кодироваться в сигнале изображения HDR+LDR, и могут существовать различные подобные наборы чисел, например, для обработки локальных сегментируемых областей изображения, но это должно давать достаточное понимание, как, согласно представленным методам, можно фактически не только кодировать изображение HDR сцены, но и совместно кодировать различные повторные визуальные представления другого динамического диапазона этой сцены, пригодные для визуализации в системах отображения с другими возможностями динамического диапазона, чем, например, у эталонного дисплея 5000 нит.

Алгоритмические компоненты, раскрытые в этом тексте, можно (полностью или частично) реализовать на практике как аппаратное обеспечение (например, части специализированной ИС) или как программное обеспечение, выполняющееся на специальном цифровом сигнальном процессоре или процессоре общего назначения и т.д.

Специалисту в данной области техники из описания изобретения должно быть понятно, какие компоненты могут быть необязательными усовершенствованиями и могут быть реализованы совместно с другими компонентами, и как (необязательные) этапы способов соответствуют соответствующим средствам устройств, и наоборот. Слово “устройство” в этой заявке используется в самом широком смысле, а именно, как группа средств, позволяющих достичь конкретной цели, и поэтому, например, может быть (малой частью) ИС или специализированным прибором (например, прибором с дисплеем) или частью сетевой системы и т.д. “Компоновка” также подлежит использованию в самом широком смысле, поэтому она может содержать, помимо прочего, единичное устройство, часть устройства, совокупность (частей) взаимодействующих устройств и т.д.

Версию компьютерного программного продукта настоящих вариантов осуществления как обозначение следует понимать в смысле, охватывающем любую физическую реализацию совокупности команд, позволяющих процессору общего или специального назначения, после нескольких этапов загрузки (которые могут включать в себя промежуточные этапы преобразования, например, трансляцию в промежуточный язык и окончательный язык процессора) вводить команды в процессор и выполнять любую из характерных функций изобретения. В частности, компьютерный программный продукт можно реализовать как данные на носителе, например диске или ленте, данные, присутствующие в памяти, данные, передаваемые через сетевое соединение, проводное или беспроводное, или программный код на бумаге. Помимо программного кода, характеристические данные, необходимые для программы, также могут быть воплощены в виде компьютерного программного продукта. Ясно, что под компьютером подразумевается любое устройство, способное осуществлять вычисления данных, т.е. он также может быть, например мобильным телефоном. Также пункту устройства могут охватывать реализуемые на компьютере версии вариантов осуществления.

Некоторые этапы, необходимые для осуществления способа, могут заранее присутствовать в функциональных возможностях процессора, а не быть описаны в компьютерном программном продукте, например, этапы ввода и вывода данных.

Следует отметить, что вышеупомянутые варианты осуществления иллюстрируют, а не ограничивают изобретение. Так, где специалист в данной области техники может легко реализовать отображение представленных примеров в другие разделы формулы изобретения, все эти варианты, для краткости, подробно не описаны. Помимо комбинаций элементов изобретения, объединенных в формуле изобретения, возможны другие комбинации элементов. Любую комбинацию элементов можно реализовать в едином специализированном элементе.

Никакие ссылочные позиции в скобках, приведенные в формуле изобретения, не призваны ограничивать формулу изобретения. Слово “содержащий” не исключает наличия элементов или аспектов, не перечисленных в формуле изобретения. Употребление наименования элемента в единственном числе не исключает наличия нескольких таких элементов.

Claims

1. Способ кодирования цветов видео изображений с высоким динамическим диапазоном, содержащий этапы, на которых:

- применяют функцию, обратную функции отображения, для выведения кода (v) яркости светимости цвета пикселя, причем функция отображения заранее определена как содержащая первую частичную функцию, которая задается как

, где ρ - настроечная постоянная, и v - код яркости, соответствующие светимости, подлежащей кодированию, и второе частичное отображение, заданное как

, где L_m - пиковая светимость заранее заданного эталонного дисплея, и гамма - постоянная, которая, предпочтительно, равна 2,4,

- выводят матрицу пикселей, имеющую кодирование цветов, содержащее коды яркости.

2. Способ кодирования цветов видео изображений с высоким динамическим диапазоном по п. 1, в котором L_m равно 5000 нит.

3. Способ кодирования цветов видео изображений с высоким динамическим диапазоном по п. 1 или 2, в котором ρ равно 25.

4. Способ кодирования цветов видео изображений с высоким динамическим диапазоном по п. 1 или 2, в котором функция гамма состоит из эквивалентного гамма для гамма кодирования по Rec. 709 и функции гамма 2,4.

5. Способ кодирования цветов видео изображений с высоким динамическим диапазоном по одному из предыдущих пунктов, в котором параметры ρ и гамма дополнительно оптимизируются для выработки кодированного изображения, которое выглядит хорошо на дисплее 100 нит, на основании чего, оптимизируют по меньшей мере, один из параметров ρ и гамма.

6. Способ кодирования цветов видео изображений с высоким динамическим диапазоном по одному из предыдущих пунктов, в котором хроматические координаты (u,v) кодирования цветов задаются на основании представления XYZ CIE цветов пикселей в изображении (HDR_ORIG) с высоким динамическим диапазоном согласно дробным уравнениям типа:

и

7. Способ кодирования цветов видео изображений с высоким динамическим диапазоном по одному из предыдущих пунктов, в котором хроматические координаты (u,v) задаются относительно заранее определенной точки белого, такой как, предпочтительно, D65.

8. Способ кодирования цветов видео изображений с высоким динамическим диапазоном по одному из предыдущих пунктов, в котором формируется сигнал (S_im) изображения, который содержит изображение пиксельной матрицы с цветами пикселей, кодированными одной цветовой компонентой, являющейся кодом яркости, и связанных с ним метаданных, содержащих по меньшей мере один из параметров ρ и гамма.

9. Устройство видео кодирования для кодирования видео изображений с высоким динамическим диапазоном, содержащее:

- вход для получения цветов пикселей входного изображения с высоким динамическим диапазоном, причем цвета пикселей имеют информацию светимости и хроматичности;

- блок (202) управления ранжированием, выполненный с возможностью применения функции, обратной функции отображения, для выведения кода (v) яркости светимости цвета пикселя, причем функция отображения заранее определена как содержащая первую частичную функцию, которая задается как

,

где ρ - настроечная постоянная, и v - код яркости, соответствующие светимости, подлежащей кодированию, и второе частичное отображение, заданное как

, которое является гамма-преобразованием, где L_m - пиковая светимость заранее заданного эталонного дисплея, и гамма - постоянная, которая, предпочтительно, равна 2,4,

- кодер (210), подключенный к соединению (221) для передачи видео, способный подключаться к видеопамяти или сети, выполненный с возможностью кодирования и передачи сигнала S_im изображения, содержащего изображение пиксельной матрицы с цветами пикселей, кодированными одной цветовой компонентой, являющейся кодом яркости, и связанных с ним метаданных, содержащих по меньшей мере один из параметров ρ и гамма.

10. Устройство видео кодирования по п. 9, содержащее блок (203) пользовательского интерфейса, позволяющий выбирать конкретное значение ρ и/или гамма.

11. Устройство видео кодирования по п. 9, содержащее блок (227) автоматического анализа изображения, выполненный с возможностью определения конкретного значения ρ и/или гамма на основании статистического анализа светимостей объектов, присутствующих в по меньшей мере одном из изображений (HDR_ORIG) с высоким динамическим диапазоном.

12. Устройство видео кодирования по любому из пунктов устройства кодирования, в котором блок (202) управления ранжированием выполнен с возможностью определения хроматических компонент пикселей изображения (HDR_ORIG) с высоким динамическим диапазоном как:

и

13. Устройство (301) отображения цветов для закодированных (S_im) видео изображений с высоким динамическим диапазоном, содержащее:

- блок (388) приема и форматирования, выполненный с возможностью приема закодированных (S_im) изображений с высоким динамическим диапазоном и выведения из него закодированного (Im_1) изображения, содержащего коды яркости, полученные согласно способу кодирования по п. 1, для обработки;

- блок (305) отображения цветов, выполненный с возможностью применения стратегии отображения цветов для выведения из закодированного (Im_1) изображения изображения (REC_HDR) с высоким динамическим диапазоном, причем блок отображения цветов выполнен с возможностью применения к яркостям v пикселей в закодированном (Im_1) изображении заранее определенной функции отображения, заданной как содержащая первую частичную функцию, которая равна

, где L_m - пиковая светимость заранее заданного эталонного дисплея, и гамма - постоянная, которая, предпочтительно, равна 2,4 для получения светимостей L пикселей изображения (REC_HDR) с высоким динамическим диапазоном.

14. Устройство (301) отображения цветов для закодированных (S_im) видео изображений с высоким динамическим диапазоном по п. 13, в котором:

- блок (388) приема и форматирования выполнен с возможностью выведения из закодированных (S_im) изображений с высоким динамическим диапазоном по меньшей мере одного из параметров ρ, гамма или L_m.

15. Устройство (301) отображения цветов для закодированных (S_im) видеоизображений с высоким динамическим диапазоном по любому из предыдущих пунктов устройства отображения цветов, в котором блок (305) отображения цветов дополнительно выполнен с возможностью приема хроматических координат (u,v) для цветов пикселей и применения преобразования для отображения совместно с информацией светимостей компонент u и v цветов пикселей изображения Im_1 в универсальное представление цветов, например представление XYZ CIE цветов, или в зависящее от устройства представление цветов, например RGB.

16. Устройство (301) отображения цветов для закодированных (S_im) видео изображений с высоким динамическим диапазоном по любому из вышеупомянутых пунктов устройства отображения цветов, в котором блок (305) отображения цветов дополнительно выполнен с возможностью применения второй стратегии отображения цветов с использованием параметров дополнительного отображения цветов, совместно закодированных как метаданные, указывающие отображение цветов в изображение с динамическим диапазоном, отличным от динамического диапазона, заданного изображением (REC_HDR) с высоким динамическим диапазоном.

17. Дисплей, содержащий устройство отображения цветов по любому из предыдущих пунктов устройства отображения цветов.

18. Способ отображения цветов для видео изображений с высоким динамическим диапазоном, содержащий этапы, на которых:

- принимают закодированное видео изображений (S_im) с высоким динамическим диапазоном и извлекают из них закодированное (Im_1) изображение для обработки, и

- отображают цвета путем применения стратегии отображения цветов для выведения изображения (REC_HDR) с высоким динамическим диапазоном из закодированного (Im_1) изображения, причем блок отображения цветов выполнен с возможностью применения к яркостям v пикселей в закодированном (Im_1) изображении заранее определенной функции отображения, заданной как содержащая первую частичную функцию, которая равна

, где ρ - настроечная постоянная, и v - код яркости, соответствующие светимости, и второе частичное отображение, заданное как

, которое является гамма-преобразованием, где L_m - пиковая светимость заранее заданного эталонного дисплея, и гамма - постоянная, которая, предпочтительно, равна 2,4 для получения светимостей L пикселей изображения (REC_HDR) с высоким динамическим диапазоном.