RU2736103C2 - Переформирование сигналов для сигналов широкого динамического диапазона - Google Patents

Переформирование сигналов для сигналов широкого динамического диапазона Download PDF

Info

Publication number
RU2736103C2
RU2736103C2 RU2019118419A RU2019118419A RU2736103C2 RU 2736103 C2 RU2736103 C2 RU 2736103C2 RU 2019118419 A RU2019118419 A RU 2019118419A RU 2019118419 A RU2019118419 A RU 2019118419A RU 2736103 C2 RU2736103 C2 RU 2736103C2
Authority
RU
Russia
Prior art keywords
color
image
color space
generate
function
Prior art date
Application number
RU2019118419A
Other languages
English (en)
Other versions
RU2019118419A3 (ru
RU2019118419A (ru
Inventor
Робин АТКИНС
Пэн ИНЬ
Таожань ЛУ
Жаклин Энн ПИТЛАРЦ
Original Assignee
Долби Лэборетериз Лайсенсинг Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Долби Лэборетериз Лайсенсинг Корпорейшн filed Critical Долби Лэборетериз Лайсенсинг Корпорейшн
Publication of RU2019118419A publication Critical patent/RU2019118419A/ru
Publication of RU2019118419A3 publication Critical patent/RU2019118419A3/ru
Application granted granted Critical
Publication of RU2736103C2 publication Critical patent/RU2736103C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в улучшении обратной совместимости. Способ улучшения обработки изображений широкого динамического диапазона, в котором обращаются с помощью процессора к вводимому изображению в линейном цветовом пространстве RGB; генерируют первое изображение в LMS цветовом пространстве путем применения к вводу изображения преобразования цвета RGB к LMS; применяют нелинейную функцию к каждой компоненте цвета первого изображения для генерирования компонент цвета второго изображения в нелинейном LMS цветовом пространстве и генерируют выводимое изображение в цветовом пространстве ICtCp путем применения 3x3 матрицы преобразования цвета к компонентам цвета второго изображения. 5 н. и 11 з.п. ф-лы, 2 табл., 10 ил.

Description

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
[0001] Данная заявка запрашивает приоритет предварительных заявок США № 62/302 073, зарегистрированной 1 марта 2016, № 62/300 012, зарегистрированной 25 февраля 2016, № 62/278 362, зарегистрированной 13 января 2016, № 62/202 980, зарегистрированной 10 августа 2015, и № 62/200 797, зарегистрированной 4 августа 2015, каждая из которых полностью включена в данную работу посредством ссылки.
ТЕХНОЛОГИЯ
[0002] Настоящее изобретение относится в общем случае к изображениям. Более конкретно, вариант осуществления настоящего изобретения относится к переформированию сигнала изображений с широким динамическим диапазоном для улучшения обратной совместимости.
УРОВЕНЬ ТЕХНИКИ
[0003] В данной работе термин «динамический диапазон» (DR) может относиться к возможности зрительной системы человека (HVS) воспринимать диапазон интенсивности (например, яркости, luma) на изображении, например, от самых темных участков («теней») до самых ярких белых участков (т.е. «светлых участков»). В этом смысле DR относится к «относящейся к сцене» интенсивности. DR может также относиться к возможности устройства отображения приемлемо или приблизительно визуализировать диапазон интенсивности определенной ширины. В этом смысле DR относится к «относящейся к отображению» интенсивности. Если конкретный смысл явно не определен, как имеющий конкретное значение в любом месте в данном описании, то следует предполагать, что данный термин может использоваться в любом из смыслов, например, взаимозаменяемо.
[0004] В данной работе термин «широкий динамический диапазон» (HDR) относится к ширине DR, охватывающей около 14-15 порядков величины зрительной системы человека (HVS). На практике DR, по которому человек может одновременно воспринимать большой охват диапазона интенсивности, может быть несколько усеченным относительно HDR. В данной работе термины расширенный динамический диапазон (EDR) или визуальный динамический диапазон (VDR) могут отдельно или взаимозаменяемо относиться к DR, который воспринимается на сцене или изображении с помощью зрительной системы человека (HVS), что включает в себя движения глаз, допуская некоторые изменения адаптации света по сцене или изображению. В данной работе EDR может относиться к DR, который охватывает 5-6 порядков величины. Поэтому, хотя EDR, возможно, несколько уже по отношению к истинной картине указанного HDR, тем не менее он представляет собой большую ширину DR и может также упоминаться в качестве HDR.
[0005] На практике изображения содержат одну или большее количество компонент цвета (например, яркость Y и цветность Cb и Cr), причем каждая компонента цвета представлена с точностью n-бит-на-пиксель (например, n=8). Используя линейное кодирование яркости, изображения, где n ≤ 8 (например, цветные 24-битовые изображения JPEG) считают изображениями стандартного динамического диапазона, в то время как изображения, где n > 8, можно считать изображениями расширенного динамического диапазона. Изображения EDR и HDR могут также храниться и распространяться, используя форматы с плавающей точкой высокой точности (например, 16-битовые), такие как формат файла OpenEXR, разработанный компанией Industrial Light and Magic.
[0006] Если имеется видеопоток, то информация о его параметрах кодирования обычно встраивается в битовый поток в качестве метаданных. В данной работе термин «метаданные» относится к любой вспомогательной информации, которая передается как часть кодированного битового потока и помогает декодеру визуализировать декодируемое изображение. Такие метаданные могут включать в себя, но не ограничены ими, информацию цветового пространства или палитры, параметры эталонного дисплея и вспомогательные параметры сигнала, которые описаны в данной работе.
[0007] Большинство потребительских настольных дисплеев в настоящее время поддерживают яркость 200-300 кд/м2 или нит. Большинство потребительских HDTV находятся в диапазоне от 300 до 500 нит, причем новые модели достигают 1000 нит (кд/м2). Такие обычные дисплеи поэтому олицетворяют более низкий динамический диапазон (LDR), также называемый стандартным динамическим диапазоном (SDR), относительно HDR или EDR. Поскольку доступность контента HDR растет из-за усовершенствования и оборудования фиксации изображений (например, камер), и дисплеев HDR (например, профессиональный эталонный монитор PRM-4200 от Dolby Laboratories), контент HDR может подвергаться цветокоррекции и отображаться на дисплеях HDR, которые поддерживают более высокие динамические диапазоны (например, от 1000 нит до 5000 нит или больше). В общем случае, без ограничения, способы настоящего раскрытия относятся к любому динамическому диапазону, который выше, чем SDR. Как оценивают изобретатели в данной работе, необходимы улучшенные методики кодирования изображений широкого динамического диапазона.
[0008] Подходы, описанные в этой статье, являются подходами, которые могли рассматриваться, но не обязательно являются подходами, которые предложены или рассмотрены ранее. Поэтому, если иное не указано, не следует предполагать, что любой из подходов, описанных в этой статье, квалифицируется в качестве предшествующего уровня техники просто на основании их включения в эту статью. Точно так же не следует предполагать, что проблемы, идентифицированные по отношению к одному или большему количеству подходов, обнаруживаются в любом из предшествующих уровней техники, на основе этой статьи, если иное не указано.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0009] Вариант осуществления настоящего изобретения показывает в качестве примера, а не посредством ограничения, фигуры сопроводительных чертежей, на которых одинаковые ссылочные числа относятся к одинаковым элементам, и на которых:
[00010] Фиг. 1 изображает примерный процесс конвейера доставки видео;
[00011] Фиг. 2 изображает примерный процесс преобразования цветов в цветовое пространство IPT-PQ;
[00012] Фиг. 3 изображает примерный процесс переформирования и кодирования сигнала;
[00013] Фиг. 4 изображает примерную кривую сопоставления тонов для переформирования яркости между ST 2084 IPT и BT 1866 IPT согласно варианту осуществления этого изобретения;
[00014] Фиг. 5 изображает примерную систему обратно совместимого кодирования и декодирования, используя переформирование цветового пространства согласно варианту осуществления этого изобретения;
[00015] Фиг. 6 изображает примерную последовательность операций для генерации матрицы поворота цвета и масштабирования согласно варианту осуществления этого изобретения;
[00016] Фиг. 7A и фиг. 7B изображают функции переформирования тона и насыщенности согласно варианту осуществления этого изобретения;
[00017] Фиг. 8 изображает пример переформирование тона и насыщенности между цветовыми пространствами IPT-PQ и YCbCr-гамма согласно варианту осуществления этого изобретения; и
[00018] Фиг. 9 изображает пример функции EETF согласно варианту осуществления этого изобретения.
ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
[00019] В данной работе описаны переформирование и кодирование сигналов изображений широкого динамического диапазона (HDR). В последующем описании в целях объяснения многочисленные конкретные подробности сформулированы для обеспечения полного понимания настоящего изобретения. Будет очевидно, однако, что настоящее изобретение может применяться без этих конкретных подробностей. В других случаях известные структуры и устройства не описаны в исчерпывающих подробностях во избежание ненужного затруднения, сокрытия или усложнения понимания настоящего изобретения.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[00020] Примерные варианты осуществления, описанные в данной работе, относятся к переформированию и кодированию изображений широкого динамического диапазона. В способе улучшения обратно совместимого декодирования в кодере процессор обращается к базе данных изображений и
вычисляет значения первого тона изображений в базе данных в первом цветовом пространстве;
вычисляет значения второго тона изображений в базе данных во втором цветовом пространстве;
вычисляет угол поворота тона на основе минимизации стоимостной функции тона, причем стоимостная функция тона основана на показателе различия значений первого тона и значений повернутого второго тона; и
генерирует матрицу поворота цвета на основе угла поворота тона.
[00021] В варианте осуществления первое цветовое пространство является основанным на YCbCr-гамме цветовым пространством, а второе цветовое пространство является основанным на IPT PQ цветовым пространством.
[00022] В варианте осуществления матрица поворота цвета используется для генерации переформированного цветового пространства на основе предпочтительного цветового пространства. Изображения кодируются, используя переформированное цветовое пространство, и информация о матрице поворота цвета передается с кодера на декодер.
[00023] В варианте осуществления, в декодере, в способе восстановления вводимого изображения, кодированного в переформированном цветовом пространстве, декодер:
принимает вводимое изображение, кодированное в переформированном цветовом пространстве, причем переформированное цветовое пространство генерируется с помощью поворота компонент цветности предпочтительного цветового пространства для аппроксимации одного или большего количества параметров унаследованного цветового пространства;
обращается к метаданным, переданным с кодера на декодер, причем метаданные связаны с вводимым кодированным изображением и содержат:
флаг, указывающий на присутствие или отсутствие матрицы поворота цвета и масштабирования; и
множество коэффициентов для матрицы поворота цвета и масштабирования, когда флаг указывает на присутствие матрицы поворота цвета и масштабирования;
декодирует вводимое кодированное изображение для генерации декодированного изображения в переформированном цветовом пространстве; и
генерирует декодируемое изображение в предпочтительном цветовом пространстве на основе декодированного изображения в переформированном цветовом пространстве и матрицы поворота цвета и масштабирования.
[00024] В другом варианте осуществления, в кодере, процессор:
принимает вводимое изображение в предпочтительном цветовом пространстве;
обращается к функции поворота тона, причем для значения тона пикселя во вводимом изображении в предпочтительном цветовом пространстве функция поворота тона генерирует выводимое значение повернутого тона, которое соответствует согласно стоимостному критерию тона значению тона в унаследованном цветовом пространстве;
генерирует переформированное изображение на основе вводимого изображения и функции поворота тона; и
кодирует переформированное изображение для генерации кодированного переформированного изображения.
[00025] В другом варианте осуществления, в декодере, процессор:
обращается к вводимому изображению, кодированному в переформированном цветовом пространстве;
обращается к метаданным, связанным с вводимым изображением, причем метаданные содержат данные, связанные с функцией поворота тона, используемой для преобразования вводимого изображения из предпочтительного цветового пространства в переформированное цветовое пространство, причем для значения тона пикселя во вводимом изображении в предпочтительном цветовом пространстве функция поворота тона генерирует выводимое значение повернутого тона, которое соответствует согласно стоимостному критерию тона значению тона в унаследованном цветовом пространстве; и
генерирует изображение выводимого сигнала в предпочтительном цветовом пространстве на основе вводимого изображения и данных, связанных с функцией поворота тона.
Примерный конвейер обработки доставки видео
[00026] Фиг. 1 изображает примерный процесс обычного конвейера доставки видео (100), показывающий различные каскады от фиксации видео до отображения видеоконтента. Последовательность видеокадров (102) фиксируется или генерируется, используя блок (105) формирования изображения. Видеокадры (102) могут в цифровой форме фиксироваться (например, с помощью цифрового фотоаппарата) или генерироваться с помощью компьютера (например, используя компьютерную анимацию) для обеспечения видеоданных (107). Также видеокадры (102) могут фиксироваться на пленке с помощью пленочной фотокамеры. Пленка преобразуется в цифровой формат для обеспечения видеоданных (107). В фазе съемки (110) видеоданные (107) редактируются для обеспечения потока (112) съемки видео.
[00027] Видеоданные потока (112) съемки затем обеспечиваются к процессору в блоке (115) послесъемочного редактирования. Послесъемочное редактирование (115) может включать в себя корректировку или модификацию цветов или яркости в конкретных областях изображения для улучшения качества изображения или достижения конкретного вида изображения в соответствии с творческим замыслом создателя видео. Это иногда называют «цветоустановка» или «цветокоррекция». Другое редактирование (например, выбор и упорядочивание сцен, обрезка изображения, добавление генерируемых с помощью компьютера визуальных спецэффектов и т.д.) может выполняться в блоке (115), приводя к окончательной версии (117) съемки для распространения. Во время послесъемочного редактирования (115) видеоизображения просматривают на эталонном дисплее (125).
[00028] После послесъемочного этапа (115) видеоданные (117) готовой продукции могут доставляться в блок (120) кодированию для доставки в нисходящем направлении декодерам и устройствам воспроизведения, таким как телевизоры, абонентские устройства, кинотеатры и т.п. В некоторых вариантах осуществления кодер (120) может включать в себя аудио и видео кодеры, такие, как определяемые ATSC, DVB, DVD, Blu-ray и другими форматами доставки, для генерации кодированного битового потока (122). В приемнике кодированный битовый поток (122) декодируется с помощью блока (130) декодирования для генерации декодированного сигнала (132), представляющего идентичный сигнал или близкую аппроксимацию сигнала (117). Приемник может присоединяться к целевому дисплею (140), который может иметь совершенно другие характеристики, чем эталонный дисплей (125). В этом случае блок (135) управления отображением может использоваться для сопоставления динамического диапазона декодируемого сигнала (132) с характеристиками целевого дисплея (140) путем генерации сопоставленного с дисплеем сигнала (137).
Цветовое пространство IPT-PQ
[00029] В предпочтительном варианте осуществления, без ограничения, часть конвейера обработки, например, кодирование (120), декодирование (130) и управление (135) отображением может выполняться в цветовом пространстве, на которое будут ссылаться как на цветовое пространство IPT-PQ. Использование в качестве примера цветового пространства IPT-PQ для применения для управления отображением может быть найдено в публикации WIPO WO 2014/130 343, R. Atkins и др. «Display Management for High Dynamic Range Video», которая включена полностью посредством ссылки. Цветовое пространство IPT, которое описано в «Development and testing of a color space (ipt) with improved hue uniformity», F. Ebner and M.D. Fairchild, in Proc. 6th Color Imaging Conference: Color Science, Systems, and Applications, IS&T, Scottsdale, Arizona, Nov. 1998, pp. 8-13 (на который ссылаются как на документ Ebner), который включен в данную работу полностью посредством ссылки, является моделью цветового различия между конусами в зрительной системе человека. В этом смысле оно похоже на цветовые пространства YCbCr или CIE-Lab; однако, в некоторых научных исследованиях было показано, что оно лучше имитирует визуальную обработку человека, чем эти пространства. Как CIE-Lab, IPT является пространством, нормализованным к некоторой эталонной яркости. В варианте осуществления нормализация основана на максимальной яркости целевого дисплея (например, 5000 нит).
[00030] В данной работе термин «PQ» относится к перцепционному квантованию. Зрительная система человека реагирует на увеличивающиеся уровни света очень нелинейно. Способность человека видеть стимул находится под влиянием яркости этого стимула, размера стимула, пространственной частоты создания стимула и уровня яркости, к которому адаптировались глаза в определенный момент, когда наблюдают стимул. В предпочтительном варианте осуществления функция средства перцепционного квантования сопоставляет линейные вводимые уровни серого с выводимыми уровнями серого, которые лучше соответствуют контрастным пороговым значениям чувствительности в зрительной системе человека. Примеры функции сопоставления PQ описаны в патенте США № 9 077 994 (на который ссылаются как на «патент 994»), J. S. Miller и др., который включен в данную работу полностью посредством ссылки, части которого заимствованы в спецификации SMPTE ST 2084:2014, озаглавленной «High Dynamic Range Electro-optical Transfer Function of Mastering Reference Displays», от 16 августа 2014, включенной в данную работу полностью посредством ссылки, где при заданном фиксированном размере стимула для каждого уровня яркости (т.е. уровня стимула) минимальный видимый перепад контрастности на этом уровне яркости выбирают согласно самому чувствительному уровню адаптации и самой чувствительной пространственной частоте (согласно моделям HVS). По сравнению с традиционной гамма-кривой, которая представляет кривую реакции физического устройства «электронно-лучевая трубка» (CRT) и одновременно может иметь очень грубое подобие того, как реагирует зрительная система человека, кривая PQ, которая определена «патентом 994», имитирует точную визуальную реакцию зрительной системы человека с помощью относительно простой функциональной модели.
[00031] Фиг. 2 изображает более подробно примерный процесс (200) преобразования цветов в цветовое пространство IPT-PQ согласно варианту осуществления. Как изображено на фиг. 2, если имеется вводимый сигнал (202), который находится в первом цветовом пространстве (например, RGB), преобразование цветового пространства в перцепционно-откорректированное цветовое пространство IPT (IPT-PQ) может содержать следующие этапы:
a) На дополнительном этапе (210) могут нормализовать значения пикселей вводимого сигнала (202) (например, от 0 до 4095) в значения пикселей с динамическим диапазоном между 0 и 1.
b) Если вводимый сигнал (202) является гамма-кодированным или PQ-кодированным (например, согласно BT 1866 или SMPTE ST 2084), то на дополнительном этапе (215) могут использовать оптико-электронную передаточную функцию (EOTF) сигнала (которая обеспечивается с помощью метаданных сигнала) для инвертирования или отмены исходного преобразования дисплея из кодовых значений в яркость. Например, если вводимый сигнал является гамма-кодированным, то на этом этапе применяют обратную гамма-функцию. Если вводимый сигнал является PQ-кодированным согласно SMPTE ST 2084, то на этом этапе применяют обратную функцию PQ. На практике этапы нормализации (210) и обратного нелинейного кодирования (215) могут выполняться с помощью предварительно вычисленной 1-D поисковой таблицы (LUT) для генерации линейного сигнала 217.
c) На этапе (220) линейный сигнал 217 преобразовывают из его исходного цветового пространства (например, RGB, XYZ и т.п.) в цветовое пространство LMS. Например, если исходный сигнал находится в RGB, то этот этап может содержать два этапа, на которых: преобразовывают цвет из RGB в XYZ и преобразовывают цвет из XYZ в LMS. В варианте осуществления, без ограничения, преобразование из XYZ в LMS может задаваться с помощью
Figure 00000001
. (1a)
[00032] В другом варианте осуществления, как описано во временной патентной заявке США № 62/056 093, зарегистрированной 26 сентября 2014, озаглавленной «Encoding and decoding perceptually-quantized video content» (зарегистрированной также как PCT/US2015/051 964 24 сентября 2015), которая включена в данную работу полностью посредством ссылки, полная эффективность кодирования в цветовом пространстве IPT-PQ может дополнительно увеличиваться, если внедряют матрицу перекрестных помех
Figure 00000002
как часть преобразования из XYZ в LMS. Например, для c=0,02, умножение матрицы перекрестных помех на матрицу 3×3 в уравнении (1a) приводит к:
Figure 00000003
. (1b)
Точно так же для c=0,04, в другом варианте осуществления, умножение матрицы перекрестных помех с исходным XYZ на матрицу LMS (например, уравнение (1a)), приводит к:
Figure 00000004
. (1c)
d) По данным документа Ebner, преобразование цветового пространства из традиционного LMS в IPT содержит применение сначала нелинейной функции мощности к данным LMS и затем применение матрицы линейного преобразования. Хотя можно преобразовывать данные из LMS в IPT и затем применять функцию PQ, чтобы быть в области IPT-PQ, в предпочтительном варианте осуществления на этапе (225) традиционная функция мощности для нелинейного кодирования из LMS в IPT заменена нелинейным кодированием PQ каждой из компонент L, M и S.
e) Используя линейное преобразование из LMS в IPT (например, как определено в документе Ebner), на этапе (230) завершают преобразование сигнала 222 в цветовое пространство IPT-PQ. Например, в варианте осуществления преобразование из L'M'S' в IPT-PQ может задаваться с помощью
Figure 00000005
. (2a)
В другом варианте осуществления эксперименты показали, что может быть предпочтительно, чтобы I' компонента могла получаться без какой либо зависимости от S' компоненты, следовательно, уравнение (2a) может стать:
Figure 00000006
. (2b)
IPT-PQ в сравнении с YCbCr-гамма
[00033] Большинство существующих стандартов сжатия видео, таких как MPEG 1, MPEG 2, AVC, HEVC и т.п., тестировалось, оценивалось и оптимизировалось для гамма-кодированных изображений в цветовом пространстве YCbCr; однако, результаты эксперимента показали, что цветовое пространство IPT-PQ может обеспечивать лучший формат представления для изображений широкого динамического диапазона с 10 или большим количеством бит на пиксель для компоненты цвета. Кодирование сигнала в цветовых пространствах, которые лучше подходят для HDR и сигналов широкого цветового охвата (например, IPT-PQ), может привести к лучшему качеству общей картины; однако, унаследованные декодеры (например, абонентские устройства и т.п.) могут не иметь возможности выполнять надлежащее декодирование и преобразование цветов. Для улучшения обратной совместимости, так, чтобы даже устройства, которые не знают о новых цветовых пространствах, могли генерировать приемлемое изображение, как оценивают изобретатели, необходимы новые методики переформирования сигнала.
[00034] Фиг. 3 изображает примерный процесс переформирования и кодирования сигнала согласно варианту осуществления. Как изображено на фиг. 3, если имеется вводимый сигнал (302), то блок (305) прямого переформирования цвета применяет, по мере необходимости, функции преобразования и/или переформирования цвета для генерации сигнала (307) в предпочтительном цветовом пространстве (например, IPT-PQ-r). Связанные с переформированием метаданные (309) могут также генерироваться и передаваться в последующие блоки конвейера кодирования, такие как кодер (310), декодер (315) и блок (320) обратного переформирования цвета.
[00035] Декодер после приема кодированного сигнала (315) будет применять декодирование (315) (такое как HEVC-декодирование) для генерации декодированного сигнала (317). Декодер, знающий о предпочтительном цветовом пространстве HDR-WCG кодирования (например, IPT-PQ-r), будет применять надлежащее обратное или реверсивное переформирование (320) для генерации сигнала (322) в надлежащем цветовом пространстве (например, IPT-PQ). Затем сигнал (322) может преобразовываться в YCbCr или RGB для дополнительной последующей обработки, хранения или отображения.
[00036] Унаследованный декодер, который не знает о предпочтительном пространстве HDR-WCG кодирования, может рассматривать пространство HDR-WCG в качестве унаследованного цветового пространства (например, гамма-кодированного YCbCr); однако, из-за блока (305) прямого переформирования цвета, выводимый сигнал (317) может все еще иметь приемлемое качество изображения, несмотря на то, что никакое обратное переформирование или другое преобразование цвета не применяется к выводимому сигналу (317) декодера.
Переформирование цвета
[00037] Рассматривают, без потери общности, цветовое пространство IPT-PQ. В варианте осуществления линейная матрица переформирования (например, матрица 3×3) генерируется для перцепционного соответствия цвета кожи в сигнале IPT-PQ с цветом кожи в сигнале YCbCr-гамма. Такое преобразование цвета не имеет никакого влияния на производительность большинства приложений для обработки изображений в цветовом пространстве IPT, все же значительно улучшает воспроизведение цвета с помощью унаследованного устройства. Вместо или кроме цвета кожи, аналогичные матрицы преобразования могут также генерироваться для определения соответствия для других важных цветов, таких как цвет зелени, неба и т.д. В варианте осуществления матрица переформирования может вычисляться следующим образом:
[00038] a) Загружают базу данных цветов кожи, например, спектр коэффициентов отражения, и преобразовывают их в независимое от устройств цветовое пространство, такое как XYZ;
[00039] b) Преобразовывают базу данных цветов кожи из XYZ в унаследованный формат цветового пространства (например, YCbCr, Rec. 709). Этот этап может включать в себя, например, следующие подэтапы:
b.1) Преобразовывают базу данных в RGB (Rec. 709);
b.2) Применяют гамму к значениям RGB (например, согласно BT 1886) для генерации гамма-кодированного R'G'B' сигнала;
b.3) Преобразовывают R'G'B' сигналы в значения YCbCr-гамма (например, согласно Rec. 709);
b.4) Вычисляют значения тона (например, Hue YCbCr =tan -1(
Figure 00000007
)) сигналов YCbCr-гамма;
b.5) Вычисляют значения насыщенности (например, Sat YCbCr =
Figure 00000008
) сигналов YCbCr-гамма;
[00040] c) Вычисляют значения цвета кожи в базе данных в предпочтительном цветном формате (например, IPT-PQ). Этот этап может включать в себя следующие подэтапы:
c.1) Преобразовывают из XYZ в LMS;
c.2) Преобразовывают из LMS в L'M'S' и в I'P'T' с помощью применения PQ (например, согласно ST 2084);
c.3) Вычисляют значения тона (например, Hue IPT =tan-1(
Figure 00000009
);
c.4) Вычисляют значения насыщенности (Sat IPT =
Figure 00000010
);
[00041] d) Вычисляют матрицу поворота для поворота значений IPT так, чтобы цвета кожи в повернутом или переформированном IPT-PQ (например, IPT-PQ-r) были выровнены с цветами кожи в YCbCr-гамме. В варианте осуществления этот этап вычисляется с помощью оптимизации стоимостной функции, относящейся к значениям тона и насыщенности образцов в этих двух цветовых пространствах. Например, в варианте осуществления стоимостная функция может представлять среднеквадратичную погрешность (MSE) между унаследованным цветовым пространством (например, YCbCr) и повернутым предпочтительным цветовым пространством HDR (например, IPT-PQ). Например, пусть
Figure 00000011
(3)
обозначает связанную с тоном стоимостную функцию, где HueIPT-PQ-r обозначает тон переформированного цвета (то есть, IPT-PQ-r) и может определяться как
Figure 00000012
(4)
где все обратные функции tan вычисляются в (-π, π).
[00042] В варианте осуществления можно применять любые известные методики оптимизации из предшествующего уровня техники, чтобы найти значение угла «a», обозначенное как a', минимизировать стоимостную функцию согласно заданному критерию. Например, можно применять функцию MATLAB fminunc (fun, x0), при fun=CostH и x0=0,1. Если имеется a', то матрица R поворота может определяться как
Figure 00000013
. (5)
[00043] В качестве примера, на основе базы данных-образца, в варианте осуществления, для a'=71,74 градуса
Figure 00000014
. (6)
[00044] Если имеется R и исходная матрица из L'M'S' в I'P'T' LMS2IPTmat (см., например, уравнение (2)), то для преобразования в переформированное цветовое пространство IPT-PQ-r можно использовать новую матрицу LMS2IPTmat-r, определенную как:
LMS2IPTmat-r=RT*LMS2IPTmat=((LMS2IPTmatT*R))T, (7)
где AT обозначает транспонирование матрицы A.
[00045] В варианте осуществления, в дополнение к выравниванию тонов для цвета кожи, можно также выравнивать насыщенность. Это может включать в себя следующие этапы:
a) Применяют R к исходным данным IPT-PQ для генерации данных значений цветности PR и TR с повернутым цветом.
b) Определяют стоимостную функцию насыщенности, например, MSE между значениями насыщенности в исходном и целевом цветовых пространствах:
Figure 00000015
(8), где
Figure 00000016
, (9)
и
c) Пусть b' обозначает значение b, которое оптимизирует
Figure 00000017
. Тогда можно применять вектор масштабирования
Figure 00000018
(10)
к матрице поворота цветности для формирования единой матрицы 3×3 поворота цвета и масштабирования
Figure 00000019
.(11)
[00046] В некоторых вариантах осуществления стоимостная функция тона и стоимостная функция насыщенности (например, уравнения (3) и (8)) могут объединяться в единую стоимостную функцию тона/насыщенности и решаться и для a', и для b' одновременно. Например, из уравнения (11), в варианте осуществления, для
Figure 00000020
, (12)
уравнение (4) может модифицироваться как
Figure 00000021
, (13)
и можно решать уравнение (3) и для оптимального a', и для оптимальных коэффициентов bi' (i=1-4) масштабирования.
[00047] Например, в варианте осуществления, для a'=65 градусов и b1'=1,4, b2'=1,0, b3'=1,4 и b4'=1,0, уравнение (12) приводит к:
Figure 00000022
. (12b)
Переформирование тона
[00048] Предложенная матрица R поворота может улучшать воспроизведение цвета; однако, декодируемое изображение (317) все еще может восприниматься, как имеющее низкий контраст из-за различия в нелинейных кодирующих функциях EOTF (например, ST 2084 по сравнению с BT 1866). В варианте осуществления контраст можно улучшать с помощью применения 1-D кривой сопоставления тона к каналу яркости (например, I'). Этот этап может включать в себя следующие подэтапы:
a) Применяют кривую сопоставления тона (например, сигмовидную) для сопоставления исходного контента из исходной максимальной яркости HDR (например, 4000 нит) в целевую яркость SDR (например, 100 нит). Пример такой сигмовидной функции может быть найден в патенте США 8,593 480 «Method and Apparatus for Image Data Transformation», A. Ballestad и A. Kostin, который включен в данную работу полностью посредством ссылки. Примеры альтернативных функций переформирования также раскрыты в публикации WIPO WO 2014/160 705 «Encoding perceptually-quantized video content in multi-layer VDR coding», которая включена в данную работу полностью посредством ссылки. Пусть
Figure 00000023
обозначает выводимый сигнал функции f() сопоставления тона, тогда
b) Линеаризуют
Figure 00000024
(например, применяют обратную PQ- или гамма-функцию) для генерации линейных данных IT; и
c) Применяют унаследованное кодирование EOTF (например, BT 1866) к линеаризованному IT сигналу для генерации гамма-кодированного сигнала яркости, который будет сжат и передан кодером.
[00049] Пример такого сопоставления между ST 2084 (PQ) и BT 1866 показан на фиг. 4. Кривая имеет более высокий полутоновый контраст, более слабые «тени» и более яркие (с меньшим контрастом) «светлые участки». Это выравнивает тоновую шкалу более тесно со стандартным SDR, так, чтобы, когда вводимая информация декодировалась с помощью унаследованного устройства, изображение было все еще видимым. На фиг. 4, без потери общности, вводимые и выводимые значения нормализованы к (0, 1).
[00050] Информация о переформировании может передаваться от кодера к остальной части конвейера в качестве метаданных. Параметры переформирования могут определяться во множестве моментов времени, например, на основе кадров, на основе сцены или на основе последовательности, чтобы они приводили к самой лучшей эффективности для заданной видео последовательности.
[00051] Несмотря на то, что это описание фокусируется на цветовом пространстве IPT-PQ, эти методики могут в равной степени применяться к другим цветовым пространствам и форматам цвета. Например, подобные методики могут применяться для улучшения обратной совместимости для различных версий YCbCr, например, Rec. 709 YCbCr и Rec. 2020 YCbCr. Таким образом, в варианте осуществления битовый поток Rec. 2020 может корректироваться с помощью методик переформирования сигнала, которые описаны в данной работе, для обеспечения лучшего тона, а выводимый сигнал насыщенности может декодироваться с помощью декодеров унаследованного Rec. 709.
[00052] Фиг. 6 изображает примерную последовательность операций для генерации матрицы поворота цвета и масштабирования согласно варианту осуществления. Если имеется база данных (605) изображений, то на этапе (610) вычисляют значения тона и насыщенности для изображений в базе данных в первом (унаследованном) цветовом пространстве (например, YCbCr-гамма). На этапе (615) вычисляют тон для изображений в базе данных во втором (предпочтительном) цветовом пространстве (например, IPT-PQ).
[00053] Если имеется связанная с тоном стоимостная функция (например, уравнение (3)), то на этапе (620) определяют оптимальный угол a' поворота согласно минимизации стоимостного критерия (такого как среднеквадратичная погрешность (MSE)), которая минимизирует расстояние между тонами, вычисленными в унаследованном цветовом пространстве, и тонами, вычисленными в повернутом предпочтительном цветовом пространстве. На этапе (625) значение a' используется для генерации матрицы поворота цвета.
[00054] Дополнительно может также вычисляться значение масштабирования насыщенности. Если имеется стоимостная функция насыщенности (например, уравнение 8), на этапе (630) дополнительно определяют оптимальное значение b' масштабирования согласно минимизации стоимостного критерия, такого как MSE, между насыщенностью сигналов в первом цветовом пространстве и насыщенностью масштабированных сигналов в предпочтительном цветовом пространстве с повернутым цветом (640, 645).
[00055] Наконец, на этапе (635) угол поворота и значение масштабирования объединяют для генерации матрицы поворота цвета и масштабирования (например, уравнение (11)).
[00056] В кодере кодер будет применять матрицу поворота цвета и масштабирования к вводимым данным в предпочтительном цветовом пространстве для генерации данных в переформированном цветовом пространстве. Данные будут кодироваться (сжиматься) и передаваться в декодер вместе с информацией, относящейся к матрице поворота цвета и масштабирования.
[00057] В декодере унаследованный декодер будет декодировать данные, предполагая, что они кодированы в унаследованном цветовом пространстве. Несмотря на использование информации неправильного цветового пространства, изображения все еще будут видимы с достаточным качеством в более низком динамическом диапазоне. Более новый, имеющий все возможности декодер может использовать преимущества информации принятых метаданных по отношению к матрице поворота цвета и масштабирования для декодирования данных изображения в предпочтительном цветовом пространстве, таким образом обеспечивая зрителю полный широкий динамический диапазон данных.
Синтаксис сообщения SEI для информации переформирования
[00058] Как обсуждается ранее, в одном варианте осуществления матрица (R) поворота и вектор (S) масштабирования могут поглощаться матрицей преобразования из L'M'S' в I'P'T' в (230). Кривая переформирования тона может быть частью блока (305) прямого переформирования цвета. В обоих случаях информация адаптивного переформирования (то есть, матрица и кривая сопоставления тона) может передаваться кодером к декодеру с помощью синтаксиса, предложенного в предварительной заявке США № 62/193 390, зарегистрированной 16 июля 2015, также зарегистрированной в качестве патентной заявки № PCT/US2016/02861 19 апреля 2016, которая включена в данную работу полностью посредством ссылки.
[00059] В другом варианте осуществления, который изображен на фиг. 5, новый блок (510) поворота цвета и масштабирования может добавляться в кодер (500А). Этот блок может добавляться после блока (200) преобразования цвета (например, из RGB в IPT-PQ), но предпочтительно перед блоком (305) прямого переформирования. В декодере (500B), соответствующий блок (515) обратного поворота цвета и масштабирования может добавляться после блока (320) обратного переформирования. Как изображено на фиг. 5, дополнительные блоки преобразования формата цвета (например, из 4:4:4 в 4:2:0 (505) или из 4:2:0 в 4:4:4 (520)) могут добавляться в конвейер кодирования и/или декодирования по мере необходимости.
[00060] С точки зрения синтаксиса можно определять или матрицу поворота 3×3, или просто матрицу 2×2, поскольку обычно канал яркости (например, Y или I) оставляют без изменений. Таблица 1 обеспечивает пример обмена сообщениями SEI для передачи матрицы поворота цвета и масштабирования; однако, сигнализация не ограничена сообщениями SEI; ее можно вставлять в любой синтаксис высокого уровня, как SPS, PPS и т.д.
Таблица 1: Пример обмена сообщениями SEI для матрицы поворота цвета и масштабирования
Colour_Rotation_Scale_Table () { Дескриптор
colour_rotation_scale_matrix_present_flag u(1)
if (colour_rotation_scale_matrix_present_flag) {
for(c=0; c < 2; c++)
for(i=0; i < 2; i++)
colour_rotation_scale_coeffs [c] [i] i(16)
}
}
[00061] colour_rotation_scale_matrix_present_flag, равный 1, указывает, что элементы синтаксиса colour_rotation_scale_coeffs [c] [i] для c и i в диапазоне от 0 до 1, включительно, присутствуют. colour_rotation_scale_matrix_present_flag, равный 0, указывает, что элементы синтаксиса colour_rotation_scale_coeffs [c] [i] для c и i в диапазоне от 0 до 1, включительно, не присутствуют.
[00062] colour_rotation_scale_coeffs [c] [i] определяет значения коэффициентов матрицы «два на два» поворота цвета и масштабирования. Значение colour_rotation_scale_coeffs [c] [i] будет в диапазоне от -2^15 до 2^15 - 1, включительно. Когда colour_rotation_scale_coeffs [c] [i] не присутствует, используется матрица поворота цвета и масштабирования по умолчанию.
[00063] В варианте осуществления и кодер, и декодер могут знать о матрице поворота цвета и масштабирования (например, через взаимное определение нового цветового пространства), следовательно, может не требоваться передавать матрицу поворота цвета с кодера на декодер. В другом варианте осуществления на матрицу поворота цвета и масштабирования можно ссылаться в VUI (информации удобства использования видео) вместе с IPT-PQ.
Переформирование множества тонов и насыщенности
[00064] В некоторых вариантах осуществления может быть выгодно применять переформирование для множества тонов. Это увеличит точность переформированного цветового пространства для соответствия унаследованноым цветам, но за счет дополнительных вычислений в декодере. Рассматривают, например, проблему оптимизации переформирования для N тонов (например, цвета кожи, неба, зелени и т.п.). В варианте осуществления можно повторять процессы, обсуждаемые ранее для идентификации набора оптимальных углов и насыщенности в качестве функции от тона. Например, использование изображений базы данных для множества тонов может генерировать набор оптимальных значения (угол поворота, масштаб насыщенности), например, {(a1, b1), (a2, b2), …, (aN, bN)}. Или более широко, пусть для пикселя p
Figure 00000025
,(14)
Figure 00000026
,
обозначают оптимальные значения поворота цветности (тона) и масштабирования насыщенности, где
Figure 00000027
обозначает показатель тона для пикселя p. Например, для цветового пространства IPT-PQ, функции
Figure 00000028
и
Figure 00000029
могут вычисляться через функции тона
Figure 00000027
и насыщенности s(p):
h(p)=tan -1(
Figure 00000030
), (15)
s(p)=
Figure 00000031
.
[00065] Функции
Figure 00000032
и
Figure 00000033
могут выражаться и храниться множеством способов, известных из предшествующего уровня техники, например, как поисковые таблицы или кусочно-линейные или нелинейные полиномы, и могут передаваться из кодера в декодер в качестве метаданных.
[00066] Если имеются
Figure 00000032
и
Figure 00000033
, кодер применяет следующие функции переформирования к каждому пикселю:
Figure 00000034
, (16)
Figure 00000035
,
для генерации соответствующего переформированного сигнала. Например, для цветового пространства IPT-PQ, переформированные компоненты цвета P' и T' для пикселя p могут быть получены с помощью
Figure 00000036
, (17)
Figure 00000037
.
[00067] В декодере процесс является обратным. Например, если имеются
Figure 00000032
и
Figure 00000033
, из уравнений (14) и (16) декодер генерирует
Figure 00000038
, (18)
Figure 00000039
.
[00068] Следует обратить внимание на то, что для предотвращения разногласий в декодере в некоторых вариантах осуществления кодер может передавать в декодер инверсию
Figure 00000040
(например, значения 1/
Figure 00000041
). Для вводимых данных в пространстве IPT-PQ исходные данные могут генерироваться как
Figure 00000042
, (19)
Figure 00000043
.
[00069] Из уравнения (17), для применения инверсного переформирования для восстановления данных в предпочтительном цветовом пространстве требуются тригонометрические операции. В некоторых вариантах осуществления тригонометрические операции могут выполняться с помощью поисковых таблиц. В качестве примера, из уравнения (18) уравнение (19) может быть переписано как
Figure 00000044
, (20)
Figure 00000045
.
Эти операции могут дополнительно упрощаться с помощью подходящих поисковых таблиц для вычислений косинусной и синусной функций.
[00070] Фиг. 7A изображает пример функции обратного переформирования для преобразования тона из переформированного IPT-PQ-r (который появляется в качестве YCbCr для унаследованного устройства) обратно в IPT-PQ, когда унаследованным цветовым пространством является YCbCr-гамма. Фиг. 7B изображает соответствующую функцию обратного переформирования для корректировки насыщенности. Фиг. 8 изображает, как предпочтительное цветовое пространство IPT-PQ (820) может корректироваться для соответствия характеристикам унаследованного цветового пространства YCbCr (810). Лучи (830) изображают поворот и масштабирование.
[00071] В другом варианте осуществления, вместо вычисления значений P и T на основании косинусной или синусной функций тона, можно создать более простой декодер с поисковыми таблицами, генерируемыми на основе некоторой другой функции тона (например, f(tan- 1(h (p)))). Например, если имеются переформированные компоненты
Figure 00000046
и
Figure 00000047
значения пикселя, в варианте осуществления декодер может восстанавливать исходные значения пикселя следующим образом:
Figure 00000048
,
Figure 00000049
, (21)
Figure 00000050
,
Figure 00000051
,
где v() и w() обозначают относящиеся к тону функции, которые генерировались так, чтобы изображения в переформированном цветовом пространстве соответствовали набору тона и насыщенности в унаследованном цветовом пространстве. Функции v() и w(), как прежде, могут передаваться с кодера на декодер с помощью метаданных, или они могут быть частью заданного протокола или стандарта кодирования, известного и кодеру, и декодеру.
Цветовое пространство ICTCP
[00072] ICTCP, также упоминаемое как ICtCp (или IPT), является предложенным новым цветовым пространством, специально разработанным для обработки сигналов широкого цветового охвата (WCG) и широкого динамического диапазона. Как в ITP-PQ, I (интенсивность) обозначает яркость PQ-кодированного сигнала, CT, тритановая ось, соответствует восприятию сине-желтого цвета, и CP, протановая ось, соответствует восприятию красно-зеленого цвета. В дополнение к обсуждаемым функциям IPT-PQ, в ICTCP:
ак описано ранее, цветность поворачивают для выравнивания цвета кожи более близко к YCbCr
Матрица из XYZ в LMS оптимизируется для лучшей однородности и линейности для изображений WCG
Матрица из L'M'S' в ICtCp оптимизируется для улучшения постоянной яркости и стабильности по отношению к изображениям WCG и HDR.
[00073] В данной работе термин «постоянная яркость» относится к измерению того, как хорошо яркость (например, I в ICtCp или Y' в Y'Cb'Cr') соответствует яркости Y. Косвенно, она измеряется тем, насколько хорошо цветовое пространство отделяет яркость от цветности. Эксперименты, выполненные изобретателями, указывают, что I в ICtCp соответствует яркости намного лучше, чем Y' в Y'Cb'Cr'.
[00074] С точки зрения воплощения, для использования цветового пространства ICTCP требуются те же аппаратные средства и поток сигналов, как при использовании традиционного гамма-кодированного YCbCr. Например, рассматривают использование YCbCr с откорректированной гаммой (Y'Cb'Cr') в конвейере камеры. Исходя из XYZ, для процесса требуются следующие этапы:
a) Преобразовывают из XYZ в RGB BT.2020, используя матрицу 3×3;
b) Применяют обратное EOTF (или OETF) к выводимому сигналу на этапе a); и
c) Применяют матрицу 3×3 к выводимому сигналу на этапе b).
[00075] Как изображено на фиг. 2, для использования цвета ICTCP требуется выполнение следующих этапов:
a) На этапе (220) преобразовывают из XYZ в LMS, используя в предпочтительном варианте осуществления следующую матрицу 3×3:
Figure 00000052
(22)
которая соответствует объединению матрицы 3×3 из XYZ в LMS уравнения (1a) с матрицей перекрестных помех с c=0,04 (см. также уравнение (1c)).
b) На этапе (225) преобразовывают сигнал (222) в L'M'S', как описано ранее, с помощью применения нелинейности PQ.
c) На этапе (230) преобразовывают из L'M'S' в ICTCP, используя матрицу 3×3, которая в предпочтительном варианте осуществления может определяться как:
Figure 00000053
.(23)
Уравнение (23) соответствует умножению матрицы поворота уравнения (12b) на исходную матрицу из L'M'S' в I'P'T' уравнения (2b).
[00076] В другом варианте осуществления этапы a) - c) могут также выражаться следующим образом:
Figure 00000054
,
где
Figure 00000055
,
и
Figure 00000056
, (24)
Figure 00000057
,
Figure 00000058
,
где RGBBT.2020 обозначает триплет значений RGB в BT.2020,
Figure 00000059
обозначает инверсию EOTF согласно SMPTE ST 2084. В некоторых вариантах осуществления функция
Figure 00000059
может быть заменена другой нелинейной функцией квантования, такой как функция Hybrid Log-Gamma (HLG). Для завершения ссылки соответствующие уравнения также обобщены в таблице 2, где нижние индексы D относятся к свету дисплея.
Таблица 2: преобразование цвета в ICTCP
Параметр Значения PQ
Цветовое пространство L, M, S
Figure 00000060
Получение L', M', S' {L', M', S'}=EOTF-1(F D )
где F D ={L D , M D , S D }
Получение I'
Figure 00000061
Получение цветоразностных сигналов
Figure 00000062
[00077] Преобразование из ICTCP обратно в исходное цветовое пространство производится аналогичным образом, и в варианте осуществления оно может включать в себя следующие этапы:
a) Преобразовывают из ICTCP в L'M, используя инверсию уравнения (23) или
Figure 00000063
. (25)
b) Преобразовывают сигнал из L'M'S' в LMS, используя функцию EOTF сигнала (например, как определено в ST 2084; и
c) Преобразовывают из LMS в XYZ, используя инверсию уравнения (22), например:
Figure 00000064
. (26)
[00078] В варианте осуществления соответствующие матрицы из L'M'S' в RGB и из ICTCP в L'M'S' задаются с помощью:
Figure 00000065
, (27)
Figure 00000066
. (28)
Управление эталонным дисплеем
[00079] Контент широкого динамического диапазона можно просматривать на дисплеях, которые имеют меньший динамический диапазон, чем эталонный дисплей, используемый для подготовки контента. Для просмотра контента HDR на дисплеях с более низким динамическим диапазоном должно выполняться сопоставление дисплеев. Оно может принимать форму EETF (электронно-электронной передаточной функции) в дисплее, которая обычно применяется перед применением EOTF для отображения. Эта функция обеспечивает нелинейные участки для корректного спада «светлых участков» и «теней», обеспечивая баланс между сохранением художественного замысла и сохранением детализации. Фиг. 9 является примером EETF-сопоставления полного динамического диапазона 0-10 000 нит на целевой дисплей, допускающий 0,1-1000 нит. EETF может вводиться в сигнал PQ; графики показывают влияние сопоставления, т.е. они показывают, как запланированный свет изменяется в фактически отображаемый свет.
[00080] Ниже приведены математические этапы, которые реализуют эту функцию сопоставления тонов для отображения различных черных и белых уровней яркости. EETF может применяться в нелинейной области или к каналу яркости в ICTCP или в Y'C'BC'R, или отдельно к каналам RGB.
Вычисление EETF
[00081] Центральная область кривой сопоставления тонов определяется в качестве взаимно однозначного сопоставления исходного дисплея с целевым дисплеем. Дополнительный спад нелинейных участков вычисляется с помощью сплайна Эрмита (Hermite) для сокращения динамического диапазона до возможностей целевого дисплея.
[00082] Сначала определяют точки перегиба (начальные точки (TS) и (SS) нелинейных участков) для сплайна. Это точки, где начинается спад. Пусть minLum и maxLum обозначают минимальное и максимальное значения яркости целевого дисплея, тогда:
Figure 00000067
Figure 00000068
[00083] Если имеется E1, исходный вводимый сигнал в нормализованных кодовых комбинациях PQ, то выводимый сигнал E2 вычисляется следующим образом.
Для
Figure 00000069
Figure 00000070
Figure 00000071
Figure 00000072
Figure 00000073
Для
Figure 00000074
Figure 00000075
Для
Figure 00000076
Figure 00000077
Figure 00000078
Figure 00000079
Figure 00000073
Уравнения сплайна Эрмита:
Figure 00000080
Figure 00000081
Figure 00000082
[00084] В другом варианте осуществления:
ЭТАП 1:
Figure 00000083
Figure 00000084
ЭТАП 2:
Figure 00000085
Уравнения сплайна Эрмита
Figure 00000086
,
где
Figure 00000087
.
[00085] Результирующая кривая EETF может применяться или к каналу интенсивности I в ICTCP, или к каналу яркости Y в Y'C'BC'R. Вот некоторые важные возможности:
1) I в ICTCP обрабатывает канал интенсивности (I) ICTCP, хотя EETF
Figure 00000088
Корректирует шкалу полутонов более точно
Нет сдвига цветов
Изменения в насыщенности будут необходимы и должны применяться к каналам CT и CP с помощью этого уравнения:
Figure 00000089
2) Y' в Y'C'BC'R обрабатывает канал яркости Y' Y'C'BC'R, хотя EETF
Figure 00000090
Корректирует шкалу полутонов более точно
Нет сдвига цветов
Изменения в насыщенности будут необходимы и должны применяться к каналам C'B и C'R с помощью этого уравнения:
Figure 00000091
Дополнительные варианты осуществления, относящиеся к этому изобретению, включает в себя приложение A этой заявки.
Примерное воплощение компьютерной системы
[00086] Варианты осуществления настоящего изобретения могут воплощаться с помощью компьютерной системы, систем, конфигурируемых в электронной схеме и компонентах, устройств в интегральной схеме (ИС, IC), таких, как микроконтроллер, программируемая пользователем вентильная матрица (ППВМ, FPGA) или другое конфигурируемое или программируемое логическое устройство (ПЛУ, PLD), дискретный процессор или процессор цифровой обработки сигналов (ПЦОС, DSP), специализированная ИС (СпИС, ASIC), и/или с помощью устройства, которое включает в себя одну или большее количество таких систем, устройств или компонентов. Компьютер и/или ИС могут выполнять, управлять или исполнять команды переформирования сигнала и кодирования изображений с расширенным динамическим диапазоном, таких, как описаны в данной работе. Компьютер и/или ИС могут вычислять любой из множества параметров или значений, которые относятся к процессам переформирования и кодирования сигнала, описанным в данной работе. Варианты осуществления изображения и видео могут воплощаться в аппаратных средствах, программном обеспечении, аппаратно-программном обеспечении и в различных их комбинациях.
[00087] Некоторые воплощения изобретения содержат компьютерные процессоры, которые исполняют команды программного обеспечения, которые побуждают данные процессоры выполнять способ изобретения. Например, один или большее количество процессоров в дисплее, кодере, телевизионной приставке, транскодере и т.п. могут воплощать способы, относящиеся к переформированию и кодированию сигнала изображений HDR, как описано выше, с помощью исполнения команд программного обеспечения в памяти программ, доступной для процессоров. Изобретение может также обеспечиваться в форме программного продукта. Программный продукт может содержать любой не являющийся временным носитель, который переносит набор считываемых компьютером сигналов, содержащих команды, которые, когда исполняются с помощью процессора обработки данных, побуждают данный процессор обработки данных исполнять способ изобретения. Программные продукты согласно изобретению могут находиться в любом из большого разнообразия форм. Программный продукт может содержать, например, физические носители данных, такие как магнитные носители данных, которые включают в себя дискеты, жесткие диски, оптические носители хранения данных, которые включают в себя CD-ROM (компакт-диски), DVD (цифровые универсальные диски), электронные носители хранения данных, которые включают в себя ПЗУ (постоянные запоминающие устройства), флэш-память и т.п. Считываемые компьютером сигналы в программном продукте могут дополнительно сжиматься или шифроваться.
[00088] Когда на компонент (например, на программный модуль, процессор, блок, устройство, схему и т.д.) ссылаются выше, если иное не указано, ссылка к этому компоненту (которая включает в себя ссылку к «средству») должна интерпретироваться, как включающая в себя в качестве эквивалентов этого компонента любой компонент, который выполняет функцию описанного компонента (например, который является функциональным эквивалентом), который включает в себя компоненты, которые не являются структурными эквивалентами раскрытой структуре, которая выполняет функцию в показанных примерных вариантах осуществления изобретения.
Эквиваленты, расширения, альтернативные варианты и прочее
[00089] Примерные варианты осуществления, которые относятся к эффективному переформированию и кодированию сигнала изображений HDR, таким образом описаны. В предшествующем описании варианты осуществления настоящего изобретения описаны со ссылкой на многочисленные конкретные детали, которые могут варьироваться от воплощения к воплощению. Таким образом, единственным и исключительным указателем того, что представляет собой изобретение, и того, что является изобретением по мнению заявителей, является формула изобретения, которая вытекает из этой заявки, в конкретной форме, в которой представлена данная формула изобретения, включая любую последующую коррекцию. Любые определения, явно сформулированные в данной работе для терминов, содержащихся в такой формуле изобретения, должны обуславливать значения данных терминов в контексте формулы изобретения. Следовательно, никакое ограничение, элемент, свойство, функция, преимущество или атрибут, который явно не изложен в формуле изобретения, не должен ограничивать объем такого изобретения ни в каком случае. Описание и чертежи должны, соответственно, расцениваться в иллюстративном, а не в ограничительном смысле.

Claims (40)

1. Способ улучшения обработки изображений широкого динамического диапазона, содержащий этапы, на которых:
обращаются с помощью процессора к вводимому изображению в линейном цветовом пространстве RGB;
генерируют первое изображение в LMS цветовом пространстве путем применения к вводу изображения преобразования цвета RGB к LMS, при этом преобразование цвета RGB к LMS содержит:
Figure 00000092
;
применяют нелинейную функцию к каждой компоненте цвета первого изображения для генерирования компонент цвета второго изображения в нелинейном LMS цветовом пространстве и
генерируют выводимое изображение в цветовом пространстве ICtCp путем применения 3x3 матрицы преобразования цвета к компонентам цвета второго изображения, при этом 3x3 матрица преобразования цвета содержит:
Figure 00000093
.
2. Способ по п. 1, в котором нелинейная функция содержит инверсию оптико-электронной передаточной функции.
3. Способ по п. 2, в котором оптико-электронная передаточная функция определяется в соответствии со спецификацией SMPTE ST 2084.
4. Способ по п. 1, в котором нелинейная функция основана на функции Hybrid Log-Gamma (HLG).
5. Способ по п. 1, в котором линейное цветовое пространство RGB содержит цветовое пространство RGBBT.2020.
6. Способ улучшения обработки изображений широкого динамического диапазона, содержащий этапы, на которых:
принимают вводимое изображение в цветовом пространстве ICtCp;
применяют первую 3x3 матрицу преобразования цвета к вводимому изображению для генерирования первого изображения в первом цветовом пространстве, при этом первая 3x3 матрица преобразования цвета содержит инверсию
Figure 00000093
;
применяют нелинейную функцию к каждой компоненте цвета первого изображения для генерирования второго изображения и
применяют вторую 3x3 матрицу преобразования цвета ко второму изображению для генерирования выводимого изображения в линейном цветовом пространстве RGB, при этом вторая 3x3 матрица преобразования цвета содержит инверсию:
Figure 00000094
.
7. Способ по п. 6, в котором линейное цветовое пространство RGB содержит цветовое пространство RGBBT.2020.
8. Способ по п. 6, в котором нелинейная функция содержит оптико-электронную передаточную функцию.
9. Способ по п. 8, в котором оптико-электронная передаточная функция определяется в соответствии со спецификацией SMPTE ST 2084.
10. Способ по п. 6, в котором нелинейная функция основана на функции Hybrid Log-Gamma (HLG).
11. Способ по п. 6, в котором инверсия
Figure 00000093
содержит
Figure 00000095
.
12. Способ по п. 6, в котором инверсия
Figure 00000093
содержит
Figure 00000096
.
13. Способ улучшения обработки изображений широкого динамического диапазона, содержащий этапы, на которых:
принимают вводимое изображение в цветовом пространстве ICtCp;
применяют первую 3x3 матрицу преобразования цвета к вводимому изображению для генерирования первого изображения в первом цветовом пространстве, при этом первая 3x3 матрица преобразования цвета содержит инверсию
Figure 00000093
;
применяют нелинейную функцию к каждой компоненте цвета первого изображения для генерирования второго изображения; и
применяют вторую 3x3 матрицу преобразования цвета ко второму изображению для генерирования третьего изображения в цветовом пространстве XYZ, при этом вторая 3x3 матрица преобразования цвета содержит
Figure 00000097
.
14. Способ по п. 13, содержащий также этап, на котором применяют третью 3x3 матрицу преобразования цвета к третьему изображению для генерирования выводимого изображения в выводимом цветовом пространстве.
15. Устройство для преобразования цветов изображений, содержащее процессор и сконфигурированное для выполнения способа по пп. 1-5, 8, 9.
16. Долговременный считываемый компьютером носитель, хранящий на себе выполняемую компьютером команду для выполнения способа, с помощью одного или большего количества процессоров, по любому из пп. 1-5, 8, 9.
RU2019118419A 2015-08-04 2016-08-03 Переформирование сигналов для сигналов широкого динамического диапазона RU2736103C2 (ru)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201562200797P 2015-08-04 2015-08-04
US62/200,797 2015-08-04
US201562202980P 2015-08-10 2015-08-10
US62/202,980 2015-08-10
US201662278362P 2016-01-13 2016-01-13
US62/278,362 2016-01-13
US201662300012P 2016-02-25 2016-02-25
US62/300,012 2016-02-25
US201662302073P 2016-03-01 2016-03-01
US62/302,073 2016-03-01

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
RU2018104936A Division RU2693687C1 (ru) 2015-08-04 2016-08-03 Переформирование сигналов для сигналов широкого динамического диапазона

Related Child Applications (1)

Application Number Title Priority Date Filing Date
RU2020133656A Division RU2762384C1 (ru) 2015-08-04 2020-10-14 Переформирование сигналов для сигналов широкого динамического диапазона

Publications (3)

Publication Number Publication Date
RU2019118419A RU2019118419A (ru) 2019-10-04
RU2019118419A3 RU2019118419A3 (ru) 2020-06-05
RU2736103C2 true RU2736103C2 (ru) 2020-11-11

Family

ID=56802666

Family Applications (3)

Application Number Title Priority Date Filing Date
RU2018104936A RU2693687C1 (ru) 2015-08-04 2016-08-03 Переформирование сигналов для сигналов широкого динамического диапазона
RU2019118419A RU2736103C2 (ru) 2015-08-04 2016-08-03 Переформирование сигналов для сигналов широкого динамического диапазона
RU2020133656A RU2762384C1 (ru) 2015-08-04 2020-10-14 Переформирование сигналов для сигналов широкого динамического диапазона

Family Applications Before (1)

Application Number Title Priority Date Filing Date
RU2018104936A RU2693687C1 (ru) 2015-08-04 2016-08-03 Переформирование сигналов для сигналов широкого динамического диапазона

Family Applications After (1)

Application Number Title Priority Date Filing Date
RU2020133656A RU2762384C1 (ru) 2015-08-04 2020-10-14 Переформирование сигналов для сигналов широкого динамического диапазона

Country Status (10)

Country Link
US (8) US10432977B2 (ru)
EP (3) EP4207178A1 (ru)
JP (2) JP6320440B2 (ru)
KR (3) KR102141193B1 (ru)
CN (2) CN107925770B (ru)
BR (2) BR112018001465B1 (ru)
CA (2) CA3086441C (ru)
RU (3) RU2693687C1 (ru)
TW (3) TWI735036B (ru)
WO (1) WO2017024042A2 (ru)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6608067B2 (ja) * 2015-09-23 2019-11-20 アリス エンタープライジズ エルエルシー 映像復号化器における高ダイナミックレンジ適応演算
CN106937121B (zh) * 2015-12-31 2021-12-10 中兴通讯股份有限公司 图像解码和编码方法、解码和编码装置、解码器及编码器
EP3367659A1 (en) * 2017-02-28 2018-08-29 Thomson Licensing Hue changing color gamut mapping
CN110447051B (zh) 2017-03-20 2023-10-31 杜比实验室特许公司 在感知上保持参考场景的对比度和色度
CN110770787B (zh) 2017-06-16 2023-04-07 杜比实验室特许公司 高效端到端单层逆向显示管理编码
US10769817B2 (en) * 2017-08-07 2020-09-08 Samsung Display Co., Ltd. Measures for image testing
TWI650998B (zh) 2017-12-15 2019-02-11 晨星半導體股份有限公司 應用在機上盒的格式轉換電路及相關的方法
US11361506B2 (en) 2018-04-09 2022-06-14 Dolby Laboratories Licensing Corporation HDR image representations using neural network mappings
US10917583B2 (en) * 2018-04-27 2021-02-09 Apple Inc. Standard and high dynamic range display systems and methods for high dynamic range displays
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ｉｂｃとａｔｍｖｐとの間でのインタラクション
CN108882028B (zh) 2018-07-05 2019-06-14 华为技术有限公司 视频信号的处理方法及装置
KR20200050111A (ko) * 2018-11-01 2020-05-11 세종대학교산학협력단 칼라 좌표축 변환을 이용한 영상 부호화/복호화 방법 및 장치
CN109685859B (zh) * 2018-12-24 2021-06-08 哈尔滨工业大学（深圳） 基于3d查找表的三维颜色自动调整方法
WO2020180044A1 (ko) * 2019-03-01 2020-09-10 엘지전자 주식회사 Lmcs에 기반한 영상 코딩 방법 및 그 장치
WO2020180043A1 (ko) * 2019-03-01 2020-09-10 엘지전자 주식회사 Lmcs에 기반한 영상 코딩 방법 및 그 장치
KR20210139336A (ko) * 2019-03-12 2021-11-22 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 이미지 및 비디오 코딩을 위한 선택적 인터-컴포넌트 변환
CN110189687B (zh) * 2019-06-04 2020-10-09 深圳市摩西尔电子有限公司 一种对led模组图像进行图像变换的方法和装置
EP4070541A1 (en) 2019-12-06 2022-10-12 Dolby Laboratories Licensing Corp. Cascade prediction
EP4128762B1 (en) * 2020-04-03 2024-03-20 Dolby Laboratories Licensing Corporation Blind local reshaping in hdr imaging
EP4136634A1 (en) * 2020-04-17 2023-02-22 Dolby Laboratories Licensing Corp. Chromatic ambient light correction
US20230300381A1 (en) * 2020-04-21 2023-09-21 Dolby Laboratories Licensing Corporation Reshaping functions for hdr imaging with continuity and reversibility constraints
MX2022013191A (es) * 2020-04-22 2023-01-05 Dolby Laboratories Licensing Corp Optimización iterativa de funciones de remodelación en códec de imágenes hdr de una sola capa.
US11412174B2 (en) * 2020-09-22 2022-08-09 Microsoft Technology Licensing, Llc Efficient electro-optical transfer function (EOTF) curve for standard dynamic range (SDR) content
US20230370646A1 (en) 2020-10-02 2023-11-16 Dolby Laboratories Licensing Corporation Adaptive local reshaping for sdr-to-hdr up-conversion
WO2022081851A1 (en) * 2020-10-14 2022-04-21 Dolby Laboratories Licensing Corporation Color transformation for hdr video with a coding-efficiency constraint
WO2022256205A1 (en) * 2021-06-01 2022-12-08 Dolby Laboratories Licensing Corporation Rotation-enabled high dynamic range video encoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0586204B1 (en) * 1992-09-02 1997-11-19 Matsushita Electric Industrial Co., Ltd. Image signal processing device
RU2335017C2 (ru) * 2003-07-18 2008-09-27 Майкрософт Корпорейшн Система и способ для генерации изображения с расширенным динамическим диапазоном из множества экспозиций движущейся сцены
WO2012142285A2 (en) * 2011-04-12 2012-10-18 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
WO2015102449A1 (ko) * 2014-01-06 2015-07-09 엘지전자 주식회사 컬러 개멋 리샘플링을 기반으로 하는 방송 신호 송수신 방법 및 장치

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5141557B2 (ru) 1972-09-04 1976-11-10
JPS5141557Y2 (ru) 1973-06-05 1976-10-08
JPS5141557U (ru) 1974-09-24 1976-03-27
JP3414800B2 (ja) * 1992-09-02 2003-06-09 松下電器産業株式会社 画像信号処理装置
DE4306797C1 (de) * 1993-03-04 1994-05-05 Schneider Rundfunkwerke Ag Fernsehprojektionssystem
JPH11313219A (ja) * 1998-01-20 1999-11-09 Fujitsu Ltd カラーデータ変換方法
US6335983B1 (en) * 1998-09-28 2002-01-01 Eastman Kodak Company Representing an extended color gamut digital image in a limited color gamut color space
US6766263B1 (en) * 2000-04-26 2004-07-20 Microsoft Corporation Method of color capture calibration for digital capture devices
JP4197858B2 (ja) * 2001-08-27 2008-12-17 富士通株式会社 画像処理プログラム
JP2004040448A (ja) 2002-07-03 2004-02-05 Panasonic Communications Co Ltd 画像処理方法及び画像処理装置
JP4617644B2 (ja) 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
JP2005079834A (ja) 2003-08-29 2005-03-24 Pentax Corp 色変換マトリクス算出方法および画像信号処理装置
JP2005184601A (ja) 2003-12-22 2005-07-07 Fuji Xerox Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
RU2402811C2 (ru) * 2004-07-29 2010-10-27 Майкрософт Корпорейшн Обработка изображений с помощью линейных параметров светоустановки и других усовершенствований обработки изображений
US20060244983A1 (en) * 2005-04-29 2006-11-02 Huanzhao Zeng Fast color mapping using primary adjustment with gamut adaptation
JP2007259124A (ja) * 2006-03-23 2007-10-04 Konica Minolta Business Technologies Inc 色変換テーブルの作成方法、情報作成装置、記録媒体及び画像処理装置
US20070285434A1 (en) * 2006-06-12 2007-12-13 Hung-Shih Lin Hue adjustor and method for adjusting hues for specific colors in an image
TW200808072A (en) * 2006-07-17 2008-02-01 Marketech Int Corp Hue adjusting device
JP4974607B2 (ja) 2006-08-09 2012-07-11 株式会社ナナオ 表示装置および表示システム並びにｒｇｂ信号処理方法
JP5141557B2 (ja) 2006-10-23 2013-02-13 株式会社ニコン 画像処理方法、画像処理プログラム、画像処理装置、カメラ
UA26453U (en) 2007-04-18 2007-09-25 Zoia Rudolfivna Ulberh Method for treating inflammations and functional impairments of locomotor and hepatobiliary systems
KR101166388B1 (ko) * 2007-08-28 2012-07-23 삼성전자주식회사 색 변환장치 및 그 제어방법
CN101521001B (zh) 2008-02-26 2011-04-27 瑞昱半导体股份有限公司 显示装置的色彩校正方法及装置
US20090220151A1 (en) * 2008-02-29 2009-09-03 Himax Technologies Limited Device for adjusting image color difference value and adjusting method thereof
US20090285434A1 (en) 2008-05-13 2009-11-19 Jason Martin Williams Earhook and earbud headset
US8477247B2 (en) * 2008-09-30 2013-07-02 Intel Corporation Joint enhancement of lightness, color and contrast of images and video
US8831343B2 (en) * 2009-01-19 2014-09-09 Dolby Laboratories Licensing Corporation Image processing and displaying methods for devices that implement color appearance models
JP5430218B2 (ja) * 2009-05-07 2014-02-26 キヤノン株式会社 画像処理装置および画像処理方法
CN101909215B (zh) * 2009-06-05 2012-04-18 华映视讯（吴江）有限公司 色彩转换方法以及其相对应的色彩显示方法
KR101295881B1 (ko) * 2009-07-10 2013-08-12 엘지디스플레이 주식회사 선호색 보정방법과 이를 이용한 표시장치
KR101482542B1 (ko) * 2010-07-22 2015-01-14 돌비 레버러토리즈 라이쎈싱 코오포레이션 이미지 데이터와 디스플레이의 비디오 범위들 사이의 맵핑을 위한 시스템, 장치 및 방법들
JP5663284B2 (ja) * 2010-12-06 2015-02-04 東芝テック株式会社 アンテナ切替システム
JP5648496B2 (ja) * 2011-01-26 2015-01-07 村田機械株式会社 原稿読取装置
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
WO2012142506A1 (en) 2011-04-14 2012-10-18 Dolby Laboratories Licensing Corporation Image prediction based on primary color grading model
ES2727965T3 (es) 2011-12-06 2019-10-21 Dolby Laboratories Licensing Corp Dispositivo y método para mejorar el intercambio de datos de imágenes basado en no linealidad de luminancia perceptual a través de diferentes capacidades de visualización
JP5791643B2 (ja) * 2013-01-29 2015-10-07 京セラドキュメントソリューションズ株式会社 画像処理装置および画像形成装置
KR102157032B1 (ko) * 2013-02-21 2020-09-18 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위 비디오에 대한 디스플레이 관리
CN105052143B (zh) 2013-03-26 2018-04-20 杜比实验室特许公司 对多层vdr译码中的感知量化的视频内容进行编码
JP6251489B2 (ja) * 2013-03-28 2017-12-20 株式会社 資生堂 画像解析装置、画像解析方法、及び画像解析プログラム
CN105324997B (zh) * 2013-06-17 2018-06-29 杜比实验室特许公司 用于增强动态范围信号的分层编码的自适应整形
TW201531089A (zh) * 2014-01-10 2015-08-01 Thomson Licensing 將影像資料編碼之方法及裝置，以及將影像資料解碼之方法及裝置
US9277196B2 (en) * 2014-02-19 2016-03-01 DDD IP Ventures, Ltd. Systems and methods for backward compatible high dynamic range/wide color gamut video coding and rendering
US10194035B2 (en) * 2014-04-29 2019-01-29 Hewlett-Packard Development Company, L.P. Imager calibration via modeled responses to importance-weighted color sample data
EP2961168A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for predicting image samples for encoding or decoding
US9936199B2 (en) 2014-09-26 2018-04-03 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
US9736335B2 (en) * 2015-04-15 2017-08-15 Apple Inc. Techniques for advanced chroma processing
WO2016172091A1 (en) 2015-04-22 2016-10-27 Dolby Laboratories Licensing Corporation Signal reshaping and coding in the ipt-pq color space
CN112492307B (zh) * 2015-05-21 2023-02-07 瑞典爱立信有限公司 像素预处理和编码的方法、装置和计算机可读存储介质
CN107852513B (zh) * 2015-06-05 2021-01-08 瑞典爱立信有限公司 对输入视频序列的像素进行编码
EP3110124A1 (en) * 2015-06-25 2016-12-28 Thomson Licensing Hue changing color gamut mapping
US10560695B2 (en) * 2015-06-26 2020-02-11 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and decoding of pictures in a video
GB2539917B (en) * 2015-06-30 2021-04-07 British Broadcasting Corp Method and apparatus for conversion of HDR signals
EP3320675A4 (en) * 2015-07-10 2019-03-06 Telefonaktiebolaget LM Ericsson (publ) PIXEL PREPARATION AND CODING
WO2017015564A1 (en) * 2015-07-22 2017-01-26 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
TWI764870B (zh) * 2015-07-28 2022-05-21 法商內數位麥德遜專利控股有限公司 視訊訊號處理裝置及方法
KR102509504B1 (ko) * 2015-08-24 2023-03-13 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 코딩 및 디코딩 방법과 대응하는 디바이스
WO2017053432A1 (en) * 2015-09-21 2017-03-30 Vid Scale, Inc. Inverse reshaping for high dynamic range video coding
JP6608067B2 (ja) * 2015-09-23 2019-11-20 アリス エンタープライジズ エルエルシー 映像復号化器における高ダイナミックレンジ適応演算
US10715816B2 (en) * 2015-11-11 2020-07-14 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
JP6871945B2 (ja) * 2015-12-21 2021-05-19 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 特定のディスプレイのための高ダイナミックレンジ画像の最適化
US20190068939A1 (en) * 2016-01-22 2019-02-28 Electronics And Telecommunications Research Institute Image signal conversion method and apparatus for reducing image quality deterioration
US10397586B2 (en) * 2016-03-30 2019-08-27 Dolby Laboratories Licensing Corporation Chroma reshaping
US10542296B2 (en) * 2016-05-10 2020-01-21 Dolby Laboratories Licensing Corporation Chroma reshaping of HDR video signals
EP3340165A1 (en) * 2016-12-20 2018-06-27 Thomson Licensing Method of color gamut mapping input colors of an input ldr content into output colors forming an output hdr content
US10713765B2 (en) * 2017-03-03 2020-07-14 Dolby Laboratories Licensing Corporation Color image modification with approximation function
WO2018175337A1 (en) * 2017-03-20 2018-09-27 Dolby Laboratories Licensing Corporation Perceptually preserving scene-referred contrasts and chromaticities
GB2561395A (en) * 2017-04-13 2018-10-17 Sony Corp Colour conversion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0586204B1 (en) * 1992-09-02 1997-11-19 Matsushita Electric Industrial Co., Ltd. Image signal processing device
RU2335017C2 (ru) * 2003-07-18 2008-09-27 Майкрософт Корпорейшн Система и способ для генерации изображения с расширенным динамическим диапазоном из множества экспозиций движущейся сцены
WO2012142285A2 (en) * 2011-04-12 2012-10-18 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
WO2015102449A1 (ko) * 2014-01-06 2015-07-09 엘지전자 주식회사 컬러 개멋 리샘플링을 기반으로 하는 방송 신호 송수신 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
H-G. KIM et al. "Color correction using rotation matrix for HDR rendering in iCAM06", опубл. 16.01.2012 на 7 страницах [найдено 29.05.2020], размещено в Интернет по адресу URL:https://ieeexplore.ieee.org/document/6130326. *

Also Published As

Publication number Publication date
EP3332550B1 (en) 2024-03-06
CA2994282C (en) 2020-07-21
KR20180026517A (ko) 2018-03-12
BR122022023327B1 (pt) 2023-04-18
US20180234704A1 (en) 2018-08-16
US11025961B2 (en) 2021-06-01
JP2018530189A (ja) 2018-10-11
JP6320440B2 (ja) 2018-05-09
US20230120882A1 (en) 2023-04-20
CA3086441A1 (en) 2017-02-09
US20240073459A1 (en) 2024-02-29
CA2994282A1 (en) 2017-02-09
KR20200096308A (ko) 2020-08-11
TW202139137A (zh) 2021-10-16
CN110267046B (zh) 2021-08-17
BR112018001465A2 (pt) 2018-09-11
US11979615B1 (en) 2024-05-07
TWI756146B (zh) 2022-02-21
TWI684166B (zh) 2020-02-01
BR112018001465B1 (pt) 2023-04-18
US10432977B2 (en) 2019-10-01
US20230345055A1 (en) 2023-10-26
RU2693687C1 (ru) 2019-07-03
EP4207178A1 (en) 2023-07-05
US11785263B2 (en) 2023-10-10
CN107925770A (zh) 2018-04-17
US11570480B2 (en) 2023-01-31
TW201947534A (zh) 2019-12-16
RU2019118419A3 (ru) 2020-06-05
KR102188460B1 (ko) 2020-12-08
US11910025B1 (en) 2024-02-20
KR20190086053A (ko) 2019-07-19
US20210243478A1 (en) 2021-08-05
JP2017033534A (ja) 2017-02-09
RU2019118419A (ru) 2019-10-04
US11924477B2 (en) 2024-03-05
KR102141193B1 (ko) 2020-08-04
US11582490B2 (en) 2023-02-14
EP3332550A2 (en) 2018-06-13
CN110267046A (zh) 2019-09-20
EP4210041A1 (en) 2023-07-12
TW201719577A (zh) 2017-06-01
TWI735036B (zh) 2021-08-01
CA3086441C (en) 2022-10-18
JP6531218B2 (ja) 2019-06-12
RU2762384C1 (ru) 2021-12-20
CN107925770B (zh) 2020-04-28
US20240155161A1 (en) 2024-05-09
US20190364301A1 (en) 2019-11-28
WO2017024042A2 (en) 2017-02-09
WO2017024042A3 (en) 2017-03-09
US20210243477A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
RU2762384C1 (ru) Переформирование сигналов для сигналов широкого динамического диапазона
JP6711943B2 (ja) Ｈｄｒおよび広色域の信号のための信号整形および符号化
JP6395750B2 (ja) ハイダイナミックレンジ信号のための信号再構成
US12028555B2 (en) Signal reshaping for high dynamic range signals