RU2647636C2 - Управление отображением видео с расширенным динамическим диапазоном - Google Patents
Управление отображением видео с расширенным динамическим диапазоном Download PDFInfo
- Publication number
- RU2647636C2 RU2647636C2 RU2015134416A RU2015134416A RU2647636C2 RU 2647636 C2 RU2647636 C2 RU 2647636C2 RU 2015134416 A RU2015134416 A RU 2015134416A RU 2015134416 A RU2015134416 A RU 2015134416A RU 2647636 C2 RU2647636 C2 RU 2647636C2
- Authority
- RU
- Russia
- Prior art keywords
- color
- image
- function
- signal
- intensity
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 59
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims description 18
- 238000003708 edge detection Methods 0.000 claims description 11
- 230000001965 increasing effect Effects 0.000 claims description 10
- 238000004321 preservation Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000012886 linear function Methods 0.000 claims 3
- 230000000694 effects Effects 0.000 abstract description 5
- 239000000126 substance Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 102100028738 CAP-Gly domain-containing linker protein 3 Human genes 0.000 description 2
- 101000767055 Homo sapiens CAP-Gly domain-containing linker protein 3 Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2003—Display of colours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/06—Colour space transformation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Facsimile Image Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Color Image Communication Systems (AREA)
Abstract
Группа изобретений относится к технологиям управления отображением изображений с увеличенным динамическим диапазоном. Техническим результатом является обеспечение эффективного управления отображением изображений в цветовом пространстве с увеличенным динамическим диапазоном. Предложен способ управления отображением изображений посредством процессора. Способ содержит этап получения доступа к входному изображению в первом цветовом пространстве с первым увеличенным динамическим диапазоном (EDR). Далее, согласно способу, применяют этап цветового преобразования к входному изображению для определения первого выходного изображения в перцепционно-скорректированном цветовом пространстве IPT (IPT-PQ), при этом цветовое преобразование из первого цветового пространства в пространство IPT-PQ основано по меньшей мере частично на применении нелинейной функции перцепционного преобразователя (PQ) к функции входного изображения. 4 н. и 21 з.п. ф-лы, 2 табл., 8 ил.
Description
ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
Настоящая заявка испрашивает приоритет для предварительной заявки на патент США № 61/767380, поданной 21 февраля 2013 г., и предварительной заявки на патент США № 61/810104, поданной 9 апреля 2013 г., которые полностью включены в данную заявку посредством ссылки.
ОБЛАСТЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
Настоящее изобретение в общем относится к изображениям. В частности, вариант осуществления настоящего изобретения относится к способу управления отображением изображений с расширенным или увеличенным динамическим диапазоном.
ПРЕДПОСЫЛКИ
В данном документе термин «динамический диапазон» (DR) может относиться к способности человеческой психовизуальной системы (HVS) воспринимать диапазон интенсивности (например, освещенности, яркости) в изображении, например, от самых темных из темных участков (черных) до самых светлых из светлых участков (белых). В этом смысле DR относится к «относящейся к сцене» интенсивности. DR может также относиться к способности устройства отображения в достаточной мере или приблизительно воспроизводить диапазон интенсивности конкретной ширины. В этом смысле DR относится к «относящейся к отображению» интенсивности. За исключением случаев, когда точно указывается, что конкретный смысл имеет конкретное значение в любом месте в описании в данном документе, следует делать вывод, что термин может быть использован в любом смысле, например, взаимозаменяемо.
В данном документе термин «расширенный динамический диапазон» (HDR) относится к ширине DR, которая охватывает приблизительно 14-15 порядков величины человеческой визуальной системы (HVS). Например, хорошо адаптированные люди главным образом с нормальным зрением (например, в одном или нескольких статистических, биометрических или офтальмологических смыслах) имеют диапазон интенсивности, который охватывает приблизительно 15 порядков величины. Адаптированные люди могут воспринимать источники тусклого света величиной всего лишь несколько фотонов. Также эти же люди могут воспринимать почти болезненную блестящую интенсивность полуденного солнца в пустыне, моря или снега (или даже смотреть на солнце, однако недолго для предотвращения повреждения). Однако данный охват доступен «адаптированным» людям, например, тем, чья HVS имеет период времени, за который осуществляется сброс и регулировка.
И напротив, DR, в котором человек может одновременно воспринимать пространственную ширину в диапазоне интенсивности, может быть немного сокращен относительно HDR. В данном документе термины «увеличенный динамический диапазон» (EDR) или «визуальный динамический диапазон» (VDR) могут отдельно или взаимозаменяемо относиться к DR, который одновременно воспринимается HVS. В данном документе EDR может относиться к DR, который охватывает 5 – 6 порядков величины. Таким образом, несмотря на то, что возможна немного более узкая ширина в отношении относящегося к настоящей сцене HDR, тем не менее EDR представляет ширину широкого DR.
На практике изображения содержат один или несколько цветовых компонентов (например, яркость Y и цветность Cb и Cr), при этом каждый цветовой компонент представлен с точностью до N бит на пиксель (например, N=8). Изображения, в которых N ≤ 8 (например, цветные 24-битные изображения JPEG), рассматриваются в качестве изображений стандартного динамического диапазона, тогда как изображения, в которых N>8, могут быть рассмотрены в качестве изображений увеличенного динамического диапазона. Изображения EDR и HDR могут быть сохранены и распределены с использованием высокоточных (например, 16-битных) форматов с плавающей точкой, таких как формат файла OpenEXR, разработанный компанией Industrial Light and Magic.
До недавнего времени дисплеи имели значительно более узкий DR, чем HDR. Устройство телевизора (TV) и компьютерного монитора, которое использует типовую электроннолучевую трубку (CRT), жидкокристаллический дисплей (LCD) с постоянным флуоресцентным белым задним освещением или технологией плазменного экрана, может быть ограничено в своей возможности воспроизведения DR до приблизительно трех порядков величины. Таким образом, такие традиционные дисплеи являются типичными представителями низкого динамического диапазона (LDR), также называемого стандартным динамическим диапазоном (SDR), относительно HDR или EDR.
Большая часть потребительских настольных дисплеев поддерживает яркость от 200 до 300 кд/м2 или нитов. Большая часть потребительских HDTV имеет диапазон от 300 до 1000 кд/м2. Поскольку доступность контента EDR растет вследствие развития как оборудования захвата (например, камер), так и дисплеев EDR (например, профессионального контрольного монитора PRM-4200 от компании Dolby), контент EDR может быть отсортирован по цвету на дисплеях EDR, которые поддерживают ряд динамических диапазонов (например, от 1000 нитов до 5000 нитов или больше). Подобным образом, контент EDR может быть отображен как на дисплеях SDR, так и на дисплеях EDR с динамическим диапазоном, отличным от дисплея, используемого для сортировки по цвету исходного контента. Как оценено в настоящей заявке авторами изобретения, улучшенные методы управления отображением изображений EDR на дисплеях HDR являются необходимыми как для обратной совместимости, так и превосходного эффекта погружения.
Подходы, описанные в данном разделе, являются подходами, которые могут быть осуществлены, но они необязательно являются подходами, которые были представлены или осуществлены ранее. Таким образом, если не указано обратное, не следует предполагать, что любой из подходов, описанных в данном разделе, расценивается как известный уровень техники, только лишь вследствие их включения в данный раздел. Подобным образом, ограничения, определенные относительно одного или нескольких подходов, не стоит воспринимать, как признанные в уровне техники на основе данного раздела, если не указано обратное.
КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ
Вариант осуществления настоящего изобретения проиллюстрирован в качестве примера, а не в качестве ограничения, на фигурах прилагаемых графических материалов, на которых одинаковые номера позиций относятся к подобным элементам и на которых:
На фиг. 1A - фиг. 1C показаны приведенные в качестве примера способы управления отображением изображений EDR в соответствии с вариантами осуществления настоящего изобретения;
На фиг. 2 показан приведенный в качестве примера способ преобразования входных данных EDR из входного цветового пространства RGB в пространство IPT-PQ в соответствии с вариантом осуществления настоящего изобретения;
На фиг. 3 показан пример отображения нелинейного динамического диапазона изображений EDR в соответствии с вариантом осуществления настоящего изобретения;
На фиг. 4 показан приведенный в качестве примера способ регулировки насыщенности цветовых компонентов P и T в тонально отображенном изображении IPT-PQ в соответствии с вариантом осуществления настоящего изобретения;
На фиг. 5 показаны приведенные в качестве примера функции отображения для повторного отображения цветности в соответствии с возможными вариантами осуществления настоящего изобретения; и
На фиг. 6 показана приведенная в качестве примера реализация многомасштабного сохранения детализации в соответствии с вариантом осуществления настоящего изобретения.
ОПИСАНИЕ ПРИВЕДЕННЫХ В КАЧЕСТВЕ ПРИМЕРА ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
В данном документе описано эффективное управление отображением (например, отображением тона и гаммы) изображений с увеличенным динамическим диапазоном (EDR). В следующем описании в целях объяснения приведено множество специфических подробностей для обеспечения полного понимания настоящего изобретения. Однако следует понимать, что настоящее изобретение может быть осуществлено без этих специфических подробностей. В других примерах хорошо известные структуры и устройства не описаны в исчерпывающих подробностях, во избежание ненужного перенасыщения, искажения смысла или запутывания содержания настоящего изобретения.
Общее представление
В данном документе приведенные в качестве примера варианты осуществления относятся к эффективному управлению отображением изображений EDR. Процессор управления отображением принимает входное изображение с увеличенным динамическим диапазоном для отображения на целевом дисплее, который имеет отличный от исходного дисплея динамический диапазон. Входное изображение сперва преобразовывается из входного цветового пространства (например, RGB) в перцепционно-скорректированное цветовое пространство IPT (IPT-PQ). Нелинейная функция отображения генерирует первый тонально отображенный сигнал посредством отображения интенсивности входного сигнала из исходного динамического диапазона в целевой динамический диапазон. Компонент интенсивности (I) первого тонально отображенного сигнала усиливается для сохранения детализации с использованием нерезкого маскирования и насыщенность цветовых (P и T) компонентов соответственно регулируется для генерирования второго тонально отображенного выходного изображения. Функция отображения цветовой гаммы может быть применена ко второму тонально отображенному выходному изображению для генерирования изображения, подходящего для отображения на целевом дисплее. Канал управления отображением может быть также выполнен с возможностью регулировки компонентов интенсивности и цветовых компонентов отображаемого изображения в соответствии с конкретно определенными режимами отображения.
В случаях, когда входное изображение принимается в цветовом формате, в котором компоненты цветности находятся в более низком пространственном разрешении, чем разрешение яркости, тогда в приведенных в качестве примера вариантах осуществления способ управления отображением может быть разделен на два пути, которые могут быть выполнены параллельно. Один путь применяется ко всем цветовым компонентам, но при более низком разрешении компонентов цветности входного изображения, тогда как второй путь применяется только к относящимся к яркости данным, но при исходном (полном) разрешении компонента яркости.
Приведенный в качестве примера канал обработки управления отображением
На фиг. 1A показан приведенный в качестве примера способ управления отображением изображений EDR (также называемых изображениями HDR) в соответствии с вариантом осуществления настоящего изобретения. Как показано на фиг. 1A, видеопроцессор (например, телевизионная приставка, устройство воспроизведения изображений на экране или другой подходящий процессор изображений) принимает изображение (102) EDR и необязательно соответствующие метаданные (104) и (106). Изображение (102) EDR может содержать часть кадра или полный кадр последовательности изображений, такой как видеосигнал EDR. В данном документе термин «метаданные» относится к любой вспомогательной информации, которая передается в качестве части кодированного битового потока и способствует воспроизведению декодером декодированного изображения. Такие метаданные могут включать, помимо всего прочего, цветовое пространство или информацию о гамме, параметры исходного отображения и параметры вспомогательного сигнала, такие как описанные в данном документе.
Принятое изображение (102) EDR может иметь цветовой формат RGB или любое другое цветовое пространство, такое как YCbCr, XYZ и тому подобное. Принятое изображение может быть отсортировано по цвету на исходном мониторе EDR, который может иметь отличные от целевого монитора отображения динамический диапазон и характеристики цветовой гаммы. В данном документе термин «сортировка по цвету» обозначает процесс регулировки цвета изображения или видео для исправления цветовых артефактов и/или для соответствия замыслу режиссера.
Входное изображение (102) EDR может также включать метаданные (104) первоначального дисплея, относящиеся к дисплею, используемому для сортировки по цвету изображения во время производства программы. Например, такие метаданные могут включать исходную электронно-оптическую передаточную функцию (EOTF), как определено Рекомендацией ITU-R BT.1866 (03/2011). Входное изображение EDR может также включать дополнительные метаданные (106) контента и первоначального дисплея, такие как максимальная и минимальная яркость первоначального или исходного дисплея, максимальный, минимальный и средний промежуточный тон данных и интенсивность окружающего света во время сортировки по цвету. Например, метаданные для исходного монитора могут включать следующие приведенные в качестве примера параметры, используемые для производства:
Минимальная яркость первоначального монитора, Smin= 0,005 нита;
Максимальная яркость первоначального монитора, Smax = 4000 нитов;
Окружающий свет, Samb = 10 нитов;
Гамма, Sgamma = 2,4;
Цветовое пространство = DCI P3, точка белого = D65;
Метаданные для исходного монитора должны быть переданы, как правило, только один раз; однако метаданные для видеоданных могут быть переданы на покадровой основе, на посценовой основе или при любом их изменении. Если метаданные, относящиеся к первоначальному контенту, отсутствуют, тогда в некоторых вариантах осуществления такие данные могут быть извлечены посредством анализа первоначального видеоконтента.
Цветовое пространство IPT-PQ
В предпочтительном варианте осуществления канал обработки выполнен в так называемом цветовом пространстве IPT-PQ; однако подобные этапы обработки могут быть выполнены в других цветовых пространствах, таких как RGB, YCbCr, XYZ, CIE-Lab и тому подобное. IPT, как описано в документе «Development and testing of a color space (ipt) with improved hue uniformity», F. Ebner и M.D. Fairchild, в ходе 6й конференции по цветному изображению: Цветоведение, системы и приложения, IS&T, Скоттсдейл, Аризона, ноябрь 1998 г., страницы 8-13 (именуемые как «Ebner paper»), который полностью включен посредством ссылки в данный документ, является моделью цветовой разницы между колбочками в человеческой визуальной системе. В этом смысле она похожа на цветовые пространства YCbCr или CIE-Lab; однако в некоторых научных исследованиях она показала лучшую мимическую человеческую визуальную обработку, чем данные пространства. Как и CIE-Lab, IPT является нормированным пространством для некоторой исходной яркости. В варианте осуществления нормирование основано на максимальной яркости целевого дисплея.
В данном документе термин «PQ» относится к перцепционному преобразованию. Человеческая визуальная система реагирует на увеличение уровней света очень нелинейным образом. Способность человека видеть стимул зависит от яркости этого стимула, размера стимула, пространственной частоты (частот), формирующей стимул, и уровня яркости, к которому адаптировались глаза в конкретный момент просмотра стимула. В предпочтительном варианте осуществления функция перцепционного преобразователя отображает линейные входные серые уровни на выходные серые уровни, которые лучше соответствуют пороговым значениям контрастной чувствительности в человеческой визуальной системе. Примеры функций отображения PQ описаны в заявке PCT № PCT/US2012/068212 (именуемой заявка ‘212) под названием «Perceptual luminance nonlinearity-based image data exchange across different display capabilities», J. S. Miller и др., поданной 6 декабря 2012 г. (которая в данный момент является патентом США № 9077994) и полностью включены в данный документ посредством ссылки, в которых предоставлен фиксированный размер стимула для каждого уровня яркости (т.е. уровень стимула), этап минимального видимого контраста при данном уровне яркости выбирается в соответствии с наиболее чувствительным уровнем адаптации и наиболее чувствительной пространственной частотой (в соответствии с моделями HVS). По сравнению с традиционной кривой гамма-распределения, которая представляет характеристическую кривую физического устройства электроннолучевой трубки (CRT) и в то же время может иметь очень грубое сходство со способом реагирования человеческой визуальной системы, кривая PQ, как определено в заявке ‘212, имитирует настоящую визуальную реакцию человеческой визуальной системы с использованием относительно простой функциональной модели.
В Таблице 1 описано вычисление EOTF перцепционной кривой для преобразования кодовых значений цифрового видео в абсолютные линейные уровни яркости в точке дисплея. Также включено обратное вычисление OETF для преобразования абсолютной линейной яркости в цифровые кодовые значения.
Таблица 1
Представленные в качестве примера формулировки уравнений:
D = цифровое кодовое значение перцепционной кривой, целое число без знака SDI-legal, 10 или 12 бит;
b = количество бит на компонент в представлении цифрового сигнала, 10 или 12;
Приведенные в качестве примера декодированные уравнения EOTF:
Приведенные в качестве примера кодированные уравнения EOTF:
Приведенные в качестве примера постоянные:
Примечания
1. Оператор INT возвращает значение 0 для дробных частей в диапазоне от 0 до 0,4999… и +1 для дробных частей в диапазоне от 0,5 до 0,9999…, т.е. он округляет дроби выше 0,5.
2. Все постоянные определяются в качестве точных чисел, кратных 12-битным рациональным числам, для предотвращения проблем с округлением.
3. Компоненты R, G или B сигнала должны быть вычислены таким же образом, как и компонент сигнала Y, описанный выше.
На фиг. 2 более подробно показан приведенный в качестве примера способ этапа (110) цветового преобразования в соответствии с вариантом осуществления. Как показано на фиг. 2, заданный входной сигнал (102) EDR, который находится в первом цветовом пространстве (например, RGB), на этапе (110) преобразования цветового пространства превращается в сигнал (112) в перцепционно-скорректированном цветовом пространстве IPT (IPT-PQ). Данное цветовое преобразование может включать следующие этапы:
a) (Этап 210) Нормирование пиксельных значений входного сигнала (102) (например, от 0 до 4095) в пиксельные значения с динамическим диапазоном от 0 до 1.
b) (Этап 215) Использование EOTF (как предоставлено посредством метаданных (104)) для возврата или отмены преобразования первоначальным дисплеем из кодовых значений в яркость. Например, если входной сигнал является кодированным сигналом гаммы, тогда данный этап применяет обратную гамма-функцию. Если входной сигнал является кодированным сигналом PQ в соответствии с заявкой “212 PCT, тогда данный этап применяет обратную функцию PQ. На практике этап (210) нормирования и обратное нелинейное кодирование (215) могут быть выполнены с использованием предварительно вычисленных справочных таблиц (LUT) 1-D.
c) (Этап 220) Преобразование выходного сигнала на этапе b) в цветовое пространство LMS.
d) (Этап 225) В соответствии с «Ebner paper» традиционное преобразование цветового пространства из LMS в IPT включает применение первой нелинейной функции мощности к данным LMS, а затем применение линейной матрицы преобразования. Несмотря на возможность преобразования данных из LMS в IPT, а затем применения функции PQ, находящейся в домене IPT-PQ, в предпочтительном варианте осуществления на этапе (225) традиционная функция мощности для нелинейного кодирования из LMS в IPT заменяется нелинейным кодированием PQ. Например, нелинейные значения L, M и S вычисляются таким же образом, как и сигнал V в уравнении (t2), в котором сигнал Y заменяется линейными значениями (222) компонента L, M или S. В некоторых вариантах осуществления может быть использована нормированная версия кодирования PQ, при этом этап уравнения (t3) может быть опущен и диапазон выходных значений PQ составляет от 0 до 1.
e) (Этап 230) Использование стандартного линейного преобразования из LMS в IPT, этап 230 завершает преобразование сигнала 222 в цветовое пространство IPT.
f) (Этап 235) В некоторых вариантах осуществления компонент I выходного сигнала IPT-PQ 232 может быть также отрегулирован для учета эффекта Гельмгольца-Кольрауша, посредством чего насыщенные цвета кажутся ярче, чем белый цвет с таким же значением яркости. С учетом пикселя в пространстве IPT, представленном значениями Ii, Pi и Ti, пусть CHi = , тогда в варианте осуществления выходной сигнал I’ этапа 235 может быть выражен следующим образом:
Диапазон выходного сигнала IPT-PQ (112) составляет от 0 до 1 для компонента I (в соответствии с динамическим диапазоном от 0 до 10000 нитов) от -1 до 1 для компонентов P и T.
В некоторых вариантах осуществления канал (например, 110) полного цветового преобразования может быть вычислен с использованием 3D LUT.
ТОНАЛЬНОЕ ОТОБРАЖЕНИЕ
После этапа (110) цветового преобразования интенсивность (I) сигнала (112) должна быть отображена для соответствия ограничениям целевого дисплея. На фиг. 3 показан пример нелинейной функции (320) отображения, вычисленной в соответствии с вариантом осуществления (например, на этапе 115). Целевой дисплей может являться дисплеем EDR или дисплеем SDR. Если целевой дисплей имеет такие же характеристики, как и исходный (или первоначальный) дисплей производства, используемый для обработки (например, сортировки по цвету) входного сигнала (102), тогда преобразование не является необходимым. Такое линейное отображение один к одному показано на фиг. 3 посредством линейного отображения (310); однако, если целевой дисплей имеет динамический диапазон, который ниже или выше, чем динамический диапазон исходного дисплея производства, тогда этап (115) обработки будет отображать динамический диапазон входного сигнала до динамического диапазона целевого дисплея.
На фиг. 3 пусть границы (305-1) и (305-2) представляют минимальный и максимальный уровни яркости входного сигнала (входного сигнала EDR). Также, пусть (307-1) и (307-2) представляют минимальный и максимальный уровни яркости целевого дисплея.
Предполагая входной сигнал отображения динамического диапазона исходного дисплея, представленного функцией (320), выход нелинейного отображения (например, 320) лучше соответствует ограничениям (например, 307-1 и 307-2) динамического диапазона целевого дисплея. Пример преобразования нелинейного отображения описан A. Ballestad и др. в заявке PCT № PCT/US2012/029189, поданной 15 марта 2012 г., под названием «Method and apparatus for image data transformation» (которая в данный момент является патентом США № 8593480), которая полностью включена в данную заявку посредством ссылки.
В соответствии с заявкой PCT ‘189 Ballestad приведенная в качестве примера передаточная функция для нелинейного отображения (115) может быть обозначена следующим образом:
где C1, C2 и C3 являются постоянными, Yin является входным значением для цветового канала (например, канала I ), Yout является выходным значением для цветового канала, и n и m являются параметрами. Данная передаточная функция является примером параметризованной сигмоидальной функции тоновой кривой. Параметры C1, C2 и C3 определены на основе определения трех опорных точек (например, 325-1, 325-2 и 325-3), которые в свою очередь определяются на основе характеристик яркости исходного (или первоначального) дисплея, которые, как правило, извлекаются из входных метаданных (106), и характеристик яркости целевого дисплея, которые, как правило, уже известны процессору, выполняющему способ управления отображением.
В приведенном в качестве примера варианте осуществления этап (120) может вычислить параметры тоновой кривой уравнения (2) следующим образом:
a) Вычисление соотношения первоначального к целевому, S2Tratio.
Пусть Tmin и Tmax обозначают минимальную и максимальную яркость целевого дисплея, представленного посредством кодирования PQ. Также, пусть Smin и Smax обозначают минимальную и максимальную яркость первоначального дисплея, также с кодированием PQ, тогда в варианте осуществления S2Tratio может быть определено следующим образом:
Без потери общности в некоторых вариантах осуществления значение S2Tratio может быть также ограничено, чтобы никогда не превышать единицу; то есть декодер может предполагать, что исходный дисплей всегда по меньшей мере такой же яркий, как и целевой дисплей. Следует отметить, что, если S2Tratio = 1, то этап (115) может быть пропущен.
Без потери общности пусть входная последовательность характеризуется тремя переменными, которые в приведенном в качестве примера варианте осуществления обозначаются переменными Crush, Clip и Mid, которые обозначают соответственно самый низкий уровень черного, самый высокий уровень белого и средний уровень серого входной последовательности. Их значения могут быть вычислены для каждого кадра, части кадра или последовательности кадров в сцене. Значения этих параметров могут быть либо вычислены на основе входного видеопотока, либо они могут являться частью входных метаданных (106). В варианте осуществления эти параметры вычисляются на посценовой основе. В данном документе термины «сцена» или «снимок» обозначают ряд последовательно захваченных кадров, которые могут разделять одинаковые общие характеристики яркости. Записи сцен могут быть определены вручную или они также могут являться частью входных метаданных. Например, ряд записей может определить количество кадров записей сцен. В качестве альтернативы параметр в каждом кадре может определить, представляет ли кадр начало записи сцены.
С учетом этих значений и значения S2Tratio в варианте осуществления могут быть вычислены следующие промежуточные параметры регулировки тоновой кривой:
Slope = обозначает контраст промежуточных тонов. Он регулируется в соответствии со значением S2Tratio для сохранения видимости контраста. Он может быть представлен в качестве наклона касательной к кривой (320) отображения рядом с центральной опорной точкой (352-2).
Key = является показателем «темной» или «светлой» сцены. Сцены с низкой тональностью (темные) могут быть отображены немного ярче и сцены с высокой тональностью (светлые) могут быть отображены немного темнее для сохранения темной и светлой детализации соответственно.
Rolloff, как правило, является постоянной (например, 1/3) и представляет крутизну перехода между промежуточными тонами и яркими участками/тенями. Более низкое значение указывает на более резкий переход и будет иметь визуальный эффект «мягкого кадрирования».
Пусть и , тогда в варианте осуществления с использованием системы обозначений MATLAB параметры тоновой кривой нелинейного отображения уравнения (2) могут быть вычислены, как показано в Таблице 2.
Таблица 2
x1 = Crush.^(Slope/Rolloff);
x2 = Mid.^(Slope/Rolloff);
x3 = Clip.^(Slope/Rolloff);
y1 = Min.^(1/Rolloff);
y2 = (Mid - Shift).^(1/Rolloff);
y3 = Max.^(1/Rolloff);
temp = x3*y3*(x1-x2)+x2*y2*(x3-x1)+x1*y1*(x2-x3);
c1 = (x2*x3*(y2-y3)*y1-x1*x3*(y1-y3)*y2+x1*x2*(y1-y2)*y3)/temp;
c2 = (-(x2*y2-x3*y3)*y1+(x1*y1-x3*y3)*y2-(x1*y1-x2*y2)*y3)/temp;
c3 = ((x3-x2)*y1-(x3-x1)*y2+(x2-x1)*y3)/temp;
С учетом вышеуказанных параметров C1, C2 и C3 в варианте осуществления выходной сигнал (117) (Im) этапа (115) отображения интенсивности может быть вычислен следующим образом:
где Io обозначает компонент I сигнала (112) EDR IPT-PQ.
Многомасштабное сохранение детализации компонента I
Оператор тонового отображения уравнения (4), как правило, относится к глобальному оператору тонального отображения, поскольку подобное уравнение применяется ко всему кадру. В варианте осуществления глобальное тональное отображение может сопровождаться оператором (125) многомасштабного тонального отображения, который улучшает локальный контраст. Пример такого локального оператора тонального отображения описан Ballestad в заявке PCT ‘189. В качестве альтернативы в еще одном варианте осуществления выходной сигнал (117) этапа (115) отображения интенсивности может сопровождаться методом нерезкого маскирования, таким как описан в документе «Retaining local image information in gamut mapping algorithms» P. Zolliker и K. Simon, записи IEEE относительно обработки изображения, том 16, № 3, март 2007 г., страницы 664-672, включенном в данную заявку посредством ссылки.
Пусть Io обозначает интенсивность входного сигнала (112), и пусть Im обозначает интенсивность выходного сигнала (117) с тональным отображением, тогда в соответствии с вариантом осуществления интенсивность выходного сигнала IS (127) этапа (125) многомасштабного сохранения детализации может быть выражена следующим образом:
где F (I, H) обозначает применение к изображению I раздельного фильтра с ядром H. В варианте осуществления H содержит фильтр Гаусса 11x11 с σ=2; однако альтернативные фильтры могут быть также применены. В некоторых вариантах осуществления в зависимости от характеристик входного сигнала данный этап может быть также пропущен.
В некоторых вариантах осуществления процесс сохранения детализации уравнения (5) может быть также улучшен посредством применения дополнительного фильтра обнаружения краев для снижения сияния вокруг высококонтрастных краев, включая леттербоксинг и субтитры. В варианте осуществления пусть
и
обозначают соответственно выходные сигналы фильтра (LPF) низких частот с ядром HB и фильтра обнаружения краев с ядром HE. Тогда с учетом выходного сигнала IE, который может находиться в диапазоне [0,1], этап (125) многомасштабного сохранения детализации может быть выражен следующим образом:
По сравнению с уравнением (5), каждый раз, когда обнаруживается насыщенный край, IS становится ближе к исходному тонально отображаемому сигналу, чем сигналу фильтра низких частот.
В некоторых вариантах осуществления дополнительные значения могут быть также применены, а именно:
где w1 и w2 являются зависящими от реализации значениями. В еще одном варианте осуществления с учетом a и порогового значения обнаружения краев Te, выходной сигнал этапа (125) многомасштабного сохранения может быть выражен следующим образом:
Например, в соответствии с уравнением (10) для a=1, если край не обнаружен, выходной сигнал IS определяется в соответствии с уравнением (5); однако, если обнаружен сильный край, тогда IS = Im.
В варианте осуществления фильтр LPF является фильтром Гаусса и фильтр обнаружения краев может являться раздельным фильтром с коэффициентами, полученными посредством взятия первой производной фильтра LPF. Однако может быть применен любой фильтр обнаружения краев. Посредством применения раздельных фильтров низких частот и обнаружения краев в варианте осуществления операции фильтрации низких частот, обнаружение краев в горизонтальном направлении и обнаружение краев в вертикальном направлении могут быть применены параллельно, чтобы воспользоваться преимуществом параллельных архитектур (а именно FPGA или заказная интегральная схема), которые могут включать отдельные схемы для каждого из этих фильтров. Такой пример реализации показан на фиг. 6, при этом:
Входной сигнал D0’’ соответствует Im;
Входной сигнал D0’’’ соответствует IS;
Фильтр 0 соответствует фильтру (LPF) низких частот;
«Фильтр1» и «Фильтр2» соответствуют фильтрам горизонтального и вертикального обнаружения краев;
ABS() обозначает функцию абсолютного значения; и
MS_weight и MS_edge_weight являются регулируемыми параметрами в диапазоне [0, 1], (например, MS_weight = 0,0 и MS_edge_weight =1,0).
Для заданной битовой глубины N пусть max_value обозначает максимальное значение 2N-1. Пусть dx и dy обозначают выходные сигналы фильтров «фильтр1» и «фильтр2» обнаружения краев, тогда в варианте осуществления значение alpha может быть вычислено следующим образом:
dx = dx ÷ max_value
dy = dy ÷ max_value
alpha = MAX( 0, MIN( 1, ( ABS( dx ) + ABS( dy ) ) * ms_edge_weight + ( ms_ weight ) ) )
dy = dy ÷ max_value
alpha = MAX( 0, MIN( 1, ( ABS( dx ) + ABS( dy ) ) * ms_edge_weight + ( ms_ weight ) ) )
Тогда выходной сигнал может быть вычислен следующим образом:
d0[ x, y ] = D0’[ x, y ] - d[x,y] * alpha - v[ x, y] *( 1.0 – alpha )
D0”’[ x, y ] = CLIP3( 0, max_value, d0 ),
D0”’[ x, y ] = CLIP3( 0, max_value, d0 ),
где d[x,y] обозначает изображение разницы , v[ x, y] обозначает выходной сигнал LPF (например, , и функция CLIP3(a, b, x) обозначает, что значение x ограничено нижним значением a и верхним значением b.
Регулировка насыщенности
[00051] В сигнале IPT, P и T являются лишь относительными интенсивностями цветовых различий по сравнению с интенсивностью I. Поскольку этапы (115) и (125) модифицировали I цветовой компонент, то цветовые компоненты P и T должны быть отрегулированы для сохранения оттенка и насыщенности. Пример такого процесса (130) показан на фиг. 4.
[0001] Как показано на фиг. 4, параметры для повышения красочности и насыщенности могут быть вычислены на основе исходного входного сигнала в пространстве IPT-PQ (112) и тонально отображенного выходного сигнала (127). Данные параметры вычисляются на попиксельном уровне и одинаковый преобразователь масштаба (S) применяется для обоих цветовых компонентов P и T. В приведенном в качестве примера варианте осуществления пусть повышение красочности будет определено с использованием линейных функций отображения.
CEDR = k1 Io + k2, (11)
CMapped = k1 IS + k2,
где k1 и k2 являются постоянными на основе психофизических данных. Например, в варианте осуществления k1 = 0,5 и k2 = 1,0. В уравнении (6) CEDR (412) обозначает выходной сигнал этапа (410-1) и CMapped (414) обозначает выходной сигнал этапа (410-2). Тогда преобразователь масштаба (422) регулировки насыщенности может быть определен следующим образом:
С учетом S, и исходных цветовых компонентов Po и To сигнала (112), донасыщенные компоненты PS и TS тонально отображенного выходного сигнала (132) могут быть вычислены следующим образом:
В некоторых вариантах осуществления преимущественным может являться определение повышения красочности CMapped на основе исходного тонально отображенного сигнала (117) (Im) нежели усиленного сигнала (127) (IS), тогда CMapped = k1 Im + k2 и
В альтернативном варианте осуществления этап регулировки насыщенности может являться частью этапа (110) цветового преобразования. В приведенном в качестве примера варианте осуществления после поправки на эффект (235) Гельмгольца-Кольрауша, показанный в уравнении (1), может применяться следующая шкала цветности:
3D LUT устройства отображения цветовой гаммы
Этапы обработки тонального отображения и повышения насыщенности могут привести к цветам вне гаммы целевого дисплея. 3D справочная таблица (LUT) (140) цветовой гаммы может быть вычислена и применена к видеосигналу (132) для регулировки цветовой гаммы. В качестве части коррекции (135) цветовой гаммы сигнал может быть также преобразован обратно в еще одно цветовое пространство (например, RGB) и его гамма может быть скорректирована для генерирования конечного сигнала (145) EDR как для отображения на целевом дисплее, так и/или для другой последующей обработки.
Регулировки яркости и цвета
В определенных вариантах осуществления необходимой может являться регулировка (например, повышение) значений яркости или цветности входного сигнала вне этих значений, предусмотренных для представления первоначального замысла режиссера. Например, многие потребительские телевизоры включают такие режимы картинки, как «яркий», «спорт» или «кино» с установленными наборами параметров отображения, которые улучшают впечатление пользователя для конкретного контента. В варианте осуществления параметры повышения яркости могут быть установлены в зависимости от промежуточных параметров регулировки тоновой кривой, например, параметров Slope, Shift, Min, и Shift, обсужденных ранее.
Пусть SlopePref = ShiftPref = MinPref = MaxPref = 1 обозначает параметры повышения яркости по умолчанию, если повышение яркости не является необходимым. Если повышение или изменение сигнала является необходимым, тогда эти четыре параметра могут быть отрегулированы. Например, помимо всего прочего, в варианте осуществления эти значения могут быть установлены следующим образом:
SlopePref = 0,8,
ShiftPref = 0,005,
MinPref = 0,0001,
MaxPref = 1,0.
Тогда соответствующие параметры Slope, Shift, Min и Shift, используемые для вычисления параметров (120) тоновой кривой уравнения (4) регулируются следующим образом:
Slope = Slope*SlopePref,
Shift = Shift *ShiftPref,
Min = Min*MinPref, и
Max = Max / MaxPref
Применение этих регулировок к Min, Max, Slope и Shift меняет исходный диапазон отображения. Следовательно, для возвращения диапазона отображения обратно к исходному (например, мин/макс EDR и мин/макс отображение, как определено из метаданных (106) отображения и контента) выполняется следующее уравнение после вычисления Im в уравнении (4).
Цветность также может быть отрегулирована. С учетом выходных сигналов PS и TS из уравнения (8) (например, сигнала (132)), цветовые компоненты (PS, TS) могут быть преобразованы в значения (цветности, оттенка) с использованием стандартных Евклидово-полярных преобразований. Затем возможно отрегулировать значения цветности (Cin) (насыщенности, красочности) посредством применения либо линейных, либо нелинейных функций отображения. Примеры таких функций отображения показаны на фиг. 5.
[0001] Помимо всего прочего, на фиг. 5 показано три приведенных в качестве примера варианта осуществления для функции отображения цветности. Пусть Cout = f(Cin ) обозначает функцию ввода/вывода регулировки цветности. В первом варианте осуществления (505),
следовательно, регулировка цветности не выполняется. Во втором варианте осуществления (510),
где γ является постоянной. Наконец, в третьем варианте осуществления (515) цветность может быть выражена в качестве выходного сигнала нелинейной функции, описанной посредством сплайновых или сигмоидальных соотношений ввода/вывода.
В некоторых вариантах осуществления функция отображения цветности может быть модулирована в зависимости от оттенка. В таких вариантах осуществления определенные области хроматичности (например, небо, трава или цвета кожи) могут быть обработаны иначе, чем остальные. В определенных вариантах осуществления функция отображения цветности может быть также модулирована в зависимости от интенсивности (I). В некоторых вариантах осуществления значения цветности могут быть также снижены для создания ненасыщенного изображения для специального эффекта (например, сепии или ощущения старого фильма).
После регулировок цветности преобразованные значения (цветности, оттенка) преобразовываются обратно в значения (P, T) с использованием стандартных полярно-Евклидовых преобразований и продолжается оставшийся процесс управления отображением. В некоторых вариантах осуществления регулировки яркости и цветности могут быть предварительно вычислены и в качестве альтернативы объединены с другими 3D LUT канала управления отображением.
Регулировка параметров яркости и цветности сильно зависит от возможностей и характеристик отображения целевого дисплея. В некоторых вариантах осуществления производитель и модель целевого TV могут быть доступны для телевизионной приставки или процессора дисплейного менеджера (DM) через вспомогательную информацию, такую как EDID (расширенные идентификационные данные дисплея) TV. Данная информация может быть использована для поиска возможностей дисплея с использованием локальной или удаленной базы данных (например, через сеть Интернет или другое восходящее соединение) и, таким образом, предоставления предварительно вычисленных и оптимизированных параметров повышения для целевого дисплея. В качестве альтернативы, если конкретная информация недоступна, телевизионная приставка может предоставить пользователю выбор альтернативных режимов отображения и позволить пользователю выбрать наиболее предпочтительный режим.
В некоторых вариантах осуществления, если оптимизированные 3D LUT недоступны для управления отображением EDR для целевого дисплея, телевизионная приставка (STB) может применить способы, описанные в данной заявке, для вычисления новых LUT на основе набора параметрических функций, которые могут быть предварительно сохранены в STB, и параметров целевого дисплея. Во время подключения нового TV пользователь может подождать несколько секунд прежде чем осуществится вычисление новых LUT; однако результаты могут быть сохранены в памяти устройства для повторного использования в дальнейшем.
Тональное отображение для сигналов с субдискретизированным цветом
В вариантах осуществления сигнал (102) EDR может быть принят в субдискретизированном формате цветности (например, YCbCr 4:2:0). Кроме того, может быть также необходимо преобразовать выходной сигнал (145) EDR RGB в специальный для дисплея формат, отличный от RGB 4:4:4 (например, YCbCr 4:2:0). Несмотря на то, что способ управления отображением 100A (фиг. 1A) может быть легко модифицирован для соответствия цветовому преобразования предварительной обработки или последующей обработки, цветовой повышающей дискретизации или понижающей дискретизации относительно входных сигналов и выходных сигналов с полным разрешением (например, относительно сигнала (102) перед этапом (110) преобразования из RGB в IPT-PQ или относительно сигнала (145) RGB), выполнение некоторых операций управления отображением сигналов с уменьшенным разрешением может являться более вычислительно эффективным. Примеры таких вариантов осуществления обсуждены далее.
На фиг. 1B показан приведенный в качестве примера способ (100B) управления отображением изображений EDR в соответствии с альтернативным вариантом осуществления настоящего изобретения. Помимо всего прочего, в примере пусть принятый сигнал (102) EDR будет сигналом YCbCr 4:2:0 и пусть необходимый выходной сигнал (160) будет гамма кодированным сигналом EDR YCbCr 4:2:0. Подобная обработка может быть также применена к другим цветовым форматам с субдискретизированной цветностью, такой как YCbCr 4:2:2 и тому подобное.
Как показано под номером 100B, обработка входного сигнала (102) может быть разделена на два отдельных пути; обработка компонента (102Y) Y при полном (яркость) разрешении и обработка сигнала (107) RGB при разрешении цветности (например, при 1/4 разрешения для сигналов 4:2:0). Преобразователь (105) цветов осуществляет понижающую дискретизацию входного сигнала Y, а затем преобразовывает Y с пониженной дискретизацией и исходные входные компоненты CbCr в сигнал (107) RGB (4:4:4) с пространственным разрешением, равным исходному разрешению цветности. Преобразователь (110B) цветов превращает сигнал с полным разрешением (102Y) в перцепционно-квантовый(PQ) сигнал (112B). Как обсуждалось ранее, на этапе (100) обработки из RGB в IPT-PQ (см. фиг. 2) входной компонент Y сигнала (102) может также являться гамма-линейным и нормированным (например, в диапазоне (0, 1)) перед применением функции PQ к компоненту Y.
С учетом новых сигналов (107) и (112B), обработка сигнала (107) продолжается так же, как и на этапе (100A), за исключением того, что этап (125) многомасштабного сохранения детализации в данном случае применяется после этапа (130) регулировки и насыщенности. Поскольку сигнал (132) в данном случае имеет 1/4 разрешения исходного сигнала (102), дополнительный этап (150) повышения дискретизации осуществляет повышение дискретизации выходного сигнала устройства отображения (135) гаммы в сигнал (152) полного разрешения, который используется в качестве тонально отображенного входного сигнала (Im) этапа (125) многомасштабного сохранения детализации. Сигнал (112B) используется в качестве исходного сигнала Io (см. уравнения (5)-(10)). Следует отметить, что процесс (135) отображения гаммы может генерировать непосредственно сигнал в цветовом пространстве (Y-PQ)CbCr (4:4:4). Выходной сигнал EDR (160) имеет формат YCbCr (4:2:0) и содержит два сигнала: компонент (137-CbCr) цветности, вычисленный посредством устройства отображения (135) гаммы, плюс сигнал (157) яркости. Сигнал (157) яркости может быть сгенерирован посредством корректировки (155) гаммы выходного сигнала способа (127) многомасштабного сохранения детализации. Декодирование PQ и кодирование (155) гаммы могут использовать параметры (152) EOTF (например, гамма, мин и макс) целевого дисплея (не показанного).
На фиг. 1C показан альтернативный вариант осуществления, который параллелизует многомасштабные операции и операции понижения дискретизации яркости для дополнительного улучшения эффективности канала пикселя и снижения требований к памяти. В данном примере канал полного разрешения (Y) работает в полном разрешении, но требует меньшего количества операций на пиксель. И напротив, канал RGB 4:4:4 имеет большее количество операций на пиксель, но работает в 1/4 от исходной разрешающей способности яркости. Фиг. 1C в большей степени соответствует параллельным аппаратурным реализациям.
По сравнению со способом (100B), способ (100C) добавляет дополнительный этап (115B) отображения интенсивности к выходному сигналу (Io 112B) преобразователя (110B) цветов; однако это устраняет необходимость в способе (150) повышения дискретизации в способе (100B). Этап (115B) отображения интенсивности может использовать параметры тоновой кривой, вычисленные на этапе 120. В некоторых вариантах осуществления (не показанных) входным сигналом отображения (115B) интенсивности может являться сигнал (102Y) вместо сигнала (112B).
Приведенная в качестве примера реализация компьютерной системы
Варианты осуществления настоящего изобретения могут быть реализованы посредством компьютерной системы, систем, включенных в конфигурацию электронной схемы и компонентов, устройства интегральной схемы (IC), такого как микроконтроллер, программируемая пользователем вентильная матрица (FPGA) или другое конфигурируемое или программируемое логическое устройство (PLD), процессора (DSP) обработки цифровых сигналов или дискретного времени, IC (ASIC) специального применения и/или устройства, которое содержит одну или несколько таких систем, приборов или компонентов. Компьютер и/или IC может выполнять, управлять или исполнять команды, относящиеся к управлению отображением и отображению изображений с увеличенным динамическим диапазоном, таких как описаны в данном документе. Компьютер и/или IC может вычислять любые различные параметры или значения, которые относятся к способам управления отображением, описанным в данном документе. Варианты осуществления изображения и видео могут быть реализованы в аппаратном обеспечении, программном обеспечении, программно-аппаратном обеспечении и различных их комбинациях.
Определенные реализации изобретения включают компьютерные процессоры, которые исполняют команды программного обеспечения, вызывающие выполнение процессорами способа изобретения. Например, один или несколько процессоров в дисплее, кодирующем устройстве, телевизионной приставке, транскодере или тому подобном могут реализовать способы, относящиеся к управлению отображением изображений EDR, как описано выше, посредством исполнения команд программного обеспечения в программной памяти, доступной для процессоров. Изобретение также может быть представлено в форме программного продукта. Программный продукт может содержать любой энергонезависимый носитель, который содержит набор машиночитаемых сигналов, содержащих команды, которые при исполнении процессором данных вызывают исполнение процессором данных способа изобретения. Программные продукты в соответствии с изобретением могут иметь любую форму из широкого разнообразия форм. Программный продукт может содержать, например, физические носители, такие как магнитные носители данных, включая гибкие диски, жесткие диски, оптические носители данных, включая диски CD-ROM и DVD, электронные носители данных, включая ROM, флеш-память с произвольным доступом, или тому подобное. Машиночитаемые сигналы программного продукта необязательно могут быть сжатыми или зашифрованными.
Если компонент (например, программный модуль, процессор, сборка, устройство, схема и т.д.) относится к вышеизложенному, если не указано иное, ссылка на данный компонент (включая ссылку на «средства») должна интерпретироваться в качестве включающей эквиваленты любого компонента данного компонента, который выполняет функцию описанного компонента (например, который является функционально эквивалентным), включая компоненты, которые не являются структурно эквивалентными относительно описанной структуры, которая выполняет функцию в проиллюстрированных приведенных в качестве примера вариантах осуществления изобретения.
Эквиваленты, расширения, альтернативы и прочее
Таким образом, описаны приведенные в качестве примера варианты осуществления, которые относятся к эффективному управлению отображением изображений EDR. В вышеизложенном описании варианты осуществления настоящего изобретения были описаны со ссылкой на многочисленные конкретные подробности, которые могут отличаться от реализации к реализации. Таким образом, исключительным и эксклюзивным указанием того, чем является изобретение, и того, чем считают изобретение заявители, является набор пунктов формулы изобретения, который вытекает из данной заявки, в той особой форме, в которой выражены данные пункты формулы изобретения, включая любые последующие исправления. Любые определения, изложенные в данном документе в прямой форме для терминов, содержащихся в данных пунктах формулы изобретения, должны обуславливать значение, в котором данные термины используются в пунктах формулы изобретения. Таким образом, никакие ограничения, элементы, свойства, особенности, преимущества или признаки, которые не перечислены специально в пункте формулы изобретения, не должны ограничивать объем данного пункта формулы изобретения каким-либо образом. Соответственно, описание и графические материалы, следует рассматривать в иллюстративном, а не в ограничивающем смысле.
Claims (61)
1. Способ управления отображением изображений посредством процессора, при этом способ включает:
получение доступа к входному изображению (102) в первом цветовом пространстве с первым увеличенным динамическим диапазоном (EDR);
применение этапа (110) цветового преобразования к входному изображению для определения первого выходного изображения (112) в перцепционно-скорректированном цветовом пространстве IPT (IPT-PQ), при этом цветовое преобразование из первого цветового пространства в пространство IPT-PQ основано по меньшей мере частично на применении нелинейной функции перцепционного преобразователя (PQ) к функции входного изображения;
применение нелинейной функции (115) тонального отображения к компоненту интенсивности (I) первого выходного изображения (112) для определения компонента интенсивности первого тонально отображенного изображения (117) со вторым динамическим диапазоном, при этом второй динамический диапазон отличается от первого динамического диапазона;
применение функции (125) сохранения детализации для генерирования компонента интенсивности второго выходного изображения (127) в ответ на компоненты интенсивности первого выходного изображения (112) и первого тонально отображенного изображения (117);
применение функции (130) регулировки насыщенности к цветовым (Р, Т) компонентам второго выходного изображения (127) для генерирования цветовых компонентов второго тонально отображенного изображения (132), при этом функция регулировки насыщенности определена посредством компонента интенсивности первого выходного изображения (112) и компонента интенсивности либо второго выходного изображения (127), либо первого тонально отображенного изображения (117); и
применение функции (135) отображения цветовой гаммы ко второму тонально отображенному изображению (132) для генерирования третьего выходного изображения (145).
2. Способ по п. 1, отличающийся тем, что первое цветовое пространство содержит цветовое пространство RGB и применение этапа (110) цветового преобразования дополнительно включает:
преобразование линейного сигнала (217) RGB в цветовой сигнал (222) LMS (цветовое пространство); и
применение нелинейной функции перцепционного преобразователя (PQ) и матрицы преобразования к цветовому сигналу LMS для генерирования сигнала (232) цветового пространства IPT-PQ.
3. Способ по п. 2, отличающийся тем, что дополнительно включает регулировку интенсивности (I) цветового сигнала (232) IPT-PQ для генерирования отрегулированного сигнала (112) IPT-PQ, при этом этап регулировки выполняют по меньшей мере частично посредством применения функции
4. Способ по п. 1, отличающийся тем, что нелинейную функцию (115) тонального отображения выражают в виде параметризованной сигмоидальной функции тоновой кривой, при этом параметры функции определяют на основе характеристик первоначального дисплея и целевого дисплея.
5. Способ по п. 4, отличающийся тем, что характеристики первоначального дисплея содержат значение минимальной яркости и значение максимальной яркости для первоначального дисплея.
6. Способ по п. 4, отличающийся тем, что характеристики целевого дисплея содержат значение минимальной яркости и значение максимальной яркости для целевого дисплея.
7. Способ по п. 4, отличающийся тем, что доступ к характеристикам первоначального дисплея получают посредством получения метаданных (104) первоначального дисплея.
8. Способ по п. 4, отличающийся тем, что сигмоидальную тоновую функцию выражают в виде:
при этом С1, С2, С3 и Rolloƒƒ являются постоянными, определяющими параметры функции тонального отображения, и для входного сигнала Io, Im существует соответствующее выходное значение.
9. Способ по п. 8, отличающийся тем, что постоянные С1, С2 и С3 определяют по меньшей мере частично на основе одной или нескольких характеристик оттенка серого входного сигнала (102).
10. Способ по п. 9, отличающийся тем, что доступ к характеристикам оттенка серого входного сигнала (102) получают через метаданные (106) контента и они содержат значение минимальной яркости (Crush), значение максимальной яркости (Clip) и среднее значение яркости промежуточного тона (Mid).
11. Способ по п. 8, отличающийся тем, что постоянные C1, С2 и С3 определяют по меньшей мере частично на основе одного или нескольких промежуточных параметров регулировки тоновой кривой.
12. Способ по п. 1, отличающийся тем, что интенсивность выходного сигнала IS (127) этапа (125) многомасштабного сохранения детализации выражают следующим образом:
IS=Io-F((Io-Im),H),
где F (I, Н) обозначает применение к изображению I фильтра с ядром Н, Io обозначает пиксельные значения интенсивности первого выходного изображения (112), Im обозначает пиксельные значения интенсивности первого тонально отображенного выходного изображения (117) и IS обозначает пиксельные значения интенсивности второго выходного изображения (127).
13. Способ по п. 12, отличающийся тем, что ядро Н содержит фильтр Гаусса 11×11 со среднеквадратическим отклонением, равным 2.
14. Способ по п. 12, отличающийся тем, что ядро Н содержит фильтр низких частот.
15. Способ по п. 14, отличающийся тем, что дополнительно включает:
применение фильтра обнаружения краев к сигналу Io-Im для получения выходного изображения края; и
генерирование сигнала IS в ответ на выходной сигнал как фильтра низких частот, так и выходного изображения края.
16. Способ по п. 1, отличающийся тем, что применение функции (130) регулировки насыщенности включает масштабирование цветовых компонентов первого выходного сигнала (112) посредством постоянной масштабирования, которую определяют в ответ на пиксельные значения интенсивности первого выходного изображения (112) и пиксельные значения интенсивности либо второго выходного значения (127), либо первого тонально отображенного изображения (117).
17. Способ по п. 16, отличающийся тем, что вычисление постоянной масштабирования (S) включает вычисление
где CEDR является переменной, определенной в виде линейной функции интенсивности (Io) первого выходного сигнала (112) и CMapped является переменной, определенной в виде линейной функции интенсивности (IS) второго выходного сигнала (127).
18. Способ по п. 4, отличающийся тем, что параметры тоновой кривой нелинейной функции тонального отображения регулируются для повышения интенсивности яркости первого тонально отображенного изображения.
19. Способ по п. 18, отличающийся тем, что повышение интенсивности яркости дополнительно включает:
вычисление первого набора промежуточных параметров тоновой кривой регулировки для определения диапазона отображения функции тонального отображения без повышения яркости;
масштабирование первого набора промежуточных параметров тоновой кривой регулировки в ответ на набор необходимых промежуточных параметров тоновой кривой регулировки;
определение параметров функции тонального отображения на основе второго набора промежуточных параметров тоновой кривой регулировки;
применение функции тонального отображения к интенсивности первого выходного сигнала для определения промежуточного тонально отображенного сигнала; и
регулировку интенсивности промежуточного тонально отображенного сигнала для определения первого тонально отображенного сигнала.
20. Способ по п. 1, отличающийся тем, что дополнительно включает регулировку цветовых компонентов второго тонально отображенного изображения (132), при этом этап регулировки включает:
преобразование пиксельных значений цвета (PS, TS) из второго тонально отображенного изображения в пиксельные значения (цветность, оттенок) с применением преобразования из евклидовых в полярные координаты;
отображение пиксельных значений (цветности, оттенка) для отрегулированных значений (цветности, оттенка) с применением функции отображения; и
преобразование отрегулированных значений (цветности, оттенка) в отрегулированные значения цвета (PS, TS) с применением преобразования из полярных в евклидовы координаты;
21. Способ управления отображением изображений посредством процессора, при этом способ включает:
получение доступа к входному изображению (102) в первом цветовом пространстве (YCbCr) с первым увеличенным динамическим диапазоном (EDR); при этом входное изображение содержит компонент яркости с пространственным разрешением яркости и один или несколько компонентов цветности с пространственным разрешением цветности, при этом пространственное разрешение цветности ниже пространственного разрешения яркости;
применение одного или нескольких этапов (107, 110A) цветового преобразования к входному изображению для определения первого выходного изображения (112А) с пространственным разрешением, равным пространственному разрешению цветности входного изображения, и в перцепционно-скорректированном цветовом пространстве (IPT-PQ) IPT, при этом цветовое преобразование из первого цветового пространства в пространство IPT-PQ основано по меньшей мере частично на применении нелинейной функции перцепционного преобразователя (PQ) к функции входного изображения;
применение нелинейной функции (115) тонального отображения к компоненту интенсивности (I) первого выходного изображения (112А) для определения компонента интенсивности первого тонально отображенного изображения (117) со вторым динамическим диапазоном, при этом второй динамический диапазон отличается от первого динамического диапазона;
применение функции (130) регулировки насыщенности к цветовым (Р, Т) компонентам первого тонально отображенного изображения (117) для генерирования цветовых компонентов второго тонально отображенного изображения (132), при этом функцию регулировки насыщенности определяют посредством компонента интенсивности первого выходного изображения (112А) и компонента интенсивности первого тонально отображенного изображения (117);
применение функции (135) отображения цветовой гаммы ко второму тонально отображенному изображению (132) для генерирования третьего выходного изображения;
применение нелинейной функции перцепционного преобразователя (PQ) к компоненту (102Y) яркости входного изображения (102) для генерирования второго выходного изображения с пространственным разрешением, равным пространственному разрешению яркости входного сигнала;
применение функции (125) сохранения детализации для генерирования компонента интенсивности четвертого выходного изображения (127) в ответ на компонент интенсивности третьего выходного изображения (137-YPQ) и второго выходного изображения (112В); и
генерирование конечного выходного изображения в ответ на четвертое выходное изображение и компоненты цветности третьего выходного изображения.
22. Способ по п. 21, отличающийся тем, что дополнительно включает повышение дискретизации компонента интенсивности третьего выходного изображения для соответствия пространственному разрешению второго выходного изображения (112В).
23. Способ по п. 21, отличающийся тем, что дополнительно включает:
применение второй нелинейной функции (115В) тонального отображения либо ко второму выходному изображению (112В), либо к компоненту (102Y) яркости входного сигнала (102) для определения компонента интенсивности третьего тонально отображенного изображения (117В) со вторым динамическим диапазоном; и
применение функции (125) сохранения детализации для генерирования компонента интенсивности четвертого выходного изображения (127) в ответ на компонент интенсивности третьего тонально отображенного изображения (117В) и второго выходного изображения (112В).
24. Устройство для отображения изображений, содержащее процессор и выполненное с возможностью выполнения способа по п. 1.
25. Энергонезависимый машиночитаемый носитель данных, имеющий сохраненную на нем машиновыполняемую команду для выполнения способа по п. 1.
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361767380P | 2013-02-21 | 2013-02-21 | |
US61/767,380 | 2013-02-21 | ||
US201361810104P | 2013-04-09 | 2013-04-09 | |
US61/810,104 | 2013-04-09 | ||
PCT/US2014/016304 WO2014130343A2 (en) | 2013-02-21 | 2014-02-13 | Display management for high dynamic range video |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2015134416A RU2015134416A (ru) | 2017-02-22 |
RU2647636C2 true RU2647636C2 (ru) | 2018-03-16 |
Family
ID=50190800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2015134416A RU2647636C2 (ru) | 2013-02-21 | 2014-02-13 | Управление отображением видео с расширенным динамическим диапазоном |
Country Status (13)
Country | Link |
---|---|
US (1) | US10540920B2 (ru) |
EP (1) | EP2959682B1 (ru) |
JP (1) | JP6367839B2 (ru) |
KR (1) | KR102157032B1 (ru) |
CN (1) | CN105009580B (ru) |
BR (1) | BR112015020009B1 (ru) |
ES (1) | ES2708954T3 (ru) |
HK (1) | HK1211156A1 (ru) |
IN (1) | IN2015KN02510A (ru) |
MX (1) | MX346011B (ru) |
RU (1) | RU2647636C2 (ru) |
WO (1) | WO2014130343A2 (ru) |
ZA (1) | ZA201505647B (ru) |
Families Citing this family (149)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6205000B2 (ja) | 2013-03-11 | 2017-09-27 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 階層符号化を用いたマルチフォーマットハイダイナミックレンジビデオの配信 |
CN106488246B (zh) | 2013-06-17 | 2019-06-11 | 杜比实验室特许公司 | 用于增强动态范围信号的分层编码的自适应整形的方法 |
TWI625719B (zh) * | 2013-08-23 | 2018-06-01 | Sony Corp | 信號產生裝置、電腦可讀取媒體、信號產生方法及圖像顯示裝置 |
EP3069513B1 (en) | 2013-11-12 | 2019-03-13 | Dolby Laboratories Licensing Corporation | Pre-dithering in high dynamic range video coding |
EP2989793B1 (en) | 2013-11-13 | 2017-04-05 | Dolby Laboratories Licensing Corporation | Workflow for content creation and guided display management of enhanced dynamic range video |
US9538155B2 (en) | 2013-12-04 | 2017-01-03 | Dolby Laboratories Licensing Corporation | Decoding and display of high dynamic range video |
US10419767B2 (en) * | 2014-02-21 | 2019-09-17 | Koninklijke Philips N.V. | Encoding video with the luminances of the pixel colors converted into lumas with a predetermined code allocation and decoding the video |
US9584786B2 (en) | 2014-03-05 | 2017-02-28 | Dolby Laboratories Licensing Corporation | Graphics blending for high dynamic range video |
US9230338B2 (en) | 2014-03-05 | 2016-01-05 | Dolby Laboratories Licensing Corporation | Graphics blending for high dynamic range video |
CN110675840B (zh) * | 2014-06-26 | 2022-03-25 | 松下知识产权经营株式会社 | 显示装置及显示方法 |
US9613407B2 (en) * | 2014-07-03 | 2017-04-04 | Dolby Laboratories Licensing Corporation | Display management for high dynamic range video |
JP2016058848A (ja) * | 2014-09-08 | 2016-04-21 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US9936199B2 (en) | 2014-09-26 | 2018-04-03 | Dolby Laboratories Licensing Corporation | Encoding and decoding perceptually-quantized video content |
TWI512682B (zh) * | 2014-09-30 | 2015-12-11 | Quanta Comp Inc | 影像處理系統及色彩飽和度補償方法 |
US9729801B2 (en) * | 2014-10-02 | 2017-08-08 | Dolby Laboratories Licensing Corporation | Blending images using mismatched source and display electro-optical transfer functions |
EP3213291B1 (en) | 2014-10-27 | 2019-11-06 | Dolby Laboratories Licensing Corporation | Content mapping using extended color range |
US9369739B2 (en) * | 2014-10-28 | 2016-06-14 | Avid Technology, Inc. | Preserving dynamic range precision in integer image formats |
US10063824B2 (en) | 2014-11-05 | 2018-08-28 | Apple Inc. | Mapping image/video content to target display devices with variable brightness levels and/or viewing conditions |
US10277783B2 (en) | 2014-11-14 | 2019-04-30 | Samsung Electronics Co., Ltd. | Method and device for image display based on metadata, and recording medium therefor |
JP6601729B2 (ja) * | 2014-12-03 | 2019-11-06 | パナソニックIpマネジメント株式会社 | データ生成方法、データ再生方法、データ生成装置及びデータ再生装置 |
JP6362793B2 (ja) | 2015-01-19 | 2018-07-25 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ映像のためのディスプレイマネジメント |
JP7106273B2 (ja) | 2015-01-27 | 2022-07-26 | インターデジタル マディソン パテント ホールディングス, エスアーエス | 画像及びビデオを電気光変換及び光電気変換するための方法、システム、及び機器 |
CN104618700B (zh) * | 2015-01-29 | 2017-01-18 | 电子科技大学 | 一种彩色高动态范围图像增强显示的方法 |
CN107409210B (zh) * | 2015-01-30 | 2021-01-12 | 交互数字Vc控股公司 | 匹配不同动态范围的彩色图片之间的色彩的方法和设备 |
GB2534929A (en) * | 2015-02-06 | 2016-08-10 | British Broadcasting Corp | Method and apparatus for conversion of HDR signals |
WO2016154336A1 (en) | 2015-03-25 | 2016-09-29 | Dolby Laboratories Licensing Corporation | Chroma subsampling and gamut reshaping |
EP3272120B1 (en) * | 2015-04-21 | 2022-06-15 | ARRIS Enterprises LLC | Adaptive perceptual mapping and signaling for video coding |
US10735755B2 (en) | 2015-04-21 | 2020-08-04 | Arris Enterprises Llc | Adaptive perceptual mapping and signaling for video coding |
WO2016172091A1 (en) | 2015-04-22 | 2016-10-27 | Dolby Laboratories Licensing Corporation | Signal reshaping and coding in the ipt-pq color space |
WO2016181819A1 (ja) * | 2015-05-12 | 2016-11-17 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
EP3298787B1 (en) * | 2015-05-21 | 2021-03-24 | Telefonaktiebolaget LM Ericsson (publ) | Pixel pre-processing and encoding |
US10165198B2 (en) * | 2015-06-02 | 2018-12-25 | Samsung Electronics Co., Ltd. | Dual band adaptive tone mapping |
KR102059256B1 (ko) | 2015-06-05 | 2019-12-24 | 애플 인크. | Hdr 콘텐츠의 렌더링 및 디스플레이 |
EP3304912A4 (en) * | 2015-06-07 | 2018-06-06 | Sharp Kabushiki Kaisha | Systems and methods for optimizing video coding based on a luminance transfer function or video color component values |
US10284863B2 (en) | 2015-06-08 | 2019-05-07 | Qualcomm Incorporated | Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding |
US10397585B2 (en) * | 2015-06-08 | 2019-08-27 | Qualcomm Incorporated | Processing high dynamic range and wide color gamut video data for video coding |
US10007412B2 (en) * | 2015-06-24 | 2018-06-26 | Samsung Electronics Co., Ltd. | Tone mastering system with creative intent metadata |
US10043487B2 (en) | 2015-06-24 | 2018-08-07 | Samsung Electronics Co., Ltd. | Apparatus and method for split screen display on mobile device |
CN107771392B (zh) * | 2015-06-30 | 2021-08-31 | 杜比实验室特许公司 | 用于高动态范围图像的实时内容自适应感知量化器 |
EP3323243B1 (en) | 2015-07-16 | 2022-01-19 | Dolby Laboratories Licensing Corporation | Signal reshaping and decoding for hdr signals |
WO2017015397A1 (en) | 2015-07-22 | 2017-01-26 | Dolby Laboratories Licensing Corporation | Video coding and delivery with both spatial and dynamic range scalability |
EP3330959A4 (en) * | 2015-07-31 | 2019-07-17 | Sony Corporation | VIDEO SIGNAL PROCESSING DEVICE, METHOD FOR PROCESSING A VIDEO SIGNAL AND DISPLAY DEVICE |
JP6320440B2 (ja) * | 2015-08-04 | 2018-05-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ信号のための信号再構成 |
EP3136375B1 (en) | 2015-08-31 | 2020-07-08 | Lg Electronics Inc. | Image display apparatus |
JP6609708B2 (ja) | 2015-09-23 | 2019-11-20 | アリス エンタープライジズ エルエルシー | 高ダイナミックレンジ映像データの再形成および適応のためのシステムおよび方法 |
WO2017053860A1 (en) * | 2015-09-23 | 2017-03-30 | Arris Enterprises Llc | High dynamic range adaptation operations at a video decoder |
EP3151562B1 (en) * | 2015-09-29 | 2020-06-17 | Dolby Laboratories Licensing Corporation | Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning |
US10587852B2 (en) | 2015-10-06 | 2020-03-10 | Lg Electronics Inc. | Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method |
US10140953B2 (en) | 2015-10-22 | 2018-11-27 | Dolby Laboratories Licensing Corporation | Ambient-light-corrected display management for high dynamic range images |
EP3369241B1 (en) | 2015-10-28 | 2020-12-09 | InterDigital VC Holdings, Inc. | Method and device for selecting a process to be applied on video data from a set of candidate processes driven by a common set of information data |
US10332481B2 (en) * | 2015-11-02 | 2019-06-25 | Dolby Laboratories Licensing Corporation | Adaptive display management using 3D look-up table interpolation |
CA3004793A1 (en) | 2015-11-09 | 2017-05-18 | Thomson Licensing | Method and device for adapting the video content decoded from elementary streams to the characteristics of a display |
CN105336290B (zh) * | 2015-11-18 | 2018-06-01 | 青岛海信电器股份有限公司 | 伽马Gamma校正方法及装置 |
US10593028B2 (en) * | 2015-12-03 | 2020-03-17 | Samsung Electronics Co., Ltd. | Method and apparatus for view-dependent tone mapping of virtual reality images |
EP3367657B1 (en) * | 2015-12-23 | 2021-06-02 | Huawei Technologies Co., Ltd. | Image signal conversion method and apparatus, and terminal device |
US10165275B2 (en) * | 2016-01-26 | 2018-12-25 | Dolby Laboratories Licensing Corporation | Content-adaptive reshaping for high dynamic range images |
CN107027027B (zh) * | 2016-01-31 | 2021-02-12 | 西安电子科技大学 | 图像的编码、解码方法及装置、以及图像的编解码系统 |
JP6395750B2 (ja) * | 2016-03-17 | 2018-09-26 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ハイダイナミックレンジ信号のための信号再構成 |
JP7061073B6 (ja) * | 2016-03-18 | 2022-06-03 | コーニンクレッカ フィリップス エヌ ヴェ | Hdrビデオの符号化及び復号 |
EP3226563B1 (en) | 2016-03-30 | 2021-06-23 | Dolby Laboratories Licensing Corp. | Chroma reshaping |
US10397586B2 (en) | 2016-03-30 | 2019-08-27 | Dolby Laboratories Licensing Corporation | Chroma reshaping |
US10440401B2 (en) | 2016-04-07 | 2019-10-08 | Dolby Laboratories Licensing Corporation | Backward-compatible HDR codecs with temporal scalability |
EP3456047B1 (en) * | 2016-05-10 | 2020-02-26 | Dolby Laboratories Licensing Corporation | Chroma reshaping of hdr video signals |
US10542296B2 (en) | 2016-05-10 | 2020-01-21 | Dolby Laboratories Licensing Corporation | Chroma reshaping of HDR video signals |
CN109155853B (zh) * | 2016-05-19 | 2023-03-28 | 杜比实验室特许公司 | 用于高动态范围图像的色度整形 |
US10645403B2 (en) | 2016-05-19 | 2020-05-05 | Dolby Laboratories Licensing Corporation | Chroma reshaping for high dynamic range images |
WO2017205702A1 (en) * | 2016-05-27 | 2017-11-30 | Dolby Laboratories Licensing Corporation | Transitioning between video priority and graphics priority |
US10074012B2 (en) | 2016-06-17 | 2018-09-11 | Dolby Laboratories Licensing Corporation | Sound and video object tracking |
CN109416830A (zh) * | 2016-07-08 | 2019-03-01 | 深圳市大疆创新科技有限公司 | 用于图像处理的系统和方法 |
KR102478606B1 (ko) | 2016-07-18 | 2022-12-16 | 삼성전자주식회사 | 영상 표시 장치 및 영상 표시 방법 |
US9916638B2 (en) * | 2016-07-20 | 2018-03-13 | Dolby Laboratories Licensing Corporation | Transformation of dynamic metadata to support alternate tone rendering |
US10368099B2 (en) * | 2016-08-09 | 2019-07-30 | Qualcomm Incorporated | Color remapping information SEI message signaling for display adaptation |
US10614603B2 (en) * | 2016-09-19 | 2020-04-07 | Qualcomm Incorporated | Color normalization for a multi-camera system |
US20180098041A1 (en) * | 2016-09-30 | 2018-04-05 | Sean J. Lawrence | Adaptive chroma subsampling based on display brightness |
GB2554669B (en) * | 2016-09-30 | 2022-04-06 | Apical Ltd | Image processing |
US10382735B2 (en) | 2016-10-04 | 2019-08-13 | Dolby Laboratories Licensing Corporation | Targeted display color volume specification via color remapping information (CRI) messaging |
AU2017339463B2 (en) | 2016-10-05 | 2020-09-03 | Dolby Laboratories Licensing Corporation | Source color volume information messaging |
US10244244B2 (en) * | 2016-10-26 | 2019-03-26 | Dolby Laboratories Licensing Corporation | Screen-adaptive decoding of high dynamic range video |
US10218952B2 (en) | 2016-11-28 | 2019-02-26 | Microsoft Technology Licensing, Llc | Architecture for rendering high dynamic range video on enhanced dynamic range display devices |
US20180152686A1 (en) * | 2016-11-28 | 2018-05-31 | Microsoft Technology Licensing, Llc | Tone mapping functions for rendering high dynamic range video on enhanced dynamic range display devices |
US9883141B1 (en) | 2016-12-12 | 2018-01-30 | International Business Machines Corporation | Dynamic video image management |
EP3552178B1 (en) * | 2016-12-12 | 2022-06-01 | Dolby Laboratories Licensing Corporation | Systems and methods for adjusting video processing curves for high dynamic range images |
CN106657843A (zh) * | 2016-12-13 | 2017-05-10 | 四川长虹电器股份有限公司 | 一种液晶电视亮度量化调试方法 |
JP6822121B2 (ja) | 2016-12-19 | 2021-01-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
EP3559933A1 (en) * | 2016-12-22 | 2019-10-30 | Dolby Laboratories Licensing Corporation | Ambient light-adaptive display management |
US10580367B2 (en) | 2017-01-10 | 2020-03-03 | Dolby Laboratories Licensing Corporation | Display mapping for high dynamic range images |
US10176561B2 (en) | 2017-01-27 | 2019-01-08 | Microsoft Technology Licensing, Llc | Content-adaptive adjustments to tone mapping operations for high dynamic range content |
US10104334B2 (en) | 2017-01-27 | 2018-10-16 | Microsoft Technology Licensing, Llc | Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content |
DK3559901T3 (da) * | 2017-02-15 | 2020-08-31 | Dolby Laboratories Licensing Corp | Tonekurveafbildning for billeder med højt dynamikområde |
WO2018160883A1 (en) | 2017-03-03 | 2018-09-07 | Dolby Laboratories Licensing Corporation | Color saturation adjustment in non-uniform color space |
JP6929373B2 (ja) * | 2017-03-03 | 2021-09-01 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 不均等な色空間における彩度調整 |
WO2018160847A1 (en) | 2017-03-03 | 2018-09-07 | Dolby Laboratories Licensing Corporation | Color image modification with approximation function |
CN110383802B (zh) * | 2017-03-03 | 2021-05-25 | 杜比实验室特许公司 | 利用逼近函数的彩色图像修改方法 |
WO2018175337A1 (en) * | 2017-03-20 | 2018-09-27 | Dolby Laboratories Licensing Corporation | Perceptually preserving scene-referred contrasts and chromaticities |
EP3566203B1 (en) * | 2017-03-20 | 2021-06-16 | Dolby Laboratories Licensing Corporation | Perceptually preserving scene-referred contrasts and chromaticities |
JP7037584B2 (ja) | 2017-06-16 | 2022-03-16 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化 |
KR102435875B1 (ko) | 2017-07-21 | 2022-08-25 | 삼성디스플레이 주식회사 | 하이 다이내믹 레인지 영상 신호 처리를 위한 구동 회로 및 그것을 포함하는 표시 장치 |
US10284785B2 (en) | 2017-08-30 | 2019-05-07 | Gopro, Inc. | Local tone mapping |
JP7071084B2 (ja) * | 2017-10-10 | 2022-05-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
KR102448497B1 (ko) * | 2017-11-17 | 2022-09-28 | 삼성전자주식회사 | 디스플레이 장치, 디스플레이 장치의 제어 방법 및 영상 제공 장치 |
KR102525546B1 (ko) * | 2017-11-21 | 2023-04-26 | 삼성디스플레이 주식회사 | 영상 처리 방법 및 이를 수행하는 영상 처리 장치 |
EP3493150A1 (en) * | 2017-11-30 | 2019-06-05 | InterDigital VC Holdings, Inc. | Tone mapping adaptation for saturation control |
TWI650998B (zh) * | 2017-12-15 | 2019-02-11 | 晨星半導體股份有限公司 | 應用在機上盒的格式轉換電路及相關的方法 |
EP3503019A1 (en) * | 2017-12-21 | 2019-06-26 | Thomson Licensing | Improved inverse tone mapping method and corresponding device |
US10473903B2 (en) * | 2017-12-28 | 2019-11-12 | Waymo Llc | Single optic for low light and high light level imaging |
US11310537B2 (en) | 2018-02-28 | 2022-04-19 | Dolby Laboratories Licensing Corporation | Linear encoder for image/video processing |
CN112514359B (zh) | 2018-06-18 | 2022-02-18 | 杜比实验室特许公司 | 图像捕获方法、装置、机器可读存储装置 |
CN108933933B (zh) * | 2018-07-05 | 2019-08-20 | 华为技术有限公司 | 一种视频信号处理方法及装置 |
CN110691277B (zh) | 2018-07-05 | 2024-03-05 | 华为技术有限公司 | 视频信号的处理方法及装置 |
US10863157B2 (en) | 2018-07-06 | 2020-12-08 | Samsung Electronics Co., Ltd. | Guided tone mapping of high dynamic range video based on a Bezier curve for presentation on a display device |
JP6978634B1 (ja) * | 2018-09-17 | 2021-12-08 | ドルビー ラボラトリーズ ライセンシング コーポレイション | パワー制限ディスプレイにおけるハイダイナミックレンジ画像のディスプレイマッピング |
CN113168672B (zh) * | 2018-10-19 | 2024-02-02 | 高途乐公司 | 用于图像处理的色调映射和色调控制集成 |
US11488510B2 (en) * | 2018-10-25 | 2022-11-01 | Baylor University | System and method for a multi-primary wide gamut color system |
US10950162B2 (en) | 2018-10-25 | 2021-03-16 | Baylor University | System and method for a six-primary wide gamut color system |
US10607527B1 (en) | 2018-10-25 | 2020-03-31 | Baylor University | System and method for a six-primary wide gamut color system |
US11475819B2 (en) | 2018-10-25 | 2022-10-18 | Baylor University | System and method for a multi-primary wide gamut color system |
US11410593B2 (en) | 2018-10-25 | 2022-08-09 | Baylor University | System and method for a multi-primary wide gamut color system |
US11069280B2 (en) | 2018-10-25 | 2021-07-20 | Baylor University | System and method for a multi-primary wide gamut color system |
US11587491B1 (en) | 2018-10-25 | 2023-02-21 | Baylor University | System and method for a multi-primary wide gamut color system |
US11189210B2 (en) | 2018-10-25 | 2021-11-30 | Baylor University | System and method for a multi-primary wide gamut color system |
US10997896B2 (en) | 2018-10-25 | 2021-05-04 | Baylor University | System and method for a six-primary wide gamut color system |
US11289003B2 (en) | 2018-10-25 | 2022-03-29 | Baylor University | System and method for a multi-primary wide gamut color system |
US11403987B2 (en) | 2018-10-25 | 2022-08-02 | Baylor University | System and method for a multi-primary wide gamut color system |
US11030934B2 (en) | 2018-10-25 | 2021-06-08 | Baylor University | System and method for a multi-primary wide gamut color system |
US11532261B1 (en) | 2018-10-25 | 2022-12-20 | Baylor University | System and method for a multi-primary wide gamut color system |
US11043157B2 (en) | 2018-10-25 | 2021-06-22 | Baylor University | System and method for a six-primary wide gamut color system |
US11037481B1 (en) | 2018-10-25 | 2021-06-15 | Baylor University | System and method for a multi-primary wide gamut color system |
US11289000B2 (en) | 2018-10-25 | 2022-03-29 | Baylor University | System and method for a multi-primary wide gamut color system |
US10957024B2 (en) | 2018-10-30 | 2021-03-23 | Microsoft Technology Licensing, Llc | Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display |
US11503310B2 (en) | 2018-10-31 | 2022-11-15 | Ati Technologies Ulc | Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder |
CN113424550A (zh) | 2019-01-09 | 2021-09-21 | 杜比实验室特许公司 | 具有环境光补偿的显示器管理 |
EP3959709A1 (en) * | 2019-04-23 | 2022-03-02 | Dolby Laboratories Licensing Corporation | Display management for high dynamic range images |
US10958886B2 (en) * | 2019-07-24 | 2021-03-23 | Grass Valley Limited | System and method of reducing distortion during downsampling |
US11182884B2 (en) * | 2019-07-30 | 2021-11-23 | Nvidia Corporation | Enhanced high-dynamic-range imaging and tone mapping |
CN115499632A (zh) * | 2019-10-18 | 2022-12-20 | 华为技术有限公司 | 一种图像信号转换处理方法、装置及终端设备 |
CN112689137B (zh) * | 2019-10-18 | 2022-05-10 | 华为技术有限公司 | 一种视频信号处理方法及装置 |
US10964240B1 (en) * | 2019-10-23 | 2021-03-30 | Pixelworks, Inc. | Accurate display panel calibration with common color space circuitry |
CN115699178A (zh) * | 2020-06-03 | 2023-02-03 | 杜比实验室特许公司 | 计算用于编辑hdr内容的动态元数据 |
US11283967B1 (en) | 2020-09-24 | 2022-03-22 | Edward M. Granger | Image transformation system and method |
US11398017B2 (en) | 2020-10-09 | 2022-07-26 | Samsung Electronics Co., Ltd. | HDR tone mapping based on creative intent metadata and ambient light |
US11526968B2 (en) | 2020-11-25 | 2022-12-13 | Samsung Electronics Co., Ltd. | Content adapted black level compensation for a HDR display based on dynamic metadata |
CN112734664B (zh) * | 2020-12-30 | 2023-05-30 | 电子科技大学 | 一种对高动态范围图像的秘密信息嵌入和提取方法 |
CN112446880B (zh) * | 2021-02-01 | 2021-04-30 | 安翰科技(武汉)股份有限公司 | 图像处理方法、电子设备及可读存储介质 |
WO2022203258A1 (ko) * | 2021-03-25 | 2022-09-29 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
KR20220135801A (ko) * | 2021-03-31 | 2022-10-07 | 에스케이하이닉스 주식회사 | 컬러 보정 회로, 이미징 센싱 장치 및 그 동작방법 |
CN113132696B (zh) * | 2021-04-27 | 2023-07-28 | 维沃移动通信有限公司 | 图像色调映射方法、装置、电子设备和存储介质 |
WO2022245624A1 (en) | 2021-05-19 | 2022-11-24 | Dolby Laboratories Licensing Corporation | Display management with position-varying adaptivity to ambient light and/or non-display-originating surface light |
CN115396643B (zh) * | 2022-08-23 | 2023-08-29 | 中船重工(武汉)凌久电子有限责任公司 | 一种自动路由图像变换方法及系统 |
WO2024107472A1 (en) | 2022-11-16 | 2024-05-23 | Dolby Laboratories Licensing Corporation | Estimating metadata for images having absent metadata or unusable form of metadata |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5737032A (en) * | 1995-09-05 | 1998-04-07 | Videotek, Inc. | Serial digital video processing with concurrent adjustment in RGB and luminance/color difference |
EP1073284A2 (en) * | 1999-07-30 | 2001-01-31 | Sony United Kingdom Limited | Method and apparatus for signal processing |
US20040066388A1 (en) * | 2002-07-16 | 2004-04-08 | Leather Mark M. | Method and apparatus for improved transform functions for non gamma corrected graphics systems |
RU2298226C1 (ru) * | 2005-10-28 | 2007-04-27 | Самсунг Электроникс Ко., Лтд. | Способ улучшения цифровых изображений |
WO2012012489A2 (en) * | 2010-07-22 | 2012-01-26 | Dolby Laboratories Licensing Corporation | Display management server |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7155053B2 (en) * | 2003-05-13 | 2006-12-26 | Olympus Corporation | Color image processing method and apparatus |
US7557814B2 (en) * | 2005-10-19 | 2009-07-07 | Canon Kabushiki Kaisha | Construction and use of a multi-shelled gamut boundary descriptor |
US8477247B2 (en) | 2008-09-30 | 2013-07-02 | Intel Corporation | Joint enhancement of lightness, color and contrast of images and video |
US8027070B2 (en) * | 2009-02-03 | 2011-09-27 | Sharp Laboratories Of America, Inc. | Methods and systems for hue adjustment |
JP5370761B2 (ja) | 2009-04-10 | 2013-12-18 | ソニー株式会社 | 映像信号処理装置および表示装置 |
KR101399304B1 (ko) * | 2009-10-08 | 2014-05-28 | 엘지디스플레이 주식회사 | 액정표시장치 및 그 구동방법 |
TWI538473B (zh) | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
UA116082C2 (uk) | 2011-09-27 | 2018-02-12 | Конінклійке Філіпс Н.В. | Пристрій та спосіб для перетворення динамічного діапазону зображень |
CN106095358B (zh) | 2011-12-06 | 2019-05-14 | 杜比实验室特许公司 | 改进不同显示能力之间基于感知照度非线性的图像数据交换的装置和方法 |
-
2014
- 2014-02-13 BR BR112015020009-5A patent/BR112015020009B1/pt active IP Right Grant
- 2014-02-13 CN CN201480009785.7A patent/CN105009580B/zh active Active
- 2014-02-13 JP JP2015558882A patent/JP6367839B2/ja active Active
- 2014-02-13 MX MX2015010845A patent/MX346011B/es active IP Right Grant
- 2014-02-13 WO PCT/US2014/016304 patent/WO2014130343A2/en active Application Filing
- 2014-02-13 EP EP14707571.7A patent/EP2959682B1/en active Active
- 2014-02-13 US US14/767,249 patent/US10540920B2/en active Active
- 2014-02-13 KR KR1020157022561A patent/KR102157032B1/ko active IP Right Grant
- 2014-02-13 ES ES14707571T patent/ES2708954T3/es active Active
- 2014-02-13 IN IN2510KON2015 patent/IN2015KN02510A/en unknown
- 2014-02-13 RU RU2015134416A patent/RU2647636C2/ru active
-
2015
- 2015-08-05 ZA ZA2015/05647A patent/ZA201505647B/en unknown
- 2015-12-01 HK HK15111798.4A patent/HK1211156A1/xx unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5737032A (en) * | 1995-09-05 | 1998-04-07 | Videotek, Inc. | Serial digital video processing with concurrent adjustment in RGB and luminance/color difference |
EP1073284A2 (en) * | 1999-07-30 | 2001-01-31 | Sony United Kingdom Limited | Method and apparatus for signal processing |
US20040066388A1 (en) * | 2002-07-16 | 2004-04-08 | Leather Mark M. | Method and apparatus for improved transform functions for non gamma corrected graphics systems |
RU2298226C1 (ru) * | 2005-10-28 | 2007-04-27 | Самсунг Электроникс Ко., Лтд. | Способ улучшения цифровых изображений |
WO2012012489A2 (en) * | 2010-07-22 | 2012-01-26 | Dolby Laboratories Licensing Corporation | Display management server |
Also Published As
Publication number | Publication date |
---|---|
MX2015010845A (es) | 2015-12-01 |
KR102157032B1 (ko) | 2020-09-18 |
CN105009580B (zh) | 2017-09-29 |
CN105009580A (zh) | 2015-10-28 |
IN2015KN02510A (ru) | 2015-09-11 |
WO2014130343A2 (en) | 2014-08-28 |
US20160005349A1 (en) | 2016-01-07 |
KR20150120993A (ko) | 2015-10-28 |
BR112015020009A2 (pt) | 2017-07-18 |
ES2708954T3 (es) | 2019-04-12 |
HK1211156A1 (en) | 2016-05-13 |
EP2959682A2 (en) | 2015-12-30 |
US10540920B2 (en) | 2020-01-21 |
RU2015134416A (ru) | 2017-02-22 |
ZA201505647B (en) | 2016-12-21 |
WO2014130343A3 (en) | 2014-10-16 |
BR112015020009B1 (pt) | 2023-02-07 |
MX346011B (es) | 2017-02-28 |
EP2959682B1 (en) | 2018-12-05 |
JP6367839B2 (ja) | 2018-08-01 |
JP2016514395A (ja) | 2016-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2647636C2 (ru) | Управление отображением видео с расширенным динамическим диапазоном | |
RU2755873C2 (ru) | Способ управления отображением изображений, устройство для управления отображением изображений и постоянный машиночитаемый носитель данных | |
CN109983530B (zh) | 环境光自适应显示管理 | |
US10140953B2 (en) | Ambient-light-corrected display management for high dynamic range images | |
US9584786B2 (en) | Graphics blending for high dynamic range video | |
US9230338B2 (en) | Graphics blending for high dynamic range video | |
CN107154059B (zh) | 一种高动态范围视频处理方法 | |
RU2713869C1 (ru) | Преобразование тоновой кривой для изображений с расширенным динамическим диапазоном | |
US9613407B2 (en) | Display management for high dynamic range video | |
US9842385B2 (en) | Display management for images with enhanced dynamic range | |
US9053523B2 (en) | Joint enhancement of lightness, color and contrast of images and video | |
US10332481B2 (en) | Adaptive display management using 3D look-up table interpolation | |
JP2012505460A (ja) | 画像のコントラスト強調 | |
KR20120016475A (ko) | 영상 처리 방법 및 영상 처리 장치 | |
CN116167950B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
EP4172981A1 (en) | Systems and methods for ambient light compensation using pq shift |