RU2426161C1

RU2426161C1 - Способы управления источником исходного света дисплея с переменной задержкой

Info

Publication number: RU2426161C1
Application number: RU2010111898/09A
Authority: RU
Inventors: Луис Джозеф КЕРОФСКИ (US); Луис Джозеф КЕРОФСКИ
Original assignee: Шарп Кабусики Кайся
Priority date: 2007-12-26
Filing date: 2008-12-01
Publication date: 2011-08-10
Also published as: HK1150332A1; JP2009157378A; EP2227801B1; CN101911171A; WO2009081717A1; US8223113B2; CN101911171B; JP5336165B2; US20090167673A1; EP2227801A1; EP2227801A4

Abstract

Изобретение относится к средствам и способам управления фоновой подсветкой дисплейных устройств. Техническим результатом является компенсация сниженного уровня исходной световой освещенности во время работы в режиме пониженного энергопотребления. Результат достигается тем, что изображение (2550) вводится в модуль (2550) выбора уровня исходной световой освещенности для выбора уровня исходной световой освещенности. Изображение (2550) также отправляется в модуль (2551) компенсации. Модуль (2551) компенсации использует это изображение и информацию об исходном свете для того, чтобы формировать компенсированное изображение. Затем компенсированное изображение выводится в переключатель (2557). На основе положения переключателя (2557) компенсированное изображение направляется в необязательный процесс (2554) посткомпенсации или отправляется непосредственно в дисплейное устройство (2556). Если выбран необязательный процесс (2554) посткомпенсации, модуль (2553) задержки задерживает сигнал управления исходным светом так, что сигнал управления поступает в исходный свет (2555) дисплея, когда постобработанное изображение отправляется в дисплейное устройство (2556). 3 н. и 17 з.п. ф-лы, 123 ил.

Description

Ссылки на родственные заявки

Следующие заявки включены в данный документ по ссылке: заявка на патент (США) номер 11/465436, озаглавленная "Methods and Systems for Selecting the Display Source Light Illumination Level", поданная 17 августа 2006 года; заявка на патент (США) номер 11/293562, озаглавленная "Methods and Systems for Determining the Display Light Source Adjustment", поданная 2 декабря 2005 года; заявка на патент (США) номер 11/224792, озаглавленная "Methods and Systems for Image-Specific Tone Scale Adjustment and Light-Source Control", поданная 12 сентября 2005 года; заявка на патент (США) номер 11/154053, озаглавленная "Methods and Systems for Enhancing Display Characteristics with High Frequency Contrast Enhancement", поданная 15 июня 2005 года; заявка на патент (США) номер 11/154054, озаглавленная "Methods and Systems for Enhancing Display Characteristics with Frequency-Specific Gain", поданная 15 июня 2005 года; заявка на патент (США) номер 11/154052, озаглавленная "Methods and Systems for Enhancing Display Characteristics", поданная 15 июня 2005 года; заявка на патент (США) номер 11/393404, озаглавленная "A Color Enhancement Technique using Skin Color Detection", поданная 30 марта 2006 года; заявка на патент (США) номер 11/460768, озаглавленная "Methods and Systems for Distortion-Related Source Light Management", поданная 28 июля 2006 года; заявка на патент (США) номер 11/202903, озаглавленная "Methods and Systems for Independent View Adjustment in Multiple-View Displays", поданная 8 августа 2005 года; заявка на патент (США) номер 11/371466, озаглавленная "Methods and Systems for Enhancing Display Characteristics with Ambient Illumination Input", поданная 8 марта 2006 года; заявка на патент (США) номер 11/293066, озаглавленная "Methods and Systems for Display Mode Dependent Brightness Preservation", поданная 2 декабря 2005 года; заявка на патент (США) номер 11/460907, озаглавленная "Methods and Systems for Generating and Applying Image Tone Scale Corrections", поданная 28 июля 2006 года; заявка на патент (США) номер 11/160940, озаглавленная "Methods and Systems for Color Preservation with Image Tonescale Corrections", поданная 28 июля 2006 года; заявка на патент (США) номер 11/564203, озаглавленная "Methods and Systems for Image Tonescale Adjustment to Compensate for the Reduced Source Light Power Level", поданная 28 ноября 2006 года; заявка на патент (США) номер 11/680312, озаглавленная "Methods and Systems for Brightness Preservation Using the Smoothed Gain Image", поданная 28 февраля 2007 года; заявка на патент (США) номер 11/845651, озаглавленная "Methods and Systems for Tone Curve Generation, Selection and Application", поданная 27 августа 2007 года; и заявка на патент (США) номер 11/605711, озаглавленная "A Color Enhancement Technique using Skin Color Detection", поданная 28 ноября 2006 года.

Область техники, к которой относится изобретение

Варианты осуществления настоящего изобретения содержат системы и способы для выбора уровня исходной световой освещенности и применения компенсационной кривой, которая компенсирует сниженный уровень исходной световой освещенности. Некоторые варианты осуществления содержат задержку для исходного светового сигнала, чтобы приспосабливать задержки при компенсации изображений и обработке изображений.

Уровень техники

Типичное дисплейное устройство отображает изображение с использованием фиксированного диапазона уровней яркости. Для многих дисплеев градация яркости имеет 256 уровней, которые равномерно разнесены от 0 до 255. Кодовые значения изображений, в общем, назначаются так, чтобы непосредственно совпадать с этими уровнями.

Во многих электронных устройствах с большими дисплеями дисплеи являются основными потребителями мощности. Например, в портативном компьютере дисплей, вероятно, использует больше мощности, чем любой из других компонентов в системе. Многие дисплеи с ограниченной мощностью, к примеру, имеющиеся в устройствах с аккумуляторным питанием, могут использовать несколько уровней освещения или яркости, чтобы помогать управлять потребляемой мощностью. Система может использовать режим полной мощности, когда она подключена к источнику питания, такому как источник переменного тока, и может использовать режим пониженного энергопотребления при работе на аккумуляторном источнике.

В некоторых устройствах дисплей может автоматически переходить в режим пониженного энергопотребления, в котором освещенность дисплея уменьшается, чтобы экономить энергопотребление. Эти устройства могут иметь несколько режимов пониженного энергопотребления, в которых освещение уменьшается пошаговым способом. В общем, когда освещенность дисплея уменьшается, качество изображений также падает. Когда максимальный уровень яркости уменьшается, динамический диапазон дисплея уменьшается, и страдает контрастность изображения. Следовательно, контрастность и другие качества изображения снижаются во время типичной работы в режиме пониженного энергопотребления.

Многие дисплейные устройства, такие как жидкокристаллические дисплеи (ЖК-дисплеи) или цифровые микрозеркальные устройства (DMD), используют световые клапаны, которые тем или иным образом подсвечиваются сзади, спереди или сбоку. В дисплее со световыми клапанами с задней подсветкой, таком как жидкокристаллический дисплей, задняя подсветка размещается позади жидкокристаллической панели. Задняя подсветка излучает свет через ЖК-панель, которая модулирует свет, чтобы регистрировать изображение. И сигнал яркости, и цвет могут модулироваться в цветных дисплеях. Отдельные ЖК-пикселы модулируют величину света, который передается от задней подсветки и через ЖК-панель к глазам пользователя или в некоторое другое назначение. В некоторых случаях назначение может быть светочувствительным датчиком, таким как прибор с зарядовой связью (ПЗС).

Некоторые дисплеи также могут использовать излучатели света для того, чтобы регистрировать изображение. Эти дисплеи, такие как дисплеи на светоизлучающих диодах (светодиодах) и плазменные дисплеи, используют элементы изображений, которые испускают свет, а не отражают свет от другого источника.

Сущность изобретения

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для варьирования уровня модуляции освещенности пикселов со светоклапанной модуляцией, чтобы компенсировать уменьшенную интенсивность освещенности источника света или улучшать качество изображения на фиксированном уровне освещенности источника света.

Некоторые варианты осуществления настоящего изобретения также могут использоваться с дисплеями, которые используют излучатели света для того, чтобы регистрировать изображение. Эти дисплеи, такие как дисплеи на светоизлучающих диодах (светодиодах) и плазменные дисплеи, используют элементы изображений, которые испускают свет, а не отражают свет от другого источника. Варианты осуществления настоящего изобретения могут использоваться для того, чтобы улучшать изображение, сформированное посредством этих устройств. В этих вариантах осуществления яркость пикселов может регулироваться, чтобы улучшать динамический диапазон конкретных полос частот изображения, градаций яркости и других частей изображения.

В некоторых вариантах осуществления настоящего изобретения источник света дисплея может регулироваться до различных уровней в ответ на характеристики изображений. Когда эти уровни источника света изменяются, кодовые значения изображений могут регулироваться, чтобы компенсировать изменение в яркости или иным образом улучшать изображение.

Некоторые варианты осуществления настоящего изобретения содержат считывание окружающего света, которое может использоваться в качестве ввода при определении уровней источников света и пикселных значений изображений.

Некоторые варианты осуществления настоящего изобретения содержат управление расходом энергии аккумулятора и зависимым от искажения источником света.

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для формирования и применения коррекций градационной шкалы изображений.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для коррекции градационной шкалы изображений с повышенной точностью цветовоспроизведения.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для выбора уровня исходной световой освещенности дисплея.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для разработки градационной кривой панели и целевой градационной кривой. Некоторые из этих вариантов осуществления предусматривают разработку множества целевых градационных кривых, где каждая кривая связана с различным уровнем освещенности задней подсветки или исходной световой освещенности. В этих вариантах осуществления уровень освещенности задней подсветки может выбираться, и целевая градационная кривая, связанная с выбранным уровнем освещенности задней подсветки, может применяться к изображению, которое должно отображаться. В некоторых вариантах осуществления цель реализации может осуществлять выбор параметров градационной кривой.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для улучшения цветов. Некоторые из этих вариантов осуществления содержат обнаружение телесных цветов, детализацию карты телесных цветов и обработку цветов.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для расширения битовой глубины. Некоторые из этих вариантов осуществления содержат применение пространственного и временного рисунка сглаживания переходов путем пропускания через фильтр верхних частот к изображению до уменьшения битовой глубины.

Некоторые варианты осуществления настоящего изобретения содержат фильтры сигналов уровня исходной световой освещенности, которые чувствительны к наличию быстрой смены сцены в видеопоследовательности.

Некоторые варианты осуществления настоящего изобретения содержат выбор уровня исходной световой освещенности на основе характеристик изображений, которые преобразуются в атрибуты модели дисплея. Некоторые варианты осуществления рассматривают условия окружающего света, пользовательский выбор яркости и пользовательский ручной выбор карты при выборе или модификации карты, которая ассоциирует характеристику изображения с атрибутом модели дисплея. Некоторые варианты осуществления также содержат временной фильтр, который является чувствительным к пользовательскому вводу, который выбирает уровень яркости дисплея.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для выбора уровня исходной световой освещенности дисплея. Некоторые из этих вариантов осуществления содержат формирование и обработку гистограмм. В некоторых вариантах осуществления весовой коэффициент цвета может использоваться для того, чтобы преобразовывать двумерную гистограмму в одномерную гистограмму.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для создания модифицированной компенсационной кривой уровня исходной световой освещенности, которая компенсирует сниженный уровень исходной световой освещенности, а также дополнительный процесс градационной шкалы, который применяется после применения модифицированной компенсационной кривой уровня исходной световой освещенности.

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для реализации задержки для исходного светового сигнала, чтобы приспосабливать задержки при компенсации изображений и обработке изображений. В некоторых вариантах осуществления может использоваться переменная задержка. В некоторых вариантах осуществления может использоваться избирательная задержка на основе параметров преобразования частоты кадров.

Вышеприведенные и другие цели, признаки и преимущества изобретения должны легко пониматься после рассмотрения нижеследующего подробного описания изобретения, приводимого вместе с прилагаемыми чертежами.

Краткий перечень чертежей

Фиг. 1 - это схема, показывающая системы жидкокристаллической панели с задней подсветкой предшествующего уровня техники;

Фиг. 2A - это диаграмма, показывающая взаимосвязь между исходными кодовыми значениями изображений и поднятыми кодовыми значениями изображений;

Фиг. 2B - это диаграмма, показывающая взаимосвязь между исходными кодовыми значениями изображений и поднятыми кодовыми значениями изображений с отсечением;

Фиг. 3 - это диаграмма, показывающая уровень яркости, ассоциированный с кодовыми значениями для различных схем модификации кодовых значений;

Фиг. 4 - это диаграмма, показывающая взаимосвязь между исходными кодовыми значениями изображений и модифицированными кодовыми значениями изображений согласно различным схемам модификации;

Фиг. 5 - это схема, показывающая формирование примерной модели регулирования градационной шкалы;

Фиг. 6 - это схема, показывающая примерное применение модели регулирования градационной шкалы;

Фиг. 7 - это схема, показывающая формирование примерной модели регулирования градационной шкалы и карты усилений;

Фиг. 8 - это диаграмма, показывающая примерную модель регулирования градационной шкалы;

Фиг. 9 - это диаграмма, показывающая примерную карту усилений;

Фиг. 10 - это блок-схема последовательности операций способа, показывающая примерный процесс, в котором модель регулирования градационной шкалы и карта усилений применяются к изображению;

Фиг. 11 - это блок-схема последовательности операций способа, показывающая примерный процесс, в котором модель регулирования градационной шкалы применяется к одной полосе частот изображения, а карта усилений применяется к другой полосе частот изображения;

Фиг. 12 - это диаграмма, показывающая варьирования модели регулирования градационной шкалы по мере того, как MFP изменяется;

Фиг. 13 - это блок-схема последовательности операций способа, показывающая примерный способ сопоставления зависимой от изображения градационной шкалы;

Фиг. 14 - это схема, показывающая примерные варианты осуществления выбора зависимой от изображения градационной шкалы;

Фиг. 15 - это схема, показывающая примерные варианты осуществления вычисления карты зависимой от изображения градационной шкалы;

Фиг. 16 - это блок-схема последовательности операций способа, показывающая варианты осуществления, содержащие регулирование исходного светового уровня и сопоставление зависимой от изображения градационной шкалы;

Фиг. 17 - это схема, показывающая примерные варианты осуществления, содержащие модуль вычисления исходного светового уровня и модуль выбора карты градационной шкалы;

Фиг. 18 - это схема, показывающая примерные варианты осуществления, содержащие модуль вычисления исходного светового уровня и модуль вычисления карты градационной шкалы;

Фиг. 19 - это блок-схема последовательности операций способа, показывающая варианты осуществления, содержащие регулирование исходного светового уровня и зависимое от исходного светового уровня сопоставление градационной шкалы;

Фиг. 20 - это схема, показывающая варианты осуществления, содержащие модуль вычисления исходного светового уровня и зависимое от исходного светового уровня вычисление или выбор градационной шкалы;

Фиг. 21 - это схема, показывающая график исходных кодовых значений изображений по сравнению с наклоном градационной шкалы;

Фиг. 22 - это схема, показывающая варианты осуществления, содержащие отдельный анализ каналов цветности;

Фиг. 23 - это схема, показывающая варианты осуществления, содержащие ввод окружающего освещения в модуль обработки изображений;

Фиг. 24 - это схема, показывающая варианты осуществления, содержащие ввод окружающего освещения в модуль обработки исходного света;

Фиг. 25 - это схема, показывающая варианты осуществления, содержащие ввод окружающего освещения в модуль обработки изображений и ввод характеристик устройства;

Фиг. 26 - это схема, показывающая варианты осуществления, содержащие альтернативные вводы окружающего освещения в модуль обработки изображений и/или модуль обработки исходного света и постпроцессор исходных световых сигналов;

Фиг. 27 - это схема, показывающая варианты осуществления, содержащие ввод окружающего освещения в модуль обработки исходного света, который передает этот ввод в модуль обработки изображений;

Фиг. 28 - это схема, показывающая варианты осуществления, содержащие ввод окружающего освещения в модуль обработки изображений, который может передавать этот ввод в модуль обработки исходного света;

Фиг. 29 - это схема, показывающая варианты осуществления, содержащие адаптивное к искажению управление мощностью;

Фиг. 30 - это схема, показывающая варианты осуществления, содержащие постоянное управление мощностью;

Фиг. 31 - это схема, показывающая варианты осуществления, содержащие адаптивное управление мощностью;

Фиг. 32A - это график, показывающий сравнение потребляемой мощности моделей с постоянной мощностью и постоянным искажением;

Фиг. 32B - это график, показывающий сравнение искажения моделей с постоянной мощностью и постоянным искажением;

Фиг. 33 - это схема, показывающая варианты осуществления, содержащие адаптивное к искажению управление мощностью;

Фиг. 34 - это график, показывающий уровни мощности задней подсветки при различных ограничениях по искажению для примерной видеопоследовательности;

Фиг. 35 - это график, показывающий примерные кривые мощности/искажения;

Фиг. 36 - это блок-схема последовательности операций способа, показывающая варианты осуществления, которые управляют потребляемой мощностью относительно критерия искажения;

Фиг. 37 - это блок-схема последовательности операций способа, показывающая варианты осуществления, содержащие выбор уровня исходной световой мощности на основе критерия искажения;

Фиг. 38A и B являются блок-схемой последовательности операций способа, показывающей варианты осуществления, содержащие измерение искажения, которое учитывает эффекты от способов сохранения яркости;

Фиг. 39 - это кривая мощности/искажения для примерных изображений;

Фиг. 40 - это график мощности, показывающий фиксированное искажение;

Фиг. 41 - это график искажения, показывающий фиксированное искажение;

Фиг. 42 - это примерная кривая регулирования градационной шкалы;

Фиг. 43 - это вид в увеличенном масштабе темной области кривой регулирования градационной шкалы, показанной на фиг. 42;

Фиг. 44 - это другая примерная кривая регулирования градационной шкалы;

Фиг. 45 - это вид в увеличенном масштабе темной области кривой регулирования градационной шкалы, показанной на фиг. 44;

Фиг. 46 - это диаграмма, показывающая регулирование кодовых значений изображений на основе максимального значения цветового канала;

Фиг. 47 - это диаграмма, показывающая регулирование кодовых значений изображений нескольких цветовых каналов на основе максимального кодового значения цветового канала;

Фиг. 48 - это диаграмма, показывающая регулирование кодовых значений изображений нескольких цветовых каналов на основе характеристики кодового значения одного из цветовых каналов;

Фиг. 49 - это схема, показывающая варианты осуществления настоящего изобретения, содержащие формирователь градационной шкалы, который принимает максимальное кодовое значение цветового канала в качестве ввода;

Фиг. 50 - это схема, показывающая варианты осуществления настоящего изобретения, содержащие частотное разложение и различия кодов цветовых каналов с регулированием градационной шкалы;

Фиг. 51 - это схема, показывающая варианты осуществления настоящего изобретения, содержащие частотное разложение, различие цветовых каналов и сохраняющее цвет отсечение;

Фиг. 52 - это схема, показывающая варианты осуществления настоящего изобретения, содержащие сохраняющее цвет отсечение на основе характеристик кодовых значений цветовых каналов;

Фиг. 53 - это схема, показывающая варианты осуществления настоящего изобретения, содержащие разбиение частот на нижние частоты/верхние частоты и выбор максимального кодового значения цветового канала;

Фиг. 54 - это схема, показывающая различные взаимосвязи между обработанными изображениями и моделями дисплеев;

Фиг. 55 - это график гистограммы кодовых значений изображений для примерного изображения;

Фиг. 56 - это график примерной кривой искажения, соответствующей гистограмме по фиг. 55;

Фиг. 57 - это график, показывающий результаты применения примерного критерия оптимизации к краткому DVD-клипу, этот график вычерчивает выбранную мощность задней подсветки в зависимости от числа видеокадров;

Фиг. 58 иллюстрирует определение задней подсветки с искажением с минимальной MSE для различных коэффициентов контрастности фактического дисплея;

Фиг. 59 - это график, показывающий примерную градационную кривую панели и целевую градационную кривую;

Фиг. 60 - это график, показывающий примерную градационную кривую панели и целевую градационную кривую для конфигурации с экономией энергии;

Фиг. 61 - это график, показывающий примерную градационную кривую панели и целевую градационную кривую для конфигурации с более низким уровнем черного;

Фиг. 62 - это график, показывающий примерную градационную кривую панели и целевую градационную кривую для конфигурации с повышением яркости;

Фиг. 63 - это график, показывающий примерную градационную кривую панели и целевую градационную кривую для конфигурации улучшения изображения, в которой уровень черного понижается, а яркость повышается;

Фиг. 64 - это график, показывающий последовательность примерных целевых градационных кривых для повышения уровня черного;

Фиг. 65 - это график, показывающий последовательность примерных целевых градационных кривых для повышения яркости изображения и повышения уровня черного;

Фиг. 66 - это диаграмма, показывающая примерный вариант осуществления, содержащий определение целевой градационной кривой и выбор подсветки в зависимости от искажения;

Фиг. 67 - это диаграмма, показывающая примерный вариант осуществления, содержащий связанные целью относительно рабочих характеристик выбор параметров, определение целевой градационной кривой и выбор задней подсветки;

Фиг. 68 - это диаграмма, показывающая примерный вариант осуществления, содержащий связанное целью относительно рабочих характеристик определение целевой градационной кривой и выбор задней подсветки;

Фиг. 69 - это диаграмма, показывающая примерный вариант осуществления, содержащий связанное с изображением и связанное целью относительно рабочих характеристик определение целевой градационной кривой и выбор задней подсветки;

Фиг. 70 - это диаграмма, показывающая примерный вариант осуществления, содержащий частотное разложение и обработку градационной шкалы с расширением битовой глубины;

Фиг. 71 - это диаграмма, показывающая примерный вариант осуществления, содержащий частотное разложение и улучшение цветов;

Фиг. 72 - это диаграмма, показывающая примерный вариант осуществления, содержащий процессы улучшения цветов, выбора задней подсветки и усиления на верхних частотах;

Фиг. 73 - это диаграмма, показывающая примерный вариант осуществления, содержащий улучшение цветов, формирование гистограммы, обработку градационной шкалы и выбор задней подсветки;

Фиг. 74 - это диаграмма, показывающая примерный вариант осуществления, содержащий обнаружение телесных цветов и детализацию карты телесных цветов;

Фиг. 75 - это диаграмма, показывающая примерный вариант осуществления, содержащий улучшение цветов и расширение битовой глубины;

Фиг. 76 - это диаграмма, показывающая примерный вариант осуществления, содержащий улучшение цветов, обработку градационной шкалы и расширение битовой глубины;

Фиг. 77 - это диаграмма, показывающая примерный вариант осуществления, содержащий улучшение цветов;

Фиг. 78 - это диаграмма, показывающая примерный вариант осуществления, содержащий улучшение цветов и расширение битовой глубины;

Фиг. 79 - это график, показывающий целевую кривую вывода и несколько кривых вывода панели или дисплея;

Фиг. 80 - это график, показывающий графики векторов ошибок для целевых кривых вывода и кривых вывода дисплея по фиг. 79;

Фиг. 81 - это график, показывающий график взвешенных по гистограмме ошибок;

Фиг. 82 - это диаграмма, показывающая примерный вариант осуществления настоящего изобретения, содержащий выбор уровня исходной световой освещенности на основе взвешенных по гистограмме ошибок;

Фиг. 83 - это диаграмма, показывающая альтернативный примерный вариант осуществления настоящего изобретения, содержащий выбор уровня исходной световой освещенности на основе взвешенных по гистограмме ошибок;

Фиг. 84 - это диаграмма, показывающая примерную систему, содержащую детектор быстрой смены сцен;

Фиг. 85 - это диаграмма, показывающая примерную систему, содержащую детектор быстрой смены сцен и модуль компенсации изображений;

Фиг. 86 - это диаграмма, показывающая примерную систему, содержащую детектор быстрой смены сцен и буфер гистограмм;

Фиг. 87 - это диаграмма, показывающая примерную систему, содержащую детектор быстрой смены сцен и временной фильтр, реагирующий на детектор быстрой смены сцен;

Фиг. 88 - это диаграмма, показывающая примерный способ, в котором выбор фильтра основан на обнаружении быстрой смены сцен;

Фиг. 89 - это диаграмма, показывающая примерный способ, в котором кадры сравниваются, чтобы обнаруживать быструю смену сцены;

Фиг. 90 - это график, показывающий характеристику задней подсветки без фильтра;

Фиг. 91 - это график, показывающий типичную функцию временной контрастной чувствительности;

Фиг. 92 - это график, показывающий характеристику примерного фильтра;

Фиг. 93 - это график, показывающий фильтрованную и нефильтрованную характеристику задней подсветки;

Фиг. 94 - это график, показывающий характеристику фильтра через быструю смену сцены;

Фиг. 95 - это график, показывающий нефильтрованную характеристику через быструю смену сцены наряду с первой фильтрованной характеристикой и второй фильтрованной характеристикой;

Фиг. 95 - это график, показывающий нефильтрованные, фильтрованные и фильтрованные по быстрым сменам сцен характеристики;

Фиг. 96 - это схема системы, показывающая варианты осуществления, содержащие буфер гистограмм, временной фильтр и компенсацию Y-усиления;

Фиг. 97 - это график, показывающий различные примерные кривые Y-усиления;

Фиг. 98 - это график, показывающий примерные модели дисплеев;

Фиг. 99 - это график, показывающий примерные кривые векторов ошибок дисплея;

Фиг. 100 - это график, показывающий графики примерных гистограмм изображений;

Фиг. 101 - это график, показывающий примерное искажение изображения по сравнению с кривыми уровня задней подсветки;

Фиг. 102 - это график, показывающий сравнение отличающихся показателей искажения;

Фиг. 103 - это схема, показывающая примерную систему, содержащую обнаружение быстрой смены сцен и компенсацию изображений;

Фиг. 104 - это схема, показывающая примерный способ, содержащий анализ изображений, чтобы определять быстрые смены сцены, и чувствительное к быстрым сменам сцен вычисление искажения;

Фиг. 105 - это схема, показывающая примерную систему, содержащую модуль сопоставления характеристик изображений;

Фиг. 106 - это схема, показывающая примерную систему, содержащую модуль сопоставления характеристик изображений с ручным вводом пользовательского выбора карты;

Фиг. 107 - это схема, показывающая примерную систему, содержащую модуль сопоставления характеристик изображений с вводом датчика окружающего света;

Фиг. 108 - это схема, показывающая примерную систему, содержащую модуль сопоставления характеристик изображений с вводом пользовательского выбора яркости;

Фиг. 109 - это схема, показывающая примерную систему, содержащую модуль сопоставления характеристик изображений с вводом пользовательского выбора яркости и временной фильтр, чувствительный к пользовательскому выбору яркости;

Фиг. 110 - это схема, показывающая примерную систему, содержащую модуль сопоставления характеристик изображений с вводом пользовательского выбора яркости, вводом датчика окружения и выбором карты вручную;

Фиг. 111 - это схема, показывающая примерную систему, содержащую модуль сопоставления характеристик изображений, который относится к данным гистограммы изображения;

Фиг. 112 - это схема, иллюстрирующая примерный способ преобразования гистограмм;

Фиг. 113 - это схема, иллюстрирующая примерный способ для формирования и преобразования гистограмм;

Фиг. 114 - это схема, иллюстрирующая примерный вариант осуществления, содержащий преобразование гистограммы и использование в модулях сопоставления и искажения;

Фиг. 115 - это схема, иллюстрирующая примерное преобразование динамического диапазона гистограммы;

Фиг. 116 - это схема, иллюстрирующая примерный вариант осуществления, содержащий преобразование гистограмм и преобразование динамического диапазона;

Фиг. 117 - это схема, иллюстрирующая примерную систему, содержащую процесс компенсации и процесс предварительной компенсации уровня исходной световой освещенности с помощью выбора задней подсветки на основе модифицированного изображения;

Фиг. 118 - это схема, иллюстрирующая примерную систему, содержащую процесс компенсации и процесс предварительной компенсации уровня исходной световой освещенности с помощью выбора задней подсветки на основе исходного входного изображения;

Фиг. 119 - это схема, иллюстрирующая примерную систему, содержащую модифицированный процесс компенсации и процесс посткомпенсации уровня исходной световой освещенности с помощью выбора задней подсветки на основе исходного входного изображения;

Фиг. 120 - это схема, иллюстрирующая процессы, участвующие в создании модифицированной компенсационной кривой уровня исходной световой освещенности;

Фиг. 121 - это схема, иллюстрирующая примерную систему, содержащую модуль задержки для сигнала уровня исходной световой освещенности;

Фиг. 122 - это схема, иллюстрирующая примерную систему, содержащую модуль задержки, связанный с модулем преобразования частоты кадров; и

Фиг. 123 - это схема, иллюстрирующая примерную систему, содержащую модуль задержки, связанный с дополнительным модулем обработки.

Подробное описание примерных вариантов осуществления

Варианты осуществления настоящего изобретения будут наилучшим образом поняты со ссылками на чертежи, на которых аналогичные части обозначаются аналогичными позиционными обозначениями. Вышеперечисленные чертежи явно включаются как часть этого подробного описания.

Следует понимать, что компоненты настоящего изобретения, как, в общем, описано и проиллюстрировано на чертежах в данном документе, могут компоноваться и проектироваться в широком спектре различных конфигураций. Таким образом, нижеследующее более подробное описание вариантов осуществления способов и систем настоящего изобретения не имеет намерением ограничивать объем изобретения, а просто представляет предпочтительные в настоящее время варианты осуществления изобретения.

Элементы вариантов осуществления настоящего изобретения могут быть осуществлены в аппаратных средствах, микропрограммном обеспечении и/или программном обеспечении. Хотя примерные варианты осуществления, раскрытые в данном документе, могут описывать только одну из этих форм, следует понимать, что специалисты в данной области техники должны иметь возможностью осуществлять эти элементы в любой из этих форм без отступления от рамок объема настоящего изобретения.

Дисплейные устройства, использующие светоклапанные модуляторы, такие как ЖК-модуляторы и другие модуляторы, могут быть отражательными, в которых свет излучается на переднюю поверхность (обращенную к зрителю) и отражается обратно к зрителю после прохождения через уровень панели модуляции. Дисплейные устройства также могут быть пропускающими, в которых свет излучается на обратную сторону уровня панели модуляции и может проходить через уровень панели модуляции к зрителю. Некоторые дисплейные устройства также могут быть прозрачно-отражательными (трансфлективными), комбинацией отражательной и пропускающей конфигураций, в которых свет может проходить через уровень модуляции сзади вперед в то время, когда свет от другого источника отражается после входа спереди от уровня модуляции. В любом из этих случаев элементы на уровне модуляции, таком как отдельные ЖК-элементы, могут управлять воспринимаемой яркостью пиксела.

В дисплеях с задней, передней и боковой подсветкой источник света может быть последовательностью флуоресцентных трубок, матрицей светодиодов или некоторым другим источником. Как только дисплей превышает типичный размер приблизительно 18", большая часть потребляемой мощности для устройства обусловлена источником света. Для определенных вариантов применений и на определенных рынках важно уменьшение потребляемой мощности. Тем не менее, уменьшение мощности означает уменьшение светового потока источника света и, следовательно, уменьшение максимальной яркости дисплея.

Основное уравнение, связывающее полутоновые кодовые значения текущего светоклапанного модулятора с гамма-коррекцией, CV, уровень источника света, L_source, и уровень выходного света, L_out, следующее:

Уравнение 1

L_out = L_source · g (CV + dark)^γ+ambient,

где g - это калибровочное усиление, dark - это уровень темного светового клапана, ambient - это свет, попадающий на дисплей согласно условиям в помещении. Из этого уравнения можно заметить, что сокращение источника света для задней подсветки на x% также сокращает световой выход на x%.

Уменьшение уровня источника света может компенсироваться посредством изменения значений модуляции светового клапана, в частности их повышения. Фактически, любой световой уровень меньше (1-x%) может быть воспроизведен точно, тогда как любой световой уровень выше (1-x%) не может быть воспроизведен без дополнительного источника света или увеличения исходной интенсивности.

Задание светового выхода из исходных и сокращенных источников дает коррекцию базового кодового значения, которая может использоваться для того, чтобы корректировать кодовые значения для уменьшения на x% (при условии, что dark и ambient равны 0):

Уравнение 2

L_out = L_source · g (CV)^γ = L_reduced · g (CV_boost)^γ

Уравнение 3

CV_boost =CV · (L_source/L_reduced)^1/γ = CV·(1/x%)^1/γ

Фиг. 2A иллюстрирует это регулирование. На фиг. 2A и 2B исходные значения дисплея соответствуют точкам вдоль линии 12. Когда задняя подсветка или источник света переводится в режим пониженного энергопотребления, и освещение от источника света уменьшается, кодовые значения дисплея должны повышаться, чтобы давать возможность световым клапанам противодействовать уменьшению освещенности источника света. Эти поднятые значения совпадают с точками вдоль линии 14. Тем не менее, это регулирование приводит к более высоким значениям 18 кодов, чем дисплей может формировать (к примеру, 255 для 8-битового дисплея). Следовательно, эти значения в итоге отсекаются 20, как проиллюстрировано на фиг. 2B. Изображения, регулируемые таким образом, могут иметь недостаток в виде размытых ярких участков изображения, неестественного внешнего вида и, в общем, низкого качества.

Используя эту простую модель регулирования, кодовые значения ниже точки 15 отсечения (входное кодовое значение 230 в этом примерном варианте осуществления) должны отображаться на уровне яркости, равном уровню, сформированному с помощью источника света с полной мощностью в режиме уменьшенной исходной световой освещенности. Идентичный сигнал яркости формируется при меньшей мощности, приводя к экономии энергии. Если набор кодовых значений изображения ограничен диапазоном ниже точки 15 отсечения, режим экономии энергии может работать прозрачно для пользователя. К сожалению, когда значения превышают точку 15 отсечения, сигнал яркости уменьшается, и детали теряются. Варианты осуществления настоящего изобретения предоставляют алгоритм, который может изменять кодовые значения жидкокристаллического или светового клапана, чтобы предоставлять увеличенную яркость (или отсутствие уменьшения яркости в режиме пониженного энергопотребления) при одновременном уменьшении артефактов отсечения, которые могут возникать в верхней части вследствие градации яркости.

Некоторые варианты осуществления настоящего изобретения могут исключать уменьшение яркости, ассоциированное с сокращением мощности источника света дисплея, посредством согласования яркости изображения, отображаемого с малой мощностью, с яркостью изображения, отображаемого с полной мощностью для области значимости значений. В этих вариантах осуществления уменьшение мощности исходного света или задней подсветки, которое делит выводимый сигнал яркости на конкретный коэффициент, компенсируется посредством повышения данных изображений на взаимно-обратный коэффициент.

Игнорируя ограничения динамического диапазона, изображения, отображаемые при полной мощности и пониженной мощности, могут быть идентичными, поскольку разделение (для сниженной освещенности источника света) и умножение (для поднятых кодовых значений) по существу подавляются для области значимости. Ограничения динамического диапазона могут вызывать артефакты отсечения каждый раз, когда умножение (для повышения кодового значения) данных изображений превышает максимум дисплея. Артефакты отсечения, вызываемые посредством ограничений динамического диапазона, могут исключаться или сокращаться посредством задания спада повышения на верхнем конце кодовых значений. Этот спад может начинаться в точке максимальной точности воспроизведения (MFP), выше которой сигнал яркости больше не совпадает с исходным сигналом яркости.

В некоторых вариантах осуществления настоящего изобретения следующие этапы могут выполняться для того, чтобы компенсировать уменьшение или фактическое уменьшение освещенности источника света для повышения качества изображения:

1) Уровень уменьшения исходного света (задней подсветки) определяется в процентах от снижения яркости;

2) Определяется точка максимальной точности воспроизведения (MFP), в которой возникает спад от совпадающего вывода на пониженной мощности к выводу на полной мощности;

3) Определение оператора компенсирующей градационной шкалы;

a. Ниже MFP, повышение градационной шкалы, чтобы компенсировать уменьшение сигнала яркости дисплея;

b. Выше MFP, задание постепенного спада градационной шкалы (в некоторых вариантах осуществления сохранение постоянных производных);

4) Применение оператора сопоставления градационной шкалы с изображением; и

5) Отправка на дисплей.

Основное преимущество этих вариантов осуществления состоит в том, что экономия энергии может достигаться только с небольшими изменениями узкой категории изображений. (Различия возникают только выше MFP и состоят из уменьшения пиковой яркости и некоторых потерь детальности яркости.) Значения изображения ниже MFP могут отображаться в режиме экономии энергии с сигналом яркости, идентичным режиму полной мощности, делая эти области изображения неотличимыми от режима полной мощности.

Некоторые варианты осуществления настоящего изобретения могут использовать карту градационной шкалы, которая зависит от снижения потребляемой мощности и гаммы дисплея и которая независима от данных изображений. Эти варианты осуществления могут предоставлять два преимущества. Во-первых, артефакты нежелательного мерцания, которые могут возникать вследствие другой обработки кадров, не возникают, и, во-вторых, алгоритм имеет очень низкую сложность реализации. В некоторых вариантах осуществления могут использоваться схема предварительной обработки градационной шкалы и сопоставление в реальном масштабе времени градационной шкалы. Отсечение в ярких участках изображения может управляться посредством указания MFP.

Некоторые аспекты вариантов осуществления настоящего изобретения могут описываться относительно фиг. 3. Фиг. 3 - это график, показывающий кодовые значения изображений, нанесенные в сравнении с сигналом яркости для нескольких случаев. Первая кривая 32, показанная как пунктирная, представляет исходные кодовые значения для источника света, работающего при 100%-ной мощности. Вторая кривая 30, показанная как штрихпунктирная кривая, представляет сигнал яркости исходных кодовых значений, когда источник света работает на 80% от полной мощности. Третья кривая 36, показанная как пунктирная кривая, представляет сигнал яркости, когда кодовые значения повышаются, чтобы совпадать с сигналом яркости, предоставляемым при 100%-ном освещении источника света, в то время когда источник света работает на 80% от полной мощности. Четвертая кривая 34, показанная как сплошная линия, представляет поднятые данные, но с кривой спада, чтобы уменьшать эффекты отсечения в верхней части данных.

В этом примерном варианте осуществления, показанном на фиг. 3, использована MFP 35 при кодовом значении 180. Следует отметить, что ниже кодового значения 180 поднятая кривая 34 совпадает с выводом сигнала яркости 32 посредством исходного дисплея при 100%-ной мощности. Выше 180 поднятая кривая плавно переходит к максимальному выводу, разрешенному на 80%-ном дисплее. Эта плавность уменьшает артефакты отсечения и квантования. В некоторых вариантах осуществления функция градационной шкалы может быть задана кусочно, чтобы совпадать плавно в точке перехода, заданной посредством MFP 35. Ниже MFP 35 может использоваться поднятая функция градационной шкалы. Выше MFP 35 кривая плавно соответствует конечной точке поднятой кривой градационной шкалы в MFP и соответствует конечной точке 37 при максимальном кодовом значении [255]. В некоторых вариантах осуществления наклон кривой может совпадать с наклоном поднятой кривой/линии градационной шкалы в MFP 35. Это может достигаться посредством согласования наклона линии ниже MFP с наклоном кривой выше MFP посредством приравнивания производных функций линии и кривой в MFP и посредством согласования значений функций линии и кривой в этой точке. Другое ограничение на функцию кривой может состоять в том, что она принудительно проходит через точку максимального значения [255, 255] 37. В некоторых вариантах осуществления наклон кривой может быть задан равным 0 в точке 37 максимального значения. В некоторых вариантах осуществления значение MFP 180 может соответствовать снижению потребляемой мощности источника света в 20%.

В некоторых вариантах осуществления настоящего изобретения кривая градационной шкалы может быть задана посредством линейного отношения с усилением, g, ниже точки максимальной точности воспроизведения (MFP). Градационная шкала может быть дополнительно задана выше MFP так, чтобы кривая и ее первая производная являлись непрерывными в MFP. Эта непрерывность подразумевает следующую форму функции градационной шкалы:

Уравнение 4

Усиление может быть определено посредством отношения гаммы дисплея и уменьшения яркости следующим образом:

Уравнение 5

В некоторых вариантах осуществления значение MFP может быть настроено посредством балансировки вручную сохранения деталей ярких участков изображения с сохранением абсолютной яркости.

MFP может быть определена посредством наложения такого ограничения, что наклон должен быть нулевым в максимальной точке. Это подразумевает:

Уравнение 6

В некоторых примерных вариантах осуществления следующие уравнения могут использоваться для того, чтобы вычислять кодовые значения для простых поднятых данных, поднятых данных с отсечением и скорректированных данных соответственно согласно примерному варианту осуществления.

Уравнение 7

Константы A, B и C могут выбираться так, чтобы предоставлять плавное соответствие в MFP и так, чтобы кривая проходила через точку [255, 255]. Графики этих функций показаны на фиг. 4.

Фиг. 4 - это график исходных кодовых значений по сравнению с отрегулированными кодовыми значениями. Исходные кодовые значения показываются как точки вдоль линии 40 исходных данных, которая показывает взаимосвязь 1:1 между отрегулированными и исходными значениями, поскольку эти значения являются исходными без регулирования. Согласно вариантам осуществления настоящего изобретения эти значения могут повышаться или регулироваться так, чтобы представлять более высокие уровни яркости. Простая процедура повышения согласно вышеприведенному уравнению "повышения градационной шкалы" может приводить к значениям вдоль линии 42 повышения. Поскольку отображение этих значений должно приводить к отсечению, как показано графически в линии 46 и математически в вышеприведенном уравнении "с отсечением по градационной шкале" выше, регулирование может сужаться от точки 45 максимальной точности воспроизведения вдоль кривой 44 до точки 47 максимального значения. В некоторых вариантах осуществления эта взаимосвязь может описываться математически в вышеприведенном уравнении "с корректировкой по градационной шкале".

Используя эти принципы, значения сигнала яркости, представленные посредством дисплея с источником света, работающим при 100%-ной мощности, могут представляться посредством дисплея с источником света, работающим при меньшем уровне мощности. Это достигается через повышение градационной шкалы, которая по существу дополнительно открывает световые клапаны, чтобы компенсировать потерю освещенности источника света. Тем не менее, простое применение этого повышения по всему диапазону кодовых значений приводит к артефактам отсечения в верхней части диапазона. Чтобы предотвращать или уменьшать эти артефакты, функция градационной шкалы может спадать плавно. Этот спад может управляться посредством параметра MFP. Большие значения MFP дают совпадения сигнала яркости по широкому интервалу, но увеличивают видимые артефакты квантования/отсечения в верхней части кодовых значений.

Варианты осуществления настоящего изобретения могут работать посредством регулирования кодовых значений. В простой модели гаммы отображения масштабирование кодовых значений предоставляет масштабирование значений сигнала яркости с другим масштабным коэффициентом. Чтобы определять то, поддерживается или нет это отношение при моделях более реалистичного отображения, можно рассматривать модель усиление-смещение-гамма с эффектом "блик" (GOG-F). Масштабирование мощности задней подсветки соответствует линейным сокращенным уравнениям, где процент, p, применяется к выводу дисплея, а не к окружению. Обнаружено, что снижение усиления на коэффициент p эквивалентно оставлению усиления немодифицированным и масштабированию данных, кодовых значений и смещения на коэффициент, определенный посредством гаммы отображения. Математически коэффициент умножения может быть внедрен в функцию мощности, если надлежащим образом модифицирован. Этот модифицированный коэффициент может масштабировать как кодовые значения, так и смещение.

Уравнение 8. Модель GOG-F

Уравнение 9. Линейное снижение яркости

Уравнение 10. Уменьшение кодового значения

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 5. В этих вариантах осуществления регулирование градационной шкалы может быть сформировано или вычислено предварительно, до обработки изображений, или регулирование может быть сформировано или вычислено в реальном масштабе времени по мере того, как изображение обрабатывается. Независимо от распределения по времени операции, регулирование 56 градационной шкалы может быть сформировано или вычислено на основе, по меньшей мере, одного из гаммы 50 дисплея, коэффициента 52 эффективности и точки максимальной точности воспроизведения (MFP) 54. Эти коэффициенты могут обрабатываться в процессе 56 проектирования градационной шкалы, чтобы формировать модель 58 регулирования градационной шкалы. Модель регулирования градационной шкалы может принимать форму алгоритма, таблицы поиска (LUT) или некоторой другой модели, которая может применяться к данным изображений.

После того как модель 58 регулирования создана, она может применяться к данным изображений. Применение модели регулирования может описываться со ссылкой на фиг. 6. В этих вариантах осуществления изображение вводится 62, и модель 58 регулирования градационной шкалы применяется 64 к изображению, чтобы регулировать кодовые значения изображений. Этот процесс приводит к выходному изображению 66, которое может отправляться на дисплей. Применение 64 регулирования градационной шкалы типично является процессом в реальном масштабе времени, но может выполняться перед отображением изображений, когда позволяют условия.

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для улучшения изображений, отображаемых на дисплеях с использованием светоизлучающих пикселных модуляторов, таких как светодиодные дисплеи, плазменные дисплеи и другие типы дисплеев. Идентичные системы и способы могут использоваться для улучшения изображений, отображаемых на дисплеях с использованием светоклапанных пикселных модуляторов с источниками света, работающими в режиме полной мощности или иным образом.

Эти варианты осуществления работают аналогично ранее описанным вариантам осуществления, тем не менее, вместо компенсации уменьшенной освещенности источника света, эти варианты осуществления просто увеличивают сигнал яркости диапазона пикселов, как будто источник света уменьшен. Таким образом, полная яркость изображения повышается.

В этих вариантах осуществления исходные кодовые значения повышаются по всей области значимости значений. Это регулирование кодовых значений может выполняться так, как пояснено выше для других вариантов осуществления, за исключением того, что фактическое уменьшение освещенности источника света не происходит. Следовательно, яркость изображения увеличивается значительно в широком диапазоне кодовых значений.

Некоторые из этих вариантов осуществления также могут поясняться со ссылкой на фиг. 3. В этих вариантах осуществления кодовые значения для исходного изображения показываются как точки вдоль кривой 30. Эти значения могут повышаться или регулироваться к значениям с более высоким уровнем яркости. Эти поднятые значения могут представляться как точки вдоль кривой 34, которая идет от нулевой точки 33 к точке 35 максимальной точности воспроизведения и затем сужается к точке 37 максимального значения.

Некоторые варианты осуществления настоящего изобретения содержат процесс нерезкого маскирования. В некоторых из этих вариантов осуществления нерезкое маскирование может использовать пространственно варьирующееся усиление. Это усиление может быть определено посредством значения изображения и наклона модифицированной кривой градационной шкалы. В некоторых вариантах осуществления использование матрицы усиления обеспечивает согласование с контрастностью изображения, даже когда яркость изображения не может быть в точности повторена вследствие ограничений на мощность дисплея.

Некоторые варианты осуществления настоящего изобретения могут осуществлять следующие этапы процесса:

1. Вычисление модели регулирования градационной шкалы;

2. Вычисление изображения в области верхних частот;

3. Вычисление матрицы усиления;

4. Взвешивание изображения в области верхних частот посредством усиления;

5. Суммирование изображения в области нижних частот и взвешенного изображения в области верхних частот; и

6. Отправка на дисплей.

Другие варианты осуществления настоящего изобретения могут осуществлять следующие этапы процесса:

2. Вычисление изображения в области нижних частот;

3. Вычисление изображения в области верхних частот как различия между изображением и изображением в области нижних частот;

4. Вычисление матрицы усиления с использованием значения изображения и наклона модифицированной кривой градационной шкалы;

5. Взвешивание изображения в области верхних частот посредством усиления;

6. Суммирование изображения в области нижних частот и взвешенного изображения в области верхних частот; и

7. Отправка на дисплей с пониженной мощностью.

Используя некоторые варианты осуществления настоящего изобретения, экономия может достигаться только с небольшими изменениями для узкой категории изображений. (Различия возникают только выше MFP и состоят из уменьшения пиковой яркости и некоторых потерь детальности яркости.) Значения изображения ниже MFP могут отображаться в режиме экономии энергии с сигналом яркости, идентичным режиму полной мощности, делая эти области изображения неотличимыми от режима полной мощности. Другие варианты осуществления настоящего изобретения улучшают эту характеристику за счет уменьшения потерь детальности яркости.

Эти варианты осуществления могут содержать пространственно варьирующееся нерезкое маскирование, чтобы сохранять детальность яркости. Как и в других вариантах осуществления, могут использоваться как компонент в реальном масштабе времени, так и компонент предварительной обработки. В некоторых вариантах осуществления компонент предварительной обработки может быть расширен посредством вычисления карты усилений в дополнение к функции градационной шкалы. Карта усилений может указывать нерезкое усиление фильтра, чтобы применять на основе значения изображения. Значение карты усилений может быть определено с использованием наклона функции градационной шкалы. В некоторых вариантах осуществления значение карты усилений в конкретной точке "P" может вычисляться как отношение наклона функции градационной шкалы ниже MFP к наклону функции градационной шкалы в точке "P". В некоторых вариантах осуществления функция градационной шкалы является линейной ниже MFP, следовательно, усиление является единичным ниже MFP.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 7. В этих вариантах осуществления регулирование градационной шкалы может быть сформировано или вычислено предварительно, до обработки изображений, или регулирование может быть сформировано или вычислено в реальном масштабе времени по мере того, как изображение обрабатывается. Независимо от распределения по времени операции, регулирование градационной шкалы 76 может быть сформировано или вычислено на основе, по меньшей мере, одного из гаммы 70 дисплея, коэффициента 72 эффективности и точки максимальной точности воспроизведения (MFP) 74. Эти коэффициенты могут обрабатываться в процессе 56 проектирования градационной шкалы, чтобы формировать модель 78 регулирования градационной шкалы. Модель регулирования градационной шкалы может принимать форму алгоритма, таблицы поиска (LUT) или некоторой другой модели, которая может применяться к данным изображений, как описано относительно других вариантов осуществления выше. В этих вариантах осуществления отдельная карта 77 усилений также вычисляется 75. Эта карта 77 усилений может применяться к конкретным частым изображения, таким как частотные диапазоны. В некоторых вариантах осуществления карта усилений может применяться к разделенным по частоте частям изображения. В некоторых вариантах осуществления карта усилений может применяться к части изображения в области верхних частот. Она также может применяться к конкретным частотным диапазонам изображений или другим частям изображений.

Примерная модель регулирования градационной шкалы может описываться относительно фиг. 8. В этих примерных вариантах осуществления выбирается функциональная точка перехода (FTP) 84 (аналогичная MFP, используемой в вариантах осуществления компенсации уменьшения источника света), и функция усиления выбирается так, чтобы предоставлять первую взаимосвязь 82 усилений для значений ниже FTP 84. В некоторых вариантах осуществления первая взаимосвязь усилений может быть линейной взаимосвязью, но другие взаимосвязи и функции могут использоваться для того, чтобы преобразовывать кодовые значения в улучшенные кодовые значения. Выше FTP 84 может использоваться вторая взаимосвязь 86 усилений. Эта вторая взаимосвязь 86 усилений может быть функцией, которая соединяет FTP 84 с точкой 88 максимального значения. В некоторых вариантах осуществления вторая взаимосвязь 86 усилений может совпадать со значением и наклоном первой взаимосвязи 82 усилений в FTP 84 и проходить через точку 88 максимального значения. Другие взаимосвязи, описанные выше относительно других вариантов осуществления, и дополнительные другие взаимосвязи также могут выступать в качестве второй взаимосвязи 86 усилений.

В некоторых вариантах осуществления карта 77 усилений может вычисляться относительно модели регулирования градационной шкалы, как показано на фиг. 8. Примерная карта 77 усилений может описываться относительно фиг. 9. В этих вариантах осуществления функция карты усилений связана с моделью 78 регулирования градационной шкалы как функция наклона модели регулирования градационной шкалы. В некоторых вариантах осуществления значение функции карты усилений при конкретном кодовом значении определяется посредством отношения наклона модели регулирования градационной шкалы при любом кодовом значении ниже FTP к наклону модели регулирования градационной шкалы при этом конкретном кодовом значении. В некоторых вариантах осуществления эта взаимосвязь может быть выражена математически в уравнении 11:

Уравнение 11

В этих вариантах осуществления функция карты усилений равна единице ниже FTP, где модель регулирования градационной шкалы приводит к линейному повышению. Для кодовых значений выше FTP функция карты усилений увеличивается быстро по мере того, как наклон модели регулирования градационной шкалы сужается. Это резкое увеличение функции карты усилений повышает контрастность частей изображения, к которым она применяется.

Примерный коэффициент регулирования градационной шкалы, проиллюстрированный на фиг. 8, и примерная функция карты усилений, проиллюстрированная на фиг. 9, вычислены с использованием процента дисплея (уменьшения исходного света) в 80%, гаммы дисплея в 2,2 и точки максимальной точности воспроизведения в 180.

В некоторых вариантах осуществления настоящего изобретения операция нерезкого маскирования может применяться после применения модели регулирования градационной шкалы. В этих вариантах осуществления артефакты уменьшаются с помощью технологии нерезкого маскирования.

Некоторые варианты осуществления настоящего изобретения могут быть описаны относительно фиг. 10. В этих вариантах осуществления исходное изображение 102 вводится, и модель 103 регулирования градационной шкалы применяется к изображению. Исходное изображение 102 также используется в качестве ввода в процесс 105 сопоставления усиления, который приводит к карте усилений. Отрегулированное по градационной шкале изображение затем обрабатывается через фильтр 104 нижних частот, приводя к отрегулированному по нижним частотам изображению. Отрегулированное по нижним частотам изображение затем вычитается 106 из отрегулированного по градационной шкале изображения, чтобы давать в результате отрегулированное по верхним частотам изображение. Это отрегулированное по верхним частотам изображение затем умножается 107 на соответствующее значение в карте усилений, чтобы предоставлять отрегулированное по усилению изображение в области верхних частот, которое затем добавляется 108 к отрегулированному по нижним частотам изображению, которое уже отрегулировано с помощью модели регулирования градационной шкалы. Это добавление приводит к выходному изображению 109 с увеличенной яркостью и улучшенной высокочастотной контрастностью.

В некоторых из этих вариантов осуществления, для каждого компонента каждого пиксела изображения, значение усиления определяется из карты усилений и значения изображения в этом пикселе. Исходное изображение 102, до применения модели регулирования градационной шкалы, может использоваться для того, чтобы определять усиление. Каждый компонент каждого пиксела изображения в области верхних частот также может быть масштабирован посредством соответствующего значения усиления до добавления обратно к изображению в области нижних частот. В точках, где функция карты усилений равна единице, операция нерезкого маскирования не модифицирует значения изображения. В точках, где функция карты усилений превышает единицу, контрастность увеличивается.

Некоторые варианты осуществления настоящего изобретения разрешают потерю контрастности в верхней части кодовых значений, при увеличении яркости кодового значения, посредством разложения изображения на несколько полос частот. В некоторых вариантах осуществления функция градационной шкалы может применяться к полосе нижних частот, увеличивая яркость данных изображений, чтобы компенсировать снижение яркости исходного света для настройки с низким уровнем мощности или просто увеличивать яркость отображаемого изображения. Параллельно, постоянное усиление может применяться к полосе верхних частот, сохраняя контрастность изображения даже в областях, где средняя абсолютная яркость уменьшается вследствие более низкой мощности дисплея. Операции примерного алгоритма задаются посредством следующих этапов:

1. Выполнение частотного разложения исходного изображения.

2. Применение сохранения яркости, карты градационной шкалы к изображению в области нижних частот.

3. Применение постоянного умножителя к изображению в области верхних частот.

4. Суммирование изображений в области нижних частот и в области верхних частот.

5. Отправка результата на дисплей.

Функция градационной шкалы и постоянное усиление могут быть определены предварительно посредством создания фотометрического сопоставления между дисплеем при полной мощности исходного изображения и дисплеем при малой мощности изображения процесса для вариантов применения уменьшения исходной световой освещенности. Функция градационной шкалы также может быть определена предварительно для вариантов применения повышения яркости.

Для небольших значений MFP эти варианты осуществления постоянного усиления на верхних частотах и варианты осуществления нерезкого маскирования практически идентичны по своей производительности. Эти варианты осуществления постоянного усиления на верхних частотах имеют три основных преимущества по сравнению с вариантами осуществления нерезкого маскирования: уменьшенная чувствительность к помехам, возможность использовать большие MFP/FTP и использовать этапы обработки в настоящий момент в системе дисплея. Варианты осуществления нерезкого маскирования используют усиление, которое является инверсией наклона кривой градационной шкалы. Когда наклон этой кривой является небольшим, это усиление подвергается большому шуму усиления. Это усиление шума также может накладывать практическое ограничение на размер MFP/FTP. Второе преимущество - это возможность распространяться на произвольные значения MFP/FTP. Третье преимущество исходит из анализа размещения алгоритма в рамках системы. Как варианты осуществления постоянного усиления на верхних частотах, так и варианты осуществления нерезкого маскирования используют частотное разложение. Варианты осуществления постоянного усиления на верхних частотах сначала выполняют эту операцию, тогда как некоторые варианты осуществления нерезкого маскирования сначала применяют функцию градационной шкалы перед частотным разложением. Определенная системная обработка, такая как сглаживание контуров, выполняет частотное разложение до алгоритма сохранения яркости. В этих случаях данное частотное разложение может использоваться посредством некоторых вариантов осуществления постоянных верхних частот, тем самым исключая этап преобразования, тогда как некоторые варианты осуществления нерезкого маскирования должны инвертировать частотное разложение, применять функцию градационной шкалы и выполнять дополнительное частотное разложение.

Некоторые варианты осуществления настоящего изобретения предотвращают потерю контрастности в верхней части кодовых значений посредством разбиения изображения на основе пространственной частоты до применения функции градационной шкалы. В этих вариантах осуществления функция градационной шкалы со спадом может применяться к компоненту нижних частот (LP) изображения. В вариантах применения компенсации уменьшения освещенности источника света это должно предоставлять полное совпадение сигнала яркости компонентов изображения в области нижних частот. В этих вариантах осуществления компонент верхних частот (HP) равномерно повышается (постоянное усиление). Частотно-разложенные сигналы могут быть повторно комбинированы и отсечены по мере необходимости. Детали сохраняются, поскольку компонент верхних частот не проходит через спад функции градационной шкалы. Плавный спад функции градационной шкалы нижних частот сохраняет запас для добавления повышенной контрастности верхних частот. Не обнаружено, что отсечение, которое может возникать в этой конечной комбинации, значительно уменьшает детали.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 11. Эти варианты осуществления содержат частотное разделение или разложение 111, сопоставление 112 градационной шкалы нижних частот, постоянное усиление или повышение 116 на верхних частотах и суммирование или рекомбинацию 115 для компонентов улучшенного изображения.

В этих вариантах осуществления входное изображение 110 раскладывается на пространственные полосы 111 частот. В примерном варианте осуществления, в котором используются две полосы, это может выполняться с использованием фильтра 111 нижних частот (LP). Частотное разделение выполняется посредством вычисления LP-сигнала через фильтр 111 и посредством вычитания 113 LP-сигнала из оригинала, чтобы формировать сигнал 118 верхних частот (HP). В примерном варианте осуществления пространственный фильтр выпрямления 5×5 может использоваться для этого разложения, хотя другой фильтр может использоваться.

LP-сигнал затем может обрабатываться посредством приложения сопоставления градационной шкалы, как пояснено для ранее описанных вариантов осуществления. В примерном варианте осуществления это может достигаться с помощью LUT фотометрического соответствия. В этих вариантах осуществления более высокое значение MFP/FTP может использоваться по сравнению с некоторым ранее описанным вариантом осуществления нерезкого маскирования, поскольку большинство деталей уже извлечено при фильтрации 111. Отсечение не должно, в общем, использоваться, поскольку некоторый запас типично должен сохраняться, чтобы добавлять контрастность.

В некоторых вариантах осуществления MFP/FTP может быть определена автоматически и может задаваться так, что наклон кривой градационной шкалы является нулевым на верхнем пределе. Последовательности функций градационной шкалы, определенные таким образом, проиллюстрированы на фиг. 12. В этих вариантах осуществления максимальное значение MFP/FTP может быть определено так, что функция градационной шкалы имеет наклон в нуль при 255. Это наибольшее значение MFP/FTP, которое не вызывает отсечение.

В некоторых вариантах осуществления настоящего изобретения, описанного со ссылкой на фиг. 11, обработка HP-сигнала 118 является независимой от выбора MFP/FTP, используемого при обработке сигнала нижних частот. HP-сигнал 118 обрабатывается с постоянным усилением 116, которое должно сохранять контрастность, когда мощность/освещение от источника света уменьшается или когда кодовые значения изображений иным образом повышаются, чтобы повышать яркость. Формула для усиления 116 HP-сигнала в терминах полной и уменьшенной мощности задней подсветки (BL) и гаммы дисплея приводится непосредственно ниже как уравнение усиления на верхних частотах. Повышение HP-контрастности является устойчивым к шуму, поскольку усиление является типично небольшим (к примеру, усиление в 1,1 для 80%-ного снижения потребляемой мощности и гаммы 2,2).

Уравнение 12

В некоторых вариантах осуществления, как только сопоставление градационной шкалы 112 применено к LP-сигналу через обработку LUT или иным образом, и постоянное усиление 116 применено к HP-сигналу, эти частотные компоненты могут быть суммированы 115 и, в некоторых случаях, отсечены. Отсечение может быть необходимым, когда поднятое значение HP, добавленное к значению LP, превышает 255. Это типично релевантно только для ярких сигналов с высокой контрастностью. В некоторых вариантах осуществления LP-сигнал гарантированно не превышает верхний предел за счет структуры LUT градационной шкалы. HP-сигнал может вызывать отсечение в сумме, но отрицательные значения HP-сигнала никогда не должны отсекаться, поддерживая некоторую контрастность, даже когда отсечение фактически происходит.

Варианты осуществления зависимого от изображения исходного света

В некоторых вариантах осуществления настоящего изобретения уровень освещенности источника света дисплея может регулироваться согласно характеристикам отображаемого изображения, ранее отображаемых изображений, изображений, которые должны отображаться после отображаемого изображения, или комбинациям вышеозначенного. В этих вариантах осуществления уровень освещенности источника света дисплея может варьироваться согласно характеристикам изображений. В некоторых вариантах осуществления эти характеристики изображений могут содержать уровни яркости изображения, уровни сигнала цветности изображения, характеристики гистограммы изображения и другие характеристики изображений.

Как только характеристики изображений выявлены, уровень освещенности источника света (задней подсветки) может варьироваться, чтобы улучшать один или более атрибутов изображения. В некоторых вариантах осуществления уровень источника света может понижаться или повышаться, чтобы повышать контрастность в более темных или более светлых областях изображения. Уровень освещенности источника света также может увеличиваться или понижаться, чтобы увеличивать динамический диапазон изображения. В некоторых вариантах осуществления уровень источника света может регулироваться, чтобы оптимизировать потребляемую мощность для каждого кадра с изображением.

Когда уровень источника света модифицирован по какой-либо причине, кодовые значения пикселов изображения могут регулироваться с использованием регулирования градационной шкалы, чтобы дополнительно улучшать изображение. Если уровень источника света уменьшен с тем, чтобы экономить энергопотребление, пикселные значения могут увеличиваться для того, чтобы восстанавливать потерянную яркость. Если уровень источника света изменен с тем, чтобы повышать контрастность при конкретной градации яркости, пикселные значения могут регулироваться для того, чтобы компенсировать пониженную контрастность при другой градации или дополнительно улучшать конкретную градацию.

В некоторых вариантах осуществления настоящего изобретения, как проиллюстрировано на фиг. 13, регулирования градационной шкалы изображений могут зависеть от содержимого изображений. В этих вариантах осуществления изображение может анализироваться 130, чтобы определять характеристики изображений. Характеристики изображений могут содержать характеристики канала яркости, такие как средний уровень изображения (APL), который является средней яркостью изображения; максимальное значение сигнала яркости; минимальное значение сигнала яркости; данные гистограммы сигнала яркости, такие как среднее значение на гистограмме, самое частое значение на гистограмме и другие; и другие характеристики сигнала яркости. Характеристики изображений также могут содержать цветовые характеристики, к примеру характеристику отдельных цветовых каналов (к примеру, R, G и B в RGB-сигнале). Каждый цветовой канал может анализироваться независимо, чтобы определять конкретные для цветового канала характеристики изображений. В некоторых вариантах осуществления отдельная гистограмма может использоваться для каждого цветового канала. В других вариантах осуществления данные гистограммы пятен (блобов), которые включают информацию о пространственном распределении данных изображений, могут использоваться в качестве характеристики изображения. Характеристики изображений также могут содержать временные изменения между видеокадрами.

После того как изображение проанализировано 130 и характеристики определены, карта градационной шкалы может вычисляться или выбираться 132 из набора предварительно вычисленных карт на основе значения характеристики изображения. Эта карта затем может применяться 134 к изображению, чтобы компенсировать регулирование задней подсветки или иным образом улучшать изображение.

Некоторые варианты осуществления настоящего изобретения могут быть описаны относительно фиг. 14. В этих вариантах осуществления анализатор 142 изображений принимает изображение 140 и определяет характеристики изображений, которые могут использоваться для того, чтобы выбирать карту градационной шкалы. Эти характеристики затем отправляются в модуль 143 выбора карты градационной шкалы, который определяет соответствующую карту на основе характеристик изображений. Этот выбор карты затем может отправляться в процессор 145 изображений для применения карты к изображению 140. Процессор 145 изображений должен принимать выбор карты и данные исходного изображения и обрабатывать исходное изображение с помощью выбранной карты 144 градационной шкалы, тем самым формируя отрегулированное изображение, которое отправляется на дисплей 146 для отображения пользователю. В этих вариантах осуществления одна или более карт 144 градационной шкалы сохраняются для выбора на основе характеристик изображений. Эти карты 144 градационной шкалы могут быть предварительно вычислены и сохранены как таблицы или некоторый другой формат данных. Эти карты 144 градационной шкалы могут содержать простые таблицы преобразования гаммы, карты улучшения, созданные с помощью способов, описанных выше относительно фиг. 5, 7, 10 и 11, или другие карты.

Некоторые варианты осуществления настоящего изобретения могут быть описаны относительно фиг. 15. В этих вариантах осуществления анализатор 152 изображений принимает изображение 150 и определяет характеристики изображений, которые могут использоваться для того, чтобы вычислять карту градационной шкалы. Эти характеристики затем отправляются в модуль 153 вычисления карты градационной шкалы, который может вычислять соответствующую карту на основе характеристик изображений. Вычисленная карта затем может отправляться в процессор 155 изображений для применения карты к изображению 150. Процессор 155 изображений должен принимать вычисленную карту 154 и данные исходного изображения и обрабатывать исходное изображение с помощью карты 154 градационной шкалы, тем самым формируя отрегулированное изображение, которое отправляется на дисплей 156 для отображения пользователю. В этих вариантах осуществления карта 154 градационной шкалы вычисляется, по существу, в реальном времени на основе характеристик изображений. Вычисленная карта 154 градационной шкалы может содержать простую таблицу преобразования гаммы, карту улучшения, созданную с помощью способов, описанных выше относительно фиг. 5, 7, 10 и 11, или другую карту.

Дополнительные варианты осуществления настоящего изобретения могут быть описаны относительно фиг. 16. В этих вариантах осуществления уровень исходной световой освещенности может зависеть от содержимого изображений, при этом карта градационной шкалы также зависит от содержимого изображений. Тем не менее, не обязательно может быть какая-либо связь между каналом вычисления исходного света и каналом карты градационной шкалы.

В этих вариантах осуществления изображение анализируется 160, чтобы определять характеристики изображений, требуемые для вычислений исходного света или карты градационной шкалы. Эта информация затем используется для того, чтобы вычислять уровень 161 исходной световой освещенности, соответствующий изображению. Эти данные исходного света затем отправляются 162 на дисплей для варьирования исходного света (к примеру, задней подсветки), когда изображение отображается. Данные характеристик изображения также отправляются в канал карты градационной шкалы, где карта градационной шкалы выбирается или вычисляется 163 на основе информации характеристик изображения. Карта затем применяется 164 к изображению, чтобы формировать улучшенное изображение, которое отправляется на дисплей 165. Исходный световой сигнал, вычисленный для изображения, синхронизируется с данными улучшенного изображения так, что исходный световой сигнал совпадает с отображением улучшенных данных изображений.

Некоторые из этих вариантов осуществления, проиллюстрированные на фиг. 17, используют сохраненные карты градационной шкалы, которые могут содержать простую таблицу преобразования гаммы, карту улучшения, созданную с помощью способов, описанных выше относительно фиг. 5, 7, 10 и 11, или другую карту. В этих вариантах осуществления изображение 170 отправляется в анализатор 172 изображений, чтобы определять характеристики изображений, релевантные для вычислений исходного света и карты градационной шкалы. Эти характеристики затем отправляются в модуль 177 вычисления исходного света для определения соответствующего уровня исходной световой освещенности. Некоторые характеристики также могут отправляться в модуль 173 выбора карты градационной шкалы для использования при определении соответствующей карты 174 градационной шкалы. Исходное изображение 170 и данные выбора карты затем отправляются в процессор 175 изображений, который извлекает выбранную карту 174 и применяет карту 174 к изображению 170, чтобы создавать улучшенное изображение. Это улучшенное изображение затем отправляется на дисплей 176, который также принимает сигнал исходного светового уровня из модуля 177 вычисления исходного света и использует этот сигнал для того, чтобы модулировать исходный свет 179 в то время, когда улучшенное изображение отображается.

Некоторые из этих вариантов осуществления, проиллюстрированных на фиг. 18, могут вычислять карту градационной шкалы на лету. Эти карты могут содержать простую таблицу преобразования гаммы, карту улучшения, созданную с помощью способов, описанных выше относительно фиг. 5, 7, 10 и 11, или другую карту. В этих вариантах осуществления изображение 180 отправляется в анализатор 182 изображений, чтобы определять характеристики изображений, релевантные для вычислений исходного света и карты градационной шкалы. Эти характеристики затем отправляются в модуль 187 вычисления исходного света для определения соответствующего уровня исходной световой освещенности. Некоторые характеристики также могут отправляться в модуль 183 вычисления карты градационной шкалы для использования при вычислении соответствующей карты 184 градационной шкалы. Исходное изображение 180 и вычисленная карта 184 затем отправляются в процессор 185 изображений, который применяет карту 184 к изображению 180, чтобы создавать улучшенное изображение. Это улучшенное изображение затем отправляется на дисплей 186, который также принимает сигнал исходного светового уровня из модуля 187 вычисления исходного света и использует этот сигнал для того, чтобы модулировать исходный свет 189 в то время, когда улучшенное изображение отображается.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 19. В этих вариантах осуществления изображение анализируется 190, чтобы определять характеристики изображений относительно вычисления и выбора исходного света и карты градационной шкалы. Эти характеристики затем используются для того, чтобы вычислять 192 уровень исходной световой освещенности. Уровень исходной световой освещенности затем используется для того, чтобы вычислять или выбирать карту 194 регулирования градационной шкалы. Эта карта затем применяется 196 к изображению для того, чтобы создавать улучшенное изображение. Улучшенное изображение и данные исходного светового уровня затем отправляются 198 на дисплей.

Устройство, используемое для способов, описанных относительно фиг. 19, может описываться со ссылкой на фиг. 20. В этих вариантах осуществления изображение 200 принимается в анализаторе 202 изображений, где характеристики изображений определяются. Анализатор 202 изображений затем может отправлять данные характеристик изображения в модуль 203 вычисления исходного света для определения исходного светового уровня. Данные исходного светового уровня затем могут отправляться в модуль выбора карты градационной шкалы или модуль вычисления 204, который может вычислять или выбирать карту градационной шкалы на основе уровня источника света. Выбранная карта 207 или вычисленная карта затем может отправляться в процессор 205 изображений наряду с исходным изображением для применения карты к исходному изображению. Этот процесс должен давать в результате улучшенное изображение, которое отправляется на дисплей 206 с сигналом исходного светового уровня, который используется для того, чтобы модулировать исходный свет дисплея в то время, когда изображение отображается.

В некоторых вариантах осуществления настоящего изобретения модуль управления исходного света отвечает за выбор уменьшения исходного света, которое должно поддерживать качество изображения. Знание возможности сохранять качество изображения на стадии адаптации используется для того, чтобы направлять выбор исходного светового уровня. В некоторых вариантах осуществления важно понимать, что высокий исходный световой уровень необходим, когда либо изображение является ярким, либо изображение содержит очень насыщенные цвета, т.е. синий с кодовым значением 255. Использование только сигнала яркости для того, чтобы определять уровень задней подсветки, может вызывать артефакты для изображений, имеющих низкий сигнал яркости, но большие кодовые значения, т.е. насыщенный синий или красный цвет. В некоторых вариантах осуществления может анализироваться каждая цветовая плоскость, и решение может быть принято на основе максимума всех цветовых плоскостей. В некоторых вариантах осуществления настройка задней подсветки может быть основана только на указанном проценте пикселов, которые отсекаются. В других вариантах осуществления, проиллюстрированных на фиг. 22, алгоритм модуляции задней подсветки может использовать два процентных значения: процент отсеченных пикселов 236 и процент искаженных пикселов 235. Выбор настройки задней подсветки с этими отличающимися значениями оставляет пространство для модуля вычисления градационной шкалы, чтобы плавно снижать функцию градационной шкалы вместо наложения жесткого отсечения. С учетом входного изображения определяется гистограмма кодовых значений для каждой цветовой плоскости. С учетом двух процентных соотношений P_Clipped 236 и P_Distored 235 анализируется гистограмма каждой цветовой плоскости 221-223, чтобы определять кодовые значения, соответствующие этим процентным соотношениям 224-226. Это дает C_Clipped(цвет) 228 и C_Distorted(цвет) 227. Максимальное отсеченное кодовое значение 234 и максимальное искаженное кодовое значение 233 из различных цветовых плоскостей могут использоваться для того, чтобы определять настройку 229 задней подсветки. Эта настройка обеспечивает то, что для каждой цветовой плоскости самое большее указанный процент кодовых значений отсекается или искажается.

Уравнение 13

Процент задней подсветки (BL) определяется посредством анализа функции (TS) градационной шкалы, которая должна использоваться для компенсации, и выбора процента BL так, что функция градационной шкалы отсекается при 255 при кодовом значении Cv_Clipped234. Функция градационной шкалы является линейной ниже значения Cv_Distorted (значение этого наклона компенсирует уменьшение BL), константой при 255 для кодовых значений выше Cv_Clipped и имеет непрерывную производную. Анализ производной иллюстрирует то, как выбирать более низкий наклон и, следовательно, мощность задней подсветки, которая не дает искажения изображения для кодовых значений ниже Cv_Distorted.

В графике производной TS, показанной на фиг. 21, значение H является неизвестным. Чтобы преобразовывать TS в Cv_Clipped к 255, область под производной TS должна равняться 255. Это ограничение дает возможность определять значение H, как указано ниже.

Уравнение 14

Процент BL определяется из повышения кодового значения и гаммы дисплея и критериев точной компенсации кодовых значений ниже точки искажения. Отношение BL, которое отсекается при Cv_Clipped и разрешает плавный переход от отсутствия искажения ниже Cv_Distorted, задается посредством следующего:

Уравнение 15

Дополнительно, чтобы разрешать вопрос варьирования BL, верхний предел накладывается на отношение BL.

Уравнение 16

Временная фильтрация нижних частот 231 может применяться к зависимому от изображения сигналу BL, извлеченному выше, чтобы компенсировать отсутствие синхронизации между жидкокристаллическим дисплеем и BL. Схема примерного алгоритма модуляции задней подсветки показана на фиг. 22, другие проценты и значения могут использоваться в других вариантах осуществления.

Сопоставление градационной шкалы может компенсировать выбранную настройку задней подсветки при минимизации искажения изображения. Как описано выше, алгоритм выбора задней подсветки проектируется на основе возможности соответствующих операций сопоставления градационной шкалы. Выбранный уровень BL обеспечивает функцию градационной шкалы, которая компенсирует уровень задней подсветки без искажения для кодовых значений ниже первой указанной процентили и отсекает кодовые значения выше второй указанной процентили. Две указанных процентили обеспечивают функцию градационной шкалы, которая плавно переходит между свободными от искажения и отсекающими диапазонами.

Варианты осуществления считывания окружающего света

Некоторые варианты осуществления настоящего изобретения содержат датчик окружающего освещения, который может предоставлять ввод в модуль обработки изображений и/или в модуль управления исходного света. В этих вариантах осуществления обработка изображений, включающая в себя регулирование градационной шкалы, сопоставление усиления и другие модификации, может быть связана с характеристиками окружающего освещения. Эти варианты осуществления также могут содержать регулирование исходного света или задней подсветки, которое связано с характеристиками окружающего освещения. В некоторых вариантах осуществления обработка исходного света и изображений может быть комбинирована в одном процессоре. В других вариантах осуществления эти функции могут выполняться посредством отдельных модулей.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 23. В этих вариантах осуществления датчик 270 окружающего освещения может использоваться в качестве ввода для способов обработки изображений. В некоторых примерных вариантах осуществления входное изображение 260 может обрабатываться на основе ввода от датчика 270 окружающего освещения и уровня исходного света 268. Исходный свет 268, такой как задняя подсветка для освещения жидкокристаллической дисплейной панели 266, может модулироваться или регулироваться для того, чтобы экономить электроэнергию или по другим причинам. В этих вариантах осуществления процессор 262 изображений может принимать ввод от датчика 270 окружающего освещения и исходный свет 268. На основе этих вводов процессор 262 изображений может модифицировать входное изображение, чтобы учитывать окружающие условия и уровни освещенности исходного света 268. Входное изображение 260 может модифицироваться согласно любому из способов, описанных выше для других вариантов осуществления, или посредством других способов. В примерном варианте осуществления карта градационной шкалы может применяться к изображению, чтобы увеличивать пикселные значения изображений относительно пониженной исходной световой освещенности и варьирований окружающего освещения. Модифицированное изображение 264 затем может быть зарегистрировано на дисплейной панели 266, такой как жидкокристаллическая панель. В некоторых вариантах осуществления уровень исходной световой освещенности может понижаться, когда окружающий свет является низким, и может дополнительно понижаться, когда регулирование градационной шкалы или другая технология обработки пикселных значений используется для того, чтобы компенсировать понижение исходной световой освещенности. В некоторых вариантах осуществления уровень исходной световой освещенности может уменьшаться, когда окружающее освещение уменьшается. В некоторых вариантах осуществления уровень исходной световой освещенности может увеличиваться, когда окружающее освещение достигает верхнего порогового значения и/или нижнего порогового значения.

Дополнительные варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 24. В этих вариантах осуществления входное изображение 280 принимается в процессоре 282 изображений. Обработка входного изображения 280 может зависеть от ввода от датчика 290 окружающего освещения. Эта обработка также может зависеть от вывода из процессора 294 исходного света. В некоторых вариантах осуществления процессор 294 исходного света может принимать ввод от датчика 290 окружающего освещения. Некоторые варианты осуществления также могут принимать ввод от индикатора 292 режима устройства, такого как индикатор режима мощности, который может указывать режим потребляемой мощности устройства, состояние аккумулятора устройства или некоторое другое состояние устройства. Процессор 294 исходного света может использовать состояние окружающего света и/или состояние устройства для того, чтобы определять уровень исходной световой освещенности, который используется для того, чтобы управлять исходным светом 288, который должен освещать дисплей, такой как жидкокристаллический дисплей 286. Процессор исходного света также может передавать уровень исходной световой освещенности и/или другую информацию в процессор 282 изображений.

Процессор 282 изображений может использовать информацию об исходном свете от процессора 294 исходного света для того, чтобы определять параметры обработки для обработки входного изображения 280. Процессор 282 изображений может применять регулирование градационной шкалы, карту усилений или другую процедуру для того, чтобы регулировать пикселные значения изображений. В некоторых примерных вариантах осуществления эта процедура повышает яркость и контрастность изображения и частично или полностью компенсирует уменьшение освещенности источника света. Результатом обработки посредством процессора 282 изображений является отрегулированное изображение 284, которое может отправляться на дисплей 286, где оно может освещаться посредством исходного света 288.

Другие варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 25. В этих вариантах осуществления входное изображение 300 принимается в процессоре 302 изображений. Обработка входного изображения 300 может зависеть от ввода от датчика 310 окружающего освещения. Эта обработка также может зависеть от вывода из процессора 314 исходного света. В некоторых вариантах осуществления процессор 314 исходного света может принимать ввод от датчика 310 окружающего освещения. Некоторые варианты осуществления также могут принимать ввод от индикатора 312 режима устройства, такого как индикатор режима мощности, который может указывать режим потребляемой мощности устройства, состояние аккумулятора устройства или некоторое другое состояние устройства. Процессор 314 исходного света может использовать состояние окружающего света и/или состояние устройства для того, чтобы определять уровень исходной световой освещенности, который используется для того, чтобы управлять исходным светом 308, который должен освещать дисплей, такой как жидкокристаллический дисплей 306. Процессор исходного света также может передавать уровень исходной световой освещенности и/или другую информацию в процессор 302 изображений.

Процессор 302 изображений может использовать информацию об исходном свете от процессора 314 исходного света для того, чтобы определять параметры обработки для обработки входного изображения 300. Процессор 302 изображений также может использовать информацию об окружающем освещении от датчика 310 окружающего освещения для того, чтобы определять параметры обработки для обработки входного изображения 300. Процессор 302 изображений может применять регулирование градационной шкалы, карту усилений или другую процедуру для того, чтобы регулировать пикселные значения изображений. В некоторых примерных вариантах осуществления эта процедура повышает яркость и контрастность изображения и частично или полностью компенсирует уменьшение освещенности источника света. Результатом обработки посредством процессора 302 изображений является отрегулированное изображение 304, которое может отправляться на дисплей 306, где оно может освещаться посредством исходного света 308.

Дополнительные варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 26. В этих вариантах осуществления входное изображение 320 принимается в процессоре 322 изображений. Обработка входного изображения 320 может зависеть от ввода от датчика 330 окружающего освещения. Эта обработка также может зависеть от вывода из процессора 334 исходного света. В некоторых вариантах осуществления процессор 334 исходного света может принимать ввод от датчика 330 окружающего освещения. В других вариантах осуществления окружающая информация может быть принята от процессора 322 изображений. Процессор 334 исходного света может использовать условие окружающего света и/или состояние устройства для того, чтобы определять промежуточный уровень исходной световой освещенности. Этот промежуточный уровень исходной световой освещенности может отправляться в постпроцессор 332 исходного света, который может принимать форму квантователя, процессора синхронизации или некоторого другого модуля, который может приспосабливать промежуточный уровень освещенности источника света к потребностям конкретного устройства. В некоторых вариантах осуществления постпроцессор 332 исходного света может приспосабливать управляющий сигнал источника света для временных ограничений, наложенных посредством типа источника 328 света и/или посредством приложения формирования изображений, такого как видеоприложение. Постобработанный сигнал затем может использоваться для того, чтобы управлять исходным светом 328, который должен освещать дисплей, такой как жидкокристаллический дисплей 326. Процессор исходного света также может передавать постобработанный уровень исходной световой освещенности и/или другую информацию в процессор 322 изображений.

Процессор 322 изображений может использовать информацию об исходном свете от постпроцессора 332 исходного света для того, чтобы определять параметры обработки для обработки входного изображения 320. Процессор 322 изображений также может использовать информацию об окружающем освещении от датчика 330 окружающего освещения для того, чтобы определять параметры обработки для обработки входного изображения 320. Процессор 322 изображений может применять регулирование градационной шкалы, карту усилений или другую процедуру для того, чтобы регулировать пикселные значения изображений. В некоторых примерных вариантах осуществления эта процедура повышает яркость и контрастность изображения и частично или полностью компенсирует уменьшение освещенности источника света. Результатом обработки посредством процессора 322 изображений является отрегулированное изображение 344, которое может отправляться на дисплей 326, где оно может освещаться посредством исходного света 328.

Некоторые варианты осуществления настоящего изобретения могут содержать отдельные модули 342, 362 анализа изображений и 343, 363 обработки изображений. Хотя эти модули могут быть интегрированы в одном компоненте или на одной микросхеме, они иллюстрируются и описываются как отдельные модули, чтобы лучше описывать их взаимодействие.

Некоторые из этих вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 27. В этих вариантах осуществления входное изображение 340 принимается в модуле 342 анализа изображений. Модуль анализа изображений может анализировать изображение, чтобы определять характеристики изображений, которые могут быть переданы в модуль 343 обработки изображений и/или модуль 354 обработки исходного света. Обработка входного изображения 340 может зависеть от ввода от датчика 330 окружающего освещения. В некоторых вариантах осуществления модуль 354 обработки исходного света может принимать ввод от датчика 350 окружающего освещения. Процессор 354 исходного света также может принимать ввод от датчика 352 режима или состояния устройства. Процессор 354 исходного света может использовать условие окружающего освещения, характеристику изображения и/или состояние устройства для того, чтобы определять уровень исходной световой освещенности. Этот уровень исходной световой освещенности может отправляться в источник исходного света 348, который должен освещать дисплей, такой как жидкокристаллический дисплей 346. Модуль 354 обработки исходного света также может передавать постобработанный уровень исходной световой освещенности и/или другую информацию в модуль 343 обработки изображений.

Модуль обработки 322 изображений может использовать информацию об исходном свете из модуля 354 обработки исходного света для того, чтобы определять параметры обработки для обработки входного изображения 340. Модуль 343 обработки изображений также может использовать информацию об окружающем освещении, которая передается от датчика 350 окружающего освещения через модуль 354 обработки исходного света. Эта информация об окружающем освещении может использоваться для того, чтобы определять параметры обработки для обработки входного изображения 340. Модуль 343 обработки изображений может применять регулирование градационной шкалы, карту усилений или другую процедуру для того, чтобы регулировать пикселные значения изображений. В некоторых примерных вариантах осуществления эта процедура повышает яркость и контрастность изображения и частично или полностью компенсирует уменьшение освещенности источника света. Результатом обработки посредством модуля 343 обработки изображений является отрегулированное изображение 344, которое может отправляться на дисплей 346, где оно может освещаться посредством исходного света 348.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 28. В этих вариантах осуществления входное изображение 360 принимается в модуле 362 анализа изображений. Модуль анализа изображений может анализировать изображение, чтобы определять характеристики изображений, которые могут быть переданы в модуль 363 обработки изображений и/или модуль 374 обработки исходного света. Обработка входного изображения 360 может зависеть от ввода от датчика 370 окружающего освещения. Эта обработка также может зависеть от вывода из модуля 374 обработки исходного света. В некоторых вариантах осуществления окружающая информация может быть принята из модуля 363 обработки изображений, который может принимать окружающую информацию от датчика окружения 370. Эта окружающая информация может передаваться и/или обрабатываться посредством модуля 363 обработки изображений на пути в модуль 374 обработки исходного света. Состояние или режим устройства также могут быть переданы в модуль 374 обработки исходного света из модуля устройства 372.

Модуль 374 обработки исходного света может использовать условие окружающего света и/или состояние устройства для того, чтобы определять уровень исходной световой освещенности. Этот уровень исходной световой освещенности может использоваться для того, чтобы управлять исходным светом 368, который должен освещать дисплей, такой как жидкокристаллический дисплей 366. Процессор исходного света 374 также может передавать уровень исходной световой освещенности и/или другую информацию в процессор 363 изображений.

Модуль 363 обработки изображений может использовать информацию об исходном свете из модуля 374 обработки исходного света для того, чтобы определять параметры обработки для обработки входного изображения 360. Модуль 363 обработки изображений также может использовать информацию об окружающем освещении от датчика 370 окружающего освещения для того, чтобы определять параметры обработки для обработки входного изображения 360. Модуль 363 обработки изображений может применять регулирование градационной шкалы, карту усилений или другую процедуру для того, чтобы регулировать пикселные значения изображений. В некоторых примерных вариантах осуществления эта процедура повышает яркость и контрастность изображения и частично или полностью компенсирует уменьшение освещенности источника света. Результатом обработки посредством модуля 363 обработки изображений является отрегулированное изображение 364, которое может отправляться на дисплей 366, где оно может освещаться посредством исходного света 368.

Варианты осуществления адаптивного к искажению управления мощностью

Некоторые варианты осуществления настоящего изобретения содержат способы и системы для разрешения потребностей по мощности, характеристик дисплея, окружения и ограничений аккумулятора дисплейных устройств, включающих в себя мобильные устройства и приложения. В некоторых вариантах осуществления могут использоваться три семейства алгоритмов: алгоритмы управления мощностью дисплея, алгоритмы модуляции задней подсветки и алгоритмы сохранения яркости (BP). Хотя управление мощностью имеет более высокий приоритет в мобильных устройствах с аккумуляторным питанием, эти системы и способы могут применяться к другим устройствам, которые могут извлекать выгоду из управления мощностью для сохранения энергии, управления тепловыделением и других целей. В этих вариантах осуществления данные алгоритмы могут взаимодействовать, но их отдельная функциональность может содержать:

- Управление мощностью - эти алгоритмы управляют мощностью задней подсветки в последовательности кадров, использующих варьирования в видеосодержимом, чтобы оптимизировать потребляемую мощность.

- Модуляцию задней подсветки - эти алгоритмы выбирают уровни мощности задней подсветки, чтобы использовать для отдельного кадра, и применяют статистику в рамках изображения для того, чтобы оптимизировать потребляемую мощность.

- Сохранение яркости - эти алгоритмы обрабатывают каждое изображение, чтобы компенсировать сниженную мощность задней подсветки и сохранять яркость изображения при недопущении артефактов.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 29, которая содержит упрощенную блок-схему, указывающую взаимодействие компонентов этих вариантов осуществления. В некоторых вариантах осуществления алгоритм 406 управления мощностью может управлять фиксированным ресурсом 402 аккумулятора для видеопоследовательности, последовательности изображений или другой задачи отображения и может гарантировать указанную среднюю потребляемую мощность при одновременном сохранении качества и/или других характеристик. Алгоритм 410 модуляции задней подсветки может принимать инструкции от алгоритма 406 управления мощностью и выбирать уровень мощности согласно ограничениям, заданным посредством алгоритма 406 управления мощностью, чтобы эффективно представлять каждое изображение. Алгоритм 414 сохранения яркости может использовать выбранный уровень 415 задней подсветки и возможное значение отсечения 413, чтобы обрабатывать компенсацию изображения для уменьшенной задней подсветки.

Управление мощностью дисплея

В некоторых вариантах осуществления алгоритм 406 управления мощностью дисплея может управлять распределением использования мощности для видеопоследовательности, последовательности изображений или другой задачи отображения. В некоторых вариантах осуществления алгоритм 406 управления мощностью дисплея может выделять фиксированную энергию аккумулятора, чтобы предоставлять гарантируемое оперативное время работы при одновременном сохранении качества изображения. В некоторых вариантах осуществления одна цель алгоритма управления мощностью состоит в том, чтобы предоставлять гарантируемые нижние пределы на время работы от аккумулятора, чтобы повышать удобство и простоту использования мобильного устройства.

Постоянное управление мощностью

Одна форма управления мощностью, которая достигает произвольной цели, состоит в том, чтобы выбирать фиксированную мощность, которая удовлетворяет требуемому времени работы. Системная блок-схема, показывающая систему на основе постоянного управления мощностью, показана на фиг. 30. Основной момент заключается в том, что алгоритм 436 управления мощностью выбирает постоянную мощность задней подсветки исключительно на основе начальной заряженности 432 аккумулятора и требуемого времени 434 работы. Компенсация 442 для этого уровня 444 задней подсветки выполняется для каждого изображения 446.

Уравнение 17. Постоянное управление мощностью

Уровень 444 задней подсветки и, следовательно, потребляемая мощность являются независимыми от данных 440 изображений. Некоторые варианты осуществления могут поддерживать несколько режимов постоянной мощности, обеспечивая выполнение выбора уровня мощности на основе режима мощности. В некоторых вариантах осуществления зависимая от изображения модуляция задней подсветки может не использоваться для того, чтобы упрощать системную реализацию. В других вариантах осуществления немного уровней постоянной мощности могут задаваться и выбираться на основе рабочего режима или настроек пользователя. Некоторые варианты осуществления могут использовать этот принцип с одним уровнем пониженной мощности, т.е. 75% максимальной мощности.

Простое адаптивное управление мощностью

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 31. Эти варианты осуществления содержат алгоритм 456 адаптивного управления мощностью. Снижение 455 потребляемой мощности вследствие модуляции 460 задней подсветки отправляется в алгоритм 456 управления мощностью, обеспечивая повышенное качество изображения при одновременном предоставлении требуемого времени работы системы.

В некоторых вариантах осуществления экономия энергии с зависимой от изображения модуляцией задней подсветки может быть включена в алгоритм управления мощностью посредством обновления вычисления статической максимальной мощности во времени, как показано в уравнении 18. Адаптивное управление мощностью может содержать вычисление отношения оставшегося заряда аккумулятора (мА-часов) к оставшемуся требуемому времени работы (часов), чтобы задавать верхний предел мощности (мА) для алгоритма 460 модуляции задней подсветки. В общем, модуляция 460 задней подсветки может выбирать фактическую мощность ниже этого максимума, обеспечивая дополнительную экономию энергии. В некоторых вариантах осуществления экономия энергии вследствие модуляции задней подсветки может отражаться в форме обратной связи через изменение значений оставшегося заряда аккумулятора или выбранной на основе скользящего среднего мощности и, следовательно, влиять на последующие решения по управлению мощностью.

Уравнение 18. Адаптивное управление мощностью

В некоторых вариантах осуществления, если информация о состоянии аккумулятора является недоступной или неточной, оставшийся заряд аккумулятора может быть оценен посредством вычисления энергии, используемой посредством дисплея, умножения средней выбранной мощности на время работы и вычитания ее из начального заряда аккумулятора.

Уравнение 19. Оценка оставшегося заряда аккумулятора

Эта последняя технология имеет преимущество в осуществлении без взаимодействия с аккумулятором.

Управление мощностью в зависимости от искажения

Автор изобретения наблюдал, при исследовании искажения в зависимости от мощности, что многие изображения демонстрируют достаточно различающееся искажение при одной мощности. Тусклые изображения, изображения со слабой контрастностью, такие недодержанные фотографии, могут фактически отображаться лучше при малой мощности вследствие повышения уровня черного, что вытекает из использования с высоким уровнем мощности. Алгоритм управления мощностью может находить баланс посредством искажения изображения для емкости аккумулятора вместо прямых настроек мощности. В некоторых вариантах осуществления настоящего изобретения, проиллюстрированных на фиг. 29, технологии управления мощностью могут содержать параметр 403 искажения, такой как максимальное значение искажения, в дополнение к максимальной мощности 401, задаваемой для алгоритма 410 управления задней подсветкой. В этих вариантах осуществления алгоритм 406 управления мощностью может использовать обратную связь от алгоритма 410 модуляции задней подсветки в форме характеристик 405 мощности/искажения текущего изображения. В некоторых вариантах осуществления максимальное искажение изображения может модифицироваться на основе целевой мощности и свойства мощности в зависимости от искажения текущего кадра. В этих вариантах осуществления, в дополнение к обратной связи по фактической выбранной мощности, алгоритм управления мощностью может выбирать и предоставлять цели 403 искажения и может принимать обратную связь по соответствующему искажению 405 изображения в дополнение к обратной связи по заряду 402 аккумулятора. В некоторых вариантах осуществления дополнительные вводы могут использоваться в алгоритме управления мощностью, такие как: окружающий уровень 408, настройки пользователя и рабочий режим (т.е. видео/графика).

Некоторые варианты осуществления настоящего изобретения могут пытаться оптимально выделять мощность в видеопоследовательности при одновременном сохранении качества отображения. В некоторых вариантах осуществления, для данной видеопоследовательности, могут использоваться два критерия для выбора компромисса между полной используемой мощностью и искажением изображения. Могут использоваться максимальное искажение изображения и среднее искажение изображения. В некоторых вариантах осуществления эти члены могут быть минимизированы. В некоторых вариантах осуществления минимизация максимального искажения в последовательности изображений может достигаться с использованием идентичного искажения для каждого изображения в последовательности. В этих вариантах осуществления алгоритм 406 управления мощностью может выбирать это искажение 403, давая возможность алгоритму 410 модуляции задней подсветки выбирать уровень задней подсветки, который достигает этой цели 403 искажения. В некоторых вариантах осуществления минимизация среднего искажения может достигаться, когда мощность, выбранная для каждого изображения, является таковой, что наклоны кривых мощности в зависимости от искажения равны. В этом случае алгоритм 406 управления мощностью может выбирать наклон кривой мощности в зависимости от искажения на основе алгоритма 410 модуляции задней подсветки, чтобы выбирать соответствующий уровень задней подсветки.

Фиг. 32A и 32B могут использоваться для того, чтобы иллюстрировать экономию энергии с учетом искажения в процессе управления мощностью. Фиг. 32A - это график уровня исходной световой мощности для последовательных кадров в последовательности изображений. Фиг. 32A показывает уровни исходной световой мощности, требуемые для того, чтобы поддерживать постоянное искажение 480 между кадрами и среднюю мощность 482 графика постоянного искажения. Фиг. 32B - это график искажения изображения для идентичных последовательных кадров в последовательности изображений. Фиг. 32B показывает искажение 484 при постоянной мощности, возникающее в результате поддержания настройки постоянной мощности, уровень 488 постоянного искажения, вытекающий из поддержания постоянного искажения во всей последовательности и среднего искажения 486 при постоянной мощности при поддержании постоянной мощности. Уровень постоянной мощности выбран так, чтобы равняться средней мощности результата постоянного искажения. Таким образом, оба способа используют идентичную среднюю мощность. При анализе искажения обнаруживается, что постоянная мощность 484 дает значительное варьирование искажения изображения. Также следует отметить, что среднее искажение 486 управления постоянной мощностью более чем в 10 раз превышает искажение 488 алгоритма постоянного искажения несмотря на то, что оба используют одинаковую среднюю мощность.

На практике, оптимизация для того, чтобы минимизировать либо максимальное, либо среднее искажение в видеопоследовательности может оказываться слишком комплексной для некоторых вариантов применения, поскольку искажение между изображениями при первоначальной и пониженной мощности должно вычисляться в каждой точке функции мощности в зависимости от искажения, чтобы оценивать компромисс между мощностью и искажением. Каждая оценка искажения может требовать, чтобы уменьшение задней подсветки и соответствующее компенсирующее выделение яркостью изображения вычислялось и сравнивалось с исходным изображением. Следовательно, некоторые варианты осуществления могут содержать более простые способы для вычисления или оценки характеристик искажения.

В некоторых вариантах осуществления могут использоваться некоторые приближения. Сначала следует отметить, что поточечный показатель искажения, такой как среднеквадратическая ошибка (MSE), может вычисляться из гистограммы кодовых значений изображений, а не самих изображений, как выражено в уравнении 20. В этом случае гистограмма является одномерным сигналом только с 256 значениями в противоположность изображению, которое при разрешении 320×240 имеет 7680 выборок. Это может быть дополнительно сокращено посредством субдискретизации гистограмм, если требуется.

В некоторых вариантах осуществления приближение может быть осуществлено посредством допущения того, что изображение просто масштабируется с отсечением на стадии компенсации вместо применения алгоритма фактической компенсации. В некоторых вариантах осуществления включение члена повышения уровня черного в показатель искажения также может быть ценным. В некоторых вариантах осуществления использование этого члена может подразумевать, что минимальное искажение для полностью черного кадра возникает при нулевой задней подсветке.

Уравнение 20. Упрощение вычисления искажения

В некоторых вариантах осуществления, чтобы вычислять искажение при данном уровне мощности, для каждого кодового значения, может быть определено искажение, вызываемое посредством линейного повышения с отсечением. Искажение затем может взвешиваться посредством частоты кодового значения и суммироваться так, чтобы давать среднее искажение изображения при указанном уровне мощности. В этих вариантах осуществления простое линейное повышение для компенсации яркости не дает допустимое качество для отображения изображений, но выступает в качестве простого источника для вычисления оценки искажения изображения, вызываемого посредством изменения в задней подсветке.

В некоторых вариантах осуществления, проиллюстрированных на фиг. 33, чтобы управлять как потребляемой мощностью, так и искажением изображения, алгоритм 500 управления мощностью может отслеживать не только заряд 506 и оставшееся время работы 508 аккумулятора, но и также искажение изображения 510. В некоторых вариантах осуществления как верхний предел на потребляемой мощности 512, так и цель искажения 511 могут предоставляться в алгоритм 502 модуляции задней подсветки. Алгоритм 502 модуляции задней подсветки затем может выбирать уровень 512 задней подсветки, согласованный и с пределом мощности, и с целью искажения.

Алгоритмы модуляции задней подсветки (BMA)

Алгоритм 502 модуляции задней подсветки отвечает за выбор уровня задней подсветки, используемый для каждого изображения. Этот выбор может быть основан на изображении, которое должно отображаться, и сигналах из алгоритма 500 управления мощностью. Что касается ограничения на максимальную мощность, предоставляемого 512 посредством алгоритма 500 управления мощностью, аккумулятор 506 может управляться согласно требуемому времени работы. В некоторых вариантах осуществления алгоритм 502 модуляции задней подсветки может выбирать меньшую мощность в зависимости от статистики текущего изображения. Это может быть источником экономии энергии в конкретном изображении.

После того как подходящий уровень 415 задней подсветки выбран, задняя подсветка 416 задается равной выбранному уровню, и этот уровень 415 предоставляется в алгоритм 414 сохранения яркости, чтобы определять необходимую компенсацию. Для некоторых изображений и последовательностей предоставление небольшой величины искажения изображения может значительно уменьшать требуемую мощность задней подсветки. Следовательно, некоторые варианты осуществления содержат алгоритмы, которые предоставляют управляемую величину искажения изображения.

Фиг. 34 - это график, показывающий величину экономии энергии на примерном DVD-клипе как функцию от номера кадра для нескольких допусков искажения. Процент пикселов с нулевым искажением варьируется от 100% до 97%, до 95%, и средняя мощность по видеоклипу определяется. Средняя мощность варьируется от 95% до 60% соответственно. Таким образом, предоставление искажения в 5% пикселов дает дополнительную 35%-ную экономию энергии. Это демонстрирует значительную экономию энергии, возможную посредством предоставления небольшого искажения изображения. Если алгоритм сохранения яркости может сохранять субъективное качество при одновременном введении небольшого искажения, может достигаться значительная экономия энергии.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 30. Эти варианты осуществления также могут содержать информацию от датчика окружающего света 438 и могут уменьшаться в сложности для мобильного применения. Эти варианты осуществления содержат статическое ограничение процентили гистограммы и динамический максимальный предел мощности, предоставляемый посредством алгоритма 436 управления мощностью. Некоторые варианты осуществления могут содержать цель постоянной мощности, тогда как другие варианты осуществления могут содержать более сложный алгоритм. В некоторых вариантах осуществления изображение может анализироваться посредством вычисления гистограмм каждого из цветовых компонентов. Кодовое значение в гистограмме, при котором возникает указанная процентиль, может вычисляться для каждой цветовой плоскости. В некоторых вариантах осуществления целевой уровень задней подсветки может выбираться так, что линейное повышение в кодовых значениях вызывает просто отсечение кодового значения, выбранного из гистограмм. Фактический уровень задней подсветки может выбираться как минимум из этого целевого уровня и ограничения уровня задней подсветки, предоставляемого посредством алгоритма 436 управления мощностью. Эти варианты осуществления могут предоставлять гарантируемое управление мощностью и могут обеспечивать ограниченную величину искажения изображения в случаях, где предел управления мощностью может достигаться.

Уравнение 21. Выбор мощности на основе процентиля гистограммы

Варианты осуществления на основе искажения изображения

Некоторые варианты осуществления настоящего изобретения могут содержать ограничение по искажению и максимальный предел мощности, предоставляемый посредством алгоритма управления мощностью. Фиг. 32B и 34 демонстрируют, что величина искажения при данном уровне мощности задней подсветки варьируется значительно в зависимости от содержимого изображений. Свойства поведения мощности от искажения каждого изображения могут быть использованы в процессе выбора задней подсветки. В некоторых вариантах осуществления текущее изображение может анализироваться посредством вычисления гистограмм для каждого цветового компонента. Кривая мощности в зависимости от искажения, задающая искажение (к примеру, MSE), может вычисляться посредством вычисления искажения в диапазоне значений мощности с использованием второго выражения уравнения 20. Алгоритм модуляции задней подсветки может выбирать наименьшую мощность с искажением, равным или меньшим указанного ограничения по искажению, в качестве целевого уровня. Уровень задней подсветки затем может выбираться в качестве минимума целевого уровня и ограничения уровня задней подсветки, предоставляемого посредством алгоритма управления мощностью. Дополнительно, искажение изображения на выбранном уровне может предоставляться в алгоритм управления мощностью, чтобы направлять обратную связь искажения. Частота дискретизации кривой мощности в зависимости от искажения и гистограммы изображения может уменьшаться, чтобы управлять сложностью.

Сохранение яркости (BP)

В некоторых вариантах осуществления алгоритм BP выделяет яркостью изображение на основе выбранного уровня задней подсветки, чтобы компенсировать уменьшенное освещение. Алгоритм BP может управлять искажением, введенным на дисплей, и возможность алгоритма BP сохранять качество предписывает то, сколько мощности алгоритм модуляции задней подсветки может пытаться сохранять. Некоторые варианты осуществления могут компенсировать уменьшение задней подсветки посредством масштабирования значений отсечения изображения, которые превышают 255. В этих вариантах осуществления алгоритм модуляции задней подсветки должен быть консервативным при уменьшении мощности, или раздражающие артефакты отсечения вводятся, тем самым ограничивая возможную экономию энергии. Некоторые варианты осуществления выполнены с возможностью сохранять качество для наиболее ресурсоемких кадров при фиксированном снижении потребляемой мощности. Некоторые из этих вариантов осуществления компенсируют один уровень задней подсветки (т.е. 75%). Другие варианты осуществления могут обобщаться, чтобы работать с модуляцией задней подсветки.

Некоторые варианты осуществления алгоритма сохранения яркости (BP) могут использовать описание сигнала яркости, выводимого из дисплея, как функцию от задней подсветки и данных изображений. Используя эту модель, BP может определять модификации изображения, чтобы компенсировать уменьшение задней подсветки. Для прозрачно-отражательного дисплея модель BP может модифицироваться так, чтобы включать в себя описание отражательного аспекта дисплея. Сигнал яркости, выводимый из дисплея, становится функцией задней подсветки, данных изображений и окружения. В некоторых вариантах осуществления алгоритм BP может определять модификации изображения, чтобы компенсировать уменьшение задней подсветки в данном окружении.

Влияние окружения

Вследствие ограничений реализации некоторые варианты осуществления могут содержать алгоритмы с ограниченной сложностью для определения BP-параметров. Например, разработка алгоритма, выполняющегося полностью в жидкокристаллическом модуле, ограничивает обработку и память, доступную для алгоритма. В этом примере для некоторых вариантов осуществления BP может использоваться формирование альтернативных кривых гамма-распределения для различных комбинаций задней подсветки/окружающих условий. В некоторых вариантах осуществления могут быть необходимы ограничения на число и разрешение кривых гамма-распределения.

Кривые мощности/искажения

Некоторые варианты осуществления настоящего изобретения могут получать, оценивать, вычислять или иным образом определять характеристики мощности/искажения для изображений, включающих в себя, но не только, кадры видеопоследовательности. Фиг. 35 - это график, показывающий характеристики мощности/искажения для четырех примерных изображений. На фиг. 35 кривая 520 для изображения C поддерживает отрицательный наклон для всей полосы частот мощности исходного света. Кривые 522, 524 и 526 для изображений A, B и D падают с отрицательным наклоном до тех пор, пока они не достигают минимума, затем повышаются с положительным наклоном. Для изображений A, B и D увеличение мощности исходного света фактически увеличивает искажение в конкретных диапазонах кривых, где кривые имеют положительный наклон 528. Это может быть обусловлено характеристиками дисплея, такими как, но не только, жидкокристаллическая утечка или другие неисправности дисплея, которые приводят к тому, что отображаемое изображение, просматриваемое зрителем, согласованно отличается от кодовых значений.

Некоторые варианты осуществления настоящего изобретения могут использовать эти характеристики, чтобы определять соответствующие уровни исходной световой мощности для конкретных изображений или типов изображений. Характеристики дисплея (к примеру, LCD-утечка) могут учитываться в вычислениях параметров искажения, которые используются для того, чтобы определять соответствующий уровень исходной световой мощности для изображения.

Примерные способы

Некоторые варианты осуществления настоящего изобретения могут быть описаны относительно фиг. 36. В этих вариантах осуществления бюджет мощности устанавливается 530. Это может выполняться с использованием простого управления мощностью, адаптивного управления мощностью и других способов, описанных выше, или посредством других способов. Как правило, установление бюджета мощности может содержать оценку задней подсветки или уровня исходной световой мощности, который должен давать возможность выполнения задачи отображения, такой как отображение видеофайла, при использовании фиксированного ресурса мощности, такого как часть заряда аккумулятора. В некоторых вариантах осуществления установление бюджета мощности может содержать определение среднего уровня мощности, который должен давать возможность выполнения задачи отображения с фиксированной величиной мощности.

В этих вариантах осуществления начальный критерий 532 искажения также может устанавливаться. Этот начальный критерий искажения может быть определен посредством оценки уменьшенного уровня исходной световой мощности, который должен удовлетворять бюджету мощности, и измерения искажения изображения при этом уровне мощности. Искажение может измеряться для некорректированного изображения, для изображения, которое модифицировано с использованием технологии сохранения яркости (BP), как описано выше, или для изображения, которое модифицировано с помощью упрощенного процесса BP.

Как только начальный критерий искажения установлен, первая часть задачи отображения может отображаться 534 с помощью уровней исходной световой мощности, которые приводят к тому, что характеристика искажений отображаемого изображения или изображений соответствует критерию искажения. В некоторых вариантах осуществления уровни мощности источника света могут выбираться для каждого кадра видеопоследовательности так, что каждый кадр удовлетворяет требованию искажения. В некоторых вариантах осуществления значения источника света могут выбираться, чтобы поддерживать постоянное искажение или диапазон искажений, сохранять искажение ниже указанного уровня или иным образом удовлетворять критерию искажения.

Потребляемая мощность затем может оцениваться 536, чтобы определять то, удовлетворяет или нет мощность, используемая для того, чтобы отображать первую часть задачи отображения, параметрам управления бюджетом мощности. Мощность может выделяться с использованием фиксированной величины для каждого изображения, видеокадра или другого элемента задачи отображения. Мощность также может выделяться так, что средняя мощность, использованная в последовательности элементов задачи отображения, удовлетворяет требованию, тогда как мощность, использованная для каждого элемента задачи отображения, может варьироваться. Другие схемы выделения мощности также могут использоваться.

Когда оценка 536 потребляемой мощности показывает, что потребляемая мощность для первой части задачи отображения не удовлетворяет требованиям по бюджету мощности, критерий искажения может быть модифицирован 538. В некоторых вариантах осуществления, в которых кривая мощности/искажения может быть оценена, предположена, вычислена или иным образом определена, критерий искажения может быть модифицирован так, чтобы разрешать большее или меньшее искажение, как требуется для того, чтобы соответствовать требованию по бюджету мощности. Хотя кривые мощности/искажения являются конкретными для изображения, может использоваться кривая мощности/искажения для первого кадра последовательности, для примерного изображения в последовательности или для синтезированного изображения, представляющего задачу отображения.

В некоторых вариантах осуществления, когда больше бюджетированной величины мощности использовано для первой части задачи отображения, и наклон кривой мощности/искажения является положительным, критерий искажения может быть модифицирован, чтобы обеспечивать меньшее искажение. В некоторых вариантах осуществления, когда больше бюджетированной величины мощности использовано для первой части задачи отображения, и наклон кривой мощности/искажения является отрицательным, критерий искажения может быть модифицирован, чтобы обеспечивать большее искажение. В некоторых вариантах осуществления, когда меньше бюджетированной величины мощности использовано для первой части задачи отображения, и наклон кривой мощности/искажения, является отрицательным или положительным, критерий искажения может быть модифицирован, чтобы обеспечивать меньшее искажение.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 37. Эти варианты осуществления типично содержат устройство с аккумуляторным питанием с ограниченной мощностью. В этих вариантах осуществления заполненность или заряд аккумулятора оценивается или измеряется 540. Требование по питанию задачи отображения также может быть оценено или вычислено 542. Начальный уровень мощности источника света также может быть оценен или иным образом определен 544. Этот начальный уровень мощности источника света может быть определен с использованием заполненности аккумулятора и требования по питанию задачи отображения, как описано для постоянного управления мощностью выше, или посредством других способов.

Критерий искажения, который соответствует начальному уровню мощности источника света, также может быть определен 546. Этот критерий может быть значением искажения, которое возникает для примерного изображения при начальном уровне мощности источника света. В некоторых вариантах осуществления значение искажения может быть основано на некорректированном изображении, изображении, модифицированном с помощью алгоритма фактического или оцененного BP, или другом примерном изображении.

Как только критерий искажения определен 546, первая часть задачи отображения оценивается, и уровень исходной световой мощности, который приводит к тому, что искажение первой части задачи отображения соответствует критерию искажения, выбирается 548. Первая часть задачи отображения затем отображается 550 с помощью выбранного уровня исходной световой мощности, и мощность, использованная во время отображения части, оценивается или измеряется 552. Когда эта потребляемая мощность не удовлетворяет требованию по питанию, критерий искажения может быть модифицирован 554, чтобы приводить потребляемую мощность в соответствие с требованием по питанию.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 38A и 38B. В этих вариантах осуществления бюджет мощности устанавливается 560, и критерий искажения также устанавливается 562. Они оба типично устанавливаются в отношении конкретной задачи отображения, такой как видеопоследовательность. Изображение затем выбирается 564, такое как кадр или набор кадров видеопоследовательности. Сниженный уровень исходной световой мощности затем оценивается 566 для выбранного изображения, так что искажение, возникающее в результате уменьшенного уровня силы света, удовлетворяет критерию искажения. Это вычисление искажения может содержать применение оцененных или фактических способов сохранения яркости (BP) к значениям изображений для выбранного изображения.

Выбранное изображение затем может модифицироваться со способами BP 568, чтобы компенсировать сниженный уровень мощности источника света. Фактическое искажение модифицированного согласно BP изображения затем может измеряться 570, и может выполняться определение относительно того, удовлетворяет или нет это фактическое искажение критерию искажения 572. Если фактическое искажение не удовлетворяет критерию искажения, процесс 574 оценки может регулироваться, и сниженный уровень мощности источника света может быть переоценен 566. Если фактическое искажение удовлетворяет критерию искажения, выбранное изображение может отображаться 576. Потребляемая мощность во время отображения изображений должна затем измеряться 578 и сравниваться с ограничением 580 бюджета мощности. Если потребляемая мощность удовлетворяет ограничению бюджета мощности, следующее изображение, такое как последующий набор видеокадров, может выбираться 584 до тех пор, пока задача отображения не завершена 582, и в этой точке процесс завершается. Если следующее изображение выбрано 584, то процесс возвращается в точку "B", где сниженный уровень мощности источника света должен быть оценен 566 для этого изображения, и процесс продолжается в отношении первого изображения.

Если потребляемая мощность для выбранного изображения не удовлетворяет ограничению 580 бюджета мощности, критерий искажения может быть модифицирован 586, как описано для других вариантов осуществления выше, и следующее изображение выбирается 584.

Варианты осуществления повышенного уровня черного

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для повышения уровня черного дисплея. Некоторые варианты осуществления используют указанный уровень задней подсветки и формируют градационную шкалу сопоставления яркости, которая как сохраняет яркость, так и повышает уровень черного. Другие варианты осуществления содержат алгоритм модуляции задней подсветки, который включает повышение уровня черного в свою схему. Некоторые варианты осуществления могут реализовываться как расширение или модификация вариантов осуществления, описанных выше.

Улучшенное сопоставление яркости (цель, совпадающая с идеальным дисплеем)

Формулирование сопоставления яркости, представленное выше, уравнение 7, используется для того, чтобы определять линейное масштабирование кодовых значений, которое компенсирует уменьшение задней подсветки. Это оказалось эффективным в экспериментах со снижением потребляемой мощности до 75%. В некоторых вариантах осуществления с зависимой от изображения модуляцией задней подсветки задняя подсветка может значительно уменьшаться, к примеру ниже 10%, для темных кадров. Для этих вариантов осуществления линейное масштабирование кодовых значений, извлеченных в уравнении 7, не может быть надлежащим, поскольку оно может чрезмерно повышать значения темного. Хотя варианты осуществления, использующие эти способы, могут дублировать вывод на полной мощности на дисплее при пониженной мощности, это не может служить для того, чтобы оптимизировать вывод. Поскольку дисплей при полной мощности имеет поднятый уровень черного, воспроизведение этого вывода для темных сцен не достигает преимущества уменьшения уровня черного, возможного при более низком значении мощности задней подсветки. В этих вариантах осуществления совпадающие критерии могут модифицироваться, и может извлекаться замена для результата, приведенного в уравнении 7. В некоторых вариантах осуществления сопоставляется вывод идеального дисплея. Идеальный дисплей может содержать нулевой уровень черного и такой же максимальный вывод, уровень белого=W, как дисплей при полной мощности. Характеристика этого примерного идеального дисплея для кодового значения, cv, может быть выражена в уравнении 22 в терминах максимального вывода, W, гаммы дисплея и максимального кодового значения.

Уравнение 22. Идеальный дисплей

В некоторых вариантах осуществления примерный жидкокристаллический дисплей может иметь такой же максимальный вывод, W, и гамму, но ненулевой уровень черного, B. Этот примерный жидкокристаллический дисплей может моделироваться с использованием модели GOG, описанной выше для вывода на полной мощности. Вывод масштабируется с относительной мощностью задней подсветки для мощности менее 100%. Параметры модели для усиления и смещения могут быть определены посредством максимального вывода, W, и уровня черного, B, дисплея при полной мощности, как показано в уравнении 23.

Уравнение 23. Модель GOG при полной мощности

Вывод дисплея при пониженной мощности с относительной мощностью задней подсветки P может быть определен посредством масштабирования результатов полной мощности посредством относительной мощности.

Уравнение 24. Фактический LCD-вывод по сравнению с мощностью и кодовым значением

В этих вариантах осуществления кодовые значения могут модифицироваться так, что выводы идеальных и фактических дисплеев равны, где только возможно. (Если идеальный вывод не меньше или превышает вывод, возможный при данной мощности на фактическом дисплее.)

Уравнение 25. Критерии для сопоставления выводов

Определенное вычисление разрешает

в терминах x, P, W, B.

Уравнение 26. Отношение кодовых значений для сопоставления вывода

Эти варианты осуществления демонстрируют некоторые свойства отношения кодовых значений для сопоставления идеального вывода на фактическом дисплее с ненулевым уровнем черного. В этом случае имеется отсечение как на верхнем (

), так и на нижнем (

) концах. Это соответствует вводу отсечения при x_low и x_high, заданных посредством уравнения 27.

Уравнение 27. Точки отсечения

Эти результаты согласуются с предшествующей разработкой авторов для других вариантов осуществления, в которых предполагается, что дисплей имеет нулевой уровень черного, т.е. коэффициент контрастности является бесконечным.

Алгоритм модуляции задней подсветки

В этих вариантах осуществления теория сопоставления яркости, которая включает соображения относительно уровня черного, посредством осуществления сопоставления между дисплеем при данной мощности и эталонным дисплеем с нулевым уровнем черного, определяет алгоритм модуляции задней подсветки. Эти варианты осуществления используют теорию сопоставления яркости для того, чтобы определять искажение, которое изображение должно иметь, когда отображается с мощностью P, по сравнению с отображением на идеальном дисплее. Алгоритм модуляции задней подсветки может использовать максимальный предел мощности и максимальное ограничение по искажению, чтобы выбирать наименьшую мощность, которая приводит к искажению ниже указанного максимального искажения.

Мощность в зависимости от искажения

В некоторых вариантах осуществления, с учетом целевого дисплея, указываемого посредством уровня черного и максимальной яркости на полной мощности и изображения для отображения, может вычисляться искажение при отображении изображения при данной мощности P. Ограниченная мощность и ненулевой уровень черного дисплея могут быть эмулированы на идеальном эталонном дисплее посредством отсечения значений, больших, чем яркость ограниченного по мощности дисплея, и посредством отсечения значений ниже уровня черного идеального эталона. Искажение изображения может быть задано в качестве MSE между исходными кодовыми значениями изображений и отсеченными кодовыми значениями, тем не менее, другие измерения искажений могут использоваться в некоторых вариантах осуществления.

Изображение с отсечением задается посредством зависимых от мощности пределов отсечения кодового значения, введенных в уравнении 27, приводится в уравнении 28.

Уравнение 28. Отсеченное изображение

Искажение между изображением на идеальном дисплее и на дисплее с мощностью P в пикселной области становится равным:

Отметим, что оно может вычисляться с использованием гистограммы кодовых значений изображений.

Задание функции градационной шкалы может использоваться для того, чтобы извлекать эквивалентную форму этого измерения искажений, показанную как уравнение 29.

Уравнение 29. Измерение искажений

Это измерение содержит взвешенную сумму ошибки отсечения при высоких и низких кодовых значениях. Кривая мощности/искажения может быть составлена для изображения с использованием выражения уравнения 29. Фиг. 39 - это график, показывающий кривые мощности/искажения для различных примерных изображений. Фиг. 39 показывает график 590 мощности/искажения для сплошного белого изображения, график 592 мощности/искажения для яркого выделения желтого цветка, график 594 мощности/искажения для темного изображения с низкой контрастностью группы людей, график 596 мощности/искажения для сплошного черного изображения и график 598 мощности/искажения для яркого изображения серфингиста на волне.

Как можно видеть из фиг. 39, различные изображения могут иметь достаточно различающиеся соотношения мощности и искажения. При экстремальных значениях черный кадр 596 имеет минимальное искажение при нулевой мощности задней подсветки с искажением, повышающимся резко по мере того, как мощность увеличивается на 10%. В отличие от этого белый кадр 590 имеет максимальное искажение при нулевой задней подсветке с искажением, постоянно снижающимся до быстрого опускания до нуля при 100%-ной мощности. Яркое изображение 598 серфинга показывает устойчивое снижение искажения по мере того, как мощность увеличивается. Два других изображения 592 и 594 показывают минимальное искажение при промежуточных уровнях мощности.

Некоторые варианты осуществления настоящего изобретения могут содержать алгоритм модуляции задней подсветки, который работает следующим образом:

1. Вычисление гистограммы изображения.

2. Вычисление функции мощности в зависимости от искажения для изображения.

3. Вычисление наименьшей мощности с искажением ниже ограничения по искажению.

4. (Необязательно) Ограничение выбранной мощности на основе предоставляемых верхних и нижних пределов мощности.

5. Выбор вычисленной мощности для задней подсветки.

В некоторых вариантах осуществления, описанных относительно фиг. 40 и 41, значение 604 задней подсветки, выбранное посредством алгоритма модуляции BL, может предоставляться в алгоритм BP и использоваться для схемы градационной шкалы. Средняя мощность 602 и искажение 606 показаны. Верхняя граница средней мощности 600, используемой в этом эксперименте, также показывается. Поскольку среднее использование мощности значительно ниже этой верхней границы, алгоритм модуляции задней подсветки использует меньшую мощность, чем просто использование фиксированной мощности, равной этому среднему ограничению.

Разработка функции плавной градационной шкалы

В некоторых вариантах осуществления настоящего изобретения функция плавной градационной шкалы содержит два проектных аспекта. Первый предполагает, что параметры для градационной шкалы заданы, и определяет функцию плавной градационной шкалы, удовлетворяющую этим параметрам. Второй содержит алгоритм для выбора проектных параметров.

Схема градационной шкалы с учетом параметров

Отношение кодовых значений, заданное посредством уравнения 26, имеет неоднородности наклона, когда отсечено до допустимого диапазона [cvMin, cvMax]. В некоторых вариантах осуществления настоящего изобретения плавный спад на темном конце может быть задан аналогично спаду, заданному в ярком конце в уравнении 7. Эти варианты осуществления предполагают как точку максимальной точности воспроизведения (MFP), так и точку наименьшей точности воспроизведения (LFP), между которыми градационная шкала согласуется с уравнением 26. В некоторых вариантах осуществления градационная шкала может быть составлена так, чтобы быть непрерывной и иметь непрерывную первую производную как в MFP, так и в LFP. В некоторых вариантах осуществления градационная шкала может проходить через экстремальные точки (ImageMinCV, cvMin) и (ImageMaxCV, cvMax). В некоторых вариантах осуществления градационная шкала может модифицироваться от аффинного повышения как в верхнем, так и в нижнем конце. Дополнительно, ограничения кодовых значений изображений могут использоваться для того, чтобы определять экстремальные точки, вместо использования фиксированных ограничений. Можно использовать фиксированные ограничения в этой структуре, но могут возникать проблемы при большом снижении потребляемой мощности. В некоторых вариантах осуществления эти условия уникально задают кусочно-квадратичную градационную шкалу, которая извлекается следующим образом.

Условия:

Уравнение 30. Задание градационной шкалы

Уравнение 31. Кривая градационной шкалы

Краткое наблюдение непрерывности градационной шкалы и первой производной в LFP и MFP дает в результате:

Уравнение 32. Решение по параметрам градационной шкалы B, C, E, F

Конечные точки определяют константы A и D следующим образом:

Уравнение 33. Решение по параметрам градационной шкалы A и D

В некоторых вариантах осуществления эти отношения задают плавное расширение градационной шкалы при условии, что MFP/LFP и ImageMaxCV/ImageMinCV доступны. Это оставляет открытой необходимость выбирать эти параметры. Дополнительные варианты осуществления содержат способы и системы для выбора этих проектных параметров.

Выбор параметров (MFP/LFP)

Некоторые варианты осуществления настоящего изобретения, описанные выше и в родственных заявках, адресуют только MFP с ImageMaxCV, равным 255, cvMax используется вместо ImageMaxCV, введенного в этих вариантах осуществления. Ранее описанные варианты осуществления имеют линейную градационную шкалу в нижнем конце вследствие согласования на основе дисплея при полной мощности вместо идеального дисплея. В некоторых вариантах осуществления MFP выбирается так, чтобы плавная градационная шкала имела нулевой наклон при верхнем пределе, ImageMaxCV. Математически MFP задается следующим образом:

Уравнение 34. Критерий выбора MFP

Решение этого критерия связывает MFP с верхней точкой отсечения и максимальным кодовым значением:

Уравнение 35. Предшествующие критерии выбора MFP

Для незначительного снижения потребляемой мощности, к примеру на P=80%, эти предшествующие критерии выбора MFP хорошо подходят. Для большого снижения потребляемой мощности эти варианты осуществления могут улучшать результаты ранее описанных вариантов осуществления.

В некоторых вариантах осуществления выбирается критерий выбора MFP, подходящий для большого снижения потребляемой мощности. Использование значения ImageMaxCV непосредственно в уравнении 35 может приводить к проблемам. В изображениях, где мощность имеет низкое значение, ожидается низкое максимальное кодовое значение. Если известно, что максимальное кодовое значение в изображении, ImageMaxCV, является небольшим, уравнение 35 дает обоснованное значение для MFP, но в некоторых случаях ImageMaxCV является неизвестным или большим, что может приводить к необоснованным, т.е. отрицательным значениям MFP. В некоторых вариантах осуществления, если максимальное кодовое значение является неизвестным или слишком большим, альтернативное значение может выбираться для ImageMaxCV и применяться в вышеприведенном результате.

В некоторых вариантах осуществления k может быть задано в качестве параметра, задающего наименьшую часть отсеченного значения

, которое может иметь MFP. Затем k может использоваться для того, чтобы определять то, является или нет MFP, вычисленное посредством уравнения 35, обоснованным, т.е.:

Уравнение 36. "Обоснованные" критерии MFP

Если вычисленное MFP не является обоснованным, MFP может быть задано так, чтобы быть наименьшим обоснованным значением, и необходимое значение ImageMaxCV может быть определено, уравнение 37. Значения MFP и ImageMaxCV затем могут использоваться для того, чтобы определять градационную шкалу так, как пояснено ниже.

Уравнение 37. Корректировка ImageMaxCV

Этапы для выбора MFP согласно некоторым вариантам осуществления обобщены ниже:

1. Вычисление варианта MFP с использованием ImageMaxCV (или CVMax, если недоступно).

2. Проверка обоснованности с использованием уравнения 36.

3. Если необоснованно, задание MFP на основе части k кодового значения отсечения.

4. Вычисление нового ImageMaxCV с помощью уравнения 37.

5. Вычисление функции плавной градационной шкалы с помощью MFP, ImageMaxCV и мощности.

Аналогичные технологии могут применяться для того, чтобы выбирать LFP в темном конце с использованием ImageMinCV и x_low.

Примерные схемы градационной шкалы на основе алгоритмов схемы плавной градационной шкалы и автоматического выбора параметров показаны на фиг. 42-45. Фиг. 42 и 43 показывают примерную схему градационной шкалы, где выбран уровень мощности задней подсветки в 11%. Показана линия 616, соответствующая линейной секции схемы градационной шкалы между MFP 610 и LFP 612. Схема 614 градационной шкалы отклоняется от линии 616 выше MFP 610 и ниже LFP 612, но является совпадающей с линией 616 между LFP 612 и MFP 610. Фиг. 41 - это изображение в увеличенном масштабе темной области схемы градационной шкалы по фиг. 42. LFP 612 является четко видимой, и более низкая кривая 620 схемы градационной шкалы может быть видна отклоняющейся от линейного расширения 622.

Фиг. 44 и 45 показывают примерную схему градационной шкалы, в которой уровень задней подсветки выбран на 89% от максимальной мощности. Фиг. 44 показывает линию 634 совпадения с линейной частью схемы градационной шкалы. Линия 634 представляет характеристику идеального дисплея. Схема градационной шкалы 636 отклоняется 636, 638 от идеального линейного представления дисплея 634 выше MFP 630 и ниже LFP 632. Фиг. 45 показывает вид в увеличенном масштабе темного конца схемы градационной шкалы 636 ниже LFP 640, где схема градационной шкалы 642 отклоняется от расширения 644 идеального дисплея.

В некоторых вариантах осуществления настоящего изобретения вычисление искажения может модифицироваться посредством изменения вычисления ошибки между изображениями идеального и фактического дисплея. В некоторых вариантах осуществления MSE может заменяться суммой искаженных пикселов. В некоторых вариантах осуществления ошибка отсечения в верхних и нижних областях может быть взвешена по-другому.

Некоторые варианты осуществления настоящего изобретения могут содержать датчик окружающего света. Если датчик окружающего света доступен, датчик может использоваться для того, чтобы модифицировать показатель искажения, в том числе эффекты окружающего освещения и отражения экрана. Он может использоваться для того, чтобы модифицировать показатель искажения и, следовательно, алгоритм модуляции задней подсветки. Окружающая информация может использоваться для того, чтобы управлять схемой градационной шкалы также посредством указания релевантной перцепционной точки отсечения на черном конце.

Варианты осуществления с сохранением цвета

Некоторые варианты осуществления настоящего изобретения содержат системы и способы для того, чтобы сохранять цветовые характеристики при одновременном повышении яркости изображения. В некоторых вариантах осуществления сохранение яркости содержит сопоставление палитры цветов для полной мощности с меньшей палитрой цветов дисплея при пониженной мощности. В некоторых вариантах осуществления различные способы используются для сохранения цвета. Некоторые варианты осуществления сохраняют оттенок/насыщенность цвета в обмен на уменьшение повышения сигнала яркости.

Некоторые не сохраняющие цвет варианты осуществления, описанные выше, обрабатывают каждый цветовой канал, независимо работающий, чтобы давать совпадение сигнала яркости в каждом цветовом канале. В этих не сохраняющих цвет вариантах осуществления очень насыщенные или выделенные яркостью цвета могут становиться менее насыщенными и/или менять оттенок после обработки. Сохраняющие цвет варианты осуществления разрешают эти цветовые артефакты, но в некоторых случаях могут немного уменьшать повышение сигнала яркости.

Некоторые сохраняющие цвет варианты осуществления также могут использовать операцию отсечения, когда нижние частоты и каналы верхних частот повторно комбинируются. Независимое отсечение каждого цветового канала может снова приводить к изменению по цвету. В вариантах осуществления, использующих сохраняющее цвет отсечение, операция отсечения может использоваться для того, чтобы поддерживать оттенок/насыщенность. В некоторых случаях это сохраняющее цвет отсечение может уменьшать сигнал яркости отсеченных значений ниже сигнала других не сохраняющих цвет вариантов осуществления.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 46. В этих вариантах осуществления входное изображение 650 считывается, и кодовые значения, соответствующие различным цветовым каналам для указанной позиции пиксела, определяются 652. В некоторых вариантах осуществления входное изображение может быть в формате, который имеет отдельную информацию о цветовом канале, записанную в графический файл. В примерном варианте осуществления изображение может записываться с красными, зелеными и синими цветовыми каналами (RGB). В других вариантах осуществления графический файл может записываться в формате "голубой, пурпурный, желтый и черный" (CMYK), Lab, YUV или другом формате. Входное изображение может быть в формате, содержащем отдельный канал яркости, таком как Lab, или в формате без отдельного канала яркости, таком как RGB. Когда графический файл не имеет легкодоступных данных по отдельным цветовым каналам, графический файл может быть преобразован в формат с данными цветовых каналов.

После того как кодовые значения для каждого цветового канала определены 652, максимальное кодовое значение из кодовых значений цветовых каналов затем определяется 654. Это максимальное кодовое значение затем может использоваться для того, чтобы определять параметры модели 656 регулирования кодовых значений. Модель регулирования кодовых значений может быть сформирована разными способами. Кривая регулирования градационной шкалы, функция усиления или другие модели регулирования могут использоваться в некоторых вариантах осуществления. В примерных вариантах осуществления может использоваться кривая регулирования градационной шкалы, которая повышает яркость изображения в ответ на настройку сниженной мощности задней подсветки. В некоторых вариантах осуществления модель регулирования кодовых значений может содержать кривую регулирования градационной шкалы, как описано выше относительно других вариантов осуществления. Кривая регулирования кодовых значений затем может применяться 658 к каждому из кодовых значений цветовых каналов. В этих вариантах осуществления применение кривой регулирования кодовых значений должно приводить к применению одинакового значения усиления к каждому из цветовых каналов. После того как регулирования выполнены, процесс продолжается для каждого пиксела 660 в изображении.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 47. В этих вариантах осуществления входное изображение считывается 670, и первая позиция пиксела выбирается 672. Кодовые значения для первого цветового канала определяются 674 для выбранной позиции пиксела, и кодовые значения для второго цветового канала определяются 676 для выбранной позиции пиксела. Эти кодовые значения затем анализируются, и одно из них выбирается 678 на основе критерия выбора кодового значения. В некоторых вариантах осуществления может выбираться максимальное кодовое значение. Это выбранное кодовое значение затем может использоваться в качестве ввода для формирователя 680 модели регулирования кодовых значений, который формирует модель. Модель затем может применяться 682 к кодовым значениям как первого, так и второго цветового канала, при этом практически равное усиление применяется к каждому каналу. В некоторых вариантах осуществления значение усиления, полученное из модели регулирования, может применяться ко всем цветовым каналам. Обработка затем может переходить к следующему пикселу 684 до тех пор, пока все изображение не обработано.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 48. В этих вариантах осуществления входное изображение 690 вводится в систему. Изображение затем фильтруется 692, чтобы создавать изображение первого частотного диапазона. В некоторых вариантах осуществления это может быть изображением в области нижних частот или изображением какого-либо другого частотного диапазона. Изображение второго частотного диапазона 694 также может быть сформировано. В некоторых вариантах осуществления изображение второго частотного диапазона может быть создано посредством вычитания изображения первого частотного диапазона из входного изображения. В некоторых вариантах осуществления, где изображение первого частотного диапазона является изображением нижних частот (LP), изображение второго частотного диапазона может быть изображением верхних частот (HP). Кодовое значение для первого цветового канала в изображении первого частотного диапазона затем может быть определено 696 для позиции пиксела, и кодовое значение для второго цветового канала в изображении первого частотного диапазона также может быть определено 698 в позиции пиксела. Одно из кодовых значений цветовых каналов затем выбирается 700 посредством сравнения кодовых значений или их характеристик. В некоторых вариантах осуществления максимальное кодовое значение может выбираться. Модель регулирования затем может быть сформирована, или к ней может быть осуществлен доступ 702 с помощью выбранного кодового значения в качестве ввода. Это может приводить к множителю усиления, который может применяться 704 к кодовому значению первого цветового канала и кодовому значению второго цветового канала.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 49. В этих вариантах осуществления входное изображение 710 может вводиться в модуль 712 выбора пикселов, который может идентифицировать пиксел, который должен регулироваться. Модуль 714 считывания кодовых значений первого цветового канала может считывать кодовое значение для выбранного пиксела для первого цветового канала. Модуль 716 считывания кодовых значений второго цветового канала также может считывать кодовое значение для второго цветового канала в выбранной позиции пиксела. Эти кодовые значения могут анализироваться в модуле 718 анализа, где одно из кодовых значений выбирается на основе характеристики кодового значения. В некоторых вариантах осуществления максимальное кодовое значение может выбираться. Это выбранное кодовое значение затем может вводиться в формирователь 720 модели или моделировать модуль выбора, который может определять значение или модель усиления. Это значение или модель усиления затем могут применяться 722 к обоим кодовым значениям цветовых каналов независимо от того, выбрано или нет кодовое значение посредством модуля 718 анализа. В некоторых вариантах осуществления к входному изображению можно осуществлять доступ 728 при применении модели. Управление затем может передаваться обратно 726 в модуль 712 выбора пикселов, чтобы выполнять итерации для других пикселов в изображении.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 50. В этих вариантах осуществления входное изображение 710 может вводиться в фильтр 730, чтобы получать изображение 732 первого частотного диапазона и изображение 734 второго частотного диапазона. Изображение первого частотного диапазона может быть преобразовано, чтобы предоставлять доступ к отдельным кодовым значениям 736 цветовых каналов. В некоторых вариантах осуществления входное изображение может предоставлять доступ к кодовым значениям цветовых каналов без какого-либо преобразования. Кодовое значение для первого цветового канала первого частотного диапазона 738 может быть определено, и кодовое значение для второго цветового канала первого частотного диапазона 740 может быть определено.

Эти кодовые значения могут вводиться в анализатор 742 характеристик кодовых значений, который может определять характеристики кодовых значений. Модуль 744 выбора кодовых значений затем может выбирать одно из кодовых значений на основе анализа кодовых значений. Этот выбор затем может вводиться в модуль 746 выбора или формирования модели регулирования, который должен формировать или выбирать значение усиления или карту усилений на основе выбора кодового значения. Значение усиления или карта затем могут применяться 748 к кодовым значениям первого частотного диапазона для обоих цветовых каналов в регулируемом пикселе. Этот процесс может повторяться до тех пор, пока изображение всего первого частотного диапазона не отрегулировано 750. Карта усилений также может применяться 753 к изображению 734 второго частотного диапазона. В некоторых вариантах осуществления коэффициент постоянного усиления может применяться ко всем пикселам в изображении второго частотного диапазона. В некоторых вариантах осуществления изображение второго частотного диапазона может быть версией верхних частот входного изображения 710. Отрегулированное изображение 750 первого частотного диапазона и отрегулированное изображение 753 второго частотного диапазона могут добавляться или иным образом комбинироваться 754, чтобы создавать отрегулированное выходное изображение 756.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 51. В этих вариантах осуществления входное изображение 710 может отправляться в фильтр 760 или некоторый другой процессор для деления изображения на изображения нескольких частотных диапазонов. В некоторых вариантах осуществления фильтр 760 может содержать фильтр нижних частот (LP) и процессор для вычитания LP-изображения, созданного LP-фильтром, из входного изображения, чтобы создавать изображение верхних частот (HP). Модуль 760 фильтра может выводить два или более конкретных для частоты изображений 762, 764, каждое из которых имеет конкретный частотный диапазон. Изображение 762 первого частотного диапазона может иметь данные цветового канала для первого цветового канала 766 и второго цветового канала 768. Кодовые значения для этих цветовых каналов могут отправляться в модуль 770 оценки характеристик кодовых значений и/или модуль 772 выбора кодовых значений. Этот процесс должен приводить к выбору одного из кодовых значений цветовых каналов. В некоторых вариантах осуществления максимальное кодовое значение из данных цветового канала для конкретной позиции пиксела выбирается. Это выбранное кодовое значение может быть передано в формирователь 774 режима регулирования, который формирует модель регулирования кодовых значений. В некоторых вариантах осуществления эта модель регулирования может содержать карту усилений или значение усиления. Эта модель регулирования затем может применяться 776 к каждому из кодовых значений цветовых каналов для анализируемого пиксела. Этот процесс может повторяться для каждого пиксела в изображении, приводя к отрегулированному изображению 778 первого частотного диапазона.

Изображение 764 второго частотного диапазона необязательно может регулироваться с помощью отдельной функции 765 усиления, чтобы повышать кодовые значения. В некоторых вариантах осуществления регулирование может не применяться. В других вариантах осуществления коэффициент постоянного усиления может применяться ко всем кодовым значениям в изображении второго частотного диапазона. Это изображение второго частотного диапазона может быть комбинировано с отрегулированным изображением 778 первого частотного диапазона, чтобы формировать отрегулированное комбинированное изображение 781.

В некоторых вариантах осуществления применение модели регулирования к изображению первого частотного диапазона и/или применение функции усиления к изображению второго частотного диапазона могут приводить к тому, что некоторые кодовые значения изображений превышают диапазон формата изображения или дисплейного устройства. В этих случаях кодовые значения, возможно, должны быть "отсечены" до требуемого диапазона. В некоторых вариантах осуществления сохраняющий цвет процесс 782 отсечения может использоваться. В этих вариантах осуществления кодовые значения, которые выходят за пределы указанного диапазона, могут быть отсечены таким образом, который сохраняет взаимосвязь между значениями цвета. В некоторых вариантах осуществления множитель может вычисляться, который не превышает максимальное требуемое значение диапазона, разделенное на максимальное кодовое значение цветового канала для анализируемого пиксела. Это должно приводить к коэффициенту "усиления", который меньше единицы, и это должно уменьшать кодовое значение "увеличенного размера" до максимального значения требуемого диапазона. Это значение "усиления" или отсечения может применяться ко всем кодовым значениям цветовых каналов, чтобы сохранять цвет пиксела, при одновременном уменьшении всех кодовых значений до значения, которое меньше или равно максимальному значению или указанному диапазону. Применение этого процесса отсечения приводит к отрегулированному выходному изображению 784, которое имеет все кодовые значения в рамках указанного диапазона и которое поддерживает цветовую взаимосвязь кодовых значений.

Некоторые варианты осуществления настоящего изобретения могут быть описаны относительно фиг. 52. В этих вариантах осуществления сохраняющее цвет отсечение используется для того, чтобы поддерживать взаимосвязи цветов при одновременном ограничении кодовых значений указанным диапазоном. В некоторых вариантах осуществления комбинированное отрегулированное изображение 792 может соответствовать комбинированному отрегулированному изображению 781, описанному относительно фиг. 51. В других вариантах осуществления комбинированное отрегулированное изображение 792 может быть любым другим изображением, которое имеет кодовые значения, которые должны быть отсечены до указанного диапазона.

В этих вариантах осуществления кодовое значение первого цветового канала определяется 794, и кодовое значение второго цветового канала определяется 796 для указанной позиции пиксела. Эти кодовые значения 794, 796 цветовых каналов оцениваются в модуле 798 оценки характеристик кодовых значений, чтобы определять избирательную характеристику кодового значения и выбирать кодовое значение цветового канала. В некоторых вариантах осуществления избирательная характеристика является максимальным значением, и более высокое кодовое значение выбирается в качестве ввода для формирователя 800 регулирования. Выбранное кодовое значение может использоваться в качестве ввода, чтобы формировать регулирование 800 отсечения. В некоторых вариантах осуществления это регулирование должно уменьшать максимальное кодовое значение до значения в рамках указанного диапазона. Это регулирование отсечения затем может применяться ко всем кодовым значениям цветовых каналов. В примерном варианте осуществления кодовые значения первого цветового канала и второго цветового канала уменьшаются 802 на один коэффициент, тем самым сохраняя отношение этих двух кодовых значений. Применение этого процесса ко всему пикселу в изображении должно приводить к выходному изображению 804 с кодовыми значениями, которые находятся в рамках указанного диапазона.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 53. В этих вариантах осуществления способы реализуются в области RGB посредством обработки усиления, применяемой ко всем трем цветовым компонентам на основе максимального цветового компонента. В этих вариантах осуществления входное изображение 810 обрабатывается посредством частотного разложения 812. В примерном варианте осуществления фильтр 814 нижних частот (LP) применяется к изображению, чтобы создавать LP-изображение 820, которое затем вычитается из входного изображения 810, чтобы создавать изображение 826 в области верхних частот (HP). В некоторых вариантах осуществления пространственный фильтр выпрямления 5×5 может использоваться для LP-фильтра. В каждом пикселе в LP-изображении 820 максимальное значение или три цветовых канала (R, G и B) выбираются 816 и вводятся в карту 818 LP-усиления, которая выбирает соответствующую функцию усиления, которая должна применяться ко всем значениям цветовых каналов для этого конкретного пиксела. В некоторых вариантах осуществления усиление в пикселе со значениями [r, g, b] может быть определено посредством одномерной LUT, индексированной посредством max(r, g, b). Усиление при значении x может извлекаться из значения кривой градационной шкалы фотометрического соответствия, описанной выше, при значении x, разделенном на x.

Функция 834 усиления также может применяться к HP-изображению 826. В некоторых вариантах осуществления функция 834 усиления может быть коэффициентом постоянного усиления. Это модифицированное HP-изображение комбинируется 830 с отрегулированным LP-изображением, чтобы формировать выходное изображение 832. В некоторых вариантах осуществления выходное изображение 832 может содержать кодовые значения, которые находятся за пределами диапазона для варианта применения. В этих вариантах осуществления процесс отсечения может применяться, как пояснено выше относительно фиг. 51 и 52.

В некоторых вариантах осуществления настоящего изобретения, описанного выше, модель регулирования кодовых значений для LP-изображения может быть выполнена так, что для пикселов, максимальный цветовой компонент которых ниже параметра, к примеру точки максимальной точности воспроизведения, усиление компенсирует уменьшение уровня мощности задней подсветки. Усиление на нижних частотах плавно спадает до 1 на границе цветовой палитры таким образом, что обработанный сигнал нижних частот остается в рамках палитры.

В некоторых вариантах осуществления обработка HP-сигнала может быть независимой от выбора обработки сигнала нижних частот. В вариантах осуществления, которые компенсируют уменьшенную мощность задней подсветки, HP-сигнал может обрабатываться с помощью постоянного усиления, которое сохраняет контрастность, когда мощность уменьшается. Формула для усиления HP-сигнала в терминах полной и уменьшенной мощности задней подсветки и гаммы дисплея задается в 5. В этих вариантах осуществления повышение HP-контрастности является устойчивым к шуму, поскольку усиление типично является небольшим, к примеру усиление равно 1,1 для 80%-ного снижения потребляемой мощности и гаммы в 2,2.

В некоторых вариантах осуществления результат обработки LP-сигнала и HP-сигнала суммируется и отсекается. Отсечение может применяться ко всему вектору RGB-выборок в каждом пикселе, масштабируя все три компонента одинаково так, что наибольший компонент масштабируется к 255. Отсечение происходит, когда поднятое значение HP, добавленное к значению LP, превышает 255, и типично релевантно только для ярких сигналов с высокой контрастностью. В общем, LP-сигнал гарантированно не превышает верхний предел за счет структуры LUT. HP-сигнал может вызывать отсечение в сумме, но отрицательные значения HP-сигнала никогда не должны отсекаться, тем самым поддерживая некоторую контрастность, даже когда отсечение фактически происходит.

Варианты осуществления настоящего изобретения могут пытаться оптимизировать яркость изображения, или они могут пытаться оптимизировать сохранение или согласование цветов при одновременном увеличении яркости. Типично предусматривается компромисс цветового сдвига при максимизации сигнала освещенности или яркости. Когда цветовой сдвиг не допускается, типично оказывается отрицательное влияние на яркость. Некоторые варианты осуществления настоящего изобретения могут пытаться балансировать компромисс между цветовым сдвигом и яркостью посредством формирования взвешенного усиления, применяемого к каждому цветовому компоненту, как показано в уравнении 38.

Уравнение 38. Взвешенное усиление

Это взвешенное усиление варьируется между максимальным совпадением сигнала яркости, при альфа 0, и минимальными цветовыми артефактами, при альфа 1. Следует отметить, что, когда все кодовые значения ниже параметра MFP, все три усиления равны.

Варианты осуществления на основе модели дисплея и зависимости от искажения

Термин "масштабирование задней подсветки" может упоминаться как технология для уменьшения задней подсветки жидкокристаллического дисплея и одновременной модификации данных, отправляемых в жидкокристаллический дисплей, чтобы компенсировать уменьшение задней подсветки. Основным аспектом этой технологии является выбор уровня задней подсветки. Варианты осуществления настоящего изобретения могут выбирать уровень освещенности задней подсветки в жидкокристаллическом дисплее с использованием модуляции задней подсветки либо для экономии энергии, либо для повышенной динамической контрастности. Способы, используемые для того, чтобы разрешать эту проблему, могут быть разделены на зависимые от изображения и независимые от изображения технологии. Зависимые от изображения технологии могут иметь цель ограничения величины отсечения, наложенной посредством последующей обработки изображений компенсации задней подсветки.

Некоторые варианты осуществления настоящего изобретения могут использовать оптимизацию для того, чтобы выбирать уровень задней подсветки. С учетом изображения, процедура оптимизации может выбирать уровень задней подсветки так, чтобы минимизировать искажение между изображением, как оно должно выглядеть на гипотетическом эталонном дисплее, и изображением, как оно должно выглядеть на фактическом дисплее.

Следующие термины могут быть использованы для того, чтобы описывать элементы вариантов осуществления настоящего изобретения:

1. Модель эталонного дисплея: модель эталонного дисплея может представлять требуемый вывод из дисплея, такого как жидкокристаллический дисплей. В некоторых вариантах осуществления модель эталонного дисплея может моделировать идеальный дисплей с нулевым уровнем черного или дисплей с неограниченным динамическим диапазоном.

2. Модель фактического дисплея: модель вывода фактического дисплея. В некоторых вариантах осуществления вывод фактического дисплея может моделироваться для различных уровней задней подсветки, и фактический дисплей может моделироваться как имеющий ненулевой уровень черного. В некоторых вариантах осуществления алгоритм выбора задней подсветки может зависеть от коэффициента контрастности дисплея для этого параметра.

3. Сохранение яркости (BP): обработка исходного изображения, чтобы компенсировать сниженный уровень задней подсветки. Изображение, как оно должно выглядеть на фактическом дисплее, является выводом модели дисплея при данном уровне задней подсветки для выделенного яркостью изображения. Некоторые примерные случаи следующие:

- без сохранения яркости. Необработанные данные изображений отправляются в жидкокристаллическую панель. В этом случае алгоритм выбора задней подсветки изменяет только заднюю подсветку, соответственно, яркость не сохраняется.

- Линейная повышающая компенсация яркости. Изображение обрабатывается с использованием простого аффинного преобразования, чтобы компенсировать уменьшение задней подсветки. Хотя этот простой алгоритм сохранения яркости жертвует качеством изображения, если фактически используется для компенсации задней подсветки, он является эффективным средством для того, чтобы выбирать значение задней подсветки.

- Сопоставление градационной шкалы. Изображение обрабатывается с использованием карты градационной шкалы, которая может содержать линейные и нелинейные сегменты. Сегменты могут использоваться для того, чтобы ограничивать отсечение и повышать контрастность.

4. Показатель искажения. Модель дисплея и алгоритм сохранения яркости могут использоваться для того, чтобы определять изображение, как оно должно выглядеть на фактическом дисплее. Затем может вычисляться искажение между этим выводом и изображением на эталонном дисплее. В некоторых вариантах осуществления искажение может вычисляться только на основе кодовых значений изображений. Искажение зависит от выбора показателя ошибки, в некоторых вариантах осуществления может использоваться среднеквадратическая ошибка.

5. Критерии оптимизации. Искажение может быть минимизировано согласно различным ограничениям. Например, в некоторых вариантах осуществления могут использоваться следующие критерии:

- минимизация искажения для каждого кадра видеопоследовательности.

- Минимизация максимального искажения согласно среднему ограничению задней подсветки.

- Минимизация среднего искажения согласно среднему ограничению задней подсветки.

Модели дисплеев

В некоторых вариантах осуществления настоящего изобретения модель GoG может использоваться как для модели эталонного дисплея, так и для модели фактического дисплея. Эта модель может модифицироваться так, чтобы масштабироваться на основе уровня задней подсветки. В некоторых вариантах осуществления эталонный дисплей может моделироваться как идеальный дисплей с нулевым уровнем черного и максимальным выводом W. Фактический дисплей может моделироваться как имеющий такой же максимальный вывод W при полной задней подсветке и уровень черного B при полной задней подсветке. Коэффициент контрастности - это W/B. Коэффициент контрастности является бесконечным, когда уровень черного является нулевым. Эти модели могут быть выражены математически с использованием CV_Max, чтобы обозначать максимальное кодовое значение изображения в уравнениях ниже.

Уравнение 39. Модель вывода эталонного (идеального) дисплея

Для фактического жидкокристаллического дисплея с максимальным выводом W и минимальным выводом B на полном уровне задней подсветки, т.е. P=1, вывод моделируется как масштабирование с относительным уровнем P задней подсветки. Коэффициент контрастности CR=W/B является независимым от уровня задней подсветки.

Уравнение 40. Модель фактического жидкокристаллического дисплея

Сохранение яркости

В этом примерном варианте осуществления используется процесс BP на основе простого повышения и отсечения, в котором повышение выбирается так, чтобы при возможности компенсировать уменьшение задней подсветки. Следующее извлечение показывает модификацию градационной шкалы, которая предоставляет совпадение сигнала яркости между эталонным дисплеем и фактическим дисплеем в данной задней подсветке. Как максимальный уровень вывод, так и уровень черного фактического дисплея масштабируется с задней подсветкой. Следует отметить, вывод фактического дисплея ограничен значением ниже масштабированного максимума вывода и выше масштабированного уровня черного. Это соответствует отсечению вывода градационной шкалы сопоставления яркости до 0 и CV_max.

Уравнение 41. Критерии для сопоставления выводов

Пределы отсечения для cv' подразумевают пределы отсечения в диапазоне сопоставления яркости.

Уравнение 42. Пределы отсечения

Уравнение 43. Точки отсечения

Градационная шкала предоставляет соответствие вывода для кодовых значений выше минимума и ниже максимума, где минимум и максимум зависят от относительной мощности задней подсветки P и коэффициента контрастности фактического дисплея CR=W/B.

Вычисление искажения

Различные модифицированные изображения, созданные и используемые в вариантах осуществления настоящего изобретения, могут быть описаны со ссылкой на фиг. 54. Исходное изображение I 840 может использоваться в качестве ввода при создании каждого из этих примерных модифицированных изображений. В некоторых вариантах осуществления исходное входное изображение 840 обрабатывается 842 так, чтобы давать в результате идеальный вывод, Y_Ideal 844. Процессор идеальных изображений, эталонный дисплей 842 могут допускать то, что идеальный дисплей имеет нулевой уровень черного. Этот вывод, Y_Ideal 844, может представлять исходное изображение 840 для просмотра на эталонном (идеальном) дисплее. В некоторых вариантах осуществления, при условии, что уровень задней подсветки задан, искажение, вызываемое посредством представления изображения с этим уровнем задней подсветки на фактическом жидкокристаллическом дисплее, может вычисляться.

В некоторых вариантах осуществления сохранение 846 яркости может использоваться для того, чтобы формировать изображение I' 850 из изображения I 840. Изображение I' 850 затем может отправляться в фактический жидкокристаллический процессор 854 наряду с выбранным уровнем задней подсветки. Окончательный вывод помечается как Y_actual 858.

Модель эталонного дисплея может эмулировать вывод фактического дисплея с использованием входного изображения I* 852.

Вывод фактического жидкокристаллического дисплея 854 является результатом прохождения исходного изображения I 840 через функцию 846 градационной шкалы сопоставления яркости, чтобы получать изображение I' 850. Это может неточно воспроизводить эталонный вывод в зависимости от уровня задней подсветки. Тем не менее, вывод фактического дисплея может быть эмулирован на эталонном дисплее 842. Изображение I* 852 обозначает данные изображений, отправляемые в эталонный дисплей 842, чтобы эмулировать вывод фактического дисплея, тем самым создавая Y_emulated 860. Изображение I* 852 формируется посредством отсечения изображения I 840 до диапазона, определенного посредством точек отсечения, заданных выше относительно уравнения 43 и в других местах. В некоторых вариантах осуществления I* может описываться математически как:

Уравнение 44. Отсеченное изображение

В некоторых вариантах осуществления искажение может быть задано как различие между выводом эталонного дисплея с изображением I и выводом фактического дисплея с уровнем P задней подсветки и изображением I'. Поскольку изображение I* эмулирует вывод фактического дисплея на эталонном дисплее, искажение между эталонным и фактическим дисплеем равняется искажению между изображениями I и I* на эталонном дисплее.

Уравнение 45

Поскольку оба изображения находятся на эталонном дисплее, искажение может измеряться только между данными изображений, не требующими вывода дисплея.

Уравнение 46

Измерение искажения изображения

Анализ выше показывает искажение между представлением изображения I 840 на эталонном дисплее, и представление на фактическом дисплее эквивалентно искажению между представлением изображений I 840 и I* 852 на эталонном дисплее. В некоторых вариантах осуществления поточечный показатель искажения может использоваться для того, чтобы задавать искажение между изображениями. Учитывая поточечное искажение, d, искажение между изображениями может вычисляться посредством суммирования различия между изображениями I и I*. Поскольку изображение I* эмулирует совпадение сигнала яркости, ошибка состоит из отсечения в верхних и нижних пределах. В некоторых вариантах осуществления нормированная гистограмма изображения h(x) может использоваться для того, чтобы задавать искажение изображения в зависимости от мощности задней подсветки.

Уравнение 47

Кривая задней подсветки в зависимости от искажения

С учетом эталонного дисплея, фактического дисплея, задания искажения и изображения, искажение может вычисляться в диапазоне уровней задней подсветки. Когда комбинированы, эти данные искажения могут формировать кривую задней подсветки в зависимости от искажения. Кривая задней подсветки в зависимости от искажения может быть проиллюстрирована с использованием примерного кадра, который является тусклым изображением вида из темного шкафа, и модели идеального дисплея с нулевым уровнем черного, фактической жидкокристаллической модели с коэффициентом контрастности 1000:1 и показателем ошибки по методу среднеквадратической ошибки MSE. Фиг. 55 - это график гистограммы кодовых значений изображений для этого примерного изображения.

В некоторых вариантах осуществления кривая искажения может вычисляться посредством вычисления искажения для диапазона значений задней подсветки с использованием гистограммы. Фиг. 56 - это график примерной кривой искажения, соответствующей гистограмме по фиг. 55. Для этого примерного изображения, при низких значениях задней подсветки сохранение яркости не позволяет эффективно компенсировать уменьшенную заднюю подсветку, приводя к существенному увеличению искажения 880. При высоких уровнях задней подсветки ограниченный коэффициент контрастности вызывает повышение уровня черного 882 по сравнению с идеальным дисплеем. Минимальный диапазон искажений существует, и в некоторых вариантах осуществления наименьшее значение задней подсветки, дающее это минимальное искажение 884, может выбираться посредством алгоритма минимального искажения.

Алгоритм оптимизации

В некоторых вариантах осуществления кривая искажения, такая как кривая, показанная на фиг. 56, может использоваться для того, чтобы выбирать значение задней подсветки. В некоторых вариантах осуществления может выбираться минимальная мощность искажения для каждого кадра. В некоторых вариантах осуществления, когда минимальное значение искажения не является уникальным, может выбираться наименьшая мощность 884, которая предоставляет это минимальное искажение. Результаты применения этого критерия оптимизации к краткому DVD-клипу показаны на фиг. 57, который наносит выбранную мощность задней подсветки в зависимости от числа видеокадров. В этом случае средняя выбранная задняя подсветка 890 примерно равна 50%.

Зависимость от изображений

Чтобы иллюстрировать зависимый от изображения характер некоторых вариантов осуществления настоящего изобретения, выбраны примерные тестовые изображения с варьирующимся содержимым, и искажение в этих изображениях вычислено для диапазона значений задней подсветки. Фиг. 39 - это график кривых задней подсветки в зависимости от искажения для этих примерных изображений. Фиг. 39 содержит графики для: изображения A 596, полностью черного изображения; изображения B 590, полностью белого изображения; изображения C 594, очень тусклой фотографии группы людей, и изображения D 598, яркого изображения серфингиста на волне.

Следует отметить, что форма кривой сильно зависит от содержимого изображений. Этого следует ожидать, поскольку уровень задней подсветки балансирует искажение, обусловленное потерей яркости, и искажение, обусловленное поднятым уровнем черного. Черное изображение 596 имеет наименьшее искажение при низкой задней подсветке. Белое изображение 590 имеет наименьшее искажение при полной задней подсветке. Тусклое изображение 594 имеет наименьшее искажение на промежуточном уровне задней подсветки, который использует конечный коэффициент контрастности в качестве эффективного баланса между поднятым уровнем черного и уменьшением яркости.

Коэффициент контрастности

Коэффициент контрастности дисплея может вводиться в задание фактического дисплея. Фиг. 58 иллюстрирует определение задней подсветки с искажением с минимальной MSE для различных коэффициентов контрастности фактического дисплея. Следует отметить, что при ограничении коэффициента 900 контрастности 1:1 минимальная задняя подсветка в зависимости от искажения зависит от среднего уровня сигнала изображения (ASL). В противоположном экстремальном значении бесконечного коэффициента контрастности (нулевого уровня черного) минимальная задняя подсветка в зависимости от искажения зависит от максимума 902 изображения.

В некоторых вариантах осуществления настоящего изобретения модель эталонного дисплея может содержать модель дисплея с идеальным нулевым уровнем черного. В некоторых вариантах осуществления модель эталонного дисплея может содержать эталонный дисплей, выбранный посредством модели визуальной яркости, а в некоторых вариантах осуществления модель эталонного дисплея может содержать датчик окружающего света.

В некоторых вариантах осуществления настоящего изобретения модель фактического дисплея может содержать пропускающую модель GoG с конечным уровнем черного. В некоторых вариантах осуществления модель фактического дисплея может содержать модель для прозрачно-отражательного дисплея, где вывод моделируется как зависящий как от окружающего света, так и от отражательной части дисплея.

В некоторых вариантах осуществления настоящего изобретения сохранение яркости (BP) в процессе выбора задней подсветки может содержать линейное повышение с отсечением. В других вариантах осуществления процесс выбора задней подсветки может содержать операторы градационной шкалы с плавным спадом и/или алгоритмом двухканального BP.

В некоторых вариантах осуществления настоящего изобретения показатель искажения может содержать среднеквадратическую ошибку (MSE) в кодовых значениях изображений как поточечный показатель. В некоторых вариантах осуществления показатель искажения может содержать поточечные показатели ошибки, включающие в себя сумму абсолютных различий, число отсеченных пикселов и/или показатели процентилей на основе гистограмм.

В некоторых вариантах осуществления настоящего изобретения критерии оптимизации могут содержать выбор уровня задней подсветки, который минимизирует искажение в каждом кадре. В некоторых вариантах осуществления критерии оптимизации могут содержать средние ограничения мощности, которые минимизируют максимальное искажение, или это минимизирует среднее искажение.

Варианты осуществления динамической контрастности жидкокристаллических дисплеев

Жидкокристаллические дисплеи (жидкокристаллические дисплеи) типично имеют недостаток в виде ограниченного коэффициента контрастности. Например, уровень черного дисплея может быть поднят вследствие утечки задней подсветки или других проблем. Это может приводить к тому, что черные области выглядят серыми, а не черными. Модуляция задней подсветки может уменьшать эту проблему посредством понижения уровня задней подсветки и ассоциированной утечки, тем самым также уменьшая уровень черного. Тем не менее, при использовании без компенсации эта технология имеет нежелательный эффект уменьшения яркости дисплея. Компенсация изображений может использоваться для того, чтобы восстанавливать яркость дисплея, потерянную вследствие приглушения задней подсветки. Компенсация типично ограничена восстановлением яркости дисплея при полной мощности.

Некоторые варианты осуществления настоящего изобретения, описанные выше, содержат модуляцию задней подсветки, которая ориентирована на экономию энергии. В этих вариантах осуществления цель состоит в том, чтобы воспроизводить вывод на полной мощности при более низких уровнях задней подсветки. Это может достигаться посредством одновременного приглушения задней подсветки и выделения яркостью изображения. Повышение уровня черного или динамической контрастности является предпочтительным побочным эффектом в этих вариантах осуществления. В этих вариантах осуществления цель состоит в том, чтобы достигать повышения качества изображения. Некоторые варианты осуществления могут приводить к следующим повышениям качества изображения:

1. Более низкий уровень черного вследствие сниженной задней подсветки.

2. Улучшенная насыщенность темных цветов вследствие уменьшенной утечки, вызываемой посредством уменьшения задней подсветки.

3. Улучшение яркости, если используется компенсация, более сильная, чем уменьшение задней подсветки.

4. Улучшенная динамическая контрастность, т.е. максимум в ярком кадре последовательности, деленный на минимум в темном кадре.

5. Внутрикадровая контрастность в темных кадрах.

Некоторые варианты осуществления настоящего изобретения могут достигать одного или более из этих преимуществ через две основные технологии: выбор задней подсветки и компенсация изображений. Одна сложная задача заключается в том, чтобы не допускать артефактов нежелательного мерцания в видео, поскольку как задняя подсветка, так и компенсированное изображение варьируются по яркости. Некоторые варианты осуществления настоящего изобретения могут использовать целевую градационную кривую, чтобы уменьшать возможность нежелательного мерцания. В некоторых вариантах осуществления целевая кривая может иметь коэффициент контрастности, который превышает коэффициент контрастности панели (с фиксированной задней подсветкой). Целевая кривая может удовлетворять двум целям. Во-первых, целевая кривая может использоваться при выборе задней подсветки. Во-вторых, целевая кривая может использоваться для того, чтобы определять компенсацию изображений. Целевая кривая влияет на упомянутые выше аспекты качества изображения. Целевая кривая может идти от пикового значения дисплея при полной яркости задней подсветки до минимального значения дисплея при наименьшей яркости задней подсветки. Соответственно, целевая кривая должна идти ниже диапазона типичных значений дисплея, достигаемых при полной яркости задней подсветки.

В некоторых вариантах осуществления выбор сигнала яркости задней подсветки или уровня яркости может соответствовать выбору интервала целевой кривой, соответствующей собственному коэффициенту контрастности панели. Этот интервал перемещается по мере того, как задняя подсветка варьируется. При полной задней подсветке темная область целевой кривой не может представляться на панели. При низкой задней подсветке яркая область целевой кривой не может представляться на панели. В некоторых вариантах осуществления, чтобы определять заднюю подсветку, предоставляются градационная кривая панели, целевая градационная кривая и изображение, чтобы отображаться. Уровень задней подсветки может выбираться так, чтобы диапазон контрастности панели с выбранной задней подсветкой ближе всего совпадал с диапазоном значений изображения под целевой градационной кривой.

В некоторых вариантах осуществления изображение может модифицироваться или компенсироваться так, чтобы вывод дисплея падал на целевую кривую в максимально возможной степени. Если задняя подсветка является слишком высокой, темная область целевой кривой не может быть достигнута. Аналогично, если задняя подсветка имеет низкое значение, яркая область целевой кривой не может достигаться. В некоторых вариантах осуществления нежелательное мерцание может быть минимизировано с использованием фиксированной цели компенсации. В этих вариантах осуществления как яркость задней подсветки, так и компенсация изображений варьируются, но вывод дисплея аппроксимирует целевую градационную кривую, которая является фиксированной.

В некоторых вариантах осуществления целевая градационная кривая может суммировать одно или более из упомянутых выше улучшений качества изображения. Как выбор задней подсветки, так и компенсация изображений могут управляться через целевую градационную кривую. Выбор яркости задней подсветки может выполняться, чтобы "оптимально" представлять изображение. В некоторых вариантах осуществления алгоритм выбора задней подсветки на основе искажения, описанный выше, может применяться с указанной целевой градационной кривой и градационной кривой панели.

В некоторых примерных вариантах осуществления модель усиление-смещение-гамма с эффектом "блик" (GOG-F) может использоваться для градационных кривых, как показано в уравнении 49. В некоторых вариантах осуществления значение в 2,2 может использоваться для гаммы, и нуль может использоваться для смещения, оставляя два параметра, усиление и эффект "блик". Как градационная кривая панели, так и целевая градационная кривая могут указываться с помощью этих двух параметров. В некоторых вариантах осуществления усиление определяет максимальную яркость, а коэффициент контрастности определяет аддитивный член эффекта "блик".

Уравнение 48. Модель градационной кривой

где CR - это коэффициент контрастности дисплея, M - это максимальный вывод панели, c - это кодовое значение изображения, T - это значение градационной кривой,

- это значение гамма.

Чтобы достигать динамического контрастного улучшения, целевая градационная кривая отличается от градационной кривой панели. В простейшем варианте применения коэффициент контрастности, CR, цели превышает коэффициент контрастности панели. Примерные градационные кривые панели представляются в уравнении 49:

Уравнение 49. Примерная градационная кривая панели

где CR - это коэффициент контрастности панели, M - это максимальный вывод панели, c - это кодовое значение изображения, T - это значение градационной кривой панели,

- это значение гамма.

Примерная целевая градационная кривая представляется в уравнении 50:

Уравнение 50. Примерная целевая градационная кривая

где CR - это коэффициент контрастности цели, M - это максимальный целевой вывод (к примеру, максимальный вывод панели при полной яркости задней подсветки), c - это кодовое значение изображения, T - это значение целевой градационной кривой,

- это значение гамма.

Аспекты некоторых примерных градационных кривых могут быть описаны относительно фиг. 60. Фиг. 59 - это график в двойном логарифмическом масштабе кодовых значений на горизонтальной оси и относительного сигнала яркости на вертикальной оси. Три градационные кривые показаны: градационная кривая 1000 панели, целевая градационная кривая 1001 и кривая 1002 закона мощности. Градационная кривая 1000 панели идет от черной точки 1003 на панели к максимальному значению для панели 105. Целевая градационная кривая идет от целевой черной точки 1004 к максимальному целевому значению/значению для панели 1005. Целевая черная точка 1004 находится ниже, чем черная точка 1003 на панели, поскольку она извлекает выгоду из более низкой яркости задней подсветки, тем не менее, полный диапазон целевой градационной кривой не может быть использован для одного изображения, поскольку задняя подсветка может иметь только один уровень яркости для любого данного кадра, следовательно, максимальное целевое значение/значение для панели 1005 не может достигаться, когда яркость задней подсветки уменьшается, чтобы получать более низкую целевую черную точку 1004. Варианты осуществления настоящего изобретения выбирают диапазон целевой градационной кривой, которая более всего соответствует отображаемому изображению и требуемой цели относительно рабочих характеристик.

Различные целевые градационные кривые могут быть сформированы, чтобы достигать различных приоритетов. Например, если экономия энергии - это основная цель, значения M и CR для целевой кривой могут задаваться равными соответствующим значениям на градационной кривой панели. В этом варианте осуществления для экономии энергии целевая градационная кривая равна собственной градационной кривой панели. Модуляция задней подсветки используется для того, чтобы экономить электроэнергию, при этом отображаемое изображение является фактически идентичным изображению на дисплее с полной мощностью, за исключением верхнего края диапазона, который недоступен при более низких настройках задней подсветки.

Примерная градационная кривая для экономии энергии проиллюстрирована на фиг. 60. В этих вариантах осуществления градационная кривая панели и целевая градационная кривая являются идентичными 1010. Яркость задней подсветки уменьшается, тем самым обеспечивая возможность более низкой допустимой целевой кривой 1011, тем не менее, данный потенциал не используется в этих вариантах осуществления. Вместо этого изображение выделяется яркостью, через компенсацию кодовых значений изображений, так чтобы совпадать с градационной кривой 1010 панели. Когда это невозможно, при ограничении панели вследствие уменьшенной задней подсветки для экономии энергии 1013, компенсация может быть округлена 1012, чтобы не допускать артефактов отсечения. Это округление может достигаться согласно способам, описанным выше относительно других вариантов осуществления. В некоторых вариантах осуществления отсечение может быть разрешено или может не возникать вследствие ограниченного динамического диапазона в изображении. В этих случаях округление 1012 может не требоваться, и целевая градационная кривая может просто следовать градационной кривой панели на верхнем краю диапазона 1014.

В другом примерном варианте осуществления, когда более низкий уровень черного является основной целью, значение M для целевой кривой может быть задано равным соответствующему значению на градационной кривой панели, но значение CR для целевой кривой может быть задано как в 4 раза превышающее соответствующее значение на градационной кривой панели. В этих вариантах осуществления целевая градационная кривая выбирается, чтобы понижать уровень черного. Яркость дисплея является неизменяемой относительно дисплея при полной мощности. Целевая градационная кривая имеет максимум M, идентичный панели, но имеет более высокий коэффициент контрастности. В примере выше коэффициент контрастности в 4 раза превышает собственный коэффициент контрастности панели. Альтернативно, целевая градационная кривая может содержать кривую округления на верхнем краю своего диапазона. По-видимому, задняя подсветка может модулироваться посредством коэффициента 4:1.

Некоторые варианты осуществления, которые присваивают приоритеты уменьшению уровня черного, могут быть описаны относительно фиг. 61. В этих вариантах осуществления градационная кривая 1020 панели вычисляется так, как описано выше, например, с использованием уравнения 49. Целевая градационная кривая 1021 также вычисляется для уменьшенного уровня яркости задней подсветки и более высокого коэффициента контрастности. В верхнем конце диапазона целевая градационная кривая 1024 может идти вдоль градационной кривой панели. Альтернативно, целевая градационная кривая может использовать кривую 1023 округления, которая может уменьшать отсечение около ограничения 1022 дисплея для уменьшенного уровня задней подсветки.

В другом примерном варианте осуществления, когда более яркое изображение является основной целью, значение M для целевой кривой может быть задано как в 1,2 превышающее соответствующее значение на градационной кривой панели, но значение CR для целевой кривой может быть задано равным соответствующему значению на градационной кривой панели. Целевая градационная кривая выбирается так, чтобы увеличивать яркость, сохраняя неизменный коэффициент контрастности. (Отметим, что уровень черного поднимается.) Целевой максимум M превышает максимум панели. Компенсация изображений должна использоваться для того, чтобы выделять яркостью изображение, чтобы достигать этого выделения яркостью.

Некоторые варианты осуществления, которые присваивают приоритеты яркости изображения, могут быть описаны относительно фиг. 62. В этих вариантах осуществления градационная кривая панели и целевая градационная кривая практически аналогичны около нижнего конца диапазона 1030. Тем не менее, выше этой области градационная кривая 1032 панели следует типичному пути к максимальному выводу дисплея 1033. Целевая градационная кривая, тем не менее, следует приподнятому пути 1031, который предусматривает более яркие кодовые значения изображений в этой области. В направлении к верхнему концу диапазона целевая кривая 1031 может содержать кривую 1035 округления, которая округляет целевую кривую до точки 1033, в которой дисплей более не может следовать целевой кривой вследствие уменьшенного уровня задней подсветки.

В другом примерном варианте осуществления, когда улучшенное изображение с более низким уровнем черного и более ярким средним диапазоном является основной целью, значение M для целевой кривой может быть задано как в 1,2 раза превышающее соответствующее значение на градационной кривой панели, а значение CR для целевой кривой может быть задано как в 4 раза превышающее соответствующее значение на градационной кривой панели. Целевая градационная кривая выбирается, чтобы как увеличивать яркость, так и уменьшать уровень черного. Целевой максимум превышает максимум M панели, и коэффициент контрастности также превышает коэффициент контрастности панели. Эта целевая градационная кривая может влиять как на выбор задней подсветки, так и на компенсацию изображений. Задняя подсветка должна уменьшаться в темных кадрах, чтобы достигать уменьшенного уровня черного цели. Компенсация изображений может использоваться даже при полной задней подсветке, чтобы достигать увеличенной яркости.

Некоторые варианты осуществления, которые присваивают приоритеты яркости изображения и более низкому уровню черного, могут быть описаны относительно фиг. 63. В этих вариантах осуществления градационная кривая 1040 панели вычисляется так, как описано выше, например, с использованием уравнения 49. Целевая градационная кривая 1041 также вычисляется, тем не менее, целевая градационная кривая 1041 может начинаться в более низкой черной точке 1045, чтобы учитывать сниженный уровень задней подсветки. Целевая градационная кривая 1041 также может следовать приподнятому пути, чтобы выделять яркостью кодовые значения изображений в среднем диапазоне и верхнем диапазоне градационной шкалы. Поскольку дисплей, с уменьшенным уровнем задней подсветки, не может достигать максимального целевого значения 1042 или даже максимального значения для панели 1043, кривая округления 1044 может использоваться. Кривая округления 1044 может завершать целевую градационную кривую 1041 при максимальном значении 1046 для панели с уменьшенной задней подсветкой. Различные способы, описанные относительно других вышеприведенных вариантов осуществления, могут использоваться для того, чтобы определять характеристики кривой округления.

Некоторые варианты осуществления настоящего изобретения могут быть описаны относительно фиг. 64. В этих вариантах осуществления может вычисляться множество целевых градационных кривых, и выбор может выполняться из набора расчетных кривых на основе характеристик изображений, целей относительно рабочих характеристик или некоторого другого критерия. В этих вариантах осуществления градационная кривая 1127 панели может быть сформирована для случая полной яркости с поднятым уровнем черного 1120. Целевые градационные кривые 1128 и 1129 также могут быть сформированы. Эти целевые градационные кривые 1128 и 1129 содержат область перехода 1122 уровня черного, в которой кривая переходит к точке уровня черного, такой как точка 1121 уровня черного. Эти кривые также содержат общую область, в которой точки ввода из любой из целевых градационных кривых преобразуются в идентичные точки вывода. В некотором варианте осуществления эти целевые градационные кривые также могут содержать кривую 1126 округления яркости, при этом кривая округляется до максимального уровня 1125 яркости, к примеру, как описано выше для других вариантов осуществления. Кривая может выбираться из этого набора целевых градационных кривых на основе характеристик изображений. Например, а не в качестве ограничения, изображение с множеством очень темных пикселов может извлекать выгоду из более низкого уровня черного, и кривая 1128, с потускневшей задней подсветкой и более низким уровнем черного, может выбираться для этого изображения. Изображение со множеством ярких пикселных значений может влиять на выбор кривой 1127 с более высокой максимальной яркостью 1124. Каждый кадр видеопоследовательности может влиять на выбор различной целевой градационной кривой. Если управление отсутствует, применение различных градационных кривых может вызывать нежелательное мерцание и нежелательные артефакты в последовательности. Тем не менее, общая область 1123, совместно используемая посредством всех целевых градационных кривых этих вариантов осуществления, служит для того, чтобы стабилизировать временные эффекты и уменьшать нежелательное мерцание и аналогичные артефакты.

Некоторые варианты осуществления настоящего изобретения могут быть описаны относительно фиг. 65. В этих вариантах осуществления может быть сформирован набор целевых градационных кривых, к примеру целевая градационная кривая 1105. Эти целевые градационные кривые могут содержать различные области 1102 перехода уровня черного, которые могут соответствовать различным уровням яркости задней подсветки. Этот набор целевых градационных кривых также содержит улучшенную общую область 1101, в которой все кривые в наборе совместно используют одно сопоставление. В некоторых вариантах осуществления эти кривые также могут содержать кривые 1103 округления яркости, которые переходят от общей области к максимальному уровню яркости. В примерной улучшенной целевой градационной кривой 1109 кривая может начинаться в точке 1105 уровня черного и переходить к улучшенной общей области 1101, кривая затем может переходить от улучшенной общей области к максимальному уровню 1106 яркости с помощью кривой округления. В некоторых вариантах осуществления может отсутствовать кривая округления яркости. Эти варианты осуществления отличаются от описанных со ссылкой на фиг. 65 в том, что общая область находится выше градационной кривой панели. Это преобразует входные пикселные значения к более высоким выходным значениям, тем самым выделяя яркостью отображаемое изображение. В некоторых вариантах осуществления набор улучшенной целевой градационной кривой может быть сформирован и избирательно использован для кадров последовательности изображений. Эти варианты осуществления совместно используют общую область, которая служит для того, чтобы уменьшать нежелательное мерцание и аналогичные артефакты. В некоторых вариантах осуществления набор целевых градационных кривых и набор улучшенных целевых градационных кривых может вычисляться и сохраняться для избирательного использования в зависимости от характеристик изображений и/или целей относительно рабочих характеристик.

Некоторые варианты осуществления настоящего изобретения могут быть описаны относительно фиг. 66. В способах по фиг. 66 определяются 1050 параметры целевой градационной кривой. В некоторых вариантах осуществления эти параметры могут содержать максимальный целевой вывод панели, целевой коэффициент контрастности и/или целевое значение гамма панели. Другие параметры также могут использоваться для того, чтобы задавать целевую градационную кривую, которая может использоваться для того, чтобы регулировать или компенсировать изображение, чтобы формировать цель относительно рабочих характеристик.

В этих вариантах осуществления градационная кривая 1051 панели также может вычисляться. Градационная кривая панели показана, чтобы иллюстрировать различия между типичным выводом панели и целевой градационной кривой. Градационная кривая 1051 панели связывает характеристики дисплейной панели, которая должна использоваться для отображения, и может использоваться для того, чтобы создавать опорное изображение, из которого могут быть выполнены измерения ошибок или искажений. Эта кривая 1051 может вычисляться на основе максимального вывода панели, M, и коэффициента контрастности панели, CR, для данного дисплея. В некоторых вариантах осуществления эта кривая может быть основана на максимальном выводе панели, M, коэффициенте контрастности панели, CR, значении гамма панели,

, и кодовых значениях изображений, c.

Одна или более целевых градационных кривых (TTC) могут вычисляться 1052. В некоторых вариантах осуществления семейство TTC может вычисляться, где каждый член семейства основывается на различном уровне задней подсветки. В других вариантах осуществления другие параметры могут варьироваться. В некоторых вариантах осуществления целевая градационная кривая может вычисляться с использованием максимального целевого вывода, M, и целевого коэффициента контрастности, CR. В некоторых вариантах осуществления эта целевая градационная кривая может быть основана на максимальном целевом выводе, M, целевом коэффициенте контрастности, CR, значении гаммы дисплея,

, и кодовых значениях изображений, c. В некоторых вариантах осуществления целевая градационная кривая может представлять требуемые модификации изображения. Например, целевая градационная кривая может представлять одно или более из более низкого уровня черного, более яркой области изображения, компенсированной области и/или кривой округления. Целевая градационная кривая может представляться как таблица поиска (LUT), может вычисляться через аппаратные средства или программное обеспечение или может представляться другим средством.

Уровень яркости задней подсветки может быть определен 105. В некоторых вариантах осуществления на выбор уровня задней подсветки могут оказывать влияние цели относительно рабочих характеристик, такие как экономия энергии, критерии уровня черного или другие цели. В некоторых вариантах осуществления уровень задней подсветки может быть определен так, чтобы минимизировать искажение или ошибку между обработанным или улучшенным изображением и исходным изображением, как отображается на гипотетическом эталонном дисплее. Когда значения изображения преимущественно являются очень темными, более низкий уровень задней подсветки может в наибольшей степени соответствовать отображению изображений. Когда значения изображения преимущественно являются яркими, более высокий уровень задней подсветки может быть лучшим выбором для отображения изображений. В некоторых вариантах осуществления изображение, обрабатываемое с помощью градационной кривой панели, может сравниваться с изображениями, обрабатываемыми с помощью других TTC, чтобы определять соответствующую TTC и соответствующий уровень задней подсветки.

В некоторых вариантах осуществления настоящего изобретения конкретные цели относительно рабочих характеристик также могут рассматриваться в способах выбора задней подсветки и выбора компенсации изображений. Например, когда экономия энергии идентифицирована как цель относительно рабочих характеристик, более низкие уровни задней подсветки могут иметь приоритет над оптимизацией характеристики изображения. Наоборот, когда яркость изображения является целью относительно рабочих характеристик, более низкие уровни задней подсветки могут иметь меньший приоритет.

Уровень задней подсветки может выбираться 1053 так, чтобы минимизировать ошибку или искажение изображения относительно целевой градационной кривой, гипотетического эталонного дисплея или некоторого другого стандарта. В некоторых вариантах осуществления способы, раскрытые в заявке на патент (США) 11/460768, озаглавленной "Methods and Systems for Distortion-Related Source Light Management", поданной 28 июля 2006 года, которая включена в данный документ по ссылке, могут использоваться для того, чтобы выбирать уровни задней подсветки и способы компенсации.

После вычисления целевой градационной кривой изображение может регулироваться или компенсироваться 1054 с помощью целевой градационной кривой, чтобы достигать целей относительно рабочих характеристик или компенсировать сниженный уровень задней подсветки. Это регулирование или компенсация могут выполняться в отношении целевой градационной кривой.

После выбора задней подсветки 1053 и компенсации или регулирования 1054 отрегулированное или компенсированное изображение может отображаться с выбранным уровнем 1055 задней подсветки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 67. В этих вариантах осуществления устанавливается 1060 цель повышения качества изображения или обработки. Эта цель может содержать экономию энергии, более низкий уровень черного, выделение яркостью изображения, регулирование градационной шкалы или другие цели обработки или улучшения. На основе цели обработки или улучшения параметры целевой градационной кривой могут выбираться 1061. В некоторых вариантах осуществления выбор параметров может быть автоматизирован и основан на целях обработки или улучшения. В некоторых примерных вариантах осуществления эти параметры могут содержать максимальный целевой вывод, M, и целевой коэффициент контрастности, CR. В некоторых примерных вариантах осуществления эти параметры могут содержать максимальный целевой вывод, M, целевой коэффициент контрастности, CR, значение гаммы дисплея,

, и кодовые значения изображений, c.

Целевая градационная кривая (TTC) может вычисляться 1062 на основе выбранных параметров целевой градационной кривой. В некоторых вариантах осуществления набор TTC может вычисляться. В некоторых вариантах осуществления набор может содержать кривые, соответствующие варьирующимся уровням задней подсветки, но с общими параметрами TTC. В других вариантах осуществления другие параметры могут варьироваться.

Уровень яркости задней подсветки может выбираться 1063. В некоторых вариантах осуществления уровень задней подсветки может выбираться со ссылкой на характеристики изображений. В некоторых вариантах осуществления уровень задней подсветки может выбираться на основе цели относительно рабочих характеристик. В некоторых вариантах осуществления уровень задней подсветки может выбираться на основе целей относительно рабочих характеристик и характеристик изображений. В некоторых вариантах осуществления уровень задней подсветки может выбираться посредством выбора TTC, которая совпадает с целью относительно рабочих характеристик или критерием ошибки, и с помощью уровня задней подсветки, который соответствует этой TTC.

Как только уровень задней подсветки выбран 1063, целевая градационная кривая, соответствующая этому уровню, выбирается посредством ассоциирования. Изображение теперь может регулироваться, улучшаться или компенсироваться 1064 с помощью целевой градационной кривой. Отрегулированное изображение затем может отображаться 1065 на дисплее с использованием выбранного уровня задней подсветки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 68. В этих вариантах осуществления идентифицируются 1070 цели относительно рабочих характеристик отображения изображений. Это может выполняться через пользовательский интерфейс, посредством которого пользователь выбирает цели относительно рабочих характеристик напрямую. Это также может выполняться через пользовательский запрос, посредством которого пользователь идентифицирует приоритеты, из которых формируются цели относительно рабочих характеристик. Цель относительно рабочих характеристик также может быть идентифицирована автоматически на основе анализа изображений, характеристик дисплейного устройства, предыстории использования устройства или другой информации.

На основе цели относительно рабочих характеристик параметры целевой градационной кривой могут автоматически выбираться или формироваться 1071. В некоторых примерных вариантах осуществления эти параметры могут содержать максимальный целевой вывод, M, и целевой коэффициент контрастности, CR. В некоторых примерных вариантах осуществления эти параметры могут содержать максимальный целевой вывод, M, целевой коэффициент контрастности, CR, значение гаммы дисплея,

, и кодовые значения изображений, c.

Одна или более целевых градационных кривых могут быть сформированы 1072 из параметров целевой градационной кривой. Целевая градационная кривая может представляться как уравнение, последовательность уравнений, таблица (к примеру, LUT) или некоторое другое представление.

В некоторых вариантах осуществления каждая TTC должна соответствовать уровню задней подсветки. Уровень задней подсветки может выбираться 1073 посредством обнаружения соответствующей TTC, которая удовлетворяет критерию. В некоторых вариантах осуществления выбор задней подсветки может выполняться посредством других способов. Если задняя подсветка выбирается независимо от TTC, также может выбираться TTC, соответствующая этому уровню задней подсветки.

Как только конечная TTC выбрана 1073, она может применяться 1074 к изображению, чтобы улучшать, компенсировать или иным образом обрабатывать изображение для отображения. Обработанное изображение затем может отображаться 1075.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 69. В этих вариантах осуществления идентифицируются 1080 цели относительно рабочих характеристик отображения изображений. Это может выполняться через пользовательский интерфейс, посредством которого пользователь выбирает цели относительно рабочих характеристик напрямую. Это также может выполняться через пользовательский запрос, посредством которого пользователь идентифицирует приоритеты, из которых формируются цели относительно рабочих характеристик. Цель относительно рабочих характеристик также может быть идентифицирована автоматически на основе анализа изображений, характеристик дисплейного устройства, предыстории использования устройства или другой информации. Анализ изображений также может выполняться 1081, для того чтобы идентифицировать характеристики изображений.

На основе цели относительно рабочих характеристик могут автоматически выбираться или формироваться 1082 параметры целевой градационной кривой. Уровень задней подсветки, который может быть непосредственно идентифицирован или может подразумеваться через максимальное значение вывода дисплея и коэффициент контрастности, также может выбираться. В некоторых примерных вариантах осуществления эти параметры могут содержать максимальный целевой вывод, M, и целевой коэффициент контрастности, CR. В некоторых примерных вариантах осуществления эти параметры могут содержать максимальный целевой вывод, M, целевой коэффициент контрастности, CR, значение гаммы дисплея,

, и кодовые значения изображений, c.

Целевая градационная кривая может быть сформирована 1083 из параметров целевой градационной кривой. Целевая градационная кривая может представляться как уравнение, последовательность уравнений, таблица (к примеру, LUT) или некоторое другое представление. Как только эта кривая сформирована 1083, она может применяться 1084 к изображению, чтобы улучшать, компенсировать или иным образом обрабатывать изображение для отображения. Обработанное изображение затем может отображаться 1085.

Улучшение цветов и повышение яркости

Некоторые варианты осуществления настоящего изобретения содержат улучшение цветов и повышение или сохранение яркости. В этих вариантах осуществления конкретные значения, диапазоны или области цветов могут модифицироваться так, чтобы улучшать цветовые аспекты наряду с повышением или сохранением яркости. В некоторых вариантах осуществления эти модификации или улучшения могут выполняться для версии изображения в области нижних частот (LP). В некоторых вариантах осуществления конкретные процессы улучшения цветов могут использоваться.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 70. В этих вариантах осуществления изображение 1130 может быть фильтровано 1131 с помощью фильтра нижних частот (LP), чтобы формировать LP-изображение 1125. Это LP-изображение 1125 может вычитаться 1134 или иным образом комбинироваться с исходным изображением 1130, чтобы формировать изображение 1135 в области верхних частот (HP). LP-изображение затем может обрабатываться с помощью процесса 1133 обработки градационной шкалы, такого как процесс сохранения яркости (BP) или аналогичный процесс для выделения яркостью признаков изображения, компенсации уменьшенного уровня задней подсветки или иной модификации LP-изображения 1125, как описано выше относительно других вариантов осуществления. Результирующее обработанное LP-изображение затем может быть комбинировано с HP-изображением 1135, чтобы формировать улучшенное изображение градационной шкалы, которое затем может обрабатываться с помощью процесса 1139 расширения битовой глубины (BDE). В BDE-процессе 1139 специально разработанные шаблоны шумов или шаблоны сглаживания переходов могут применяться к изображению, чтобы понижать чувствительность к артефактам контурности от последующей обработки, которые уменьшают битовую глубину изображения. Некоторые варианты осуществления могут содержать BDE-процесс, как описано в заявке на патент (США) номер 10/775012, озаглавленной "Methods and Systems for Adaptive Dither Structures", поданной 9 февраля 2004 года, авторов Scott J. Daly и Xiao-Fan Feng, причем упомянутая заявка тем самым включена в данный документ по ссылке. Некоторые варианты осуществления могут содержать BDE-процесс, как описано в заявке на патент (США) номер 10/645952, озаглавленной "Systems and Methods for Dither Structure Creation and Application", поданной 22 августа 2003 года, авторов Xiao-Fan Feng и Scott J. Daly, причем упомянутая заявка содержится в данном документе по ссылке. Некоторые варианты осуществления могут содержать BDE-процесс, как описано в заявке на патент (США) номер 10/676891, озаглавленной "Systems and Methods for Multi-Dimensional Dither Structure Creation and Application", поданной 30 сентября 2003 года, авторов Xiao-Fan Feng и Scott J. Daly, причем упомянутая заявка содержится в данном документе по ссылке. Результирующее улучшенное по BDE изображение 1129 затем может отображаться или дополнительно обрабатываться. Улучшенное по BDE изображение 1129 с меньшей вероятностью демонстрирует артефакты контурности, когда его битовая глубина уменьшается, как пояснено в заявках, которые включены по ссылке выше.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 71. В этих вариантах осуществления изображение 1130 может фильтроваться в нижних частотах (LP) 1131, чтобы создавать LP-версию изображения. Эта LP-версия может отправляться в модуль 1132 улучшения цветов для обработки. Модуль 1132 улучшения цветов может содержать функции обнаружения цветов, функции детализации карты цветов, функции обработки цветовой области и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения цветов может содержать функции обнаружения телесных цветов, функции детализации карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1132 улучшения цветов могут приводить к модифицированным значениям цвета для элементов изображения, таким как значения интенсивности пикселов.

После модификации цвета LP-изображение с модифицированным цветом может отправляться в модуль 1133 сохранения яркости или повышения яркости. Этот модуль 1133 аналогичен во многих вариантах осуществления, описанных выше, в которых значения изображения регулируются или модифицируются с помощью кривой градационной шкалы или аналогичным способом, чтобы повышать характеристики яркости. В некоторых вариантах осуществления кривая градационной шкалы может быть связана с уровнем задней подсветки или исходного света. В некоторых вариантах осуществления кривая градационной шкалы может компенсировать сниженный уровень задней подсветки. В некоторых вариантах осуществления кривая градационной шкалы может выделять яркостью изображение или иным образом модифицировать изображение независимо от уровня задней подсветки.

Изображение повышенной яркости с улучшенным цветом затем может быть комбинировано с версией верхних частот (HP) изображения. В некоторых вариантах осуществления HP-версия изображения может быть создана посредством вычитания 1134 LP-версии из исходного изображения 1130, давая в результате HP-версию изображения 1135. Комбинация 1137 изображения повышенной яркости с улучшенным цветом и HP-версии изображения 1135 формирует улучшенное изображение 1138.

Некоторые варианты осуществления настоящего изобретения могут содержать зависимый от изображения выбор задней подсветки и/или отдельный процесс усиления для HP-изображения. Эти два дополнительных элемента являются независимыми, разделимыми элементами, но описываются относительно варианта осуществления содержащего оба элемента, как проиллюстрировано на фиг. 72. В этом примерном варианте осуществления изображение 1130 может вводиться в модуль 1131 фильтра, где LP-изображение 1145 может быть сформировано. LP-изображение 1145 затем может вычитаться из исходного изображения 1130, чтобы формировать HP-изображение 1135. LP-изображение 1145 также может отправляться в модуль 1132 улучшения цветов. В некоторых вариантах осуществления исходное изображение 1130 также может отправляться в модуль 1140 выбора задней подсветки для использования при определении уровня яркости задней подсветки.

Модуль 1132 улучшения цветов может содержать функции обнаружения цветов, функции детализации карты цветов, функции обработки цветовой области и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения цветов может содержать функции обнаружения телесных цветов, функции детализации карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1132 улучшения цветов могут приводить к модифицированным значениям цвета для элементов изображения, таким как значения интенсивности пикселов.

Модуль 1141 градационной шкалы для сохранения яркости (BP) или повышения яркости может принимать LP-изображение 1145 для обработки с помощью операции градационной шкалы. Операция градационной шкалы может зависеть от информации о выборе задней подсветки, принятой из модуля 1140 выбора задней подсветки. Когда сохранение яркости достигается с операцией градационной шкалы, информация о выборе задней подсветки является полезной при определении кривой градационной шкалы. Когда только повышение яркости выполняется без компенсации задней подсветки, информация о выборе задней подсветки может не требоваться.

HP-изображение 1135 также может обрабатываться в модуле 1136 HP-усиления с использованием способов, описанных выше для аналогичных вариантов осуществления. Обработка усиления в модуле HP-усиления должна приводить к модифицированному HP-изображению 1147. Модифицированное LP-изображение 1146, возникающее в результате обработки градационной шкалы в модуле 1141 градационной шкалы, затем может быть комбинировано 1142 с модифицированным HP-изображением 1147, чтобы формировать улучшенное изображение 1143.

Улучшенное изображение 1143 может отображаться на дисплее с использованием модуляции задней подсветки с задней подсветкой 1144, которая приняла данные выбора задней подсветки из модуля 1140 выбора задней подсветки. Соответственно изображение может отображаться с уменьшенной или иным образом модулированной настройкой задней подсветки, но с модифицированными значениями изображения, которые компенсируют модуляцию задней подсветки. Аналогично, изображение с повышенной яркостью, содержащее обработку градационной шкалы LP и обработку HP-усиления, может отображаться при полной яркости задней подсветки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 73. В этих вариантах осуществления исходное изображение 1130 вводится в модуль 1150 фильтра, который может формировать LP-изображение 1155. В некоторых вариантах осуществления модуль фильтра также может формировать гистограмму 1151. LP-изображение 1155 может отправляться в модуль 1156 улучшения цветов, а также в процесс 1157 вычитания, где LP-изображение 1155 должно вычитаться из исходного изображения 1130, чтобы формировать HP-изображение 1158. В некоторых вариантах осуществления HP-изображение 1158 также может подвергаться процессу 1159 удаления элементов, в котором некоторые высокочастотные элементы удаляются из HP-изображения 1158. Этот процесс удаления элементов должен приводить к очищенному HP-изображению 1160, которое затем может обрабатываться 1161 с помощью карты 1162 усилений, чтобы достигать сохранения, повышения яркости, или других процессов, как описано выше для других вариантов осуществления. Процесс 1161 сопоставления усиления должен приводить к преобразованному по усилению HP-изображению 1168.

LP-изображение 1155, отправляемое в модуль 1156 улучшения цветов, может обрабатываться в нем с помощью функций обнаружения цветов, функций детализации карты цветов, функций обработки цветовой области и других функций. В некоторых вариантах осуществления модуль 1156 улучшения цветов может содержать функции обнаружения телесных цветов, функции детализации карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1156 улучшения цветов могут приводить к модифицированным значениям цвета для элементов изображения, таким как значения интенсивности пиксела, которые могут записываться как LP-изображение 1169 с улучшенным цветом.

LP-изображение 1169 с улучшенным цветом затем может обрабатываться в модуле 1163 градационной шкалы BP или градационной шкалы улучшения. Модуль 1163 градационной шкалы для сохранения яркости (BP) или повышения яркости может принимать LP-изображение 1169 с улучшенным цветом для обработки с помощью операции градационной шкалы. Операция градационной шкалы может зависеть от информации о выборе задней подсветки, принятой из модуля 1154 выбора задней подсветки. Когда сохранение яркости достигается с операцией градационной шкалы, информация о выборе задней подсветки является полезной при определении кривой градационной шкалы. Когда только повышение яркости выполняется без компенсации задней подсветки, информация о выборе задней подсветки может не требоваться. Операция градационной шкалы, выполняемая в рамках модуля 1163 градационной шкалы, может зависеть от характеристик изображений, целей относительно рабочих характеристик варианта применения и других параметров независимо от информации о задней подсветке.

В некоторых вариантах осуществления гистограмма 1151 изображения может быть задержана 1152, чтобы предоставлять время для модулей улучшения цветов 1156 и градационной шкалы 1163 для выполнения их функций. В этих вариантах осуществления задержанная гистограмма 1153 может использоваться для того, чтобы влиять на выбор задней подсветки 1154. В некоторых вариантах осуществления гистограмма из предыдущего кадра может использоваться для того, чтобы влиять на выбор задней подсветки 1154. В некоторых вариантах осуществления гистограмма из двух кадров назад от текущего кадра может использоваться для того, чтобы влиять на выбор задней подсветки 1154. После того как выбор задней подсветки выполнен, данные выбора задней подсветки могут использоваться посредством модуля 1163 градационной шкалы.

Когда LP-изображение 1169 с улучшенным цветом обработано через модуль 1163 градационной шкалы, результирующее LP-изображение 1176 повышенной яркости с улучшенным цветом может быть комбинировано 1164 с преобразованным по усилению HP-изображением 1168. В некоторых вариантах осуществления этот процесс 1164 может быть процессом сложения. В некоторых вариантах осуществления комбинированное улучшенное изображение 1177, возникающее в результате этого процесса 1164 комбинирования, является конечным результатом для отображения изображений. Это комбинированное улучшенное изображение 1177 может отображаться на дисплее с использованием задней подсветки 1166, модулированной с помощью настройки задней подсветки, принимаемой из модуля 1154 выбора задней подсветки.

Некоторые модули улучшения цветов настоящего изобретения могут быть описаны со ссылкой на фиг. 74. В этих вариантах осуществления LP-изображение 1170 может вводиться в модуль 1171 улучшения цветов. Различные процессы могут применяться к LP-изображению 1170 в модуле 1171 улучшения цветов. Процесс 1172 обнаружения телесных цветов может применяться к LP-изображению 1170. Процесс 1172 обнаружения телесных цветов может содержать анализ цвета каждого пиксела в LP-изображении 1170 и назначение значения вероятности телесных цветов на основе цвета пиксела. Этот процесс может приводить к карте вероятности телесных цветов. В некоторых вариантах осуществления таблица поиска (LUT) может использоваться для того, чтобы определять вероятность того, что цвет является телесным цветом. Другие способы также могут использоваться для того, чтобы определять вероятность телесных цветов. Некоторые варианты осуществления могут содержать способы обнаружения телесного цвета, описанные выше и в других заявках, которые включены в данный документ по ссылке.

Результирующая карта вероятности телесных цветов может обрабатываться посредством процесса 1173 детализации карты телесных цветов. LP-изображение 1170 также может вводиться, или к нему может осуществляться доступ посредством этого процесса 1173 детализации. В некоторых вариантах осуществления этот процесс 1173 детализации может содержать управляемый изображением нелинейный фильтр нижних частот. В некоторых вариантах осуществления процесс 1173 детализации может содержать процесс усреднения, применяемый к значению карты телесных цветов, когда соответствующее значение цвета изображения находится в рамках конкретного расстояния в цветовом пространстве до значения цвета соседнего пиксела и когда пиксел изображения и соседний пиксел находятся в рамках конкретного пространственного расстояния. Карта телесных цветов, модифицированная или детализированная посредством этого процесса, затем может использоваться для того, чтобы идентифицировать область телесных цветов в LP-изображении. Область вне области телесных цветов также может быть идентифицирована как область нетелесных цветов.

В модуле 1171 улучшения цветов LP-изображение 1170 затем может дифференцированно обрабатываться посредством применения процесса 1174 модификации цвета только к области телесных цветов. В некоторых вариантах осуществления процесс 1174 модификации цвета может применяться только к области нетелесных цветов. В некоторых вариантах осуществления первый процесс модификации цвета может применяться к области телесных цветов, а второй процесс модификации цвета может применяться к области нетелесных цветов. Каждый из этих процессов модификации цвета должен приводить к LP-изображению 1175 с модифицированным или улучшенным цветом. В некоторых вариантах осуществления улучшенное LP-изображение может дополнительно обрабатываться в модуле градационной шкалы, к примеру модуле 1163 градационной шкалы BP или улучшения.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 75. В этих вариантах осуществления изображение 1130 может фильтроваться в нижних частотах (LP) 1131, чтобы создавать LP-версию изображения. Эта LP-версия может отправляться в модуль 1132 улучшения цветов для обработки. Модуль 1132 улучшения цветов может содержать функции обнаружения цветов, функции детализации карты цветов, функции обработки цветовой области и другие функции. В некоторых вариантах осуществления модуль 1132 улучшения цветов может содержать функции обнаружения телесных цветов, функции детализации карты телесных цветов и обработку области телесных цветов, а также обработку области нетелесных цветов. Функции в модуле 1132 улучшения цветов могут приводить к модифицированным значениям цвета для элементов изображения, таким как значения интенсивности пикселов.

В этих вариантах осуществления процесс 1139 расширения битовой глубины (BDE) может выполняться для улучшенного изображения 1138. Этот BDE-процесс 1139 может уменьшать видимые артефакты, которые возникают, когда битовая глубина ограничена. Некоторые варианты осуществления могут содержать BDE-процессы, как описано в заявках на патент, упомянутых выше, которые включены в данный документ по ссылке.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 76. Эти варианты осуществления аналогичны описанным со ссылкой на фиг. 73, но содержат дополнительную обработку расширения битовой глубины.

В этих вариантах осуществления исходное изображение 1130 вводится в модуль 1150 фильтра, который может формировать LP-изображение 1155. В некоторых вариантах осуществления модуль фильтра также может формировать гистограмму 1151. LP-изображение 1155 может отправляться в модуль 1156 улучшения цветов, а также в процесс 1157 вычитания, где LP-изображение 1155 должно вычитаться из исходного изображения 1130, чтобы формировать HP-изображение 1158. В некоторых вариантах осуществления HP-изображение 1158 также может подвергаться процессу 1159 удаления элементов, в котором некоторые высокочастотные элементы удаляются из HP-изображения 1158. Этот процесс удаления элементов должен приводить к очищенному HP-изображению 1160, которое затем может обрабатываться 1161 с помощью карты 1162 усилений, чтобы достигать сохранения, повышения яркости, или других процессов, как описано выше для других вариантов осуществления. Процесс 1161 сопоставления усиления должен приводить к преобразованному по усилению HP-изображению 1168.

В некоторых вариантах осуществления гистограмма 1151 изображения может быть задержана 1152, чтобы обеспечивать время для модулей улучшения цветов 1156 и градационной шкалы 1163, чтобы выполнять их функции. В этих вариантах осуществления задержанная гистограмма 1153 может использоваться для того, чтобы влиять на выбор задней подсветки 1154. В некоторых вариантах осуществления гистограмма из предыдущего кадра может использоваться для того, чтобы влиять на выбор задней подсветки 1154. В некоторых вариантах осуществления гистограмма из двух кадров назад от текущего кадра может использоваться для того, чтобы влиять на выбор задней подсветки 1154. После того как выбор задней подсветки выполнен, данные выбора задней подсветки могут использоваться посредством модуля 1163 градационной шкалы.

Когда LP-изображение 1169 с улучшенным цветом обработано через модуль 1163 градационной шкалы, результирующее LP-изображение 1176 повышенной яркости с улучшенным цветом может быть комбинировано 1164 с преобразованным по усилению HP-изображением 1168. В некоторых вариантах осуществления этот процесс 1164 может быть процессом сложения. В некоторых вариантах осуществления комбинированное улучшенное изображение 1177, возникающее в результате этого комбинаторного процесса 1164, может обрабатываться с помощью процесса 1165 расширения битовой глубины (BDE). Этот BDE-процесс 1165 может уменьшать видимые артефакты, которые возникают, когда битовая глубина ограничена. Некоторые варианты осуществления могут содержать BDE-процессы, как описано в заявках на патент, упомянутых выше, которые включены в данный документ по ссылке.

После BDE-обработки 1165 улучшенное изображение 1169 может отображаться на дисплее с использованием задней подсветки 1166, модулированной с помощью настройки задней подсветки, принимаемой из модуля 1154 выбора задней подсветки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 77. В этих вариантах осуществления изображение 1180 может быть фильтровано 1181 с помощью фильтра нижних частот (LP), чтобы формировать LP-изображение 1183. Это LP-изображение 1183 может вычитаться 1182 или иным образом комбинироваться с исходным изображением 1180, чтобы формировать изображение 1189 в области верхних частот (HP). LP-изображение затем может обрабатываться с помощью модуля 1184 улучшения цветов. В модуле 1184 улучшения цветов различные процессы могут применяться к LP-изображению. Процесс 1185 обнаружения телесных цветов может применяться к LP-изображению 1183. Процесс 1185 обнаружения телесных цветов может содержать анализ цвета каждого пиксела в LP-изображении 1183 и назначение значения вероятности телесных цветов на основе цвета пиксела. Этот процесс может приводить к карте вероятности телесных цветов. В некоторых вариантах осуществления таблица поиска (LUT) может использоваться для того, чтобы определять вероятность того, что цвет является телесным цветом. Другие способы также могут использоваться для того, чтобы определять вероятность телесных цветов. Некоторые варианты осуществления могут содержать способы обнаружения телесного цвета, описанные выше и в других заявках, которые включены в данный документ по ссылке.

Результирующая карта вероятности телесных цветов может обрабатываться посредством процесса 1186 детализации карты телесных цветов. LP-изображение 1183 также может вводиться, или к нему может осуществляться доступ посредством этого процесса 1186 детализации. В некоторых вариантах осуществления этот процесс 1186 детализации может содержать управляемый изображением нелинейный фильтр нижних частот. В некоторых вариантах осуществления процесс 1186 детализации может содержать процесс усреднения, применяемый к значениям в карте телесных цветов, когда соответствующее значение цвета изображения находится в рамках конкретного расстояния в цветовом пространстве до значения цвета соседнего пиксела и когда пиксел изображения и соседний пиксел находятся в рамках конкретного пространственного расстояния. Карта телесных цветов, модифицированная или детализированная посредством этого процесса, затем может использоваться для того, чтобы идентифицировать область телесных цветов в LP-изображении. Область вне области телесных цветов также может быть идентифицирована как область нетелесных цветов.

В модуле 1184 улучшения цветов LP-изображение 1183 затем может дифференцированно обрабатываться посредством применения процесса 1187 модификации цвета только к области телесных цветов. В некоторых вариантах осуществления процесс 1187 модификации цвета может применяться только к области нетелесных цветов. В некоторых вариантах осуществления первый процесс модификации цвета может применяться к области телесных цветов, а второй процесс модификации цвета может применяться к области нетелесных цветов. Каждый из этих процессов модификации цвета должен приводить к LP-изображению 1188 с модифицированным или улучшенным цветом.

Это улучшенное LP-изображение 1188 затем может добавляться или иным образом комбинироваться с HP-изображением 1189, чтобы формировать улучшенное изображение 1192.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 78. В этих вариантах осуществления изображение 1180 может быть фильтровано 1181 с помощью фильтра нижних частот (LP), чтобы формировать LP-изображение 1183. Это LP-изображение 1183 может вычитаться 1182 или иным образом комбинироваться с исходным изображением 1180, чтобы формировать изображение 1189 в области верхних частот (HP). LP-изображение затем может обрабатываться с помощью модуля 1184 улучшения цветов. В модуле 1184 улучшения цветов различные процессы могут применяться к LP-изображению. Процесс 1185 обнаружения телесных цветов может применяться к LP-изображению 1183. Процесс 1185 обнаружения телесных цветов может содержать анализ цвета каждого пиксела в LP-изображении 1183 и назначение значения вероятности телесных цветов на основе цвета пиксела. Этот процесс может приводить к карте вероятности телесных цветов. В некоторых вариантах осуществления таблица поиска (LUT) может использоваться для того, чтобы определять вероятность того, что цвет является телесным цветом. Другие способы также могут использоваться для того, чтобы определять вероятность телесных цветов. Некоторые варианты осуществления могут содержать способы обнаружения телесного цвета, описанные выше и в других заявках, которые включены в данный документ по ссылке.

Это улучшенное LP-изображение 1188 затем может быть добавлено или иным образом комбинировано с HP-изображением 1189, чтобы формировать улучшенное изображение, которое затем может обрабатываться с помощью процесса 1191 расширения битовой глубины (BDE). В BDE-процессе 1191 специально разработанные рисунки шумов или рисунки сглаживания переходов могут применяться к изображению, чтобы понижать чувствительность к артефактам контурности от последующей обработки, которые уменьшают битовую глубину изображения. Некоторые варианты осуществления могут содержать BDE-процессы, как описано в заявках на патент, упомянутых выше, которые включены в данный документ по ссылке. Результирующее улучшенное по BDE изображение 1193 затем может отображаться или дополнительно обрабатываться. Улучшенное по BDE изображение 1193 с меньшей вероятностью демонстрирует артефакты контурности, когда его битовая глубина уменьшается, как пояснено в заявках, которые включены по ссылке выше.

Некоторые варианты осуществления настоящего изобретения содержат подробности реализации высококачественной модуляции задней подсветки и сохранения яркости при ограничениях аппаратной реализации. Эти варианты осуществления могут быть описаны в отношении вариантов осуществления, проиллюстрированных на фиг. 73 и 76.

Некоторые варианты осуществления содержат элементы, которые постоянно размещаются в блоках выбора задней подсветки 1154 и градационной шкалы BP 1163 на фиг. 73 и 76. Некоторые из этих вариантов осуществления могут уменьшать потребление памяти и потребности в вычислениях реального времени.

Вычисление гистограммы

В этих вариантах осуществления гистограмма вычисляется для значений сигнала яркости, а не кодовых значений изображений. Таким образом, преобразование цветов не требуется. В некоторых вариантах осуществления начальный алгоритм может вычислять гистограмму для всех выборок изображения. В этих вариантах осуществления вычисление гистограммы не может быть завершено до тех пор, пока последняя выборка изображения не принята. Все выборки должны получаться, и гистограмма должна быть завершена до того, как выбор задней подсветки и схемы компенсирующей градационной кривой может быть осуществлен.

Эти варианты осуществления имеют несколько проблем, связанных со сложностью:

- потребность в буфере кадров, поскольку первый пиксел не может быть компенсирован до тех пор, пока гистограмма не завершена - RAM.

- Мало времени доступно для вычислений гистограммы и выбора задней подсветки, поскольку другие функциональные элементы остановлены, ожидая результатов - вычисление.

- Большое количество выборок изображений, которые должны быть обработаны, чтобы вычислять гистограмму для всех выборок изображений - вычисление.

- Для 10-битовых данных изображений 10-битовая гистограмма требует относительно большого объема памяти для хранения данных и того, чтобы большое количество точек анализировалось при оптимизации искажения - RAM и вычисление.

Некоторые варианты осуществления настоящего изобретения содержат технологии для преодоления этих проблем. Чтобы исключать потребность в буфере кадров, гистограмма предшествующего кадра может использоваться в качестве ввода в алгоритм выбора задней подсветки. Гистограмма из кадра n используется в качестве ввода для кадра n+1, n+2 или другого последующего кадра, тем самым исключая потребность в буфере кадров.

Чтобы обеспечивать время для вычисления, гистограмма может быть задержана на один или более дополнительных кадров, тем самым гистограмма из кадра n используется в качестве ввода для выбора задней подсветки кадра n+2, n+3 и т.д. Это предоставляет алгоритму выбора задней подсветки время от конца кадра n до начала последующего кадра, к примеру n+2, для вычисления.

В некоторых вариантах осуществления временной фильтр на выходе алгоритма выбора задней подсветки может использоваться для того, чтобы уменьшать чувствительность к этой задержке кадра при выборе задней подсветки относительно входного кадра.

Чтобы сокращать число выборок, которые должны быть обработаны при вычислении каждой гистограммы, некоторые варианты осуществления могут использовать блок, а не отдельные пикселы. Для каждой цветовой плоскости и каждого блока вычисляется максимальная выборка. Гистограмма может вычисляться для этих максимумов блоков. В некоторых вариантах осуществления максимум по-прежнему вычисляется для каждой цветовой плоскости. Таким образом, изображение с M блоков должно иметь 3-M вводов в гистограмму.

В некоторых вариантах осуществления гистограмма может вычисляться для входных данных, квантованных до небольшого битового диапазона, т.е. 6 битов. В этих вариантах осуществления RAM, требуемая для хранения гистограммы, уменьшается. Кроме того, в вариантах осуществления на основе искажения операции, необходимые для поиска искажения, также уменьшаются.

Примерный вариант осуществления вычисления гистограммы описывается ниже в форме кода как функция 1.

Функция 1

/***************************************************************************************/

//

ComputeHistogram

//Вычисление гистограммы на основе максимума для блока

//размера блока и битовой глубины гистограммы, заданных в определениях

//Релевантные глобальные переменные

// gHistogramBlockSize

//gN_HistogramBins

// N_PIPELINE_CODEVALUES

void ComputeHistogram(SHORT *pSource[NCOLORS],IMAGE_SIZE size,UINT32 *pHistogram)

{

SHORT cv;

SHORT bin;

SHORT r,c,k;

SHORT block;

SHORT cvMax;

SHORT BlockRowCount;

SHORT nHistogramBlocksWide;

nHistogramBlocksWide=size.width/gHistogramBlockSize;

/* Чистая гистограмма */

for(bin=0;bin<gN_HistogramBins;bin++)

pHistogram[bin]=0;

//использование максимума по блоку для гистограммы не смешивает цвета

//отслеживание максимума в каждой строке развертки блока и осуществление инициализации максимума по строкам

//развертки

BlockRowCount=0;

for(k=0;k<NCOLORS;k++)

for(block=0;block<nHistogramBlocksWide;block++)

MaxBlockCodeValue[k][block]=0;

for(r=0;r<size.height;r++)

{

//одна строка развертки

for(c=0;c<size.width;c++)

{

block=c/gHistogramBlockSize;

for(k=0;k<NCOLORS;k++)

{

cv=pSource[k][r*size.width+c];

if(cv>MaxBlockCodeValue[k][block])

MaxBlockCodeValue[k][block]=cv;

}

//Законченная линия блоков?

if(r==(gHistogramBlockSize*(BlockRowCount+1)-1))

{

//обновление гистограммы и приращение BlockRowCount

for(k=0;k<NCOLORS;k++)

for(block=0;block<nHistogramBlocksWide;block++)

{

cvMax=MaxBlockCodeValue[k][block];

bin=(SHORT)((cvMax*(int)gN_HistogramBins+(N_PIPELINE_CODEVALUES/2))/((SHORT)N_PIPELINE_CODEVALUES));

pHistogram[bin]++;

}

BlockRowCount=BlockRowCount+1;

//сброс максимумов

for(k=0;k<NCOLORS;k++)

for(block=0;block<nHistogramBlocksWide;block++)

MaxBlockCodeValue[k][block]=0;

}

return;

}

Модели целевого и фактического дисплея

В некоторых вариантах осуществления алгоритмы искажения и компенсации зависят от функции мощности, используемой для того, чтобы описывать целевые и эталонные дисплеи. Эта функция мощности или "гамма" может вычисляться предварительно в целочисленном представлении. В некоторых вариантах осуществления это вычисление реального времени может использовать предварительно вычисленные целочисленные значения функции мощности по гамма-распределению. Пример кода, упомянутый ниже как функция 2, описывает примерный вариант осуществления.

Функция 2

void InitPowerOfGamma(void)

{

int i;

//Инициализация таблицы ROM

for(i=0;i<N_PIPELINE_CODEVALUES;i++)

{

PowerOfGamma[i]=pow(i/((double)N_PIPELINE_CODEVALUES-1),GAMMA);

IntPowerOfGamma[i]=(UINT32)((1<<N_BITS_INT_GAMMA)*PowerOfGamma[i]+0.5);

}

return;

}

В некоторых вариантах осуществления как целевые, так и фактические дисплеи могут моделироваться с помощью двухпараметрической модели GOG-F, которая используется в реальном времени для того, чтобы управлять процессом выбора задней подсветки в зависимости от искажения и алгоритмом компенсации задней подсветки. В некоторых вариантах осуществления как целевой (эталонный) дисплей, так и фактическая панель могут моделироваться как имеющие правило мощности по гамма-распределению в 2,2 с аддитивным смещением. Аддитивное смещение может определять коэффициент контрастности дисплея.

Вычисление весовых коэффициентов искажения

В некоторых вариантах осуществления, для каждого уровня задней подсветки и входного изображения, может вычисляться искажение между требуемым выходным изображением и выводом при данном уровне задней подсветки. Результатом является весовой коэффициент для каждого элемента выборки гистограммы и каждого уровня задней подсветки. Посредством вычисления весовых коэффициентов искажения только для требуемых уровней задней подсветки размер используемой RAM поддерживается на минимальном или меньшем уровне. В этих вариантах осуществления вычисление в реальном масштабе времени дает возможность алгоритму адаптироваться к различным вариантам эталонного или целевого дисплея. Это вычисление заключает в себе два элемента, гистограмму изображения и набор весовых коэффициентов искажения. В других вариантах осуществления весовые коэффициенты искажения для всех возможных значений задней подсветки вычисляются предварительно и сохраняются в ROM. Чтобы уменьшать требования по ROM, весовые коэффициенты искажения могут вычисляться для каждого интересующего уровня задней подсветки для каждого кадра. С учетом требуемых моделей дисплеев и моделей панельных дисплеев и списка уровней задней подсветки весовые коэффициенты искажения для этих уровней задней подсветки могут вычисляться для каждого кадра. Пример кода для примерного варианта осуществления показывается ниже как функция 3.

Функция 3

/****************************************************************************************

// void ComputeBackLightDistortionWeight

//вычисление искажения требует большой битовой глубины

//вычисление весовых коэффициентов искажения для списка выбранных уровней задней подсветки и параметров панели

//Релевантные глобальные переменные

// MAX_BACKLIGHT_SEARCH

// N_BITS_INT_GAMMA

// N_PIPELINE_CODEVALUES

// IntPowerOfGamma

// gN_HistogramBins

***************************************************************************************/

void ComputeBackLightDistortionWeight(SHORT nBackLightsSearched,

SHORT BlackWeight,

SHORT WhiteWeight,

SHORT PanelCR,

SHORT TargetCR,

SHORT BackLightLevelReference,

SHORT BackLightLevelsSearched[MAX_BACKLIGHT_SEARCH])

{

SHORT b;

SHORT bin;

SHORT cvL,cvH;

__int64 X,Y,D,Dmax;

Dmax=(1<<30);

Dmax=Dmax*Dmax;

for(b=0;b<nBackLightsSearched;b++)

{

SHORT r,q;

r=N_PIPELINE_CODEVALUES/gN_HistogramBins;

//нахождение низких и высоких кодовых значений для каждой задней подсветки, для которой выполняется поиск

//PanelOutput=BackLightSearched * ((1-PanelFlare) *y^Gamma+PanelFlare)

// TargetOutput=BackLightLevelReference*((1-TargetFlare)*x^Gamma+TargetFlare)

//для cvL, нахождение x так, что минимальный вывод панели достигается для целевого вывода

// TargetOutput(cvL)=min(PanelOutput)=BackLightSearched*PanelFlare

// BackLightLevelReference*((1-TargetFlare)*cvL^Gamma+TargetFlare)=BackLightSearched/PanelCR

// BackLightLevelReference/TargetCR*((TargetCR-1)*cvL^Gamma+1)=BackLightSearched/PanelCR

// PanelCR*BackLightLevelReference*((TargetCR-

1)*cvL^Gamma+1)=TargetCR*BackLightSearched

// PanelCR*BackLightLevelReference*((TargetCR-1)*IntPowerOfGamma[cvL]+(1<<N_BITS_INT_GAMMA))=TargetCR*BackLightSearched*(1<<N_BITS_INT_GAMMA))

X=TargetCR;

X=X*BackLightLevelsSearched[b];

X=X*(1<<N_BITS_INT_GAMMA);

for(cvL=0;cvL<N_PIPELINE_CODEVALUES;cvL++)

{

Y=IntPowerOfGamma[cvL];

Y=Y*(TargetCR-1);

Y=Y+(1<<N_BITS_INT_GAMMA);

Y=Y*BackLightLevelReference;

Y=Y*PanelCR;

if(X<=Y)

break;

}

//для cvL, нахождение x так, что максимальный вывод панели достигается для целевого вывода

// TargetOutput(cvH)=max(PanelOutput)=BackLightSearched*1

// BackLightLevelReference*((1-TargetFlare)*cvH^Gamma+TargetFlare)=BackLightSearched

// BackLightLevelReference/TargetCR*((TargetCR-1)*cvH^Gamma+1)=BackLightSearched

// BackLightLevelReference((TargetCR-1)*cvH^Gamma+1)=TargetCR*BackLightSearched

// BackLightLevelReference((TargetCR-

1)*IntPowerOfGamma[cvH]+(1<<N_BITS_INT_GAMMA))=TargetCR*BackLightSearched*(1<<N_BITS_INT_GAMMA)

X=TargetCR;

X=X*BackLightLevelsSearched[b];

X=X*(1<<N_BITS_INT_GAMMA);

for(cvH=(N_PIPELINE_CODEVALUES-1);cvH>=0;cvH--)

{

Y=IntPowerOfGamma[cvH];

Y=Y*(TargetCR-1);

Y=Y+(1<<N_BITS_INT_GAMMA);

Y=Y*BackLightLevelReference;

if(X>=Y)

break;

}

//составление весовых коэффициентов искажения

for(bin=0;bin<gN_HistogramBins;bin++)

{

SHORT k;

D=0;

for(q=0;q<r;q++)

{

k=r*bin+q;

if(k<=cvL)

D+=BlackWeight*(cvL - k)*(cvL - k);

else if(k>=cvH)

D+=WhiteWeight*(k-cvH)*(k-cvH);

}

if(D>Dmax)

D=Dmax;

gBackLightDistortionWeights[b][bin]=(UINT32)D;

}

return;

}

Субдискретизированный поиск задней подсветки

В некоторых вариантах осуществления алгоритм выбора задней подсветки может содержать процесс, который минимизирует искажение между целевым выводом дисплея и выводом панели на каждом уровне задней подсветки. Чтобы сокращать как число уровней задней подсветки, которые должны оцениваться, так и число весовых коэффициентов искажения, которые должны вычисляться и сохраняться, в поиске может использоваться поднабор уровней задней подсветки.

В некоторых вариантах осуществления могут использоваться два примерных способа субдискретизации поиска. В первом способе возможный диапазон уровней задней подсветки грубо квантуется, к примеру, до 4 битов. В этом поднаборе квантованных уровней выполняется поиск минимального искажения. В некоторых вариантах осуществления абсолютные минимальные и максимальные значения также могут использоваться для полноты. Во втором способе используется диапазон значений вокруг уровня задней подсветки, обнаруженного для последнего кадра. Например, в +-4, +-2, +-1 и +0 от уровня задней подсветки последнего кадра выполняется поиск вместе с абсолютными минимальным и максимальным уровнями. В этом последнем способе ограничения в диапазоне поиска накладывают некоторое ограничение на варьирование в выбранном уровне задней подсветки. В некоторых вариантах осуществления обнаружение быстрой смены сцен используется для того, чтобы управлять субдискретизацией. В рамках сцены поиск BL центрирует небольшое окно поиска вокруг задней подсветки последнего кадра. На границе быстрой смены сцены поиск выделяет небольшое число точек через диапазон возможных значений BL. Последующие кадры в этой сцене используют предшествующий способ центрирования поиска вокруг BL предыдущего кадра, если только другая быстрая смена сцены не обнаружена.

Вычисление одной компенсационной кривой BP

В некоторых вариантах осуществления несколько различных уровней задней подсветки могут использоваться в ходе работы. В других вариантах осуществления компенсирующие кривые для полного набора уровней задней подсветки вычислены предварительно, затем сохранены в ROM для компенсации изображений в реальном времени. Это требование по памяти может уменьшаться посредством отмечания того, что в каждом кадре только одна компенсирующая кривая требуется. Таким образом, компенсирующая градационная кривая вычисляется и сохраняется в RAM каждый кадр. В некоторых вариантах осуществления схема компенсирующей кривой является такой, которая используется в схеме предварительной подготовки. Некоторые варианты осуществления могут содержать кривую с линейным повышением до точки максимальной точности воспроизведения (MFP), за которым следует плавный спад, как описано выше.

Временной фильтр

Одной из проблем в системе с модуляцией задней подсветки является нежелательное мерцание. Оно может уменьшаться с помощью технологий компенсации обработки изображений. Тем не менее, имеются некоторые ограничения на компенсацию, что может приводить к артефактам, если варьирование задней подсветки осуществляется быстро. В некоторых ситуациях черно-белые точки отслеживают заднюю подсветку и не могут быть компенсированы во всех случаях. Кроме того, в некоторых вариантах осуществления выбор задней подсветки может быть основан на данных из задержанного кадра и таким образом может отличаться от данных фактического кадра. Чтобы упорядочивать нежелательное мерцание уровня черно-белого и обеспечивать задержку гистограммы при вычислении задней подсветки, временной фильтр может использоваться для того, чтобы сглаживать фактическое значение задней подсветки, отправляемое в модуль управления задней подсветкой, и соответствующую компенсацию.

Включение изменений яркости

По различным причинам пользователь может желать изменять яркость дисплея. Вопрос заключается в том, как делать это в рамках окружения модуляции задней подсветки. Соответственно некоторые варианты осуществления могут предусматривать обработку яркости эталонного дисплея, оставляя компоненты модуляции задней подсветки и компенсации яркости неизменяемыми. Код ниже, описанный как функция 4, иллюстрирует примерный вариант осуществления, где опорный индекс задней подсветки либо задается равным максимуму, либо задается равным значению, зависящему от среднего уровня изображения (APL), если APL используется для того, чтобы варьировать максимальную яркость дисплея.

Функция 4

if(gStoredMode)

{

BackLightIndexReference=N_BACKLIGHT_VALUES-1;

}

else

{

APL=ComputeAPL(pHistogram);

// временной фильтр APL

if(firstFrame)

{

for(i=(APL_FILTER_LENGTH-1);i>=0;i--)

{

APL_History[i]=APL;

}

for(i=(APL_FILTER_LENGTH-1);i>=1;i--)

{

APL_History[i]=APL_History[i-1];

}

APL_History[0]=APL;

APL=0;

for(i=0;i<APL_FILTER_LENGTH;i++)

APL=APL+APL_History[i]*IntAplFilterTaps[i];

APL=(APL+(1<<(APL_FILTER_SHIFT-1)))>>APL_FILTER_SHIFT;

BackLightIndexReference=APL2BackLightIndex[APL];

}

Варианты осуществления взвешенных векторов ошибок

Некоторые варианты осуществления настоящего изобретения содержат способы и системы, которые используют взвешенный вектор ошибок для того, чтобы выбирать уровень освещенности задней подсветки или исходной световой освещенности. В некоторых вариантах осуществления выбирается множество уровней исходной световой освещенности, из которых конечный выбор может выполняться для освещения целевого изображения. Модель дисплея панели затем может использоваться для того, чтобы вычислять вывод дисплея для каждого из уровней исходной световой освещенности. В некоторых вариантах осуществления модель эталонного дисплея или модель фактического дисплея, как описано относительно ранее описанных вариантов осуществления, может использоваться для того, чтобы определять уровни вывода дисплея. Целевая кривая вывода также может быть сформирована. Векторы ошибок затем могут быть определены для каждого уровня исходной световой освещенности посредством сравнения выводов панели с целевой кривой вывода.

Гистограмма изображения или аналогичная конструкция, которая перечисляет значения изображения, также может быть сформирована для целевого изображения. Значения, соответствующие каждому кодовому значению изображения в гистограмме изображения или конструкции, затем могут использоваться для того, чтобы взвешивать векторы ошибок для конкретного изображения. В некоторых вариантах осуществления число удачных обращений в элементе выборки гистограммы, соответствующем конкретному кодовому значению, может быть умножено на значение вектора ошибок для этого кодового значения, тем самым создавая взвешенное, конкретное для изображения значение вектора ошибок. Взвешенный вектор ошибок может содержать значения вектора ошибок для каждого кодового значения в изображении. Этот конкретный для изображения, конкретный для уровня исходной световой освещенности вектор ошибок затем может использоваться в качестве индикатора относительно ошибки, вытекающей из использования указанного уровня исходной световой освещенности для этого конкретного изображения.

Сравнение данных вектора ошибок для каждого уровня исходной световой освещенности может указывать, какой уровень освещенности должен приводить к наименьшей ошибке для этого конкретного изображения. В некоторых вариантах осуществления сумма кодовых значений взвешенного вектора ошибок может упоминаться как взвешенная ошибка изображения. В некоторых вариантах осуществления уровень освещенности источника света, соответствующий наименьшей ошибке или наименьшей взвешенной ошибке изображения, для конкретного изображения, может выбираться для отображения этого изображения. В видеопоследовательности этот процесс может осуществляться для каждого видеокадра, приводя к динамическому уровню исходной световой освещенности, который может варьироваться для каждого кадра.

Аспекты некоторых примерных вариантов осуществления настоящего изобретения могут быть описаны относительно фиг. 79, которая иллюстрирует целевую кривую 2000 вывода и несколько кривых 2002-2008 вывода дисплея. Целевая кривая 2000 вывода представляет требуемую взаимосвязь между кодовыми значениями изображений (показанными на горизонтальной оси) и выводом дисплея (показанным на вертикальной оси). Кривые 2002-2008 вывода дисплея также показываются для уровней исходной световой освещенности от 25% до 100%. В 2002 показывается кривая вывода дисплея для 25%-ной задней подсветки. В 2004 показывается кривая вывода дисплея для 50%-ной задней подсветки. В 2006 показывается кривая вывода дисплея для 75%-ной задней подсветки. В 2008 показывается кривая вывода дисплея для 100%-ной задней подсветки. В некоторых вариантах осуществления вертикальное различие между кривой 2002-2008 вывода дисплея и целевой кривой 2000 вывода может представлять или быть пропорциональным значению ошибки, соответствующему кодовому значению в этой позиции. В некоторых вариантах осуществления накопление этих значений ошибки для набора кодовых значений может упоминаться как вектор ошибок.

Аспекты некоторых примерных вариантов осуществления настоящего изобретения могут быть описаны относительно фиг. 80, которая иллюстрирует графики векторов ошибок для конкретных уровней освещенности источника света дисплея. Графики векторов ошибок на этом чертеже соответствуют целевым кривым вывода и кривым вывода дисплея 2000-2008 по фиг. 79. В 2016 показывается график векторов ошибок для 25%-ной задней подсветки. В 2014 показывается график векторов ошибок для 50%-ной задней подсветки. В 2012 показывается график векторов ошибок для 75%-ной задней подсветки. В 2010 показывается график векторов ошибок для 100%-ной задней подсветки. В этих примерных вариантах осуществления, показанных на фиг. 80, используется значение квадратической ошибки, делая все значения ошибок положительными числами. В других вариантах осуществления значения ошибки могут быть определены посредством других способов, и, в некоторых случаях, могут существовать отрицательные значения ошибки.

В некоторых вариантах осуществления настоящего изобретения вектор ошибок может быть комбинирован с данными изображений, чтобы создавать конкретные для изображения значения ошибки. В некоторых вариантах осуществления гистограмма изображения может быть комбинирована с одним или более векторов ошибок, чтобы создавать взвешенное значение ошибки гистограммы. В некоторых вариантах осуществления счетчик элементов выборки гистограммы для конкретного кодового значения может быть умножен на значение ошибки, соответствующее этому кодовому значению, тем самым давая в результате значение взвешенной по гистограмме ошибки. Сумма всех взвешенных по гистограмме кодовых значений для изображения при данном уровне освещенности задней подсветки может упоминаться как взвешенная по гистограмме ошибка. Взвешенная по гистограмме ошибка может быть определена для каждого из множества уровней освещенности задней подсветки. Выбор уровня освещенности задней подсветки может быть основан при взвешенных по гистограмме ошибках, соответствующих уровням освещенности задней подсветки.

Аспекты некоторых вариантов осуществления настоящего изобретения могут быть описаны относительно фиг. 81, которая содержит график взвешенных по гистограмме ошибок для различных уровней освещенности задней подсветки. График 2020 взвешенных по гистограмме ошибок для первого изображения показывает устойчивое снижение величины ошибки до минимального значения 2021 около 86%-ного уровня освещенности, после которого график возрастает по мере того, как значения задней подсветки увеличиваются. Для этого конкретного изображения уровень освещенности приблизительно 86% предоставляет наименьшую ошибку. Другой график 2022 для второго изображения устойчиво понижается до второго минимального значения 2023, вокруг 95%-ного уровня освещенности, после которого график возрастает по мере того, как значения задней подсветки увеличиваются. Для этого второго изображения уровень освещенности приблизительно 95% предоставляет наименьшую ошибку. Таким образом, уровень освещенности задней подсветки может выбираться для конкретного изображения, как только взвешенные по гистограмме ошибки определены для различных уровней исходной световой освещенности или освещенности задней подсветки.

Аспекты некоторых вариантов осуществления настоящего изобретения могут быть описаны относительно фиг. 82. В этих вариантах осуществления изображение 2030 вводится в процесс 2031 вычисления гистограммы, который формирует гистограмму 2032 изображения. Дисплейная панель также анализируется, чтобы определять данные 2033 вектора ошибок для множества уровней освещенности задней подсветки. Взвешенная ошибка 2035 затем может быть сформирована 2034 посредством комбинирования данных 2032 гистограммы с данными 2033 взвешенного вектора ошибок. В некоторых вариантах осуществления это комбинирование может выполняться 2034 посредством умножения значения вектора ошибок, соответствующего кодовому значению, на счетчик гистограммы, соответствующий этому кодовому значению, тем самым формируя значение вектора взвешенных по гистограмме ошибок. Сумма всех значений вектора взвешенных по гистограмме ошибок для всех кодовых значений в изображении может упоминаться как взвешенная по гистограмме ошибка 2035.

Взвешенная по гистограмме ошибка может быть определена для каждого из множества уровней освещенности задней подсветки посредством комбинирования вектора ошибок для каждого уровня освещенности задней подсветки с соответствующими значениями счетчика гистограммы. Этот процесс может приводить к матрице взвешенных по гистограмме ошибок, которая содержит значения взвешенной по гистограмме ошибки для множества уровней освещенности задней подсветки. Значения в матрице взвешенных по гистограмме ошибок затем могут анализироваться, чтобы определять то, какой уровень освещенности задней подсветки более всего соответствует отображению изображений. В некоторых вариантах осуществления уровень освещенности задней подсветки, соответствующий минимальной взвешенной по гистограмме ошибке 2036, может выбираться для отображения изображений. В некоторых вариантах осуществления другие данные могут влиять на решение по уровню освещенности задней подсветки, например, в некоторых вариантах осуществления, цели экономии энергии могут влиять на решение. В некоторых вариантах осуществления уровень освещенности задней подсветки, который находится около минимального значения взвешенной по гистограмме ошибки, но который удовлетворяет некоторым другим критериям, также может выбираться. После того как уровень освещенности задней подсветки выбран 2037, этот уровень может быть передан в служебных сигналах на дисплей.

Аспекты некоторых вариантов осуществления настоящего изобретения могут быть описаны относительно фиг. 83. В этих вариантах осуществления целевая кривая вывода для конкретного дисплейного устройства или характеристики дисплея формируется 2040. Эта кривая или ее прилагаемые данные представляют требуемый вывод дисплея. Кривые вывода дисплея также формируются 2041 для различных уровней освещенности задней подсветки или исходной световой освещенности. Например, в некоторых вариантах осуществления кривая вывода дисплея может быть сформирована для уровней освещенности задней подсветки с 10%-ным или 5%-ным приращением от 0% до 100%.

На основе целевой кривой вывода и кривых вывода дисплея или панели конкретные для уровня освещенности векторы ошибок могут быть вычислены 2042. Эти векторы ошибок могут быть вычислены посредством определения различия между значением целевой кривой вывода и значением кривой вывода дисплея или панели при соответствующем кодовом значении изображения. Вектор ошибок может содержать значение ошибки для каждого кодового значения изображения или для каждого кодового значения в динамическом диапазоне целевого дисплея. Векторы ошибок могут вычисляться для множества уровней исходной световой освещенности. Например, векторы ошибок могут вычисляться для каждой кривой вывода дисплея, сформированной для отображения. Набор векторов ошибок может вычисляться заранее и сохраняться для использования в вычислениях "реального времени" во время отображения изображений или может использоваться в других вычислениях.

Чтобы приспосабливать уровень исходной световой освещенности к конкретному изображению или характеристике изображения, гистограмма изображения может быть сформирована 2043 и использована в процессе выбора уровня освещенности. В некоторых вариантах осуществления другие конструкции данных могут использоваться для того, чтобы идентифицировать частоту, на которой кодовые значения изображений возникают в конкретном изображении. Эти другие конструкции могут упоминаться как гистограммы в этом подробном описании.

В некоторых вариантах осуществления векторы ошибок, соответствующие варьирующимся уровням исходной световой освещенности, могут взвешиваться 2044 со значениями на гистограмме, чтобы связывать ошибку дисплея с изображением. В этих вариантах осуществления значения вектора ошибок могут умножаться или иным образом связываться со значениями на гистограмме для соответствующих кодовых значений. Другими словами, значение вектора ошибок, соответствующее данному кодовому значению изображения, может быть умножено на значение счетчика элементов выборки гистограммы, соответствующее данному кодовому значению.

После того как значения взвешенного вектора ошибок определены, все значения взвешенного вектора ошибок для данного вектора ошибок могут быть суммированы 2045, чтобы создавать значение взвешенной по гистограмме ошибки для уровня освещенности, соответствующего вектору ошибок. Значение взвешенной по гистограмме ошибки может вычисляться для каждого уровня освещенности, для которого вычислен вектор ошибок.

В некоторых вариантах осуществления набор значений взвешенной по гистограмме ошибки может анализироваться 2046, чтобы определять характеристику набора. В некоторых вариантах осуществления эта характеристика набора может быть минимальным значением. В некоторых вариантах осуществления эта характеристика набора может быть минимальным значением в рамках некоторого другого ограничения. В некоторых вариантах осуществления эта характеристика набора может быть минимальным значением, которое удовлетворяет ограничению по мощности. В некоторых вариантах осуществления линия, кривая или другая конструкция может быть приспособлена к набору значений взвешенной по гистограмме ошибки и может использоваться для того, чтобы интерполировать между известными значениями ошибки или иным образом представлять набор значений взвешенной по гистограмме ошибки. На основе значений взвешенной по гистограмме ошибки и характеристики набора или другого ограничения может выбираться уровень исходной световой освещенности. В некоторых вариантах осуществления может выбираться уровень исходной световой освещенности, соответствующий минимальному значению взвешенной по гистограмме ошибки.

Как только уровень исходной световой освещенности выбран, выбор может быть передан в служебных сигналах на дисплей или записан с изображением, которое должно использоваться во время отображения так, чтобы дисплей мог использовать выбранный уровень освещенности для того, чтобы отображать целевое изображение.

Чувствительный к быстрой смене сцен фильтр сигналов источника света дисплея

Модуляция исходного света может повышать динамическую контрастность и уменьшать потребляемую мощность дисплея, тем не менее, модуляция исходного света может вызывать раздражающее колебание сигнала яркости дисплея. Данные изображений могут модифицироваться, как пояснено выше, чтобы компенсировать большую часть изменений исходного света, но этот способ не может полностью компенсировать изменения исходного света в экстремумах динамического диапазона. Это раздражающее колебание также может уменьшаться посредством временной фильтрации нижних частот исходного светового сигнала, чтобы уменьшать радикальные изменения исходного светового уровня и ассоциированное колебание. Этот способ может быть эффективным при управлении варьированием уровня черного, и при использовании фильтра достаточной длины варьирование уровня черного может быть в действительности незначительным.

Тем не менее, длительный фильтр, который может охватывать несколько кадров видеопоследовательности, может быть проблематичным при переходах сцен. Например, быстрая смена от темной сцены к яркой сцене требует быстрого повышения исходного светового уровня, чтобы проходить от низкого уровня черного до высокой яркости. Простая временная фильтрация исходного светового сигнала или сигнала задней подсветки ограничивает чувствительность дисплея и приводит к раздражающему постепенному повышению яркости изображения после перехода от темной сцены к яркой сцене. Использование фильтра в течение достаточно долгого времени, чтобы делать это повышение практически невидимым, приводит к уменьшенной яркости после перехода.

Соответственно, некоторые варианты осуществления настоящего изобретения могут содержать обнаружение быстрой смены сцен, и некоторые варианты осуществления могут содержать фильтр, который является чувствительным к присутствию быстрой смены сцены в видеопоследовательности.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 84. В этих вариантах осуществления изображение 2050 или данные изображения из него вводятся в детектор 2051 быстрой смены сцен и/или буфер 2052. В некоторых вариантах осуществления один или оба из этих модулей 2051 и 2052 могут формировать гистограмму изображения, которая также может быть передана в другой модуль 2051 и 2052. Изображение 2050 и/или данные изображения затем могут быть переданы в модуль 2053 выбора исходного светового уровня, где соответствующий исходный световой уровень может быть определен или выбран. Этот выбор или определение может выполняться множеством способов, как пояснено выше. Выбранный исходный световой уровень затем передается в служебных сигналах в модуль 2054 временного фильтра. Модуль 2051 детектора быстрой смены сцен может использовать данные изображения или гистограмму изображения для того, чтобы определять то, существует быстрая смена сцены в видеопоследовательности, смежной с текущим кадром, или в пределах определенной близости к текущему кадру. Если быстрая смена сцены обнаружена, ее присутствие может быть передано в служебных сигналах в модуль 2054 временного фильтра. Модуль 2054 временного фильтра может содержать буфер исходного светового сигнала так, что последовательность сигналов исходного светового уровня может быть фильтрована. Модуль 2054 временного фильтра также может содержать множество фильтров или один или более переменных фильтров, чтобы фильтровать исходный световой сигнал. В некоторых вариантах осуществления модуль 2054 временного фильтра может содержать фильтр с бесконечной импульсной характеристикой (IIR). В некоторых вариантах осуществления коэффициенты IIR-фильтра могут варьироваться, чтобы осуществлять различные характеристики фильтра и выводы.

Один или более фильтров модуля 2054 временного фильтра могут быть зависимыми от быстрой смены сцены, посредством чего сигнал быстрой смены сцены из детектора 2051 быстрой смены сцен может влиять на характеристики фильтра. В некоторых вариантах осуществления фильтр может полностью обходиться, когда быстрая смена сцены обнаружена рядом с текущим кадром. В других вариантах осуществления характеристики фильтра могут изменяться просто в ответ на обнаружение быстрой смены сцены. В других вариантах осуществления различные фильтры могут применяться в ответ на обнаружение быстрой смены сцены рядом с текущим кадром. После того как модуль 2054 временного фильтра выполняет требуемую фильтрацию, сигнал исходного светового уровня может быть передан в функциональный модуль 2055 исходного света.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 85. В этих вариантах осуществления функции обнаружения быстрой смены сцен и ассоциированные функции временного фильтра могут быть связаны с модулем компенсации изображений. В некоторых вариантах осуществления изображение 2060 или данные изображения, извлеченные из него, вводятся в модуль 2061 детектора быстрой смены сцен, буфер 2062 и/или модуль 2066 компенсации изображений. В некоторых вариантах осуществления один или более из этих модулей 2061 и 2062 могут формировать гистограмму изображения, которая может быть передана в другой модуль 2061 или 2062. Изображение 2060 и/или данные изображения затем могут быть переданы в модуль 2063 выбора исходного светового уровня, где соответствующий исходный световой уровень может быть определен или выбран. Этот выбор или определение может выполняться множеством способов, как пояснено выше. Выбранный исходный световой уровень затем передается в служебных сигналах в модуль 2064 временного фильтра. Модуль 2061 детектора быстрой смены сцен может использовать данные изображения или гистограмму изображения для того, чтобы определять то, существует быстрая смена сцены в видеопоследовательности, смежной с текущим кадром, или в пределах определенной близости к текущему кадру. Если быстрая смена сцены обнаружена, ее присутствие может быть передано в служебных сигналах в модуль 2064 временного фильтра. Модуль 2064 временного фильтра может содержать буфер исходного светового сигнала так, что последовательность сигналов исходного светового уровня может быть фильтрована. Модуль 2064 временного фильтра также может содержать множество фильтров или один или более переменных фильтров, чтобы фильтровать исходный световой сигнал. В некоторых вариантах осуществления модуль 2064 временного фильтра может содержать фильтр с бесконечной импульсной характеристикой (IIR). В некоторых вариантах осуществления коэффициенты IIR-фильтра могут варьироваться, чтобы осуществлять различные характеристики фильтра и выводы.

Один или более фильтров модуля 2064 временного фильтра могут быть зависимыми от быстрой смены сцены, посредством чего сигнал быстрой смены сцены из детектора 2061 быстрой смены сцен может влиять на характеристики фильтра. В некоторых вариантах осуществления фильтр может полностью обходиться, когда быстрая смена сцены обнаружена рядом с текущим кадром. В других вариантах осуществления характеристики фильтра могут изменяться просто в ответ на обнаружение быстрой смены сцены. В других вариантах осуществления различные фильтры могут применяться в ответ на обнаружение быстрой смены сцены рядом с текущим кадром. После того как модуль временного фильтра 2064 выполняет требуемую фильтрацию, сигнал исходного светового уровня может быть передан в функциональный модуль 2065 исходного света и в модуль 2066 компенсации изображений. Модуль 2066 компенсации изображений может использовать сигнал исходного светового уровня для того, чтобы определять соответствующий алгоритм компенсации для изображения 2060. Эта компенсация может быть определена посредством различных способов, описанных выше. После того как компенсация изображений определена, она может применяться к изображению 2060, и модифицированное изображение 2067 может отображаться с использованием исходного светового уровня, отправляемого в функциональный модуль 2065 исходного света.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 86. В этих вариантах осуществления входное изображение 2070 может вводиться в модуль 2081 компенсации изображений и модуль 2071 обработки изображений. В модуле 2071 обработки изображений данные изображения могут извлекаться, дискретизироваться с понижением или иным образом обрабатываться, чтобы обеспечивать функции других элементов этих вариантов осуществления. В некоторых вариантах осуществления модуль 2071 обработки изображений может формировать гистограмму, которая может отправляться в модуль 2072 выбора задней подсветки (BLS), содержащий модуль 2073 буфера гистограмм и модуль 2084 детектора быстрой смены сцен, а также модуль 2074 искажения и модуль 2075 временного фильтра.

В рамках модуля 2073 буфера гистограмм гистограммы из последовательности кадров с изображениями могут сравниваться и анализироваться. Модуль 2084 детектора быстрой смены сцен также может сравнивать анализируемые гистограммы, чтобы определять присутствие быстрой смены сцены рядом с текущим кадром. Данные гистограммы могут быть переданы в модуль 2074 искажения, где характеристики искажений могут быть вычислены 2077 для одного или более уровней освещенности исходного света или задней подсветки. Конкретный уровень исходной световой освещенности может быть определен посредством минимизации 2078 характеристики искажений.

Этот выбранный уровень освещенности затем может отправляться в модуль 2075 временного фильтра. Модуль временного фильтра также может принимать сигнал обнаружения быстрой смены сцен из модуля 2084 детектора быстрой смены сцен. На основе сигнала обнаружения быстрой смены сцен временной фильтр 2079 может применяться к сигналу уровня исходной световой освещенности. В некоторых вариантах осуществления фильтр может не применяться, когда быстрая смена сцены обнаружена рядом с текущим кадром. В других вариантах осуществления фильтр, применяемый, когда быстрая смена сцены присутствует, отличается от фильтра, применяемого, когда быстрая смена сцены не является ближайшей.

Фильтрованный сигнал уровня исходной световой освещенности может отправляться в функциональный модуль 2080 исходного света и в модуль 2081 компенсации изображений. Модуль компенсации изображений может использовать фильтрованный уровень исходной световой освещенности для того, чтобы определять соответствующую кривую коррекции градационной шкалы или другой алгоритм коррекции, чтобы компенсировать все изменения в уровне исходной световой освещенности. В некоторых вариантах осуществления кривая коррекции градационной шкалы или кривая 2082 коррекции гаммы могут быть сформированы с этой целью. Эта кривая коррекции затем может применяться к входному изображению 2070, чтобы создавать модифицированное изображение 2083. Модифицированное изображение 2083 затем может отображаться с уровнем исходной световой освещенности, который отправлен в функциональный модуль 2080 исходного света.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 87. В этих вариантах осуществления входное изображение 2090 или данные изображения, извлеченные из него, вводятся в пространственный фильтр 2096 нижних частот, буфер/процессор 2092, модуль 2091 детектора быстрой смены сцен и сумматор 2098. Пространственный фильтр 2096 нижних частот может создавать изображение 2097 в области нижних частот, которое может быть передано в модуль 2101 формирования градационной шкалы сохранения яркости. Изображение 2097 в области нижних частот также может отправляться в сумматор 2098 для комбинации с входным изображением 2090, чтобы формировать изображение 2099 в области верхних частот.

Модуль 2091 детектора быстрой смены сцен может использовать входное изображение или данные из него, такие как гистограмма, а также данные, хранимые в буфере/процессоре 2092, для того чтобы определять то, является или нет быстрая смена сцены ближайшей к текущему кадру. Если быстрая смена сцены обнаружена, сигнал может отправляться в модуль 2094 временного фильтра. Входное изображение 2090 или данные изображения, извлеченные из него, отправляются в буфер/процессор 2092, где изображения, данные изображений и гистограммы могут сохраняться и сравниваться. Эти данные могут отправляться в модуль 2093 выбора исходного светового уровня для рассмотрения при вычислении соответствующего уровня исходной световой освещенности. Уровень, вычисленный посредством модуля 2093 выбора исходного светового уровня, может отправляться в модуль 2094 временного фильтра для фильтрации. Примерные фильтры, используемые для этого процесса, описываются ниже в этом документе. Фильтрация сигнала исходного светового уровня может быть адаптивной к присутствию быстрой смены сцены рядом с текущим кадром. Как пояснено позже, модуль 2094 временного фильтра может фильтровать более активно, когда быстрая смена сцены не является ближайшей.

После фильтрации исходный световой уровень может отправляться в функциональный модуль 2095 исходного света для использования при отображении входного изображения или модифицированного изображения на его основе. Вывод модуля 2094 временного фильтра также может отправляться в модуль 2101 формирования градационной шкалы сохранения яркости, который должен затем формировать кривую коррекции градационной шкалы и применять эту кривую коррекции к изображению 2097 в области нижних частот. Это скорректированное изображение в области нижних частот затем может быть комбинировано с изображением 2099 в области верхних частот, чтобы формировать улучшенное изображение 2102. В некоторых вариантах осуществления изображение 2099 в области верхних частот также может обрабатываться с помощью кривой усиления перед комбинированием со скорректированным изображением в области нижних частот.

Аспекты некоторых вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 88. В этих вариантах осуществления уровень исходной световой освещенности для текущего кадра определяется 2110. Присутствие быстрой смены сцены рядом с текущим кадром также определяется 2111. Если быстрая смена сцены является ближайшей, второй процесс временной фильтрации применяется 2112 к сигналу уровня исходной световой освещенности для текущего кадра. Если быстрая смена сцены не является ближайшей к текущему кадру, первый процесс временной фильтрации 2113 применяется к сигналу уровня исходной световой освещенности для текущего кадра. После того как фильтрация выполнена, сигнал уровня исходной световой освещенности отправляется на дисплей, чтобы обозначать 2114 уровень освещенности для текущего кадра. В некоторых вариантах осуществления второй процесс фильтрации 2112 может просто обходить фильтрацию, когда быстрая смена сцены является ближайшей.

Аспекты некоторых вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 89. В этих вариантах осуществления изображение анализируется 2120, чтобы определять данные, релевантные для выбора исходного светового уровня. Этот процесс может содержать формирование и сравнение гистограмм. Соответствующий исходный световой уровень выбирается 2121 на основе данных изображений. Присутствие быстрой смены сцены затем может быть определено посредством сравнения 2122 данных изображений из одного или более предыдущих кадров и данных изображений из текущего кадра. В некоторых вариантах осуществления это сравнение может содержать сравнение гистограмм. Если быстрая смена сцены не присутствует 2123, первый процесс фильтрации может применяться 2125 к исходному световому уровню текущего кадра. Этот процесс может регулировать значение исходного светового уровня для текущего кадра на основе уровней, используемых для предыдущих кадров. Когда быстрая смена сцены обнаружена 2123, второй процесс фильтрации 2124 может применяться к уровню исходной световой освещенности. В некотором варианте осуществления этот второй процесс фильтрации может содержать пропуск первого процесса фильтрации или использование менее активного процесса фильтрации. После фильтрации уровень исходной световой освещенности может отправляться на дисплей для использования при отображении текущего кадра.

Способы и системы некоторых вариантов осуществления настоящего изобретения могут иллюстрироваться в отношении примерного сценария с тестовой видеопоследовательностью. Последовательность состоит из черного фона с белым объектом, который появляется и исчезает. Черно-белые значения следуют задней подсветке независимо от компенсации изображений. Задняя подсветка, выбранная в расчете на кадр, идет от нуля, в черных кадрах, к высокому значению, чтобы достигать белого, и обратно к нулю. График исходного светового уровня или уровня задней подсветки согласно номеру кадра показан на фиг. 90. Результирующее изображение имеет недостаток в виде варьирования уровня черного. Видеопоследовательность - это черный фон с появляющимся белым квадратом. Первоначально задняя подсветка имеет низкое значение, и черная сцена является очень темной. Когда белый квадрат появляется, задняя подсветка повышается, и увеличение уровня черного до низкого полутона заметно. Когда квадрат исчезает, задняя подсветка уменьшается, и фон снова является очень темным. Это варьирование на уровне черного может быть мешающим. Предусмотрено два способа исключать это варьирование уровня черного: искусственно поднимать черное в темных сценах или управлять варьированием в задней подсветке. Подъем уровня черного нежелателен, так что способы и системы настоящего изобретения управляют варьированием задней подсветки так, чтобы варьирование не являлось настолько радикальным или заметным.

Временная фильтрация

Решение этих вариантов осуществления заключается в управлении этим варьированием уровня черного посредством управления варьированием сигнала задней подсветки. Зрительная система человека нечувствительна к низкочастотному варьированию в сигнале яркости. Например, во время восхода солнца яркость неба постоянно изменяется, но изменение является достаточно медленным, чтобы не быть заметным. Количественные измерения обобщаются в функции временной контрастной чувствительности (CSF), показанной на фиг. 91. Этот принцип может использоваться в некоторых вариантах осуществления для того, чтобы проектировать фильтр, который ограничивает варьирование уровня черного.

В некоторых примерных вариантах осуществления однозвенный IIR-фильтр может использоваться для того, чтобы "сглаживать" сигнал задней подсветки. Фильтр может быть основан на значениях предыстории сигнала задней подсветки. Эти варианты осуществления работают оптимально, когда будущие значения не доступны.

Уравнение 51. IIR-фильтр

где BL(i) - это значение задней подсветки на основе содержимого изображений, а S(i) - это сглаженное значение задней подсветки на основе текущего значения и предыстории. Этот фильтр является IIR-фильтром со звеном при

. Передаточная функция этого фильтра может быть выражена следующим образом:

Уравнение 52. Передаточная функция фильтра

Диаграмма Боде этой функции показывается на следующей фиг. 92. Схема частотной характеристики показывает, что фильтр является фильтром нижних частот.

В некоторых вариантах осуществления настоящего изобретения фильтр может варьироваться на основе присутствия быстрой смены сцены рядом с текущим кадром. В некоторых из этих вариантов осуществления могут использоваться два значения для звена альфа. Эти значения могут переключаться в зависимости от сигнала обнаружения быстрой смены сцен. В примерном варианте осуществления, когда быстрая смена сцены не обнаружена, рекомендуемое значение - это 1000/1024. В некоторых примерных вариантах осуществления рекомендуются значения между 1 и 1/2. Тем не менее, когда быстрая смена сцены обнаружена, это значение может заменяться на 128/1024. В некоторых вариантах осуществления значения между 1/2 и 0 могут использоваться для этого коэффициента. Эти варианты осуществления предоставляют более ограниченную величину сглаживания для быстрой смены сцен, которое считается полезным.

График на фиг. 93 иллюстрирует характеристику примерной системы, которая использует временную фильтрацию задней подсветки для последовательности, показанной на фиг. 90, которая включает в себя появление белой области на черном фоне между кадром 60 в 2141 и кадром 120 в 2143. Нефильтрованная задняя подсветка увеличивается с нуля 2140a, перед появлением белой области, до устойчиво высокого значения 2140b, когда белый цвет появляется. Нефильтрованная задняя подсветка затем снова мгновенно падает до нуля 2140c, когда белая область исчезает из последовательности в 2143. Это имеет эффект выделения яркостью яркой белой области, но также и имеет побочный эффект увеличения черного фона до низкого полутона. Таким образом, фон варьируется по мере того, как белая область появляется и исчезает. Фильтрованная задняя подсветка 2142a, b и c ограничивает варьирование задней подсветки так, что его вероятность является незначительной. Фильтрованная задняя подсветка начинается при нулевом значении 2142a перед появлением белой области в 2141, затем более медленно увеличивается 2142b во времени. Когда белая область исчезает, значению задней подсветки разрешено снижаться 2142c на управляемой скорости. Белая область фильтрованной системы является немного более тусклой, чем нефильтрованной системы, но варьирование в фоне намного менее воспринимаемо.

В некоторых вариантах осуществления чувствительность временного фильтра может быть проблемой. Это, в частности, заметно при параллельном сравнении с системой без такого ограничения на чувствительность задней подсветки. Например, при фильтрации в быстрой смене сцены характеристика задней подсветки ограничена посредством фильтра, используемого для того, чтобы управлять колебанием уровня черного. Эта проблема проиллюстрирована на фиг. 94. График по фиг. 94 моделирует вывод системы после резкой смены от черного к белому в 2150. Нефильтрованная система 2151 отвечает сразу посредством повышения задней подсветки от нуля 2151a до поднятого уровня 2151b, чтобы получать яркий белый цвет. Фильтрованная система медленно повышается до нуля 2152a вдоль кривой 2152b после быстрой смены от черного к белому. В нефильтрованной системе изображение сразу сменяется к серому значению. В фильтрованной системе серое медленно повышается к белому по мере того, как задняя подсветка медленно возрастает. Таким образом, чувствительность фильтрованной системы к быстрым изменениям сцены уменьшается.

Обнаружение быстрой смены сцен

Некоторые варианты осуществления настоящего изобретения содержат процесс обнаружения быстрой смены сцен. Когда быстрые смены сцены обнаружены, временная фильтрация может модифицироваться, чтобы обеспечивать быстрое реагирование задней подсветки. В рамках сцены варьирование задней подсветки ограничено посредством фильтрации, чтобы управлять варьированием уровня черного. В быстрой смене сцен краткие артефакты и варьирование видеосигнала являются незаметными вследствие эффектов маскировки зрительной системы человека.

Быстрая смена сцены существует, когда текущий кадр очень отличается от предыдущего кадра. Когда быстрой смены сцен не происходит, различие между последовательными кадрами является небольшим. Чтобы помогать обнаруживать быструю смену сцены, может быть задано измерение различия между двумя изображениями, и пороговое значение может быть задано так, чтобы отличать быструю смену сцены от отсутствия быстрой смены сцены.

В некоторых вариантах осуществления способ обнаружения быстрой смены сцен может быть основан на корреляции различия гистограмм. В частности, гистограммы двух последовательных или ближайших кадров, H₁ и H₂, могут вычисляться. Различие между двумя изображениями может быть задано как расстояние на гистограмме:

Уравнение 53. Примерный показатель расстояния на гистограмме

где i и j - это индексы элементов выборки, N - это число элементов выборки, и

- это значение i-того элемента выборки гистограммы. Гистограмма нормализуется так, что общая сумма значений элементов выборки равна 1. В общих чертах, если различие каждого элемента выборки является большим, то расстояние, D_cor, является большим.

- это весовой коэффициент корреляции, который равен квадрату расстояния между индексами элементов выборки. Это указывает, что если два элемента выборки находятся близко друг к другу, например i-тый элемент выборки и (i+1)-вый элемент выборки, то доля их умножения является очень небольшой; иначе, доля является большой. Интуитивно, для чисто черных и чисто белых изображений, два больших различия элементов выборки находятся в первом элементе выборки и последнем элементе выборки, поскольку расстояние индекса элемента выборки является большим, конечное расстояние гистограмм является большим. Но для небольшого изменения сигнала яркости на черное изображение, хотя различия элементов выборки также являются большими, они находятся близко друг к другу (i-тый элемент выборки и (i+1)-вый элемент выборки), и таким образом конечное расстояние является небольшим.

Чтобы классифицировать быструю смену сцены, пороговое значение должно быть определено в дополнение к измерению расстояния изображения. В некоторых вариантах осуществления это пороговое значение может быть определено опытным путем и может быть задано равным 0,001.

В некоторых вариантах осуществления в рамках сцены может использоваться фильтрация, приспосабливаемая выше, чтобы ограничивать колебание уровня черного. Эти варианты осуществления должны использовать просто систему фиксированного фильтра, которая не чувствительна к быстрым сменам сцены. Видимое колебание в уровне черного не возникает, тем не менее, характеристика ограничена.

В некоторых вариантах осуществления, когда быстрая смена сцены обнаружена, фильтр может быть переключен на фильтр, имеющий более быструю характеристику. Это дает возможность задней подсветке быстро повышаться после быстрой смены от черного к белому, при этом не такое радикальное повышение, как нефильтрованный сигнал. Как показано на фиг. 95, нефильтрованный сигнал перепрыгивает от нуля к максимальному значению 2161 и останется при этом значении после того, как белая область появляется в 2160. Более активный фильтр, используемый в рамках сцен 2163, переходит слишком медленно для переходов быстрой смены сцен, тем не менее, модифицированный фильтр 2162, используемый в местоположениях быстрой смены сцен, обеспечивает быстрое повышение, за которым следует постепенное увеличение до максимального значения.

Варианты осуществления настоящего изобретения, которые содержат обнаружение быстрой смены сцен и адаптивную временную фильтрацию, предназначенные для того, чтобы делать варьирования уровня черного незначительными, могут активно применяться в рамках сцены при одновременном сохранении чувствительности задней подсветки к быстрым сменам сцен с большими изменениями яркости с помощью изменений адаптивного фильтра.

Варианты осуществления Y-усиления с низкой сложностью

Некоторые варианты осуществления настоящего изобретения выполнены с возможностью работать в системе с низкой сложностью. В этих вариантах осуществления выбор уровня исходного света или задней подсветки может быть основан на гистограмме сигнала яркости и минимизации показателя искажения на основе этой гистограммы. В некоторых вариантах осуществления алгоритм компенсации может использовать характеристику Y-усиления. В некоторых вариантах осуществления компенсация изображений может содержать обработку параметров для управления обработкой Y-усиления. В некоторых ситуациях обработка Y-усиления может полностью компенсировать уменьшение исходного света на полутоновых изображениях, но уменьшает насыщенность цвета для насыщенных изображений. Некоторые варианты осуществления могут контролировать характеристику Y-усиления, чтобы предотвращать чрезмерное уменьшение насыщенности. Некоторые варианты осуществления могут использовать параметр интенсивности Y-усиления для того, чтобы управлять уменьшением насыщенности. В некоторых вариантах осуществления интенсивность Y-усиления в 25% оказалась эффективной.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 96. В этих вариантах осуществления весовые коэффициенты 2174 искажения для различных уровней освещенности задней подсветки могут вычисляться и сохраняться, к примеру, в ROM, для доступа во время обработки в реальном масштабе времени. В некоторых вариантах осуществления коэффициенты 2175 фильтрации других характеристик или параметров фильтра могут сохраняться, к примеру, в ROM, для выбора во время обработки.

В этих вариантах осуществления входное изображение 2170 вводится в процесс 2071 вычисления гистограммы, который вычисляет гистограмму изображения, которая может сохраняться в буфере 2172 гистограмм. В некоторых вариантах осуществления гистограмма для предыдущего кадра может использоваться для того, чтобы определять уровень задней подсветки для текущего кадра. В некоторых вариантах осуществления модуль 2176 искажения может использовать значения на гистограмме из буфера 2172 гистограмм и весовые коэффициенты 2174 искажения для того, чтобы определять характеристики искажений для различных уровней освещенности задней подсветки. Модуль 2176 искажения затем может выбирать уровень освещенности задней подсветки, который уменьшает или минимизирует 2178 вычисленное искажение. В некоторых вариантах осуществления уравнение 54 может использоваться для того, чтобы определять значение искажения.

Уравнение 54. Примерный показатель искажения

где BL представляет уровень освещенности задней подсветки, Weight - это значение весового коэффициента искажения, связанное с уровнем освещенности задней подсветки и элементом выборки гистограммы, и H - это значение элемента выборки гистограммы.

После выбора уровня освещенности задней подсветки сигнал задней подсветки может быть фильтрован с помощью временного фильтра 2180 в модуле 2179 фильтра. Модуль 2179 фильтра может использовать коэффициенты фильтрации или характеристики 2175, которые заранее определенны и сохранены. Как только фильтрация выполнена, фильтрованный конечный сигнал задней подсветки может отправляться на дисплей или в модуль 2181 управления задней подсветкой дисплея.

Фильтрованный конечный сигнал задней подсветки также может отправляться в модуль 2183 проектирования Y-усиления, где он может использоваться при определении процесса компенсации изображений. В некоторых вариантах осуществления этот процесс компенсации может содержать применение кривой градационной шкалы к каналу сигнала яркости изображения. Эта кривая градационной шкалы Y-усиления может указываться с помощью одной или более точек, между которыми может выполняться интерполяция. В некоторых вариантах осуществления процесс градационной шкалы с Y-усилением может содержать точку максимальной точности воспроизведения (MFP), выше которой может использоваться кривая спада. В этих вариантах осуществления один или более линейных сегментов могут задавать кривую градационной шкалы ниже MFP, и отношение кривой округления может задавать кривую выше MFP. В некоторых вариантах осуществления часть кривой округления может быть задана посредством уравнения 55.

Уравнение 55. Примерное задание наклона для кривой округления

Эти варианты осуществления выполняют компенсацию изображений только в канале яркости и предоставляют полную компенсацию полутоновых изображений, но этот процесс может приводить к уменьшению насыщенности цветных изображений. Чтобы не допускать чрезмерного уменьшения насыщенности цветных изображений, некоторые варианты осуществления могут содержать коэффициент интенсивности компенсации, который может быть определен в модуле 2182 управления интенсивностью. Поскольку модуль 2183 проектирования Y-усиления работает только для данных сигнала яркости, цветовые характеристики не известны, и модуль управления интенсивности должен работать без знания фактических уровней насыщенности цветов. В некоторых вариантах осуществления коэффициент или параметр интенсивности может быть интегрирован в задание кривой градационной шкалы, как показано в уравнении 56.

Уравнение 56. Примерное задание наклона для кривой градационной шкалы

где S - это коэффициент интенсивности, BL - это уровень освещенности задней подсветки, и

- это значение гаммы дисплея. Примерные кривые градационной шкалы показаны на фиг. 97.

Варианты осуществления эффективных вычислений

В некоторых вариантах осуществления настоящего изобретения выбор задней подсветки или исходного света может быть основан на минимизации ошибки между идеальным дисплеем и дисплеем с конечным коэффициентом контрастности, таким как жидкокристаллический дисплей. Моделируются идеальные дисплеи и дисплеи с конечным CR. Ошибка между идеальным дисплеем и дисплеем с конечным CR для каждого уровня серого задает вектор ошибок для каждого значения задней подсветки. Искажение изображения задается посредством взвешивания гистограммы изображения посредством вектора ошибок на каждом уровне задней подсветки.

В некоторых вариантах осуществления дисплеи могут моделироваться с использованием функции мощности, гаммы плюс аддитивный член, чтобы учитывать эффект "блик" в жидкокристаллическом дисплее с конечным CR, приведенных в уравнении 57. Это - модель усиление-смещение-гамма с эффектом "блик" и нулевым смещением, выраженным с помощью коэффициента CR контрастности дисплея.

Уравнение 57. Модели дисплеев

Модели дисплеев наносятся на фиг. 98. Показаны идеальный дисплей 2200 и дисплей с конечным CR при задней подсветке с 25% 2201 и 75% 2202.

Максимум и минимум жидкокристаллического дисплея с конечным CR задают верхние и нижние пределы идеального дисплея, x_max и x_min, которые могут достигаться с помощью компенсации изображений. Эти ограничения зависят от задней подсветки, bl, гаммы, g, и коэффициента контрастности, CR. Эти пределы отсечения, заданные посредством моделей, обобщаются в уравнении 58 .

Уравнение 58. Пределы отсечения в модели

В некоторых вариантах осуществления максимальные и минимальные ограничения могут использоваться для того, чтобы задавать вектор ошибок для каждого уровня задней подсветки. Примерная ошибка, показанная ниже, основана на квадрате ошибки, вызываемой посредством отсечения. Компоненты вектора ошибок - это ошибка между выводом идеального дисплея и ближайшим выводом на дисплее с конечным коэффициентом контрастности при указанном уровне задней подсветки. Алгебраически они задаются в уравнении 59.

Уравнение 59. Векторы ошибок дисплея

Примерные векторы ошибок наносятся на фиг. 99. Следует отметить, что 100%-ная задняя подсветка 3010 имеет ошибку при низком кодовом значении, вызываемую посредством поднятого уровня черного по сравнению с идеальным дисплеем. Они являются независимыми от данных изображения, завися только от уровня задней подсветки и кодового значения.

В некоторых вариантах осуществления эффективность жидкокристаллического дисплея с конечным CR для модуляции задней подсветки и компенсации изображений может быть обобщена с помощью набора векторов ошибок для каждой задней подсветки, как задано выше. Искажение изображения при каждом значении задней подсветки может быть выражено как сумма искажения пикселных значений изображений, уравнение 60. Как показано, в этих вариантах осуществления она может вычисляться из гистограммы изображения. Искажение изображения может вычисляться для каждой задней подсветки, bl, посредством взвешивания вектора ошибок для bl посредством гистограммы изображения. Результатом является измерение искажения изображения на каждом уровне задней подсветки.

Уравнение 60. Искажение изображения в зависимости от задней подсветки

Примерный вариант осуществления может быть продемонстрирован с тремя кадрами из последнего стандарта IEC для измерения мощности телевизора. Гистограммы изображений показаны на фиг. 100. Кривые искажения в зависимости от задней подсветки для гистограмм изображений по фиг. 100 и векторов ошибок дисплея по фиг. 99 показаны на фиг. 101.

В некоторых вариантах осуществления алгоритм выбора задней подсветки может работать посредством минимизации искажения изображения между идеальными дисплеями и дисплеями с конечным CR.

Некоторые варианты осуществления настоящего изобретения содержат структуру искажения, которая содержит как коэффициент контрастности дисплея, так и возможность включать в себя различные показатели ошибки. Некоторые варианты осуществления могут работать посредством минимизации числа отсеченных пикселов как весь или часть процесса выбора задней подсветки. Фиг. 102 сравнивает примерную сумму искажения по методу квадратической ошибки (SSE) с числом отсеченных пикселов (# отсеченных) в одном кадре тестового набора IEC. SSE учитывает величину ошибки в дополнение к числу отсеченных пикселов и сохраняет выделения яркостью изображений. Для этого изображения минимум SSE возникает при намного более высокой задней подсветке, чем минимум числа отсеченных пикселов. Это различие возникает вследствие учета посредством SSE величины ошибки отсечения в дополнение к числу отсеченных пикселов. Кривая, представляющая число отсеченных пикселов, не является плавной и имеет много локальных минимумов. Кривая SSE является плавной, и локальный минимум является глобальным минимумом, делая субдискретизированный поиск минимальной SSE эффективным.

Вычисление с помощью этой структуры искажения не является таким трудным, как может сначала казаться. В некоторых вариантах осуществления выбор задней подсветки может выполняться один раз в расчете на кадр, а не на интенсивности пиксела. Как указано выше, весовые коэффициенты ошибок дисплея зависят только от параметров дисплея и задней подсветки, а не содержимого изображений. Таким образом, моделирование дисплея и вычисление вектора ошибок может выполняться предварительно, если требуется. Вычисление в реальном масштабе времени может содержать вычисление гистограммы, взвешивание векторов ошибок посредством гистограммы изображения и выбор минимального искажения. В некоторых вариантах осуществления набор значений задней подсветки, используемых при минимизации искажения, может быть субдискретизирован и позволяет эффективно находить минимум искажения. В примерном варианте осуществления тестируются 17 уровней задней подсветки.

В некоторых вариантах осуществления настоящего изобретения моделирование дисплея, вычисление векторов ошибок, вычисление гистограммы, взвешивание векторов ошибок посредством гистограммы изображения и выбор задней подсветки для минимального искажения могут выполняться в реальном масштабе времени. В некоторых вариантах осуществления моделирование дисплея и вычисление векторов ошибок может выполняться предварительно перед фактической обработкой изображений, тогда как вычисление гистограммы, взвешивание векторов ошибок посредством гистограммы изображения и выбор задней подсветки для минимального искажения выполняются в реальном масштабе времени. В некоторых вариантах осуществления точки отсечения для каждого уровня задней подсветки могут вычисляться предварительно, тогда как вычисление векторов ошибок, вычисление гистограммы, взвешивание векторов ошибок посредством гистограммы изображения и выбор задней подсветки для минимального искажения выполняются в реальном масштабе времени.

В некоторых вариантах осуществления настоящего изобретения поднабор полного диапазона уровней исходной световой освещенности может выбираться для рассмотрения при выборе уровня для изображения. В некоторых вариантах осуществления этот поднабор может выбираться посредством квантования полного диапазона уровней. В этих вариантах осуществления только уровни в поднаборе рассматриваются для выбора. В некоторых вариантах осуществления размер этого поднабора уровней освещенности может предписываться посредством ограничений по памяти или некоторого другого ограничения по ресурсам.

В некоторых вариантах осуществления этот поднабор уровней исходной световой освещенности дополнительно может ограничиваться во время обработки посредством ограничения значений поднабора, из которых делается выбор, диапазоном, связанным с уровнем, выбранным для предыдущего кадра. В некоторых вариантах осуществления этот ограниченный поднабор может ограничиваться значениями в рамках данного диапазона уровня, выбранного для последнего кадра. Например, в некоторых вариантах осуществления выбор уровня исходной световой освещенности может ограничиваться ограниченным диапазоном 7 значений с обеих сторон ранее выбранного уровня.

В некоторых вариантах осуществления настоящего изобретения ограничения на диапазон уровней исходной световой освещенности могут зависеть от обнаружения быстрой смены сцен. В некоторых вариантах осуществления алгоритм поиска уровня исходной световой освещенности может осуществлять поиск в ограниченном диапазоне из поднабора уровней, когда быстрая смена сцены не обнаружена рядом с текущим кадром, и алгоритм может осуществлять поиск во всем поднаборе уровней освещенности, когда быстрая смена сцены обнаружена.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 103. В этих вариантах осуществления данные изображения из кадра 2250 исходного входного изображения вводятся в модуль 2251 обнаружения быстрой смены сцен, чтобы определять то, является или нет быстрая смена сцены ближайшей к текущему входному кадру 2250. Данные изображений, связанные с кадрами, смежными с текущим кадром, также могут вводиться в модуль 2251 обнаружения быстрой смены сцен. В некоторых вариантах осуществления эти данные изображения могут содержать данные гистограммы. Модуль обнаружения быстрой смены сцен затем может обрабатывать эти данные изображения, чтобы определять то, является или нет быстрая смена сцены ближайшей к текущему кадру. В некоторых вариантах осуществления быстрая смена сцены может обнаруживаться, когда гистограмма предыдущего кадра и гистограмма текущего кадра отличаются на пороговую величину. Результаты процесса обнаружения быстрой смены сцен затем вводятся в модуль 2252 искажения, где присутствие быстрой смены сцены может использоваться для того, чтобы определять то, какие значения исходной световой освещенности учитываются в процессе выбора уровня исходной световой освещенности. В некоторых вариантах осуществления более широкий диапазон уровней освещенности может учитываться, когда быстрая смена сцены является ближайшей. В некоторых вариантах осуществления ограниченный поднабор уровней освещенности, связанных с уровнем, выбранным для последнего кадра с изображением, может использоваться в процессе выбора. Соответственно процесс обнаружения быстрой смены сцен влияет на диапазон значений, учитываемых в процессе исходной световой освещенности. В некоторых вариантах осуществления, когда быстрая смена сцены обнаружена, больший диапазон уровней освещенности учитывается в процессе выбора для текущего кадра. В некоторых вариантах осуществления, когда быстрая смена сцены обнаружена, диапазон уровней освещенности, который не связан с уровнем, выбранным для предыдущего кадра, используется в процессе выбора для текущего кадра, тогда как диапазон уровней освещенности, который заключен в скобки для уровня, выбранного для предыдущего кадра, используется в процессе выбора, когда быстрая смена сцены не обнаружена.

После того как диапазон или поднабор вариантов уровней освещенности определен в отношении присутствия быстрой смены сцены, значения искажения для каждого уровня освещенности варианта могут быть определены 2253. Один из уровней освещенности затем может выбираться 2254 на основе минимального значения искажения или некоторого другого критерия. Этот выбранный уровень освещенности затем может передаваться в модуль 2255 управления задней подсветкой или исходным светом для использования при отображении текущего кадра. Выбранный уровень освещенности также может использоваться в качестве ввода в процесс 2256 компенсации изображений для вычисления кривой градационной шкалы или в аналогичное средство компенсации. Компенсированное или улучшенное изображение 2257, получающееся из этого процесса, может затем отображаться.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 104. В этих вариантах осуществления изображение или последовательность изображений анализируются 2260, чтобы определять присутствие быстрой смены сцены, ближайшей к текущему кадру. Если быстрая смена сцены обнаружена 2263, больший набор уровня исходной световой освещенности может учитываться в процессе выбора уровня исходной световой освещенности. Этот больший набор является относительным по размеру для поднабора, который может использоваться, когда быстрая смена сцены не обнаружена. В некоторых вариантах осуществления этот больший набор также может быть не связан со значением, используемым для предыдущего кадра. Когда быстрая смена сцены не обнаружена 2262, ограниченный поднабор уровней освещенности может использоваться в процессе выбора. В некоторых вариантах осуществления этот ограниченный поднабор также может быть связан со значением, используемым для предыдущего кадра. Например, в некоторых вариантах осуществления ограниченный поднабор может быть поднабором, заключенным в скобки для значения, используемого для предыдущего кадра. Как только ограничения на диапазон уровней освещенности определены, уровень исходной световой освещенности может выбираться 2264 из соответствующего диапазона или поднабора.

Варианты осуществления модуля сопоставления

Некоторые варианты осуществления настоящего изобретения могут содержать модуль сопоставления, который связывает одну или более характеристик изображений с атрибутом модели дисплея. В некоторых вариантах осуществления одной из этих характеристик изображений может быть средний пикселный уровень (APL) изображения, который может быть определен непосредственно из графического файла, из гистограммы изображений или из других данных изображений. В некоторых вариантах осуществления модуль сопоставления может сопоставлять APL изображения с масштабным коэффициентом модели дисплея, с максимальным выходным значением модели дисплея, с конкретной моделью дисплея или с некоторым другим атрибутом модели дисплея. В некоторых вариантах осуществления другие вводы, в дополнение к APL или другой характеристике изображения, могут использоваться для того, чтобы определять атрибут модели дисплея. Например, в некоторых вариантах осуществления уровень окружающего света, выбор пользовательской яркости или выбираемый пользователем выбор карты также могут влиять на атрибут модели дисплея, выбранный посредством модуля сопоставления.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 105. В этих вариантах осуществления изображение 2270 или данные изображения могут вводиться в модуль 2271 сопоставления. Модуль сопоставления может содержать одну или более карт или конструкций корреляции, которые связывают одну или более характеристик изображений с одним или более атрибутами модели дисплея. В некоторых вариантах осуществления модуль 2271 сопоставления может связывать APL изображения с максимальным выходным значением идеального дисплея или масштабным коэффициентом, связанным с максимальным выходным значением идеального дисплея. Например, модуль 2271 сопоставления может связывать значение APL изображения или другую характеристику изображения с масштабным коэффициентом, который может применяться к выводу модели идеального дисплея, описанному в уравнении 57.

Как только этот атрибут модели дисплея определен, другие параметры модели дисплея могут устанавливаться в модуле 2272 моделирования дисплея. Модуль 2272 моделирования дисплея может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности. Модуль 2273 искажения или показателя рабочих характеристик затем может использовать эти данные для того, чтобы определять показатель рабочих характеристик для различных уровней исходной световой освещенности. В некоторых вариантах осуществления модуль 2273 искажения или показателя рабочих характеристик также может принимать данные изображения, такие как гистограмму изображения, для использования при определении показателя рабочих характеристик. В некоторых вариантах осуществления модуль 2273 искажения может комбинировать данные гистограммы изображения со взвешенными значениями, определенными в модуле 2272 моделирования, чтобы определять значение искажения для данного уровня исходной световой освещенности.

Модуль 2274 выбора исходного светового уровня затем может выбирать соответствующий уровень исходной световой освещенности на основе показателя рабочих характеристик, такого как искажение. Этот выбранный уровень исходной световой освещенности затем может передаваться в модуль 2275 компенсации изображений так, чтобы изображение могло компенсироваться согласно изменениям в уровне исходной световой освещенности. Уровень освещенности также отправляется в модуль 2276 управления исходным светом дисплея. Компенсированное изображение, возникающее в результате процесса 2275 компенсации изображений, затем может отправляться на дисплей 2277, где оно может отображаться с использованием уровня исходной световой освещенности, выбранного для этого изображения.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 106. В этих вариантах осуществления изображение 2280 или данные изображения могут вводиться в модуль 2281 сопоставления. Модуль сопоставления может содержать одну или более карт или конструкций корреляции, которые связывают одну или более характеристик изображений с одним или более атрибутами модели дисплея, как пояснено выше относительно вариантов осуществления, проиллюстрированных на фиг. 105. В некоторых вариантах осуществления модуль 2288 выбора карты вручную также может влиять на выбор карты. Когда несколько карт или корреляций задано, пользователь может выбирать предпочтительную карту с помощью модуля 2288 выбора карты вручную. Эта выбранная карта может осуществлять корреляцию, отличную от карты по умолчанию или карты, которая выбрана автоматически. В некоторых вариантах осуществления карты могут сохраняться и обозначаться для конкретных условий просмотра, к примеру для магазинного дисплея, низкого или высокого уровня окружающего света, или для конкретного просматриваемого содержимого, к примеру просмотра телевизора, просмотра фильма или проведения игры. После того как карта или корреляция выбрана, модуль 2281 сопоставления может коррелировать характеристику изображения с атрибутом модели дисплея и отправлять этот атрибут в модуль 2282 моделирования дисплея.

Как только этот атрибут модели дисплея определен, другие параметры модели дисплея могут устанавливаться в модуле 2282 моделирования дисплея. Модуль 2282 моделирования дисплея может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности. Модуль 2283 искажения или показателя рабочих характеристик затем может использовать эти данные для того, чтобы определять показатель рабочих характеристик для различных уровней исходной световой освещенности. В некоторых вариантах осуществления модуль 2283 искажения или показателя рабочих характеристик также может принимать данные изображения, такие как гистограмму изображения, для использования при определении показателя рабочих характеристик. В некоторых вариантах осуществления модуль 2283 искажения может комбинировать данные гистограммы изображения со взвешенными значениями, определенными в модуле 2282 моделирования, чтобы определять значение искажения для данного уровня исходной световой освещенности.

Модуль 2284 выбора исходного светового уровня затем может выбирать соответствующий уровень исходной световой освещенности на основе показателя рабочих характеристик, такого как искажение. Этот выбранный уровень исходной световой освещенности затем может передаваться в модуль 2285 компенсации изображений так, чтобы изображение могло компенсироваться согласно изменениям в уровне исходной световой освещенности. Уровень освещенности также отправляется в модуль 2286 управления исходным светом дисплея. Компенсированное изображение, возникающее в результате процесса 2285 компенсации изображений, затем может отправляться на дисплей 2287, где оно может отображаться с использованием уровня исходной световой освещенности, выбранного для этого изображения.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 107. В этих вариантах осуществления изображение 2290 или данные изображения могут вводиться в модуль 2291 сопоставления. Модуль сопоставления может содержать одну или более карт или конструкций корреляции, которые связывают одну или более характеристик изображений с одним или более атрибутами модели дисплея, как пояснено выше относительно вариантов осуществления, проиллюстрированных на фиг. 105. В некоторых вариантах осуществления модуль 2298 окружающего света также может влиять на выбор карты. Модуль 2298 окружающего света может содержать один или более датчиков для определения условий окружающего света, таких как интенсивность окружающего света, цвет окружающего света или варьирование характеристик окружающего света. Эти данные окружающего света могут быть переданы в модуль 2291 сопоставления.

Когда несколько карт или корреляций задано, модуль сопоставления может выбирать карту на основе данных, принимаемых из модуля 2298 окружающего света. Эта выбранная карта может осуществлять корреляцию, отличную от карты по умолчанию или карты, которая выбрана автоматически. В некоторых вариантах осуществления карты могут сохраняться и обозначаться для конкретных условий просмотра, таких как низкий или высокий окружающий свет, или различных конфигураций окружающего света. После того как карта или корреляция выбрана, модуль 2291 сопоставления может коррелировать характеристику изображения с атрибутом модели дисплея и отправлять этот атрибут в модуль 2292 моделирования дисплея.

Как только этот атрибут модели дисплея определен, другие параметры модели дисплея могут устанавливаться в модуле 2292 моделирования дисплея. Модуль 2292 моделирования дисплея может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности. Модуль 2293 искажения или показателя рабочих характеристик затем может использовать эти данные для того, чтобы определять показатель рабочих характеристик для различных уровней исходной световой освещенности. В некоторых вариантах осуществления модуль 2293 искажения или показателя рабочих характеристик также может принимать данные изображения, такие как гистограмму изображения, для использования при определении показателя рабочих характеристик. В некоторых вариантах осуществления модуль 2293 искажения может комбинировать данные гистограммы изображения со взвешенными значениями, определенными в модуле 2292 моделирования, чтобы определять значение искажения для данного уровня исходной световой освещенности.

Модуль 2294 выбора исходного светового уровня затем может выбирать соответствующий уровень исходной световой освещенности на основе показателя рабочих характеристик, такого как искажение. Этот выбранный уровень исходной световой освещенности затем может передаваться в модуль 2295 компенсации изображений так, чтобы изображение могло компенсироваться согласно изменениям в уровне исходной световой освещенности. Уровень освещенности также отправляется в модуль 2296 управления исходным светом дисплея. Компенсированное изображение, возникающее в результате процесса 2295 компенсации изображений, затем может отправляться на дисплей 2297, где оно может отображаться с использованием уровня исходной световой освещенности, выбранного для этого изображения.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 108. В этих вариантах осуществления изображение 2300 или данные изображения могут вводиться в модуль 2301 сопоставления. Модуль сопоставления может содержать одну или более карт или конструкций корреляции, которые связывают одну или более характеристик изображений с одним или более атрибутами модели дисплея, как пояснено выше относительно вариантов осуществления, проиллюстрированных на фиг. 105. В некоторых вариантах осуществления модуль 2308 выбора пользовательской яркости также может влиять на выбор карты. Модуль 2308 выбора пользовательской яркости может принимать пользовательский ввод, обозначающий яркость дисплея, и может содержать пользовательский интерфейс или другое средство для принятия пользовательского выбора. В некоторых вариантах осуществления ввод выбора пользовательской яркости может отправляться в модуль 2301 сопоставления, где ввод может использоваться для того, чтобы выбирать или модифицировать карту или модифицировать вывод из карты. Этот модифицированный вывод затем может отправляться в модуль 2302 моделирования. В других вариантах осуществления ввод выбора пользовательской яркости может отправляться непосредственно в модуль 2302 моделирования, где он может использоваться для того, чтобы модифицировать данные, принимаемые из модуля 2301 сопоставления.

Как только атрибут модели дисплея, который соответствует вводу пользовательской яркости, определен, другие параметры модели дисплея могут устанавливаться в модуле 2302 моделирования дисплея. Модуль 2302 моделирования дисплея может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности. Модуль 2303 искажения или показателя рабочих характеристик затем может использовать эти данные для того, чтобы определять показатель рабочих характеристик для различных уровней исходной световой освещенности. В некоторых вариантах осуществления модуль 2303 искажения или показателя рабочих характеристик также может принимать данные изображения, такие как гистограмму изображения, для использования при определении показателя рабочих характеристик. В некоторых вариантах осуществления модуль 2303 искажения может комбинировать данные гистограммы изображения со взвешенными значениями, определенными в модуле 2302 моделирования, чтобы определять значение искажения для данного уровня исходной световой освещенности.

Модуль 2304 выбора исходного светового уровня затем может выбирать соответствующий уровень исходной световой освещенности на основе показателя рабочих характеристик, такого как искажение. Этот выбранный уровень исходной световой освещенности затем может передаваться в модуль 2305 компенсации изображений так, чтобы изображение могло компенсироваться согласно изменениям в уровне исходной световой освещенности. Уровень освещенности также отправляется в модуль 2306 управления исходным светом дисплея. Компенсированное изображение, возникающее в результате процесса 2305 компенсации изображений, затем может отправляться на дисплей 2307, где оно может отображаться с использованием уровня исходной световой освещенности, выбранного для этого изображения.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 109. В этих вариантах осуществления изображение 2310 или данные изображения могут вводиться в модуль 2311 сопоставления. Модуль сопоставления может содержать одну или более карт или конструкций корреляции, которые связывают одну или более характеристик изображений с одним или более атрибутами модели дисплея, как пояснено выше относительно вариантов осуществления, проиллюстрированных на фиг. 105. В некоторых вариантах осуществления модуль 2318 выбора пользовательской яркости также может влиять на выбор карты. Модуль 2318 выбора пользовательской яркости может принимать пользовательский ввод, обозначающий предпочтительную яркость дисплея, и может содержать пользовательский интерфейс или другое средство для принятия пользовательского выбора. В некоторых вариантах осуществления ввод выбора пользовательской яркости может отправляться в модуль 2311 сопоставления, где ввод может использоваться для того, чтобы выбирать или модифицировать карту или модифицировать вывод из карты. Этот модифицированный вывод затем может отправляться в модуль 2312 моделирования. В других вариантах осуществления ввод выбора пользовательской яркости может отправляться непосредственно в модуль 2312 моделирования, где он может использоваться для того, чтобы модифицировать данные, принимаемые из модуля 2311 сопоставления. В этих вариантах осуществления выбор пользовательской яркости или индикатор того, что выбор пользовательской яркости выполнен, могут отправляться в модуль 2319 временного фильтра.

Как только атрибут модели дисплея, который соответствует вводу пользовательской яркости, определен, другие параметры модели дисплея могут устанавливаться в модуле 2312 моделирования дисплея. Модуль 2312 моделирования дисплея может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности. Модуль 2313 искажения или показателя рабочих характеристик затем может использовать эти данные для того, чтобы определять показатель рабочих характеристик для различных уровней исходной световой освещенности. В некоторых вариантах осуществления модуль 2313 искажения или показателя рабочих характеристик также может принимать данные изображения, такие как гистограмму изображения, для использования при определении показателя рабочих характеристик. В некоторых вариантах осуществления модуль 2313 искажения может комбинировать данные гистограммы изображения со взвешенными значениями, определенными в модуле 2312 моделирования, чтобы определять значение искажения для данного уровня исходной световой освещенности.

Модуль 2314 выбора исходного светового уровня затем может выбирать соответствующий уровень исходной световой освещенности на основе показателя рабочих характеристик, такого как искажение.

В этих вариантах осуществления выбранный уровень исходной световой освещенности затем может отправляться в модуль 2319 временного фильтра, который является чувствительным к выбору пользовательской яркости. В некоторых вариантах осуществления модуль фильтра может применять другой фильтр, когда выбор пользовательской яркости принят. В некоторых вариантах осуществления фильтр может избирательно применяться, когда выбор пользовательской яркости не принят, и не применяться, когда выбор пользовательской яркости принят. В некоторых вариантах осуществления фильтр может модифицироваться в ответ на прием выбора пользовательской яркости.

После фильтрации сигнала уровня исходной световой освещенности фильтрованный сигнал затем может передаваться в модуль 2315 компенсации изображений так, чтобы изображение могло компенсироваться согласно изменениям в уровне исходной световой освещенности. Фильтрованный уровень освещенности также отправляется в модуль 2316 управления исходным светом дисплея. Компенсированное изображение, возникающее в результате процесса 2315 компенсации изображений, затем может отправляться на дисплей 2317, где оно может отображаться с использованием фильтрованного уровня исходной световой освещенности, выбранного для этого изображения.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 110. В этих вариантах осуществления изображение 2330 или данные изображения могут вводиться в модуль 2331 сопоставления. Модуль сопоставления может содержать одну или более карт или конструкций корреляции, которые связывают одну или более характеристик изображений с одним или более атрибутами модели дисплея, как пояснено выше относительно вариантов осуществления проиллюстрированных на фиг. 105. В некоторых вариантах осуществления модуль 2338 выбора пользовательской яркости также может влиять на выбор карты. Модуль 2338 выбора пользовательской яркости может принимать пользовательский ввод, обозначающий яркость дисплея, и может содержать пользовательский интерфейс или другое средство для принятия пользовательского выбора. В некоторых вариантах осуществления ввод выбора пользовательской яркости может отправляться в модуль 2331 сопоставления, где ввод может использоваться для того, чтобы выбирать или модифицировать карту или модифицировать вывод из карты. Этот модифицированный вывод затем может отправляться в модуль 2332 моделирования. В других вариантах осуществления ввод выбора пользовательской яркости может отправляться непосредственно в модуль 2332 моделирования, где он может использоваться для того, чтобы модифицировать данные, принимаемые из модуля 2331 сопоставления.

Эти варианты осуществления дополнительно могут содержать модуль 2198 окружающего света, который может содержать один или более датчиков для определения условий окружающего света, таких как интенсивность окружающего света, цвет окружающего света или варьирование характеристик окружающего света. Эти данные окружающего света могут быть переданы в модуль 2331 сопоставления.

Когда несколько карт или корреляций задано, модуль сопоставления может выбирать карту на основе данных, принимаемых из модуля 2339 окружающего света. Эта выбранная карта может осуществлять корреляцию, отличную от карты по умолчанию или карты, которая выбрана автоматически. В некоторых вариантах осуществления карты могут сохраняться и обозначаться для конкретных условий просмотра, таких как низкий или высокий окружающий свет, или различных конфигураций окружающего света.

Эти варианты осуществления дополнительно могут содержать модуль 2340 выбора карты вручную, который также может влиять на выбор карты. Когда несколько карт или корреляций задано, пользователь может выбирать предпочтительную карту с помощью модуля 2340 выбора карты вручную. Эта выбранная карта может осуществлять корреляцию, отличную от карты по умолчанию или карты, которая выбрана автоматически. В некоторых вариантах осуществления карты могут сохраняться и обозначаться для конкретных условий просмотра, к примеру для магазинного дисплея, низкого или высокого уровня окружающего света, или для конкретного просматриваемого содержимого, к примеру просмотра телевизора, просмотра фильма или проведения игры.

В этих вариантах осуществления данные, принимаемые из модуля 2338 выбора пользовательской яркости, модуля 2340 выбора карты вручную и модуля 2339 окружающего света, могут использоваться для того, чтобы выбирать карту, модифицировать карту или модифицировать результаты, полученные из карты. В некоторых вариантах осуществления ввод из одного из этих модулей может иметь приоритет над другими модулями. Например, в некоторых вариантах осуществления выбор карты вручную, принимаемый из пользовательского ввода, может переопределять процесс автоматического выбора карты на основе условий окружающего света. В некоторых вариантах осуществления несколько вводов в модуль 2331 сопоставления может быть комбинировано так, чтобы выбирать и модифицировать карту или вывод карты.

После того как карта или корреляция выбрана, модуль 2331 сопоставления может коррелировать характеристику изображения с атрибутом модели дисплея и отправлять этот атрибут в модуль 2332 моделирования дисплея.

Как только атрибут модели дисплея, который соответствует ограничениям в модуле 2331 сопоставления, определен, другие параметры модели дисплея могут устанавливаться в модуле 2332 моделирования дисплея. Модуль 2332 моделирования дисплея может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности. Модуль 2333 искажения или показателя рабочих характеристик затем может использовать эти данные для того, чтобы определять показатель рабочих характеристик для различных уровней исходной световой освещенности. В некоторых вариантах осуществления модуль 2333 искажения или показателя рабочих характеристик также может принимать данные изображения, такие как гистограмму изображения, для использования при определении показателя рабочих характеристик. В некоторых вариантах осуществления модуль 2333 искажения может комбинировать данные гистограммы изображения со взвешенными значениями, определенными в модуле 2332 моделирования, чтобы определять значение искажения для данного уровня исходной световой освещенности.

Модуль 2334 выбора исходного светового уровня затем может выбирать соответствующий уровень исходной световой освещенности на основе показателя рабочих характеристик, такого как искажение. Этот выбранный уровень исходной световой освещенности затем может передаваться в модуль 2335 компенсации изображений так, чтобы изображение могло компенсироваться согласно изменениям в уровне исходной световой освещенности. Уровень освещенности также отправляется в модуль 2336 управления исходным светом дисплея. Компенсированное изображение, возникающее в результате процесса 2335 компенсации изображений, затем может отправляться на дисплей 2337, где оно может отображаться с использованием уровня исходной световой освещенности, выбранного для этого изображения.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 111. В этих вариантах осуществления изображение 2357 или данные изображения могут обрабатываться посредством модуля 2355 гистограммы, чтобы формировать гистограмму изображения. В некоторых вариантах осуществления может быть сформирована гистограмма сигнала яркости. В других вариантах осуществления может быть сформирована гистограмма цветового канала. Гистограмма изображения затем может сохраняться в буфере 2356 гистограмм. В некоторых вариантах осуществления буфер 2356 гистограмм может иметь такую емкость, чтобы приспосабливать несколько гистограмм, таких как гистограммы из предыдущих кадров видеопоследовательности. Эти гистограммы затем могут использоваться посредством различных модулей системы в нескольких целях.

В некоторых вариантах осуществления модуль 2359 быстрой смены сцен может осуществлять доступ к буферу гистограмм и использовать данные гистограммы, чтобы определять то, присутствует или нет быстрая смена сцены в видеопоследовательности. Эта информация о быстрой смене сцены затем может отправляться в модуль 2364 временного фильтра, где она может использоваться для того, чтобы переключать или модифицировать фильтр или параметры фильтра. Модуль 2353 сопоставления также может осуществлять доступ к буферу 2356 гистограмм и использовать данные гистограммы для того, чтобы вычислять APL или другую характеристику изображения.

Модуль сопоставления может содержать одну или более карт или конструкций корреляции, которые связывают одну или более характеристик изображений с одним или более атрибутами модели дисплея, как пояснено выше относительно вариантов осуществления, проиллюстрированных на фиг. 105. В некоторых вариантах осуществления модуль 2351 выбора пользовательской яркости также может влиять на выбор карты. Модуль 2351 выбора пользовательской яркости может принимать пользовательский ввод, обозначающий яркость дисплея, и может содержать пользовательский интерфейс или другое средство для принятия пользовательского выбора. В некоторых вариантах осуществления ввод выбора пользовательской яркости может отправляться в модуль 2353 сопоставления, где ввод может использоваться для того, чтобы выбирать или модифицировать карту или модифицировать вывод из карты. Этот модифицированный вывод затем может отправляться в модуль 2354 моделирования. В других вариантах осуществления ввод выбора пользовательской яркости может отправляться непосредственно в модуль 2354 моделирования, где он может использоваться для того, чтобы модифицировать данные, принимаемые из модуля 2353 сопоставления.

Эти варианты осуществления дополнительно могут содержать модуль 2350 окружающего света, который может содержать один или более датчиков для определения условий окружающего света, таких как интенсивность окружающего света, цвет окружающего света или варьирование характеристик окружающего света. Эти данные окружающего света могут быть переданы в модуль 2353 сопоставления.

Эти варианты осуществления дополнительно могут содержать модуль 2352 выбора карты вручную, который также может влиять на выбор карты. Когда несколько карт или корреляций задано, пользователь может выбирать предпочтительную карту с помощью модуля 2352 выбора карты вручную.

В этих вариантах осуществления данные, принимаемые из модуля 2351 выбора пользовательской яркости, модуля 2352 выбора карты вручную и модуля 2350 окружающего света, могут использоваться для того, чтобы выбирать карту, модифицировать карту или модифицировать результаты, полученные из карты. В некоторых вариантах осуществления ввод из одного из этих модулей может иметь приоритет над другими модулями. Например, в некоторых вариантах осуществления выбор карты вручную, принимаемый из пользовательского ввода, может переопределять процесс автоматического выбора карты на основе условий окружающего света. В некоторых вариантах осуществления несколько вводов в модуль 2353 сопоставления может быть комбинировано так, чтобы выбирать и модифицировать карту или вывод карты.

После того как карта или корреляция выбрана, модуль 2353 сопоставления может коррелировать характеристику изображения с атрибутом модели дисплея и отправлять этот атрибут в модуль 2354 моделирования дисплея.

Как только атрибут модели дисплея, который соответствует ограничениям в модуле 2353 сопоставления, определен, другие параметры модели дисплея могут устанавливаться в модуле 2354 моделирования дисплея. Модуль 2354 моделирования дисплея может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности. Альтернативно, один или более параметров модели дисплея могут устанавливаться в модуле 2362 показателей рабочих характеристик, который может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя рабочих характеристик.

Модуль 2360 рабочих характеристик и искажения затем может использовать эти данные для того, чтобы определять показатель рабочих характеристик для различных уровней исходной световой освещенности. Модуль 2361 выбора исходного светового уровня затем может выбирать соответствующий уровень исходной световой освещенности на основе показателя рабочих характеристик, такого как искажение. Этот выбранный уровень исходной световой освещенности затем может передаваться в модуль 2364 временного фильтра.

Модуль 2364 временного фильтра может быть чувствительным к вводу из других модулей в системе. В частности, модуль 2359 быстрой смены сцен и модуль 2351 выбора пользовательской яркости могут обмениваться данными с модулем 2364 временного фильтра, чтобы указывать, когда быстрые смены сцены возникают и когда пользователь выбрал выбор яркости вручную. Когда эти события происходят, модуль временного фильтра может отвечать посредством переключения или модификации процессов фильтра, как пояснено выше относительно чувствительных к быстрым сменам сцен вариантов осуществления.

Фильтрованный уровень исходной световой освещенности затем может отправляться в управление 2367 исходным светом дисплея и в модуль 2368 вычисления компенсации изображений. Модуль 2368 вычисления компенсации изображений затем может использовать фильтрованный уровень исходной световой освещенности при вычислении компенсационной кривой или в другом процессе компенсации, как пояснено выше для различных вариантов осуществления. Эта компенсационная кривая или процесс затем могут указываться для модуля 2358 компенсации изображений, где кривая или процесс могут применяться к исходному изображению 2357, чтобы создавать улучшенное изображение 2369. Улучшенное изображение 2369 затем может отправляться на дисплей 2370, где изображение может отображаться вместе с фильтрованным уровнем исходной световой освещенности.

Варианты осуществления гистограммы составного цвета или цветового различия

Некоторые варианты осуществления настоящего изобретения могут приспосабливаться, чтобы работать в системе с ограниченными ресурсами и ограниченными параметрами. В некоторых вариантах осуществления информация изображений может получаться из схемы, микросхемы или процесса, который не предоставляет полные данные изображений для каждого цветового канала. В некоторых вариантах осуществления нисходящие процессы могут потребовать преобразования данных в конкретный формат для обработки.

В некоторых вариантах осуществления гистограмма составного цвета или цветового различия формируется из изображения и используется для того, чтобы предоставлять данные изображений в дополнительные процессы. В некоторых вариантах осуществления гистограмма цветового различия может быть двумерной гистограммой, содержащей значения сигнала яркости и значения цветового различия. В примерном варианте осуществления значения сигнала яркости гистограммы могут получаться с использованием уравнения 61.

Уравнение 61. Значения сигнала яркости гистограммы

где Y - это значение сигнала яркости гистограммы, R - это значение красного цветового канала, G - это значение зеленого цветового канала, а B - это значение синего цветового канала.

В примерном варианте осуществления значения цветового различия гистограммы могут получаться с использованием уравнения 62.

Уравнение 62. Значения цветового различия гистограммы

где R, G и B - это значения цветовых каналов, Y - это значение сигнала яркости, полученное из уравнения 61 или иным образом, и C - это значение цветового различия в гистограмме.

В некоторых вариантах осуществления двумерная гистограмма цветового различия может быть сформирована с использованием значения сигнала яркости, такого как значение, полученное через уравнение 61, и значения цветового различия, такого как значение, полученное через уравнение 62. Тем не менее, в некоторых вариантах осуществления значения сигнала яркости и значения цвета, полученные посредством других способов, могут использоваться для того, чтобы составлять двумерную гистограмму. Гистограммы, сформированные с каналом яркости и цветовым каналом, который представляет несколько цветовых каналов во входном изображении, но который не формируется с помощью значений цветовых различий, могут упоминаться как гистограмма составного цвета. Канал составного цвета может быть создан посредством комбинирования данных нескольких цветовых каналов в один канал составного цвета посредством сложения, умножения и иного комбинирования данных цветового канала.

Некоторые варианты осуществления настоящего изобретения могут содержать процессы, которые требуют одномерной гистограммы в качестве ввода. В этих вариантах осуществления двумерная гистограмма цветового различия или другая двумерная гистограмма зависимости цвета от сигнала яркости может быть преобразована в одномерную гистограмму. Этот процесс преобразования гистограмм может содержать суммирование нескольких элементов выборки двумерной гистограммы в один элемент выборки одномерной гистограммы. Некоторые примерные варианты осуществления могут быть описаны со ссылкой на фиг. 112. В этих вариантах осуществления элементы выборки двумерной гистограммы показываются в таблице 2400 с различными значениями 2401 элементов выборки. Каждый элемент выборки в таблице 2400 двумерной гистограммы может индексироваться с помощью координат, соответствующих номерам элементов выборки сигнала яркости и цвета. Номера элементов выборки увеличиваются вправо и вверх при первом элементе выборки в левой нижней части. Например, меньший левый двумерный элемент 2402 выборки может упоминаться как H(1,1), поскольку он является наименьшим элементом выборки сигнала яркости и наименьшим элементом выборки цвета. Аналогично, двумерный элемент 2403 выборки, который является вторым элементом выборки сигнала яркости и третьим элементом выборки цвета, может упоминаться как H(2,3).

Чтобы преобразовывать или суммировать двумерную гистограмму в одномерную гистограмму, процесс суммирования может быть выполнен с возможностью сохранять максимально возможный объем информации и учитывать коэффициенты, которые повлияли на формирование двумерной гистограммы. В примерном варианте осуществления элементы выборки двумерной гистограммы с постоянными значениями (Y+C) могут добавляться, чтобы создавать новый элемент выборки одномерной гистограммы. Например, первый одномерный элемент выборки должен соответствовать Y+C=2, что включает в себя только двумерный элемент выборки H(1,1) 2402, поскольку другие координаты элемента выборки не составляют в сумме 2. Следующий одномерный элемент выборки должен соответствовать Y+C=3, что включает в себя двумерные элементы выборки H(1,2) и H(2,1). Третий одномерный элемент выборки должен соответствовать Y+C=4, что включает в себя двумерные элементы выборки H(1,3), H(2,2) и H(3,1). Этот процесс продолжается для каждого значения Y+C с суммированием всех двумерных элементов выборки, соответствующих конкретному значению Y+C, становящемуся новым значением элемента выборки одномерной гистограммы. Линии 2404 суммирования иллюстрируют корреляцию. Этот процесс оптимально работает, когда доли сигнала яркости и цветов на двумерной гистограмме считаются практически одинаковыми. Тем не менее, это не всегда имеет место.

В некоторых случаях сигнал яркости и значения цвета на двумерной гистограмме цветового различия или другой гистограмме зависимости цвета от сигнала яркости получаются с использованием различных коэффициентов квантования, различных битовых глубин или других коэффициентов, которые задают цветовому компоненту весовой коэффициент, отличный от весового коэффициента соответствующего компонента сигнала яркости. В других случаях результирующая одномерная гистограмма может использоваться в процессе, где цвет или сигнал яркости имеют большее влияние на результаты. В этих случаях варианты осуществления могут содержать значение весового коэффициента цвета, которое влияет на процесс суммирования. В некоторых вариантах осуществления значение весового коэффициента цвета может использоваться для того, чтобы варьировать наклон линий 2404 суммирования, тем самым изменяя то, какие элементы выборки добавляются, чтобы создавать новый одномерный элемент выборки. Например, при значении весового коэффициента цвета 4, наклон линий суммирования может изменяться на 1:4, так что суммирование двумерных элементов выборки H(1,2) и H(4,1) является вторым одномерным значением элемента выборки.

Как только одномерная гистограмма сформирована, гистограмма или связанные данные могут быть переданы в другие системные модули. В некоторых вариантах осуществления одномерная гистограмма или связанные данные могут быть переданы в модуль сопоставления, модуль моделирования дисплея или модуль показателей рабочих характеристик, такой как модуль искажения. Одномерная гистограмма также может использоваться посредством модуля обнаружения быстрой смены сцен.

Некоторые примерные варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 113. В этих вариантах осуществления изображение 2420 может использоваться в качестве ввода для формирователя 2421 гистограмм цветового различия. Гистограмма цветового различия, сформированная посредством формирователя 2421 гистограмм, затем может быть передана в модуль 2423 преобразования гистограмм. Модуль 2423 преобразования гистограмм также может принимать параметр 2422 весового коэффициента цвета. На основе параметра 2422 весового коэффициента цвета модуль 2423 преобразования гистограмм может определять кривую линии суммирования или аналогичный параметр преобразования для преобразования двумерной гистограммы цветового различия в одномерную гистограмму. После того как параметры заданы, преобразование может выполняться, как пояснено выше, и одномерная гистограмма создается. Эта одномерная гистограмма затем может быть передана в различные модули, такие как модуль 2425 показателей рабочих характеристик для дополнительных процессов, таких как взвешивание гистограммы с помощью вектора ошибок.

Дополнительные варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 114. В этих вариантах осуществления изображение 2430 или данные изображения могут обрабатываться посредством модуля 2431 гистограммы цветового различия, чтобы формировать двумерную гистограмму цветового различия. Эта двумерная гистограмма цветового различия затем может быть преобразована в одномерную гистограмму в модуле 2432 преобразования гистограмм. Эта одномерная гистограмма 2433 затем может сохраняться в буфере 2434 гистограмм. В некоторых вариантах осуществления буфер 2434 гистограмм может иметь такую емкость, чтобы приспосабливать несколько гистограмм, таких как гистограммы из предыдущих кадров видеопоследовательности. Эти гистограммы затем могут использоваться посредством различных модулей системы в нескольких целях.

В некоторых вариантах осуществления модуль 2435 быстрой смены сцен может осуществлять доступ к буферу гистограмм и использовать данные гистограммы, чтобы определять то, присутствует или нет быстрая смена сцены в видеопоследовательности. Эта информация о быстрой смене сцены затем может отправляться в модуль 2445 временного фильтра, где она может использоваться для того, чтобы переключать или модифицировать фильтр или параметры фильтра. Модуль 2436 сопоставления также может осуществлять доступ к буферу 2434 гистограмм и использовать данные гистограммы для того, чтобы вычислять APL или другую характеристику изображения.

Модуль сопоставления может содержать одну или более карт или конструкций корреляции, которые связывают одну или более характеристик изображений с одним или более атрибутами модели дисплея, как пояснено выше относительно вариантов осуществления, проиллюстрированных на фиг. 105 и других чертежах. В некоторых вариантах осуществления модуль 2439 выбора пользовательской яркости также может влиять на выбор карты. Модуль 2439 выбора пользовательской яркости может принимать пользовательский ввод, обозначающий яркость дисплея, и может содержать пользовательский интерфейс или другое средство для принятия пользовательского выбора. В некоторых вариантах осуществления ввод выбора пользовательской яркости может отправляться в модуль 2436 сопоставления, где ввод может использоваться для того, чтобы выбирать или модифицировать карту или модифицировать вывод из карты. Этот модифицированный вывод затем может отправляться в модуль 2437 моделирования. В других вариантах осуществления ввод выбора пользовательской яркости может отправляться непосредственно в модуль 2437 моделирования, где он может использоваться для того, чтобы модифицировать данные, принимаемые из модуля 2436 сопоставления.

Эти варианты осуществления дополнительно могут содержать модуль 2438 окружающего света, который может содержать один или более датчиков для определения условий окружающего света, таких как интенсивность окружающего света, цвет окружающего света или варьирование характеристик окружающего света. Эти данные окружающего света могут быть переданы в модуль 2436 сопоставления.

Эти варианты осуществления дополнительно могут содержать модуль 2440 выбора карты вручную, который также может влиять на выбор карты. Когда несколько карт или корреляций задано, пользователь может выбирать предпочтительную карту с помощью модуля 2440 выбора карты вручную.

В этих вариантах осуществления данные, принимаемые из модуля 2439 выбора пользовательской яркости, модуля 2440 выбора карты вручную и модуля 2438 окружающего света, могут использоваться для того, чтобы выбирать карту, модифицировать карту или модифицировать результаты, полученные из карты. В некоторых вариантах осуществления ввод из одного из этих модулей может иметь приоритет над другими модулями. Например, в некоторых вариантах осуществления выбор карты вручную, принимаемый из пользовательского ввода, может переопределять процесс автоматического выбора карты на основе условий окружающего света. В некоторых вариантах осуществления несколько вводов в модуль 2436 сопоставления может быть комбинировано так, чтобы выбирать и модифицировать карту или вывод карты.

После того как карта или корреляция выбрана, модуль 2436 сопоставления может коррелировать характеристику изображения с атрибутом модели дисплея и отправлять этот атрибут в модуль 2437 моделирования дисплея.

Как только атрибут модели дисплея, который соответствует ограничениям в модуле 2436 сопоставления, определен, другие параметры модели дисплея могут устанавливаться в модуле 2437 моделирования дисплея. Модуль 2437 моделирования дисплея может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности. Альтернативно, один или более параметров модели дисплея могут устанавливаться в модуле 2441 показателей рабочих характеристик, который может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя рабочих характеристик.

Модуль 2443 рабочих характеристик и искажения затем может использовать эти данные для того, чтобы определять показатель рабочих характеристик для различных уровней исходной световой освещенности. Модуль 2444 выбора исходного светового уровня затем может выбирать соответствующий уровень исходной световой освещенности на основе показателя рабочих характеристик, такого как искажение. Этот выбранный уровень исходной световой освещенности затем может передаваться в модуль 2445 временного фильтра.

Модуль 2445 временного фильтра может быть чувствительным к вводу из других модулей в системе. В частности, модуль 2435 быстрой смены сцен и модуль 2439 выбора пользовательской яркости могут обмениваться данными с модулем 2445 временного фильтра, чтобы указывать, когда быстрые смены сцены возникают и когда пользователь выбрал выбор яркости вручную. Когда эти события происходят, модуль временного фильтра может отвечать посредством переключения или модификации процессов фильтра, как пояснено выше относительно чувствительных к быстрым сменам сцен вариантов осуществления.

Фильтрованный уровень исходной световой освещенности затем может отправляться в управление 2448 исходным светом дисплея и в модуль 2449 вычисления компенсации изображений. Модуль 2449 вычисления компенсации изображений затем может использовать фильтрованный уровень исходной световой освещенности при вычислении компенсационной кривой или в другом процессе компенсации, как пояснено выше для различных вариантов осуществления. Эта компенсационная кривая или процесс затем могут указываться для модуля 2450 компенсации изображений, где кривая или процесс могут применяться к исходному изображению 2430, чтобы создавать улучшенное изображение 2451. Улучшенное изображение 2451 затем может отправляться на дисплей 2452, где изображение может отображаться вместе с фильтрованным уровнем исходной световой освещенности.

Обработка гистограммы

Текущие системы и протоколы видеообработки накладывают ограничения на данные изображений, передаваемые в них. В некоторых случаях протоколы требуют передачи дополнительных данных, таких как метаданные и данные синхронизации, вместе с видеопоследовательностью. Этот дополнительный объем служебной информации ограничивает полосу пропускания, которая может использоваться для того, чтобы передавать фактическое видеосодержимое. В некоторых случаях этот объем служебной информации требует понижения битовой глубины видеосодержимого. Например, 8-битовые данные канала цвета или яркости могут ограничиваться 7 битами для передачи. Тем не менее, многие дисплейные устройства и процессы допускают обработку полного 8-битового динамического диапазона. В некоторых вариантах осуществления, когда гистограмма формируется или передается с более низким динамическим диапазоном, гистограмма может быть расширена на более высокий динамический диапазон, когда принимается в приемном устройстве или модуле.

В некоторых вариантах осуществления гистограмма более низкого динамического диапазона может быть сформирована посредством модуля гистограммы и передана в другой модуль, такой как модуль показателей рабочих характеристик, который может использовать вектор ошибок для того, чтобы взвешивать гистограмму как часть вычисления искажения. Тем не менее, этот процесс является более простым, когда диапазон гистограммы совпадает с диапазоном вектора ошибок, который имеет полный динамический диапазон изображения. Соответственно модуль показателей рабочих характеристик может расширять гистограмму на полный динамический диапазон изображения перед процессом взвешивания.

Аспекты некоторых вариантов осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 115. В этих вариантах осуществления линия 2460 исходного динамического диапазона представляет полный динамический диапазон изображения. В этом случае диапазон идет от низкой точки 2461 с нулевым значением к верхней точке 2462 со значением 255, что является полным 8-битовым диапазоном. Тем не менее, изображение с этим динамическим диапазоном и гистограмма, созданная из этого изображения, могут принудительно переводиться в ограниченный динамический диапазон вследствие ограничений передачи или обработки. Этот ограниченный динамический диапазон может представляться посредством линии 2463 ограниченного динамического диапазона, которая, в примерном варианте осуществления, идет от низкой точки 2464 со значением 16 к высокой точке 2465 со значением 235. После того как гистограмма сформирована или преобразована в этот ограниченный динамический диапазон и затем передана в процессы, которые не имеют этого ограничения динамического диапазона, гистограмма может быть преобразована обратно в полный динамический диапазон изображения или в другой динамический диапазон, который удовлетворяет ограничениям, в последующем процессе. В этом примерном варианте осуществления ограниченный динамический диапазон, представленный посредством линии 2463, преобразуется обратно в полный динамический диапазон изображения, представленный посредством линии 2466 диапазона, которая охватывает от низкой точки 2467 с нулевым значением до высокой точки 2468 с высокой точкой 255. Преобразование в полный динамический диапазон может содержать назначение новых значений низкой и высокой точке и использование линейного масштабирования для того, чтобы определять все промежуточные точки.

Дополнительные варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 116. В этих вариантах осуществления изображение 2470 или данные изображения могут обрабатываться посредством модуля 2471 гистограммы цветового различия, чтобы формировать двумерную гистограмму цветового различия. Эта двумерная гистограмма цветового различия затем может быть преобразована в одномерную гистограмму в модуле 2472 преобразования гистограмм. Одномерная гистограмма затем может быть дополнительно преобразована с помощью преобразователя 2493 диапазона гистограммы, который может изменять динамический диапазон одномерной гистограммы. В некоторых вариантах осуществления преобразователь 2493 диапазона гистограммы может преобразовывать гистограмму, принимаемую из преобразователя 2473 одномерной гистограммы в двумерную, в другой динамический диапазон, такой как динамический диапазон вектора ошибок или изображения.

Эта одномерная гистограмма 2473 с преобразованным динамическим диапазоном затем может сохраняться в буфере 2474 гистограмм. В некоторых вариантах осуществления буфер 2474 гистограмм может иметь такую емкость, чтобы приспосабливать несколько гистограмм, таких как гистограммы из предыдущих кадров видеопоследовательности. Эти гистограммы затем могут использоваться посредством различных модулей системы в нескольких целях.

В некоторых вариантах осуществления модуль 2475 быстрой смены сцен может осуществлять доступ к буферу гистограмм и использовать данные гистограммы, чтобы определять то, присутствует или нет быстрая смена сцены в видеопоследовательности. Эта информация о быстрой смене сцены затем может отправляться в модуль 2485 временного фильтра, где она может использоваться для того, чтобы переключать или модифицировать фильтр или параметры фильтра. Модуль 2476 сопоставления также может осуществлять доступ к буферу 2474 гистограмм и использовать данные гистограммы для того, чтобы вычислять APL или другую характеристику изображения.

Модуль сопоставления может содержать одну или более карт или конструкций корреляции, которые связывают одну или более характеристик изображений с одним или более атрибутами модели дисплея, как пояснено выше относительно вариантов осуществления проиллюстрированных на фиг. 105 и других чертежах. В некоторых вариантах осуществления модуль 2479 выбора пользовательской яркости также может влиять на выбор карты. Модуль 2479 выбора пользовательской яркости может принимать пользовательский ввод, обозначающий яркость дисплея, и может содержать пользовательский интерфейс или другое средство для принятия пользовательского выбора. В некоторых вариантах осуществления ввод выбора пользовательской яркости может отправляться в модуль 2476 сопоставления, где ввод может использоваться для того, чтобы выбирать или модифицировать карту или модифицировать вывод из карты. Этот модифицированный вывод затем может отправляться в модуль 2477 моделирования. В других вариантах осуществления ввод выбора пользовательской яркости может отправляться непосредственно в модуль 2477 моделирования, где он может использоваться для того, чтобы модифицировать данные, принимаемые из модуля 2476 сопоставления.

Эти варианты осуществления дополнительно могут содержать модуль 2478 окружающего света, который может содержать один или более датчиков для определения условий окружающего света, таких как интенсивность окружающего света, цвет окружающего света или варьирование характеристик окружающего света. Эти данные окружающего света могут быть переданы в модуль 2476 сопоставления.

Эти варианты осуществления дополнительно могут содержать модуль 2480 выбора карты вручную, который также может влиять на выбор карты. Когда несколько карт или корреляций задано, пользователь может выбирать предпочтительную карту с помощью модуля 2480 выбора карты вручную.

В этих вариантах осуществления данные, принимаемые из модуля 2479 выбора пользовательской яркости, модуля 2480 выбора карты вручную и модуля 2478 окружающего света, могут использоваться для того, чтобы выбирать карту, модифицировать карту или модифицировать результаты, полученные из карты. В некоторых вариантах осуществления ввод из одного из этих модулей может иметь приоритет над другими модулями. Например, в некоторых вариантах осуществления выбор карты вручную, принимаемый из пользовательского ввода, может переопределять процесс автоматического выбора карты на основе условий окружающего света. В некоторых вариантах осуществления несколько вводов в модуль 2476 сопоставления может быть комбинировано так, чтобы выбирать и модифицировать карту или вывод карты.

После того как карта или корреляция выбрана, модуль 2476 сопоставления может коррелировать характеристику изображения с атрибутом модели дисплея и отправлять этот атрибут в модуль 2477 моделирования дисплея.

Как только атрибут модели дисплея, который соответствует ограничениям в модуле 2476 сопоставления, определен, другие параметры модели дисплея могут устанавливаться в модуле 2477 моделирования дисплея. Модуль 2477 моделирования дисплея может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности. В некоторых вариантах осуществления пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности, могут быть определены в модуле 2481 показателей рабочих характеристик/искажения, к примеру в модуле 2482 вычисления весовых коэффициентов.

Модуль 2481 рабочих характеристик и искажения затем может использовать эти данные для того, чтобы определять показатель рабочих характеристик для различных уровней исходной световой освещенности. Модуль 2484 выбора исходного светового уровня затем может выбирать соответствующий уровень исходной световой освещенности на основе показателя рабочих характеристик, такого как искажение. Этот выбранный уровень исходной световой освещенности затем может передаваться в модуль 2485 временного фильтра.

Модуль 2485 временного фильтра может быть чувствительным к вводу из других модулей в системе. В частности, модуль 2475 быстрой смены сцен и модуль 2479 выбора пользовательской яркости могут обмениваться данными с модулем 2485 временного фильтра, чтобы указывать, когда быстрые смены сцены возникают и когда пользователь выбрал выбор яркости вручную. Когда эти события происходят, модуль временного фильтра может отвечать посредством переключения или модификации процессов фильтра, как пояснено выше относительно чувствительных к быстрым сменам сцен вариантов осуществления.

Фильтрованный уровень исходной световой освещенности затем может отправляться в управление 2488 исходным светом дисплея и в модуль 2489 вычисления компенсации изображений. Модуль 2489 вычисления компенсации изображений затем может использовать фильтрованный уровень исходной световой освещенности при вычислении компенсационной кривой или в другом процессе компенсации, как пояснено выше для различных вариантов осуществления. Эта компенсационная кривая или процесс затем могут указываться для модуля 2490 компенсации изображений, где кривая или процесс могут применяться к исходному изображению 2470, чтобы создавать улучшенное изображение 2491. Улучшенное изображение 2491 затем может отправляться на дисплей 2492, где изображение может отображаться вместе с фильтрованным уровнем исходной световой освещенности.

Схема компенсации изображений для дополнительной обработки

Во многих из вышеописанных систем компенсация изображений является последним процессом, который должен выполняться для изображения перед отображением. Тем не менее, в некоторых системах, обработка посткомпенсации, возможно, должна выполняться. Это может быть обусловлено архитектурой микросхем или процессов или другими ограничениями на систему, которые препятствуют производительности этой обработки перед компенсацией изображений. Дополнительно, в некоторых случаях, выполнение процесса для изображения до компенсации изображений может вызывать артефакты или ошибки в изображении, которые не обнаруживаются, когда процесс выполняется после компенсации изображений.

Когда процесс выполняется после того, как компенсация изображений осуществлена, алгоритм компенсации изображений должен учитывать эффект обработки посткомпенсации. Если нет, изображение может быть избыточно корректировано или недостаточно корректировано для данного уровня исходной световой освещенности или других условий. Соответственно, когда постобработка выполняется, некоторые варианты осуществления настоящего изобретения должны учитывать этот процесс в схеме или процессе алгоритма компенсации изображений.

Примерная система компенсации изображений или выбора уровня исходной световой освещенности показана на фиг. 117. Эта система содержит процесс для приема входного изображения 2500 в процессе 2501 градационной шкалы для предварительной компенсации изображений. После начального процесса 2501 модифицированное изображение или модифицированные данные изображения отправляются в модуль 2502 выбора задней подсветки для связанного с изображением выбора задней подсветки. Модифицированное изображение также отправляется в модуль 2503 сохранения яркости/компенсации изображений (BP/IC), который также принимает выбор задней подсветки, сформированный из модуля 2502 выбора задней подсветки. Модуль 2503 сохранения яркости или компенсации изображений формирует градационную шкалу BP/IC или аналогичный процесс, чтобы компенсировать изображение согласно изменениям задней подсветки, вытекающим из процесса выбора задней подсветки. Эта градационная шкала BP/IC или аналогичный процесс затем применяется к модифицированному изображению, приводя к компенсированному изображению 2505. Выбор задней подсветки также отправляется в заднюю подсветку 2504, чтобы управлять ее уровнем освещенности. Компенсированное изображение 2505 затем может отображаться с использованием выбранного уровня освещенности задней подсветки. В этой примерной системе процесс 2502 выбора задней подсветки работает для того же изображения, что и процесс сохранения яркости/компенсации изображений 2503. Эти варианты осуществления могут выступать в качестве эталонов для процессов посткомпенсации и модифицированных процессов компенсации.

Другая примерная система проиллюстрирована на фиг. 118. В этой системе входное изображение 2510 вводится в процесс 2513 градационной шкалы компенсации изображений. Входное изображение также вводится в модуль 2512 выбора задней подсветки. Выбор, вытекающий из процесса 2512 выбора задней подсветки, отправляется в процесс 2513 сохранения яркости/компенсации изображений, а также задней подсветки дисплея 2514. Процесс 2513 сохранения яркости/компенсации изображений принимает изображение и формирует градационную шкалу сохранения яркости/компенсации изображений или аналогичный процесс для компенсации изображений. Этот процесс сохранения яркости/компенсации изображений затем применяется к модифицированному изображению, приводя к компенсированному изображению, которое затем отправляется в процесс 2511 посткомпенсации. Процесс 2511 посткомпенсации затем дополнительно может обрабатывать компенсированное изображение через другую операцию градационной шкалы или другой процесс.

Посткомпенсированное изображение 2515 затем может отображаться на дисплее с выбранным уровнем освещенности задней подсветки. Постобработка компенсированного изображения может приводить к ненадлежащей компенсации изображений. Кроме того, в этой примерной системе, все ошибки, появляющиеся в процессе 2513 градационной шкалы компенсации, могут усиливаться в процессе 2511 посткомпенсации. В некоторых случаях эти усиленные ошибки могут делать эту систему неподходящей для использования.

Еще одна примерная система проиллюстрирована на фиг. 119. В этой системе входное изображение 2520 вводится в процесс 2522 выбора задней подсветки и в модифицированный процесс 2521 сохранения яркости/компенсации изображений, который модифицируется так, чтобы учитывать процесс 2523 посткомпенсации изображений. Выбор задней подсветки, вытекающий из процесса 2522 выбора задней подсветки, также отправляется в модифицированный процесс 2521 сохранения яркости/компенсации изображений. Модифицированный процесс 2521 сохранения яркости/компенсации изображений знает про процесс 2523 посткомпенсации изображений и может учитывать его эффект для изображения. Соответственно модифицированный процесс 2521 сохранения яркости/компенсации изображений может формироваться и применяться к изображению 2520, процесс, который компенсирует уровень освещенности задней подсветки, выбранный для изображения, и который компенсирует эффект процесса 2523 посткомпенсации изображений. Этот процесс затем применяется к изображению до того, как оно отправляется в процесс 2523 посткомпенсации изображений. Изображение затем обрабатывается с помощью процесса 2523 посткомпенсации изображений, который приводит к компенсированному и модифицированному изображению 2525, которое может отображаться с выбранным уровнем освещенности задней подсветки. В этой системе использование процесса 2523 посткомпенсации изображений исключает проблемы, создаваемые за счет усиления ошибок из процесса предварительной компенсации изображений.

Некоторые варианты осуществления настоящего изобретения содержат модифицированный процесс сохранения яркости/компенсации изображений, который учитывает эффект другого процесса градационной шкалы, применяемого после модифицированного процесса сохранения яркости/компенсации изображений. Этот дополнительный процесс градационной шкалы может упоминаться как процесс посткомпенсации. Эти модифицированные процессы могут быть основаны на таком принципе, что модифицированный процесс сохранения яркости/компенсации изображений, MBP(x), после которого выполняется другой процесс градационной шкалы, TS(x), имеет результат, идентичный результату процесса градационной шкалы, TS(x), после которого выполняется исходный процесс сохранения яркости/компенсации изображений, BP(x). Этот принцип может быть выражен в форме уравнения как уравнение 63.

Уравнение 63. Примерный модифицированный процесс BP/IC

Этот принцип может описываться графически на фиг. 120, где первый процесс градационной шкалы, TS(x), представляется посредством первой кривой 2530 градационной шкалы. Для входного кодового значения изображения, x 2531, этот процесс дает в результате выходное значение, w 2532. Вывод первой кривой градационной шкалы, w, затем может использоваться в качестве ввода для процесса BP/IC, BP(w), представляемого посредством второй кривой 2534 градационной шкалы. Используя w 2532 в качестве ввода в процесс BP/IC, процесс должен давать в результате выходное значение, z 2536. Значение z 2536 затем может использоваться для того, чтобы определять входное значение, y 2540, в процесс градационной шкалы, TS() 2538, который должен приводить к выводу, z 2536. Этим результатом является y 2540. В некоторых вариантах осуществления этот конечный процесс может выполняться посредством решения по вводу, который должен давать в результате требуемый известный вывод. В других вариантах осуществления обратная операция градационной шкалы, TS^-1, может получаться и использоваться для того, чтобы определять конечное значение, y 2540, с использованием z 2536.

Используя эти процессы либо математические или функциональные эквиваленты, взаимосвязь между входным кодовым значением, x 2531, и конечным значением, y 2540, может быть определена и преобразована 2541. В некоторых вариантах осуществления взаимосвязь между конечным значением y 2540 и начальным вводом x 2531 может передаваться посредством определения множества точек, которые соответствуют взаимосвязи, и интерполяции между теми точками, чтобы формировать модифицированную кривую сохранения яркости/компенсации изображений MBP(x).

Варианты осуществления переменной задержки

В некоторых вариантах осуществления настоящего изобретения изображение может требовать существенной обработки после компенсации. В других вариантах осуществления обработка уровня исходной световой освещенности может быть более трудоемкой для некоторых изображений, чем для других. В некоторых вариантах осуществления необязательные процессы, такие как преобразование частоты кадров, могут выбираться или не выбираться, тем самым создавая различия во времени обработки для обработки изображений. Соответственно некоторые варианты осуществления настоящего изобретения могут содержать переменную задержку для сигнала уровня исходной световой освещенности (сигнала задней подсветки).

Некоторые варианты осуществления настоящего изобретения содержат переменную задержку между процессом выбора уровня исходной световой освещенности и управлением исходным светом на дисплее. В некоторых вариантах осуществления эта задержка является избирательной и может быть инициирована при помощи конкретных процессов, таких как преобразование частоты кадров или другие процессы, которые влияют на время обработки конвейера компенсации изображений.

В некоторых вариантах осуществления настоящего изобретения модуль задержки, устройство задержки или процесс задержки могут содержать буфер сигнала уровня исходной световой освещенности, который может сохранять несколько сигналов уровня освещенности для нескольких кадров с изображениями. В некоторых вариантах осуществления буфер может иметь переменный вывод, который является чувствительным к модулю или процессу постобработки.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 121. В этих вариантах осуществления изображение 2550 вводится в модуль 2552 выбора уровня исходной световой освещенности для выбора уровня исходной световой освещенности, соответствующего изображению и устройству, условиям просмотра или другим коэффициентам. Изображение 2550 также может отправляться в модуль 2551 компенсации уровня исходной световой освещенности, который также может принимать уровень исходной световой освещенности, выбранный в модуле 2552 выбора уровня исходной световой освещенности. Модуль 2551 компенсации затем может использовать это изображение и информацию об исходном свете для того, чтобы формировать компенсационную кривую и применять компенсационную кривую к изображению. Компенсированное изображение затем может выводиться в модуль 2557 выбора или переключатель, что может задаваться посредством выбора вручную или автоматического выбора на основе характеристик изображений, характеристик дисплейного устройства, настроек пользователя или других параметров. На основе позиции переключателя 2557 компенсированное изображение может направляться в необязательный процесс 2554 посткомпенсации или может обходить необязательный процесс и отправляться непосредственно на дисплейное устройство 2556. Если необязательный процесс 2554 посткомпенсации выбран, то изображение отправляется в процесс, который может подвергаться существенной задержке. Если процесс 2554 выбран, процесс 2554 или ассоциированный процесс могут передавать в служебных сигналах в модуль 2553 задержки то, что возникает задержка. Модуль 2553 задержки затем может задерживать управляющий сигнал исходного света, ассоциированный с задержанным изображением, так что управляющий сигнал поступает в исходный свет 2555 дисплея, когда постобработанное изображение отправляется на дисплей 2556.

Некоторые варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 122. В этих вариантах осуществления изображение 2560 вводится в модуль 2564 уровня компенсации уровня исходной световой освещенности и также вводится в модуль 2561 гистограммы. Модуль 2564 гистограммы может формировать гистограмму из изображения 2560. Гистограмма затем может отправляться в модуль 2562 выбора уровня исходной световой освещенности, где уровень исходной световой освещенности может выбираться на основе гистограммы изображения и других параметров. Выбранный уровень исходной световой освещенности затем может быть передан в служебных сигналах в модуль 2564 компенсации. Когда уровень исходной световой освещенности известен, а изображение принято, модуль 2564 компенсации может обрабатывать изображение, чтобы компенсировать уровень исходной световой освещенности. Компенсированное изображение затем может отправляться в модуль 2565 преобразования частоты кадров, где изображение, к примеру последовательность изображений, необязательно может быть преобразовано в другую частоту кадров. Различные алгоритмы преобразования частоты кадров могут использоваться, и, в некоторых вариантах осуществления, несколько алгоритмов могут использоваться, причем каждый алгоритм ассоциирован с конкретной задержкой обработки. В некоторых вариантах осуществления модуль преобразования частоты кадров может содержать настройку обхода, которая опускает преобразование частоты кадров и ассоциированную задержку.

Выбранный уровень исходной световой освещенности также отправляется в модуль 2563 задержки, который может содержать буфер для сигналов уровня освещенности. Если алгоритм преобразования частоты кадров выбирается, модуль 2565 преобразования частоты кадров может отправлять сигнал задержки в модуль 2563 избирательной или переменной задержки. Этот сигнал задержки может указывать модулю 2563 задержки, что конвейер обработки изображений задерживается и что аналогичная задержка должна потребоваться для того, чтобы синхронизировать изображение с ассоциированным сигналом уровня исходной световой освещенности. Когда процесс преобразования частоты кадров выбирается, модуль 2565 преобразования частоты кадров затем может обрабатывать изображение или последовательность изображений и выводить изображение 2567, 2566 с преобразованной частотой кадров на дисплейное устройство. Кроме того, в надлежащее время модуль 2563 задержки выводит сигнал уровня исходной световой освещенности, ассоциированный с изображением 2567, 2566 с преобразованной частотой кадров.

Дополнительные варианты осуществления настоящего изобретения могут быть описаны со ссылкой на фиг. 123. В этих вариантах осуществления изображение 2577 или данные изображения могут обрабатываться посредством модуля 2592 гистограммы цветового различия, чтобы формировать двумерную гистограмму цветового различия. Эта двумерная гистограмма цветового различия затем может быть преобразована в одномерную гистограмму в модуле 2593 преобразования гистограмм. Эта одномерная гистограмма 2575 затем может сохраняться в буфере 2576 гистограмм. В некоторых вариантах осуществления буфер 2576 гистограмм может иметь такую емкость, чтобы приспосабливать несколько гистограмм, таких как гистограммы из предыдущих кадров видеопоследовательности. Эти гистограммы затем могут использоваться посредством различных модулей системы в нескольких целях.

В некоторых вариантах осуществления модуль 2579 быстрой смены сцен может осуществлять доступ к буферу гистограмм и использовать данные гистограммы, чтобы определять то, присутствует или нет быстрая смена сцены в видеопоследовательности. Эта информация о быстрой смене сцены затем может отправляться в модуль 2584 временного фильтра, где она может использоваться для того, чтобы переключать или модифицировать фильтр или параметры фильтра. Модуль 2573 сопоставления также может осуществлять доступ к буферу 2576 гистограмм и использовать данные гистограммы для того, чтобы вычислять APL или другую характеристику изображения.

Модуль сопоставления может содержать одну или более карт или конструкций корреляции, которые связывают одну или более характеристик изображений с одним или более атрибутами модели дисплея, как пояснено выше относительно вариантов осуществления, проиллюстрированных на фиг. 105 и других чертежах. В некоторых вариантах осуществления модуль 2571 выбора пользовательской яркости также может влиять на выбор карты. Модуль 2571 выбора пользовательской яркости может принимать пользовательский ввод, обозначающий яркость дисплея, и может содержать пользовательский интерфейс или другое средство для принятия пользовательского выбора. В некоторых вариантах осуществления ввод выбора пользовательской яркости может отправляться в модуль 2573 сопоставления, где ввод может использоваться для того, чтобы выбирать или модифицировать карту или модифицировать вывод из карты. Этот модифицированный вывод затем может отправляться в модуль 2574 моделирования. В других вариантах осуществления ввод выбора пользовательской яркости может отправляться непосредственно в модуль 2574 моделирования, где он может использоваться для того, чтобы модифицировать данные, принимаемые из модуля 2573 сопоставления.

Эти варианты осуществления дополнительно могут содержать модуль 2570 окружающего света, который может содержать один или более датчиков для определения условий окружающего света, таких как интенсивность окружающего света, цвет окружающего света или варьирование характеристик окружающего света. Эти данные окружающего света могут быть переданы в модуль 2573 сопоставления.

Эти варианты осуществления дополнительно могут содержать модуль 2572 выбора карты вручную, который также может влиять на выбор карты. Когда несколько карт или корреляций задано, пользователь может выбирать предпочтительную карту с помощью модуля 2572 выбора карты вручную.

В этих вариантах осуществления данные, принимаемые из модуля 2571 выбора пользовательской яркости, модуля 2572 выбора карты вручную и модуля 2570 окружающего света, могут использоваться для того, чтобы выбирать карту, модифицировать карту или модифицировать результаты, полученные из карты. В некоторых вариантах осуществления ввод из одного из этих модулей может иметь приоритет над другими модулями. Например, в некоторых вариантах осуществления выбор карты вручную, принимаемый из пользовательского ввода, может переопределять процесс автоматического выбора карты на основе условий окружающего света. В некоторых вариантах осуществления несколько вводов в модуль 2573 сопоставления может быть комбинировано так, чтобы выбирать и модифицировать карту или вывод карты.

После того как карта или корреляция выбрана, модуль 2573 сопоставления может коррелировать характеристику изображения с атрибутом модели дисплея и отправлять этот атрибут в модуль 2574 моделирования дисплея.

Как только атрибут модели дисплея, который соответствует ограничениям в модуле 2573 сопоставления, определен, другие параметры модели дисплея могут устанавливаться в модуле 2574 моделирования дисплея. Модуль 2574 моделирования дисплея может определять пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности. В некоторых вариантах осуществления пределы отсечения в модели, векторы ошибок дисплея, взвешенные значения гистограммы и другие данные для определения разницы, ошибки, искажения или другого показателя характеристик изображения, когда отображается при конкретном уровне исходной световой освещенности, могут быть определены в модуле 2583 показателей рабочих характеристик/искажения, к примеру в модуле 2582 вычисления весовых коэффициентов.

Модуль 2583 рабочих характеристик и искажения также может содержать преобразователь 2594 диапазона гистограммы для изменения динамического диапазона гистограммы. В некоторых вариантах осуществления преобразователь 2594 диапазона гистограммы может преобразовывать гистограмму, принимаемую из буфера гистограмм 2576, в другой динамический диапазон, такой как динамический диапазон вектора ошибок. Модуль 2583 рабочих характеристик и искажения затем может использовать эти данные для того, чтобы определять показатель рабочих характеристик для различных уровней исходной световой освещенности. Модуль 2581 выбора исходного светового уровня затем может выбирать соответствующий уровень исходной световой освещенности на основе показателя рабочих характеристик, такого как искажение. Этот выбранный уровень исходной световой освещенности затем может передаваться в модуль 2584 временного фильтра.

Модуль 2584 временного фильтра может быть чувствительным к вводу из других модулей в системе. В частности, модуль 2579 быстрой смены сцен и модуль 2571 выбора пользовательской яркости могут обмениваться данными с модулем 2584 временного фильтра, чтобы указывать, когда быстрые смены сцены возникают и когда пользователь выбрал выбор яркости вручную. Когда эти события происходят, модуль временного фильтра может отвечать посредством переключения или модификации процессов фильтра, как пояснено выше относительно чувствительных к быстрым сменам сцен вариантов осуществления.

Фильтрованный уровень исходной световой освещенности затем может отправляться в модуль 2587 задержки, который может задерживать или буферизовать сигнал уровня освещенности синхронно с ассоциированным изображением, которое может быть задержано в конвейере обработки изображений, таком как процесс 2595 посткомпенсации. В некоторых вариантах осуществления процесс 2595 посткомпенсации может быть необязательным и может избирательно активировать модуль 2587 задержки. После задержек в модуле 2587 задержки сигнал уровня освещенности может отправляться в управление 2591 исходным светом дисплея. Фильтрованный уровень исходной световой освещенности также может отправляться из модуля 2584 фильтра в модуль 2588 вычисления компенсации изображений. Модуль 2588 вычисления компенсации изображений затем может использовать фильтрованный уровень исходной световой освещенности при вычислении компенсационной кривой или другого процесса компенсации, как пояснено выше для различных вариантов осуществления. Эта компенсационная кривая или процесс затем могут указываться для модуля 2578 компенсации изображений, где кривая или процесс могут применяться к исходному изображению 2577, чтобы создавать улучшенное изображение 2589. Улучшенное изображение 2589 затем может отправляться в процесс 2595 посткомпенсации, такой как процесс преобразования частоты кадров. Процесс 2595 посткомпенсации также может обмениваться данными с модулем 2587 задержки, чтобы избирательно активировать или модулировать процесс задержки. После обработки посткомпенсации обработанное изображение может отправляться на дисплей 2590, где изображение может отображаться вместе с фильтрованным уровнем исходной световой освещенности, который надлежащим образом задерживается при необходимости.

Термины и выражения, которые использованы в вышеприведенном подробном описании, используются в качестве терминов описания, а не ограничения, и нет намерения использовать такие термины и выражения для исключения эквивалентности показанных и описанных признаков или их частей, и признается, что объем изобретения задается и ограничивается только посредством нижеприведенной формулы изобретения.

Claims

1. Способ синхронизации сигнала уровня исходной световой освещенности с необязательной обработкой изображений в конвейере компенсации изображений, при этом упомянутый способ содержит этапы, на которых:
a) выбирают уровень исходной световой освещенности;
b) отправляют упомянутый выбранный уровень исходной световой освещенности в процесс задержки;
c) отправляют упомянутый выбранный уровень исходной световой освещенности в процесс компенсации изображений;
d) определяют то, выбрана ли дополнительная процедура обработки изображений;
e) передают сигнал дополнительного процесса в упомянутый процесс переменной задержки, когда упомянутый дополнительный процесс выбран; и
f) задерживают передачу упомянутого выбранного уровня исходной световой освещенности из упомянутого процесса задержки в исходный свет дисплея, когда упомянутый дополнительный процесс выбран.

2. Способ по п.1, в котором упомянутый дополнительный процесс является процессом посткомпенсации.

3. Способ по п.1, в котором упомянутый дополнительный процесс является процессом преобразования частоты кадров.

4. Способ по п.1, в котором упомянутый выбор уровня исходной световой освещенности основан на упомянутом изображении.

5. Способ по п.1, в котором упомянутый процесс задержки является буфером.

6. Способ по п.1, в котором упомянутый выбор уровня исходной световой освещенности содержит этап, на котором формируют модель дисплея.

7. Способ по п.1, в котором упомянутый выбор уровня исходной световой освещенности содержит этап, на котором формируют гистограмму изображения и вектор ошибок.

8. Способ по п.7, в котором упомянутый выбор уровня исходной световой освещенности содержит этап, на котором взвешивают упомянутую гистограмму изображения с помощью упомянутого вектора ошибок.

9. Способ синхронизации сигнала уровня исходной световой освещенности с необязательной обработкой изображений в конвейере компенсации изображений, при этом упомянутый способ содержит этапы, на которых:
a) создают гистограмму изображения для входного изображения;
b) формируют модель дисплея для упомянутого изображения на основе упомянутой гистограммы изображения;
c) определяют показатель рабочих характеристик для множества уровней исходной световой освещенности с помощью упомянутой модели дисплея;
d) выбирают уровень исходной световой освещенности на основе упомянутого показателя рабочих характеристик;
e) отправляют упомянутый выбранный уровень исходной световой освещенности в процесс задержки;
f) отправляют упомянутый выбранный уровень исходной световой освещенности в процесс компенсации изображений;
g) компенсируют упомянутое изображение для упомянутого уровня исходной световой освещенности с помощью упомянутого процесса компенсации изображений;
h) определяют то, выбрана ли дополнительная процедура обработки изображений;
i) передают сигнал дополнительного процесса в упомянутый процесс переменной задержки, когда упомянутый дополнительный процесс выбран; и
j) задерживают передачу упомянутого выбранного уровня исходной световой освещенности из упомянутого процесса задержки в исходный свет дисплея, когда упомянутый сигнал дополнительного процесса принят в упомянутом процессе задержки.

10. Способ по п.9, в котором упомянутый дополнительный процесс является процессом посткомпенсации.

11. Способ по п.9, в котором упомянутый дополнительный процесс является процессом преобразования частоты кадров.

12. Способ по п.9, в котором упомянутый выбор уровня исходной световой освещенности основан на упомянутом изображении.

13. Способ по п.9, в котором упомянутый процесс задержки является буфером.

14. Способ по п.9, в котором упомянутый выбор уровня исходной световой освещенности содержит этап, на котором формируют модель дисплея.

15. Способ по п.9, в котором упомянутый выбор уровня исходной световой освещенности содержит этап, на котором формируют гистограмму изображения и вектор ошибок.

16. Способ по п.15, в котором упомянутый выбор уровня исходной световой освещенности содержит этап, на котором взвешивают упомянутую гистограмму изображения с помощью упомянутого вектора ошибок.

17. Способ синхронизации сигнала уровня исходной световой освещенности с необязательной обработкой изображений в конвейере компенсации изображений, при этом упомянутый способ содержит этапы, на которых:
a) формируют гистограмму изображения для изображения, отображаемого на дисплейном устройстве;
b) принимают данные гистограммы изображения в модуле сопоставления, который ассоциирует характеристику изображения с атрибутом модели дисплея;
c) определяют характеристику изображения на основе упомянутых данных гистограммы;
d) определяют атрибут модели дисплея, который ассоциирован с упомянутой характеристикой изображения, с помощью карты и упомянутого модуля сопоставления;
e) формируют модель дисплея на основе упомянутого атрибута модели дисплея;
f) вычисляют пределы отсечения в модели для упомянутой модели дисплея;
g) вычисляют вектор ошибок дисплея для каждого из множества уровней исходной световой освещенности;
h) комбинируют упомянутые векторы ошибок дисплея с упомянутыми данными гистограммы, чтобы определять значения искажения для упомянутого множества уровней исходной световой освещенности; и
i) выбирают уровень исходной световой освещенности на основе упомянутых значений искажения;
j) отправляют упомянутый выбранный уровень исходной световой освещенности в процесс задержки;
k) отправляют упомянутый выбранный уровень исходной световой освещенности в процесс компенсации изображений;
l) компенсируют упомянутое изображение для упомянутого уровня исходной световой освещенности с помощью упомянутого процесса компенсации изображений;
m) определяют то, выбрана ли дополнительная процедура обработки изображений;
n) передают сигнал дополнительного процесса в упомянутый процесс переменной задержки, когда упомянутый дополнительный процесс выбран; и
о) задерживают передачу упомянутого выбранного уровня исходной световой освещенности из упомянутого процесса задержки в исходный свет дисплея, когда упомянутый сигнал дополнительного процесса принят в упомянутом процессе задержки.

18. Способ по п.17, в котором упомянутый дополнительный процесс является процессом посткомпенсации.

19. Способ по п.17, в котором упомянутый дополнительный процесс является процессом преобразования частоты кадров.

20. Способ по п.17, в котором упомянутый процесс задержки является буфером.