RU2496250C1

RU2496250C1 - Устройство и способ обработки изображения

Info

Publication number: RU2496250C1
Application number: RU2012103616/07A
Authority: RU
Inventors: Йоситака ТАКЕУТИ
Original assignee: Кэнон Кабусики Кайся
Priority date: 2011-02-03
Filing date: 2012-02-02
Publication date: 2013-10-20
Also published as: US20120200732A1; JP5693271B2; US8643743B2; RU2012103616A; JP2012165069A

Abstract

Изобретение относится к устройствам обработки изображений. Техническим результатом является снижение различий между последовательными кадрами в процессе регулировки баланса белого. Результат достигается тем, что вычисляют первую величину коррекции баланса белого в соответствии со сходством между данными изображения, получаемыми посредством блока съемки изображения, и прошлыми данными изображения, полученными в прошлом, и осуществляют первую коррекцию баланса белого в данных изображения в соответствии с первой величиной коррекции баланса белого. Вычисляют величину коррекции яркости и величину коррекции цвета в соответствии со сходством между скорректированными данными изображения и прошлыми данными изображения, скорректированными при первой коррекции баланса белого. Используя одну из этих величин, корректируют первую величину коррекции баланса белого, получая тем самым вторую величину коррекции баланса белого. В соответствии с полученной величиной коррекции, осуществляют вторую коррекцию баланса белого, коррекцию яркости и коррекцию цвета в данных изображения, полученных посредством блока съемки изображения. 2 н. и 5 з.п. ф-лы, 9 ил.

Description

Уровень техники изобретения

Область техники, к которой относится изобретение

Данное изобретение относится к устройству и способу для осуществления обработки изображения в данных изображения, получаемых посредством цифрового фотоаппарата или аналогичного устройства.

Характеристика предшествующего уровня техники

Цифровой фотоаппарат имеет функцию автоматического управления качеством окончательного изображения применительно к показателям баланса белого, контраста, цвета и т.д. При автоматической регулировке баланса белого, цветовую температуру источника света, освещающего объект, оценивают исходя из условий съемки изображения и данных изображения объекта, а цвет источника света подавляют до серого, так что результирующее отрегулированное изображение имеет естественное высокое качество. При автоматической регулировке яркости (контраста), автоматически регулируются яркость и тон составляющих сигнала, а при автоматической регулировке цвета автоматически регулируются насыщение и оттенок составляющих цветовых сигналов. Эти регулировки можно осуществлять в зависимости от типа сцены (например, дневной сцены, вечерней сцены, портрета и т.д.), вывод о котором делают исходя из условий съемки изображения и данных снимаемого изображения, так что изображение имеет яркость и цветовое представление, оптимизируемые в зависимости от типа сцены, о котором сделан вывод.

В вышеописанном процессе автоматической регулировки, между кадрами может происходить незначительное изменение в условиях съемки изображения или незначительное перемещение объекта либо изменение в нем, и такое изменение может приводить к незначительному изменению в обнаруживаемой цветовой температуре или других автоматически обнаруживаемых параметрах, которое, в свою очередь, может приводить к незначительному изменению в качестве регулируемого изображения. Даже такое незначительное изменение может приводить к неверному выводу о типе сцены, что может вызвать осуществление обработки изображения в соответствии с неправильными условиями, определенными исходя из неверного типа сцены. Это может приводить к разнице в качестве изображения между кадрами, что может создавать искажение изображения. Способ предотвращения вышеупомянутой проблемы заключается в определении корреляции между кадрами путем сравнения условий съемки изображения и данных изображения между кадрами. Если корреляция высокая, то тип сцены, о котором сделан вывод, унаследован из предыдущего кадра. Отметим, что термин «предыдущий кадр» употребляется в данном описании, чтобы выразить кадр изображения, снятый в прошлый раз. Этот способ дает возможность минимизировать изменение в качестве изображения между кадрами. В выложенном патенте Японии № 2000-165891 описан метод минимизации изменения в балансе белого.

Чтобы определить корреляцию между текущим кадром и предыдущим кадром в целом для процесса регулировки баланса белого, процесса регулировки яркости и процесса регулировки цвета, можно установить сходство между кадрами для этих трех процессов регулировки в целом и, пользуясь этим сходством, можно сулить о корреляции в каждом процессе. Сходство можно вычислить исходя из изменений между кадрами применительно к показателям значения Av апертуры, скорости Tv затвора, чувствительности по стандарту ISO, обнаружения лиц, профиля гистограммы яркости и цветовой температуры. Однако этот способ определения корреляции на основе сходства, определяемого в целом, может вызывать следующие проблемы. Например, в сцене на открытом воздухе, такой, как показанная на фиг. 6, ведется съемка изображения самолетов как главных объектов, и если два самолета отличаются по цвету, то корреляция на основе сходства оказывается низкой, хотя два последовательных кадра одинаковы по цветовой температуре. В результате условия, выражаемые применительно к показателям баланса белого, контраста и т.п., не наследуются из предыдущего кадра, и поэтому возможно изменение в балансе белого и яркости между кадрами.

Таким образом, существует потребность в способе надлежащего снижения различий между кадрами в процессе регулировки баланса белого, процессе регулировки контраста и процессе регулировки цвета.

Сущность изобретения

В соответствии с одним аспектом, в данном изобретении предложено устройство для обработки изображения, включающее в себя первый вычислительный блок, конфигурация которого обеспечивает вычисление первой величины коррекции баланса белого в соответствии со сходством между данными изображения, получаемыми посредством блока съемки изображения, и прошлыми данными изображения, полученными в прошлом, первый блок коррекции баланса белого, конфигурация которого обеспечивает осуществление первой коррекции баланса белого в данных изображения, получаемых блоком съемки изображения, в соответствии с первой величиной коррекции баланса белого, второй вычислительный блок, конфигурация которого обеспечивает вычисление величины коррекции цвета в соответствии со сходством между данными изображения, скорректированными посредством первого блока коррекции баланса белого, и прошлыми данными изображения, скорректированными посредством первого блока баланса белого, третий вычислительный блок, конфигурация которого обеспечивает вычисление величины коррекции цвета в соответствии со сходством между данными изображения, скорректированными посредством первого блока коррекции баланса белого, и прошлыми данными изображения, скорректированными посредством первого блока баланса белого, четвертый вычислительный блок, конфигурация которого обеспечивает получение второй величины коррекции баланса белого путем коррекции первой величины коррекции баланса белого с использованием, по меньшей мере, одной из величины коррекции яркости и величины коррекции цвета, второй блок коррекции баланса белого, конфигурация которого обеспечивает осуществление второй коррекции баланса белого в данных изображения, полученных посредством блока съемки изображения, в соответствии со второй величиной коррекции баланса белого, блок коррекции яркости, конфигурация которого обеспечивает осуществление коррекции яркости в данных изображения, скорректированных посредством второго блока коррекции баланса белого, в соответствии с вычисленной величиной коррекции яркости, и блок коррекции цвета, конфигурация которого обеспечивает осуществление коррекции цвета в данных изображения, скорректированных посредством второго блока коррекции баланса белого, в соответствии с вычисленной величиной коррекции цвета.

Дополнительные признаки данного изобретения станут очевидными из нижеследующего описания возможных вариантов осуществления, приводимого со ссылками на прилагаемые чертежи.

Краткое описание чертежей

На фиг. 1 представлена блок-схема, иллюстрирующая конфигурацию цифрового фотоаппарата в соответствии с вариантом осуществления данного изобретения.

На фиг. 2 представлена блок-схема последовательности операций, иллюстрирующая процесс в соответствии с вариантом осуществления данного изобретения.

На фиг. 3А и 3В представлены графики, иллюстрирующие способ коррекции яркости.

На фиг. 4А и 4В представлены графики, иллюстрирующие способ определения сходства с использованием гистограммы.

На фиг. 5А и 5В представлены графики, иллюстрирующие способ коррекции цветов.

На фиг. 6 представлен пояснительный чертеж, иллюстрирующий сцены, в которых яркости и цвета изменяются, а цветовая температура остается постоянной.

Подробное описание вариантов осуществления

Данное изобретение описывается ниже со ссылками на варианты осуществления и в связи с прилагаемыми чертежами.

Первый вариант осуществления

На фиг. 1 представлена схема, иллюстрирующая процесс, выполняемый в цифровом фотоаппарате в соответствии с вариантом осуществления данного изобретения. На фиг. 2 представлена блок-схема последовательности операций, иллюстрирующая обработку изображения в соответствии с данным вариантом осуществления. Данный вариант осуществления изобретения описывается ниже со ссылками на фиг. 1 и фиг. 2.

На фиг. 1, позиция 101 обозначает объект, изображение которого снимают, а позиция 102 обозначает оптическое изображение объекта 101. Объектив 103 для съемки изображения, имеющий апертуру, выдает оптическое изображение 104. Из объектива 103 для съемки изображения выдается применяемое значение Av (120) апертуры, которое является одним из условий съемки изображения. Затвор 105 является механическим затвором, который работает со скоростью Tv затвора, и посредством затвора 105 осуществляется выдача оптического изображения 106. Из затвора 105 выдается применяемая скорость Tv затвора, которая является одним из условий съемки изображения. Датчик 107 изображения преобразует оптическое изображение 106 в электрический сигнал изображения и выдает результирующий оптический сигнал. При выдаче сигнала изображения, датчик 107 изображения умножает выработанный сигнал изображения на значение коэффициента усиления, соответствующее заданной чувствительности по стандарту ISO. Применяемая чувствительность по стандарту ISO, являющаяся одним из условий съемки изображения, выдается из датчика 107 изображения. Аналого-цифровой преобразователь (АЦП) 108 преобразует сигнал изображения, выдаваемый из датчика 107 изображения, в цифровой сигнал. Результирующий цифровой сигнал выдается в качестве необработанных данных, которые представляет собой цифровой сигнал изображения, еще не подвергнутый процессу проявления.

Буферное запоминающее устройства 109 временно сохраняет необработанные данные, выдаваемые из АЦП 108. Буферное запоминающее устройство 109 имеет емкость, которая обеспечивает хранение одного или более кадров данных изображения. Блок 110 регулировки баланса белого (ББ) проявляет необработанные данные, выдаваемые из буферного запоминающего устройства 109. При проявлении, баланс белого регулируется в соответствии с заданными значениями (коэффициентами) регулировки баланса белого. Более конкретно, цветовые сигналы красного (R), зеленого (G) и синего (В) цветов (именуемые далее сигналами формата RGB), умножаются на значения коэффициента усиления, соответствующие значениям регулировки.

Блок 112 регулировки контраста регулирует контраст вырабатываемого сигнала 111 яркости на основе сигналов формата RGB, выдаваемых из блока 110 регулировки ББ. Блок 113 регулировки четкости регулирует четкость сигнала яркости, выдаваемого из блока 112 регулировки контраста. Блок 115 регулировки цвета осуществляет процесс регулировки цвета на цветовых сигналах 114, вырабатываемых на основе сигналов формата RGB, выдаваемых из блока 110 регулировки ББ. Выходной сигнал 116 результирующего изображения представляет собой окончательное изображение, вырабатываемое из сигнала яркости, выдаваемого из блока 113 регулировки четкости, и цветовых сигналов, выдаваемых из блока 115 коррекции цвета.

Блок 123 обнаружения лиц обнаруживает лицо на изображении, создаваемом посредством проявления необработанных данных. Более конкретно, блок 123 обнаружения лиц обнаруживает лицо за счет осуществления процесса совмещения с использованием шаблонов лиц, хранимых в блоке 123 обнаружения лиц. Из блока 123 обнаружения лиц выдаются данные 126 лиц, указывающие количество обнаруженных лиц, координаты центра каждого лица, размер каждого лица, уровень достоверности и т.п. Блок 124 генерирования гистограммы генерирует гистограмму яркости исходя из необработанных данных, и выдает данные 127 гистограммы, указывающие генерируемую гистограмму. Данные гистограммы включают в себя, по меньшей мере, данные частоты, количество пиков и впадин на гистограмме, их положения на оси яркости (т.е. значения яркости), как в примере, показанном на фиг. 4А. Блок 125 обнаружения цветовой температуры вычисляет сумму координат цвета соответствующих блоков сетки с заранее определенным размером, охарактеризованным в необработанных данных кадра с учетом диапазона выделения белого, на основе оси излучения черного тела. Блок 125 обнаружения цветовой температуры обнаруживает цветовую температуру кадра изображения исходя из вычисленной суммы координат цвета, и выдает данные 128 цветовой температуры, указывающие результат.

Блок 131 хранения условий съемки изображения хранит данные, используемые для соответствующих блоков обработки или вырабатываемые ими, в связи с необработанными данными каждого кадра. Блок 131 хранения условий съемки изображения имеет конфигурацию, обеспечивающую хранение данных, по меньшей мере, двух или более кадров. Для передачи данных между блоком 131 хранения условий съемки изображения и блоками обработки предусмотрена шина 130.

Блоки 132-187 определяют окончательные параметры, используемые при обработке, осуществляемой посредством блоков 110-115 обработки изображения, на основе необработанных данных, хранимых в буферном запоминающем устройстве 109, и данных, хранимых в блоке 131 хранения условий съемки изображения. Подробности этих блоков 132-187 будут писаны ниже. Центральный процессор (ЦП) 110 осуществляет общее управление работой цифрового фотоаппарата и осуществляемой в нем обработкой.

Отметим, что блоки обработки сигналов, описанные выше, можно воплотить посредством специализированного аппаратного обеспечения или можно воплотить посредством программного обеспечения, исполняемого посредством ЦП 100.

Подробное описание обработки приводится со ссылками на блок-схему последовательности операций, показанную на фиг. 2. Если выдается команда съемки изображения, то сначала - на этапе S201 - ЦП 100 управляет блоками обработки с целью осуществления операции съемки изображения. На операции съемки изображения, необработанные данные, выдаваемые из АЦП 108, временно хранятся в буферном запоминающем устройстве 109.

На этапе S202, ЦП 100 обеспечивает сохранение - в блоке 131 хранения условий съемки изображения - тех условий съемки изображения, в которых получены необработанные данные. Условия съемки изображения включают в себя значение Av 120 апертуры объектива 103 для съемки изображения, скорость Tv 121 затвора, присущую затвору 105, и чувствительность 122 по стандарту ISO датчика изображения. Аналогичным образом сохраняются данные 126 лиц, обнаруживаемые блоком 123 обнаружения лиц исходя из необработанных данных, данные 127 гистограммы, генерируемые блоком 124 генерирования гистограммы, и данные 128 цветовой температуры, обнаруживаемые блоком 125 обнаружения температуры. Кроме того, момент, когда происходит захват необработанных данных, замеряется таймером 132 и сохраняется. Условия съемки изображения, момент съемки изображения и данные обнаружения сохраняются как данные условий съемки изображения, связанные с текущим кадром, в блоке 131 хранения условий съемки изображения.

На этапе S203, блок 140 вычисления сходства ББ обращается к данным условий съемки изображения согласно прошлым кадрам, хранимым в блоке 131 хранения условий съемки изображения. В данном варианте осуществления происходит обращение к данным непосредственно предыдущего кадра как данным условий съемки изображения прошлого кадра, и вычисляется сходство между текущим кадром и прошлым кадром. Более конкретно, сначала блок 140 вычисления сходства ББ вычисляет сходство, используемое в процессе регулировки баланса белого.

Блок 140 вычисления сходства ББ вычисляет разность в каждом условии съемки изображения (Av, Tv и чувствительности по стандарту ISO), включенном в данные условий съемки изображения, и проверяет, меньше ли эта разность в каждом условии съемки изображения, чем пороговое значение, определенное для каждого условия съемки изображения, чтобы установить, похож ли текущий кадр на предыдущий кадр. Результат задается либо как 100%, либо как 0%, и происходит выдача данных, указывающих этот результат.

Применительно к показателям информации о лицах, определяются значения оценки, выражаемые такими показателями, как количество лиц и их положения, в соответствии с заранее определенными пороговыми значениями. Более конкретно, в случае, когда лицо обнаруживается и в текущем кадре, и в предыдущем, а разность в его части больше, чем пороговое значение, сходство определяется как соответствующее 100%, в противном же случае сходство определяется как соответствующее 0%.

Применительно к показателям цветовой температуры, если разность со значением из предыдущего кадра составляет 100 К или менее, то сходство определяется как соответствующее 100%. Когда эта разность равна или больше 400 К, сходство определяется как соответствующее 0%. Для значений между 100 K и 400 K, сходство определяется путем линейной интерполяции. Например, когда разность равна 130 K, сходство определяется как соответствующее 90%. Вместе с тем, цветовая температура является нелинейным параметром цветности. Поэтому цветность, выраженную в координатах ху, можно преобразовать в некоторое значение в системе координат цветности, а сходство можно определять на основе разности в этой системе координат.

Применительно к показателям истекшего времени, сходство определяется в предположении, что условия съемки изображения изменяются с истекшим временем. Например, когда истекшее время равно 1 секунде или меньше этого значения, сходство считают соответствующим 100%, а если истекшее время равно 30 секундам или больше этого значения, то сходство считают соответствующим 0%. Для значений истекшего времени от 1 секунды до 30 секунд блок 141 вычисления коэффициентов ББ-1 определяет сходство посредством линейной интерполяции.

Баланс белого имеет положительную корреляцию с цветовой температурой. Поэтому блок 140 вычисления сходства ББ придает наибольший вес цветовой температуре при определении сходства. Например, когда сходство цветовой температуры составляет 70% или более, окончательное сходство задают составляющим 70% безотносительно результата вычисления сходства на основе Av, Tv, чувствительности по стандарту ISO, информации о лице и истекшего времени. Когда сходство цветовой температуры составляет менее 70%, если сходство, определенное на основе Av, Tv, чувствительности по стандарту ISO и информации о лице, равно 100%, то окончательное сходство задают посредством произведения сходства цветовой температуры и сходства на основе истекшего времени.

На этапе S204, в зависимости от сходства, определенного вышеописанным образом с помощью блока 140 вычисления сходства ББ, блок 141 вычисления коэффициентов ББ-1 прибавляет коэффициенты баланса белого прошлого кадра к коэффициентам баланса белого, определенным исходя из данных изображения текущего кадра.

Например, когда сходство составляет 70%, то составляющие сигналов формата RGB коэффициентов баланса белого прошлого кадра умножаются на 0,3, а составляющие сигналов формата RGB коэффициентов баланса белого данных изображения текущего кадра умножаются на 0,7, и они складываются друг с другом по отдельности для каждой из составляющих сигналов формата RGB.

Блок 141 вычисления коэффициентов ББ-1 применяет коэффициенты баланса белого, определенные вышеописанным образом, в качестве временных коэффициентов ББ-1 (142) баланса белого баланса белого (первой величины коррекции баланса белого), используемых при временной обработке на захваченных данных изображения.

Далее, на этапе S205, блок 150 изменения размеров считывает необработанные данные изображения текущего кадра из буферного запоминающего устройство 109 и изменяет его размеры, уменьшая общее количество пикселей так, чтобы обработку можно было провести за сокращенное время. Блок 151 коррекции ББ (первый вычислительный блок) осуществляет процесс регулировки баланса белого в данных изображения, подвергшегося уменьшению размеров, с использованием временных коэффициентов ББ-1 (142) баланса белого. Данные изображения, подвергнутые процессу регулировки баланса белого с использованием временных коэффициентов ББ-1 (142) баланса белого, разделяются на сигнал (152) яркости и цветовые сигналы (158). Блок 152 регулировки контраста и блок 159 регулировки цвета соответственно осуществляют процесс регулировки контраста и процесс цветовой регулировки с использованием стандартного параметрического коэффициента 1 (154) коэффициентов коррекции и стандартного параметрического коэффициента 2 (160) коэффициентов коррекции, подготовленных заранее. Данные результирующего изображения временно сохраняются в запоминающем устройстве 155 для хранения результата временного проявления.

На этапе S206, блок 156 вычисления гистограммы яркости вычисляет гистограмму яркости Y с использованием сигнала, хранимого в запоминающем устройстве 155 для временного хранения результата проявления, и обнаруживает информацию гистограммы яркости исходя из формы гистограммы. Информация гистограммы яркости включает в себя, по меньшей мере, количество пиков гистограммы, количество впадин гистограммы и положения (значения яркости) пиков и впадин на оси яркости.

На этапе S207, блок 157 вычисления величины коррекции яркости вычисляет величину автоматической коррекции яркости (светлоты) для данных изображения, хранимых в запоминающем устройстве 155 для хранения результата временного проявления, с использованием информации о лице, выдаваемой из блока 123 обнаружения лиц. Например, предположим, что - как показано на фиг. 3А - на восьмиразрядной характеристической кривой 301, заданной в качестве опорной кривой, значение 130 получено как средняя яркость согласно данным, соответствую области лица (идентифицируемой на основе положения лица и размера лица) данных яркости, хранимых в запоминающем устройстве 155 для хранения результата временного проявления. В этой ситуации, если заранее определенное целевое значение яркости лица составляет 190, то определяют одну точку, такую, что в этой одной точке входное значение 130 преобразуется в целевое значение 190, и создают таблицу коррекции тона, пользуясь линейной интерполяцией между этой точкой и точками концов диапазона яркости. Пользуясь этой таблицей коррекции тона, подготавливают величину коррекции коэффициента усиления, используемую при коррекции контраста. Информацию гистограммы яркости и величину коррекции яркости, которые уже определены, сохраняют в качестве информации об условиях съемки изображения, связанную с изображением текущего кадра, в блоке 131 хранения условий съемки изображения вместе с данными условий съемки изображения, описанными выше.

Далее, на этапе S208, блок 170 вычисления сходства яркости вычисляет сходство составляющей Y сигнала яркости временных данных проявленного изображения. Более конкретно, осуществляют сравнение между информацией гистограммы яркости, полученной исходя из результата временного проявления, и информации 169 гистограммы яркости предыдущего кадра, считываемых из блоке 131 хранения условий съемки изображения.

Как показано на фиг. 4A, в данном варианте осуществления гистограмму яркости получают просто путем разделения допустимого суммарного диапазона значения яркости на десять интервалов и интегрирования значения яркости на каждом интервале. В примере, показанном на фиг. 4A, первый пик возникает в четвертом интервале, если вести отсчет слева, первая впадина появляется в шестом интервале, а второй пик возникает в восьмом интервале. При сравнении, как показано на фиг. 4B, определяют сходство, проверяя, меньше ли сумма разностей положения пика и положения впадины (от столбика 401 до столбика 406) между текущим профилем (пунктирная линия) и прошлым профилем (сплошная линия), чем пороговое значение, либо меньше ли сумма разностей в значениях подсчета на соответствующих интервалах между текущим и прошлым профилями, чем пороговое значение. Сходство определяют на основе не только информации гистограммы, но и времени, истекшего после съемки предыдущего кадра, разницы в значении Av, разницы в значении Tv, ризницы в значении по стандарту ISO, и т.п.

На этапе S209 - в соответствии со сходством, вычисленным посредством блока 170 вычисления сходства яркости, блок 172 смешения величин коррекции яркости (второй вычислительный блок) смешивает величину коррекции яркости, определенное исходя из результата временного проявления текущего кадра, и величину 171 коррекции яркости, определенную исходя из результата временного проявления предыдущего кадра.

Предположим, что яркость лица из предыдущего кадра отличается от яркости лица из текущего кадра, как в случае величины 314 коррекции, показанной на фиг. 3В. Хотя это и не показано на чертеже, яркость лица из предыдущего кадра увеличилась до 180 в результате коррекции, а применение коррекционной кривой 304 вызывает увеличение яркости от 180 до целевого значения 190. В этом случае, если сходство составляет 70%, то величину 303 коррекции предыдущего кадра и величину 304 коррекции текущего кадра смешивают в соотношении 7:3, вследствие чего получают окончательную величину 305 коррекции яркости. Например, для входной величины 130, значение коррекции предыдущего кадра составляет 190, а значение коррекции текущего кадра составляет 140, и поэтому величина коррекции после смешения задается как 175. Определенную величину коррекции яркости посылают в блок 174 выдачи коэффициентов регулировки яркости для смешения величин коррекции таким образом, что вышеописанная величина коррекции яркости прибавляется к параметрическому коэффициенту-1 (154) по умолчанию.

Обработку осуществляют аналогично обработке цветовых сигналов, как описывается ниже. На этапе S210, составляющие цветовых сигналов данных изображения текущего кадра, полученных исходя из результата временного проявления, обрабатываются посредством блока 161 вычисления гистограммы цвета, чтобы определить цветовые соотношения R/G и B/G как средние значения, взятые по всей площади экрана.

При коррекции цвета, как показано на фиг. 5A, цветовые сигналы сначала преобразуют в сигналы формата RGB согласно результату временного проявления в сигналы в координатах uv, и определяют показатель «кожа» (502), который указывает средние значения цветовых сигналов (распределение 501) в определенной области лица. Затем проводят коррекцию таким образом, что сигналы в координатах uv средних значений показателя «кожа» (502) преобразуются в заранее определенные целевые значения (503) цвета лица. Если допустить, что величина (u, v) обозначает значения сигналов в координатах uv согласно средним значениям показателя «кожа» (502), а величина (u', v') обозначает значения сигналов в координатах uv согласно целевым значениям цвета лица, то значения коррекции определяют так, что удовлетворяются нижеследующие уравнения (1) и (2) применительно к показателям оттенка и насыщения.

где a, b, c, d, m и n - значения коррекции. Отметим, что на диаграмме сигналов в координатах uv, показанной на фиг. 5A, значения коррекции заданы посредством вектора, идущего от конца вектора, соответствующего показателю «кожа» (502), до конца вектора, соответствующего целевым значениям (503).

На этапе S212, блок 182 вычисления сходства цвета сравнивает информацию о соотношениях цветов, выдаваемую из блока 161 вычисления гистограммы цвета, с сигналом 189 соотношения цветов из предыдущего кадра, считываемым из блока 131 хранения условий съемки изображения. В ходе этого процесса сравнения определяют, меньше ли разности соотношений R/G и B/G цветов, чем пороговые значения, и в соответствии с результатом сравнения определяют сходство. Определение сходства посредством блока 182 вычисления сходства цвета основано не только на информации о соотношениях цветов, но и на истекшем времени с момента съемки предыдущего кадра, разницы в значении Av, разницы в значении Tv, разницы в значении по стандарту ISO, и т.п.

На этапе S213, в соответствии со сходством, вычисленным посредством блока 182 вычисления сходства цвета, блок 183 смешения величин коррекции цвета (третий вычислительный блок) смешивает величину коррекции цвета, определенную исходя из результата временного проявления текущего кадра, и величину 181 коррекции цвета, определенную исходя из результата временного проявления предыдущего кадра.

Когда величина коррекции цвета лица для текущего кадра отличается от величина коррекции цвета лица для предыдущего кадра, если сходство составляет, например, 50%, то параметры a, b, c и d при сравнении оттенка (уравнение 1), а также параметры m и n при коррекции насыщения (уравнение 2) определяются путем осуществления линейной интерполяции с соотношением 1:1 между величинами коррекции для предыдущего кадра и величинами коррекции для текущего кадра. Этот процесс определения в системе координат иллюстрируется на фиг. 5B. Когда вектор 502 получается как результат смешения друг с другом показателя «кожа» (504), отображающего средние значения из текущего кадра, и показателя «кожа» (502), отображающего средние значения из предыдущего кадра, с соотношением 1:1, величины коррекции задаются посредством вектора, идущего от конца вектора 502 до конца вектора, отображающего целевые значения (503).

Вычисление значений коррекции пояснено выше в качестве примера для области лица, полученной посредством процесса обнаружения лица. Отметим, что вышеописанный способ можно применять не только для области лица, но и для других областей. Например, когда конкретная верхняя область кадра изображения определяется как область, освещенная солнцем, значения коррекции можно определять аналогичным образом на основе оттенка и насыщения в этой области. Этот способ также применим для определения значений коррекции в области голубого неба.

Определенные величины a, b, c, d, m и n коррекции цветовых сигналов выдаются из блока 183 смешения величин коррекции цвета в блок 183 выдачи коэффициентов коррекции цвета, и величины коррекции прибавляются к параметрическому коэффициенту-2 (160) по умолчанию.

На этапе S214, с помощью определенных величин коррекции яркости и коррекции цвета, блок 143 коррекции коэффициентов ББ-1 (четвертый вычислительный блок) дополнительно корректирует коэффициенты ББ-1 баланса белого, используемые в процессе проявления. Например, в случае, когда сцена представляет собой освещенную солнцем сцену, а величина коррекции цвета определяется с возможностью улучшения изображения при условии освещения солнцем, оранжевый цвет светящего солнца можно дополнительно интенсифицировать до уровня, большего, чем уровень, получаемый за счет вышеуказанной величины коррекции цвета, путем сдвига коэффициентов баланса белого в направлении, ведущем к более высокой цветовой температуре, так что качество окончательного изображения оказывается больше соответствующим красноватому цвету. На этапе S215, блок 144 выдачи коэффициентов ББ определяет окончательные коэффициенты ББ (вторую величину коррекции баланса белого) и выдает их.

На этапе S216 осуществляют совместную коррекцию величины коррекции цвета и величины коррекции яркости, используя величину коррекции цвета и величину коррекции яркости, полученные на предыдущих этапах. Например, когда величина коррекции яркости велика, величину коррекции цвета, полученную на этапе S213, увеличивают с увеличением величины коррекции яркости, полученной на этапе S209, таким образом, что насыщение цветовых сигналов не оказывается чересчур низким, и таким образом, что цвет во всей области изображения не бледнеет.

На этапе S217, блок 174 выдачи коэффициентов регулировки яркости и блок 185 выдачи коэффициентов регулировки цвета соответственно выдают коэффициенты регулировки яркости (регулировки контраста) и коэффициенты регулировки цвета, определенные на предыдущих этапах, в блок 112 регулировки контраста и блок 115 регулировки цвета, соответственно.

На этапе S218, блок 110 регулировки ББ, блок 112 регулировки контраста и блок 115 регулировки цвета осуществляют обработку изображения. Кроме того, блок 113 регулировки четкости осуществляет процесс регулировки четкости на сигнале яркости. На этапе S219 происходит окончательная выдача результирующих данных изображения с выхода 116. Если это потребуется, то окончательные данные изображения можно сжимать в форме, соответствующей стандарту JPEG или аналогичной форме.

В соответствии с данным вариантом осуществления, как описано выше, измеряют сходство при автоматической балансировке белого между текущим кадром и предыдущим кадром, а оптимальное значение коррекции баланса белого определяют в соответствии с этим сходством. После этого осуществляют процесс временного проявления, чтобы определить величины коррекции для сигнала яркости и цветового сигнала, и определяют сходство величин коррекции между текущим кадром и предыдущим кадром. Окончательные величины коррекции применительно к показателям сигнала цветности и цветовых сигналов определяют в соответствии с упомянутым сходством. Это делает возможной минимизацию различий между кадрами в процессе автоматической коррекции изображения.

Другие варианты осуществления

Хотя данное изобретение описано со ссылками на возможные варианты осуществления, изобретение не ограничивается описанными возможными вариантами осуществления, и в рамках существа и объема притязаний возможны многочисленные модификации и изменения.

Например, в вышеописанных вариантах осуществления проводится автоматическая регулировка для следующих трех показателей: баланса белого, яркости и цвета. Однако показатели, подвергаемые автоматической регулировке, не обязательно ограничиваются этими тремя. Например, автоматическую регулировку можно проводить в отношении двух показателей, таких, как баланс белого и яркость, или баланс белого и цвет, и т.п.

В вышеописанных вариантах осуществления предполагается (в качестве примера), что процесс коррекции изображения осуществляется в цифровом фотоаппарате. Однако эти варианты осуществления применимы к процессам коррекции изображения, осуществляемым в других устройствах, таких, как устройство для воспроизведения изображения, если такие устройства обладают способностью работать с информацией об условиях съемки изображения, соответствующей информации, хранимой в блоке 131 хранения условий съемки изображения и описанной в заголовке файла необработанных данных. Примеры устройств воспроизведения изображения включают в себя персональный компьютер, в котором установлено прикладное программное обеспечение для выполнения функции осуществления процесса, показанного на фиг. 2, и отображающее устройство, имеющее функцию осуществления процесса, показанного на фиг. 2, и т.п.

Аспекты данного изобретение можно также реализовать посредством компьютера системы или аппарата (либо устройств, таких, как ЦП или микропроцессорный блок (МПБ)), который считывает программу исполняемых компьютером команд, записанных в запоминающем устройстве, для выполнения функций согласно вышеописанному варианту (вариантам) осуществления, а также посредством способа, этапы которого выполняются упомянутым компьютером системы или аппаратом, например, путем считывания и исполнения программы, записанной в запоминающем устройстве, для выполнения функций согласно вышеописанным вариантам осуществления данного изобретения. По этой причине, можно установить программу на компьютер, например, через сеть или с носителя записи различных типов, служащего в качестве запоминающего устройства (например, считываемого компьютером носителя). Считываемый компьютером носитель может включать в себя, например, одно или более из таких средств, как жесткий диск, оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), память распределенных компьютерных систем, оптический диск (такой, как компакт-диск (CD), универсальный цифровой диск (DVD), или диск высокого разрешения, работающий на основе лазера сине-фиолетового излучения (Blu-ray Disc (BD)™)), устройство на основе флэш-памяти, плата памяти и т.п.

Хотя данное изобретение описано со ссылками на возможные варианты осуществления, должно быть ясно, что изобретение не ограничивается описанными возможными вариантами осуществления. Объем притязаний нижеследующей формулы изобретения следует толковать в самом широком смысле как охватывающий все такие модификации, а также эквивалентные конструкции и функции.

Claims

1. Устройство для обработки изображения, содержащее:
первый вычислительный блок, сконфигурированный с возможностью вычисления первой величины коррекции баланса белого в соответствии со сходством между данными изображения, получаемыми посредством блока съемки изображения, и прошлыми данными изображения, полученными в прошлом,
первый блок коррекции баланса белого, сконфигурированный с возможностью осуществления первой коррекции баланса белого в данных изображения, получаемых блоком съемки изображения, в соответствии с первой величиной коррекции баланса белого,
второй вычислительный блок, сконфигурированный с возможностью вычисления величины коррекции яркости в соответствии со сходством между данными изображения, скорректированными посредством первого блока коррекции баланса белого, и прошлыми данными изображения, скорректированными посредством первого блока коррекции баланса белого,
третий вычислительный блок, сконфигурированный с возможностью вычисления величины коррекции цвета в соответствии со сходством между данными изображения, скорректированными посредством первого блока коррекции баланса белого, и прошлыми данными изображения, скорректированными посредством первого блока баланса белого,
четвертый вычислительный блок, сконфигурированный с возможностью получения второй величины коррекции баланса белого путем коррекции первой величины коррекции баланса белого с использованием, по меньшей мере, одной из величины коррекции яркости и величины коррекции цвета, второй блок коррекции баланса белого, сконфигурированный с возможностью осуществления второй коррекции баланса белого в данных изображения, полученных посредством блока съемки изображения, в соответствии со второй величиной коррекции баланса белого,
блок коррекции яркости, сконфигурированный с возможностью осуществления коррекции яркости в данных изображения, скорректированных посредством второго блока коррекции баланса белого, в соответствии с вычисленной величиной коррекции яркости, и
блок коррекции цвета, сконфигурированный с возможностью осуществления коррекции цвета в данных изображения, скорректированных посредством второго блока коррекции баланса белого, в соответствии с вычисленной величиной коррекции цвета.

2. Устройство для обработки изображения по п.1, дополнительно содержащее блок хранения, сконфигурированный с возможностью хранения информации об условиях съемки изображения, связанной с каждым кадром данных изображения, получаемых блоком съемки изображения,
при этом сходство, используемое первым вычислительным блоком, вторым вычислительным блоком и третьим вычислительным блоком, определяется с использованием информации об условиях съемки изображения, хранимой в блоке хранения.

3. Устройство для обработки изображения по п.2, в котором информация об условиях съемки изображения включает в себя условие съемки изображения, применяемое при съемке изображения блоком съемки изображения, и данные обнаружения из данных изображения.

4. Устройство для обработки изображения по п.1, в котором первый вычислительный блок определяет первую величину коррекции баланса белого с помощью операции взвешенного сложения, при этом вес величины коррекции баланса белого для данных изображения, полученных в прошлом, увеличивается с увеличением сходства.

5. Устройство для обработки изображения по п.1, в котором второй вычислительный блок вычисляет величину коррекции яркости посредством операции взвешенного сложения, при этом, когда увеличивается сходство между данными изображения, скорректированными первым блоком коррекции баланса белого, и данными изображения предыдущего кадра, скорректированными первым блоком коррекции баланса белого, увеличивается вес для величины коррекции яркости в данных изображения предыдущего кадра, скорректированных первым блоком коррекции баланса белого.

6. Устройство для обработки изображения по п.1, в котором третий вычислительный блок вычисляет величину коррекции цвета посредством операции взвешенного сложения, при этом, когда увеличивается сходство между данными изображения, скорректированными первым блоком коррекции баланса белого, и данными изображения предыдущего кадра, скорректированными первым блоком коррекции баланса белого, увеличивается вес для величины коррекции яркости в данных изображения предыдущего кадра, скорректированных первым блоком коррекции баланса белого.

7. Способ обработки изображения, содержащий этапы, на которых:
осуществляют первое вычисление - первой величины коррекции баланса белого - в соответствии со сходством между данными изображения, получаемыми блоком съемки изображения, и прошлыми данными изображения, полученными в прошлом,
осуществляют первую коррекцию баланса белого в данных изображения, получаемых блоком съемки изображения, в соответствии с первой величиной коррекции баланса белого,
осуществляют второе вычисление - величины коррекции яркости - в соответствии со сходством между данными изображения, скорректированными при первой коррекции баланса белого, и прошлыми данными изображения, скорректированными при первой коррекции баланса белого,
осуществляют третье вычисление - величины коррекции цвета - в соответствии со сходством между данными изображения, скорректированными при первой коррекции баланса белого, и прошлыми данными изображения, скорректированными при первой коррекции баланса белого,
осуществляют четвертое вычисление для получения второй величины коррекции баланса белого путем коррекции первой величины коррекции баланса белого с использованием, по меньшей мере, одной из величины коррекции яркости и величины коррекции цвета,
осуществляют вторую коррекцию баланса белого в данных изображения, получаемых блоком съемки изображения, в соответствии со второй величиной коррекции баланса белого,
осуществляют коррекцию яркости в данных изображения, скорректированных при второй коррекции баланса белого, в соответствии с вычисленной величиной коррекции яркости, и
осуществляют коррекцию цвета в данных изображения, скорректированных при второй коррекции баланса белого, в соответствии с вычисленной величиной коррекции цвета.