RU2595615C1 - Способ улучшения цифровых растровых изображений методом локального выравнивания яркости - Google Patents
Способ улучшения цифровых растровых изображений методом локального выравнивания яркости Download PDFInfo
- Publication number
- RU2595615C1 RU2595615C1 RU2015108160/08A RU2015108160A RU2595615C1 RU 2595615 C1 RU2595615 C1 RU 2595615C1 RU 2015108160/08 A RU2015108160/08 A RU 2015108160/08A RU 2015108160 A RU2015108160 A RU 2015108160A RU 2595615 C1 RU2595615 C1 RU 2595615C1
- Authority
- RU
- Russia
- Prior art keywords
- brightness
- image
- histogram
- pixels
- local
- Prior art date
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Изобретение относится к области обработки цифровых изображений. Техническим результатом является улучшение качества преобразованных изображений за счет использования расширенной локальной гистограммы распределения яркостей. Предложен способ улучшения цифровых растровых изображений методом локального выравнивания яркости. Способ включает в себя этап, на котором изображение разбивают на области, представляющие собой группы пикселей. При этом для каждой области независимо определяют первичную гистограмму распределения яркостей. Далее, согласно способу, вычисляют глобальную гистограмму распределения яркостей всего изображения. При этом для каждой области изображения синтезируют расширенную локальную гистограмму, в которой каждому значению яркости соответствует сумма числа пикселей данной яркости первичной гистограммы, числа пикселей данной яркости гистограмм областей, граничащей с текущей, и числа пикселей данной яркости глобальной гистограммы, взятые с различными в общем случае весовыми коэффициентами. 3 н. и 5 з.п. ф-лы, 21 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к области обработки цифровых изображений, а именно к способам улучшения цифровых растровых изображений, и может применяться в цифровом телевидении, цифровой фотографии и видеосъемке, в системах автоматизированной цифровой фотопечати для высококачественного преобразования изображений.
УРОВЕНЬ ТЕХНИКИ
Используемые при фото и видеосъемке светочувствительные матрицы с аналого-цифровым преобразователем высокой разрядности, составляющей в современной съемочной аппаратуре 10-16 бит (что соответствует 1024-65536 градациям яркости), значительно превосходят возможности дисплеев современных мониторов и телеприемников, позволяющих, как правило, одновременно отображать не более 256 градаций яркости (или 256 оттенков каждого цвета - R, G и В), соответствующих стандартному динамическому диапазону (в дальнейшем - ДД). Используемые для преобразования изображений с расширенным ДД в стандартный ДД процедуры обычно строятся на основе таблиц (lookup table, LUT), обеспечивающих приемлемое качество преобразования в случае однородных изображений, но при значительном перепаде яркостей преобразуемых изображений использование LUT приводит к появлению областей с низким уровнем локального контраста (и, как следствие, плохо различимыми деталями) как в светлых областях изображения, так и в тенях. Невозможность сохранения высокого уровня локального контраста при использовании LUT требует применения специальных методов улучшения качества изображений, позволяющих получить изображения с хорошей проработкой деталей и в тенях, и в светлых областях кадра.
Известные по специальной литературе методы улучшения качества изображений на основе неадаптивных гистограммных преобразований (например, эквализация, нормализация или гиперболизация гистограмм, степенное преобразование) не являются локально-адаптивными, т.е. при их использовании все пиксели изображения преобразуются по общим правилам, определяемым их первоначальной яркостью, но не расположением. Подобные методы обеспечивает высокую скорость преобразования, однако преобразованное изображение часто выглядит неестественным, содержит специфические артефакты в виде эффекта постеризации из-за уменьшения количества полутонов и высокого уровня шумов в тенях. В основе локально-адаптивного метода преобразования Retinex, описанного, в частности, в US Patent 5991456 A «Method of Improving A Digital Image as a Function of Its Dynamic Range», Science And Technology Corporation, The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration, опубликовано 23.11.1999, - компенсация неравномерности освещенности в плоскости изображения. Retinex рассматривает каждый пиксель изображения как произведение двух компонент, соответствующих локальной освещенности и отраженному свету. Такое представление в сочетании с предположением, что освещенность в пределах кадра меняется медленно, позволяет использовать низкочастотную гауссову фильтрацию для разделения этих двух компонент. К существенным недостаткам метода Retinex относится высокая вычислительная сложность, что не позволяет использовать его в режиме реального времени. Кроме того, при съемке в сложных условиях глобальный контраст изображения часто оказывается недостаточным (при высоком локальном контрасте), вокруг контрастных объектов возникает эффект гало.
К прототипу настоящего изобретения можно отнести АНЕ-метод адаптивного гистограммного преобразования (S. Pizer и др., «Adaptive Histogram Equalization and its Variations», Computer Vision, Graphics, and Image Processing 39, 355-368, 1987). Метод предполагает вычисление функции преобразования изображения методом эквализации гистограмм, построенных по «контекстному региону» для выделенных точек в узлах решетки (см. Фиг. 2). Для точек, не совпадающих с узловыми, выполняется интерполяция по 4 ближайшим узлам. Контекстный регион определяется как область изображения с узлом решетки в центре. Размер контекстного региона задается числом узлов решетки: для 16 узлов он составляет 1/16 площади изображения, для 64 узлов - 1/64. В отличие от классической неадаптивной реализации метода эквализации гистограмм, АНЕ обеспечивает высокий уровень локального контраста изображения. Существенным недостатком метода является высокий уровень шума преобразованного изображения.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Данное изобретение направлено на устранение недостатков, присущих существующим изобретениям.
Способ улучшения цифровых растровых изображений методом локального выравнивания яркости включает в себя следующие шаги: изображение разбивают на области, представляющие собой группы пикселей; для каждой области независимо определяют первичную гистограмму распределения яркостей; вычисляют глобальную гистограмму распределения яркостей всего изображения; для каждой области изображения синтезируют расширенную локальную гистограмму, в которой каждому значению яркости соответствует сумма числа пикселей данной яркости первичной гистограммы, числа пикселей данной яркости гистограмм областей, граничащей с текущей, и числа пикселей данной яркости глобальной гистограммы, взятые с различными в общем случае весовыми коэффициентами; подвергают расширенную локальную гистограмму каждой области локальному преобразованию, ставящему в соответствие каждому значению яркости пикселя расширенной гистограммы модифицированное значение; для каждого пикселя данной области изображения вычисляются преобразованные значения яркости как взвешенные суммы результатов использования функций преобразования яркости, соответствующих данной области, и областей, ближайших к ней. Использование расширенной локальной гистограммы обеспечивает естественность преобразованного изображения и снижает уровень шума в однородных областях с малым числом уровней первичной гистограммы. Области, на которые разбиваются обрабатываемые изображения, могут быть как пересекающимися, т.е. содержать, по меньшей мере, одну область, в которой часть пикселей изображения принадлежит более чем одной области, так и непересекающимися.
Изображение может разбиваться как на области, имеющие одинаковые размеры, так и на области с неодинаковыми размерами.
Области, на которые разбиваются изображения, могут иметь абсолютно произвольную форму.
Данное изобретение может быть выполнено в виде системы улучшения цифровых растровых изображений методом локального выравнивания яркости, включающей: одно или более устройство обработки команд, одно или более устройство хранения данных, одну или более программ, где одна или более программ хранятся на одном или более устройстве хранения данных и исполняются на одном и более процессоре, причем, по меньшей мере, одна программа обеспечивает реализацию следующих инструкций: изображение разбивают на области, представляющие собой группы пикселей; для каждой области независимо определяют первичную гистограмму распределения яркостей; вычисляют глобальную гистограмму распределения яркостей всего изображения; для каждой области изображения синтезируют расширенную локальную гистограмму, в которой каждому значению яркости соответствует сумма числа пикселей данной яркости первичной гистограммы, числа пикселей данной яркости гистограмм областей, граничащей с текущей, и числа пикселей данной яркости глобальной гистограммы, взятые с различными в общем случае весовыми коэффициентами; подвергают расширенную локальную гистограмму каждой области локальному преобразованию, ставящему в соответствие каждому значению яркости пикселя расширенной локальной гистограммы модифицированное значение; для каждого пикселя данной области изображения вычисляются преобразованные значения яркости как взвешенные суммы результатов использования функций преобразования яркости, соответствующих данной области, и областей, ближайших к ней.
При этом области, на которые разбиваются обрабатываемые изображения, могут быть как пересекающимися, т.е. содержать, по меньшей мере, одну область, в которой часть пикселей изображения принадлежит более чем одной области, так и непересекающимися.
Изображение может разбиваться как на области, имеющие одинаковые размеры, так и на области с неодинаковыми размерами.
Области, на которые разбиваются изображения, могут иметь абсолютно произвольную форму.
Технический результат от данного изобретения заключается в том, что повышается скорость преобразования и улучшается качество преобразованных изображений.
Данный технический результат достигается за счет того, что основные действия при преобразовании изображения производятся не над пикселями, а над синтезированными локальными гистограммами, количество которых сравнительно невелико - от нескольких десятков до нескольких сотен, а в отличие от глобальных методов преобразования, яркость преобразованного пикселя при использовании настоящего изобретения определяется яркостью исходного пикселя, распределением яркостей в локальной области окружения, а также общим распределением яркостей преобразуемого изображения.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
Данное изобретение в различных своих вариантах осуществления может быть выполнено в виде способа, реализуемого на компьютере, в виде системы или машиночитаемого носителя, содержащего инструкции для выполнения вышеупомянутого способа.
В некоторых вариантах реализации, изобретение может быть реализовано в виде распределенной компьютерной системы.
В данном изобретении под системой подразумевается компьютерная система, ЭВМ (электронно-вычислительная машина), ЧПУ (числовое программное управление), ПЛК (программируемый логический контроллер), компьютеризированные системы управления и любые другие устройства, способные выполнять заданную, четко определенную последовательность операций (действий, инструкций).
Под устройством обработки команд подразумевается электронный блок либо интегральная схема (микропроцессор), исполняющая машинные инструкции (программы).
Устройство обработки команд считывает и выполняет машинные инструкции (программы) с одного или более устройства хранения данных. В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические диски (CD, DVD, Blue-Ray, MD).
Программа - последовательность инструкций, предназначенных для исполнения устройством управления вычислительной машины или устройством обработки команд.
Ниже будут рассмотрены некоторые термины, которые в дальнейшем будут использоваться при описании изобретения.
Гистограмма изображения (иногда: график уровней или просто уровни) - гистограмма уровней насыщенности изображения (суммарная, или разделенная по цветовым каналам).
Гистограмма изображения позволяет оценить количество и разнообразие оттенков изображения, а также общий уровень яркости и глобального контраста изображения. Например, недоэкспонированное изображение будет иметь пик в области малых уровней яркости и иметь спад (или полное отсутствие уровней) в области высоких уровней яркости, переэкспонированное - наоборот. Изображение с недостаточным динамическим диапазоном будет иметь узкий всплеск яркостей. Академическое представление идеальной формы гистограммы изображения - пологая гауссиана, в которой мало низких и высоких уровней яркости, а по мере приближения к средним уровням, их количество увеличивается. Справедливо для съемок при достаточном заполняющем освещении (влияющем на всю сцену) и отсутствии источников света в кадре.
В общем случае гистограмма изображения не описывает художественных качеств изображения (например, съемка силуэта в контровом свете будет на гистограмме выглядеть как недосвеченное (или пересвеченное) изображение), но в большинстве случаев позволяет ориентироваться в «направлении коррекции» изображения (если таковая коррекция требуется).
Пиксель, пиксел (иногда пэл, англ. pixel, pel - сокращение от pix element, в некоторых источниках picture cell - букв, элемент изображений) или элиз (редко используемый русский вариант термина) - наименьший логический элемент двумерного цифрового изображения в растровой графике, или физический элемент матрицы дисплеев, формирующих изображение. Пиксель представляет собой неделимый объект прямоугольной или круглой формы, характеризуемый определенным цветом (применительно к плазменным панелям, газоплазменная ячейка может быть восьмиугольной
Растровое компьютерное изображение состоит из пикселей, расположенных по строкам и столбцам.
Анализ текущего уровня техники показывает, что используемые при фото и видеосъемке светочувствительные матрицы с аналого-цифровым преобразователем высокой разрядности, составляющей в современной съемочной аппаратуре 10-16 бит (что соответствует 1024-65536 градациям яркости), значительно превосходят возможности дисплеев современных мониторов и телеприемников, позволяющих, как правило, одновременно отображать не более 256 градаций яркости (или 256 оттенков каждого цвета - R, G и В), соответствующих стандартному динамическому диапазону (в дальнейшем - ДД). Используемые для преобразования изображений с расширенным ДД в стандартный ДД процедуры обычно строятся на основе таблиц (lookup table, LUT), обеспечивающих приемлемое качество преобразования в случае однородных изображений, но при значительном перепаде яркости преобразуемых изображений использование LUT приводит к появлению областей с низким уровнем локального контраста как в светлых областях изображения, так и в тенях. Невозможность сохранения высокого уровня локального контраста при использовании LUT требует применения специальных методов улучшения качества изображений, позволяющих получить изображения с хорошей проработкой деталей и в тенях, и в светлых областях кадра.
Известные по специальной литературе методы улучшения качества изображений на основе неадаптивных гистограммных преобразований (например, эквализация, нормализация или гиперболизация гистограмм, степенное преобразование) не являются локально-адаптивными, т.е. при их использовании все пиксели изображения преобразуются по общим правилам, определяемым их первоначальной яркостью, но не расположением. Подобные методы обеспечивает высокую скорость преобразования, однако преобразованное изображение часто выглядит неестественным, содержит специфические артефакты в виде эффекта постеризации из-за уменьшения количества полутонов и высокого уровня шумов в тенях.
Фиг. 1 поясняет процедуру преобразования исходного черно-белого полутонового изображения методом эквализации гистограммы (пример из У. Прэтт, «Цифровая обработка изображений»). Hs(j) - доля числа элементов исходного изображения (S), имеющих яркость] (j=1, 2, … J). Цель процедуры эквализации гистограммы - формирование преобразованного изображения (С), гистограмма которого описывается соотношением HC(k)=1/K (k=1, 2, …, K). В данном случае число уровней квантования исходного (J) и преобразованного (K) одинаково и равно 256. В процессе преобразования квантованные значения яркости исходного изображения начиная с наименьшего объединяют с соседними таким образом, чтобы их суммарная доля в наименьшей степени отличалась от 1/K, а все объединенные уровни яркости исходного изображения приводят к новым уровням. В тех случаях, когда число реально имеющихся градаций яркости исходного изображения значительно превосходит K, а распределение яркости достаточно равномерное, метод дает удовлетворительные результаты. Но при значительной неравномерности распределения преобразованное изображение оказывается шумным, с низким локальным контрастом (при удовлетворительном глобальном контрасте) и с заметными артефактами постеризации. Представленные на Фиг. 4 и Фиг. 5 изображения демонстрируют отличие результатов применения для улучшения качества исходного изображения, представленного Фиг. 3, метода эквализации гистограммы (Фиг. 4) и предлагаемого настоящим изобретением метода: использовалась нормализация и дополнительная степенная коррекция гистограммы с показателем степени γ, зависящим от локального распределения яркостей (Фиг. 5).
В основе локально-адаптивного метода преобразования Retinex-компенсация неравномерности освещенности в плоскости изображения. Retinex рассматривает каждый пиксель I (х,у) изображения как произведение двух компонент, соответствующих локальной освещенности и отраженному свету. Такое представление в сочетании с предположением, что освещенность в пределах кадра меняется медленно, позволяет использовать низкочастотную гауссову фильтрацию для разделения этих двух компонент. При этом процедура преобразования может быть записана как
где индекс i соответствует i-му (из N) спектральному диапазону: для черно-белых полутоновых изображений N=1 (яркостная компонента), для цветных N=3 (соответствует компонентам R,G и В); Ii (х,у) - пиксель (или i-я компонента пикселя для многокомпонентных изображений) с координатами х,у; Ri(x,y) - соответствующий ему пиксель (компонента) преобразованного изображения; знак «*» означает оператор свертки, функция окружения Fk(x,y) - фильтр Гаусса, определяемый как
где М - параметр нормализации:
«Дисперсия» 
в данном случае определяется не распределением яркостей пикселей в окрестностях фильтруемого пикселя, а является задаваемым параметром, определяющим степень «размытия» изображения k-м гауссовым фильтром: бóльшим значениям 
соответствует бóльшая степень размытия. Фильтр с наименьшей степенью размытия работает как фильтр высоких частот, выделяет и подчеркивает мелкие детали изображения, но не передает полутона. Фильтр с высокой степенью размытия лучше передает полутона, но с низкой степенью детализации. Фильтр со средней степенью размытия захватывает оба диапазона, обеспечивая естественность преобразованного изображения.
Wk - весовой коэффициент, соответствующий k-му фильтру. В случае, когда K=1, модификация метода называется Single-Scale Retinex (SSR), иначе - Multi-Scale Retinex (MSR). В случае MSR ΣkWk=1, а значения Wk выбираются обычно одинаковыми, равными 1/K (на практике K обычно берут равным 3 или 4.) Для SSR единственный весовой коэффициент W выбирается равным 1.
Качество преобразованного с использованием Retinex изображения как правило превосходит достижимое для неадаптивных методов. К существенным недостаткам метода Retinex относится высокая вычислительная сложность, что не позволяет использовать его в режиме реального времени. Кроме того, при съемке в сложных условиях глобальный контраст изображения часто оказывается недостаточным (при высоком локальном контрасте), вокруг контрастных объектов возникает эффект гало. Фиг. 6 и Фиг. 7 демонстрируют результат улучшения качества черно-белых полутоновых изображений при помощи метода MSR с различными значениями Wk (среднеквадратический контраст преобразованных изображений σ=24.32 и 32.89 соответственно). Для сравнения приведен результат преобразования с использованием метода, предлагаемого настоящим изобретением (Фиг. 8). Здесь σ=40.58. Все изображения имеют одинаковую среднюю яркость, равную 105.
К прототипам настоящего изобретения можно отнести также АНЕ - метод адаптивного гистограммного преобразования (S. Pizer и др., «Adaptive Histogram Equalization and its Variations», Computer Vision, Graphics, and Image Processing 39, 355-368, 1987). Метод предполагает вычисление функции преобразования изображения методом эквализации гистограмм, построенных по «контекстному региону» для выделенных точек в узлах решетки (см. Фиг. 2). Для точек, не совпадающих с узловыми, выполняется интерполяция по 4 ближайшим узлам. Контекстный регион определяется как область изображения с узлом решетки в центре. Размер контекстного региона задается числом узлов решетки: для 16 узлов он составляет 1/16 площади изображения, для 64 узлов - 1/64. В отличие от классической неадаптивной реализации метода эквализации гистограмм, АНЕ обеспечивает высокий уровень локального контраста изображения. Существенным недостатком метода является высокий уровень шума и субъективно-воспринимаемая неестественность преобразованного изображения. Сопоставляя Retinex и АНЕ, нетрудно заметить, что последний напоминает SSR с единственным гауссовым фильтром: число узлов решетки определяет степень детализации преобразованного изображения, при этом частая решетка подчеркивает детали, но преобразованное изображение оказывается слишком чувствительным к шумам изображения и выглядит неестественным, редкая -подобно неадаптивным реализациям метода - дает изображения с низким локальным контрастом. Модификация метода с ограничением уровня контраста (CLAHE) была разработана для снижения уровня шума, но результатом ее применения является также снижение общего контраста преобразованного изображения.
Для повышения скорости преобразования и улучшения качества преобразованных изображений предлагается способ улучшения цифровых растровых изображений методом локального выравнивания яркости, который включает в себя следующие шаги: изображение разбивают на области, представляющие собой группы пикселей; для каждой области независимо определяют первичную гистограмму распределения яркостей; вычисляют глобальную гистограмму распределения яркостей всего изображения; для каждой области изображения синтезируют расширенную локальную гистограмму, в которой каждому значению яркости соответствует сумма числа пикселей данной яркости первичной гистограммы, числа пикселей данной яркости гистограмм областей, граничащей с текущей, и числа пикселей данной яркости глобальной гистограммы, взятые с различными в общем случае весовыми коэффициентами; подвергают расширенную локальную гистограмму каждой области локальному преобразованию, ставящему в соответствие каждому значению яркости пикселя расширенной локальной гистограммы модифицированное значение; для каждого пикселя данной области изображения вычисляются преобразованные значения яркости как взвешенные суммы результатов использования функций преобразования яркости, соответствующих данной области, и областей, ближайших к ней. Использование расширенной локальной гистограммы обеспечивает естественность преобразованного изображения и снижает уровень шума в однородных областях с малым числом уровней первичной гистограммы.
В случае черно-белого полутонового изображения преобразуемой величиной является яркость пикселей, для цветных RGB-изображений преобразование может выполняться над R, G и В компонентами, в цветовой модели YCbCr преобразование выполняется над яркостной составляющей Y, могут также использоваться другие цветовые модели. В дальнейшем под «яркостью» будет пониматься преобразуемая величина безотносительно используемой цветовой модели. Преобразование предполагает использование следующей последовательности операций (на Фиг. 21 показана схема, иллюстрирующая способ улучшения цифровых растровых изображений методом локального выравнивания яркости) после получения исходного изображения (1):
- изображение разбивают на области, представляющие собой группы пикселей (2).
В простейшем случае это могут быть неперекрывающиеся прямоугольные блоки одинакового размера (Фиг. 9), но такой выбор не является единственным. Фиг. 11 демонстрирует частный вариант разбиения на неперекрывающиеся шестиугольники, в общем же случае форма и размеры блоков могут быть произвольными (прямоугольной, эллипсоидной, квадратной, круглой и т.д.). Возможен также вариант перекрывающихся блоков.
- для каждой области независимо определяют первичную гистограмму распределения яркостей (3).
- вычисляют глобальную гистограмму распределения яркостей всего изображения (4).
- для каждой области изображения синтезируют расширенную локальную гистограмму (5), в которой каждому значению яркости соответствует нормированная сумма числа пикселей данной яркости первичной гистограммы, числа пикселей данной яркости гистограмм областей, граничащей с текущей, и числа пикселей данной яркости глобальной гистограммы, взятые с различными в общем случае весовыми коэффициентами, определяющими степень «локальности» преобразования (условие нормировки - сумма отсчетов, соответствующих всем уровням квантования расширенной гистограммы, должна быть равна 1).
Увеличение удельного веса первичной гистограммы позволяет получить изображение с более высоким уровнем локального контраста. На Фиг. 13, 14, 15 и 16 приведены типичные гистограммы распределения яркостей для единичного блока (13), блоков окружения (14), полного изображения (15) и результирующая расширенная гистограмма (16). При построении расширенной гистограммы удельный вес первичной гистограммы был выбран равным 0.5, гистограммы блоков окружения 0.3, глобальной гистограммы - 0.2. Использование расширенной локальной гистограммы позволяет получить естественно выглядящее изображение с хорошо проработанными деталями.
- подвергают расширенную локальную гистограмму каждой области локальному преобразованию (6), ставящему в соответствие каждому значению яркости пикселя расширенной локальной гистограммы модифицированное значение.
В качестве такого преобразования может использоваться, например, степенная коррекция гистограммы с показателем степени γ, зависящим от распределения яркостей внутри блока, экспоненциальное или логарифмическое преобразование гистограммы, нормализация гистограммы и/или их комбинация, или иная процедура, задаваемая аналитически, логически или таблично.
- для каждого пикселя данной области изображения вычисляются преобразованные значения яркости (7) как взвешенные суммы результатов использования функций преобразования яркости, соответствующих данной области, и областей, ближайших к ней
Данная операция производится в два шага:
1) Вычисление (в соответствии с используемым методом локального преобразования расширенной локальной гистограммы для каждого блока изображения) функции преобразования яркости Tk(b), ставящей в соответствие каждому значению яркости b k-го блока изображения модифицированное значение b′. Для каждого блока изображения функции Tk(b) могут быть как одинаковыми, так и различными, определяемыми характером распределения яркостей пикселей блока и/или средним значением и дисперсией яркости пикселей данного блока, блоков, окружающих данный, а в случае преобразования серии изображений (например, кадров видеопоследовательностей) также распределением яркостей пикселей в блоках преобразованных ранее кадров.
2) Вычисление для каждого пикселя рх,y данного блока изображения модифицированного значения яркости как взвешенной суммы результатов использования функций преобразования яркости, соответствующих данному блоку изображения и ближайших к нему.
Весовой коэффициент определяется расстоянием от пикселя рх,y до центров соответствующих блоков (данного и ближайших к нему): чем больше это расстояние, тем меньшим берется весовой коэффициент (Фиг. 10). Сумма весовых коэффициентов должна быть равна 1. Таким образом, яркость преобразованного пикселя определяется яркостью исходного пикселя, распределением яркостей в его ближайшей окрестности и выбранной функцией преобразования яркости Т(b) текущего блока и блоков, окружающих текущий.
После этого получаем обработанное изображение (8).
Рассмотрим пример преобразования в частном случае разбиения изображения на прямоугольные неперекрывающиеся блоки одинакового размера Н пикселей по вертикали и W пикселей по горизонтали (Фиг. 12). Обозначим функцию локального преобразования яркости текущего блока С как TC, а соответствующие функции для блоков, окружающих текущий (L, R, Т, В, LT, LB, RT и RB), как TL, TR, TT, TB, TLT, TLB, TRT и TRB. Рассмотрим пиксель px,y, имеющий в локальной прямоугольной системе координат с центром, совпадающим с центром блока С, координаты (х,y). В зависимости от значений х и y (т.е. от квадранта, в котором расположен пиксель), яркость преобразованного пикселя 
при условии линейной зависимости удельного веса функции Tk от расстояния до центра соответствующего блока может быть вычислена по одной из приведенных ниже формул:
правый верхний квадрант (х≥0, y≥0):
правый нижний квадрант (х≥0, y<0):
левый нижний квадрант (х<0, у<0):
левый верхний квадрант (х<0, у≥0):
Если используется разбиение не на прямоугольные блоки, то число точек, по которым вычисляется яркость преобразованного пикселя, может отличаться от 4. Так, например, для шестиугольников (Фиг. 11) таких точек 3.
Необходимо заметить, что при использовании предлагаемого настоящим изобретением метода преобразования основные операции выполняются не над изображениями, а над гистограммами, что позволяет существенно повысить скорость обработки изображений. Так, например, если исходное изображение размерами M×N пикселей, имеющее 256 градаций яркости, разбито на блоки размером (M/12)×(N/12), т.е. число блоков, на которые разбито изображение, равно 144, то основные вычисления будут проведены над 144 гистограммами, в каждой из которых 256 элементов (всего - 36864 элементов). Для сравнения: в случае, если размеры исходного изображения составляют 4000×3000 пикселей, то при пиксельном преобразовании, подобном Retinex, потребовалось бы обработать 12 миллионов пикселей.
Фиг. 18-20 иллюстрируют результат улучшения исходного изображения (Фиг. 17) с использованием различных весовых коэффициентов для первичной гистограммы, гистограмм блоков окружения и глобальной гистограммы изображения. Изображение разбивалось на прямоугольные непересекающиеся блоки, в качестве локальной функции преобразования Tk использовалась нормализация гистограммы с дополнительной степенной коррекцией (показатель степени определялся распределением яркости пикселей в блоке), зависимость удельного веса функции Tk от расстояния до центра соответствующего блока предполагалась линейной.
Таким образом, достигается повышение качества снятых фото и видеоизображений, особенно в случае, когда съемка проводилась в сложных условиях: при недостаточном либо избыточном освещении, в контровом свете, в дымке и т.д., при одновременном повышении скорости обработки изображений по сравнению с прототипами, использующими модификации метода Retinex.
Следует отметить, что конкретные варианты реализации данного изобретения были описаны здесь в целях иллюстрации. На практике допустимы различные модификации, не выходящие за рамки и сущности объема изобретения.
Claims (8)
1. Способ улучшения цифровых растровых изображений методом локального выравнивания яркости, характеризующийся тем, что:
- изображение разбивают на области, представляющие собой группы пикселей;
- для каждой области независимо определяют первичную гистограмму распределения яркостей;
- вычисляют глобальную гистограмму распределения яркостей всего изображения;
- для каждой области изображения синтезируют расширенную локальную гистограмму, в которой каждому значению яркости соответствует сумма числа пикселей данной яркости первичной гистограммы, числа пикселей данной яркости гистограмм областей, граничащей с текущей, и числа пикселей данной яркости глобальной гистограммы, взятые с различными в общем случае весовыми коэффициентами;
- подвергают расширенную локальную гистограмму каждой области локальному преобразованию, ставящему в соответствие каждому значению яркости пикселя расширенной гистограммы модифицированное значение;
- для каждого пикселя данной области изображения вычисляются преобразованные значения яркости как взвешенные суммы результатов использования функций преобразования яркости, соответствующих данной области, и областей, ближайших к ней.
- изображение разбивают на области, представляющие собой группы пикселей;
- для каждой области независимо определяют первичную гистограмму распределения яркостей;
- вычисляют глобальную гистограмму распределения яркостей всего изображения;
- для каждой области изображения синтезируют расширенную локальную гистограмму, в которой каждому значению яркости соответствует сумма числа пикселей данной яркости первичной гистограммы, числа пикселей данной яркости гистограмм областей, граничащей с текущей, и числа пикселей данной яркости глобальной гистограммы, взятые с различными в общем случае весовыми коэффициентами;
- подвергают расширенную локальную гистограмму каждой области локальному преобразованию, ставящему в соответствие каждому значению яркости пикселя расширенной гистограммы модифицированное значение;
- для каждого пикселя данной области изображения вычисляются преобразованные значения яркости как взвешенные суммы результатов использования функций преобразования яркости, соответствующих данной области, и областей, ближайших к ней.
2. Способ по п. 1, характеризующийся тем, что области, на которые разбивается обрабатываемое изображение, являются пересекающимися и содержат, по меньшей мере, одну область, в которой часть пикселей изображения принадлежит более чем одной области.
3. Способ по п. 1, характеризующийся тем, что области, на которые разбивается обрабатываемое изображение, являются непересекающимися.
4. Способ по п. 1, характеризующийся тем, что области, на которые разбивается обрабатываемое изображение, имеют неодинаковые размеры.
5. Способ по п. 1, характеризующийся тем, что области, на которые разбивается обрабатываемое изображение, имеют одинаковые размеры.
6. Способ по п. 1, характеризующийся тем, что области, на которые разбивается обрабатываемое изображение, могут быть любой произвольной формы.
7. Система улучшения цифровых растровых изображений методом локального выравнивания яркости, содержащая:
- по крайней мере, одно устройство обработки команд;
- по крайней мере, одно устройство хранения данных;
- одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянутых устройств обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа по любому из пп. 1-6.
- по крайней мере, одно устройство обработки команд;
- по крайней мере, одно устройство хранения данных;
- одну или более компьютерных программ, загружаемых в, по крайней мере, одно вышеупомянутое устройство хранения данных и выполняемых на, по крайне мере, одном из вышеупомянутых устройств обработки команд, при этом одна или более компьютерных программ содержат инструкции для выполнения способа по любому из пп. 1-6.
8. Машиночитаемый носитель данных, содержащий исполняемые одним или более процессорами машиночитаемые инструкции, которые при их исполнении реализуют способ улучшения цифровых растровых изображений методом локального выравнивания яркости по любому из пп. 1-6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015108160/08A RU2595615C1 (ru) | 2015-06-26 | 2015-06-26 | Способ улучшения цифровых растровых изображений методом локального выравнивания яркости |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2015108160/08A RU2595615C1 (ru) | 2015-06-26 | 2015-06-26 | Способ улучшения цифровых растровых изображений методом локального выравнивания яркости |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2595615C1 true RU2595615C1 (ru) | 2016-08-27 |
Family
ID=56892223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2015108160/08A RU2595615C1 (ru) | 2015-06-26 | 2015-06-26 | Способ улучшения цифровых растровых изображений методом локального выравнивания яркости |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2595615C1 (ru) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5991456A (en) * | 1996-05-29 | 1999-11-23 | Science And Technology Corporation | Method of improving a digital image |
| US6163621A (en) * | 1997-02-27 | 2000-12-19 | Samsung Electronics Co., Ltd | Histogram equalization method and device in contrast enhancement apparatus for image processing system |
| RU2298226C1 (ru) * | 2005-10-28 | 2007-04-27 | Самсунг Электроникс Ко., Лтд. | Способ улучшения цифровых изображений |
| RU2370815C2 (ru) * | 2005-08-19 | 2009-10-20 | Самсунг Электроникс Ко., Лтд. | Способ и система для выделения и классификации дефектов экспозиции цифровых изображений |
| US7684640B2 (en) * | 2005-10-20 | 2010-03-23 | Sharp Laboratories Of America, Inc. | Methods and systems for automatic digital image enhancement with local adjustment |
-
2015
- 2015-06-26 RU RU2015108160/08A patent/RU2595615C1/ru active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5991456A (en) * | 1996-05-29 | 1999-11-23 | Science And Technology Corporation | Method of improving a digital image |
| US6163621A (en) * | 1997-02-27 | 2000-12-19 | Samsung Electronics Co., Ltd | Histogram equalization method and device in contrast enhancement apparatus for image processing system |
| RU2370815C2 (ru) * | 2005-08-19 | 2009-10-20 | Самсунг Электроникс Ко., Лтд. | Способ и система для выделения и классификации дефектов экспозиции цифровых изображений |
| US7684640B2 (en) * | 2005-10-20 | 2010-03-23 | Sharp Laboratories Of America, Inc. | Methods and systems for automatic digital image enhancement with local adjustment |
| RU2298226C1 (ru) * | 2005-10-28 | 2007-04-27 | Самсунг Электроникс Ко., Лтд. | Способ улучшения цифровых изображений |
Non-Patent Citations (1)
| Title |
|---|
| статья "Adaptive histogram equalization and its variations", опубликованная 31.12.1987, 13 стр. [он-лайн] [найдено 2016-02-02], найденная в Интернет: . * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108702496B (zh) | 用于实时色调映射的系统和方法 | |
| JP7175197B2 (ja) | 画像処理方法および装置、記憶媒体、コンピュータ装置 | |
| US20190005630A1 (en) | High Dynamic Range Image Processing Method and Apparatus | |
| KR102317613B1 (ko) | 로컬라이징된 콘트라스트 향상을 위한 시스템들 및 방법들 | |
| US9396526B2 (en) | Method for improving image quality | |
| Boschetti et al. | High dynamic range image tone mapping based on local histogram equalization | |
| CN109817170B (zh) | 像素补偿方法、装置和终端设备 | |
| JP2010503056A (ja) | 画像の強調の方法及び装置 | |
| CN113039576A (zh) | 图像增强系统和方法 | |
| JP2001313844A (ja) | 局所的な色補正を実行する方法および装置 | |
| Yee et al. | Segmentation and adaptive assimilation for detail-preserving display of high-dynamic range images | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| CN114240767A (zh) | 一种基于曝光融合的图像宽动态范围处理方法及装置 | |
| Yu et al. | Adaptive inverse hyperbolic tangent algorithm for dynamic contrast adjustment in displaying scenes | |
| Lei et al. | Low-light image enhancement using the cell vibration model | |
| WO2016051716A1 (ja) | 画像処理方法、画像処理装置、及び画像処理プログラムを記憶する記録媒体 | |
| Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
| CN112819699A (zh) | 视频处理方法、装置及电子设备 | |
| CN110807748A (zh) | 一种基于高动态范围的新色调映射图像增强方法 | |
| JPWO2019041842A5 (ru) | ||
| CN116468636A (zh) | 低照度增强方法、装置、电子设备和可读存储介质 | |
| RU2595615C1 (ru) | Способ улучшения цифровых растровых изображений методом локального выравнивания яркости | |
| CN114494471A (zh) | 一种图像对比度增强方法及系统 | |
| Liu et al. | An adaptive tone mapping algorithm based on gaussian filter | |
| Tan et al. | A retinex-based local tone mapping algorithm using L 0 smoothing filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| QB4A | Licence on use of patent |
Free format text: LICENCE FORMERLY AGREED ON 20190813 Effective date: 20190813 |
|
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20190814 |
|
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20200605 |