RU2680754C2 - Способ повышения резкости цифрового изображения - Google Patents
Способ повышения резкости цифрового изображения Download PDFInfo
- Publication number
- RU2680754C2 RU2680754C2 RU2017126842A RU2017126842A RU2680754C2 RU 2680754 C2 RU2680754 C2 RU 2680754C2 RU 2017126842 A RU2017126842 A RU 2017126842A RU 2017126842 A RU2017126842 A RU 2017126842A RU 2680754 C2 RU2680754 C2 RU 2680754C2
- Authority
- RU
- Russia
- Prior art keywords
- intensity
- image
- pixel
- derivative
- gradient
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 45
- 239000013598 vector Substances 0.000 claims abstract description 33
- 238000006073 displacement reaction Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000006870 function Effects 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000011084 recovery Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000000873 masking effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000003707 image sharpening Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Nonlinear Science (AREA)
- Image Processing (AREA)
Abstract
Изобретение относится к области обработки цифровых изображений и может быть использовано в системах отображения изображений. Технический результат - повышение качества цифровых изображений за счет упрощения и уменьшения количества вычислительных операций при повышении резкости цифровых изображений. Способ повышения резкости цифрового изображения состоит в том, что для пикселей цифрового изображения вычисляют значения градиента интенсивности, определяют знаки второй производной интенсивности, определяют векторы смещения, длина которых равна размеру пикселя изображения, а направление задано направлением градиента и знаком второй производной интенсивности для данного пикселя, при этом повышение резкости изображения производят путем изменения значения интенсивности пикселя таким образом, что при отрицательном знаке второй производной к интенсивности данного пикселя добавляют, а при положительном знаке второй производной из интенсивности данного пикселя вычитают абсолютное значение градиента интенсивности, вычисленное на конце вектора смещения для данного пикселя. 2 з.п. ф-лы, 13 ил.
Description
Область техники
Изобретение относится к области обработки цифровых изображений и может быть использовано в системах отображения фото- и видеоданных для повышения качества изображений путем повышения их резкости.
Предшествующий уровень техники
Как известно, восприятие цифрового изображения во многом определяется двумя его важнейшими характеристиками - контрастом и резкостью. Резкость изображения зависит от многих внешних факторов, таких как турбулентность атмосферы, аберрации изображающей оптической системы, характер и скорость перемещения изображаемого объекта относительно приемника во время экспозиции, дефокусировка и др. Количественно резкость изображения характеризуется шириной областей так называемого «размытия» границ изображаемых объектов. В общем случае резкость может быть не одинаковой по полю изображения. Особенно ярко это проявляется в тех случаях, когда на регистрируемом цифровом кадре некоторые объекты неподвижны, а другие, например, перемещаются, или когда разные объекты находятся на различных расстояниях от изображающей оптической системы, превышающих ее глубину резкости.
С математической точки зрения искажения цифровых изображений, проявляющиеся в размытии границ изображаемых объектов, предстают результатом конволюции (свертки) некоего «идеального» изображения, которое могло бы быть получено при идеальных условиях регистрации идеальной оптической системой с бесконечно большой глубиной резкости и чувствительностью матричного фотоприемника, допускающего предельно малую экспозицию кадра, и оператора, ядро которого определяет характер свертки по одному, нескольким или всем возможным искажающим факторам. Наиболее часто используемое на практике ядро размытия цифровых изображений характеризуется функцией Гаусса.
Для улучшения качества цифровых изображений применяют различные методы повышения резкости.
Существуют два основных подхода к решению задачи повышения резкости цифровых изображений, подвергшихся воздействию ядра размытия. Первый заключается в модификации профиля распределения яркости пикселей в пределах области, непосредственно прилегающей к границе изображаемого объекта (в так называемой транзитной зоне), при сохранении ее ширины. Это приводит к повышению доли высокочастотных компонент в спектре сигнала и кажущемуся повышению информационной наполненности изображения. Применение данного подхода улучшает зрительное восприятие подвергшегося обработке изображения, однако степень улучшения оставляет желать большего, так как создается лишь иллюзия повышения резкости, главным образом, за счет появления инвертированных областей яркости на противоположных сторонах границ перепадов яркости на изображениях (эффект «гало»).
Наиболее распространенным методом, реализующим описанный выше подход, является метод нерезкого маскирования (unsharp masking), состоящий в том, что исходное изображение подвергают дополнительному размытию путем усреднения значений яркости элементов изображения (пикселей) в пределах окрестностей определенного размера. Далее производят операцию вычитания полученного изображения из исходного, а результат складывают с исходным изображением. Этот простой способ является наиболее распространенным в технике обработки цифровых изображений, однако ряд его существенных недостатков, таких как отсутствие требований к параметрам преобразования, может приводить к нежелательным результатам в виде модификации локальных контрастов и появлению артефактов. Применение метода нерезкого маскирования обычно не приводит к появлению артефактов в тех случаях, когда величина дополнительного размытия исходного изображения не превышает (а лучше, если много меньше) величины исходного искажения. При этом, однако, эффективность восстановления резкости также не велика (как правило, улучшение резкости без появления артефактов составляет не более 20%).
Другой подход - это восстановление «размытых» изображений, состоящее в поиске функции профиля распределения яркости, наиболее близкой к профилю яркости неискаженного изображения. Реализация данного метода позволяет добиться уменьшения ширины транзитной зоны. Математически это означает выполнение операции обратной свертки (деконволюции), для осуществления которой необходимо знание ядра размытия. В некоторых случаях априорная информация о характеристиках этого ядра (даже приблизительная) существенно упрощает процедуру восстановления изображения благодаря хорошо разработанному математическому аппарату, позволяющему выполнять процедуру деконволюции достаточно эффективно, хотя и ценой трудоемких вычислений. В случаях, когда априорная информация об ядре размытия полностью отсутствует, задача качественного восстановления изображения («слепая» деконволюция) становится намного сложнее, так как в этом случае результат сильно зависит от начальных условий длительного итерационного процесса предсказания-коррекции при поиске неизвестного ядра. Также стремительно возрастает общая трудоемкость вычислений. При этом нет никаких гарантий того, что итерационный процесс восстановления изображения сойдется к истинному значению распределения яркости неискаженного изображения. Математическая сложность и алгоритмическая трудоемкость прямых, а тем более «слепых» методов деконволюции на современном этапе развития технологий делает невозможным их использование при обработке потокового видео.
Известен способ адаптивного повышения резкости цифровых изображений (Патент РФ №2383924, G06K 9/36, опубл. 10.03.2010), состоящий в том, что оценивают степень резкости цифровой фотографии; уменьшают длину перехода на перепадах яркости в канале яркости изображения, используя параметры, которые зависят от степени резкости; увеличивают локальный контраст в канале яркости изображения, используя параметры, которые зависят от степени резкости; модифицируют цветовые каналы изображения с целью предотвращения искажений цветового тона и насыщенности, причем степень резкости цифровой фотографии оценивают на основании признаков, вычисляемых из массива интегралов логарифма гистограмм изображений границ, которые получают в результате высокочастотной фильтрации цифровой фотографии с ядрами свертки различного размера.
Известен способ улучшения цифровых изображений (Патент РФ №2298226, G06T 5/00, опубл. 27.04.2007), состоящий в том, что выполняют фильтрацию шумов, осуществляют коррекцию глобального контраста, извлекают из цветного изображения яркостную компоненту как максимальную из R, G, В составляющих, определяют параметры локальной коррекции темных и светлых тонов, выполняют билатеральную фильтрацию яркости изображения, корректируют темные и светлые тона в канале яркости, при этом коррекцию темных тонов изображения осуществляют за счет добавления к каналу яркости произведения разности изображения деталей в темных тонах и яркости, инверсии результата билатеральной фильтрации, возведенной в степень, которая определяет ширину тонового диапазона, и коэффициента усиления темных тонов, а изображение деталей в темных тонах является функцией отношения яркости исходного изображения и фильтрованного изображения, при этом коррекцию светлых тонов изображения осуществляют за счет вычитания из канала яркости произведения разности яркости и изображения деталей в светлых тонах, результата билатеральной фильтрации яркости, возведенного в степень, которая определяет ширину тонового диапазона, и коэффициента ослабления светлых тонов, а изображение деталей в светлых тонах является функцией отношения фильтрованного изображения и яркости исходного изображения, конвертируют результат коррекции в изображение в цветовую систему RGB.
Известен метод повышения резкости цифровых изображений (Патент США №7809208, G06K 9/40, опубл. 05.10.2010), представляющий собой модификацию метода нерезкого маскирования и состоящий в том, что для каждого пикселя, расположенного на краю объекта изображения до повышения его резкости, определяют значение интенсивности; внутри установленного размера области вокруг указанного пикселя выявляют пиксели с максимальной и минимальной интенсивностью; выполняют операцию повышения резкости изображения. Далее для каждого пикселя, расположенного на краю объекта изображения, определяют значение интенсивности таким образом, что если это значение больше максимального значения интенсивности, определенного для пикселей внутри установленного размера области вокруг указанного пикселя до выполнения операции повышения резкости или если это значение меньше минимального значения интенсивности, определенного для пикселей внутри установленного размера области вокруг указанного пикселя до выполнения операции повышения резкости, тогда значение интенсивности пикселя, расположенного на краю объекта изображения, принимают равным максимальному или минимальному значению интенсивности, определенному для пикселей внутри установленного размера области вокруг указанного пикселя до выполнения операции повышения резкости, соответственно, а в ином случае значение интенсивности пикселя, расположенного на краю объекта изображения, после повышения его резкости не изменяют.
Известен метод повышения резкости цифровых изображений (Патент США №8687912, G06K 9/40, опубл. 01.04.2014) представляющий собой модификацию метода, описанного в вышеприведенном патенте США №7809208, отличающийся от него тем, что определение значения интенсивности пикселя, расположенного вблизи края объекта изображения, после выполнения операции повышения резкости, например, методом нерезкого маскирования производят путем сравнения с минимальным и максимальным значениями интенсивности пикселей внутри установленного размера области вокруг указанного пикселя до выполнения операции повышения резкости, используя двухуровневую функцию управления, первый из уровней которой относится к пикселям, расположенным в пределах области, характеризуемой как край объекта изображения, а второй - к остальным пикселям, примыкающим к указанной области, причем интенсивность пикселей, принадлежащих к первой группе может превышать максимальное или быть меньше минимального из значений интенсивности пикселей, расположенных в пределах области края объекта изображения и определенных до выполнения операции повышения резкости изображения.
Известен способ улучшения цифровых изображений (Патент РФ №2367015, G06K 9/40, опубл. 10.09.2009), включающий анализ параметров изображения с последующим извлечением яркостной компоненты, построение корректирующего фильтра и корректировку изображения, причем построение корректирующего фильтра производят по усредненному профилю проекции с построением набора локальных проекций яркости изображения в направлении, определяемом градиентом на отобранных участках, корректировку изображения осуществляют, отбирая пиксели изображения в локальной области, примыкающей к граням, исключая при этом пиксели, находящиеся непосредственно на гранях, и корректируют отобранные участки при помощи построенного корректирующего фильтра с регулировкой весовых коэффициентов фильтра по локальным значениям амплитуды градиента.
Наиболее близким по технической сущности и принятым за прототип, является метод повышения резкости цифровых изображений (Патент США №7813582, G06K 9/40, опубл. 12.10.2010), состоящий в том, что регистрируют цифровое изображение, для его пикселей вычисляют значения градиента интенсивности, определяют знаки второй производной интенсивности, определяют векторы смещения, направление которых задано направлением градиента и знаком второй производной интенсивности для данного пикселя. Длины векторов смещения определяют пропорционально абсолютным значениям градиента интенсивности, а затем нормализуют путем последовательного ранжирования и вычисления значений соответствующих персентилей таким образом, чтобы максимальное значение длины из всех значений длин векторов смещения не превышало наперед заданного значения, которое выбирают равным, например, размеру одного пикселя. Повышение резкости изображения производят путем замены значения интенсивности каждого из указанных пикселей значением интенсивности пикселя, лежащего на конце соответствующего ему вектора смещения. Градиенты интенсивности вычисляют путем свертки изображения с дискретным дифференцирующим оператором. Значение максимальной длины векторов смещения в прототипе, вообще говоря, не ограничено, однако, при его практическом применении выбор максимальной длины должен быть ограничен сверху по соображениям возможности влияния на результат соседних объектов изображения и снизу по соображениям эффективности процесса.
Неоспоримое преимущество прототипа перед большинством способов повышения резкости, основанных на модификациях метода нерезкого маскирования, состоит в том, что при его реализации появление артефактов на границах объектов изображения практически исключено.
Основным недостатком прототипа является низкая производительность, вызванная сложностью вычислительного алгоритма. Это является препятствием для его аппаратной реализации и применения при решении задач обработки видеоданных большого объема в режиме реального времени.
Сущность изобретения
Заявляемое изобретение направлено на достижение технического результата, который состоит в повышении производительности метода за счет упрощения и уменьшения количества вычислительных операций.
Указанный технический результат достигается тем, что в заявляемом способе для пикселей цифрового изображения вычисляют значения градиента интенсивности, определяют знаки второй производной интенсивности, определяют векторы смещения, длина которых равна размеру пикселя изображения, а направление задано направлением градиента и знаком второй производной интенсивности для данного пикселя, повышение резкости изображения производят путем изменения значения интенсивности пикселя таким образом, что при отрицательном знаке второй производной к интенсивности данного пикселя добавляют, а при положительном знаке второй производной из интенсивности данного пикселя вычитают абсолютное значение градиента интенсивности, вычисленное на конце вектора смещения для данного пикселя.
Кроме того, для пикселей цифрового изображения могут быть определены дополнительные векторы смещения, длины которых кратны размеру пикселя изображения, направление задано направлением градиента и знаком второй производной интенсивности для данного пикселя, а повышение резкости изображения производят путем изменения значения интенсивности пикселя таким образом, что при отрицательном знаке второй производной к интенсивности данного пикселя добавляют, а при положительном знаке второй производной из интенсивности данного пикселя вычитают сумму абсолютных значений градиентов интенсивности, вычисленных на концах дополнительных векторов смещения для данного пикселя.
Кроме того, значения градиента интенсивности могут быть определены путем выполнения операции свертки изображения с нормированным дискретным дифференциальным оператором размером 3×3, сумма абсолютных значений компонент которого равна 1.
В тех случаях, когда конец какого-либо вектора смещения в результате определения не совпадает с центром какого-либо пикселя, то абсолютное значение градиента интенсивности на его конце может быть рассчитано методом интерполяции абсолютных значений градиента интенсивности для ближайших пикселей.
Краткое описание фигур чертежей
На фиг. 1, 2 показана граница раздела двух областей на изображении, произвольно ориентированная относительно направлений x и y, совпадающих с направлениями строк и столбцов пикселей изображения, соответственно, а также векторы смещения, длина которых равна размеру одного пикселя изображения, а направления заданы направлением градиента интенсивности изображения и знаками второй производной интенсивности изображения, рассчитанными для пикселей, которым соответствуют начала векторов смещения, причем на фиг. 1 эта граница показана резкой, а на фиг. 2 - размытой.
На фиг. 3, 4 представлены профили интенсивности IS(i,j) и IB(i,j), а также результаты расчета проекций градиентов интенсивности GS(i,j) и GB(i,j) вдоль направления x для изображений, показанных на фиг. 1, 2, соответственно. Профили интенсивности проиллюстрированы строками пикселей с указанием знаков вторых производных интенсивности DS(i,j) и DB(i,j). Из фиг. 3 видно, что резкая граница не имеет транзитной зоны, т.е. значения интенсивности пикселей принимают только одно из двух значений, относящихся либо к темной, либо к светлой области изображения, тогда как размытая граница на фиг. 4 имеет транзитную зону, содержащую восемь пикселей с координатами i=x-3; i=x-2; i=x-1; i=x; i=x+1; i=x+2; i=x+3; i=x+4, интенсивности которых принимают промежуточные значения, не относящиеся ни к темной, ни к светлой области изображения.
На фиг. 5-8 представлены нормированные дифференциальные операторы, с помощью которых могут быть рассчитаны градиенты интенсивности изображения. Нормировка операторов заключается в том, что сумма абсолютных значений компонент каждого из них равна 1. На фиг. 5 представлены нормированные дифференциальные операторы, с помощью которых могут быть рассчитаны проекции градиентов интенсивности на направления, совпадающие с направлениями строк и столбцов пикселей изображения. На фиг. 6 представлены нормированные дифференциальные операторы, с помощью которых могут быть рассчитаны проекции градиентов интенсивности на направления, совпадающие с направлениями диагоналей пикселей изображения, ориентированных по отношению к направлениям строк и столбцов под углами равными 45 и 135 угловым градусам. На фиг. 7, 8 представлены нормированные дифференциальные операторы Превитта и Собеля, соответственно.
На фиг. 9, 10 приведены результаты вычисления профиля разности интенсивностей изображений размытой IB(i,j) и резкой IS(i,j) границ объекта без учета (фиг. 9) и с учетом (фиг. 10) знака второй производной размытого изображения.
На фиг. 11, 12 проиллюстрирован способ формирования функции восстановления изображения при реализации заявляемого способа по п. 1 и п. 2 формулы изобретения, соответственно.
На фиг. 13 показаны графики изменения показателя эффективности повышения резкости изображений заявляемым по п. 1 (сплошная линия) и по п. 2 (штриховая линия) формулы изобретения способом в зависимости от степени размытия границ изображаемых объектов. По оси абсцисс отложены значения параметра функции Гаусса, выбранной в качестве ядра размытия.
Раскрытие изобретения
Для того, чтобы раскрыть заявляемое изобретение рассмотрим цифровое изображение, состоящее из Р столбцов и Q строк пикселей, характеризуемых координатами (i,j) и соответствующими интенсивностями I(i,j), где i будем считать номером столбца, a j - номером строки. Определим далее признаки, отличающие изображение, границы объектов на котором имеют резкий ступенчатый профиль, характерный для идеального случая, когда ширина транзитной зоны равна нулю, от размытого изображения, полученного в результате, например, дефокусировки или проявления иных искажающих факторов. Без ограничения общности рассмотрим пример модельного изображения, представляющего собой одномерную границу раздела двух областей с однородными распределениями интенсивности (так называемыми «полигонами») в двух состояниях - идеальном (фиг. 1) и искаженном (фиг. 2).
В идеальном состоянии изображения граница раздела между полигонами представляет собой резкую ступеньку без транзитной зоны, т.е. на изображении отсутствуют пиксели, интенсивность которых отличалась бы от интенсивности пикселей на полигонах. Для ясности обозначим эти значения как IL и ID для светлого и темного полигонов, соответственно. Если вычислить значения градиентов интенсивности для такого изображения, то можно заметить, что они будут равны нулю для всех пикселей кроме тех, которые непосредственно примыкают к границе раздела между полигонами (фиг. 3).
Для искаженного изображения (подвергнутого, например, дефокусировке) граница раздела между полигонами имеет транзитную зону, в пределах которой пиксели имеют интенсивность отличную от интенсивности пикселей на полигонах (фиг. 4). Значения градиентов интенсивности для искаженного изображения отличны от нуля для всех пикселей, находящихся в пределах транзитной зоны. При этом пограничными пикселями принято считать те, для которых абсолютные значения градиентов интенсивности принимают максимальные значения.
Если для рассмотренных выше изображений дополнительно вычислить вторые производные интенсивности и определить знаки их ненулевых значений, то можно заметить, что они будут положительными или отрицательными для пикселей, принадлежащих темным или светлым полигонам, соответственно (фиг. 3, 4).
На практике значения градиента интенсивности изображения определяют путем выполнения операции свертки изображения (т.е. массива значений интенсивности) с дискретными дифференциальными операторами, в качестве которых принято использовать квадратные операторы размера 3×3 (фиг. 5-8). К числу таких операторов относят, например, операторы Превитта и Собеля. При этом важно, чтобы применяемый дифференциальный оператор был нормирован таким образом, чтобы сумма абсолютных значений компонент оператора была равна 1. В этом случае вычисляемые значения градиента интенсивности могут быть корректным образом соотнесены со значениями интенсивности соответствующих пикселей изображения и использованы заявляемым способом для изменения значений их интенсивности, сокращения ширины транзитных зон и повышения резкости изображения.
Способ повышения резкости цифрового изображения должен обеспечить восстановление размытого изображения до состояния идеального или, по крайней мере, уменьшить степень размытия границы, т.е. уменьшить ширину транзитной зоны. Очевидно, что этого можно добиться следующим образом: уменьшить интенсивность пикселей, расположенных в той части транзитной зоны, в которой принадлежавшие темному полигону на резком изображении пиксели в результате конволюции изображения с искажающим ядром увеличили свою интенсивность, и, наоборот, увеличить интенсивность тех пикселей в транзитной зоне, которые на резком изображении принадлежали светлому полигону и уменьшили свою интенсивность в результате искажения. Выбор того или иного варианта изменения интенсивности определен знаком ее второй производной: уменьшать интенсивность следует при ее положительном значении, а увеличивать - при отрицательном.
В предлагаемом изобретении повышение резкости размытого изображения заключается в определении величин уменьшения или увеличения значений интенсивности пикселей в пределах транзитной зоны и последующего изменения указанных значений на указанные величины. Набор этих величин будем обозначать R(i,j) и называть функцией восстановления изображения. Для разных пикселей в пределах транзитной зоны величина уменьшения или увеличения интенсивности разная и зависит от ширины транзитной зоны, положения пикселя внутри транзитной зоны по отношению к границе и величины перепада интенсивности ΔILD=IL-ID между полигонами. От того насколько корректно определены значения R(i,j) в значительной степени зависит результат восстановления резкости цифрового изображения и возможность появления нежелательных артефактов в виде «гало».
Для оценки результата повышения резкости цифрового изображения введем ряд определений: идеальное изображение с резкими границами IS(i,j), исходное изображение с размытыми границами IB(i,j) и восстановленное изображение IR(i,j), которое может быть найдено из соотношения:
IR(i,j)=IB(i,j)-sgn[DB(i,j)]R(i,j).
При условии отсутствия артефактов эффективность способа повышения резкости цифрового изображения η может быть охарактеризована следующим образом:
Если рассмотреть произвольный профиль интенсивности вблизи границы объекта на изображении и соответствующий ему профиль градиента интенсивности, то можно заметить, что значение интеграла градиента вдоль перпендикулярного границе направления будет равно разности значений интенсивности пикселей, лежащих по разные стороны от границы. Это обстоятельство является прямым следствием определения производной, которой градиент, собственно говоря, и является. Но из очевидного факта следует важное наблюдение: для любого пикселя, расположенного в транзитной зоне размытой границы искаженного изображения, необходимая для уменьшения ширины транзитной зоны величина изменения значения интенсивности данного пикселя может быть рассчитана как сумма абсолютных значений градиентов для соседних с ним пикселей, расположенных вдоль направления градиента с противоположной от границы стороны. В заявляемом изобретении те пиксели, чьи абсолютные значения градиентов необходимы для определения значений функции восстановления, находят с помощью векторов смещения. Так же как и в прототипе векторы смещения определяют на основе векторов градиентов, их длины принимают значения равные или кратные размеру пикселя изображения, направления совпадают с направлениями градиентов при отрицательных значениях второй производной интенсивности и противоположны градиентам при положительных значениях этой величины. Начало векторов смещения позиционируют в центре пикселя с координатами (i,j) для которого ищут значение функции восстановления R(i,j).
Вычислим разницу ΔI(i,j)=IB(i,j)-IS(i,j) (фиг. 9) и домножим результат на функцию знака второй производной интенсивности исходного изображения (фиг. 10). Сравнивая распределения значений величин ΔI(i,j)sgn[DB(i,j)] и , а также принимая во внимание приведенное выше наблюдение, можно сделать вывод, что значение функции восстановления должно быть равно сумме абсолютных значений градиентов интенсивности пикселей, расположенных вдоль направления градиента с противоположной от границы стороны.
Формально для повышения резкости изображения при расчете функции восстановления интенсивности пикселя с координатами (i,j) достаточно принять во внимание значение градиента лишь для ближайшего соседнего с ним пикселя (фиг. 11). В этом случае длина вектора смещения будет минимальна, равна размеру пикселя изображения и одинакова для всех пикселей. Значение функции восстановления R(i,j) при этом будет равно абсолютному значению градиента интенсивности, вычисленному на конце вектора смещения.
Если ставить задачу достижения большей эффективности заявляемого способа, то при вычислении соответствующего значения функции восстановления R(i,j) необходимо дополнительно учитывать абсолютные значения градиентов интенсивности одного или нескольких пикселей, расположенных вдоль направления градиента с противоположной от границы стороны, расстояния до которых равны длинам соответствующих дополнительных векторов смещения (фиг. 12). Значение функции восстановления при этом будет увеличено на сумму N абсолютных значений градиентов интенсивности, вычисленных на концах дополнительных векторов смещения. Длины этих дополнительных векторов кратны размеру пикселя изображения, т.е. равны двум, трем и т.д. размерам пикселя. На фиг. 13 показаны результаты численного расчета эффективности заявляемого способа по п. 1 (N=0) и п. 2 (для N=1) формулы изобретения при различных значениях параметра функции Гаусса, выбранной в качестве ядра размытия.
В тех случаях, когда положение конца вектора смещения не может быть соотнесено с определенным пикселем, значение искомого градиента можно рассчитать методом интерполяции.
Лучший вариант осуществления изобретения
Заявляемый способ может быть осуществлен следующим образом. Цифровое изображение получают с выхода матричного (пиксельного) цифрового фотоприемного устройства, в качестве которого может быть использована, например, веб-камера. Далее эти данные направляют на вход вычислительного устройства, в котором цифровое изображение представляют в виде массива данных, значения элементов которого соотносят со значениями интенсивности пикселей изображения, а сами элементы характеризуют двумя координатами (i,j), которые обозначают номера столбцов и строк и определяют положение пикселя на изображении. Полученный таким образом массив данных IB(i,j) является отображением исходного цифрового изображения, резкость которого необходимо повысить. Далее вычисляют массив значений градиента интенсивности изображения GB(i,j), применяя операцию свертки с нормированными дискретными дифференцирующими фильтрами. В качестве указанных фильтров выбирают, например, нормированный фильтр Превитта, представленный на фиг. 7. Далее определяют массив знаков второй производной интенсивности изображения DB(i,j), вычисляя для этой цели сами значения, например, путем применения операции свертки массива значений градиента интенсивности изображения GB(i,j) с дискретными дифференцирующими фильтрами, представленными на фиг. 5-8. Далее для пикселей изображения (i,j) определяют массив векторов смещения таким образом, что эти векторы смещения имеют одинаковую длину, величина которой равна, например, размеру пикселя изображения, а направления параллельны направлениям градиентов, вычисленных для пикселей (i,j), причем эти направления совпадают, если знак второй производной интенсивности изображения DB(i,j) для данного пикселя отрицателен и, наоборот, направления противоположны, если знак второй производной интенсивности изображения DB(i,j) для данного пикселя положителен. Повышение резкости изображения производят путем изменения значения интенсивности пикселя с координатами (i,j) таким образом, что при отрицательном знаке второй производной DB(i,j) к интенсивности данного пикселя добавляют, а при положительном знаке второй производной DB(i,j) из интенсивности данного пикселя вычитают значение функции восстановления изображения для данного пикселя. Функцию восстановления изображения R(i,j) в различных вариантах реализации способа можно определять по разному, но в любых случаях она включает значение градиента интенсивности изображения, рассчитанного для пикселя, расположенного вблизи конца соответствующего вектора смещения. Процедура повышения резкости цветных изображений должна предусматривать раздельную обработку изображения заявляемым способом по каждому из цветовых каналов. Это обеспечит дополнительное преимущество предлагаемого способа перед аналогами и прототипом, особенно в тех случаях, когда на изображениях проявляются искажения, вызванные хроматическими аберрациями изображающих оптических систем. В лучшем варианте осуществления изобретения значение функции восстановления интенсивности пикселя с координатами (i,j) может быть найдено из соотношения:
где
Gx(i,j) Gy(i,j) - значения проекций градиентов интенсивности исходного изображения I(i,j) на перпендикулярные направления x и y,
D(i,j) - значение второй производной интенсивности исходного изображения I(i,j),
N - число дополнительных векторов смещения,
а массив значений интенсивности восстановленного изображения с повышенной резкостью IR(i,j) рассчитывают по формуле:
IR(i,j)=I(i,j)-sgn[D(i,j)]R(i,j).
В примере наилучшей реализации способа число дополнительных векторов смещения выбирают равным 2. Это значение N обеспечивает высокую эффективность и производительность заявляемого способа одновременно.
Предлагаемый способ существенно проще, чем прототип, т.к. его реализация требует меньше вычислительных операций Это подтверждает достижение заявленного технического результата. Сравнительная простота алгоритма и сокращение необходимых для его реализации вычислительных операций открывает возможность практической реализации заявляемого способа при повышении резкости изображений в потоковом видео с помощью современных графических процессоров. Кроме того, предлагаемый способ обеспечивает высокую эффективность повышения резкости цифровых изображений, что иллюстрируется результатами численных экспериментов.
Claims (3)
1. Способ повышения резкости цифрового изображения, состоящий в том, что для пикселей цифрового изображения вычисляют значения градиента интенсивности, определяют знаки второй производной интенсивности, определяют векторы смещения, длина которых равна размеру пикселя изображения, а направление задано направлением градиента и знаком второй производной интенсивности для данного пикселя, отличающийся тем, что повышение резкости изображения производят путем изменения значения интенсивности пикселя таким образом, что при отрицательном знаке второй производной к интенсивности данного пикселя добавляют, а при положительном знаке второй производной из интенсивности данного пикселя вычитают абсолютное значение градиента интенсивности, вычисленное на конце вектора смещения для данного пикселя.
2. Способ повышения резкости цифрового изображения по п. 1, отличающийся тем, что для пикселей цифрового изображения определяют дополнительные векторы смещения, длины которых кратны размеру пикселя изображения, направление задано направлением градиента и знаком второй производной интенсивности для данного пикселя, а повышение резкости изображения производят путем дополнительного изменения значения интенсивности пикселя таким образом, что при отрицательном знаке второй производной к интенсивности данного пикселя добавляют, а при положительном знаке второй производной из интенсивности данного пикселя вычитают сумму абсолютных значений градиентов интенсивности, вычисленных на концах дополнительных векторов смещения для данного пикселя.
3. Способ повышения резкости цифрового изображения по п. 1, отличающийся тем, что значения градиента интенсивности определяют путем выполнения операции свертки изображения с нормированным дискретным дифференциальным оператором размером 3×3, причем нормируют оператор путем деления значений каждой его компоненты на сумму абсолютных значений всех компонент оператора.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/RU2015/000012 WO2016114684A1 (ru) | 2015-01-16 | 2015-01-16 | Способ повышения резкости цифрового изображения |
Publications (3)
Publication Number | Publication Date |
---|---|
RU2017126842A3 RU2017126842A3 (ru) | 2019-02-18 |
RU2017126842A RU2017126842A (ru) | 2019-02-18 |
RU2680754C2 true RU2680754C2 (ru) | 2019-02-26 |
Family
ID=56406117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2017126842A RU2680754C2 (ru) | 2015-01-16 | 2015-01-16 | Способ повышения резкости цифрового изображения |
Country Status (2)
Country | Link |
---|---|
RU (1) | RU2680754C2 (ru) |
WO (1) | WO2016114684A1 (ru) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113763380B (zh) * | 2021-09-29 | 2023-05-02 | 江苏信息职业技术学院 | 基于矢量梯度的无参考图像清晰度评价方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3641268A (en) * | 1969-07-24 | 1972-02-08 | Us Navy | Real-time image contrast and edge sharpness enhancing apparatus |
US6600517B1 (en) * | 2000-03-07 | 2003-07-29 | Koninklijke Philips Electronics N.V. | System and method for improving the sharpness of a video image |
US7103234B2 (en) * | 2001-03-30 | 2006-09-05 | Nec Laboratories America, Inc. | Method for blind cross-spectral image registration |
US20100091185A1 (en) * | 2007-04-27 | 2010-04-15 | Sharp Kabushiki Kaisha | Image processing device and method, and image display device and method |
US7813582B1 (en) * | 2006-09-25 | 2010-10-12 | Google Inc. | Method and apparatus for enhancing object boundary precision in an image |
RU2486591C2 (ru) * | 2008-12-30 | 2013-06-27 | Интел Корпорейшн | Способ и устройство для уменьшения шумов в видеоизображении |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7004904B2 (en) * | 2002-08-02 | 2006-02-28 | Diagnostic Ultrasound Corporation | Image enhancement and segmentation of structures in 3D ultrasound images for volume measurements |
RU2400815C2 (ru) * | 2006-10-09 | 2010-09-27 | Самсунг Электроникс Ко., Лтд. | Способ повышения качества цифрового фотоизображения |
-
2015
- 2015-01-16 WO PCT/RU2015/000012 patent/WO2016114684A1/ru active Application Filing
- 2015-01-16 RU RU2017126842A patent/RU2680754C2/ru active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3641268A (en) * | 1969-07-24 | 1972-02-08 | Us Navy | Real-time image contrast and edge sharpness enhancing apparatus |
US6600517B1 (en) * | 2000-03-07 | 2003-07-29 | Koninklijke Philips Electronics N.V. | System and method for improving the sharpness of a video image |
US7103234B2 (en) * | 2001-03-30 | 2006-09-05 | Nec Laboratories America, Inc. | Method for blind cross-spectral image registration |
US7813582B1 (en) * | 2006-09-25 | 2010-10-12 | Google Inc. | Method and apparatus for enhancing object boundary precision in an image |
US20100091185A1 (en) * | 2007-04-27 | 2010-04-15 | Sharp Kabushiki Kaisha | Image processing device and method, and image display device and method |
RU2486591C2 (ru) * | 2008-12-30 | 2013-06-27 | Интел Корпорейшн | Способ и устройство для уменьшения шумов в видеоизображении |
Also Published As
Publication number | Publication date |
---|---|
WO2016114684A1 (ru) | 2016-07-21 |
RU2017126842A3 (ru) | 2019-02-18 |
RU2017126842A (ru) | 2019-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bai et al. | Underwater image enhancement based on global and local equalization of histogram and dual-image multi-scale fusion | |
US8068163B2 (en) | Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing | |
Lin et al. | Intensity and edge based adaptive unsharp masking filter for color image enhancement | |
US9142009B2 (en) | Patch-based, locally content-adaptive image and video sharpening | |
US7856150B2 (en) | Denoise method on image pyramid | |
US8717456B2 (en) | Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing | |
Aslantas et al. | A pixel based multi-focus image fusion method | |
US8514303B2 (en) | Advanced imaging systems and methods utilizing nonlinear and/or spatially varying image processing | |
JP4460839B2 (ja) | デジタル画像鮮鋭化装置 | |
JP4456819B2 (ja) | デジタル画像鮮鋭化装置 | |
EP2249556A2 (en) | Image processing method and apparatus | |
US10628924B2 (en) | Method and device for deblurring out-of-focus blurred images | |
CN101980521B (zh) | 一种图像锐化方法以及相关装置 | |
Javaran et al. | Non-blind image deconvolution using a regularization based on re-blurring process | |
US20060034512A1 (en) | Adaptive image improvement | |
Lee et al. | Motion deblurring using edge map with blurred/noisy image pairs | |
RU2680754C2 (ru) | Способ повышения резкости цифрового изображения | |
CN108573478B (zh) | 中值滤波方法及装置 | |
Saleem et al. | Survey on color image enhancement techniques using spatial filtering | |
RU2383924C2 (ru) | Способ адаптивного повышения резкости цифровых фотографий в процессе печати | |
US7760957B2 (en) | Sharpness enhancement | |
US20090226108A1 (en) | Multi-pass algorithm to reduce ringing artifacts in noise removal and deblur effects | |
Sonawane et al. | Adaptive rule-based colour component weight assignment strategy for underwater video enhancement | |
Xu et al. | An image sharpening algorithm for high magnification image zooming | |
Al-Taweel et al. | Deblurring average blur by using adaptive Lucy Richardson |