RU2405279C2

RU2405279C2 - Способ подавления растра

Info

Publication number: RU2405279C2
Application number: RU2008128581/09A
Authority: RU
Inventors: Илья Владимирович Сафонов (Ru); Илья Владимирович Сафонов; Илья Васильевич Курилин (RU); Илья Васильевич Курилин
Original assignee: Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд."
Priority date: 2008-07-15
Filing date: 2008-07-15
Publication date: 2010-11-27
Also published as: RU2008128581A

Abstract

Изобретение относится к области обработки цифровых изображений и, в частности, к способам подавления растра на сканированных изображениях, которые были растрированы при печати и, соответственно, содержат печатный растр. Техническим результатом является разработка нового способа, повышающего эффективность удаления растра с растрированных сканированных изображений, при этом должно быть обеспечено сохранение глобального и локального контраста при достаточной резкости изображения. Указанный технический результат достигается тем, что уменьшают длину перехода на перепадах яркости; выполняют фильтрацию адаптивным сглаживающим фильтром; повторно уменьшают длину перехода на перепадах яркости; повышают локальный контраст на краях перепадов яркости; увеличивают глобальный контраст. 3 з.п. ф-лы, 10 ил.

Description

Изобретение относится к области обработки цифровых изображений, а более конкретно - к способам подавления растра на сканированных изображениях, которые были растрированы при печати и, соответственно, содержат печатный растр.

Как известно, при типографской печати растрируются изображения в газетах, журналах, книгах. Также растрируются изображения при печати на цветных и черно-белых лазерных принтерах. Сканированные растрированные изображения содержат растр, т.е. регулярную паразитную структуру (текстуру), которую также называют муаром. Подавление этой растровой структуры является одной из основных задач аппаратуры сканирования и копирования.

Имеется достаточно большое количество публикаций и патентов, относящихся к устройствам и способам подавления растра. Например, способ, описанный в выложенной патентной заявке США №2006/0023259 [1], содержит два основных этапа: для каждого цветового канала в частотной области детектируются частоты, относящиеся к растру, затем эти частоты подавляются в частотной же области.

Другая выложенная патентная заявка США 2005/0002064 [2] описывает способ подавления растра, предусматривающий применение к изображению в пространственной области нескольких размывающих фильтров с увеличением степени размытия, затем обеспечивают смешивание результатов размытия с весами, которые зависят от локальных оценок, а затем к результату смешения применяют фильтр нерезкого маскирования для повышения локального контраста на перепадах яркости.

Выложенная патентная заявка США 2006/0227382 [3] предлагает способ синтеза двумерного сглаживающего фильтра для подавления растра. Ядро фильтра зависит от значения средней яркости и среднеквадратичного отклонения в локальной области. Соответствие между параметрами фильтра и локальными оценками устанавливают в процессе предварительного обучения.

Патент США 7116446 [4] описывает способ подавления растра, в процессе которого изображение сначала размывают путем свертки с двумерным ядром Гаусса, затем выполняют повышение резкости с помощью локального преобразования уровней, причем пределы для локального преобразования уровней определяют до размытия. Данный патент может рассматриваться в качестве прототипа заявляемого изобретения.

Патент США 5243444 [5] описывает способ подавления растра, при котором итеративно применяют Сигма-фильтр. Патент США 6101285 [6] предлагает использовать для подавления растра направленные фильтры, что позволяет детектировать области, которые относились к перепадам яркости до растрирования.

Обнаружение и удаление печатного растра, используя обработку в частотной области (см. [1]), является непрактичным для реализации в компактных устройствах, так как все изображение требуется одновременно хранить в памяти. Кроме того, цветные изображения растрируются в цветовой системе CMYK и при сканировании на RGB сканере частоты растровых ячеек нескольких каналов СМУК содержатся в каждом КПИ канале одновременно, что затрудняет их детектирование и подавление.

Итеративная обработка (см. [2] и [5]) является непрактичной, так как требует значительных вычислительных ресурсов и хранения в памяти целого изображения.

Использование адаптивного сглаживания, т.е. низкочастотной фильтрации (см. [3] и [6]), для подавления растровой структуры является общепринятой практикой. Однако данный подход имеет ряд недостатков: обработанное изображение выглядит размытым, так как области, соответствующие высокочастотным компонентам изображения (перепадам яркости) до растрирования, также размываются;

- вследствие низкочастотной фильтрации ухудшается локальный и глобальный контраст изображения, в частности, края черных символов текста размываются.

Наилучшие существующие фильтры адаптивного сглаживания используют направленные фильтры детектирования краев, однако данный подход увеличивает время обработки.

Задача, на решение которой направлено заявляемое изобретение, состоит в разработке нового способа, повышающего эффективность удаления растра с растрированных сканированных изображений, при этом должно быть обеспечено сохранение глобального и локального контраста при достаточной резкости изображения.

Технический результат достигается за счет разработки усовершенствованного способа подавления растра на сканированных растрированных изображениях, заключающегося в выполнении следующих этапов:

- уменьшают длину перехода на перепадах яркости, т.е на границах;

- выполняют фильтрацию адаптивным сглаживающим фильтром, осуществляя, таким образом, активное размытие с помощью низкочастотной фильтрации;

- повторно уменьшают длину перехода на перепадах яркости;

- повышают локальный контраст на краях перепадов яркости;

- увеличивают глобальный контраст.

Способ оперирует изображением в пространственной области и допускает поблочную обработку как полутоновых (черно-белых), так и цветных изображений, представленных в различных цветовых системах.

Способ имеет относительно низкую вычислительную сложность.

Существуют следующие три существенных отличия от известных способов:

- повышение резкости достигается за счет двукратного использования (до и после размытия) локального преобразования уровней с упорядочиванием значений, которое устойчиво к присутствию шумов; данный подход позволяет предохранить перепады от размытия;

- способ детектирования пикселов, с большой долей вероятности относящихся к перепадам, является новым: функция подобия вычисляется между центральным блоком локального окна и некоторым другим блоком в пределе окна, причем положение блока определяется случайным образом; для пикселов, относящихся к областям без резкого изменения яркости, функция подобия имеет большое значение, напротив, для пикселов, относящихся к перепадам яркости, функция подобия дает малые значения; области без резких изменений яркости размываются сильнее, чем области перепадов; случайный выбор блоков для вычисления функции подобия позволяет избежать вычисления направленных фильтров для детектирования перепадов;

- заключительные два этапа способа состоят в повышении локального контраста с помощью фильтра нерезкого маскирования, который для размытия изображения использует билатеральный фильтр, и повышение глобального контраста; данные этапы предназначены для того чтобы компенсировать уменьшение локального и глобального контраста вследствие размытия; применение двух этих этапов значительно повышает качество изображений.

Далее существо заявляемого изобретения поясняется с привлечением графических материалов.

Фиг.1. Алгоритм выполнения этапов заявляемого способа.

Фиг.2. Иллюстрация уменьшения длины перехода на перепадах на примере одномерного сигнала.

Фиг.3. Алгоритм процедуры повышения резкости с помощью локального преобразования уровней с упорядочиванием значений.

Фиг.4. График преобразования уровней.

Фиг.5. График функции, используемой при смешении.

Фиг.6. Алгоритм адаптивного размытия (сглаживания).

Фиг.7. Иллюстрация блоков, между которыми считают функцию подобия, в локальном окне.

Фиг.8. Иллюстрация повышения локального контраста на примере одномерного сигнала.

Фиг.9. Пример подавления растра для сканированного изображения, содержащего текст и фотографии.

Фиг.10. Пример подавления растра для сканированной растрированной фотографии.

На Фиг.1 приведена блок-схема этапов работы способа. Способ подавления растра на сканированных растрированных изображениях имеет пять основных этапов, в процессе которых выполняют:

- предварительное уменьшение длины перехода на перепадах яркости с помощью локального преобразования уровней с упорядочиванием значений (шаг 101);

- применение адаптивного сглаживающего фильтра (шаг 102);

- повторное уменьшение длины перехода на перепадах яркости с помощью локального преобразования уровней с упорядочиванием значений (шаг 103);

- повышение локального контраста с помощью фильтра нерезкого маскирования, который для размытия изображения использует билатеральный фильтр (шаг 104);

- увеличение глобального контраста (шаг 105).

Способ пригоден для обработки как полутоновых (черно-белых), так и цветных изображений. На этапе адаптивного сглаживания (шаг 102) обрабатывают все каналы цветного изображения. На этапах 101, 103, 104 и 105 обрабатывают только канал яркости. Если сканированное изображение представлено в цветовой системе YCbCr, то канал Y рассматривают в качестве яркостного. Если сканированное изображение представлено в цветовой системе Lab, то канал L рассматривают в качестве яркостного. Если сканированное изображение представлено в цветовой системе HSB, то канал В рассматривают в качестве яркостного. Если сканированное изображение представлено в цветовой системе RGB, то канал яркости Y вычисляют одним из следующих способов: Y=0,3R+0,6G+0,1 В или Y=(R+G+В)/3 или Y=max(R, G, В). Аналогичные соображения могут быть применены к изображению в любой иной цветовой системе.

В процессе сканирования происходит небольшое размытие изображения. Повышение резкости с помощью уменьшения длины перехода на перепадах яркости позволяет восстановить размытые в ходе сканирования границы и предпочтительно детектировать на следующем этапе пиксели, с большой долей вероятности относившиеся к перепадам до растрирования.

Фиг.2 иллюстрирует уменьшение длины перехода на перепадах яркости на примере одномерного сигнала. Уменьшение длины перехода на перепадах яркости осуществляют путем локального преобразования уровней с упорядочиванием значений. Локальное окно перемещают по точкам изображения, при этом изображение фильтруют нерекурсивно.

Размер локального окна равен Ks×Ks. Блок-схема локального преобразования уровней с упорядочиванием значений для текущей точки изображения Р(r,с) показана на Фиг.3. Для вычисления пределов L и Н используют подход, напоминающий нелинейные порядковые статистические фильтры. В предпочтительном варианте изобретения предел L равен среднему значению из первых 25% значений упорядоченного в порядке возрастания множества значений из окрестности точки изображения, а предел Н равен среднему значению из последних 25% значений упорядоченного в порядке возрастания множества значений из окрестности точки изображения (шаг 301):

,

где Se - множество значений точек изображения в локальном окне, отсортированное в порядке возрастания, N - количество точек изображения в локальном окне.

Значения точек Р(r,с) вне диапазона [L, Н] на шаге 302 изменяют на значения L или Н для подавления шумов: если Р(r,с)<L, то Р(r,с)=L; если Р(r,с)>Н, то Р(r,с)=Н. Условие 303 служит для предотвращения усиления шумов: значения точек изображения не изменяют, если разница между Н и L меньше порога Tltm. Шаг 304 представляет собой нормализацию (масштабирование) из диапазона [L, Н] в диапазон [0, 1]:

x =(Р(r,с)- L)/(Н-L).

Преобразование уровней осуществляют на шаге 305 с помощью функции f(x), показанной на Фиг.4:

.

На шаге 306 выполняют обратное масштабирование преобразованного значения из диапазона [0, 1] в диапазон [L, Н]:

Pe(r,c)=L+f(x)x(H-L).

Шаг 307 добавлен для предотвращения возникновения эффекта постеризации (эффекта лубочной картинки). На данном шаге осуществляют смешение значений исходного пиксела Р(r,с) с Ре(r,с) путем применения функции g(x) в качестве альфа-канала:

Ys(r,c)=P(r,c)x(1-g(H-L))+Pe(r,c)xg(H-L),

где функция g(x) вычисляется как:

g(x)=1-e^{(-(x-Tltm)/50},

где x нормализовано в диапазон [0, 255].

График функции g(x) показан на Фиг.5. В предпочтительном варианте реализации данного изобретения для удаления растра с изображений, сканированных с разрешением 600 dpi, используют следующие параметры: Ks=11, Tltm=5.

Адаптивное размытие предназначено для подавления растра. На данном этапе обрабатываются все каналы цветного изображения. Если изображение представлено в цветовой системе RGB, то необходимо модифицировать RGB каналы, чтобы учесть изменения в канале яркости, которые были сделаны на предыдущем этапе:

R'=R×Y_e/Y, G'=G×Y_e/Y, В'=B×Y_e/Y,

где Y - исходное значение яркости, Y_e - значение яркости после обработки на этапе 101.

Общей идеей адаптивного размытия (сглаживания) является сильное размытие областей, которые до растрирования были областями без резкого изменения яркости, и более умеренное размытие областей, которые до растрирования были перепадами. Новым в предлагаемом способе является подход к определению областей, с большой долей вероятности относящихся к перепадам. Предлагается вычислять функцию подобия между центральным блоком локального окна и некоторым блоком в переделе локального окна, причем положение блока выбирают случайным образом. Для пикселей, относящихся к областям без резкого изменения яркости, функция подобия дает большое значение, напротив, для пикселей, относящихся к перепадам яркости, функция подобия дает малые значения. Случайный выбор блоков для вычисления функции подобия позволяет избежать вычисления направленных фильтров для детектирования перепадов.

Локальное окно перемещается по точкам изображения, при этом изображение фильтруется нерекурсивно. Размер локального окна равен Kb×Kb, размер блока Вn×Вn. Блок-схема адаптивного размытия для одного положения локального окна показана на Фиг.6. Фиг.7 иллюстрирует блоки размера 3×3, между которыми вычисляют функцию подобия, для локального окна 7×7. Шаг 601 состоит в случайном выборе блока в локальном окне: i и j являются случайными равномерно распределенными величинами из множества {-Kb/2, -Kb/2+l,…-1, 1,…Kb/2-1, Kb/2}. Шаг 602 представляет собой вычисление функции подобия М между центральным блоком локального окна и блоком, выбранным случайным образом:

,

где σ_R - параметр детектирования перепадов, D(r, с) - функция расстояния между блоками. Различные варианты определения расстояния между блоками возможны. Для черно-белого изображения применяется следующее определение D(r, с):

,

Если цветное изображение представлено в цветовой системе YCbCr, то D(r, с):

Если цветное изображение представлено в цветовой системе RGB, то D(r, с):

Условие 603 сравнивает значение функции подобия с порогом Т. Если М больше Т, то это значит, что блоки похожи, и сильное размытие всех цветовых каналов осуществляется на шаге 604. В противном случае умеренное размытие всех цветовых канал выполняется на шаге 605. В предпочтительном варианте реализации данного изобретения для подавления растра изображения, сканированного с разрешением 600 dpi, используются следующие параметры: Kb=7, Вn=3, σ_R=8, Т=0.

Сильное размытие достигается сверткой с ядром:

{11, 15, 18, 19, 18, 15, 11,

15, 20, 23, 25, 23, 20, 15,

18, 23, 28, 29, 28, 23, 18,

19, 25, 29, 31, 29, 25, 19,

18, 23, 28, 29, 28, 23, 18,

15, 20, 23, 25, 23, 20, 15,

11, 15, 18, 19, 18, 15, 11},

умеренное размытие достигается сверткой с ядром:

{20, 23, 25, 23, 20,

23, 28, 29, 28, 23,

25, 29, 31, 29, 25,

23, 28, 29, 28, 23,

20, 23, 25, 23, 20}.

Следующие два шага способа направлены на повышение резкости в яркостном канале размытого изображения. Уменьшение длины перехода на перепадах выполняют аналогично описанному выше и показанному на Фиг.3, за исключением вычисления пределов L и Н. На шаге 103 L представляет собой минимальную яркость в пределах локального окна, а Н обозначает максимальная яркость.

Фиг.2 иллюстрирует повышение локального контраста на примере одномерного сигнала. Наиболее известным способом увеличения локального контраста является фильтр нерезкого маскирования, который имеет ряд недостатков, в частности усиление шумов и артефактов компрессии, формирование хорошо заметного ореола вдоль сильных перепадов, неравномерное увеличение локального контраста в зависимости от величины перепада. Для преодоления перечисленных недостатков предлагается применять в фильтре нерезкого маскирования билатеральный фильтр, описанный в C.Tomasi, R.Manduchi "Bilateral Filtering for Gray and Color Images", Proc. IEEE conf. on Computer Vision, 1998 [7], вместо Гауссиана. Классический билатеральный фильтр использует в качестве стоп-функций границ функцию Гаусса. Действительно, если использовать функцию Гаусса в качестве стоп-функций границ, то имеет место повышение резкости на слабых и средних перепадах. Локальный контраст для больших перепадов не изменяется. Предлагается применять стоп-функцию границ, которая, с одной стороны, похожа на функцию Гаусса, с другой стороны, не так быстро стремится к нулю. Такой функцией является функция:

,

Для увеличения локального контраста используется нерезкое маскирование следующего вида:

,

где Y - значения яркости исходного изображения, Yf - результат фильтрации Y билатеральным фильтром, k -коэффициент усиления, T_usm- порог для уменьшения усиления шумов. Предложенный способ делает изображение более резким, при этом ореол вдоль границ практически не заметен, увеличение локального контраста происходит независимо от величины перепада, шумы увеличиваются незначительно.

Целесообразно для фильтрации по пространству в билатеральном фильтре применить плоское одномерное ядро, а фильтрацию проводить по строкам и затем по столбцам. По аналогии со сверткой и в соответствии с существующими публикациями будем называть такой фильтр сепарабельным, хотя его сепарабельность (разделимость) не доказана строго математически:

,

где (r,с) - координаты пикселя, Y - яркость исходного изображения, Y_f-результат фильтрации, w - стоп-функция границ, S - размер пространственного ядра фильтра.

В предпочтительном варианте реализации данного изобретения для подавления растра изображения, сканированного с разрешением 600 dpi, используют следующие параметры: S=11, k=0.5, T_usm=10.

Заключительный шаг способа (шаг 105) состоит в увеличении глобального контраста. Это требуется для восстановление глобального контраста, который был понижен в ходе сглаживания. В предпочтительном варианте реализации данного изобретения для подавления растра изображения, сканированного с разрешением 600 dpi, контраст пропорционально повышают на 5%.

Если изображение представлено в цветовой системе RGB, то необходимо модифицировать RGB каналы, чтобы учесть изменения в канале яркости, которые были сделаны в ходе 3 предыдущих этапов:

R'=R×Y_e/Y, G'=G×Y_e/Y, В'=B×Y_e/Y,

где Y - значение яркости после шага 102, Y_e - значение яркости после обработки на этапах 103, 104 и 105.

Фиг.9 и Фиг.10 демонстрируют удаление растра со сканированных изображений: 9.1 и 10.1 - сканированное изображение с растровой текстурой; 9.2 и 10.2 - результат обработки заявленным способом. Растровая структура подавляется, при этом изображения выглядят достаточно резкими, области текста не искажаются, черные символы текста выглядят резкими и насыщенными, эффект постеризации на обработанных фотографиях отсутствует.

Хотя указанный выше вариант выполнения изобретения был изложен с целью иллюстрации, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.

Данный способ предназначен для реализации в сканерах, цифровых копирах и многофункциональных устройствах, а также в программном обеспечении для сканирования, например в TWAIN драйвере.

Claims

1. Способ подавления растра на сканированных растрированных изображениях, работа которого состоит из следующих этапов:
уменьшают длину перехода на перепадах яркости сканированных растрированных изображений путем применения нелинейного нерекурсивного фильтра, в котором локальное окно перемещают по точкам изображения, и новое значение точки изображения формируют за счет выполнения следующих операций:
а) вычисляют пределы L и Н, как соответственно среднее среди первых 25% и последних 25% множества, упорядоченного в порядке возрастания и составленного из значений точек в пределах локального окна:

где Se - множество значений точек изображения в локальном окне отсортированное в порядке возрастания; N - количество точек изображения в локальном окне;
б) значения точек Р(r,с) вне диапазона [L, Н] изменяют на значения L или Н: если P(r,c)<L, то P(r,c)=L; если Р(r,с)>Н, то Р(r,с)=Н, где (r, с) - координаты пикселя;
в) игнорируют точки изображения, если разница между Н и L меньше порога Tltm, где Tltm можно полагать равным 5;
г) нормализуют значения точки изображения из диапазона [L, Н] в диапазон [0, 1]:
x=(P(r,c)-L)/(H-L);
д) преобразуют нормализованное значение с помощью функции преобразования уровней f(x):

,
где x нормализовано в диапазон [0, 1];
е) осуществляют обратное масштабирование преобразованного значения из диапазона [0, 1] в диапазон [L, Н]:
Pe(r,c)=L+f(x)·(H-L);
ж) выполняют смешение значений исходного пикселя Р(r,с) с пикселем Ре(r,с), полученным в результате выполнения предыдущих этапов, путем применения функции g(x) в качестве альфа-канала:
Ys(r,c)=P(r,c)·(1-g(H-L))+Pe(r,c)·g(H-L), где функция g(x) вычисляется как:
g(x)=1-e^{(-(x-Tltm)/50)},
где х нормализовано в диапазон [0, 255];
выполняют фильтрацию изображения адаптивным сглаживающим фильтром путем выполнения следующих операций над каждым пикселем изображения:
а) вычисляют значение функции подобия между центральным блоком локального окна и блоком в пределах окна, положение которого вычисляется случайным образом;
б) если блоки подобны, то для данного пикселя выполняют сильное размытие всех цветовых каналов, в противном случае выполняют умеренное размытие;
повторно уменьшают длину перехода на перепадах яркости изображения путем, описанным выше, за исключением того, что вычисляют пределы L и Н, как соответственно минимальное и максимальное значения в пределах локального окна;
повышают локальный контраст на краях перепадов яркости изображения путем применения следующего модифицированного фильтра нерезкого маскирования:

где Y - значения яркости исходного изображения, Yf - результат фильтрации Y билатеральным фильтром, k - коэффициент усиления, T_usm - порог;
увеличивают глобальный контраст изображения.

2. Способ по п.1, отличающийся тем, что функцию подобия вычисляют согласно выражению:

,

где σ_R - параметр детектирования перепадов, D(r,c) - функция расстояния между блоками, причем для полутонового (черно-белого) изображения D(r,с):

,
а для цветного изображения в цветовой системе YCbCr D(r,c):

а для цветного изображения в цветовой системе RGB D(r,c):

,
где i и j являются случайными равномерно распределенными величинами из множества {-Kb/2, -Kb/2+1, … -1, 1, … Kb/2-1, Kb/2}, Kb - размер локального окна, Вn - размер блока.

3. Способ по п.1, отличающийся тем, что в модифицированном фильтре нерезкого маскирования используют билатеральный фильтр, в котором фильтрация нерекурсивно осуществляется сначала по строкам, а затем по столбцам изображения:

где (r, c) - координаты пикселя; Y - яркость исходного изображения, Y_f - результат фильтрации, w - стоп-функция границ, S - размер пространственного ядра фильтра.

4. Способ по пп.1 и 3, отличающийся тем, что в билатеральном фильтре используют следующую функцию в качестве стоп-функций границ;

.