RU2595635C2 - Image processing system and method for eliminating screen-type pattern through sparse representation of scanned printed copies - Google Patents
Image processing system and method for eliminating screen-type pattern through sparse representation of scanned printed copies Download PDFInfo
- Publication number
- RU2595635C2 RU2595635C2 RU2014150566/08A RU2014150566A RU2595635C2 RU 2595635 C2 RU2595635 C2 RU 2595635C2 RU 2014150566/08 A RU2014150566/08 A RU 2014150566/08A RU 2014150566 A RU2014150566 A RU 2014150566A RU 2595635 C2 RU2595635 C2 RU 2595635C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- size
- input image
- dictionary
- smoothing
- Prior art date
Links
Images
Abstract
Description
Область техники, к которой относится изобретениеFIELD OF THE INVENTION
Изобретение относится к области обработки изображений, и в частности к устранению растровой структуры изображений, в частности изображений, получаемых путем сканирования печатных копий.The invention relates to the field of image processing, and in particular to the elimination of the raster structure of images, in particular images obtained by scanning printed copies.
Уровень техникиState of the art
Проблема устранения растровой структуры (устранения растра) является существенным вопросом, связанным с печатью и последующим сканированием. Известно, что современные печатающие устройства используют растровые структуры для печати документов, содержащих изображения с непрерывными тонами (нерастрированные изображения); поэтому, когда такие растрированные документы сканируются и сохраняются в виде файла, они часто содержат муар. Муар представляет собой эффект, который возникает, когда две регулярные сетки накладываются друг на друга и формируют фантомную частоту внутри изображения, что очень заметно. В случае сканирования упомянутые сетки представляют собой сетку растра и сетку пикселей изображения. Этот эффект может быть устранен за счет использования высоких разрешений при сканировании, но изображение, которое сканируется таким образом, все же выглядит хуже, чем то же изображение без растра. Кроме того, если такое изображение необходимо вновь распечатать, наложение двух растровых сеток приводит к значительному ухудшению качества.The problem of eliminating the raster structure (eliminating the raster) is an essential issue related to printing and subsequent scanning. It is known that modern printing devices use raster structures to print documents containing images with continuous tones (unrasted images); therefore, when such rasterized documents are scanned and saved as a file, they often contain moire. Moire is an effect that occurs when two regular grids overlap each other and form a phantom frequency inside the image, which is very noticeable. In the case of scanning, said grids are a raster grid and a grid of image pixels. This effect can be eliminated by using high resolutions when scanning, but an image that is scanned in this way still looks worse than the same image without a raster. In addition, if such an image needs to be reprinted, the imposition of two raster grids leads to a significant deterioration in quality.
Таким образом, устранение растровой структуры широко используется при обработке изображений для восстановления нерастрированного изображения из растрированного. Существующие способы могут быть разделены на три основные группы. Первая группа основана на различных методиках фильтрации, которые являются более или менее сложными, таких как применение гауссового фильтра, билатеральная фильтрация, сглаживание однородных областей и так далее. Вторая группа восстанавливает изображение с непрерывными тонами путем извлечения отдельных растровых точек и определения взаимосвязи между ними. Наконец, третья группа реализует методику быстрого преобразования Фурье (БПФ), в соответствии с которой растровая структура может быть устранена путем удаления отдельных пиков в частотной области, которые соответствуют частоте растровой структуры (поскольку большинство современных печатающих устройств использует для печати регулярную точечную сетку).Thus, the elimination of the raster structure is widely used in image processing to restore the non-rasterized image from the rasterized one. Existing methods can be divided into three main groups. The first group is based on various filtering techniques that are more or less complex, such as applying a Gaussian filter, bilateral filtering, smoothing homogeneous areas and so on. The second group restores the image with continuous tones by extracting individual raster dots and determining the relationship between them. Finally, the third group implements the Fast Fourier Transform (FFT) technique, according to which the raster structure can be eliminated by removing individual peaks in the frequency domain that correspond to the frequency of the raster structure (since most modern printing devices use a regular dot grid for printing).
Первая группа:First group:
US 7376282 - В способе формируются фильтры низких и высоких частот и затем высокие частоты вычитаются из низких для формирования ядра свертки. Затем выполняется свертка с исходным изображением и итоговое изображение называют изображением с устраненным растром.US 7376282 - In the method, low and high frequency filters are formed and then high frequencies are subtracted from low to form a convolution core. Then a convolution is performed with the original image and the final image is called the image with the eliminated raster.
US 7595911 - В способе извлекают вторые производные для вертикального и горизонтального направлений для оценки амплитуды градиента. Полученная амплитуда используется для выделения резких границ изображения и однородных областей. Затем сглаживают однородные области с использованием стандартной процедуры свертки.US 7595911 - In the method, the second derivatives for the vertical and horizontal directions are extracted to estimate the gradient amplitude. The resulting amplitude is used to highlight sharp edges of the image and homogeneous areas. Smooth areas are then smoothed using a standard convolution procedure.
Эта группа алгоритмов устранения растра имеет недостаток, заключающийся в том, что на итоговых изображениях появляется так называемый «мультипликационный» эффект, вызванный чрезмерным сглаживанием для областей, содержащих растр, и чрезмерным повышением резкости границ.This group of raster elimination algorithms has the disadvantage that the so-called "animated" effect appears on the resulting images, caused by excessive smoothing for areas containing the raster and excessive sharpening of the borders.
Вторая группа:The second group:
US 7312900 - Способ направлен на точное отделение растровой области на уровне растровых ячеек от однотонной области. Отделенные растровые ячейки используются для последующего процесса устранения растра.US 7312900 - The method aims to accurately separate the raster region at the level of the raster cells from the solid region. Separated raster cells are used for the subsequent raster removal process.
US 6172769 - Способ учитывает фактическое распределение черного цвета или иных цветов на печатном документе без необходимости сканирования печатных изображений, а с использованием лишь матрицы решений печати и характеристик печатающего устройства. Для задач лазерной печати или в более общем случае для воспроизведения на любом печатающем устройстве с ограниченным числом уровней печати цветное или полутоновое изображение должно быть преобразовано в матрицу решений печати для каждого пикселя выходного изображения. Иногда эта матрица является единственным доступным представлением исходного изображения. Иногда с помощью этой матрицы требуется восстановить приближенное представление исходного полутонового изображения, например, для печати изображения на печатающем устройстве, имеющем характеристики, отличные от характеристик печатающего устройства, на котором был изначально подготовлена матрица, или для его отображения на мониторе с высоким разрешением. Описаны способ и устройство для решения данной проблемы способом, который в точности учитывает характеристики печатающего устройства.US 6172769 - The method takes into account the actual distribution of black or other colors on a printed document without the need for scanning printed images, and using only a matrix of printing decisions and characteristics of the printing device. For laser printing tasks or, more generally, for reproduction on any printing device with a limited number of print levels, a color or grayscale image must be converted into a print decision matrix for each pixel of the output image. Sometimes this matrix is the only available representation of the original image. Sometimes, using this matrix, it is necessary to restore an approximate representation of the original grayscale image, for example, for printing an image on a printing device having characteristics different from those of the printing device on which the matrix was originally prepared, or for displaying it on a high-resolution monitor. Describes a method and device for solving this problem in a way that accurately takes into account the characteristics of the printing device.
Основной недостаток этой группы способов заключается в необходимости извлечения растровых ячеек с высокой надежностью и точностью. Даже низкий уровень ошибок может привести к значительным искажениям в восстановленных изображениях.The main disadvantage of this group of methods is the need to extract raster cells with high reliability and accuracy. Even a low error rate can lead to significant distortion in the restored images.
Третья группа:The third group:
US 5239390 - В способе применяется методика БПФ, согласно которой растровая структура может быть удалена путем удаления единичных пиков в частотной области, которые соответствуют частотам растра.US 5239390 - The method uses an FFT technique, according to which the raster structure can be removed by removing single peaks in the frequency domain that correspond to the frequencies of the raster.
Однако методики на основе БПФ могут быть подвержены эффекту Гиббса и ухудшению резкости вследствие подавления определенных частотных областей в области Фурье.However, FFT-based techniques may be subject to the Gibbs effect and sharpening due to the suppression of certain frequency regions in the Fourier region.
US 7595911 может рассматриваться в качестве прототипа способа согласно изобретению. Однако в способе согласно изобретению не извлекаются вторые производные, использующиеся для оценки величины градиента и сохранения резких областей. Вместо этого авторы настоящего изобретения предлагают применять свертку ко всему изображению и затем выполнять восстановление резких краев с использованием методики разреженного кодирования, применяемого к участкам изображения. В способе по US 7595911 возможно извлечение не только резких краев, но и искажений изображения, что является большим недостатком, в то время как способ согласно изобретению не использует данные исходного изображения и направлен на восстановление резкости путем прогнозирования резких границ в сглаженном изображении.US 7595911 can be considered as a prototype of the method according to the invention. However, in the method according to the invention, the second derivatives are not extracted, which are used to estimate the magnitude of the gradient and preserve the sharp areas. Instead, the authors of the present invention propose applying convolution to the entire image and then performing sharp edge restoration using the sparse coding technique applied to portions of the image. In the method according to US 7595911, it is possible to extract not only sharp edges, but also image distortions, which is a big disadvantage, while the method according to the invention does not use the original image data and aims to restore sharpness by predicting sharp edges in a smoothed image.
Раскрытие изобретенияDisclosure of invention
С учетом описанных выше технических проблем предлагаемое изобретение будет теперь описано в качестве примера, но не ограничения, с обращением к приведенному ниже описанию и чертежам.In view of the technical problems described above, the invention will now be described by way of example, but not limitation, with reference to the description and drawings below.
Настоящее раскрытие предваряет подробное описание конкретных примерных вариантов выполнения для обеспечения обзора аспектов заявляемого изобретения, которые будут дополнительно пояснены ниже, и не предназначено для определения или ограничения объема настоящего изобретения каким-либо образом.The present disclosure provides a detailed description of specific exemplary embodiments to provide an overview of aspects of the claimed invention, which will be further explained below, and is not intended to define or limit the scope of the present invention in any way.
Задача настоящего изобретения состоит в создании способа устранения растровой структуры через разреженное представление сканированных печатных копий и системы для обработки растровых изображений, которые преодолевают или уменьшают, по меньшей мере, некоторые из недостатков уровня техники, упомянутых выше.An object of the present invention is to provide a method for eliminating a raster structure through a sparse representation of scanned printed copies and a system for processing raster images that overcome or reduce at least some of the drawbacks of the prior art mentioned above.
Технический результат предлагаемого изобретения состоит в повышении эффективности устранения растра в растрированном изображении. Кроме того, изобретение обеспечивает следующие основные улучшения по сравнению со способами обратного растрирования из уровня техники: прежде всего, в способе согласно изобретению не используется какой-либо предварительный анализ изображения для оценки резких краев изображения, что экономит ресурсы обработки. Кроме того, процедура сглаживания применяется ко всему изображению с последующим разреженным кодированием. В данном случае разреженное кодирование направлено на восстановление исходного (резкого) изображения с использованием восстановления конкретных участков изображения. Авторы настоящего изобретения предлагают процедуру регулировки для параметров разреженного кодирования, более подробно описанную ниже, которая как восстанавливает резкое изображение, так и подавляет растровую структуру. Авторы настоящего изобретения также предлагают использовать противоблочный фильтр, который позволяет уменьшить число участков изображения и повысить скорость обработки. Общая архитектура алгоритма эффективным образом параллелизуется в современных центральных процессорах (CPU) и графических процессорах (GPU), что также повышает скорость обработки.The technical result of the invention consists in increasing the efficiency of eliminating a raster in a rasterized image. In addition, the invention provides the following major improvements compared to prior art rasterization methods: first of all, the method according to the invention does not use any preliminary image analysis to evaluate sharp edges of the image, which saves processing resources. In addition, the smoothing procedure is applied to the entire image, followed by sparse encoding. In this case, sparse coding is aimed at restoring the original (sharp) image using the restoration of specific parts of the image. The inventors of the present invention propose an adjustment procedure for sparse encoding parameters, described in more detail below, which both restores a sharp image and suppresses a raster structure. The authors of the present invention also propose the use of an anti-block filter, which allows to reduce the number of image sections and increase the processing speed. The general architecture of the algorithm is effectively parallelized in modern central processing units (CPUs) and graphic processors (GPUs), which also increases processing speed.
В отличие от известных способов, основанных на фильтрации, способ согласно изобретению не использует оценку границ или какую-либо другую методику для размытия только однородных областей. Вместо этого он основан на допущении, что возможно восстановление информации о границах из размытого изображения путем применения методики разреженного кодирования, причем разреженное кодирование направлено на восстановление резкого изображения путем применения сочетания небольших образцов изображения из так называемого словаря к размытому изображению. Поэтому требуется меньше предварительной обработки и нет необходимости анализа входного изображения, если известен размер растровой структуры. Кроме того, алгоритм может легко настраиваться для различных разрешений сканирования одинаковым образом путем простого изменения размера элементов словаря и величины размытия по Гауссу (путем изменения размера ядра и значения сигмы).Unlike the known methods based on filtration, the method according to the invention does not use bounds estimation or any other technique to blur only homogeneous areas. Instead, it is based on the assumption that it is possible to recover boundary information from a blurred image by applying a sparse coding technique, and sparse coding is aimed at restoring a sharp image by applying a combination of small image samples from the so-called dictionary to a blurred image. Therefore, less pre-processing is required and there is no need to analyze the input image if the size of the raster structure is known. In addition, the algorithm can be easily configured for different scan resolutions in the same way by simply changing the size of the dictionary elements and the Gaussian blur value (by changing the kernel size and sigma value).
То же самое также относится к способам, в которых применяется извлечение отдельных растровых точек. В них выполняется большой процесс анализа перед интерполяцией в нерастрированное изображение, что представляет собой временнозатратную задачу.The same also applies to methods that use the extraction of individual raster points. They carry out a large analysis process before interpolation into an unscreened image, which is a time-consuming task.
Что касается известных способов на основе БПФ, им присуще ухудшение резкости. Причина этого весьма очевидна: в способах на основе БПФ удаляются конкретные частоты исходного сигнала и таким образом вместе с ними также удаляется некоторая высокочастотная информация. Вследствие этого все такие методики требуют дополнительной последующей обработки, которая включает в себя повышение резкости. В то же время способ согласно изобретению не требует какой-либо дополнительной обработки, поскольку он изначально основан на восстановлении резкости размытого изображения.As for the known methods based on FFT, they are characterized by a deterioration in sharpness. The reason for this is very obvious: in FFT methods, specific frequencies of the original signal are removed, and thus some high-frequency information is also deleted with them. Because of this, all such techniques require additional post-processing, which includes sharpening. At the same time, the method according to the invention does not require any additional processing, since it was originally based on restoring the sharpness of a blurred image.
Для решения охарактеризованной выше задачи способ согласно изобретению направлен на восстановление растрированного изображения в изображение с непрерывными тонами. Способ согласно изобретению выполнен с возможностью работы главным образом с растрированными графическими изображениями. В отличие от многих известных способов в способе согласно изобретению не только удаляется растровая структура, но и используется определенный вид восстановления с потерями, при котором отсутствуют нежелательные высокие частоты, соответствующие полутону. Однако при этом в нем имеется достаточная информация для восстановления резких границ с достаточной точностью для того, чтобы человеческий глаз воспринимал изображение как естественное изображение с непрерывными тонами. Таким образом, в общем случае процедура обработки растра, лежащая в основе аспектов настоящего изобретения, может быть охарактеризована следующим образом:To solve the problem described above, the method according to the invention is aimed at restoring a rasterized image into an image with continuous tones. The method according to the invention is configured to work mainly with rasterized graphic images. Unlike many known methods, the method according to the invention not only removes the raster structure, but also uses a certain type of lossy recovery in which there are no undesirable high frequencies corresponding to a semitone. However, it contains sufficient information to restore sharp boundaries with sufficient accuracy so that the human eye perceives the image as a natural image with continuous tones. Thus, in the General case, the processing procedure of the raster, which is the basis of the aspects of the present invention, can be characterized as follows:
- оценивают размер растровой структуры входного изображения посредством анализа входного изображения (101);- evaluate the size of the raster structure of the input image by analyzing the input image (101);
- сглаживают входное изображение, причем размер ядра свертки выбирают в соответствии с оцененным размером растровой структуры (102);- smooth the input image, and the size of the convolution kernel is chosen in accordance with the estimated size of the raster structure (102);
- восстанавливают резкость сглаженного изображения посредством методики разреженного кодирования (103).- restore the sharpness of the smoothed image using the sparse coding technique (103).
В одном аспекте изобретение относится к способу обработки изображений для обратного растрирования изображений через разреженное представление сканированных печатных копий, причем способ содержит этапы, на которых оценивают размер растровой структуры входного изображения; сглаживают растрированное входное изображение с применением способа, использующего сглаживающее ядро, причем размер сглаживающего ядра определяют как максимальное ядро, которое необходимо для полного устранения растровой структуры во входном изображении; восстанавливают резкость сглаженного изображения посредством методики разреженного кодирования с использованием двух наборов образцов изображения, полученных из набора референсных изображений с непрерывными тонами, причем первый набор является набором сглаженных образцов изображения и второй набор является набором резких образцов изображения, причем размер набора, размер образца, степень сглаженности образца и параметры разреженного кодирования устанавливают в соответствии с оцененным размером растровой структуры для устранения растровой структуры в изображении. В варианте выполнения способа согласно изобретению оценка размера растровой структуры входного изображения содержит этап, на котором измеряют разрешения сканирования и печати изображения. Сглаживание растрированного входного изображения может содержать, в частности, этап, на котором выполняют линейную свертку изображения посредством Гауссова ядра определенного размера в зависимости от оцененного размера растровой структуры входного изображения. Восстановление резкости сглаженного изображения посредством методики разреженного кодирования в предпочтительном варианте выполнения включает в себя этапы, на которых обучают исходный словарь; сглаживают исходный словарь посредством Гауссова фильтра для получения сглаженного словаря; получают разреженное представление входного изображения посредством сглаженного словаря; восстанавливают изображение с использованием разреженного представления изображения и сглаженного словаря. В данном варианте выполнения упомянутый словарь представляет собой набор коллекций образцов изображения одинакового размера, причем размер образца для каждого набора зависит от оцененного размера растровой структуры изображения. Упомянутое обучение содержит этап, на котором извлекают несходные образцы изображения из обучающего изображения, причем несходные образцы изображения представляют собой образцы изображения с максимальным расстоянием между ними с точки зрения L-нормы, и при этом обучающее изображение представляет собой любое изображение с непрерывными тонами. Разреженное представление изображения представляет собой разреженную матрицу, состоящую из весов словарных образцов, которые используются для восстановления каждого образца изображения. Получение может содержать этап, на котором формируют разреженную матрицу. Вышеупомянутое восстановление может содержать этап, на котором перемножают разреженную матрицу и словарь.In one aspect, the invention relates to a method for processing images for back-rasterizing images through a sparse representation of scanned hard copies, the method comprising the steps of evaluating the size of the raster structure of the input image; smoothing the rasterized input image using a method using a smoothing core, the size of the smoothing core being defined as the maximum core that is necessary to completely eliminate the raster structure in the input image; the sharpness of the smoothed image is restored using the sparse coding technique using two sets of image samples obtained from a set of reference images with continuous tones, the first set being a set of smoothed image samples and the second set being a set of sharp image samples, wherein the size of the set, the size of the sample, the degree of smoothness sample and sparse coding parameters are set in accordance with the estimated size of the raster structure to eliminate I have a raster structure in the image. In an embodiment of the method according to the invention, estimating the size of the raster structure of the input image comprises the step of measuring the scanning and printing resolutions of the image. The smoothing of the rasterized input image may include, in particular, a step of linearly convolving the image using a Gaussian kernel of a certain size depending on the estimated size of the raster structure of the input image. Restoring the sharpness of a smoothed image by means of a sparse coding technique in a preferred embodiment includes the steps of training the source dictionary; smooth the source dictionary using a Gaussian filter to obtain a smoothed dictionary; receive a sparse representation of the input image through a smoothed dictionary; restore the image using a sparse representation of the image and a smoothed dictionary. In this embodiment, said dictionary is a collection of collections of image samples of the same size, the sample size for each set depending on the estimated size of the image raster structure. Said training comprises the step of extracting dissimilar image samples from the training image, wherein the dissimilar image samples are image samples with a maximum distance between them in terms of the L-norm, and the training image is any image with continuous tones. A sparse representation of an image is a sparse matrix consisting of the weights of vocabulary samples that are used to reconstruct each sample image. The preparation may comprise the step of forming a sparse matrix. The aforementioned recovery may comprise the step of multiplying the sparse matrix and dictionary.
В другом аспекте изобретение относится к системе обработки изображений для обработки растровых изображений, причем система содержит устройство сканирования и хранения, выполненное с возможностью обеспечения входного изображения; средство анализа входного изображения, выполненное с возможностью оценки размера растровой структуры входного изображения; модуль восстановления изображения, выполненный с возможностью сглаживания растрированного входного изображения и восстановления резкости сглаженного изображения посредством методики разреженного кодирования с использованием блоков сглаживания и восстановления; блок сглаживания, который состоит по меньшей мере из одного блока обработки, выполненного с возможностью параллельного выполнения свертки отдельных участков изображения; блок восстановления, который состоит по меньшей мере из одного блока обработки, выполненного с возможностью параллельного выполнения восстановления отдельных участков изображения с использованием методики разреженного кодирования.In another aspect, the invention relates to an image processing system for processing raster images, the system comprising a scanning and storage device configured to provide an input image; input image analysis means configured to estimate the size of the raster structure of the input image; an image recovery module configured to smooth a rasterized input image and restore sharpness of a smoothed image using a sparse coding technique using smoothing and restoration blocks; a smoothing unit, which consists of at least one processing unit, configured to parallelize the convolution of individual sections of the image; a recovery unit, which consists of at least one processing unit, configured to perform parallel recovery of individual image sections using the sparse coding technique.
Еще в одном аспекте изобретение относится к постоянному машиночитаемому носителю, на котором сохранена компьютерная программа, которая при выполнении компьютером побуждает компьютер выполнять обработку изображений для обратного растрирования изображения через разреженное представление сканированных печатных копий, причем компьютерная программа содержит код для оценки размера растровой структуры входного изображения; код для сглаживания растрированного входного изображения с применением способа, использующего сглаживающее ядро, причем размер ядра сглаживания определяется как максимальное ядро, которое необходимо для полного устранения растровой структуры во входном изображении; код для восстановления резкости сглаженного изображения посредством методики разреженного кодирования с использованием двух наборов образцов изображения, полученных из набора референсных изображений с непрерывными тонами, причем первый набор является набором сглаженных образцов изображения и второй набор является набором резких образцов изображения, причем размер набора, размер образца, степень сглаженности образца и параметры разреженного кодирования устанавливают в соответствии с оцененным размером растровой структуры для устранения растровой структуры в изображении.In yet another aspect, the invention relates to a readable computer-readable medium that stores a computer program that, when executed by a computer, causes the computer to perform image processing to reverse rasterize the image through a sparse representation of scanned hard copies, the computer program containing code for estimating the size of the raster structure of the input image; code for smoothing the rasterized input image using a method using a smoothing core, wherein the size of the smoothing core is defined as the maximum core that is necessary to completely eliminate the raster structure in the input image; a code for restoring the sharpness of a smoothed image using a sparse coding technique using two sets of image samples obtained from a set of reference images with continuous tones, the first set being a set of smoothed image samples and the second set being a set of sharp image samples, wherein the size of the set, the size of the sample, the degree of smoothness of the sample and the parameters of rarefied coding are set in accordance with the estimated size of the raster structure for injured raster structure in the image.
Краткое описание чертежейBrief Description of the Drawings
Охарактеризовав таким образом задачу настоящего изобретения и его аспекты, обратимся теперь к конкретным примерным вариантам выполнения заявляемого изобретения, которые представлены в нижеприведенном подробном описании, которое предназначено для прочтения в сочетании с сопровождающими чертежами и не предназначено для определения или ограничения объема изобретения каким-либо образом, но обеспечивает конкретные примеры его реализации. Специалистам в данной области техники будет понятно, что другие варианты выполнения, модификации или эквивалентные замены могут быть очевидны на основании сведений, приведенных в настоящем описании, и все такие варианты выполнения, модификации и эквивалентные замены считаются входящими в объем настоящего изобретения.Having thus characterized the object of the present invention and its aspects, we now turn to specific exemplary embodiments of the claimed invention, which are presented in the detailed description below, which is intended to be read in conjunction with the accompanying drawings and not intended to determine or limit the scope of the invention in any way, but provides concrete examples of its implementation. Those skilled in the art will appreciate that other embodiments, modifications, or equivalent replacements may be apparent from the information provided herein, and all such embodiments, modifications, and equivalent replacements are considered to be within the scope of the present invention.
Чертежи приведены исключительно в целях иллюстрации в качестве вспомогательного средства при прочтении и понимании описания и не должны каким-либо образом рассматриваться как определяющие или ограничивающие объем изобретения. На чертежах:The drawings are provided for illustrative purposes only as an aid in reading and understanding the description and should not be construed in any way as defining or limiting the scope of the invention. In the drawings:
фиг. 1 - блок-схема способа устранения растровой структуры посредством алгоритма разреженного кодирования согласно изобретению;FIG. 1 is a flowchart of a method for eliminating a raster structure using a sparse coding algorithm according to the invention;
фиг. 2 - иллюстрация участков входного изображения и соответствующего словаря;FIG. 2 is an illustration of portions of the input image and the corresponding dictionary;
фиг. 3 - иллюстрация сочетания участков из словаря для получения нового участка;FIG. 3 - illustration of a combination of sections from the dictionary to obtain a new section;
фиг. 4 - блок-схема процесса восстановления резкости согласно изобретению;FIG. 4 is a flowchart of a sharpening process according to the invention;
фиг. 5 - иллюстрация процесса восстановления резкости с использованием обработки пересекающихся блоков согласно изобретению;FIG. 5 is an illustration of a sharpening process using intersecting block processing according to the invention;
фиг. 6 - иллюстрация выбора пикселей противоблочного фильтра;FIG. 6 is an illustration of a pixel selection of an anti-block filter;
фиг. 7 демонстрирует архитектуру многофункционального устройства, реализующего систему обработки изображений согласно изобретению;FIG. 7 shows the architecture of a multifunctional device implementing an image processing system according to the invention;
На фиг. 8 показаны подробности параллельной архитектуры модуля восстановления, включенного в многофункциональное устройство по фиг. 7.In FIG. 8 shows details of a parallel architecture of a recovery module included in the multifunction device of FIG. 7.
Осуществление изобретенияThe implementation of the invention
Обращаясь к фиг. 1, как охарактеризовано выше, способ устранения растровой структуры изображения согласно изобретению в общем содержит этапы, на которых:Turning to FIG. 1, as described above, a method for eliminating a raster image structure according to the invention generally comprises the steps of:
- оценивают размер растровой структуры входного изображения (101);- evaluate the size of the raster structure of the input image (101);
- сглаживают растрированное входное изображение, причем размер ядра свертки определяют в соответствии с оцененным размером растровой структуры (102);- smooth the rasterized input image, and the size of the convolution kernel is determined in accordance with the estimated size of the raster structure (102);
- восстанавливают резкость сглаженного изображения посредством методики разреженного кодирования с использованием двух наборов образцов изображения, причем первый набор является набором сглаженных образцов изображения, и второй набор является набором резких образцов изображения, причем размер набора, размер образцов и параметры разреженного кодирования устанавливают в соответствии с оцененным размером растровой структуры для устранения растровой структуры (103).- restore the sharpness of the smoothed image by the method of sparse coding using two sets of image samples, the first set being a set of smoothed image samples, and the second set being a set of sharp image samples, and the size of the set, the size of the samples, and the rarefied encoding parameters are set in accordance with the estimated size raster structure to eliminate raster structure (103).
Первый этап (101), на котором оценивают размер растровой структуры входного изображения, необходим, если не имеется изначальная информация о сканированном входном растрированном изображении. Для обеспечения достаточного качества восстановления с использованием методики согласно изобретению необходимы два параметра: разрешение сканирования изображения и разрешение печати. В данном контексте разрешение печати определяет размер ячеек растровой структуры и минимальный размер растровых точек. Разрешение сканирования представляет собой разрешение сканера, которое было использовано для сканирования растрированной печатной копии для получения входного изображения. Существуют многочисленные способы, которые могут быть применены для оценки разрешения печати (например, см. патент US 6734991). Результатом этапа (101) является оцененный размер растровой структуры входного изображения.The first step (101), which evaluates the size of the raster structure of the input image, is necessary if there is no initial information about the scanned input rasterized image. To ensure sufficient quality of the restoration using the methodology according to the invention, two parameters are required: image scan resolution and print resolution. In this context, print resolution determines the cell size of the raster structure and the minimum size of the raster points. Scan Resolution is the resolution of the scanner that was used to scan the rasterized hard copy to obtain the input image. There are numerous methods that can be used to evaluate print resolution (for example, see US Pat. No. 6,734,991). The result of step (101) is the estimated size of the raster structure of the input image.
Сглаживание (102) входного изображения направлено на подавление высоких частот во входном изображении вместе с артефактами растровой структуры. Для сглаживания изображения используется способ, использующий ядро сглаживания, который также может в общем называться «ядерным сглаживанием». Ядерное сглаживание известно в общем как статистическая методика оценки функции с вещественным значением 
Существует некоторое количество методик ядерного сглаживания, которые могут быть пригодны для реализации этапа (102) сглаживания входного изображения. В общем случае сглаживание (102) может быть реализовано любой известной методикой ядерного сглаживания, пригодной для этой задачи, но в предпочтительном варианте выполнения способа согласно изобретению применяется свертка посредством Гауссова ядра. Гауссово ядро является одним из наиболее известных ядер, также называемым «ядром радиальной базисной функции». Размер ядра и параметры сигмы получают из оцененных разрешений печати и сканирования входного изображения и они могут быть различными в зависимости от требований к балансу качества/скорости восстановления. В предпочтительном варианте выполнения изобретения используются три заданных установки для разрешения сканирования в 300, 600 и 1200 точек на дюйм (DPI) и разрешение печати в 300 DPI. Все прочие разрешения могут быть обработаны с использованием этих установок, например как показано в Таблице 1:There are a number of nuclear smoothing techniques that may be suitable for the implementation of step (102) for smoothing the input image. In the general case, smoothing (102) can be implemented by any known nuclear smoothing technique suitable for this task, but in a preferred embodiment of the method according to the invention, convolution by means of a Gaussian kernel is used. The Gaussian nucleus is one of the most famous nuclei, also called the “radial basis function kernel”. The core size and sigma parameters are obtained from the estimated print and scan resolutions of the input image, and they can be different depending on the requirements for the quality / recovery balance. In a preferred embodiment of the invention, three preset settings are used for scanning resolutions of 300, 600 and 1200 dpi (DPI) and a print resolution of 300 DPI. All other permissions can be processed using these settings, for example as shown in Table 1:
Установки Гауссова ядра для сглаживания изображенийTable
Gaussian kernel settings for smoothing images
Здесь отношение разрешений является отношением разрешения сканирования к разрешению печати, интенсивность является необязательным параметром, который находится в диапазоне [0;1] (0,5 по умолчанию) и размер ядра и сигма являются, соответственно, значениями размера Гауссова ядра и сигмы. Если отношение выше 1,0, предполагается, что разрешение сканирования слишком мало и таким образом растр не обнаружен. Соответственно, алгоритм выполняет удаление шума с использованием ядра 4x4 со значением сигмы 8. Если размер ядра представляет собой вещественное число, он округляется до ближайшего целого. Все установки, показанные в качестве примера, но не ограничения, в вышеприведенной Таблице 1, получают посредством следующей процедуры: сначала пользователь вручную выбирает любое фиксированное значение сигмы, достаточное для удаления растровой структуры (как показали эмпирические эксперименты, наилучшим выбором является сигма = 8); затем определяют наибольший размер ядра Rmax в качестве минимального размера ядра, который может полностью устранить растровую структуру внутри изображения. Устранен ли растр, можно определить путем наблюдения или посредством любого из известных алгоритмов обнаружения растра, например алгоритма, описанного в US 6734991. Итоговые размеры ядра, представленные в Таблице 1, получены с использованием следующего выражения:Here, the resolution ratio is the ratio of scan resolution to print resolution, intensity is an optional parameter that is in the range [0; 1] (0.5 by default), and the size of the core and sigma are, respectively, the size of the Gaussian core and sigma. If the ratio is higher than 1.0, it is assumed that the scan resolution is too low and thus the raster is not detected. Accordingly, the algorithm performs noise removal using a 4x4 kernel with a sigma value of 8. If the kernel size is a real number, it is rounded to the nearest integer. All settings shown as an example, but not limitation, in the above Table 1, are obtained by the following procedure: first, the user manually selects any fixed sigma value sufficient to remove the raster structure (empirical experiments have shown that sigma = 8 is the best choice); then, the largest core size R max is determined as the minimum core size, which can completely eliminate the raster structure within the image. Whether the raster is eliminated can be determined by observing or using any of the known raster detection algorithms, for example, the algorithm described in US 6734991. The total core dimensions shown in Table 1 are obtained using the following expression:
Затем выполняется этап (103) восстановления резкости с использованием так называемой методики разреженного кодирования. Идея разреженного кодирования состоит в общем в выполнении восстановления образца «шумного» изображения с использованием сочетания образца с устраненным шумом из избыточного словаря (более подробно см. J. Mairal, F. Bach и J. Ponce, “Task-Driven Dictionary Learning”, PAMI, 2012, далее [1]). Восстановление выполняется посредством лишь небольшого количества образцов, и таким образом оно может быть описано следующим образом (см. Y. Pati, R. Rezaiifar, P. Krishnaprasad, "Orthogonal Matching Pursuit: recursive function approximation with application to wavelet decomposition", в Asilomar Conf. on Signals, Systems and Comput., 1993, далее [3]):Then, sharpening step (103) is performed using the so-called sparse coding technique. The idea of sparse coding is generally to perform sample reconstruction of a “noisy” image using a combination of a sample with eliminated noise from a redundant dictionary (for more details see J. Mairal, F. Bach and J. Ponce, “Task-Driven Dictionary Learning”, PAMI , 2012, further [1]). Recovery is carried out using only a small number of samples, and thus it can be described as follows (see Y. Pati, R. Rezaiifar, P. Krishnaprasad, "Orthogonal Matching Pursuit: recursive function approximation with application to wavelet decomposition", in Asilomar Conf . on Signals, Systems and Comput., 1993, further [3]):
Здесь xi - образец исходного изображения (представленный в виде одномерных (1D) векторов) и αi - набор разреженных кодов, которые являются весами соответствующих словарных образцов, используемых для восстановления. Здесь D адаптировано к x, если оно может представить его посредством небольшого количества базисных векторов, т.е. есть разреженный вектор α в 
В случае двумерных (2D) сигналов (таких как изображения) задача может быть сформулирована следующим образом: сначала изображение (201) разделяют на некоторое число блоков (202) (которые обычно пересекаются, но для простоты они показаны раздельными на фиг. 2). Затем все блоки группируют в набор кластеров по их подобию (показаны с различными рисунками штриховки) и организуют в словарь (203), который собирают из небольшого количества наименее подобных блоков. В случае разреженного кодирования подобие часто определяют посредством L-нормы, и поэтому предполагается, что наименее подобные блоки (которые также называются атомами словаря или участками) являются наиболее удаленными с точки зрения L-нормы (L-2 или L-1).In the case of two-dimensional (2D) signals (such as images), the problem can be formulated as follows: first, the image (201) is divided into a number of blocks (202) (which usually intersect, but for simplicity they are shown separate in Fig. 2). Then all the blocks are grouped into a set of clusters according to their similarity (shown with different hatching patterns) and organized into a dictionary (203), which is assembled from a small number of the least similar blocks. In the case of sparse coding, similarity is often determined by the L-norm, and therefore it is assumed that the least similar blocks (also called dictionary atoms or regions) are the farthest from the point of view of the L-norm (L-2 or L-1).
Словарь имеет ограниченный размер и поэтому некоторая информация теряется при восстановлении изображения с использованием упомянутого словаря. Для управления величиной потерь используется L-0 регуляризация нормы (см. [1]):The dictionary has a limited size and therefore some information is lost when restoring an image using the dictionary. To control the amount of losses, L-0 regularization of the norm is used (see [1]):
Уравнение (3), приведенное выше, иллюстрирует восстановление одного участка xi словарем D. Здесь ai - член разреженной матрицы, который определяет число ненулевых атомов словаря, используемых для восстановления участка xi. Кроме того, если участок (302) изображения восстанавливается максимум тремя атомами (301), то разреженность должна быть установлена в значение 3. В предлагаемом способе всегда используется разреженность, равная 1, что означает, что только один атом словаря используется для восстановления участка.Equation (3) above illustrates the restoration of one section xi by the dictionary D. Here ai is a member of the sparse matrix that determines the number of nonzero atoms of the dictionary used to restore the section xi. In addition, if the image area (302) is restored by a maximum of three atoms (301), then the sparsity should be set to 3. In the proposed method, a sparsity of 1 is always used, which means that only one atom of the dictionary is used to restore the site.
Таким образом, обращаясь к фиг. 4, в предпочтительном варианте выполнения настоящего изобретения восстановление резкости состоит из следующих этапов:Thus, referring to FIG. 4, in a preferred embodiment of the present invention, sharpening consists of the following steps:
Обучение исходного словаря (401)Source Dictionary Training (401)
Сглаживание исходного словаря (402)Smoothing the original dictionary (402)
Получение разреженного представления изображения (403)Obtaining a sparse representation of the image (403)
Восстановление изображения (404)Image Recovery (404)
Этапы (403) и (404) повторяются итерационно до тех пор, пока не будет получена естественная резкость изображения или пока не будет выполнено условие (405) (например, максимальное значение счетчика итераций). По умолчанию выполняются 3 итерации. Обучение (401) исходного словаря может выполняться с использованием любого изображения с непрерывными тонами или группы изображений, внутри которых отсутствует какая-либо растровая структура. Тем не менее, предлагается использовать фотографическое изображение. Один словарь обучают для всех каналов изображения, таким образом участки, извлеченные из всех каналов, смешивают друг с другом для составления обучающего набора. Ввиду случайной природы алгоритма K-SVD обучают множество словарей, и лучший словарь выбирают в качестве так называемого «исходного» словаря. Здесь наилучший словарь определяют посредством серии экспериментов, в которых восстанавливают одно изображение с использованием каждого словаря. Словарь, обеспечивающий наилучшее качество восстановления, которое измеряется показателем пикового отношения сигнала к шуму (PSNR), выбирают в качестве «исходного».Steps (403) and (404) are repeated iteratively until the natural sharpness of the image is obtained or condition (405) is satisfied (for example, the maximum value of the iteration counter). By default, 3 iterations are performed. Learning (401) the source dictionary can be performed using any image with continuous tones or a group of images within which there is no raster structure. However, it is proposed to use a photographic image. One vocabulary is taught for all image channels, so the sections extracted from all channels are mixed together to form a training set. Due to the random nature of the K-SVD algorithm, many dictionaries are taught, and the best dictionary is chosen as the so-called “source” dictionary. Here, the best dictionary is determined through a series of experiments in which one image is restored using each dictionary. A dictionary providing the best quality of recovery, which is measured by the peak signal-to-noise ratio (PSNR), is selected as the “source”.
Размер словаря определен в 64 атома, и размер атома оценен с использованием следующей таблицы, причем размеры участков те же, что и Rmin в Таблице 1:The size of the dictionary is defined in 64 atoms, and the size of the atom is estimated using the following table, and the size of the sections are the same as R min in Table 1:
Установленные размеры участковtable 2
Plot sizes established
Исходный словарь обучают только один раз перед тем, как происходит любая другая обработка. Поэтому обучают и сохраняют заранее четыре различных заранее обученных исходных словаря (по одному словарю для каждого размера участка). И таким образом любое растровое изображение может быть обработано с использованием одного из упомянутых словарей. Специалисту в данной области техники будет понятно, что возможны другие варианты выполнения словарей и обучения словарей и что вышеприведенное описание представлено лишь в качестве примера и не является каким-либо образом ограничивающим.The source dictionary is trained only once before any other processing takes place. Therefore, four different pre-trained source dictionaries are trained and stored in advance (one dictionary for each plot size). And thus, any bitmap image can be processed using one of the dictionaries mentioned. One skilled in the art will appreciate that other dictionaries and vocabulary training are possible, and that the above description is provided by way of example only and is not in any way limiting.
В предпочтительном варианте выполнения изобретения восстановление резкости (также известное как устранение размытия) выполняется с использованием двух соответствующих (связанных) словарей. Первый словарь представляет собой вышеупомянутый исходный словарь и второй словарь должен быть сформирован путем сглаживания каждого атома исходного словаря посредством Гауссова ядра. Размеры ядер для сглаживания словарей являются теми же, что и для сглаживания изображений (см. Таблицу 1), причем единственное различие состоит в том, что, если размер ядра представляет собой вещественное число, его сокращают до ближайшего меньшего целого числа. Значение сигмы выбрано равным 2,8.In a preferred embodiment, sharpening (also known as blurring) is performed using two corresponding (related) dictionaries. The first dictionary is the aforementioned source dictionary and the second dictionary should be formed by smoothing each atom of the source dictionary through a Gaussian kernel. The sizes of kernels for smoothing dictionaries are the same as for smoothing images (see Table 1), and the only difference is that if the size of the kernel is a real number, it is reduced to the nearest smaller integer. The sigma value is selected equal to 2.8.
Когда связанные словари сформированы, выполняют получение (403) разреженного представления изображения с применением алгоритма группового OMP и сглаженного словаря. Результатом этого этапа является разреженная кодовая матрица ai (см. уравнение (3)). Обычно групповой OMP работает сразу со всем изображением, что представляет собой процесс, требовательный к памяти и затратный по времени. Для преодоления данного ограничения в предлагаемом изобретении групповой OMP применяется к отдельным частям входного изображения, разделенным на блоки (501) по 512×512 пикселя, пересекающиеся по размеру (502) участка (см. фиг. 5). После завершения процесса все блоки «сшивают».When the associated dictionaries are formed, a (403) sparse image representation is obtained using the group OMP algorithm and a smoothed dictionary. The result of this step is a sparse code matrix ai (see equation (3)). Usually, group OMP works immediately with the entire image, which is a memory-intensive and time-consuming process. To overcome this limitation in the present invention, group OMP is applied to individual parts of the input image, divided into blocks (501) of 512 × 512 pixels, intersecting in size (502) of the plot (see Fig. 5). After the completion of the process, all blocks are “stitched”.
Для улучшения характеристик обработки каждый блок обрабатывается по пересекающимся участкам с размером шага, который зависит от размера участков, и значением качества, которое лежит в дискретном интервале [0;3] (где размеры шага для значений качества 0 и 1 зависят от размера участков, и размеры шага для значений 2 и 3 являются фиксированными целыми числами):To improve the processing characteristics, each block is processed in intersecting sections with a step size that depends on the size of the sections and a quality value that lies in the discrete interval [0; 3] (where the step sizes for quality values 0 and 1 depend on the size of the sections, and step sizes for values 2 and 3 are fixed integers):
Установки размера шагаTable 3
Step size settings
Если размер шага представляет собой вещественное число, он округляется до ближайшего целого. Для устранения вертикальных полос на границах участков используется противоблочный фильтр. Он может быть реализован различными способами, но в качестве примера, обращаясь теперь к фиг. 6, в настоящем изобретении используется Гауссова фильтрация, которая применяется к пикселям, расположенным вблизи границ (601) участков. Предлагаемый вариант реализации размывает саму границу и два соседних пикселя (602) с каждой стороны от нее. Размер Гауссова ядра тот же, что и вышеупомянутый размер участка, и сигма устанавливается пользователем таким образом, чтобы она была достаточно велика для устранения границы участков.If the step size is a real number, it is rounded to the nearest integer. An anti-block filter is used to eliminate vertical stripes at the boundaries of the plots. It can be implemented in various ways, but as an example, referring now to FIG. 6, the present invention uses Gaussian filtering, which is applied to pixels located near the boundaries (601) of the plots. The proposed implementation blurs the border itself and two adjacent pixels (602) on each side of it. The size of the Gaussian core is the same as the aforementioned size of the site, and the sigma is set by the user so that it is large enough to eliminate the boundary of the sites.
Восстановление (404) изображения выполняют с использованием уравнения (1), где ai - разреженная кодовая матрица от этапа 403, dij - исходный словарь, и xi - новый участок с повышенной резкостью. Как указано выше, этапы (403) и (404) выполняются итерационно до тех пор, пока не будет выполнено условие (405). Этап (403) выполняется со сглаженным словарем, и этап (404) выполняется с использованием «исходного» словаря. Любой из вышеупомянутых параметров может быть изменен для получения более высокого качества в определенных случаях.Image restoration (404) is performed using equation (1), where ai is the sparse code matrix from
Обращаясь теперь к фиг. 7, в предпочтительном варианте выполнения изобретения в качестве примера, но не ограничения, все компоненты объединены в одном многофункциональном устройстве (701), состоящем из печатающего устройства (705), сканирующего устройства (706) и системы (702) обработки изображений. Общий сценарий работы такого многофункционального устройства включает в себя следующие этапы:Turning now to FIG. 7, in a preferred embodiment of the invention, by way of example, but not limitation, all components are combined in one multifunction device (701), consisting of a printing device (705), a scanning device (706) and an image processing system (702). The general scenario for the operation of such a multifunctional device includes the following steps:
пользователь помещает полутоновой документ в сканирующее устройство (706) или вставляет машиночитаемый носитель (707), например карту флэш-памяти, и инструктирует систему (702) обработки изображений получить входное изображение;the user places the grayscale document in a scanning device (706) or inserts a computer-readable medium (707), such as a flash memory card, and instructs the image processing system (702) to obtain an input image;
пользователь выбирает сохранение документа в устройстве или его непосредственную печать;the user chooses to save the document in the device or print it directly;
система (702) обработки изображений получает входное изображение с носителя или из сканирующего устройства (706) и анализирует изображение с использованием средства (703) анализа изображения, которое оценивает разрешение сканирования и печати входного изображения;the image processing system (702) receives an input image from a medium or from a scanning device (706) and analyzes the image using an image analysis tool (703) that estimates the resolution of scanning and printing of the input image;
затем система (702) обработки изображений применяет вышеописанный алгоритм этапов (302) и (303) путем применения модуля (704) восстановления для восстановления изображений;then, the image processing system (702) applies the above algorithm of steps (302) and (303) by applying the recovery module (704) to restore the images;
когда обработка завершена, система (702) обработки изображений сохраняет выходное колоризированное изображение в устройстве (707) хранения или распечатывает его посредством печатающего устройства (705).when the processing is completed, the image processing system (702) stores the output color image in the storage device (707) or prints it by means of a printing device (705).
Пользователь может указывать параметры восстановления для этапов (102) и (103) или выбирать автоматический режим, который применяет установки восстановления изображения по умолчанию. Модуль (704) восстановления представляет собой систему параллельной обработки.The user can specify recovery options for steps (102) and (103) or choose an automatic mode that applies the default image recovery settings. Recovery module (704) is a parallel processing system.
Подробный пример системы параллельной обработки, которая составляет модуль (704) восстановления по фиг. 7, показан на фиг. 8. Здесь обработка участков изображения выполняется параллельно с использованием аппаратных блоков обработки. В общем случае, модуль восстановления состоит из двух блоков, каждый из которых содержит по меньшей мере один блок обработки, которые вместе обеспечивают возможность параллельной обработки. Первый блок представляет собой блок сглаживания, который состоит по меньшей мере из одного блока обработки, параллельно выполняющего вышеописанную свертку отдельных участков изображения. Второй блок представляет собой блок восстановления, который состоит по меньшей мере из одного блока обработки, параллельно выполняющего восстановление отдельных участков изображения с использованием методики разреженного кодирования, как описано выше. В предпочтительном варианте выполнения изобретения обработка для восстановления изображения, в качестве примера, выполняется следующим образом: каждый пиксель входного изображения (801) обрабатывается блоками обработки, также называемыми блоками (802) сглаживания, которые одновременно выполняют этап (102) алгоритма. Итоговые пиксели изображения объединяются в сглаженное изображение (803), которое разделено на пересекающиеся участки (804). Затем применяется разреженное кодирование. Поскольку каждый участок может восстанавливаться по отдельности, процесс также параллельно выполняется блоками обработки, включенными в блок восстановления резкости, причем каждый из упомянутых блоков обработки также показан на фиг. 8 как блок (805) разреженного кодирования, которые реализуют этап (103) алгоритма. Затем итоговые участки объединяют в выходное изображение (806). Эта методика, в которой параллельно используется множество блоков обработки в качестве блоков сглаживания и блоков разреженного кодирования, соответственно, значительно повышает скорость обработки, в особенности если модуль восстановления представляет собой систему массового параллелизма, такую как графический процессор (GPU), или если он реализован в виде аппаратного компонента.A detailed example of a parallel processing system that constitutes the recovery module (704) of FIG. 7 is shown in FIG. 8. Here, the processing of image sections is performed in parallel with the use of hardware processing units. In general, a recovery module consists of two blocks, each of which contains at least one processing block, which together provide the possibility of parallel processing. The first block is a smoothing block, which consists of at least one processing block, parallel to the above-described convolution of individual sections of the image. The second block is a recovery block, which consists of at least one processing block, which simultaneously performs recovery of individual parts of the image using the sparse coding technique, as described above. In a preferred embodiment of the invention, the image recovery processing, as an example, is performed as follows: each pixel of the input image (801) is processed by processing units, also called smoothing units (802), which simultaneously perform algorithm step (102). The resulting pixels of the image are combined into a smooth image (803), which is divided into intersecting sections (804). Then sparse coding is applied. Since each section can be individually restored, the process is also executed in parallel by the processing units included in the sharpening unit, each of which processing units is also shown in FIG. 8 as a sparse coding unit (805) that implement the algorithm step (103). Then the resulting sections are combined into an output image (806). This technique, in which many processing units are used in parallel as smoothing units and sparse coding units, respectively, significantly increases the processing speed, especially if the recovery module is a mass parallelism system such as a graphics processor (GPU), or if it is implemented in kind of hardware component.
Другие аспекты изобретения станут очевидны специалисту в данной области техники при рассмотрении чертежей и подробного описания изобретения. Специалисту в данной области техники будет понятно, что возможны другие варианты выполнения изобретения и что детали изобретения могут быть изменены в различных отношениях без выхода за рамки изобретательского замысла. Таким образом, чертежи и описание следует рассматривать как имеющие иллюстративный, но не ограничивающий характер. Например, предлагаемый способ может быть реализован в системе с экраном отображения и модулем беспроводной передачи файлов для передачи изображений вместо печатающего и сканирующего устройств. Также возможны изменения в алгоритмах обработки изображений. Таким образом, в этапах (102) и (103) может применяться другой алгоритм восстановления резкости, который не относится к методикам разреженного кодирования. Операции сглаживания могут быть выполнены с использованием других ядер. Например, они могут представлять собой Гауссово размытие.Other aspects of the invention will become apparent to those skilled in the art upon consideration of the drawings and detailed description of the invention. One skilled in the art will understand that other embodiments of the invention are possible and that the details of the invention can be changed in various ways without departing from the scope of the inventive concept. Thus, the drawings and description should be considered as illustrative, but not limiting. For example, the proposed method can be implemented in a system with a display screen and a wireless file transfer module for transmitting images instead of a printing and scanning device. Changes to image processing algorithms are also possible. Thus, in steps (102) and (103), another sharpening algorithm may be applied that is not related to sparse coding techniques. Smoothing operations can be performed using other cores. For example, they can be Gaussian blur.
Изобретение может применяться для восстановления растрированных изображений в изображения с непрерывными тонами. Таким образом, оно может быть реализовано в сканирующих устройствах, а также в различном программном обеспечении для сканирования, печати или обработки изображений.The invention can be applied to restore rasterized images to images with continuous tones. Thus, it can be implemented in scanning devices, as well as in various software for scanning, printing or image processing.
Выше приведено подробное описание конкретных примерных вариантов выполнения изобретения, которые предназначены для иллюстрации, но не для ограничения материально-технических средств, которые реализуют соответствующие компоненты системы для обработки изображений и этапы способа обработки изображений, их функциональных свойств и взаимосвязи между ними, а также способа работы системы и способа обработки изображений согласно изобретению. Другие варианты выполнения, находящиеся в рамках объема настоящего изобретения, могут стать очевидными для специалиста в данной области техники после внимательного прочтения вышеприведенного описания с обращением к сопровождающим чертежам, и все такие очевидные модификации, изменения и/или эквивалентные замены считаются включенными в объем настоящего изобретения. Порядок, в котором этапы способа согласно изобретению упомянуты в формуле, не обязательно определяет фактическую последовательность, в которой должны выполняться этапы способа, и некоторые этапы способа могут выполняться, по существу, одновременно, один за другим или в любой надлежащей последовательности, если иное не определено конкретно и/или не обусловлено контекстом настоящего описания. Определенные этапы способа также могут выполняться однократно или любое другое надлежащее число раз, хотя это и не указано в формуле изобретения или где-либо еще в материалах заявки.The above is a detailed description of specific exemplary embodiments of the invention, which are intended to illustrate, but not to limit, the material and technical means that implement the corresponding components of the image processing system and the steps of the image processing method, their functional properties and the relationship between them, as well as the method of operation system and method of image processing according to the invention. Other embodiments within the scope of the present invention may become apparent to a person skilled in the art after carefully reading the above description with reference to the accompanying drawings, and all such obvious modifications, changes and / or equivalent replacements are considered to be included in the scope of the present invention. The order in which the steps of the method according to the invention are mentioned in the formula does not necessarily determine the actual sequence in which the steps of the method are to be performed, and some steps of the method can be performed substantially simultaneously, one after the other or in any appropriate sequence, unless otherwise specified specifically and / or not due to the context of the present description. Certain process steps can also be performed once or any other appropriate number of times, although this is not indicated in the claims or elsewhere in the application materials.
Также следует отметить, что изобретение может также принимать иные формы по сравнению с тем, что описано выше в настоящем документе, и там, где это применимо, определенные компоненты, модули, элементы, функции могут быть реализованы в виде программного обеспечения, аппаратного обеспечения, микропрограммного обеспечения, интегральных схем, программируемых вентильных матриц (FPGA) и т.п. Заявляемое изобретение или по меньшей мере определенные его части, компоненты, модули или этапы могут быть реализованы компьютерной программой, сохраненной на машиночитаемом носителе, причем упомянутая программа при выполнении на компьютере общего назначения, сканирующем устройстве, печатающем устройстве, GPU, многофункциональном устройстве или любом подходящем устройстве обработки изображений побуждает упомянутое устройство выполнять некоторые или все этапы заявляемого способа и/или управлять по меньшей мере некоторыми из компонентов заявляемой системы для обработки изображений таким образом, что они работают описанным выше способом. Примеры машиночитаемого носителя, подходящего для хранения упомянутой компьютерной программы или ее кода, команд или компьютерных программных элементов или модулей, могут включать в себя любой вид постоянного машиночитаемого носителя, который очевиден специалисту в данной области техники.It should also be noted that the invention may also take other forms in comparison with what is described above in this document, and where applicable, certain components, modules, elements, functions can be implemented in the form of software, hardware, firmware software, integrated circuits, programmable gate arrays (FPGAs), etc. The invention or at least certain parts, components, modules or steps thereof may be implemented by a computer program stored on a computer-readable medium, said program being executed on a general-purpose computer, a scanning device, a printing device, a GPU, a multifunction device, or any suitable device image processing causes the said device to perform some or all of the steps of the proposed method and / or to control at least some of the components comrade inventive system for image processing such that they operate in the manner described above. Examples of computer-readable media suitable for storing said computer program or code, instructions, or computer program elements or modules may include any kind of permanent computer-readable medium that is obvious to a person skilled in the art.
Все непатентные источники [1]-[3] из уровня техники, а также патентные источники, приведенные и описанные в настоящем документе, настоящим включены в данное описание путем ссылки там, где это применимо.All non-patent sources [1] - [3] from the prior art, as well as patent sources cited and described herein, are hereby incorporated into this description by reference, where applicable.
При том, что настоящее изобретение было показано и описано в отношении его различных вариантов выполнения, специалистам в данной области техники будет понятно, что в нем могут быть выполнены различные изменения по форме и деталям, не выходящие за рамки объема настоящего изобретения, который определяется только прилагаемой формулой изобретения и ее эквивалентами.While the present invention has been shown and described in relation to its various embodiments, it will be understood by those skilled in the art that various changes in form and details can be made therein without departing from the scope of the present invention, which is defined only by the attached the claims and its equivalents.
Claims (11)
- оценивают размер растровой структуры входного изображения;
- сглаживают растрированное входное изображение с применением способа, использующего ядро сглаживания, причем размер ядра сглаживания определяют как максимальное ядро, которое необходимо для полного устранения растровой структуры во входном изображении;
- восстанавливают резкость сглаженного изображения посредством методики разреженного кодирования с использованием двух наборов образцов изображения, полученных из набора референсных изображений с непрерывными тонами, причем первый набор является набором сглаженных образцов изображения и второй набор является набором резких образцов изображения, причем размер набора, размер образца, степень сглаженности образца и параметры разреженного кодирования устанавливают в соответствии с оцененным размером растровой структуры для устранения растровой структуры в изображении.1. The method of image processing to eliminate the raster structure of the image through a sparse representation of scanned printed copies, the method comprising the steps of:
- evaluate the size of the raster structure of the input image;
- smooth the rasterized input image using a method that uses a smoothing core, and the size of the smoothing core is defined as the maximum core that is necessary to completely eliminate the raster structure in the input image;
- restore the sharpness of the smoothed image by the method of sparse coding using two sets of image samples obtained from a set of reference images with continuous tones, the first set being a set of smoothed image samples and the second set being a set of sharp image samples, the size of the set, sample size, degree sample smoothness and rarefied coding parameters are set in accordance with the estimated size of the raster structure to eliminate ia raster structure in the image.
- обучают исходный словарь;
- сглаживают исходный словарь посредством Гауссова фильтра для получения сглаженного словаря;
- получают разреженное представление входного изображения посредством сглаженного словаря;
- восстанавливают изображение с использованием разреженного представления изображения и сглаженного словаря.4. The method according to p. 1, in which the restoration of the sharpness of the smoothed image using the sparse coding technique includes the steps of:
- train the source dictionary;
- smooth the source dictionary using a Gaussian filter to obtain a smoothed dictionary;
- receive a sparse representation of the input image through a smoothed dictionary;
- restore the image using a sparse representation of the image and a smoothed dictionary.
- устройство сканирования и хранения, выполненное с возможностью обеспечения входного изображения;
- средство анализа входного изображения, выполненное с возможностью оценки размера растровой структуры входного изображения;
- модуль восстановления, выполненный с возможностью сглаживания растрированного входного изображения и восстановления резкости сглаженного изображения посредством методики разреженного кодирования с использованием блоков сглаживания и восстановления;
- блок сглаживания, который состоит по меньшей мере из одного блока обработки, выполненного с возможностью параллельного выполнения свертки отдельных участков изображения;
- блок восстановления, который состоит по меньшей мере из одного блока обработки, выполненного с возможностью параллельного выполнения восстановления отдельных участков изображения с использованием методики разреженного кодирования.10. An image processing system for processing raster images, the system comprising:
- a scanning and storage device configured to provide an input image;
- input image analysis means configured to estimate the size of the raster structure of the input image;
- a recovery module configured to smooth the rasterized input image and restore the sharpness of the smooth image using the sparse coding technique using smoothing and restoration blocks;
- a smoothing unit, which consists of at least one processing unit, configured to parallelize the convolution of individual sections of the image;
- a recovery unit, which consists of at least one processing unit, configured to perform parallel recovery of individual image sections using the sparse coding technique.
- код для оценки размера растровой структуры входного изображения;
- код для сглаживания растрированного входного изображения с применением способа, использующего сглаживающее ядро, причем размер ядра сглаживания определяется как максимальное ядро, которое необходимо для полного устранения растровой структуры во входном изображении;
- код для восстановления резкости сглаженного изображения посредством методики разреженного кодирования с использованием двух наборов образцов изображения, полученных из набора референсных изображений с непрерывными тонами, причем первый набор является набором сглаженных образцов изображения и второй набор является набором резких образцов изображения, причем размер набора, размер образца, степень сглаженности образца и параметры разреженного кодирования устанавливают в соответствии с оцененным размером растровой структуры для устранения растровой структуры в изображении. 11. A permanent computer-readable medium on which a computer program is stored, which when executed by a computer causes the computer to perform image processing to eliminate the raster structure of the image through a sparse representation of scanned hard copies, the computer program comprising:
- code for estimating the size of the raster structure of the input image;
- a code for smoothing a rasterized input image using a method using a smoothing core, the size of the smoothing core being defined as the maximum core that is needed to completely eliminate the raster structure in the input image;
- a code for restoring the sharpness of a smoothed image using a sparse coding technique using two sets of image samples obtained from a set of reference images with continuous tones, the first set being a set of smoothed image samples and the second set being a set of sharp image samples, the size of the set, the size of the sample , the degree of smoothness of the sample and the parameters of sparse coding are set in accordance with the estimated size of the raster structure for translation of the raster structure in the image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014150566/08A RU2595635C2 (en) | 2014-12-12 | 2014-12-12 | Image processing system and method for eliminating screen-type pattern through sparse representation of scanned printed copies |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2014150566/08A RU2595635C2 (en) | 2014-12-12 | 2014-12-12 | Image processing system and method for eliminating screen-type pattern through sparse representation of scanned printed copies |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2014150566A RU2014150566A (en) | 2016-07-10 |
| RU2595635C2 true RU2595635C2 (en) | 2016-08-27 |
Family
ID=56372456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2014150566/08A RU2595635C2 (en) | 2014-12-12 | 2014-12-12 | Image processing system and method for eliminating screen-type pattern through sparse representation of scanned printed copies |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2595635C2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5323247A (en) * | 1990-12-04 | 1994-06-21 | Research Corporation Technologies | Method and apparatus for halftoning and inverse halftoning and the transmission of such images |
| US6141450A (en) * | 1998-01-09 | 2000-10-31 | Winbond Electronics Corporation | Image compression system using halftoning and inverse halftoning to produce base and difference layers while minimizing mean square errors |
| US7312900B2 (en) * | 2002-12-17 | 2007-12-25 | Dainippon Screen Mfg. Co., Ltd. | Method of descreening screened image, method of separating screened image into regions, image processing device, and program |
| US7376282B2 (en) * | 2003-11-20 | 2008-05-20 | Xerox Corporation | Method for designing nearly circularly symmetric descreening filters that can be efficiently implemented in VLIW (very long instruction word) media processors |
| US7595911B2 (en) * | 2006-02-07 | 2009-09-29 | Sharp Laboratories Of America, Inc. | Methods and systems for descreening a digital image |
| RU2405279C2 (en) * | 2008-07-15 | 2010-11-27 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method for descreening |
| RU2411584C2 (en) * | 2008-08-21 | 2011-02-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method of adaptive smoothing to suppress screen-type pattern of images |
-
2014
- 2014-12-12 RU RU2014150566/08A patent/RU2595635C2/en not_active IP Right Cessation
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5323247A (en) * | 1990-12-04 | 1994-06-21 | Research Corporation Technologies | Method and apparatus for halftoning and inverse halftoning and the transmission of such images |
| US6141450A (en) * | 1998-01-09 | 2000-10-31 | Winbond Electronics Corporation | Image compression system using halftoning and inverse halftoning to produce base and difference layers while minimizing mean square errors |
| US7312900B2 (en) * | 2002-12-17 | 2007-12-25 | Dainippon Screen Mfg. Co., Ltd. | Method of descreening screened image, method of separating screened image into regions, image processing device, and program |
| US7376282B2 (en) * | 2003-11-20 | 2008-05-20 | Xerox Corporation | Method for designing nearly circularly symmetric descreening filters that can be efficiently implemented in VLIW (very long instruction word) media processors |
| US7595911B2 (en) * | 2006-02-07 | 2009-09-29 | Sharp Laboratories Of America, Inc. | Methods and systems for descreening a digital image |
| RU2405279C2 (en) * | 2008-07-15 | 2010-11-27 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method for descreening |
| RU2411584C2 (en) * | 2008-08-21 | 2011-02-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method of adaptive smoothing to suppress screen-type pattern of images |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2014150566A (en) | 2016-07-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ongie et al. | Off-the-grid recovery of piecewise constant images from few Fourier samples | |
| Zoran et al. | Scale invariance and noise in natural images | |
| US9262815B2 (en) | Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term | |
| Li et al. | An algorithm unrolling approach to deep image deblurring | |
| CN112396560A (en) | System and method for deblurring medical images using a deep neural network | |
| Youssef et al. | Feature-preserving noise removal | |
| Zhao et al. | Local activity-driven structural-preserving filtering for noise removal and image smoothing | |
| Sun et al. | Scanned image descreening with image redundancy and adaptive filtering | |
| Chierchia et al. | Epigraphical projection and proximal tools for solving constrained convex optimization problems: Part i | |
| Zhang et al. | Image denoising via structure-constrained low-rank approximation | |
| Moeller et al. | Color Bregman TV | |
| US20220327692A1 (en) | Method and apparatus for processing image | |
| Ghadrdan et al. | Low-dose computed tomography image denoising based on joint wavelet and sparse representation | |
| Hongbo et al. | Single image fast deblurring algorithm based on hyper‐Laplacian model | |
| Mittal et al. | Automatic parameter prediction for image denoising algorithms using perceptual quality features | |
| RU2595635C2 (en) | Image processing system and method for eliminating screen-type pattern through sparse representation of scanned printed copies | |
| CN108629740A (en) | A kind of processing method and processing device of image denoising | |
| Hou et al. | Image deconvolution with multi-stage convex relaxation and its perceptual evaluation | |
| Zhang et al. | Image inverse halftoning and descreening: a review | |
| Shankara et al. | Noise removal techniques for lung cancer CT images | |
| Zhang et al. | Restoration of images and 3D data to higher resolution by deconvolution with sparsity regularization | |
| Saleem et al. | Survey on color image enhancement techniques using spatial filtering | |
| Solanki et al. | An efficient satellite image super resolution technique for shift-variant images using improved new edge directed interpolation | |
| Pan et al. | Blind local noise estimation for medical images reconstructed from rapid acquisition | |
| Sola et al. | Blind image deblurring based on multi-resolution ringing removal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PD4A | Correction of name of patent owner | ||
| PC41 | Official registration of the transfer of exclusive right |
Effective date: 20170921 |
|
| PD4A | Correction of name of patent owner | ||
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20191213 |