RU2368091C2 - System and method for scanning and copying - Google Patents
System and method for scanning and copying Download PDFInfo
- Publication number
- RU2368091C2 RU2368091C2 RU2004135515/09A RU2004135515A RU2368091C2 RU 2368091 C2 RU2368091 C2 RU 2368091C2 RU 2004135515/09 A RU2004135515/09 A RU 2004135515/09A RU 2004135515 A RU2004135515 A RU 2004135515A RU 2368091 C2 RU2368091 C2 RU 2368091C2
- Authority
- RU
- Russia
- Prior art keywords
- scanner
- binding
- image
- pages
- substrate
- Prior art date
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Scanning Arrangements (AREA)
Abstract
Description
Изобретение относится к системам и способам сканирования и копирования с коррекцией искажений на основе восстановления трехмерной модели сканируемой поверхности объектов в переплете.The invention relates to systems and methods for scanning and copying with distortion correction based on the restoration of a three-dimensional model of the scanned surface of objects in binding.
При сканировании и копировании объекта в переплете практически невозможно получить результирующее изображение без геометрических искажений (дисторсии) и затемнения в области переплета. В связи с этим в настоящее время актуальна проблема коррекции искажений в отсканированных изображениях, например в текстовых, с целью последующего распознавания текста, поскольку системы распознания текста могут работать только с неискаженным изображением текста.When scanning and copying an object in binding, it is practically impossible to obtain the resulting image without geometric distortion (distortion) and darkening in the binding area. In this regard, the problem of correcting distortions in scanned images, for example, in text, for the purpose of subsequent text recognition, is currently relevant, since text recognition systems can only work with an undistorted image of text.
При сканировании объектов в переплете, например книг, на планшетном сканере искажения в отсканированном изображении объекта, а именно дисторсия и затемнение, возникают в области переплета и вызваны неплотным прилеганием поверхности сканируемого объекта к подложке сканера, вдоль которой сканируется объект. Кроме того, возможно присутствие искажений, связанных с поворотом объекта на подложке сканера.When scanning objects in binding, such as books, on a flatbed scanner, distortions in the scanned image of the object, namely distortion and dimming, occur in the binding area and are caused by a loose fit of the surface of the scanned object to the scanner substrate along which the object is scanned. In addition, distortion associated with the rotation of the object on the scanner substrate is possible.
Существующие системы для сканирования и копирования книг, имеющие в своем составе планшетный сканер, можно разделить на 3 группы:Existing systems for scanning and copying books, incorporating a flatbed scanner, can be divided into 3 groups:
- модифицирующие устройство сканера в целом и сканирующей головки и осветителя в частности для минимизации искажений в районе переплета,- modifying the scanner device as a whole and the scanning head and illuminator in particular to minimize distortion in the binding area,
- восстанавливающие форму трехмерной поверхности объекта со стороны подложки сканера на основе анализа сканированного искажения и корректирующие искажения на основе информации о трехмерной поверхности,- restoring the shape of the three-dimensional surface of the object from the side of the scanner substrate based on the analysis of the scanned distortion and correcting distortions based on information about the three-dimensional surface,
- измеряющие форму трехмерной поверхности объекта со стороны подложки сканера с помощью дополнительных устройств-датчиков и корректирующие искажения на основе информации о трехмерной поверхности.- measuring the shape of the three-dimensional surface of the object from the side of the scanner substrate using additional sensor devices and correcting distortions based on information about the three-dimensional surface.
К первой группе относится решение, описанное в заявке США № 20040190960 [1]. В ней предлагается модификация осветителя и расположение подложки в край корпуса сканера, а также специальная форма корпуса сканера. За счет предложенных модификаций достигается значительное уменьшение величины искажений, но они не исключаются вовсе. Недостатком устройства является невозможность сканирования одновременно двух страниц объекта в переплете.The first group includes the solution described in US application No. 20040190960 [1]. It proposes a modification of the illuminator and the location of the substrate at the edge of the scanner body, as well as a special form of the scanner body. Due to the proposed modifications, a significant reduction in the amount of distortion is achieved, but they are not completely excluded. The disadvantage of this device is the inability to simultaneously scan two pages of the object in binding.
Ко второй группе относится заявка США №20030198398 [2], в которой по сканированному изображению объекта анализируют характер и величину перспективных искажений и на основании этих данных делают оценку формы трехмерной поверхности объекта над подложкой сканера. Способ коррекции искажений основан на информации о трехмерной поверхности. Недостатками способа являются его относительно низкая точность, а также то, что он предназначен для коррекции только текстовых документов, причем строки текста должны быть приблизительно параллельны направлению движения сканирующей головки, иное расположение объекта не допускается. Кроме того, данный способ предполагает использование значительных ресурсов памяти.The second group includes US application No. 20030198398 [2], in which the nature and magnitude of the perspective distortions are analyzed from the scanned image of the object and based on these data an estimate is made of the shape of the three-dimensional surface of the object above the scanner substrate. The distortion correction method is based on information about a three-dimensional surface. The disadvantages of the method are its relatively low accuracy, and the fact that it is intended to correct only text documents, with lines of text should be approximately parallel to the direction of movement of the scanning head, another location of the object is not allowed. In addition, this method involves the use of significant memory resources.
Заявленное изобретение можно отнести к третьей группе. Наиболее близкими к заявленному изобретению являются устройство и способ коррекции изображения при копировании, описанные в патенте США № 5276530 [3]. В этом изобретении с помощью датчика высоты, встроенного в сканирующую головку, определяют и сохраняют в памяти данные о расстоянии от страниц объекта до подложки сканера. Таким образом, измеряют форму трехмерной поверхности. В патенте отсутствует подробное описание способа коррекции, только общие идеи, но очевидно, что для коррекции всех возможных типов искажений требуется предварительное сканирование с сохранением карты высот, что увеличивает время копирования и требует дополнительного объема памяти для хранения карты высот. Кроме того, для реализации устройства требуется прецизионный бесконтактный датчик расстояния с высокой локальностью, что ведет к удорожанию устройства.The claimed invention can be attributed to the third group. Closest to the claimed invention are a device and method for image correction when copying, described in US patent No. 5276530 [3]. In this invention, using the height sensor integrated in the scanning head, data on the distance from the pages of the object to the substrate of the scanner is determined and stored in memory. Thus, the shape of a three-dimensional surface is measured. The patent does not contain a detailed description of the correction method, only general ideas, but it is obvious that for the correction of all possible types of distortion, preliminary scanning with preservation of the height map is required, which increases the copy time and requires additional memory to store the height map. In addition, the implementation of the device requires a precision non-contact distance sensor with high locality, which leads to a rise in the cost of the device.
Задачей заявленного изобретения является создание системы и способа сканирования и копирования предпочтительно для объекта в переплете, которые позволяют за счет использования двух дополнительных цифровых камер низкого разрешения и способа анализа их снимков увеличить точность определения областей искажений объекта вблизи переплета и в процессе коррекции строить трехмерную модель поверхности объекта со стороны подложки сканера, корректировать искажения объекта в области переплета, причем расширить число типов корректируемых искажений, увеличить скорость выполнения способа за счет возможности определения области искажения изображения объекта и данных для коррекции искажений до сканирования и за счет однократного прохода сканирующего устройства вдоль объекта сканирования, а также позволяет упростить техническую реализацию системы коррекции с незначительными затратами за счет возможности формирования системы на базе существующих планшетных сканеров и камер низкого разрешения.The objective of the claimed invention is to provide a system and method for scanning and copying, preferably for an object in binding, which allows using the use of two additional low-resolution digital cameras and a method for analyzing their images to increase the accuracy of determining the distortion areas of an object near the binding and to build a three-dimensional model of the object surface during correction from the side of the scanner substrate, correct the distortion of the object in the binding area, and expand the number of types of corrected lawsuit increase the speed of execution of the method due to the possibility of determining the area of distortion of the image of the object and the data for distortion correction before scanning and due to a single pass of the scanning device along the scanning object, and also allows to simplify the technical implementation of the correction system at low cost due to the possibility of forming a system based on existing flatbed scanners and low-resolution cameras.
Технический результат достигается за счет создания системы сканирования и копирования, которая содержит связанные между собой шиной данных сканер, первую камеру, вторую камеру, процессор, память программ, память данных и внешнее устройство, причем сканер имеет подложку, на которой размещается и вдоль которой сканируется объект, первая и вторая камеры расположены на противоположных друг другу боковых сторонах сканера напротив линии изгиба объекта в переплете, а объективы камер расположены с боковой стороны объекта, непосредственно напротив торцов переплета, при этом камеры выполнены с возможностью получения снимков объекта с боковых сторон в области изгиба страниц вблизи переплета, память программ содержит средство установления коррекции, выполненное с возможностью установления параметров и способа коррекции изображения, процессор имеет модуль коррекции искажений, выполненный с возможностью формирования трехмерной модели сканируемой поверхности объекта на основании данных, характеризующих форму изгиба страниц объекта вблизи переплета, анализа каждой отсканированной строки изображения объекта и в случае необходимости коррекции в каждой отсканированной строке искажений с использованием данных трехмерной модели сканируемой поверхности.The technical result is achieved by creating a scanning and copying system that contains a scanner connected to each other by a data bus, a first camera, a second camera, a processor, program memory, a data memory and an external device, the scanner having a substrate on which the object is located and along which it is scanned , the first and second cameras are located on opposite sides of the scanner opposite the bending line of the object in binding, and the camera lenses are located on the side of the object, directly having otted the ends of the binding, the cameras are configured to take pictures of the object from the sides in the bending area of the pages near the binding, the program memory contains correction adjustment means configured to set parameters and image correction method, the processor has a distortion correction module configured to generate three-dimensional model of the scanned surface of the object on the basis of data characterizing the shape of the bending of the pages of the object near the binding, the analysis of each scanned Anna object image line and if necessary the correction in each scanned line distortion using three-dimensional data model of the scanned surface.
Для функционирования системы существенно, чтобы сканер был выполнен планшетным с системой зеркал, объективом и ПЗС-матрицей.For the functioning of the system, it is essential that the scanner is a flatbed scanner with a system of mirrors, a lens and a CCD.
Для функционирования системы важно, чтобы подложка сканера была выполнена из стекла или другого прозрачного материала.For the system to function, it is important that the scanner backing is made of glass or other transparent material.
Для функционирования системы целесообразно, чтобы камеры являлись цифровыми камерами низкого разрешения.For the functioning of the system, it is advisable that the cameras are low-resolution digital cameras.
Для функционирования системы необходимо, "чтобы объект сканирования размещался на подложке в развернутом виде, причем страницы объекта прижаты к подложке.For the functioning of the system it is necessary, "so that the scan object is placed on the substrate in expanded form, and the pages of the object are pressed to the substrate.
Для функционирования системы существенно, чтобы объект сканирования размещался на подложке сканера таким образом, чтобы линия переплета объекта была расположена приблизительно параллельно сканирующей головке сканера.For the system to function, it is essential that the scan object is placed on the scanner substrate in such a way that the object's binding line is approximately parallel to the scanner scanning head.
Для функционирования системы важно, чтобы объект сканирования размещался на подложке сканера таким образом, чтобы линия переплета объекта была расположена приблизительно перпендикулярно сканирующей головке сканера.For the functioning of the system, it is important that the scan object is placed on the scanner substrate in such a way that the binding line of the object is approximately perpendicular to the scan head of the scanner.
Для функционирования системы целесообразно, чтобы для облегчения позиционирования объекта на подложке сканера и на корпусе сканера наносилась метка.For the functioning of the system, it is advisable that a mark is applied to facilitate the positioning of the object on the scanner substrate and on the scanner body.
Для функционирования системы необходимо, чтобы рядом с каждой из камер был расположен по меньшей мере один осветитель, выполненный с возможностью включения во время съемки объекта камерой и освещения объекта со стороны камеры.For the functioning of the system, it is necessary that at least one illuminator is located next to each of the cameras, configured to turn on the camera while shooting an object and illuminate the object from the camera side.
Для функционирования системы существенно, чтобы камеры были встроены в корпус сканера или подсоединялись к сканеру на момент сканирования объекта.For the functioning of the system, it is essential that the cameras are built into the scanner body or connected to the scanner at the time of scanning the object.
Для функционирования системы важно, чтобы камеры были расположены под углом от 0 до 60 градусов к подложке сканера.For the functioning of the system, it is important that the cameras are located at an angle from 0 to 60 degrees to the scanner substrate.
Для функционирования системы необходимо, чтобы в качестве внешнего устройства система содержала по меньшей мере одно устройство, выбранное из группы, включающей монитор, принтер, компьютер или другие аналогичные устройства.For the functioning of the system, it is necessary that, as an external device, the system contains at least one device selected from the group including a monitor, printer, computer, or other similar devices.
Поставленная задача решена также путем создания способа сканирования и копирования, который включает в себя следующие операции:The problem is also solved by creating a method of scanning and copying, which includes the following operations:
- снимают первой камерой объект, при этом получают первый снимок объекта с первой боковой стороны;- remove the object with the first camera, while receiving the first image of the object from the first side;
- записывают полученный первый снимок объекта в память данных;- write the received first snapshot of the object in the data memory;
- определяют в модуле коррекции искажений процессора наличие искажений вблизи переплета на первом снимке объекта из памяти данных в соответствии с параметрами, полученными из средства установления коррекции, при этом определяют наличие зазора между объектом и подложкой и данные, характеризующие форму изгиба страниц объекта вблизи переплета с первой боковой стороны, в случае если объект не имеет искажений вблизи переплета, сканируют объект сканером и выводят изображение объекта на внешнее устройство, в случае если объект имеет искажения вблизи переплета:- determine in the processor distortion correction module the presence of distortions near the gutter on the first image of the object from the data memory in accordance with the parameters obtained from the correction tool, while determining the presence of a gap between the object and the substrate and data characterizing the shape of the pages bending of the object near the gutter from the first side, if the object has no distortion near the binding, scan the object with a scanner and display the image of the object on an external device, if the object has distortion I'm near the binding:
- сохраняют в памяти данных данные, характеризующие форму изгиба страниц объекта вблизи переплета с первой боковой стороны;- save in the data memory data characterizing the shape of the bending of the pages of the object near the binding from the first side;
- снимают второй камерой объект, при этом получают второй снимок объекта со второй боковой стороны;- remove the object with the second camera, while receiving a second image of the object from the second side;
- определяют в модуле коррекции искажений процессора из второго снимка и сохраняют в памяти данных данные, характеризующие форму изгиба страниц объекта вблизи переплета со второй боковой стороны;- determine in the module distortion correction of the processor from the second image and save in the data memory data characterizing the shape of the bending pages of the object near the binding from the second side;
- вычисляют размер буфера строк в памяти данных, необходимый для коррекции одной строки сканированного изображения;- calculate the size of the line buffer in the data memory, necessary for the correction of one line of the scanned image;
- сканируют объект сканером, сохраняя в буфере строк строки сканированного изображения, до тех пор, пока не будет обнаружен край страницы объекта со стороны сканирующей головки и координаты двух его угловых вершин в соответствии с параметрами и способом коррекции, установленными в средстве установления коррекции;- scan the object with the scanner, storing the lines of the scanned image in the line buffer until the edge of the page of the object from the side of the scanning head and the coordinates of its two corner vertices are detected in accordance with the parameters and the correction method set in the correction establishment tool;
- вычисляют из данных о форме изгиба страниц, полученных с первого и второго снимков, остальные координаты вершин страниц, длину и ширину страницы, определяют области, в которых присутствуют искажения, и формируют трехмерную модель поверхности объекта со стороны подложки сканера;- calculate from the data on the shape of the bending of the pages obtained from the first and second images, the remaining coordinates of the page vertices, the length and width of the page, determine the areas in which distortions are present, and form a three-dimensional model of the surface of the object from the side of the scanner substrate;
- сканируют объект сканером и корректируют искажения в каждой отсканированной строке изображения в модуле коррекции искажений в соответствии с параметрами и способом коррекции, установленными в средстве установления коррекции, при этом используют данные трехмерной модели сканируемой поверхности;- scan the object with a scanner and correct the distortion in each scanned image line in the distortion correction module in accordance with the parameters and the correction method set in the correction setting means, using data of a three-dimensional model of the scanned surface;
- выводят скорректированное изображение объекта на внешнее устройство.- output the corrected image of the object to an external device.
Для функционирования способа существенно, чтобы во время съемки камерой объекта освещали объект, по меньшей мере, одним осветителем со стороны камеры.For the operation of the method, it is essential that, during shooting by the camera, the object is illuminated with at least one illuminator from the side of the camera.
Для функционирования способа важно, чтобы определяли в модуле коррекции искажений процессора наличие искажений вблизи переплета на снимке объекта первой камерой из памяти данных в соответствии с параметрами, полученными из средства установления коррекции, для этого находили расстояния от подложки до поверхности объекта со стороны подложки для всех столбцов изображения снимка, далее находили максимум в массиве расстояний, который соответствует точке стыка страниц в области переплета, и анализируют характер массива с целью выявления присутствия на изображении раскрытого переплета объекта и соответственно, присутствия искажений вблизи переплета.For the method to function, it is important that the distortion correction module of the processor determines the presence of distortions near the gutter on the object’s image by the first camera from the data memory in accordance with the parameters obtained from the correction adjustment means, for this, find the distances from the substrate to the object surface from the substrate side for all columns image of the image, then we found the maximum in the distance array, which corresponds to the junction of the pages in the binding area, and analyze the nature of the array in order to identify the presence on the image of the open binding of the object and, accordingly, the presence of distortion near the binding.
Для функционирования способа необходимо, чтобы определяли по снимку объекта второй камерой расстояния от подложки до поверхности объекта со стороны подложки для всех столбцов изображения снимка, далее находили максимум в массиве расстояний, который соответствует точке стыка страниц в области переплета.For the method to function, it is necessary that the distance from the substrate to the surface of the object from the side of the substrate for all columns of the image of the image is determined from the image of the object with a second camera, then the maximum in the array of distances is found, which corresponds to the junction of the pages in the binding area.
Для функционирования способа существенно, чтобы определяли данные, характеризующие форму изгиба страниц объекта вблизи переплета, для этого два массива расстояний от подложки до поверхности объекта, полученные со снимков двух боковых камер, преобразовывали в четыре массива координат краев страниц объекта со стороны камер.For the method to function, it is essential that the data characterizing the shape of the bending of the object’s pages near the binding is determined, for this two arrays of distances from the substrate to the surface of the object, obtained from images of two side cameras, were converted into four arrays of coordinates of the edges of the pages of the object from the side of the cameras.
Для функционирования способа необходимо, чтобы преобразовывали массивы координат краев страниц из системы координат изображений, снятых камерами, в систему координат сканера.For the functioning of the method, it is necessary that the arrays of coordinates of the edges of the pages are transformed from the coordinate system of images captured by cameras into the coordinate system of the scanner.
Для функционирования способа целесообразно, чтобы вычисляли размер буфера строк в памяти данных, необходимый для коррекции одной строки сканированного изображения на основе данных о форме изгиба страниц объекта вблизи переплета и координатах точек стыка страниц в области переплета.For the operation of the method, it is advisable to calculate the size of the line buffer in the data memory necessary for the correction of one line of the scanned image based on the data about the shape of the bending of the object’s pages near the binding and the coordinates of the page junction in the binding area.
Для функционирования способа существенно, чтобы поиск края страницы объекта со стороны сканирующей головки и координат двух его угловых вершин включал следующие операции:For the functioning of the method, it is essential that the search for the edge of the page of the object from the side of the scanning head and the coordinates of its two corner vertices include the following operations:
- бинаризирование изображения из буфера строк по пороговому значению яркости, найденному с помощью алгоритма Otsu (James R. Parker, Algorithms for Image Processing and Computer Vision, 1996, John Wiley & Sons) [4];- binarization of the image from the string buffer by the threshold brightness value found using the Otsu algorithm (James R. Parker, Algorithms for Image Processing and Computer Vision, 1996, John Wiley & Sons) [4];
- выделение бинарного объекта и его границы;- selection of a binary object and its border;
- определение координаты резкого изменения функции границы объекта.- determination of the coordinates of a sharp change in the function of the boundary of the object.
Для функционирования способа важно, чтобы вычисляли остальные координаты вершин страниц, длину и ширину страницы, определяют области, в которых присутствуют искажения, а также углы поворота страниц на основе координат вершин края страницы со стороны сканирующей головки и данных о форме изгиба страниц объекта вблизи переплета.For the method to function, it is important that the remaining coordinates of the page vertices, the length and width of the page are calculated, the areas in which there are distortions are determined, as well as the page rotation angles based on the coordinates of the page edge vertices from the side of the scanning head and the data about the shape of the page bend of the object near the binding.
Для функционирования способа существенно, чтобы корректировали искажения в следующем порядке:For the operation of the method, it is essential that corrected distortion in the following order:
- корректировали перспективные искажения,- corrected perspective distortions,
- поворачивали изображения страниц, причем углы поворота для каждой страницы могли различаться,- rotated the images of the pages, and the rotation angles for each page could vary,
- корректировали геометрические искажения, вызванные изгибом страниц,- Corrected geometric distortions caused by bending pages,
- корректировали яркостные искажения.- Corrected the brightness distortion.
Для функционирования способа необходимо, чтобы корректировали в каждой строке отсканированного изображения из буфера памяти данных перспективные искажения независимо от других строк, при этом для коррекции использовали двумерную функцию зависимости смещения проекции точки поверхности объекта от координаты проекции и расстояния до данной точки от подложки сканера, которое вычисляли исходя из трехмерной модели поверхности объекта со стороны подложки.For the method to function, it is necessary that the perspective distortions in each line of the scanned image from the data memory buffer are corrected independently of the other lines, while for the correction, a two-dimensional function of the dependence of the projection of the projection of the surface point of the object on the projection coordinate and the distance to this point from the scanner substrate, which was calculated based on a three-dimensional model of the surface of the object from the side of the substrate.
Для функционирования способа существенно, чтобы двумерную функцию зависимости смещения проекции точки поверхности объекта от координаты проекции и расстояния до данной точки от подложки сканера вычисляли теоретически из характеристик оптической системы сканера или определяли экспериментально в процессе калибровки, которую выполняли однократно для конкретной модели сканера.For the method to function, it is essential that the two-dimensional function of the dependence of the projection of the projection of a point on the surface of the object on the projection coordinate and the distance to a given point on the scanner substrate be calculated theoretically from the characteristics of the scanner optical system or determined experimentally during the calibration process, which was performed once for a specific scanner model.
Для функционирования способа важно, чтобы корректировали поворот страниц, при этом использовали билинейную или бикубическую интерполяцию.For the operation of the method, it is important that the page rotation is adjusted, while using bilinear or bicubic interpolation.
Для функционирования способа существенно, чтобы корректировали геометрические искажения, вызванные изгибом страниц, при этом вычисляли значения расстояния от подложки сканера до поверхности объекта для каждой пары соседних точек двух соседних строк буфера строк, затем на отрезке между данными точками отсчеты выбирают с шагом в единицу длины системы координат сканера, в результате чего определяли координату текущей точки в отсканированном изображении, по которой из изображения путем линейной интерполяции по соседним пикселам вычисляли значения цветовых составляющих RGB текущей точки.For the method to function, it is essential that the geometric distortions caused by the bending of the pages are corrected, while the distance from the scanner substrate to the object surface is calculated for each pair of adjacent points of two adjacent lines of the line buffer, then, in the interval between these points, the samples are selected in increments of a unit length of the system coordinates of the scanner, as a result of which the coordinate of the current point in the scanned image was determined, from which the image was calculated by linear interpolation from neighboring pixels whether the values of the color components of the RGB current point.
Для функционирования способа необходимо, чтобы корректировали яркостные искажения, при этом пиксел изображения из цветовой системы RGB конвертировали в цветовую систему, одна из составляющих которой кодирует яркость, а две другие кодируют цвет, далее корректировали значение яркости, используя функцию зависимости значения яркости скорректированного пиксела от значения яркости исходного пиксела и расстояния от подложки сканера до проецируемой точки на поверхности объекта, затем конвертировали значение пиксела обратно в цветовую систему RGB.For the method to function, it is necessary to correct the brightness distortions, while the image pixel from the RGB color system is converted to a color system, one of the components of which encodes the brightness, and the other two encode the color, then the brightness value is adjusted using the function of the dependence of the brightness of the adjusted pixel on the value brightness of the original pixel and the distance from the scanner substrate to the projected point on the surface of the object, then the pixel value was converted back into a color system in RGB.
Для функционирования способа существенно, чтобы перед выводом изображения на внешнее устройство преобразовывали координаты пикселов скорректированного изображения в координаты внешнего устройства.For the method to function, it is essential that before the image is output to an external device, the coordinates of the pixels of the corrected image are converted into the coordinates of the external device.
Техническим результатом заявленного изобретения является повышение качества коррекции отсканированного изображения, расширение числа типов корректируемых искажений, увеличение точности определения областей искажений, а также уменьшение времени сканирования и копирования.The technical result of the claimed invention is to improve the quality of correction of the scanned image, expanding the number of types of correctable distortions, increasing the accuracy of determining the areas of distortion, as well as reducing the time of scanning and copying.
Для более глубокого понимания заявленного изобретения далее приводится его подробное описание и чертежи.For a deeper understanding of the claimed invention, the following is a detailed description and drawings.
Фиг.1. Блок-схема системы сканирования и копирования согласно изобретению.Figure 1. Block diagram of a scanning and copying system according to the invention.
Фиг.2. Внешний вид системы сканирования и копирования согласно изобретению.Figure 2. The appearance of the scanning and copying system according to the invention.
Фиг.3. Блок-схема основных этапов способа сканирования и копирования согласно изобретению.Figure 3. A block diagram of the main steps of a scanning and copying method according to the invention.
Фиг.4. Сканированное изображение объекта.Figure 4. Scanned image of an object.
Фиг.5. Схема возникновения перспективных искажений в планшетном сканере.Figure 5. Scheme of perspective distortions in a flatbed scanner.
Фиг.6. График яркости фона для страницы объекта вблизи корешка.6. Graph of background brightness for the page of an object near the root.
Фиг.7. Схема боковых сторон объекта в системе координат камер согласно изобретению.7. Scheme of the sides of the object in the coordinate system of the cameras according to the invention.
Фиг.8. Блок-схема этапов анализа изображения боковой стороны объекта согласно изобретению.Fig. 8. A block diagram of the steps for analyzing an image of the side of an object according to the invention.
Фиг.9. Схема страниц объекта в системе координат сканера согласно изобретению.Fig.9. Scheme pages of the object in the coordinate system of the scanner according to the invention.
Фиг.10. Блок-схема этапов коррекции согласно изобретению.Figure 10. The block diagram of the stages of correction according to the invention.
Фиг.11. Изображение шаблона, использовавшегося для оценки перспективных искажений.11. Image of the template used to evaluate perspective distortion.
Фиг.12. График зависимости величины смещения вдоль оси Ys от высоты zc и координаты ys.Fig. 12. Graph of the displacement along the y s axis on the height z c and y s coordinate.
Фиг.13. Блок-схема алгоритма коррекции перспективных искажений согласно изобретению.Fig.13. A block diagram of a perspective distortion correction algorithm according to the invention.
Фиг.14. Блок-схема алгоритма коррекции геометрических и яркостных искажений, вызванных изгибом страниц, согласно изобретению.Fig.14. A block diagram of an algorithm for correcting geometric and luminance distortions caused by bending pages according to the invention.
Фиг.15. Пример коррекции с рядом упрощений изложенного алгоритма.Fig.15. An example of correction with a number of simplifications of the described algorithm.
На Фиг.1 показана блок-схема системы сканирования и копирования согласно изобретению. Система сканирования и копирования содержит сканер 1, первую камеру 2, вторую камеру 3, процессор 4, содержащий модуль 5 коррекции изображений, память 6 данных, память 7 программ, содержащую средство 8 установления коррекции, внешнее устройство 9 и шину 10 данных. Работа системы управляется процессором 4. Камеры 2 и 3 расположены на противоположных друг другу боковых сторонах сканера 1, напротив линии изгиба объекта в переплете, а объективы камер расположены с боковой стороны объекта, непосредственно напротив торца переплета. При этом камера 2 и камера 3 выполнены с возможностью получения снимка объекта в области изгиба страниц вблизи переплета. Средство 8 установления коррекции выполнено с возможностью установления параметров и способа коррекции изображения. Модуль 5 коррекции искажений выполнен с возможностью анализа снимка объекта и коррекции искажений отсканированного изображения объекта. Обмен данными между сканером 1, камерой 2 и камерой 3, процессором 4, памятью 6 данных, памятью 7 программ и внешним устройством 9 осуществляется по шине 10 данных. При сканировании обработка выполняется для буфера из нескольких строк изображения.Figure 1 shows a block diagram of a scanning and copying system according to the invention. The scanning and copying system comprises a
Фиг.2 иллюстрирует возможный вариант внешнего вида системы сканирования и копирования и показывает взаимное расположение подложки 11, камеры 2, камеры 3 и объекта 12. Объект 12 сканирования располагают на подложке 11 планшетного сканера 1 в развернутом виде страницами вниз, а страницы объекта 12 прижаты к подложке 11. Причем объект 12 располагают на подложке 11 торцом переплета напротив метки 13 на корпусе сканера 1, а страницы объекта 12 расположены параллельно границам подложки 11. Для облегчения позиционирования на границы подложки 11 и на корпус сканера 1 наносят метки 13 или используют ограничители. На противоположных друг другу боковых сторонах сканера 1, напротив линии изгиба объекта в переплете расположены камеры 2 и 3, а объективы камер расположены с боковых сторон объекта, непосредственно напротив торца переплета. В данном варианте системы камеры 2 и 3 являются черно-белыми или цветными цифровыми камерами низкого разрешения, а сканер 1 является традиционным планшетным сканером с системой зеркал, объективом и ПЗС-матрицей. Поле зрения камеры 2 и камеры 3 таково, чтобы вся область изгиба страниц вблизи переплета объекта 11 с каждой боковой стороны попадала на снимки камер 2 и 3. Размер снимка камер по горизонтали 10-12 см достаточен для книг и аналогичных переплетенных объектов до формата A3. Угол наклона камеры 2 и камеры 3 к плоскости подложки 11 сканера 1 устанавливается в диапазоне от 0 до 60 градусов и зависит от оптической системы камер и дизайна внешнего вида системы в целом. Объективы камеры 2 и камеры 3 расположены с боковых сторон объекта вдоль линии переплета. Камеры 2 и 3 могут быть встроены в корпус сканера 1 или подсоединяться на момент сканирования.Figure 2 illustrates a possible variant of the appearance of the scanning and copying system and shows the relative position of the
Важно отметить, что использование камер 2 и 3 является естественным способом для оценки трехмерной модели поверхности изогнутых страниц объекта 12 вблизи переплета. Далее будет показано, что данное техническое решение позволяет получать трехмерную карту (модель) сканируемой поверхности объекта, а также определять и корректировать геометрические и яркостные искажения отсканированного изображения объекта вблизи переплета путем определения и обработки данных трехмерной карты (модели) сканируемой поверхности, характеризующих форму изгиба страниц объекта вблизи переплета.It is important to note that the use of
На боковых сторонах сканера 1, рядом с камерами 2 и 3 расположены боковые осветители 14 и 15 камеры 2 и камеры 3 соответственно, которые включают во время съемки объекта 12 камерой 2 или камерой 3 и создают освещение такое, что каждая боковая часть объекта 12 освещается, а остальная часть остается темной или наоборот. Сканирующая головка 16 сканера 1 движется вдоль оси Xs параллельно подложке 11 сканера 1. Сверху объект 12, расположенный на подложке 11, накрывают крышкой 17 для прижатия объекта 12 к подложке 11 сканера 1. Скорректированное отсканированное изображение объекта 12 выводят на внешнее устройство 9, которым в данном варианте системы является принтер, встроенный в корпус сканера 1. На Фиг.1 показан выходной лоток 18 печатающего устройства.On the sides of the
На Фиг.1 также обозначены системы координат, используемые в описании ниже:Figure 1 also indicates the coordinate system used in the description below:
XsYsZs - система координат сканированного изображения объекта;X s Y s Z s - coordinate system of the scanned image of the object;
XcZc - система координат изображений боковых сторон объекта, снятых камерами;X c Z c - coordinate system of images of the lateral sides of the object captured by cameras;
XpYp - система координат напечатанного скорректированного изображения объекта.X p Y p is the coordinate system of the printed corrected image of the object.
На Фиг.3 приведена блок-схема основных этапов способа сканирования и копирования объектов в переплете согласно изобретению. Сначала ориентируют объект 12 на подложке 11 сканера 1, закрывают крышку 17 сканера 1 и дают команду на копирование объекта 12, после чего включают боковой осветитель 14 камеры 2, снимают камерой 2 объект 12, при этом получают первый снимок объекта 12 с первой боковой стороны (шаг 1). Сохраняют полученный первый снимок объекта в памяти данных 6. Определяют в модуле 5 коррекции искажений процессора 4 наличие искажений вблизи переплета на первом снимке объекта 12 из памяти 6 данных в соответствии с параметрами, полученными из средства 8 установления коррекции, при этом определяют наличие зазора между объектом 12 и подложкой 11 и форму изгиба страниц вблизи переплета (шаг 2). В случае, если объект 12 не имеет искажений вблизи переплета, сканируют объект 12 сканером 1 без коррекции искажений (шаг 3) и выводят изображение объекта на внешнее устройство 10 (шаг 4). В случае если объект 12 имеет искажения вблизи переплета, определяют из первого снимка и сохраняют в памяти данных 6 данные, характеризующие форму изгиба страниц объекта 12 вблизи переплета с первой боковой стороны (шаг 3). Включают боковой осветитель 15 камеры 3 и снимают камерой 3 объект 12, при этом получают второй снимок объекта со второй боковой стороны (шаг 5). Определяют из второго снимка и сохраняют в памяти 6 данных данные, характеризующие форму изгиба страниц объекта 12 вблизи переплета со второй боковой стороны (шаг 6).Figure 3 shows a block diagram of the main steps of the method of scanning and copying objects in binding according to the invention. First, they orient the object 12 on the
На основании данных, характеризующих форму изгиба страниц объекта вблизи переплета с первой и второй боковых сторон, вычисляют размер буфера строк Nr - число соседних сканированных строк изображения объекта, которые необходимо накопить и сохранить в памяти данных для того, чтобы скорректировать одну строку изображения объекта. При отсутствии глобального скоса и относительного разворота страниц Nr равно 2.Based on the data characterizing the shape of the bent pages of the object near the binding on the first and second sides, the line buffer size N r is calculated - the number of neighboring scanned lines of the image of the object that must be accumulated and stored in the data memory in order to correct one line of the image of the object. In the absence of a global bevel and a relative page turn, N r is 2.
Далее (шаг 7) объект сканируют, накапливая в буфере строки сканированного изображения. Эти строки анализируются с целью нахождения края страницы и координат двух угловых вершин, по которым с помощью данных об изгибе вычисляют координаты вершин страниц, длину и ширину страницы, определяют области, в которых присутствуют искажения.Next (step 7), the object is scanned, accumulating lines of the scanned image in the buffer. These lines are analyzed in order to find the edge of the page and the coordinates of two corner vertices, which are used to calculate the coordinates of the page vertices, the length and width of the page using bending data, and determine areas in which distortions are present.
Сканируют объект 12 сканером 1, при этом корректируют искажения в модуле 5 коррекции искажений в соответствии с параметрами и способом коррекции, установленными в средстве 8 установления коррекции, при этом используют данные трехмерной модели сканируемой поверхности (шаг 8). Выводят скорректированное отсканированное изображение объекта 12 на внешнее устройство 10 (шаг 4).The object 12 is scanned by the
Заявленный способ копирования и сканирования может применяться для коррекции искажений, которым подвержено изображение сканируемого объекта, например книги, положение которой отображено на Фиг.1.The claimed method of copying and scanning can be used to correct distortions that affect the image of the scanned object, such as a book, the position of which is displayed in Figure 1.
Фиг.4 демонстрирует один из вариантов сканированного изображения объекта в системе координат XsYs с введенными условными обозначениями. Для облегчения восприятия обозначений темный фон изображения удален.Figure 4 shows one of the variants of the scanned image of the object in the coordinate system X s Y s with the introduced symbols. To facilitate the perception of signs, the dark background of the image is removed.
В общем случае, объект может быть ориентирован непараллельно границам стекла сканера, т.е. иметь глобальный скос. Тогда угол между прямой, проходящей через точки CD, и осью Ys не будет равен нулю. Из-за неравномерного прижатия объекта крышкой сканера и разной высоты переплета с противоположных сторон объекта возможен относительный разворот страниц объекта. В общем случае углы разворота каждой страницы относительно переплета могут различаться. Далее, говоря об относительном угле поворота страниц, для страницы А будем иметь ввиду угол между прямыми, проходящими через точки CD и EF, а для страницы В - угол между прямыми, проходящими через точки CD и GH.In general, an object can be oriented parallel to the boundaries of the scanner glass, i.e. have a global bevel. Then the angle between the line passing through the points CD and the axis Y s will not be zero. Due to the uneven pressing of the object by the scanner lid and the different binding height from opposite sides of the object, a relative page turn of the object is possible. In the general case, the page turning angles relative to the binding may vary. Further, speaking about the relative angle of rotation of the pages, for page A we will mean the angle between the lines passing through the points CD and EF, and for page B the angle between the lines passing through the points CD and GH.
Вдоль линии сканирования, задаваемой головкой сканирования, т.е. вдоль оси Ys, возникают перспективные искажения, которые выражаются в смещении изображений участков объекта, отстоящих от стекла сканера (т.е. имеющих Zs, не равное нулю), ближе к центру сканирующей головки (показана на Фиг.4 штриховой линией) и, соответственно, уменьшения размера этих участков вдоль оси Ys. Причиной перспективных искажений являются особенности устройства планшетных сканеров, поясняемые ниже.Along the scan line defined by the scan head, i.e. along the Y s axis, perspective distortions occur, which are expressed in the displacement of images of parts of the object that are spaced apart from the scanner glass (that is, having Z s not equal to zero) closer to the center of the scanning head (shown by a dashed line in FIG. 4) and , respectively, reducing the size of these sections along the Y s axis. The cause of promising distortion is the features of the device flatbed scanners, explained below.
На Фиг.5 дается упрощенное представление процедуры сканирования, осуществляемой планшетным сканером, с пояснением характера возникающих перспективных искажений в выбранной системе координат. Источник 19 света облучает поверхность объекта, неплотно прижатого к подложке 11 сканера, вследствие чего образуется изгиб 20 поверхности. Наблюдаемое вдоль некоторой выбранной линии 21 сканирования излучение отражается зеркалом 22 и после прохождения через линзовую систему 23 регистрируется ПЗС-матрицей 24 прибора. В идеальном случае регистрации подлежит лишь излучение, сосредоточенное в плоскости 25 сканирования. В реальных же условиях итоговое изображение оказывается подверженным влиянию следующих факторов:Figure 5 gives a simplified representation of the scanning procedure carried out by the flatbed scanner, with an explanation of the nature of the emerging perspective distortions in the selected coordinate system. A
а) проксимальный характер излучения, т.е. источник 19 света располагается в непосредственной близости от подложки 11 сканера, что влечет за собой зависимость результирующей световой интенсивности от угла наклона поверхности страницы;a) the proximal nature of the radiation, i.e. the
б) переотражение, т.е. луч света, отраженный от одной страницы объекта, претерпевает отражение от другой страницы;b) rereflection, i.e. a ray of light reflected from one page of an object undergoes reflection from another page;
в) источник света находится в движении в процессе сканирования;c) the light source is in motion during the scanning process;
г) нарушение диффузного характера отражения поверхностью объекта;d) violation of the diffuse nature of reflection by the surface of the object;
д) неоднородность альбедо по поверхности объекта.e) albedo heterogeneity over the surface of the object.
Вышеназванные факторы существенно затрудняют восстановление трехмерного профиля страницы 405 лишь на основании данных о распределении яркости в обрабатываемом изображении.The above factors significantly complicate the restoration of the three-dimensional profile of the page 405 only on the basis of data on the distribution of brightness in the processed image.
Перспективные искажения, изображенные на чертеже в форме проекционных линий, соединяющих точки на плоскости сканирования с фокусирующей линзой, выражаются в смещении изображений участков объекта, отстоящих от стекла сканера ближе к центру сканирующей головки. Проекционные линии показаны на Фиг.5 в упрощенной форме, минуя зеркальный отражатель. Чем дальше фрагмент поверхности объекта отстоит от стекла сканера, тем сильнее он смещается к центру. У боковых сторон сканера эффект смещения наибольший, в центре смещение отсутствует (соответствует схематически различным проекционным точкам на поверхности линзы).The perspective distortions shown in the drawing in the form of projection lines connecting the points on the scanning plane with the focusing lens are expressed in the displacement of the images of the areas of the object that are closer to the center of the scanning head from the scanner glass. The projection lines are shown in FIG. 5 in a simplified form, bypassing the mirror reflector. The farther away a fragment of the object’s surface is from the scanner glass, the more it shifts toward the center. The displacement effect is greatest on the sides of the scanner, there is no displacement in the center (corresponds to schematically different projection points on the lens surface).
Причиной геометрических искажений вдоль оси Xs является то, что изображение изогнутой трехмерной модели поверхности страницы объекта проецируется на плоскость подложки сканера.The reason for geometric distortion along the X s axis is that the image of a curved three-dimensional model of the page surface of the object is projected onto the plane of the scanner substrate.
В общем случае характер яркостных и цветовых искажений в области изгиба страницы имеет сложный характер, определяемый многими факторами. Типичным эффектом является затемнение изображения (образования тени) вблизи переплета объекта. График яркости фона страницы объекта для этой области (вдоль отрезка OR с Фиг.5) показан на Фиг.6.In the general case, the nature of the brightness and color distortions in the bending area of the page has a complex character, determined by many factors. A typical effect is the darkening of the image (shadow formation) near the binding of the object. The graph of the brightness of the background page of the object for this area (along the segment OR from Fig.5) is shown in Fig.6.
Заметим, что скос и относительный поворот могут как присутствовать, так и отсутствовать в зависимости от позиционирования объекта на подложке сканера. Остальные 3 типа искажений имеют место всегда.Note that the bevel and relative rotation can be either present or absent depending on the positioning of the object on the scanner substrate. The remaining 3 types of distortion always occur.
Фиг.7 демонстрирует пространственное представление сканируемого объекта в системе координат XsYsZs с введенными условными обозначениями. Схематически представлен случай, когда передняя торцевая часть объекта в области переплета, регистрируемая второй камерой, прижата более плотно к стеклу сканера, чем задняя торцевая часть объекта в области переплета, регистрируемая первой камерой.Fig.7 shows a spatial representation of the scanned object in the coordinate system X s Y s Z s with the introduced symbols. The case is shown schematically when the front end part of the object in the binding area recorded by the second camera is pressed more tightly to the scanner glass than the rear end part of the object in the binding area recorded by the first camera.
На Фиг.8 приведена блок-схема этапов определения из первого снимка первой камеры данных, характеризующих форму изгиба страниц объекта вблизи переплета. В блок-схеме используются обозначения с Фиг.7.On Fig shows a flowchart of the steps of determining from the first picture of the first camera data characterizing the shape of the bending pages of the object near the binding. The notation of FIG. 7 is used in the block diagram.
На этапе 1 для всех {x1c(i)} определяется массив расстояний {h1(i)} от zс=0 (подложка сканера) до страниц объекта для всех столбцов изображения первого снимка. В результате получается массив пар точек {x1c(i), h1(i)}. Определяется координата точки стыка страниц x1с0, соответствующая максимуму массива расстояний (этап 2):At
Анализируется характер массива {x1c(i), h1(i)} слева и справа от xlc0 и делается заключение о том, изображен ли раскрытый переплет объекта и, соответственно, присутствуют ли на анализируемом изображении искажения вблизи переплета (этап 3). Если условие "Искажения вблизи области переплета обнаружены" ложно, то коррекция отменяется (этап 7). Иначе массив {x1c(i), h1(i)} преобразуется в два массива координат краев страниц {x1ca(j), z1ca(j)} и {x1cb(j), z1cb(i)}, как показано на Фиг.7 (этап 5). Массивы координат краев страниц сохраняются в памяти данных и на этапе коррекции используются для восстановления трехмерной модели поверхности объекта со стороны подложки сканера. На этапе 6 массивы координат {x1ca(j), z1ca(j)} и {x1cb(j), z1cb(j)} преобразуются в систему координат сканера:The character of the array {x1 c (i), h1 (i)} to the left and to the right of xl c0 is analyzed and a conclusion is made whether the open binding of the object is depicted and, accordingly, whether distortions near the binding are present in the analyzed image (step 3). If the condition "Distortion near the binding area is detected" is false, then the correction is canceled (step 7). Otherwise, the array {x1 c (i), h1 (i)} is transformed into two arrays of coordinates of the edges of the pages {x1 ca (j), z1 ca (j)} and {x1 cb (j), z1 cb (i)}, as shown in Fig. 7 (step 5). Arrays of coordinates of the edges of the pages are stored in the data memory and at the correction stage are used to restore a three-dimensional model of the surface of the object from the side of the scanner substrate. At
где а согласует разрешение камеры и сканера по оси X; d согласует разрешение камеры и сканера по оси Z, а также учитывает угол наклона камеры к горизонтали; tx переносит начало системы координат. В результате получаются массивы координат {x1sa(j), z1sa(j)} из n1 элементов для страницы А и {x1sb(j), z1sb(j)} из ml элементов для страницы В, определяющие форму изгиба страниц объекта с первой боковой стороны объекта.where a agrees the resolution of the camera and scanner along the X axis; d coordinates the resolution of the camera and scanner along the Z axis, and also takes into account the angle of inclination of the camera to the horizontal; tx transfers the origin of the coordinate system. The result is an array of coordinates {x1 sa (j), z1 sa (j)} of n1 elements for page A and {x1 sb (j), z1 sb (j)} of ml elements for page B, which determine the form of bending of the object’s pages from the first side of the object.
Определение данных, характеризующих форму изгиба страниц объекта вблизи переплета из второго снимка второй камеры, производят в целом аналогично, но исключается условие "искажения вблизи области переплета обнаружены" и, соответственно, этап 7. Имеется в виду, что за этапом 3 выполняется сразу этап 5, и координаты х1 и z1 заменяются на координаты х2 и z2 в соответствии с обозначениями с Фиг.7. В результате получаются массивы координат {x2sa(j), z2sa(j)} из n2 элементов для страницы А и {x2sb(j), z2sb(j)} из m2 элементов для страницы В, определяющие форму изгиба страниц объекта вблизи переплета со второй боковой стороны. Следует отметить, что на снимках первой и второй камер страницы А и В меняются местами, т.е. если страница А на снимке первой камеры расположена слева, то на снимке второй камеры она будет расположена справа.The data characterizing the shape of the bending of the object’s pages near the binding from the second picture of the second camera is generally determined in the same way, but the condition “distortions near the binding area are detected” and, accordingly,
По значениям массивов координат {x1sa(j), z1sa(j)}, {x1sb(j), z1sb(j)}, {x2sa(j), z2sa(j)}, {x2sb(j), z2sb(j)} определяется присутствие или отсутствие глобального скоса объекта на стекле сканера и относительного разворота страниц. Если x1sa(1)и x2sa(1) не совпадают, то присутствует скос.By the values of the coordinate arrays {x1 sa (j), z1 sa (j)}, {x1 sb (j), z1 sb (j)}, {x2 sa (j), z2 sa (j)}, {x2 sb ( j), z2 sb (j)} determines the presence or absence of the global bevel of the object on the scanner glass and the relative page turn. If x1 sa (1) and x2 sa (1) do not match, then a bevel is present.
Для определения присутствия или отсутствия относительного разворота страниц требуется вычислить разности длин изогнутой части страницы и ее проекции для противоположной стороны страницы. Для восстановления кривой изгиба страниц объекта используется кусочно-линейная интерполяция по массивам координат.To determine the presence or absence of a relative page turn, it is necessary to calculate the difference in the lengths of the curved part of the page and its projection for the opposite side of the page. To restore the curve of the bend of the pages of the object, piecewise linear interpolation using coordinate arrays is used.
Длина изогнутой части страницы со стороны первой камеры L1a.The length of the curved part of the page from the side of the first camera L1 a .
Аналогично вычисляются длины изгибов L2a, L1b, L2b.The lengths of bends L2 a , L1 b , L2 b are calculated similarly.
Величина DLa определяет разницу длин проекций противоположных сторон страницы А (со стороны камер) на плоскость сканера:The value of DL a determines the difference in the projection lengths of the opposite sides of page A (from the cameras) on the scanner plane:
Если DLa не равно нулю, то существует ненулевой угол между прямыми CD и EF с Фиг.4, т.е. разворот имеет место. Аналогично для страницы В может быть вычислена величина DLb, и сделан вывод об относительном развороте страниц.If DL a is not equal to zero, then there is a nonzero angle between the direct CD and EF of FIG. 4, i.e. U-turn takes place. Similarly, for page B, the value of DL b can be calculated, and a conclusion is made about the relative page turn.
Найденных величин достаточно для того, чтобы определить Nr размер буфера строк в памяти данных для коррекции всех перечисленных типов искажений в процессе сканирования:The found values are sufficient to determine N r the size of the string buffer in the data memory to correct all of the above types of distortions during the scan:
где функция max определяет максимальный из аргументов, функция abs вычисляет абсолютное значение аргумента. Если повороты отсутствуют, то буфер состоит из двух строк, так как это минимальная величина, необходимая для коррекции геометрических искажений, вызванных изгибом страницы, а перспективные искажения, в этом случае, могут корректироваться независимо для каждой строки.where the max function determines the maximum of the arguments, the abs function calculates the absolute value of the argument. If there are no turns, then the buffer consists of two lines, since this is the minimum value necessary for correcting geometric distortions caused by page bending, and perspective distortions, in this case, can be adjusted independently for each line.
Далее сканируется Nr строк, и в отсканированной полосе изображения (буфере) осуществляется поиск края страницы объекта со стороны сканирующей головки с целью определения координат точек F и Е с Фиг.9. Если в буфере точки F и Е не обнаружены, то буфер сдвигается по изображению объекта на одну строку. Обработка изображения в буфере основана на том, что фон - темный, а сканируемый объект - светлый. Это значит, что гистограмма яркости изображения имеет бимодальный характер, т.е. для разделения (бинаризации) пикселов на фон и объект может быть использовано пороговое ограничение по яркости. Порог определяется по алгоритму Otsu [4]. После выделения бинарного объекта определяют координаты резкого изменения функции границы объекта. Данные координаты являются точками F и Е (координаты (xf, yf) и (хе, уе) соответственно).Next, N r lines are scanned, and in the scanned image strip (buffer), the page edge of the object is searched from the side of the scanning head in order to determine the coordinates of points F and E of FIG. 9. If points F and E are not found in the buffer, then the buffer is shifted by one line in the image of the object. Processing of the image in the buffer is based on the fact that the background is dark and the scanned object is light. This means that the image brightness histogram has a bimodal character, i.e. to separate (binarize) the pixels into background and object, a threshold brightness limit can be used. The threshold is determined by the Otsu algorithm [4]. After the binary object is selected, the coordinates of the sharp change in the function of the object boundary are determined. These coordinates are points F and E (coordinates (x f , y f ) and (x e , y e ), respectively).
Вычисляются остальные координаты вершин страниц, длина и ширина страницы, определяются области, в которых присутствуют искажения, а также углы поворота страниц на основе координат вершин края страницы со стороны сканирующей головки и данных о форме изгиба страниц объекта вблизи переплета. Схема объекта на подложке сканера показана на Фиг.9.The remaining coordinates of the page vertices, the length and width of the page are calculated, the areas in which there are distortions are determined, as well as the angles of rotation of the pages based on the coordinates of the vertices of the page edge from the side of the scanning head and data about the shape of the bending of the pages of the object near the binding. A diagram of the object on the scanner substrate is shown in Fig.9.
Длина страницы L полагается равной длине отрезка FE:The page length L is assumed to be equal to the length of the segment FE:
В общем случае высоты переплета с разных сторон объекта z1sa(1) и z2sa(1) не равны, т.е. имеет место наклон переплета по отношению к плоскости подложки сканера. Тогда длина отрезка CD, являющегося проекцией отрезка длины L на плоскость подложки сканера, L*:In the general case, the binding heights from different sides of the object z1 sa (1) and z2 sa (1) are not equal, i.e. there is a tilt of the binding with respect to the plane of the substrate of the scanner. Then the length of the segment CD, which is the projection of the segment of length L onto the plane of the scanner substrate, L * :
В общем случае, прямые FK и KD, а также прямые ЕР и PC, DT и ТН, CU и UG, строго говоря, не параллельны. Однако, учитывая то обстоятельство, что величина (z1sa(1)-z2sa(1)) на порядок или более меньше L, этим обстоятельством можно пренебречь. В дальнейших вычислениях перечисленные пары прямых полагаются параллельными.In the general case, the lines FK and KD, as well as the lines EP and PC, DT and TH, CU and UG, strictly speaking, are not parallel. However, taking into account the fact that the quantity (z1 sa (1) -z2 sa (1)) is an order of magnitude or more less than L, this circumstance can be neglected. In further calculations, the listed pairs of lines are assumed to be parallel.
Точка С расположена на пересечении прямой, перпендикулярной прямой FE и проходящей через Е, и прямой, параллельной оси Ys и проходящей через x2sa(1):Point C is located at the intersection of a line perpendicular to the line FE and passing through E, and a line parallel to the axis Y s and passing through x2 sa (1):
Точка D расположена на пересечении прямой, перпендикулярной прямой FE и проходящей через D, и прямой, параллельной оси Ys и проходящей через x1sa(1):Point D is located at the intersection of a line perpendicular to the line FE and passing through D, and a line parallel to the axis Y s and passing through x1 sa (1):
Аналогично вычисляются координаты точек Р и К.Similarly, the coordinates of the points P and K.
Угол α поворота страницы А по отношению к оси Ys:The rotation angle α of page A with respect to the axis Y s :
Для коррекции как глобального скоса, так и эффекта относительного разворота страниц все пикселы страницы А должны быть повернуты на угол α против часовой стрелки.To correct both the global bevel and the effect of relative page turn, all the pixels of page A should be rotated by an angle α counterclockwise.
Из координат точек FK и ЕР, а также по значениям массивов координат {x1sa(j), z1sa(j)} и {x2sa(j), z2sa(j)}, можно оценить ширину страницы W:From the coordinates of the points FK and EP, as well as from the values of the coordinate arrays {x1 sa (j), z1 sa (j)} and {x2 sa (j), z2 sa (j)}, we can estimate the page width W:
Длина отрезка CQ приблизительно равна DLb. Тогда угол φ поворота страницы В по отношению к оси Ys:The length of the segment CQ is approximately equal to DL b . Then the rotation angle φ of page B with respect to the axis Y s :
Координаты точек U и Т находятся следующим образом:The coordinates of the points U and T are as follows:
Координаты точек G и Н:The coordinates of points G and H:
Для коррекции как глобального скоса, так и эффекта относительного разворота страниц все пикселы страницы В должны быть повернуты на угол φ по часовой стрелке.To correct both the global bevel and the effect of relative page rotation, all the pixels of page B should be rotated clockwise at an angle φ.
Каждая страница разбивается на 2 области. На Фиг.9 данные области обозначены римскими цифрами: I и II для страницы А, III и IV для страницы В. Пикселы каждой области корректируются особым образом. В областях I и IV требуется только поворот. В областях II и III требуется построение трехмерной поверхности объекта и на ее основе проведение коррекции перспективных искажений, геометрических искажений из-за изгиба поверхности, яркостных искажений и поворота.Each page is divided into 2 areas. In Fig. 9, these regions are indicated by Roman numerals: I and II for page A, III and IV for page B. The pixels of each region are adjusted in a special way. In areas I and IV, only a turn is required. In regions II and III, it is necessary to construct a three-dimensional surface of the object and, on its basis, carry out the correction of perspective distortions, geometric distortions due to surface bending, brightness distortions and rotation.
Последовательность коррекции различных искажений приведена на Фиг.10.The sequence of correction of various distortions is shown in Fig.10.
Первыми корректируются перспективные искажения. Затем страницы А и В поворачиваются на углы α и φ соответственно. Далее корректируются геометрические искажения, вызванные изгибом страниц. На последнем этапе корректируются яркостные искажения.The first to correct perspective distortion. Then pages A and B are rotated by angles α and φ, respectively. Next, geometric distortions caused by bending pages are corrected. At the last stage, the brightness distortions are corrected.
Перспективные искажения выражаются в смещении изображений участков объекта, отстоящих от подложки сканера ближе к центру сканирующей головки (показана на Фиг.9 штриховой линией) и уменьшения размера этих участков вдоль оси Ys. Чем дальше фрагмент поверхности объекта отстоит от подложки сканера, тем сильнее он смещается к центру. У боковых сторон сканера эффект смещения наибольший, в центре смещение отсутствует. Смещение dy проекции точки поверхности вдоль оси Ys является двумерной функцией, зависящей от координаты проекции ys и расстояния от точки поверхности до подложки сканера zs:Perspective distortions are expressed in the displacement portions of images of the object spaced from the substrate closer to the center of the scanner scanning head (shown in Figure 9 by the dashed line), and reduce the size of these portions along the axis Y s. The farther away the object surface fragment is from the scanner substrate, the more it moves toward the center. On the sides of the scanner, the effect of displacement is greatest, there is no displacement in the center. The offset dy of the projection of the surface point along the Y s axis is a two-dimensional function depending on the projection coordinate y s and the distance from the surface point to the scanner substrate z s :
Значения этой функции могут различаться для различных моделей сканеров. Вид функции может быть вычислен теоретически из характеристик оптической системы сканера или получен экспериментально в процессе калибровки, которая однократно выполняется для модели сканера. На Фиг.11 показано сканированное изображение регулярной сетки, ориентированной к плоскости сканера под углом в 5 градусов, полученное для многофункционального периферийного устройства (MFP) Samsung 5312. Это изображение использовано для калибровки, и вид функции fd показан на Фиг.12.The values of this function may vary for different scanner models. The type of function can be calculated theoretically from the characteristics of the optical system of the scanner or obtained experimentally in the calibration process, which is performed once for the scanner model. Figure 11 shows a scanned image of a regular grid oriented to the plane of the scanner at an angle of 5 degrees, obtained for the Samsung 5312 multifunction peripheral device (MFP). This image is used for calibration, and the function f d is shown in Figure 12.
Для коррекции перспективных искажений необходимо вычислить высоту каждой точки изображения от подложки сканера. Высота zS произвольной точки (xs, ys), принадлежащей области II, может быть вычислена следующим образом (обозначения см. Фиг.9):To correct perspective distortions, it is necessary to calculate the height of each image point from the scanner substrate. The height z S of an arbitrary point (x s , y s ) belonging to region II can be calculated as follows (for the notation, see Fig. 9):
- через точку (хS, ys) параллельно ЕС проводится прямая, и определяются точки- a straight line is drawn through the point (x S , y s ) in parallel with the EU, and the points are determined
(х1, у1) и (х2, y2) пересечения с отрезками КР и DC соответственно;(x 1 , y 1 ) and (x 2 , y 2 ) intersections with segments of CD and DC, respectively;
- вычисляется dt:- dt is calculated:
- на отрезках KD и PC определяются координаты (x3, у3) и (х4, у4):- on the segments KD and PC, the coordinates (x 3 , y 3 ) and (x 4 , y 4 ) are determined:
заметим, что точка (xs, ys) также лежит на прямой, проходящей через точки (x3, y3) и (x4, y4);note that the point (x s , y s ) also lies on a line passing through the points (x 3 , y 3 ) and (x 4 , y 4 );
- для массива {x1sa(j), z1sa(j)} определяется минимальный индекс k1, такой что:- for the array {x1 sa (j), z1 sa (j)}, the minimum index k1 is determined such that:
тогда:then:
- для массива {x2sa(j), z2sa(j)} определяется минимальный индекс k2, такой что:- for the array {x2 sa (j), z2 sa (j)}, the minimum index k2 is determined such that:
тогда:then:
- высота zs:- height z s :
Алгоритм определения высоты произвольной точки, принадлежащей области III, в целом аналогичен.The algorithm for determining the height of an arbitrary point belonging to region III is generally similar.
Алгоритм коррекции перспективных искажений производится независимо для каждой отсканированной строки изображения из N пикселов (Фиг.13). На шаге 1301 осуществляется начальная инициализация i, которая соответствует координате ys в сканированной строке. Шаги 1302,1303 и условие 1304 служат для нахождения отрезка, на протяжении которого высота изменяется незначительно (меньше порога Th). Для определения высоты используются соотношения (18)-(25), приведенные выше. Когда отрезок обнаружен или достигнут конец сканированной строки (условие 1304), то с помощью функции dy=fd(ys, zs) определяются смещения начала и конца отрезка в результате перспективных искажений (шаг 1305). Далее RGB значения пикселов сканированной строки из искаженного отрезка с помощью линейной интерполяции корректируются в значения R1G1B1 скорректированного отрезка (шаги 1308, 1309, 1310 и условие 1307). Функция floor берет целую часть аргумента. Алгоритм заканчивает свою работу, когда достигнут конец строки (условие 1311).The perspective distortion correction algorithm is performed independently for each scanned image line of N pixels (Fig. 13). At
Для коррекции поворота используется билинейная интерполяция. Координаты корректируемой точки изображения (xs', ys') умножаются на обратную матрицу поворота с целью нахождения соответствующих координат (xs, ys) на исходном изображении (имеется в виду изображение, для которого скорректированы перспективные искажения):To correct the rotation, bilinear interpolation is used. The coordinates of the corrected image point (x s ', y s ') are multiplied by the inverse rotation matrix in order to find the corresponding coordinates (x s , y s ) on the original image (this means the image for which the perspective distortions are corrected):
Приведенные формулы являются корректными для поворота против часовой стрелки. Помимо билинейной интерполяции возможно также использование бикубической интерполяции.The above formulas are correct for counterclockwise rotation. In addition to bilinear interpolation, it is also possible to use bicubic interpolation.
Обозначение R1G1B1(x, у) означает, что вычисления применяются отдельно к каждому каналу цвета RGB.The designation R 1 G 1 B 1 (x, y) means that the calculations are applied separately to each channel of the RGB color.
После поворота отрезок прямой, проходящей через точки (x1, y1) и (x2, y2), будет параллелен Xs. Пользуясь соотношениями для вычисления высоты (18)-(25) с учетом поворота координат, для каждого значения ys вычисляются значения высот (расстояний от подложки сканера до поверхности объекта) zs и zs1 для точек (ys, xs) иAfter rotation, the line segment passing through the points (x 1 , y 1 ) and (x 2 , y 2 ) will be parallel to X s . Using relations for calculating the heights (18) - (25) taking into account the rotation of coordinates, for each value of y s, heights (distances from the scanner substrate to the surface of the object) z s and z s1 for points (y s , x s ) and
(ys, xs+1) двух соседних строк буфера. Далее на отрезке между данными точками отсчеты выбираются с шагом в единицу длины системы координат сканера, в результате чего определяется соответствующая координата 
Текущие координаты отсчетов 
где t=0 в начале отрезка (точка (xs, zs)), t=1 в конце отрезка (точка (xs+1, zs1), шаг изменения t:where t = 0 at the beginning of the segment (point (x s , z s )), t = 1 at the end of the segment (point (x s +1, z s1 ), step t:
В общем случае характер яркостных и цветовых искажений в области изгиба страницы имеет сложный характер, определяемый многими факторами. Типичным эффектом является затемнение изображения (образования тени) вблизи переплета объекта. Экспериментально удалось установить, что существует усредненная зависимость яркости искаженного пиксела от яркости исходного пиксела и расстояния до проецируемой точки на странице от подложки сканера. Далее эта зависимость преобразуется в функцию, учитывающую также и разрешение сканирования:In the general case, the nature of the brightness and color distortions in the bending area of the page has a complex character, determined by many factors. A typical effect is the darkening of the image (shadow formation) near the binding of the object. It was experimentally found that there is an average dependence of the brightness of the distorted pixel on the brightness of the original pixel and the distance to the projected point on the page from the scanner substrate. Next, this dependence is converted into a function that also takes into account the resolution of the scan:
где Y'(x, у) - яркость скорректированного пиксела, 
Одним из простейших вариантов fb может служить следующая функция:One of the simplest options f b can be the following function:
где значения яркости нормированы в диапазон [0, 1], а функция измерена для разрешения 200dpi и определенной модели сканера. Для каждой конкретной модели сканера эта зависимость может быть измерена предварительно.where the brightness values are normalized to the range [0, 1], and the function is measured for a resolution of 200dpi and a specific scanner model. For each specific scanner model, this dependence can be measured previously.
Для получения значения яркости Y R3G3В3-составляющие отсканированного изображения после коррекции дисторсии преобразуются в цветовую систему (цветовое пространство), одна из составляющих которой кодирует яркость, а две другие кодируют цвет. Эффективным является использование линейного преобразования в систему YIQ или YCbCr, но в рамках данного изобретения могут применяться и более сложные преобразования, например, в цветовые системы HSB или L*a*b*. После коррекции значения яркости Y->Y' происходит обратное преобразование в цветовую систему RGB, две составляющие, кодирующие цвет, не изменяются.To obtain the brightness value YR 3 G 3, the 3- component of the scanned image after distortion correction is converted into a color system (color space), one of which constitutes brightness and the other two encode color. The use of linear conversion to the YIQ or YCbCr system is effective, but more complex conversions, for example, to HSB or L * a * b * color systems, can be used in the framework of the present invention. After correction of the brightness value Y-> Y ', the inverse is converted to the RGB color system, the two components encoding the color are not changed.
Алгоритм коррекции геометрических искажений и тени, вызванной изгибом страниц объекта, приведен на фиг.14. На шаге 1401 в соответствии с формулой (30) определяется величина dt, равная единице длины системы координат сканера, и переменная nsteps, равная количеству отсчетов, дискретизирующих отрезок. На шаге 1402 инициализируется счетчик цикла k для перебора отсчетов на отрезке, и для параметра прямой t устанавливается нулевое значение, которое соответствует началу отрезка. На шаге 1403 отсчеты выбираются в соответствии с параметрическим уравнением прямой (29), и определяются значения 
После выполнения коррекции изображение выводится на внешнее устройство. Перед выводом на печать координаты пикселов (х, у) скорректированного изображения преобразуются в координаты внешнего устройства:After performing the correction, the image is displayed on an external device. Before printing, the coordinates of the pixels (x, y) of the corrected image are converted to the coordinates of the external device:
где р согласует разрешение сканера и внешнего устройства; параметры tx1 и ty1 переносят начало системы координат.where p agrees the resolution of the scanner and the external device; the parameters tx1 and ty1 carry the origin of the coordinate system.
Данное изобретение предполагает осуществлять кадрирование по границам объекта или страниц объекта.This invention contemplates framing along the boundaries of an object or pages of an object.
Также возможна различная логика работы системы при копировании, например, когда копируется только одна страница книги или две страницы книги копируются на 1 лист с масштабированием и тому подобное.Various logic of the system’s operation during copying is also possible, for example, when only one page of a book is copied or two pages of a book are copied onto 1 sheet with scaling and the like.
В рамках данного изобретения возможно движение сканирующей головки планшетного сканера вдоль оси Ys, что потребует некоторых изменений в средстве установления коррекции, но не влияет на основные принципы работы заявленной системы и способа сканирования.In the framework of the present invention, it is possible to move the scanning head of the flatbed scanner along the Y s axis, which will require some changes in the correction setting means, but will not affect the basic principles of the claimed system and scanning method.
На Фиг.15 приведен пример коррекции с рядом упрощений изложенного алгоритма.On Fig shows an example of correction with a number of simplifications of the described algorithm.
Необходимо отметить, что настоящее изобретение может использоваться не только для книг, но и для любых других объектов (например, документов и фотографий), как обычный копир или планшетный сканер.It should be noted that the present invention can be used not only for books, but also for any other objects (for example, documents and photographs), like a regular copier or flatbed scanner.
Наиболее существенными улучшениями, которые обеспечиваются на основе настоящего изобретения, являются:The most significant improvements that are provided on the basis of the present invention are:
а. формирование изображения документов в толстом переплете осуществляется в режиме картирования пространственного профиля реконструируемой страницы с целью получения высококачественной итоговой картины, свободной в максимальной степени от геометрических и яркостных искажений;but. image formation of documents in thick binding is carried out in the mode of mapping the spatial profile of the reconstructed page in order to obtain a high-quality final picture, free to the maximum extent from geometric and brightness distortions;
b. пространственная коррекция геометрических искажений и выравнивание относительной освещенности в процессе копирования документов в толстом переплете, в частности книг, обеспечивается практически в реальном масштабе времени за счет использования обработки снимков, формируемых камерами, расположенными сбоку от сканируемого/копируемого документа;b. spatial correction of geometric distortions and the alignment of relative illumination during copying of documents in thick binding, in particular books, is provided in almost real time due to the use of processing of images formed by cameras located to the side of the scanned / copied document;
с. формирование оценки полного, трехмерного профиля страницы в предварительном режиме, а именно уже в момент начала процесса сканирования/копирования, дает возможность обеспечить низкие требования к аппаратным ресурсам (запоминание, в предпочтительном варианте изобретения, лишь нескольких линий сканирования).from. the formation of an assessment of the full three-dimensional profile of the page in preliminary mode, namely at the time of the start of the scanning / copying process, makes it possible to provide low requirements for hardware resources (storing, in the preferred embodiment of the invention, only a few scanning lines).
Новизна настоящего изобретения подтверждается следующими факторами:The novelty of the present invention is confirmed by the following factors:
а. оценка пространственного профиля страницы, являющегося наиболее существенным фактором для применения последующей процедуры коррекции, осуществляется в поперечной плоскости, что значительно упрощает возможность технической реализации;but. assessment of the spatial profile of the page, which is the most significant factor for applying the subsequent correction procedure, is carried out in the transverse plane, which greatly simplifies the possibility of technical implementation;
b. исключается типичная для подобного рода устройств процедура двойного прохода сканирующей системы вдоль документа, чем обеспечивается двукратное ускорение процесса сканирования/копирования;b. the procedure of double passage of the scanning system along the document, which is typical for such devices, is excluded, which provides a twofold acceleration of the scanning / copying process;
с. сформулированное техническое решение может быть реализовано с незначительными затратами на уже имеющейся аппаратной базе.from. the formulated technical solution can be implemented at low cost on the existing hardware base.
Учитывая, что указанный выше вариант выполнения изобретения изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла настоящего изобретения, раскрытого в прилагаемой формуле изобретения.Given that the above embodiment of the invention is set forth to illustrate the claimed invention, it is clear to those skilled in the art that various modifications, additions and substitutions are possible without departing from the scope and meaning of the present invention disclosed in the attached claims.
Claims (28)
снимают первой камерой объект, при этом получают первый снимок объекта с первой боковой стороны;
записывают полученный первый снимок объекта в память данных;
определяют в модуле коррекции искажений процессора наличие искажений вблизи переплета на первом снимке объекта из памяти данных в соответствии с параметрами, полученными из средства установления коррекции, при этом определяют наличие зазора между объектом и подложкой и данные, характеризующие форму изгиба страниц объекта вблизи переплета с первой боковой стороны, в случае если объект не имеет искажений вблизи переплета, сканируют объект сканером и выводят изображение объекта на внешнее устройство, в случае если объект имеет искажения вблизи переплета:
сохраняют в памяти данных данные, характеризующие форму изгиба страниц объекта вблизи переплета с первой боковой стороны;
снимают второй камерой объект, при этом получают второй снимок объекта со второй боковой стороны;
определяют в модуле коррекции искажений процессора из второго снимка и сохраняют в памяти данных данные, характеризующие форму изгиба страниц объекта вблизи переплета со второй боковой стороны;
вычисляют размер буфера строк в памяти данных, необходимый для коррекции одной строки сканированного изображения;
сканируют объект сканером, сохраняя в буфере строк строки сканированного изображения, до тех пор, пока не будет обнаружен край страницы объекта со стороны сканирующей головки и координаты двух его угловых вершин в соответствии с параметрами и способом коррекции, установленными в средстве установления коррекции;
вычисляют из данных о форме изгиба страниц, полученных с первого и второго снимков, координаты вершин страниц, также используемых в расчетах в соответствии с параметрами и способами коррекции, длину и ширину страницы, определяют области, в которых присутствуют искажения, и формируют трехмерную модель поверхности объекта со стороны подложки сканера;
сканируют объект сканером и корректируют искажения в каждой отсканированной строке изображения в модуле коррекции искажений в соответствии с параметрами и способом коррекции, установленными в средстве установления коррекции, при этом используют данные трехмерной модели сканируемой поверхности;
выводят скорректированное изображение объекта на внешнее устройство.13. The scanning and copying method includes the following operations:
the object is removed by the first camera, and a first image of the object is obtained from the first side;
write the received first snapshot of the object into the data memory;
determining in the processor distortion correction module the presence of distortions near the binding on the first image of the object from the data memory in accordance with the parameters obtained from the correction adjustment means, determining the presence of a gap between the object and the substrate and data characterizing the shape of the pages bending of the object near the binding from the first side hand, if the object does not have distortions near the binding, scan the object with a scanner and display the image of the object on an external device, if the object has distortions near binding:
save in the data memory data characterizing the shape of the bending of the object pages near the binding from the first side;
they shoot an object with a second camera, and a second snapshot of the object is obtained from the second side;
determine in the module distortion correction of the processor from the second image and save in the data memory data characterizing the shape of the bending pages of the object near the binding from the second side;
calculating the size of the line buffer in the data memory necessary to correct one line of the scanned image;
scanning the object with a scanner, storing the lines of the scanned image in the line buffer until the edge of the page of the object from the side of the scanning head and the coordinates of its two corner vertices are detected in accordance with the parameters and the correction method set in the correction setting tool;
calculate from the data on the shape of the bending of the pages obtained from the first and second images, the coordinates of the tops of the pages also used in the calculations in accordance with the parameters and methods of correction, the length and width of the page, determine the areas in which distortions are present, and form a three-dimensional model of the surface of the object from the side of the scanner substrate;
scanning the object with a scanner and correcting distortions in each scanned image line in the distortion correction module in accordance with the parameters and the correction method set in the correction setting means, using data of a three-dimensional model of the scanned surface;
output the corrected image of the object to an external device.
бинаризуют изображение из буфера строк по пороговому значению яркости, найденному с помощью алгоритма Otsu;
выделяют бинарный объект и его границы;
определяют координаты резкого изменения функции границы объекта.20. The method according to item 13, wherein the search for the edge of the page of the object from the side of the scanning head and the coordinates of its two corner vertices includes the following operations:
binarize the image from the line buffer by the threshold brightness value found using the Otsu algorithm;
select a binary object and its boundaries;
determine the coordinates of a sharp change in the function of the boundary of the object.
корректируют перспективные искажения,
поворачивают изображения страниц, причем углы поворота для каждой страницы могут различаться,
корректируют геометрические искажения, вызванные изгибом страниц,
корректируют яркостные искажения.22. The method according to p. 13, characterized in that the distortion is corrected in the following order:
Correct perspective distortions
rotate page images, and the rotation angles for each page may vary,
Correct geometric distortions caused by bending pages
Correct the brightness distortion.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2004135515/09A RU2368091C2 (en) | 2004-12-06 | 2004-12-06 | System and method for scanning and copying |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2004135515/09A RU2368091C2 (en) | 2004-12-06 | 2004-12-06 | System and method for scanning and copying |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2004135515A RU2004135515A (en) | 2006-05-20 |
| RU2368091C2 true RU2368091C2 (en) | 2009-09-20 |
Family
ID=36657960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2004135515/09A RU2368091C2 (en) | 2004-12-06 | 2004-12-06 | System and method for scanning and copying |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2368091C2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2469398C1 (en) * | 2011-10-07 | 2012-12-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method to ensure correct alignment of documents in automatic printing |
| RU2483464C2 (en) * | 2008-12-17 | 2013-05-27 | Кэнон Кабусики Кайся | Image forming apparatus, method of controlling image forming apparatus and storage medium |
| RU2531261C2 (en) * | 2009-09-23 | 2014-10-20 | Майкрософт Корпорейшн | Scanning using camera |
| RU2653282C2 (en) * | 2014-09-18 | 2018-05-07 | Общество с ограниченной ответственностью "Аби Девелопмент" | Using built-in scanner software for time saving due to re-scanning rejection |
| WO2021154255A1 (en) * | 2020-01-30 | 2021-08-05 | Hewlett-Packard Development Company, L.P. | Print media detection with scanner bar |
-
2004
- 2004-12-06 RU RU2004135515/09A patent/RU2368091C2/en not_active IP Right Cessation
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2483464C2 (en) * | 2008-12-17 | 2013-05-27 | Кэнон Кабусики Кайся | Image forming apparatus, method of controlling image forming apparatus and storage medium |
| RU2531261C2 (en) * | 2009-09-23 | 2014-10-20 | Майкрософт Корпорейшн | Scanning using camera |
| RU2469398C1 (en) * | 2011-10-07 | 2012-12-10 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method to ensure correct alignment of documents in automatic printing |
| RU2653282C2 (en) * | 2014-09-18 | 2018-05-07 | Общество с ограниченной ответственностью "Аби Девелопмент" | Using built-in scanner software for time saving due to re-scanning rejection |
| WO2021154255A1 (en) * | 2020-01-30 | 2021-08-05 | Hewlett-Packard Development Company, L.P. | Print media detection with scanner bar |
| US11647137B2 (en) | 2020-01-30 | 2023-05-09 | Hewlett-Packard Development Company, L.P. | Print media detection with scanner bar |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2004135515A (en) | 2006-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Document rectification and illumination correction using a patch-based CNN | |
| US10798359B2 (en) | Generating hi-res dewarped book images | |
| US9591167B2 (en) | Image capture unit and computer readable medium used in combination with same | |
| EP1117975B1 (en) | Document imaging system | |
| EP1110373B1 (en) | Curled surface imaging system | |
| US7164518B2 (en) | Fast scanner with rotatable mirror and image processing system | |
| US20030156201A1 (en) | Systems and methods for processing a digitally captured image | |
| US20120147224A1 (en) | Imaging apparatus | |
| TW468331B (en) | Non-contact image reading device and the system using the same | |
| US20050196070A1 (en) | Image combine apparatus and image combining method | |
| CN102484724A (en) | Projection image area detecting device | |
| Brown et al. | Restoring 2D content from distorted documents | |
| Tsoi et al. | Multi-view document rectification using boundary | |
| JP2005198334A (en) | Digital camera | |
| CN102801894B (en) | Flattening method of deformed page | |
| CN109658334B (en) | Ancient book image stitching method and device | |
| RU2368091C2 (en) | System and method for scanning and copying | |
| JPH05161002A (en) | Original reader | |
| JP3582988B2 (en) | Non-contact image reader | |
| KR102135961B1 (en) | Apparatus and method of processing images | |
| RU2298292C2 (en) | System and method for scanning | |
| JP2000261653A (en) | Image processing unit | |
| JP3684479B2 (en) | Digital camera | |
| KR100895622B1 (en) | Image forming apparatus and image forming method | |
| Ariga et al. | Correcting geometric distortion and reflection components in an image of a folded print |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FA92 | Acknowledgement of application withdrawn (lack of supplementary materials submitted) |
Effective date: 20080325 |
|
| FZ9A | Application not withdrawn (correction of the notice of withdrawal) |
Effective date: 20090306 |
|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20151207 |