RU2483354C1 - Method for isolation of object in image - Google Patents
Method for isolation of object in image Download PDFInfo
- Publication number
- RU2483354C1 RU2483354C1 RU2011151320/28A RU2011151320A RU2483354C1 RU 2483354 C1 RU2483354 C1 RU 2483354C1 RU 2011151320/28 A RU2011151320/28 A RU 2011151320/28A RU 2011151320 A RU2011151320 A RU 2011151320A RU 2483354 C1 RU2483354 C1 RU 2483354C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- background
- objects
- images
- pixel
- Prior art date
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
Изобретение относится к оптическому приборостроению, областям фотоники и вычислительной техники, преимущественно к инфракрасным (ИК) системам, осуществляющим пространственную выборку изображения с помощью матричного многоэлементного приемника излучения, используемого в разных отраслях науки, техники, народного хозяйства, в частности, для обнаружения посторонних объектов в заданной зоне пространства.The invention relates to optical instrumentation, the fields of photonics and computer engineering, mainly to infrared (IR) systems, which perform spatial image sampling using a multi-element matrix radiation detector used in various fields of science, technology, and the national economy, in particular, for the detection of foreign objects in given area of space.
Известен способ выделения объектов, заключающийся в приеме излучения объектов и фона, формировании их изображения в плоскости приемника излучения и выделении объектов по соответствующей априорной дальности до объекта (см. патент US №3221591, кл. НПК 350-10, 1972).There is a method of distinguishing objects, which consists in receiving radiation from objects and the background, forming their image in the plane of the radiation receiver and selecting objects according to the corresponding a priori distance to the object (see US patent No. 3221591, class NPK 350-10, 1972).
К недостаткам данного способа следует отнести малую вероятность выделения объектов, расположенных на конечной дальности от прибора, при априорно неизвестном удаленном фоне.The disadvantages of this method include the low probability of distinguishing objects located at a finite distance from the device, with an a priori unknown remote background.
Также известен способ выделения объекта из входного изображения с использованием эталонного изображения (патент Японии IP 08-323299, публ. 20 ноября, 1996 г., G06K 9/46). Данное изобретение относится к способам обработки изображений и предназначено для точного автоматического определения области, содержащей искомый объект во входном изображении, и ее выделения. Определение порога осуществляется по данным об интенсивности границ объектов, полученным за счет вычитания предыдущего кадра из последующего. Обозначение основной области происходит за счет анализа контурной линии, полученной при вычитании, а дальнейшее распознавание происходит при сравнении с эталоном, содержащимся в памяти. Порог устанавливается в виде количества пикселей, содержащихся в разностном изображении. Определение области выполняется за счет выделения определенной части исходного изображения при его комбинировании с основной областью.Also known is a method of extracting an object from an input image using a reference image (Japanese Patent IP 08-323299, publ. November 20, 1996, G06K 9/46). This invention relates to methods for image processing and is intended for accurate automatic determination of the area containing the desired object in the input image, and its selection. The threshold is determined by the data on the intensity of the boundaries of the objects obtained by subtracting the previous frame from the next. The designation of the main area occurs due to the analysis of the contour line obtained by subtraction, and further recognition occurs when comparing with the standard contained in the memory. The threshold is set as the number of pixels contained in the difference image. The definition of the area is performed by highlighting a certain part of the original image when combined with the main area.
Недостатком этого способа является необходимость использования эталонного изображения, что создает невозможность распознавания объектов, отсутствующих в базе данных (возможно только их обнаружение по базе данных), а также обеспечивается распознавание лишь единственного типа объекта в текущем кадре, при этом требуется осуществлять учет как хроматических, так и пространственно-геометрических признаков объекта. Применение многоступенчатых алгоритмов разделения изображения на сегменты, требуемое для достижения высокой вероятности распознавания, существенно увеличивает программную сложность реализации способа.The disadvantage of this method is the need to use a reference image, which makes it impossible to recognize objects that are not in the database (only their detection in the database is possible), and it also recognizes only the only type of object in the current frame, and it is necessary to take into account both chromatic and and spatial-geometric features of the object. The use of multi-stage algorithms for dividing the image into segments, required to achieve a high recognition probability, significantly increases the software complexity of the method.
Изобретение по патенту Японии JP 2008-66775, публ. 14 марта 2008 г., G06K 9/00, «Устройство для обнаружения объекта, метод его контроля, программа, среда хранения информации и устройство, в котором они используются» характеризуется следующей последовательностью действий:The invention of Japan patent JP 2008-66775, publ. March 14, 2008, G06K 9/00, “Device for detecting an object, method of its control, program, information storage medium and device in which they are used” is characterized by the following sequence of actions:
- получение входного изображения;- receiving an input image;
- выбор критериев, по которым будет осуществляться обнаружение объекта;- selection of criteria by which the object will be detected;
- обнаружение и распознавание объекта в кадре по установленному критерию;- detection and recognition of an object in the frame according to the established criterion;
- вывод изображения с интересующей информацией.- output images with information of interest.
Данное изобретение призвано решить следующие недостатки известных решений распознавания объектов в кадре:This invention is intended to solve the following disadvantages of the known solutions for the recognition of objects in the frame:
- чрезвычайно высокую нагрузку на вычислительные ресурсы устройства, приводящую к использованию дорогостоящей электроники и высокому энергопотреблению;- extremely high load on the computing resources of the device, leading to the use of expensive electronics and high power consumption;
- необходимость разделения по времени между операциями обнаружения и распознавания для оптимизации вычислительных ресурсов, что увеличивает время получения итогового результата.- the need for time separation between detection and recognition operations to optimize computing resources, which increases the time to obtain the final result.
Основная цель данного изобретения - быстрый вывод на устройство отображения распознанного объекта в кадре при одновременной обработке следующего объекта - сочетание оперативного отображения результатов совместно с параллельной обработкой поступающих данных позволяет увеличить быстродействие системы без использования дополнительных вычислительных ресурсов.The main objective of this invention is the quick output to the display device of the recognized object in the frame while processing the next object - the combination of the operational display of the results together with the parallel processing of the incoming data allows to increase the speed of the system without the use of additional computing resources.
Из недостатков метода следует выделить:Among the disadvantages of the method should be highlighted:
- использование нескольких критериев обнаружения приводит к получению набора результатов, из которых требуется выбрать лучший, что усложняет структуру алгоритма обработки и существенно увеличивает объем памяти, требуемой для хранения результатов;- the use of several detection criteria leads to a set of results from which you want to choose the best, which complicates the structure of the processing algorithm and significantly increases the amount of memory required to store the results;
- для увеличения эффективности распознавания требуется проводить обработку серии изображений, при этом условия могут изменяться от кадра к кадру, что также является неоптимальным с точки зрения времени получения результатов и объема используемой памяти;- to increase the recognition efficiency, it is necessary to process a series of images, while the conditions can vary from frame to frame, which is also not optimal from the point of view of the time of obtaining results and the amount of memory used;
- метод основан исключительно на программной коррекции результатов и не допускает использования аппаратных средств корректировки внешних условий при проведении измерений (т.е. нет управления оптикой, положением ФПУ и т.д.).- the method is based solely on software correction of results and does not allow the use of hardware to adjust external conditions during measurements (i.e. there is no control of optics, position of the FPU, etc.).
В качестве прототипа можно рассматривать изобретение «Способ выделения изображения объекта из фона» (патент US №4783833, публ. 08.11.1988 г., кл. G06K 9/00), в котором с помощью объектива ОЭС формируют первое неподвижное изображение фона, в качестве которого может быть и объект, регистрируют его с использованием матричного ФПУ и подвергают электронной обработке с целью выделения и усиления яркости его границ. Затем при появлении движущегося объекта формируют второе изображение, регистрируют аналогично первому и фиксируют изменение яркости пикселей изображения фона путем вычитания второго зарегистрированного изображения из первого. За счет пороговой обработки по заранее установленному критерию производят выделение пикселя, значение сигнала с которого превышает установленный порог, что создает контрастное изображение границ объекта, способствующее его уверенному выделению.As a prototype, the invention can be considered the “Method for extracting an image of an object from the background” (US patent No. 4783833, publ. 11/08/1988, class G06K 9/00), in which the first still image of the background is formed using the ECO lens as which can be an object, register it using a matrix FPU and electronically process it in order to isolate and enhance the brightness of its boundaries. Then, when a moving object appears, a second image is formed, recorded similarly to the first, and the brightness change of the pixels of the background image is recorded by subtracting the second registered image from the first. Due to the threshold processing, a pixel is selected according to a predetermined criterion, the signal value from which exceeds a predetermined threshold, which creates a contrast image of the boundaries of the object, which contributes to its confident selection.
Для увеличения точности выделения перемещающегося объекта производят смещение приемного модуля в вертикальном и горизонтальном направлениях в течение времени кадра, что эквивалентно заданию определенного закона смещения фонового изображения, при этом объект движется по своему собственному закону. Покадровое сравнение в данном случае позволяет достичь наиболее точного совмещения изображений перемещающегося объекта во времени, обеспечивая уверенное выделение объекта в динамической обстановке.To increase the accuracy of the selection of a moving object, the receiver module is shifted in the vertical and horizontal directions during the frame time, which is equivalent to setting a certain law for the displacement of the background image, while the object moves according to its own law. In this case, frame-by-frame comparison allows achieving the most accurate combination of images of a moving object in time, providing confident selection of the object in a dynamic environment.
Таким образом, распознавание движущегося объекта (выделение его контура) осуществляется за счет вычитания последующего и предыдущего кадров, в течение которых осуществляется смещение приемного модуля в двух плоскостях, перпендикулярных визирной оптической оси прибора, - используется смещение объектов его площади кадра. При этом в предлагаемом изобретении задачи решаются за счет смещения объекта по глубине (т.е. вдоль оптической оси прибора) при неизменном его расположении в кадре.Thus, the recognition of a moving object (selection of its contour) is carried out by subtracting the subsequent and previous frames, during which the receiving module is shifted in two planes perpendicular to the optical target axis of the device, using the displacement of objects of its frame area. Moreover, in the present invention, the problems are solved by displacing the object in depth (i.e., along the optical axis of the device) with its location in the frame unchanged.
Основным недостатком данного способа является достаточно низкая вероятность распознавания объектов из-за влияния шумовой составляющей, обусловленной неоднородностью чувствительной поверхности матричного ФПУ.The main disadvantage of this method is the rather low probability of recognition of objects due to the influence of the noise component due to the heterogeneity of the sensitive surface of the matrix FPU.
Задачей, на решение которой направлено заявляемое изобретение, является подоптимальная фильтрация изображения, близкая к реализуемой в человеческом глазу.The task to which the invention is directed is suboptimal image filtering, close to that implemented in the human eye.
Данная задача решается за счет того, что заявленный способ выделения объекта в изображении, заключающийся в последовательном формировании объективом двух изображений объектов и фона на поверхности матричного ФПУ в виде матрицы значений электрических сигналов, подвергаемых попиксельной регистрации и цифровой обработке с последующим формированием разностных изображений путем вычитания одного зарегистрированного изображения из другого, осуществлении пороговой обработки разностного изображения и определении пикселя, значение яркости которого превысило порог, при формировании первого сфокусированного изображения объектов и фона в объективе оптического тракта в сходящемся оптическом пучке устанавливают плоскопараллельную пластину, при формировании второго расфокусированного изображения и фона в сходящемся оптическом пучке устанавливают плоскопараллельную пластину толщиной, отличной от толщины первой, при этом разностное изображение образуют вычитанием второго изображения из первого.This problem is solved due to the fact that the claimed method of selecting an object in an image, which consists in the sequential formation by the lens of two images of objects and a background on the surface of the matrix FPU in the form of a matrix of values of electrical signals subjected to pixel-by-pixel recording and digital processing with subsequent formation of difference images by subtracting one registered image from another, the implementation of threshold processing of the differential image and determining the pixel, the brightness value and which exceeded the threshold, when forming the first focused image of objects and background in the objective of the optical path in a converging optical beam, a plane-parallel plate is installed, when forming the second defocused image and background in a converging optical beam, a plane-parallel plate is set with a thickness different from the thickness of the first, while the differential image form by subtracting the second image from the first.
Технический результат обеспечивается приведенной совокупностью признаков и выражается достижением максимального отношения полученного выходного сигнала к уровню помех от облаков и шумов, что связано с независимостью сигнала от уровня темновых элементов матрицы; выделение оптического сигнала происходит на одном и том же элементе матрицы, поэтому оно происходит точно, без влияния геометрических шумов.The technical result is provided by the given set of features and is expressed by the achievement of the maximum ratio of the received output signal to the level of interference from clouds and noise, which is associated with the independence of the signal from the level of the dark elements of the matrix; The extraction of the optical signal occurs on the same element of the matrix, so it occurs accurately, without the influence of geometric noise.
Сущность заявляемого изобретения поясняется чертежом, на котором изображена принципиальная схема, реализующая алгоритм выделения изображения объектов на удаленном фоне.The essence of the invention is illustrated in the drawing, which shows a schematic diagram that implements the algorithm for selecting images of objects on a remote background.
Устройство, реализующее заявленный способ, содержит объектив 1, пару разнотолщинных несоосных плоскопараллельных оптически прозрачных пластин 2 и 3 с одинаковым коэффициентом пропускания, закрепленных на оси привода вращения 4, параллельной оптической оси, многоплощадочное фотоприемное устройство (МФПУ) 5, электронный тракт обработки изображения 6 и блок отображения 7. При этом тракт 6 включает преобразователь аналогового сигнала в цифровой (АЦП) 8, запоминающие устройства 9, 9', вычитающее устройство 10, блок сравнения с заранее выбранным порогом 11 и преобразователь цифрового сигнала в аналоговый (ЦАП) 12.A device that implements the claimed method, contains a lens 1, a pair of different thickness non-coaxial plane-parallel optically transparent plates 2 and 3 with the same transmittance mounted on the axis of the rotation drive 4, parallel to the optical axis, a multi-site photodetector (MFP) 5, an electronic image processing path 6 and display unit 7. In this case, the path 6 includes an analog to digital converter (ADC) 8, memory devices 9, 9 ', a subtractor 10, a comparison unit with a pre-selected time Big 11 and a digital to analog converter (DAC) 12.
Принцип действия устройства, реализующего заявленный способ, заключается в том, что инфракрасное излучение от объекта и фона проецируется оптической системой 1 оптико-электронного прибора (ОЭП) через плоскопараллельную прозрачную пластину 2 на МФПУ 5. При этом экспонируют первое изображение, вводя на оптическую ось объектива 1 в сходящемся пучке прозрачную тонкую пластину 2, сформированное изображение считывают попиксельно с МФПУ 5 в виде матрицы значений электрического сигнала, подвергают оцифровке в АЦП 8 и запоминают в устройстве 9. Затем с помощью привода вращения 4 вводят на оптическую ось объектива 1 в сходящемся пучке прозрачную толстую плоскопараллельную пластину 3, таким образом формируя расфокусированное объективом 1 (не рассчитан на работу с толстой пластиной) изображение, аналогично получают электронный сигнал, считывая его попиксельно с МФПУ 5, оцифровывают в АЦП 8 и запоминают в устройстве 9. Для определения типа использованной пластины 2 или 3 для синхронизации с процессом опроса матрицы установлен маркерный датчик (на чертеже не показан); при смене вращающихся пластин сохраненное в устройстве 9' значение сравнивают со значением в устройстве 9 и полученное в блоке 10 разностное изображение подвергают пороговой обработке в блоке 11, при этом выделяют сигнал, фиксируя пиксели, яркость которых превышает выбранный порог. Используя хорошо освоенные и эффективные методы обработки цифровых изображений, осуществляют фильтрацию сигнала от помех и преобразуют его в блоке ЦАП 12 в аналоговую форму для представления на экране монитора 7 в виде сигнала, удобного для восприятия оператором.The principle of operation of a device that implements the claimed method is that the infrared radiation from the object and the background is projected by the optical system 1 of the optoelectronic device (OED) through a plane-parallel transparent plate 2 on the MFP 5. In this case, the first image is exposed by introducing onto the optical axis of the lens 1 in a converging beam, a transparent thin plate 2, the formed image is read pixel by pixel from the MFP 5 in the form of a matrix of values of the electric signal, digitized in ADC 8 and stored in device 9. Then m using a rotation drive 4, a transparent thick plane-parallel plate 3 is introduced into the converging beam onto the optical axis of the lens 1, thereby forming an image defocused by the lens 1 (not designed to work with a thick plate), similarly receive an electronic signal, reading it pixel by pixel from the MFP 5, digitized in the ADC 8 and stored in the device 9. To determine the type of used plate 2 or 3 for synchronization with the process of polling the matrix mounted marker sensor (not shown); when changing the rotating plates, the value stored in the device 9 'is compared with the value in the device 9 and the difference image obtained in block 10 is subjected to threshold processing in block 11, and a signal is extracted by fixing pixels whose brightness exceeds a selected threshold. Using well-developed and effective methods of processing digital images, they filter the signal from interference and convert it in the block of the DAC 12 into an analog form for presentation on the screen of the monitor 7 in the form of a signal convenient for the operator to perceive.
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2011151320/28A RU2483354C1 (en) | 2011-12-16 | 2011-12-16 | Method for isolation of object in image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2011151320/28A RU2483354C1 (en) | 2011-12-16 | 2011-12-16 | Method for isolation of object in image |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2483354C1 true RU2483354C1 (en) | 2013-05-27 |
Family
ID=48792032
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2011151320/28A RU2483354C1 (en) | 2011-12-16 | 2011-12-16 | Method for isolation of object in image |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2483354C1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2673396C1 (en) * | 2017-10-04 | 2018-11-26 | Федеральное государственное бюджетное учреждение науки Институт космических исследований Российской академии наук | Method of comparing digital images |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4783833A (en) * | 1985-11-27 | 1988-11-08 | Hitachi, Ltd. | Method of extracting an image of a moving object |
US20100188519A1 (en) * | 2009-01-29 | 2010-07-29 | Keisuke Yamaoka | Information Processing Device and Method, Program, and Recording Medium |
US20100202654A1 (en) * | 2007-08-09 | 2010-08-12 | Hitachi High-Technologies Corporation | Pattern measurement apparatus |
US20110085738A1 (en) * | 2008-05-26 | 2011-04-14 | Kazuo Kitamura | Edge extraction apparatus, surveying equipment, and program |
-
2011
- 2011-12-16 RU RU2011151320/28A patent/RU2483354C1/en active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4783833A (en) * | 1985-11-27 | 1988-11-08 | Hitachi, Ltd. | Method of extracting an image of a moving object |
US20100202654A1 (en) * | 2007-08-09 | 2010-08-12 | Hitachi High-Technologies Corporation | Pattern measurement apparatus |
US20110085738A1 (en) * | 2008-05-26 | 2011-04-14 | Kazuo Kitamura | Edge extraction apparatus, surveying equipment, and program |
US20100188519A1 (en) * | 2009-01-29 | 2010-07-29 | Keisuke Yamaoka | Information Processing Device and Method, Program, and Recording Medium |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2673396C1 (en) * | 2017-10-04 | 2018-11-26 | Федеральное государственное бюджетное учреждение науки Институт космических исследований Российской академии наук | Method of comparing digital images |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9906737B2 (en) | Co-aperture multi-FOV image-spectrum cooperative detection system and method | |
KR102084535B1 (en) | Defect inspection device, defect inspection method | |
CN109883391B (en) | Monocular distance measurement method based on digital imaging of microlens array | |
CN102745134A (en) | Detection apparatus and detection method | |
US9678325B2 (en) | Analysis apparatus, analysis program, and analysis system | |
RU2363018C1 (en) | Method of selecting objects on remote background | |
CN107238727A (en) | Photoelectric tachometric transducer and detection method based on dynamic visual sensor chip | |
US10074551B2 (en) | Position detection apparatus, position detection method, information processing program, and storage medium | |
US20100110209A1 (en) | Fast motion measurement device for gaming | |
CN109859155A (en) | Image distortion detection method and system | |
CN103363927A (en) | Multi-optical-axis consistency detection device and method of platform photoelectric device at any axial distance | |
CN114879217B (en) | Target pose judgment method and system | |
CN113092079B (en) | Definition detection target and method, system, electronic equipment and detection platform thereof | |
US9521397B2 (en) | System and method for selecting a two-dimensional region of interest using a range sensor | |
JP2017181291A (en) | Distance measurement device, distance measurement method and program | |
KR101238748B1 (en) | System for measuring distance of target using step-staring infrared sensor unit | |
RU2483354C1 (en) | Method for isolation of object in image | |
CN111639708B (en) | Image processing method, device, storage medium and equipment | |
Su et al. | Dual-light inspection method for automatic pavement surveys | |
CN116952168A (en) | Measuring system and measuring method for laser beam parallelism | |
JP2008042227A (en) | Imaging apparatus | |
CN212259079U (en) | Large-field-depth industrial camera, industrial video camera, microscope and PCB detection system | |
CN111062887B (en) | Image definition judging method based on improved Retinex algorithm | |
Buquet et al. | Next-generation of sUAS 360 surround vision cameras designed for automated navigation in low-light conditions | |
CN108181005A (en) | A kind of method and system for the debugging of TDI ccd detectors focal plane |