RU2506536C2 - Method of subpixel control and tracking of remote object motion - Google Patents
Method of subpixel control and tracking of remote object motion Download PDFInfo
- Publication number
- RU2506536C2 RU2506536C2 RU2012113408/28A RU2012113408A RU2506536C2 RU 2506536 C2 RU2506536 C2 RU 2506536C2 RU 2012113408/28 A RU2012113408/28 A RU 2012113408/28A RU 2012113408 A RU2012113408 A RU 2012113408A RU 2506536 C2 RU2506536 C2 RU 2506536C2
- Authority
- RU
- Russia
- Prior art keywords
- coordinates
- coordinate system
- matrix
- spot
- point
- Prior art date
Links
Images
Landscapes
- Studio Devices (AREA)
- Optical Communication System (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
Изобретение относится к оптическим методам контроля и слежения за смещением координат контрольных точек (КТ) удаленных объектов, например, отклонением от вертикали телевизионных опор радиотелевизионных передающих центров (РТПЦ), дымовых труб ТЭЦ, упругих колебаний мостовых опор и пролетов, а также антенных сооружений радиотехнических комплексов, как стационарного типа, так и мобильных (наземного и морского базирования). Предлагаемый способ субпиксельного контроля и слежения может быть эффективно использован для создания устройств контроля и позиционирования в различных отраслях народного хозяйства, где необходимо регистрировать и/или обеспечивать высокую точность поддержания координат заданных реперных точек высотных (или протяженных) объектов и сооружений гражданского и военного назначения.The invention relates to optical methods for monitoring and tracking the shift of the coordinates of control points (CT) of distant objects, for example, the deviation from the vertical of the television supports of the radio television transmitting centers (RTSCs), chimneys of thermal power plants, elastic vibrations of bridge supports and spans, as well as antenna structures of radio complexes , both stationary type and mobile (land and sea based). The proposed method of subpixel monitoring and tracking can be effectively used to create control and positioning devices in various sectors of the economy, where it is necessary to register and / or provide high accuracy of maintaining coordinates of given reference points of high-altitude (or extended) civil and military-purpose objects and structures.
Способы контроля и слежения за перемещением удаленных объектов можно рассматривать как задачи слежения за объектами, расположенными в разнесенных системах координат. Возникают такие задачи достаточно часто, когда имеется необходимость обеспечения высокой точности пространственной ориентации одного объекта относительно другого, либо контроля девиации координат КТ объекта, например, отклонения от вертикали телевизионных опор, дымовых труб, упругих колебаний мостовых опор и пролетов. Это может быть и обеспечение «слепой» посадки вертолета на нестандартную неподготовленную площадку или автоматическая стыковка сложных габаритных узлов (не обязательно в космосе); скажем, при установке на посадочное место буровых вышек с помощью вертолета.Ways to control and track the movement of remote objects can be considered as tasks of tracking objects located in spaced coordinate systems. Such problems arise often enough when there is a need to ensure high accuracy of the spatial orientation of one object relative to another, or to control the deviation of the CT coordinates of the object, for example, deviations from the vertical of television supports, chimneys, elastic vibrations of bridge supports and spans. This may be providing a “blind” landing of the helicopter on a non-standard unprepared site or automatic docking of complex dimensional units (not necessarily in space); let's say, when installing on a seat drilling rigs using a helicopter.
Известны способы создания видеоизмерительных систем, предназначенных для решения прикладных задач инженерной геодезии, в которых на контролируемом объекте закрепляется визирная марка (контрольная точка), в точке наблюдения устанавливается видеодатчик, а искомые координаты вычисляются на основе компьютерной обработки стандартного выходного видеосигнала видеодатчика, содержащего изображение визирной марки [1], [2].Known methods for creating video measuring systems designed to solve applied problems of engineering geodesy, in which a sighting mark (control point) is fixed on the monitored object, a video sensor is installed at the observation point, and the desired coordinates are calculated based on computer processing of the standard video signal output from the video sensor containing the sighting mark image [12].
При этом в качестве видеодатчика используется телекамера на основе ПЗС-матрицы.At the same time, a video camera based on a CCD matrix is used as a video sensor.
Наиболее близкими техническими решениями к патентуемому способу контроля и слежения за перемещением удаленного объекта по совокупности признаков (соответственно аналогом и прототипом) являются известные способы контроля и слежения, использованные в аппаратурно-программном комплексе оперативного контроля положений рабочих точек антенн угломерной радиотехнической системы [2], и реализованный способ измерения координат в «Видеоизмерителе координат контролируемой точки объекта» [3] - патент РФ №2308002 MПК: G01N 21/64.The closest technical solutions to the patented method of monitoring and tracking the movement of a remote object by the totality of features (respectively, an analogue and a prototype) are known methods of monitoring and tracking used in the hardware-software complex for operational monitoring of the positions of the operating points of the antennas of the goniometric radio engineering system [2], and implemented method for measuring coordinates in the "Video meter coordinates of the controlled point of the object" [3] - RF patent No. 2308002 MPK: G01N 21/64.
В аналоге [2] в рабочей точке каждой антенны угломерной радиотехнической системы устанавливается визирная марка, содержащая визирные цели. Под антенной на геодезическом знаке закрепляется видеодатчик, в поле зрения которого находится визирная марка. Стандартный видеосигнал видеодатчика, содержащий изображения визирных целей визирной марки, передается в компьютер, обрабатывается в нем, и вычисляются искомые координаты рабочей точки каждой антенны угломерной радиотехнической системы в местной (геодезической) системе координат.In the analogue [2], at the operating point of each antenna of the goniometric radio engineering system, a target mark is installed containing the target targets. Under the antenna on the geodetic mark, a video sensor is fixed, in the field of view of which there is a sighting mark. The standard video signal of the video sensor containing images of the target targets of the target mark is transmitted to the computer, processed in it, and the desired coordinates of the operating point of each antenna of the goniometric radio engineering system are calculated in the local (geodetic) coordinate system.
Основой для вычислений в таких видеоизмерительных системах служит зависимость положения изображения визирной марки в координатной системе видеодатчика (в видеосигнале видеодатчика) от положения визирной марки в местной координатной системе КТ, которое меняется под воздействием ветровой нагрузки, солнечной радиации и других факторов.The basis for calculations in such video measuring systems is the dependence of the position of the image of the target mark in the coordinate system of the video sensor (in the video signal of the video sensor) on the position of the target mark in the local coordinate system of the CT, which changes under the influence of wind load, solar radiation and other factors.
Прототипом настоящего изобретения является способ контроля и слежения за перемещением удаленного объекта, реализованный в патенте РФ №2308002 (МПК: G01N 21/64).The prototype of the present invention is a method for monitoring and tracking the movement of a remote object, implemented in the patent of the Russian Federation No. 2308002 (IPC: G01N 21/64).
Анализ совокупности действий и операций контроля и слежения, реализованный в прототипе, свидетельствует следующее. Как правило, КТ находится на расстоянии до нескольких десятков метров от неподвижной (базовой) системы координат. Для учета флуктуации КТ в координатном пространстве базовой системы координат (БСК) используют специальные локальные устройства измерения девиации (УИД), следящие за смещением удаленной системы координат, центром которой и является КТ.Analysis of the totality of actions and operations of control and tracking, implemented in the prototype, indicates the following. As a rule, a CT is located at a distance of several tens of meters from a fixed (base) coordinate system. To take into account the fluctuations of the QD in the coordinate space of the base coordinate system (BSC), special local deviation measuring devices (UID) are used that monitor the offset of the remote coordinate system, the center of which is the QD.
Главный недостаток как аналога, так и прототипа - это ограничение точности измерения смещения КТ в базовой системе координат размерами пикселя матрицы видеодатчика. Известные способы увеличения точности измерения смещения КТ, описанные в аналоге и прототипе, при неизменном расстоянии между местной системой координат визирной цели и координатной системы видеодатчика предусматривают необходимость использования, в качестве видеодатчиков дорогостоящих ПЗС-матриц высокого разрешения.The main disadvantage of both the analog and the prototype is the limitation of the accuracy of measuring the displacement of the CT in the base coordinate system by the pixel size of the matrix of the video sensor. Known methods for increasing the accuracy of measuring the offset of the CT described in the analogue and prototype, at a constant distance between the local coordinate system of the target and the coordinate system of the video sensor, require the use of expensive high-resolution CCD matrices as video sensors.
Использование таких матриц для контроля и слежения требует значительных аппаратных и временных ресурсов, поскольку мегапиксельные ПЗС-матрицы в работе используют большие потоки данных при съеме, передаче и обработке полученной с их помощью информации.The use of such matrices for monitoring and tracking requires significant hardware and time resources, since megapixel CCD matrices use large data streams when collecting, transmitting and processing information obtained with their help.
Существенным конструктивным и эксплуатационным недостатком прототипа является также низкая помехоустойчивость измерительной системы и отсутствие ограничения доступа постороннего излучения и эффективной защиты от боковых засветок канала регистрации, что значительно осложняет и затрудняет процедуру контроля в светлое время суток.A significant constructive and operational disadvantage of the prototype is also the low noise immunity of the measuring system and the lack of restriction of access to extraneous radiation and effective protection from side illumination of the recording channel, which significantly complicates and complicates the monitoring procedure in the daytime.
Настоящее изобретение решает задачу оперативного, с высокой точностью и надежностью, дистанционного измерения координат смещения КР с одновременным повышением помехоустойчивости измерительной системы и защиты от боковых засветок канала регистрации.The present invention solves the problem of operational, with high accuracy and reliability, remote measurement of coordinates of the displacement of the RS with a simultaneous increase in the noise immunity of the measuring system and protection against side illumination of the registration channel.
Патентуемый способ субпиксельного контроля и слежения за перемещением удаленного объекта позволяет решить проблему высокоточного отслеживания смещения КТ на удаленном (до 8 м) объекте (с точностью до 20 мкм), применяя ПЗС-матрицы со сравнительно низким разрешением (640×480 пкс).The patented method of subpixel monitoring and tracking the movement of a remote object allows solving the problem of high-precision tracking of the CT displacement at a remote (up to 8 m) object (with an accuracy of 20 μm) using CCD arrays with a relatively low resolution (640 × 480 pixels).
Решение поставленной технической задачи осуществляют следующим образом.The solution of the technical problem is as follows.
В способе контроля и слежения за перемещением удаленного объекта, аналогичном способу, описанному в патенте РФ №2308002, включающем:In the method of monitoring and tracking the movement of a remote object, similar to the method described in RF patent No. 2308002, including:
- передачу по оптическому каналу изображения контрольной светящейся точки подвижной системы и слежение за смещением этой точки в подвижной системе координат по перемещению ее изображения на ПЗС-матрице неподвижной системы координат,- transmission through the optical channel of the image of the control luminous point of the moving system and tracking the displacement of this point in the moving coordinate system by moving its image on the CCD matrix of the fixed coordinate system,
- последующую передачу видеосигнала слежения по каналу связи в компьютер,- subsequent transmission of the tracking video signal over the communication channel to the computer,
- обработку и вычисление смещения, т.е. разности текущих и первоначальных, записанных в памяти компьютера координат центра изображения контрольной светящейся точки в подвижной системе координат,- processing and calculation of the offset, i.e. the difference between the current and initial, recorded in the computer memory coordinates of the center of the image of the control luminous point in a moving coordinate system,
- и определение искомых координат контрольной точки антенны, используя преобразование координат.- and determination of the desired coordinates of the antenna reference point using coordinate transformation.
Согласно патентуемому способу:According to the patented method:
- оптический канал наблюдения реализуют в виде последовательно расположенных по оптической оси узла точечного источника, установленного на контрольной точке подвижной системы координат, длиннофокусного объектива и цифровой видеокамеры, которую подключают к персональному компьютеру,- the optical observation channel is implemented in the form of a point source located sequentially on the optical axis of the node mounted on a control point of a moving coordinate system, a telephoto lens and a digital video camera that is connected to a personal computer,
- центр ПЗС-матрицы видеокамеры совмещают с началом координат неподвижной системы координат,- the center of the CCD matrix of the video camera is combined with the origin of the fixed coordinate system,
- при формировании видеосигнала наблюдения используют специальный конусообразный экран и точечный источник (ТИС) с излучением на длине волны, например, λ=695 нм,- in the formation of the observation video signal, a special cone-shaped screen and a point source (TIS) with radiation at a wavelength, for example, λ = 695 nm, are used,
- в оптический канал наблюдения для дополнительного устранения бликов и засветок в спектральном диапазоне длин волн короче 600 нм перед длиннофокусным объективом вводят отрезной соглассованный фильтр,- in the optical observation channel to further eliminate glare and flare in the spectral range of wavelengths shorter than 600 nm, a cut-off matched filter is introduced in front of the telephoto lens,
- а обработку информации о засветке ПЗС-матрицы от ТИС удаленного объекта в персональном компьютере осуществляют в два этапа - на первом этапе осуществляют поиск области изображения, в которой находится пятно засветки, и определяют координаты этой области, на втором - в найденной области определяют координаты центра тяжести пятна засветки и вычисляют его смещение от начала координат в неподвижной системе координат, после чего проводят перерасчет - преобразование этого смещения для контрольной точки на удаленной подвижной системе координат.- and the processing of information about the illumination of the CCD matrix from the TIS of a remote object in a personal computer is carried out in two stages - at the first stage, search for the image area in which the spot of light is located, and determine the coordinates of this area, at the second - in the found area determine the center coordinates the severity of the spot of light and calculate its offset from the origin in a fixed coordinate system, and then recalculate - convert this offset to a control point on a remote moving coordinate system al.
Согласно патентуемому изобретению предварительный поиск области изображения, в которой находится пятно засветки, производят путем последовательного сканирования всей информационной матрицы с помощью матрицы-маски, размеры которой m x n существенно меньше размеров информационной матрицы и соизмеримы с размерами пятна засветки, для которой закон распределения яркости, размер, форму задают заранее. При этом формируют разностную функцию, определяющую зону, которую используют для вычисления координат центра тяжести найденной области.According to the patented invention, a preliminary search for the image area in which the spot of light is located is performed by sequentially scanning the entire information matrix using a mask mask, the dimensions of which mxn are significantly smaller than the dimensions of the information matrix and are comparable with the size of the spot of light, for which the law of distribution of brightness, size, the form is set in advance. In this case, a difference function is formed that defines the zone, which is used to calculate the coordinates of the center of gravity of the found area.
Патентуемый способ предусматривает, что для повышения точности определения координат центра тяжести пятна засветки используют градации яркости в каждом пикселе. Субпиксельная точность определения координат в плоскости неподвижной системы координат в этом случае ограничена выбранным числом градаций серого.The patented method provides that in order to increase the accuracy of determining the coordinates of the center of gravity of the spot of light, gradations of brightness in each pixel are used. The subpixel accuracy of determining coordinates in the plane of a fixed coordinate system in this case is limited by the selected number of gray gradations.
Реализация патентуемой совокупности существенных признаков разработанного способа контроля и слежения за перемещением удаленного объекта достигается путем создания автоматизированной телевизионной системы слежения за смещением удаленного объекта. Эта задача является разновидностью задачи позиционирования подвижной системы координат относительно неподвижной.The implementation of the patented combination of essential features of the developed method for monitoring and tracking the movement of a remote object is achieved by creating an automated television system for tracking the offset of a remote object. This task is a variation of the problem of positioning a moving coordinate system relatively motionless.
На Фиг.1 представлена схема проведения измерений смешения контрольной точки верхней (подвижной системы координат) относительно неподвижной. Контрольные точки обычно располагаются в началах параллельных горизонтально расположенных систем координат. В арретированом, обездвиженном состоянии контрольная точка верхней системы координат находится на перпендикуляре, восстановленном из контрольной точки нижнего состояния.Figure 1 presents a diagram of the measurement of mixing the control point of the upper (mobile coordinate system) relatively stationary. Control points are usually located at the beginning of parallel horizontally positioned coordinate systems. In the arrested, immobilized state, the control point of the upper coordinate system is on the perpendicular restored from the control point of the lower state.
В соответствии с этой методикой в рабочей контрольной точке (КТ) располагают точечный источник (ТИС) - контрольный элемент подвижной системы координат (S в плоскости А-А, см. Фиг.1). ПЗС-матрицу размещают в плоскости, связанной с базовой системой координат (БСК), а центр матрицы центруют с началом координат БСК. При этом на Фиг.1:In accordance with this technique, a point source (TIS) is located in the working control point (CT) —the control element of the moving coordinate system (S in the plane AA, see FIG. 1). The CCD matrix is placed in the plane associated with the base coordinate system (BSC), and the center of the matrix is centered with the origin of the BSC. In this case, in FIG. 1:
h - расстояние до объекта;h is the distance to the object;
f - фокусное расстояние объекта;f is the focal length of the object;
S0-S1 - перемещение рабочей точки ДИ на удаленной системе координат;S 0 -S 1 - moving the operating point of the MDI on a remote coordinate system;
O-O1 - смещение изображения ТИС в плоскости БСК.OO 1 is the shift of the TIS image in the BSK plane.
Патентуемый способ контроля и слежения основан на формировании посредством объектива L видеоизображения ТИС - пятна засветки в плоскости БСК. Смещение контрольной точки на подвижной системе координат приводит к смещению изображения ТИС на регистрирующей ПЗС- матрице. Смещение центра пятна засветки позволяет оценить величину смещения в системе координат БСК.The patented method of monitoring and tracking is based on the formation of a TIS video image through a lens L - a spot of light in the BSK plane. The shift of the control point on the moving coordinate system leads to the displacement of the TIS image on the recording CCD matrix. The shift of the center of the spot of light allows us to estimate the magnitude of the shift in the coordinate system of the BSK.
Технический результат настоящего изобретения заключается в кардинальном повышении точности позиционирования удаленного объекта, что открывает широкие возможности использования патентуемого способа в самых различных отраслях народного хозяйства. Предлагаемый способ субпиксельного контроля и слежения может быть эффективно использован для:The technical result of the present invention is to drastically increase the accuracy of positioning a remote object, which opens up wide possibilities for using the patented method in a wide variety of industries. The proposed method of subpixel control and tracking can be effectively used for:
- создания устройств контроля и позиционирования, где необходимо регистрировать и/или обеспечивать высокую точность поддержания координат заданных реперных точек высотных (или протяженных) объектов и сооружений гражданского и военного назначения;- creation of control and positioning devices where it is necessary to register and / or provide high accuracy of maintaining the coordinates of the given reference points of high-altitude (or extended) objects and structures of civil and military purposes;
- контроля за отклонением от вертикали телевизионных опор радиотелевизионных передающих центров (РТПЦ), дымовых труб ТЭЦ, упругих колебаний мостовых опор и пролетов, а также антенных сооружений радиотехнических комплексов, как стационарного типа, так и мобильных (наземного и морского базирования).- control of the deviation from the vertical of the television poles of the radio television transmitting centers (RTCs), chimneys of the thermal power station, the elastic vibrations of the bridge poles and spans, as well as the antenna structures of the radio engineering complexes, both stationary type and mobile (land and sea based).
Патентуемый способ позволяет определить смещения контрольной точки с точностью - 20 мкм при использовании для регистрации ПЗС-матрицы с небольшим разрешением 640×480 пикселов. При этом точность позиционирования изображения контрольной точки на БСК (пятна засветки) достигает субпиксельной величины - 0,2 пикс. Для выбранной в устройстве видеоизмерений цифровой матрицы с размером пикселя 7,5 мкм координаты центра тяжести изображения удаленного до 8 м светящегося объекта можно вычислить с точностью до 1,5 мкм в плоскости приемника.The patented method allows to determine the offset of the control point with an accuracy of 20 μm when used for registration of a CCD matrix with a small resolution of 640 × 480 pixels. Moreover, the accuracy of positioning the image of the control point on the BSK (spot light) reaches a subpixel value of 0.2 pixels. For a digital matrix selected in the video measurement device with a pixel size of 7.5 μm, the coordinates of the center of gravity of the image of a luminous object remote up to 8 m can be calculated with an accuracy of 1.5 μm in the receiver plane.
Технический результат настоящего изобретения заключается также в том, что патентуемый способ позволяет:The technical result of the present invention also lies in the fact that the patented method allows you to:
- проводить контроль в любое время суток, поскольку оптический канал наблюдения размещен в специальном конусообразном экране для ограничения доступа постороннего излучения;- carry out monitoring at any time of the day, since the optical observation channel is placed in a special cone-shaped screen to limit access to extraneous radiation;
- значительно повысить помехоустойчивость системы и обеспечить защиту от боковых засветок, а также исключить возможность дополнительных засветок от основной части спектра видимого диапазона, для чего в оптический канал введен отрезной красный фильтр и в качестве ТИС используют соответствующий фильтру светодиод.- significantly increase the noise immunity of the system and provide protection against side flare, as well as eliminate the possibility of additional flare from the main part of the spectrum of the visible range, for which a detachable red filter is introduced into the optical channel and the LED corresponding to the filter is used.
Следует отметить, что для повышения помехоустойчивости системы и защиты от боковых засветок разработан и введен алгоритм предварительной обработки снимаемой с цифровой матрицы информации для поиска пятна засветки с заданными параметрами на изображении и определения центра тяжести пятна засветки (в общем случае произвольной формы).It should be noted that in order to increase the noise immunity of the system and protect against side flare, an algorithm has been developed and introduced for preliminary processing of information taken from the digital matrix to search for the spot of light with given parameters in the image and determine the center of gravity of the spot of light (in the general case of an arbitrary shape).
Кроме того, для повышения точности измерения координат КТ разработан алгоритм субпиксельной обработки выделенного предварительно изображения пятна засветки.In addition, to improve the accuracy of measuring the coordinates of the CT scan, an algorithm has been developed for subpixel processing of the preliminarily selected exposure spot image.
Сущность изобретения поясняется примером реализации способа субпиксельного контроля и слежения за перемещением удаленного объекта и графическими материалами, на которых представлены:The invention is illustrated by an example implementation of a method of subpixel control and tracking the movement of a remote object and graphic materials, which show:
Фиг.1 - принцип измерения смешения;Figure 1 - the principle of measuring mixing;
Фиг.2 - Функциональные узлы блок-схемы устройства видеоизмерений;Figure 2 - Functional nodes of a block diagram of a video measurement device;
Фиг.3 - графическое представление области обзора А;Figure 3 is a graphical representation of the field of view A;
Фиг.4 - изображение распределения яркости матрицы-маски;Figure 4 - image of the brightness distribution of the matrix mask;
Фиг.5 - вид распределения разностной функции D;5 is a view of the distribution of the difference function D;
Фиг.6 - к методу субпиксельного измерения;6 - to the method of subpixel measurement;
Фиг.7 - к определению координат центра тяжести пятна;Fig.7 - to determine the coordinates of the center of gravity of the spot;
Фиг.8 - алгоритм программы субпиксельного контроля.Fig. 8 is a sub-pixel control program algorithm.
Реализацию патентуемого способа субпиксельного контроля и слежения осуществляют с помощью разработанного эффективного устройства видеоизмерений, которое включает (фиг.2): узел точечного источника (ТИС) 1, отрезной согласованный фильтр 2, длиннофокусный объектив 3, цифровую кинокамеру (ЦК) 4, персональный компьютер (ПК) 5, блок питания (БП) 6, конусообразный экран 7.Implementation of the patented method of sub-pixel monitoring and tracking is carried out using the developed effective video measurement device, which includes (Fig. 2): point source assembly (TIS) 1, matched
Патентуемый способ предусматривает, что ТИС 1 установлен на контрольной точке (КТ) подвижной системы координат (S в плоскости А-А, см. фиг.1). В качестве точечного источника 1 возможно использовать, например, светодиод VD13Л341Б. В плоскости, связанной с базовой системой координат БСК, размещают цифровую матрицу (АСМ-5001, разрешение 840×480), центр ПЗС-матрицы которой центруется с началом координат БСК.The patented method provides that
Плоскость контрольного элемента подвижной системы координат (А-А1) и плоскость БСК разнесены на 7-8 м. ПЗС-матрица располагается в фокальной плоскости длиннофокусного объектива 3 (например, TAMRON 13VM20100AS), с помощью которого собирается излучение ТИС 1. Для исключения дополнительных засветок в оптический канал введен отрезной согласованный красный фильтр 2 (ЖС-13), отрезающий из спектра излучение по длине волны короче 600 нм.The plane of the control element of the moving coordinate system (AA 1 ) and the BSK plane are spaced 7-8 m apart. The CCD is located in the focal plane of the telephoto lens 3 (for example, TAMRON 13VM20100AS), by which
С цифровой матрицы видеоинформация поступает на ПК 5 на обработку.From the digital matrix, the video information is sent to
Устройство видеонаблюдений дополнено стандартным блоком питания 6 (12 В и 5 В).The video surveillance device is supplemented with a standard power supply unit 6 (12 V and 5 V).
Входные данные поступают на ПК 5 в виде файла изображения, кодированного по известному стандарту сжатия (jpg, bmp) или передаваемого в несжатом виде (RAW). Параметры изображения:The input data is sent to
- монохромное;- monochrome;
- число градаций яркости 256;- the number of gradations of brightness 256;
- размер M×N пикселей.- size M × N pixels.
Алгоритм обработки.Processing algorithm.
Изображение представляется числовой матрицей А, отражающей распределение яркости принятого изображения.The image is represented by a numerical matrix A, reflecting the brightness distribution of the received image.
где А- числовая матрица, M·N - число элементов матрицы А, aij - элемент матрицы может принимать значения от 0 до 255, i, j - индексы номера строки и столбца соответственно в матрице А.where A is a numerical matrix, M · N is the number of elements of matrix A, a ij is an element of the matrix, can take values from 0 to 255, i, j are indices of the row and column numbers, respectively, in matrix A.
На первом этапе нахождения координат центра тяжести выполняется поиск области изображения (Фиг.3 - графическое представление области обзора А), в которой находится пятно засветки и производится проверка соответствия параметров этого пятна предварительно введенному. Для сравнения параметров пятна с заданными параметрами в алгоритме используется матрица - маска С. Параметры эталонного пятна - маски С (закон распределения яркости, размер, форма) задаются заранее.At the first stage of finding the coordinates of the center of gravity, the image area is searched (Fig. 3 is a graphical representation of the viewing area A) in which the spot of light is located and the correspondence of the parameters of this spot to the previously entered is checked. To compare the parameters of the spot with the given parameters, the matrix — mask C — is used in the algorithm. The parameters of the reference spot — mask C (the law of distribution of brightness, size, shape) are set in advance.
где С - матрица-маска, Сij - элементы матрицы-маски, m x n - число элементов матрицы-маски С, размеры которой существенно меньше размеров матрицы А и соизмеримы с размерами пятна, i, j - индексы номера строки и столбца соответственно в матрице А.where C is the mask matrix, C ij are the elements of the mask mask, mxn is the number of elements of the matrix mask C, the dimensions of which are significantly smaller than the sizes of matrix A and are comparable with the size of the spot, i, j are the indices of the row and column numbers, respectively, in matrix A .
Матрица С фактически отражает распределение яркости эталонного объекта (Фиг.4 - изображение распределения яркости матрицы-маски).Matrix C actually reflects the brightness distribution of the reference object (Figure 4 is an image of the brightness distribution of the matrix mask).
Накладывая матрицу-маску на области исходной матрицы, проводя поэлементное вычитание и последовательно перемещая ее по элементам матрицы А, мы получаем разностную двумерную функцию D:Putting the mask mask on the regions of the original matrix, performing elementwise subtraction and sequentially moving it over the elements of matrix A, we obtain a difference two-dimensional function D:
где D - разностная двумерная функция, dkp - элементы двумерной функции D,(k,p) - текущие координаты левого угла матрицы - маски С, (М-m, N-n) - диапазон перемещения матрицы-маски по абсциссе и ординате матрицы A.where D is the difference two-dimensional function, d kp are the elements of the two-dimensional function D, (k, p) are the current coordinates of the left corner of the matrix — mask C, (M-m, Nn) is the range of movement of the mask mask along the abscissa and ordinate of matrix A.
Разностная функция D формируется следующим образом.The difference function D is formed as follows.
Матрица С (размерами m на n элементов) накладывается на область матрицы А, верхний левый угол которой имеет координаты (k,р). Обозначим выделенную область - Вk,р:Matrix C (with dimensions m by n elements) is superimposed on the region of matrix A, the upper left corner of which has coordinates (k, p). Denote the selected area - In k, p :
где: 
По алгоритму матрица-маска С последовательно со сдвигом на один пиксел накладывается на изображение (матрицу A) (начиная с k=0, р=0) и вычитается из текущей матрицы Bk,p. Сумма абсолютных значений элементов полученной разностной матрицы определяет значение элемента двумерной функции D:According to the algorithm, the mask-mask C is sequentially superimposed by one pixel on the image (matrix A) (starting from k = 0, p = 0) and subtracted from the current matrix B k, p . The sum of the absolute values of the elements of the resulting difference matrix determines the value of the element of the two-dimensional function D:
где dkp - элемент двумерной функции D.where d kp is an element of the two-dimensional function D.
Таким образом, просканировав всю область матрицы А, мы получаем двумерное распределение функции D. Примерный вид распределения разностной функции представлен на Фиг.5 - вид распределения разностной функции D.Thus, having scanned the entire area of matrix A, we obtain a two-dimensional distribution of the function D. An exemplary form of the distribution of the difference function is presented in Fig. 5 - a view of the distribution of the difference function D.
Если функция D имеет один локализованный минимум или имеет несколько минимальных элементов, расположенных по соседству, значение минимума соответствует условиюIf the function D has one localized minimum or has several minimal elements located in the neighborhood, the minimum value corresponds to the condition
где dmax - коэффициент соответствия задается программно заранее и не меняется в процессе измерения.where d max - the compliance coefficient is set in advance in software and does not change during the measurement.
При выполнении условия (1.6) можно утверждать, что на изображении присутствует объект, параметры которого близки к параметрам заданного эталона.Under condition (1.6), it can be argued that an object is present in the image whose parameters are close to the parameters of a given standard.
В системе матрицы А выполнение этого условия задает зону А", которая используется для точного вычисления координат центра тяжести пятна (см. Фиг.8). Координаты первого минимального элемента обозначаются в системе матрицы А как (x",у").In the matrix A system, the fulfillment of this condition defines the zone A ", which is used to accurately calculate the coordinates of the spot's center of gravity (see Fig. 8). The coordinates of the first minimum element are indicated in the matrix A system as (x", y ").
где A'' - выделенная зона, удовлетворяющая условию (1.6), 
На втором этапе точное вычисление координат осуществляют методом субпиксельного измерения внутри зоны А". Координаты центра тяжести пятна в системе матрицы А" обозначаются как (xс",ус") и вычисляются по нижеприведенным формулам:At the second stage, the exact calculation of the coordinates is carried out by the method of sub-pixel measurement inside zone A. "The coordinates of the center of gravity of the spot in the matrix system A" are designated as (x s ", y s ") and are calculated by the following formulas:
где (хс",ус") - координаты центра тяжести пятна в системе матрицы А",
Принцип субпиксельного измерения основан на возможности использования градации яркости для каждого пиксела,The principle of sub-pixel measurement is based on the possibility of using a gradation of brightness for each pixel,
Точность патентуемого способа контроля и слежения ограничивается выбранным числом градаций серого. Применение в оптическом измерительном канале отрезного фильтра 2, согласованного с длиной волны излучения контрольного элемента подвижного объекта, и программная установка нижнего порога чувствительности обеспечивают уровень полезного сигнала, значительно превышающий уровень шума.The accuracy of the patented method of control and tracking is limited by the selected number of gradations of gray. The use of a cut-
Принцип субпиксельного измерения поясняет Фиг.6 - к методу субпиксельного измерения.The principle of sub-pixel measurement is illustrated in Fig.6 - to the method of sub-pixel measurement.
В случае 256 градаций серого стандартной 8-битной матрицы и порогового значения 55 для оставшихся 200 градаций можно задать шаг 8 - в этом случае программно мы имеем дело с 25 градациями серого, и по одной координате мы фактически получим точность до 0,2 пикс. Для стандартной матрицы с размером пикселя 7,5 мкм при таких параметрах координаты центра тяжести можно вычислить с точностью до 1,5 мкм в плоскости приемника.In the case of 256 gradations of gray of the standard 8-bit matrix and a threshold value of 55, for the remaining 200 gradations, you can set step 8 - in this case, we are dealing with 25 gradations of gray in software, and in one coordinate we will actually get an accuracy of up to 0.2 pixels. For a standard matrix with a pixel size of 7.5 microns with these parameters, the coordinates of the center of gravity can be calculated with an accuracy of 1.5 microns in the plane of the receiver.
Несмотря на потенциально высокую точность этого метода, применение его ко всему изображению невозможно без предварительной обработки в соответствии с представленным алгоритмом. В данном алгоритме метод субпиксельного измерения применяется лишь к небольшой выделенной области А", энергия шума в которой мала по сравнению с энергией полезного сигнала.Despite the potentially high accuracy of this method, its application to the entire image is impossible without preliminary processing in accordance with the presented algorithm. In this algorithm, the sub-pixel measurement method is applied only to a small selected area A ", in which the noise energy is small compared to the energy of the useful signal.
Пересчет координат центра тяжести пятна в систему координат матрицы А осуществляется по формулам:Recalculation of the coordinates of the center of gravity of the spot in the coordinate system of matrix A is carried out according to the formulas:
где хс, ус - координаты центра тяжести пятна засветки с учетом субпиксельной градации яркости в каждом пикселе; (х",у") - координаты первого минимального элемента (удовлетворяющего условию (1.6)); (хс",ус") - координаты центра тяжести пятна в системе выделенной матрицы А".where x s , y s are the coordinates of the center of gravity of the spot of light, taking into account the subpixel gradation of brightness in each pixel; (x ", y") - coordinates of the first minimal element (satisfying condition (1.6)); (x s ", y s ") - coordinates of the center of gravity of the spot in the system of the selected matrix A ".
Пояснение к вышесказанному дается на Фиг.7 - к определению координат центра тяжести пятна. На Фиг.8 приведен алгоритм программы субпиксельного контроля.Explanation of the above is given in Fig.7 - to determine the coordinates of the center of gravity of the spot. On Fig shows the algorithm of the sub-pixel control program.
Патентуемый способ субпиксельного контроля и слежения за перемещением удаленного объекта, прошел успешные испытания, которые подтвердили на практике, что настоящий способ позволяет в реальном времени на расстоянии до 8 м измерять смещение светящегося объекта с точностью до 20 мкм.The patented method of subpixel control and tracking the movement of a distant object has passed successful tests, which have confirmed in practice that this method allows real-time measurement of the displacement of a luminous object with an accuracy of 20 microns in real time at a distance of up to 8 m.
Результаты испытаний позволяют констатировать кардинальное повышение точности позиционирования удаленного объекта. Испытания подтвердили, что патентуемое изобретение позволяет определить смещение контрольной точки на удаленном объекте с точностью - 20 мкм при использовании для регистрации ПЗС-матрицы с небольшим разрешением 640×480 пикселов.The test results allow us to note a radical increase in the accuracy of positioning a remote object. Tests have confirmed that the patented invention allows to determine the offset of the control point at a remote object with an accuracy of -20 μm when used to register a CCD with a small resolution of 640 × 480 pixels.
При этом благодаря разработанному алгоритму точность позиционирования изображения контрольной точки на БСК (пятна засветки) достигает субпиксельной величины - 0,2 пикс. Для выбранной в устройстве видеоизмерений цифровой матрицы с размером пикселя 7,5 мкм при таких параметрах координаты центра тяжести можно вычислить с точностью до 1,5 мкм в плоскости приемника.Moreover, thanks to the developed algorithm, the accuracy of positioning the image of the control point on the BSK (spot light) reaches a subpixel value of 0.2 pixels. For a digital matrix selected in the video measurement device with a pixel size of 7.5 microns with these parameters, the coordinates of the center of gravity can be calculated with an accuracy of 1.5 microns in the plane of the receiver.
Список использованной технической информацииList of used technical information
1. Буюкян С.П. «Видеоизмерение в инженерной геодезии», «Известия высших учебных заведений», серия «Геодезия и аэрофотосъемка», №6, 2002 г., с.27.1. Buyukyan S.P. “Video measurement in engineering geodesy”, “News of higher educational institutions”, series “Geodesy and aerial photography”, No. 6, 2002, p.27.
2. Буюкян С.П., Безматерных М.В., Бодунков П.В. «Аппаратурно-программный комплекс оперативного контроля положений рабочих точек антенн угломерной радиотехнической системы», Международная научно-техническая конференция, посвященная 225-летию МИИГАиК, Сборник трудов. - М., 2004 г., с.237).2. Buyukyan S.P., Bezmaternykh M.V., Bodunkov P.V. “Hardware-software complex for operational control of the positions of the operating points of the antennas of the goniometric radio engineering system”, International scientific and technical conference dedicated to the 225th anniversary of MIIGAiK, Proceedings. - M., 2004, p.237).
3. Патент RU №2 308 002 (заявка 2006109637/28 от 27.03.2006 г.) - прототип.3. Patent RU No. 2 308 002 (application 2006109637/28 of 03/27/2006) - the prototype.
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012113408/28A RU2506536C2 (en) | 2012-04-09 | 2012-04-09 | Method of subpixel control and tracking of remote object motion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012113408/28A RU2506536C2 (en) | 2012-04-09 | 2012-04-09 | Method of subpixel control and tracking of remote object motion |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2012113408A RU2012113408A (en) | 2013-10-20 |
| RU2506536C2 true RU2506536C2 (en) | 2014-02-10 |
Family
ID=49356710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2012113408/28A RU2506536C2 (en) | 2012-04-09 | 2012-04-09 | Method of subpixel control and tracking of remote object motion |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2506536C2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2667343C1 (en) * | 2017-09-15 | 2018-09-18 | Российская Федерация, от имени которой выступает Министерство обороны Российской Федерации | Method of non-contact measurement of angular object orientation |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109903216B (en) * | 2019-01-23 | 2022-12-23 | 武汉精立电子技术有限公司 | System and method for realizing positioning image dot matrix extraction based on FPGA platform |
| CN117409043B (en) * | 2023-12-14 | 2024-03-12 | 湖南苏科智能科技有限公司 | Sub-pixel level video target tracking method, device, equipment and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020033818A1 (en) * | 2000-08-05 | 2002-03-21 | Ching-Fang Lin | Three-dimensional relative positioning and tracking using LDRI |
| RU2308002C1 (en) * | 2006-03-27 | 2007-10-10 | Федеральное государственное унитарное предприятие "Государственный специализированный проектный институт" (ФГУП "ГСПИ") | Controlled point of object's coordinates video measuring device |
| US20110000478A1 (en) * | 2009-07-02 | 2011-01-06 | Dan Reznik | Camera-based heliostat tracking controller |
| EP2413284A2 (en) * | 2010-07-26 | 2012-02-01 | Raytheon Company | Multi-phenomenology object detection |
-
2012
- 2012-04-09 RU RU2012113408/28A patent/RU2506536C2/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020033818A1 (en) * | 2000-08-05 | 2002-03-21 | Ching-Fang Lin | Three-dimensional relative positioning and tracking using LDRI |
| RU2308002C1 (en) * | 2006-03-27 | 2007-10-10 | Федеральное государственное унитарное предприятие "Государственный специализированный проектный институт" (ФГУП "ГСПИ") | Controlled point of object's coordinates video measuring device |
| US20110000478A1 (en) * | 2009-07-02 | 2011-01-06 | Dan Reznik | Camera-based heliostat tracking controller |
| EP2413284A2 (en) * | 2010-07-26 | 2012-02-01 | Raytheon Company | Multi-phenomenology object detection |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2667343C1 (en) * | 2017-09-15 | 2018-09-18 | Российская Федерация, от имени которой выступает Министерство обороны Российской Федерации | Method of non-contact measurement of angular object orientation |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2012113408A (en) | 2013-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Feng et al. | Computer vision for SHM of civil infrastructure: From dynamic response measurement to damage detection–A review | |
| Chow et al. | Automated defect inspection of concrete structures | |
| KR102038127B1 (en) | Facility management apparatus and method using unmanned vehicle | |
| US8373127B2 (en) | Method of searching for a thermal target | |
| KR102193108B1 (en) | Observation method for two-dimensional river mixing using RGB image acquired by the unmanned aerial vehicle | |
| CN107917880B (en) | cloud base height inversion method based on foundation cloud picture | |
| RU2626051C2 (en) | Method for determining distances to objects using images from digital video cameras | |
| CN107886670A (en) | Forest zone initial fire disaster quickly identifies and localization method, storage medium, electronic equipment | |
| CN116754076B (en) | Inversion method for high-heterogeneity surface temperature of urban complex three-dimensional scene | |
| Aycock et al. | Using atmospheric polarization patterns for azimuth sensing | |
| WO2020031054A1 (en) | Hyperspectral scanner | |
| RU2506536C2 (en) | Method of subpixel control and tracking of remote object motion | |
| Wang et al. | Convolutional neural-network-based automatic dam-surface seepage defect identification from thermograms collected from UAV-mounted thermal imaging camera | |
| Hooda | IoT and remote sensing | |
| Eisele et al. | FESTER: a propagation experiment, overview and first results | |
| Maalek et al. | Evaluation of the state-of-the-art automated construction progress monitoring and control systems | |
| Baeck et al. | Drone based near real-time human detection with geographic localization | |
| Motta et al. | Landslide displacement monitoring from multi-temporal terrestrial digital images: Case of the Valoria Landslide site | |
| Wang et al. | Vision technique for deflection measurements based on laser positioning | |
| Wang et al. | Performance tests for automatic 3D geometric data registration technique for progressive as-built construction site modeling | |
| RU2574517C2 (en) | Video system for detecting emergency situations on navigable rivers | |
| Gorbovskoy et al. | Transient Detections and Other Real‐Time Data Processing from MASTER‐VWF Wide‐Field Cameras | |
| RU2620784C1 (en) | Method of determining atmospheric transparency by steam photometry | |
| Haraké et al. | Concept for an airborne real-time ISR system with multi-sensor 3D data acquisition | |
| Themistocleous et al. | The documentation of ecclesiastical cultural heritage sites in Cyprus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20180410 |